Wie kann ich Apache Spark mit Apache Nutch verwenden

Question

Ich muss einige Daten aus dem Internet crawlen und einige Analysen durchführen. Zum Crawlen habe ich mich für Apache Nutch 2.3.1 entschieden und für die Analyse habe ich mich für Apache Spark entschieden. Jetzt Wie kann ich Nutch mit solr integrieren? Laut Nutch website habe ich erfahren, dass es Funken 1.4.1 unterstützen kann. Kann jemand bestätigen, dass meine Design-Entscheidung korrekt ist und zweitens habe ich kein Tutorial für die Integration dieser beiden gefunden. Kann Soneone Guide

Answer 1

heraus überprüfen Sparkler, wir arbeiten daran als Prototyp für Nutch auf Spark, http://github.com/USCDataScience/sparkler.git