Nutch und Elasticsearch Integration

Question

Ich würde gerne wissen, welche Versionen von Nutch und Elasticsearch gut zusammenarbeiten, um eine vertikale Suchanwendung (auf AWS) zu erstellen?

Wenn ich mit 500 Websites zu crawlen beginnen und von dort zu erhöhen, was sind die besten Versionen zusammen zu verwenden.

Ich habe Nutch 1.10 und ES 1.5, die auf meinem lokalen Rechner für Entwicklungs- und Testzwecke zusammenarbeiten, aber ich weiß, dass meine Daten größer werden (mehr Seiten werden gecrawlt), das wird nicht machbar sein.

Ich möchte AWS EMR verwenden und die gecrawlten Daten auf S3 speichern.

Answer 1

Ok, also nach viel suchen, lesen und schauen einige Videos ... es ist ziemlich klar, dass Nutch 2.x (2.3) ist eine gute Wahl. Es scheint besser für die Zukunft geeignet zu sein und wird mit ES arbeiten.

-HTH jemand anderen mit ähnlicher Situation konfrontiert