In Nutch, wie kann ich meine DB verwenden, um die Liste aller Seed-URLs zu speichern?

Momentan benutze ich die seed.txt Datei mit einer Liste von Domainnamen zum Crawlen, aber gibt es eine Möglichkeit diese Liste in der DB zu haben, die ich mit Nutch eingerichtet habe?In Nutch, wie kann ich meine DB verwenden, um die Liste aller Seed-URLs zu speichern?

Damit verbunden: Gibt es eine Grenze für wie viele Domänen kann ich auflisten?

Quelle

2016-12-05 jnbdz

Standardmäßig bietet Nutch diese Funktion nicht an, aber Sie können the Injector.java file anpassen, um Ihr gewünschtes Verhalten zu erreichen. Vielleicht verwenden Sie etwas wie DBInputFormat, um aus der Datenbank zu lesen.

Kurz gesagt können Sie den Injektionsschritt anpassen, aus den Informationen zu sammeln, was auch immer Sie mögen Datenquelle (SQL, NoSQL, etc.)

Quelle

2016-12-05 19:03:34

I Accumulo mit Gora verwenden. Ich stelle mir vor, DBInputFormat unterstützt Gora. – jnbdz

Dann wird vielleicht die 'org.apache.accumulo.core.client.mapred.AccumuloInputFormat' besser passen. Ich habe selbst nicht mit Accumulo gespielt, aber das scheint die richtige Option zu sein. –

In Nutch, wie kann ich meine DB verwenden, um die Liste aller Seed-URLs zu speichern?

Antwort

Verwandte Themen