stormcrawler

0Hitze

1Antwort

Wie Debuggen Storm-Crawl? Ich meine, Sie haben etwas Modul geschrieben und Sie möchten es überprüfen. Sie können Komponententest schreiben, aber Sie möchten es auf System überprüfen (kann lokales Syst

1Hitze

1Antwort

kriechen kleine Homepage mit metadata.transfer und N: M-Beziehungen

Hallo Leute, Wir verwenden StormCrawler mit Elasticsearch einen Index von unserer Homepage zu machen, die von „alten Seiten“ bestehen und „neue Seiten“. Meine Frage in Kürze: Wenn zwei Seiten A (alt),

0Hitze

3Antwort

Storm-Crawler und Elasticsearch Version

Ich arbeite an der neuesten Version von ES (5x) arbeiten mit Storm-crawler. Ich tat, was erwähnt wurde here, klonte ich das Repo, mvn sauber installieren, um zu bauen, und dann habe ich alle angegeben

0Hitze

1Antwort

StormCrawler AJAX/Dynamische Inhaltsanalyse

Ich würde gerne wissen, dass die aktuelle Version von stormcrawler das AJAX/Dynamic Content Parsing unterstützt und in elasticsearch speichert. ich weiß, gibt es eine Erweiterung auf gearbeitet, hier

0Hitze

1Antwort

ES Indexname und Stormcrawler

Ich arbeite seit ein paar Tagen mit Stormcrawler und fühle mich damit wohl. Ich habe die guide für die Indizierung mit ES verfolgt. Wie kann ich den Namen des ES-Index ändern, an den Stormcrawler die

1Hitze

1Antwort

Speichern von Inhaltslänge als Feldwert (in Metadaten von indizierten Dokumenten)

Wir möchten die Inhaltslänge der Crawlerseiten als Metadaten in den Dokumenten speichern. Ich weiß, wir könnten http.store.headers = true setzen, aber ich traue den http-headern des Servers nicht. So

0Hitze

1Antwort

Stormcrawler indexiert Inhalt nicht mit Elasticsearch

Wenn Sie Stormcrawler verwenden, indexiert es zu Elasticsearch, aber nicht den Inhalt. Stormcrawler ist up-to-date mit 'origin/master' https://github.com/DigitalPebble/storm-crawler.git Mit Elasticsea

0Hitze

1Antwort

Das Einrichten eines neuen Streams für Warc Bolt schlägt fehl

Ich versuche einen neuen Stream einzurichten, um einen Tika-Bolzen mit einer Warc-Schraube zu verbinden. import com.digitalpebble.stormcrawler.tika.ParserBolt; import com.digitalpebble.stormcrawler.w

0Hitze

1Antwort

Sagen StormCrawler Seiten von ES-Index zu löschen, nachdem sie auf dem Server gelöscht wurde

Ich habe folgendes Szenario: eine bestehende Seite von StormCrawler gekrochen wird StormCrawler fügt ein entsprechendes Dokument an eine Elasticsearch Index die Seite wird auf dem Server gelöscht => d

0Hitze

2Antwort

Tuning Storm-Crawler, um verfügbare Ressourcen vollständig zu nutzen

Ich habe einen Knoten, der vollständig meinem Storm-Crawler-basierten Crawler gewidmet ist. Ich verfüge über 20 Dual-Core-CPUs, 130 GB RAM und 10 Gbit/s Ethernet-Verbindung. Ich reduzierte meine Topol