Benutzerdefinierte Optionen in Nutch Crawl-Skript funktioniert nicht

Question

Ich habe versucht, benutzerdefinierte Optionen in bin/crawl Skript geben und stieß auf ein Problem. Ich habe eine benutzerdefinierte config in nutch zu externen outlinks in meinem Crawl Befehl zu ignorieren wie: -

bin/kriechen -i -D elastic.index = test -D db.ignore.external.links = true Urls/CrawlTest/3

Aber das funktioniert nicht. Dann setze ich diese Eigenschaft in nutch-site.xml, dann funktioniert es.

Dann habe ich versucht, eine benutzerdefinierte Konfiguration zum Indexieren von Daten zu einem bestimmten elastischen Index anders als in nutch-site.xml als Java-Option in bin/crawl angegeben. Zu meiner Überraschung funktioniert es. Der Befehl, den ich benutzt habe: -

ist/kriechen -i -D elastic.index = test Urls/CrawlTest/3

Also ich würde gerne wissen, warum mein erster Befehl didn‘ t Arbeit? Ich vermisse etwas. Bitte helfen Sie.

Answer 1

Aus weiterem Studium bekam ich die Antwort selbst. Der erste Befehl hat nicht funktioniert, weil hadoop ihn nicht als Argument erkennt. Es sollte von nutch config selbst gelesen werden.