Wie man Nutch 2.3.1 mit Hbase 1.2.6 kompiliert

Ich muss Hadoop-Stack mit Nutch 2.3.1 einrichten. Unterstützte Version von Hbase für hadoop 2.7.4 ist 1.2.6, die ich erfolgreich konfiguriert und getestet habe. Aber als ich Nutch kompiliert habe, habe ich folgendes bekommen und eine Beispielseite gecrawlt. Ich habe diesen Fehler bekommen.Wie man Nutch 2.3.1 mit Hbase 1.2.6 kompiliert

/usr/local/nutch/runtime/local/bin/nutch inject urls/ -crawlId kics 
InjectorJob: starting at 2017-09-21 14:20:10 
InjectorJob: Injecting urlDir: urls 
Exception in thread "main" java.lang.NoSuchFieldError: HBASE_CLIENT_PREFETCH_LIMIT 
    at org.apache.hadoop.hbase.client.HConnectionKey.<clinit>(HConnectionKey.java:43) 
    at org.apache.hadoop.hbase.client.HConnectionManager.getConnection(HConnectionManager.java:267) 
    at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:194) 
    at org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:115) 
    at org.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102) 
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161) 
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:135) 
    at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:78) 
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:218) 
    at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:252) 
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:275) 
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
    at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:284) 
Error running:

Nach meiner Suche wie this und this kann Hbase 1.x für Nutch 2.3.1 kompiliert werden. Aber wie kompiliere ich keine Ahnung. Kann jemand bitte leite (Schritte etc.)

Quelle

2017-09-21 Shafiq

Hbase gestartet ant erfolgreich und es wurde getestet – Shafiq

werden kompilieren Sie Nutch verwenden? –

Ich habe Nutch erfolgreich kompiliert und getestet, aber es solrindex Plugin gibt einen Fehler, den ich jetzt beheben werde. – Shafiq

Apache Gora 0.7 ist eine Stütz HBase 1.2.3 (+): bei https://stackoverflow.com/a/39837926/582789 https://issues.apache.org/jira/browse/GORA-443

Sie einen Blick darauf werfen können, wo ich geschrieben habe, wie Nutch 2.3.1 zu ändern mit Apache Gora 0.7 arbeiten. Über den Patch https://paste.apache.org/jjqz in dieser Antwort, verwenden Sie "0.7", wo es "0.7-SNAPSHOT" zeigt.

Übrigens, Apache Gora 0.8 wurde gestern veröffentlicht :) Nur 0.7 für 0.8 ändern sollte funktionieren.

http://gora.apache.org/#20-september-2017-apache-gora-08-release

Quelle

2017-09-21 09:59:53

Wie man Nutch 2.3.1 mit Hbase 1.2.6 kompiliert

Antwort

Verwandte Themen