Nutch und HBase Konfigurationsfehler

Question

Ich versuche nutch und hbase zu erhalten auf dieser Docker Bild Arbeits basiert: https://hub.docker.com/r/cogfor/nutch/

ich eine Ausnahme bin immer, dass ich versuchen, eine URL-Datei zu injizieren:

InjectorJob: starting at 2017-12-19 20:49:45 
InjectorJob: Injecting urlDir: urls 
Exception in thread "main" java.lang.NoClassDefFoundError: 
org/apache/hadoop/hbase/HBaseConfiguration 
org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:114) 
at g.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102) 
at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161) 
at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:135) 
at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:78) 
at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:218) 
at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:252) 
at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:275) 
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:284) 
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration 
at java.net.URLClassLoader.findClass(URLClassLoader.java:381) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 

I Ich weiß, dass zwischen Nutch/HBase/Hadoop eine Fehlkonfiguration besteht.

Mein gora.properties hat:

gora.datastore.default=org.apache.gora.hbase.store.HBaseStore 

Meine hbase-site.xml hat:

<configuration>                                                                
<property> 
    <name>hbase.rootdir</name> 
    <value>file:///data</value> 
</property> 
<property> 
    <name>hbase.cluster.distributed</name> 
    <value>false</value> 
</property> 
</configuration> 

Und meine nutch-site.xml hat:

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<!-- Put site-specific property overrides in this file. --> 
<configuration> 
<property> 
    <name>http.agent.name</name> 
    <value>My Spider</value> 
    </property> 
    <property> 
    <name>storage.data.store.class</name> 
    <value>org.apache.gora.hbase.store.HBaseStore</value> 
    <description>Default class for storing data</description> 
    </property> 
    <property> 
    <name>plugin.includes</name> 
    <value>protocol-httpclient|urlfilter-regex|parse-(text|tika|js)|index-(basic|anchor)|query-(basic|site|url)|response-(json|xml)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)</value> 
    </property> 
    <property> 
    <name>db.ignore.external.links</name> 
    <value>true</value> 
    </property> 
    <property> 
    <name>parser.character.encoding.default</name> 
    <value>utf-8</value> 
    </property> 
    <property> 
    <name>http.content.limit</name>                                                           
    <value>6553600</value> 
</property> 

Dieselbe Fehlermeldung wird multi gemeldet ple mal auf S.O. aber keine der Lösungen funktionierte für mich. Der $ HBASE_HOME und $ HADOOP_CLASSPATH env Variablen gesetzt:

root@a5fb7fefc53e:/nutch_source/runtime/local/bin# echo $HADOOP_CLASSPATH 
/opt/hbase-0.98.21-hadoop2/lib/hbase-client-0.98.21-hadoop2.jar: 
/opt/hbase-0.98.21-hadoop2/lib/hbase-common-0.98.12-hadoop2.jar: 
/opt/hbase-0.98.21-hadoop2/lib/protobuf-java-2.5.0.jar: /opt/hbase- 
0.98.21-hadoop2/lib/guava-12.0.1.jar: /opt/hbase-0.98.21- 
hadoop2/lib/zookeeper-3.4.6.jar: /opt/hbase-0.98.21-hadoop2/lib/hbase- 
protocol-0.98.12-hadoop2.jar 

root@a5fb7fefc53e:/nutch_source/runtime/local/bin# echo $HBASE_HOME  

/opt/hbase-0.98.21-hadoop2 

ich existieren all diese Dateien überprüft. Kann mir bitte jemand helfen, was ich vermisse?

Answer 1

Das Problem ist in der Dokumentation erwähnt (https://wiki.apache.org/nutch/Nutch2Tutorial)

„NB Es ist möglich, die folgende Ausnahme zu begegnen: java.lang.NoClassDefFoundError: org/Apache/hadoop/hbase/HBaseConfiguration; dies wird durch die Tatsache verursacht, manchmal wird das hbase-TEST-Jar im lib-Verzeichnis deployt. Um das Problem zu lösen, kopiere einfach die lib von deinem installierten HBase-Verzeichnis in das Build-lib-Verzeichnis. (Dieses Problem wird gerade bearbeitet.)

Alles, was getan werden muss, ist dies:

cp -R /root/hbase/lib/* /root/nutch/lib/ 

und nutch wird adaequat starten.