Wo sind die Hive-Protokolle, die von einem MongoDB-Hadoop-Connector-Fehler in der HDP-Sandbox generiert wurden?

Question

Ich stehe vor einem seltsamen Fehler, den ich in keinem Log in meiner Azure Hortonworks Sandbox finden kann. Ich versuche, die folgende Anleitung zu versuchen, die Mongodb Integration mit Hadoop (Hive): , aber wenn ich versuche, eine Tabelle in Mongo mit Hive zu erstellen, bekomme ich den folgenden Fehler (mit Hive CLI, Beeline und Ambari Hive Blick sowohl auf MR2 und Tez-Prozessor):

Error: Error while processing statement: FAILED: Execution Error, 
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.com/mongodb/BasicDBObject (state=08S01,code=1) 

Nun, googeln diese Botschaft, die ich Leute beschreiben, zitierte einige Java-Protokolle gefunden, was die wirkliche Ausnahme ist, und schließen (die meiste Zeit) die mongodb-java- Treiberglas fehlte dem Klassenpfad.

Meine erste Frage: Wo beschreiben diese Protokolle die wirkliche Ausnahme? Da ich in /var/log/hive*/*.log und Yarn ResourceManagerUI -> logs suche, kann ich nichts anderes als "InterruptedException", "ERROR applicationhistoryservice.ApplicationHistoryServer (LogAdapter.java:error(69)) - RECEIVED SIGNAL sehen 15: SIGTERM "und so weiter ... Aber nichts wirklich Nützliches.

Als nächstes fügte ich die mongo-hadoop-core und mongo-hadoop-hive jars (aus github gegen meine sandbox version spezifikationen) und die version 3.3.0 von mongodb-java-driver in einem lokalen pfad, in der Abschnitt hive.aux.jars.path der hive-site.xml, und schließlich neu gestartet mein Bienenstock-Service (so einschließlich Hive-Server2) ... Aber keine Möglichkeit, dies funktioniert, und keine Möglichkeit, mehr Informationen zu erhalten versteh warum es nicht läuft ...

Ich vergesse etwas? Danke für Ihre Hilfe!

Answer 1

Nun, endlich habe ich gefunden, was mein Problem war.

Die Gläser bson- $ MongoVersion .jar und mongodb-Treiber-Core- MongoVersion $ .jar fehlten.

Auch wenn der Connector-Dokumentation gibt, müssen wir Mongo-Hadoop-Core- $ connectorVersion .jar, Mongo-Hadoop-hive- $ connectorVersion .jar und mongodb-Treiber- $ mongoJavaDriver umfassen .jar Für den Hadoop-Klassenpfad scheint es, dass es auch Bson- und Mongodb-Treiber-Core-Gläser benötigt.

Schließlich werden hier logs: /var/log/hive/hiveserver2.log. Ich verstehe nicht, wie ich eine solche Botschaft vermissen könnte, wenn ich diese Protokolle lese, aber nun, hier war es.