Ich versuche, unter Befehl auf Google Cloud Dataproc zu installieren:Dataproc Fehler Oozie Paket
apt-get install oozie-client
Aber Dataproc versagt aufzulisten Oozie Paket in Repository.
Fehler:
[email protected]<master>:#> apt-get install oozie-client
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package oozie-client
Hat jemand wissen, wie dieses Problem zu beheben?
Die Antwort dafür ist wahrscheinlich am besten gesagt es ist kompliziert.
Oozie-Client kompiliert derzeit nicht gegen Hive 2 und Spark 2. Newer versions von Cloud Dataproc sind mit Spark 2 und Hive so gebaut. Daher ist der Oozie-Client zu diesem Zeitpunkt in unserem Build nicht enthalten, da er etwas unordentlich ist.
Es könnte arbeiten mit Pig und MapReduce, obwohl. Es hängt also von Ihrem Anwendungsfall ab. Planen Sie, es mit Pig/MR oder Hive/oder/Spark zu verwenden?
Apache Airflow wurde zunehmend mit Cloud Dataproc verwendet und scheint ziemlich gut zu funktionieren. Natürlich gibt es einige Kompromisse, wie die Tatsache, dass Airflow wahrscheinlich am besten vom Cluster selbst getrennt ist, eine Weile dauern kann und ein Inkubationsprojekt ist.
(Quelle - Ich bin die Wolke Dataproc PM)
Nicht wirklich Ihre Frage zu beantworten, aber haben Sie versucht, die in Dosen Initialisierungsaktion für Oozie: https://github.com/GoogleCloudPlatform/dataproc-initialization-actions/ Blob/Master/Oozie/Oozie.sh – tix
Ich versuchte die vordefinierte Initialisierung Aktion. Das gleiche Problem, und auch apt-get installieren oozie hat das gleiche Problem. – RanP
yea, Gleiches Problem mit vordefiniertem Initialisierungsskript, da intern nach demselben Paket während der Ausführung gesucht wird. – Revan