1
bei dieser Suche:Cloudera Hive auf Spark 2.x?
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#hive_on_spark
zusammenfassen zu, heißt es Hive funktioniert nicht auf Spark-2.x in Cloudera.
Allerdings gehe ich davon aus Hive auf Spark-2.x in anderen Distributionen laufen wird. Hat jemand CDH 5.10.x oder höher konfiguriert, um Hive auf Spark 2.x auszuführen?
Ist Spark-2.x einen großen Sprung nach vorne Spark 1.6?
Ja, Spark 2.x _ ist ein großer Schritt vorwärts von Spark 1.6. Ich habe Hive mit Spark 2.x nicht in meinen Cloudera-Bereitstellungen verwendet, aber ich möchte Sie ermutigen, auch in den Cloudera-Benutzerforen nachzufragen und hier zu antworten. – Garren
Nicht sicher, aber mein Verständnis davon ist das folgende: Hive-On-Spark 2 ist das Konzept der Verwendung von Spark 2 als Ausführungs-Engine von Hive. Sogar ohne Hive-On-Spark 2 können Sie Spark 2 verwenden und mit Hive-Tabellen arbeiten (wir tun dies mit CDH 5.8 und das funktioniert einwandfrei) –
Sie meinen also, Sie greifen auf die Hive-Metadaten und schreiben dann benutzerdefinierte Spark-Jobs mit und die zugrunde liegenden Daten, die es beschreibt? Ich denke, das könnte nützlich sein, aber wir würden es vorziehen, Hive-Abfragen mit Spark 2.x als exe-Engine auszuführen. Wir können dies mit Spark 1.6 auf Cloudera tun. – medloh