Wie programmgesteuert HDFS und YARN-Version erhalten?

Question

Ich schreibe ein Spark-Programm, die verschiedene Jars von Maven herunterladen, basierend auf der Umgebung, auf der es läuft, jeweils für eine andere Version der Hadoop-Distribution (z. B. CDH, HDP, MapR).

Dies ist notwendig, da einige Low-Level-APIs von HDFS und YARN nicht zwischen diesen Distributionen geteilt werden. Ich kann jedoch keine öffentliche API von HDFS und YARN finden, die ihre Version angibt.

Ist es möglich, es nur in Java zu tun? Oder muss ich eine externe Shell ausführen, um es zu wissen?

Answer 1

In Java sollte org.apache.hadoop.util.VersionInfo.getVersion() funktionieren.

https://hadoop.apache.org/docs/current/api/org/apache/hadoop/util/VersionInfo.html

Für die CLIs können Sie verwenden:

$ hadoop version 
$ hdfs version 
$ yarn version