Ich möchte eine Java-Anwendung erstellen, die einen SQLOF-Job ausführt, einige HDFS-Operationen ausführt und Metadaten in der Struktur ändert.Wie baue ich eine Anwendung gegen HDP 2.6.1.0 Stapel
Um all dies zu erreichen, habe ich ein Maven-Projekt erstellt, aber ich stoße ständig auf Abhängigkeitsprobleme.
Kann jemand mir ein Beispiel pom.xml geben, damit ich anfangen kann, meine Anwendung zu schreiben?
Danke!
<repository>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
<id>hortonworks.extrepo</id>
<name>Hortonworks HDP</name>
<url>http://repo.hortonworks.com/content/repositories/releases</url>
</repository>
<repository>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
<id>hortonworks.other</id>
<name>Hortonworks Other Dependencies</name>
<url>http://repo.hortonworks.com/content/groups/public</url>
</repository>
hinzufügen <dependency> Abschnitt zum Beispiel hadoop-common:2.7.3.2.5.0-37, wo das ist die hadoop Version + HDP Version
die Abhängigkeiten brauche ich zum Beispiel für das Lesen und Dateien hdfs Schreiben ? Ich habe Probleme mit Hadoop-Core. Es gibt keine Version 2.7.3.2.5.0-37 im Repository. Welches der vorhandenen sollte ich verwenden? – Joha
Sie können hadoop-common verwenden, aber es gibt auch hadoop-client und hadoop-hdfs. Da Sie sich in einem 2.6-Cluster befinden, würden Sie auch keine 2.5-Version verwenden. –
Sie können diese URL direkt durchsuchen, um die Versionen http://repo.hortonworks.com/content/groups/public/org/apache zu finden/Hadoop/Hadoop-häufig / –