Plain vanilla Hadoop-Installation vs Hadoop-Installation mit Ambari

Question

Ich habe kürzlich die hadoop-Distribution von Apache heruntergeladen und es ziemlich schnell gestartet. Lade den Hadoop-Teerball herunter, entpacke ihn an einem Ort und in einer Konfigurationsumgebung. Die Sache hier ist, dass ich in der Lage bin, die verschiedenen Konfigurationsdateien wie zu sehen: yarn-site.xml, hdfs-site.xml usw .; und ich kenne den Standort des Hadoops.

Als nächstes habe ich Hadoop (HDP) mit Ambari installiert.

Hier kommt der Verwirrungsteil. Es scheint, dass Ambarin die hdp in/usr/hdp installiert; Allerdings ist die Verzeichnisstruktur in Plain Vanilla Hadoop vs Ambari völlig anders. Ich kann die Konfigurationsdateien z. B. nicht finden. yarn-site.xml usw.

Kann mir also jemand helfen, das zu entmystifizieren?

Answer 1

Alle Konfigurationsänderungen müssen über die Ambari UI vorgenommen werden. Die Konfigurationsdateien werden nicht verwendet, da Ambari die Konfigurationen in Ambari Database beibehalten hat. Wenn Sie sie noch benötigen, sind sie unter /etc/hadoop/conf/.

Answer 2

Es stimmt, dass Konfigurationsänderungen über die Benutzeroberfläche von Ambari vorgenommen werden müssen und dass diese Konfigurationen in einer Datenbank gespeichert werden.

Warum müssen diese Konfigurationseigenschaften in Ambari UI und nicht direkt auf der Festplatte geändert werden?

Jedes Mal, wenn ein Dienst neu gestartet wird und eine veraltete Konfiguration aufweist, ist der ambari-agent dafür verantwortlich, die neueste Konfiguration auf die Festplatte zu schreiben. Sie sind in /etc/<service-name>/conf geschrieben. Wenn Sie Änderungen direkt an den Konfigurationsdateien auf der Festplatte vornehmen würden, würden sie durch den oben genannten Vorgang überschrieben.

jedoch die Konfigurationsdateien auf der Festplatte noch Verwendung haben DO gefunden ...

Die Konfigurationsdateien (auf dem Datenträger) werden von den verschiedenen hadoop Dämonen verwendet, wenn sie/Laufen gestartet sind.

Answer 3

Grundlegend der Vorteil der Verwendung von Ambari UI in der Cluster-Hadoop-Bereitstellung. Es wird Ihnen einen zentralen Verwaltungspunkt geben.

Zum Beispiel:

10 Stück Hadoop Cluster-Setup.

Plain Vanilla Hadoop:

• Wenn Sie irgendeine Konfiguration ändern Sie in 10 PC

Ambari UI geändert werden muss:

• Aufgrund Konfigurationsspeicher in db. Sie ändern nur im Verwaltungsportal alle Änderungen, die sich auf allen Knoten widerspiegeln, durch Einzelpunktänderung.