kann ich azurblaue hdinsight cluster verkleinern?

Question

Ich habe azure hdinsight mit 8-Knoten-Cluster erstellt. Ich führe eine Hive-Abfrage aus, die alle Worker-Nodes belegt. wenn i Fadenknoten -Liste zu überprüfen, wird die folgende Reihenfolge:

Node-Id    Node-State Node-Http-Address  No-of-Running-Containers 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 

nach einigen Stunden, mapper abgeschlossen ist und 2 Reduzierstücke ausführen, wie unten:

Node-Id    Node-State Node-Http-Address  No-of-Running-Containers 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     1 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     1 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 

, wenn zu diesem Zeitpunkt der Ankunft Können wir den Cluster verkleinern, der sich nicht auf die laufenden 2 Arbeiterknoten auswirkt?

Answer 1

Ich persönlich habe nicht versucht, einen laufenden HDInsight-Cluster zu skalieren, aber ich habe einen offiziellen documentation über die unterstützten Cluster-Skalierungsoperationen gelesen (während Jobs laufen). Die unterstützten Anwendungen sind:

• Hadoop
• Hbase
• Funken

Sie wahrscheinlich nicht mit Hive-Abfragen laufen, weil (1) Hive ist nicht in der Liste, und (2) Skala sollte Das Dokument beschreibt, was mit Hadoop-Jobs passiert, wenn Sie bei Jobs, die wie folgt ausgeführt werden, nach unten skalieren. IMHO kann das auch mit Hive-Jobs passieren.

Wenn ein Hadoop-Cluster herunterskaliert wird, indem die Anzahl der Datenknoten reduziert wird, werden einige der Dienste im Cluster neu gestartet. Dies führt dazu, dass alle laufenden und ausstehenden Jobs nach Abschluss des Skalierungsvorgangs fehlschlagen. Sie können die Jobs jedoch erneut senden, sobald die Operation abgeschlossen ist.