Autoscaling AWS EMR-Cluster 0 Knoten

Question

Kreuz Entsendung von: https://forums.aws.amazon.com/thread.jspa?messageID=766424

Hey,

Der Versuch, diese Politik zu einer Kerninstanzgruppe anwenden:

{ 
    "Constraints": { 
     "MinCapacity": 0, 
     "MaxCapacity": 2 
    }, 
    "Rules": [ 
     { 
      "Name": "ScaleUp", 
      "Action": { 
       "Market": "ON_DEMAND", 
       "SimpleScalingPolicyConfiguration": { 
        "AdjustmentType": "EXACT_CAPACITY", 
        "ScalingAdjustment": 5, 
        "CoolDown": 300 
       } 
      }, 
      "Trigger": { 
       "CloudWatchAlarmDefinition": { 
        "ComparisonOperator": "GREATER_THAN", 
        "MetricName": "AppsPending", 
        "Threshold": 0, 
        "Period": 300 
       } 
      } 
     }, 
     { 
      "Name": "ScaleDown", 
      "Action": { 
       "Market": "ON_DEMAND", 
       "SimpleScalingPolicyConfiguration": { 
        "AdjustmentType": "EXACT_CAPACITY", 
        "ScalingAdjustment": 0, 
        "CoolDown": 300 
       } 
      }, 
      "Trigger": { 
       "CloudWatchAlarmDefinition": { 
        "ComparisonOperator": "LESS_THAN_OR_EQUAL", 
        "MetricName": "AppsRunning", 
        "Threshold": 0, 
        "Period": 300 
       } 
      } 
     } 
    ] 
} 

Aber ich bekomme diese Fehlermeldung :

Ich bin kein Experte in EMR, aber aus der Docs dachte ich, dass dies tun d möglich sein (Ich kann einen Master-Cluster nur manuell in der UI erstellen, warum besteht dieser Unterschied?). Der Master-Knoten führt einen Job in einem Cron-Zeitplan aus. Wenn er gestartet wird, wird der Job generiert. Anschließend werden durch das AutoScaling die Core-Instanzen zum Verarbeiten des Jobs hochgezählt und nach Abschluss des Jobs herunterskaliert.

Irgendwelche Vorschläge?

Danke, Alex

PS. Um die funktionalen Anforderungen zu verdeutlichen, versuche ich, einen Zeppelin-Dashboard-Dienst auf dem Master zu betreiben, lasse ihn alle 24 Stunden einen Batch-Job starten, der einige Knoten benötigt und dann den Rest der Zeit auf 0 Knoten herunterskaliert. Gerne andere Vorschläge zu berücksichtigen, um dies zu erreichen, wenn ich das falsche Ende des Stocks habe.

Answer 1

Es ist wahr, dass Sie einen Single-Node Master-Only-Cluster ohne Kernknoten starten können, aber dies ist eine spezielle Art von "Cluster", die alles auf dem Master ausführt. Ein Übergang von einem Cluster mit mehreren Knoten zu einem Cluster mit einem Knoten oder umgekehrt ist nicht möglich. Aus diesem Grund hat die Core-Instanzgruppe mindestens 1 Instanz, selbst wenn Autoskalierung verwendet wird.