Spark UI auf AWS EMR

Ich bin ein AWS EMR-Cluster mit Spark (1.3.1) über die Dropdown-Liste EMR-Konsole installiert. Spark ist aktuell und verarbeitet Daten, aber ich versuche herauszufinden, welcher Port der WebUI zugewiesen wurde. Ich habe versucht, Port 4040 und 8080 ohne Verbindung weiterzuleiten. Ich spreche wie folgt:Spark UI auf AWS EMR

ssh -i ~/KEY.pem -L 8080:localhost:8080 [email protected]_DNS

1) Wie finde ich heraus, was der Spark WebUI zugewiesenen Port ist? 2) Wie überprüfe ich, ob Spark WebUI läuft?

Quelle

2015-07-16 gallamine

Spark für EMR ist für YARN konfiguriert, daher ist die Spark UI über die Anwendungs-URL verfügbar, die vom YARN Resource Manager (http://spark.apache.org/docs/latest/monitoring.html) bereitgestellt wird. Am einfachsten ist es, Ihren Browser mit SOCKS einzurichten, indem Sie einen per SSH geöffneten Port verwenden. Öffnen Sie dann in der EMR-Konsole den Ressourcen-Manager und klicken Sie auf die URL des Anwendungs-Masters rechts neben der ausgeführten Anwendung. Spark-History-Server ist in der Standard-Port 18080.

Beispiel Socken mit EMR bei http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-web-interfaces.html

Quelle

2015-07-18 17:10:16 ChristopherB

Hallo, ich bin in der Lage, die Hadoop Resourcemanager auf 'http zuzugreifen: // Master-public-dns-name: 8088 /', aber keiner der Links zu Application Master URLs funktioniert. Habe ich meinen Proxy falsch eingerichtet, oder sollte ich den YARN ResourceManager verwenden? Wie kann ich auf den YARN ResourceManager zugreifen? Schließlich ist der 'RecourseManager'-Link auf der EMR-Konsole nicht verfügbar, nur 'Enable Web Connection' ist ein klickbarer Link. Irgendeine Idee warum das ist? –

Es klingt wie Sie EMR Release 4.0.0 verwenden. Der Hadoop ResourceManager an Port 8088 ist der YARN ResourceManager. Überprüfen Sie, ob Ihre URL-Muster auf dem SOCKS-Proxy die URL-Pfade enthalten, die die Application Master-URL anzeigt (die wahrscheinlich erwartete Domain ist anders). Schließlich ist das Aktivieren von Web Connection auf der AWS EMR-Konsole ein Fehler, der in Kürze behoben wird. – ChristopherB

Ich habe auch das gleiche Problem, ich kann 8088 in meinem Browser öffnen, aber ich kann 9026 und 9101 nicht öffnen.Außerdem klicke ich auf "Enable Web Connection" und sehe nie die Liste der Links – soulmachine

hier ist eine Alternative, wenn Sie nicht mit SOCKS mit dem Browser-Setup beschäftigen möchten, wie auf den EMR docs vorgeschlagen .

Öffnen Sie einen SSH-Tunnel zu dem Master-Knoten mit Portweiterleitung zur Maschinenlauffunken ui
```
ssh -i path/to/aws.pem -L 4040:SPARK_UI_NODE_URL:4040 [email protected]_URL 
```
MASTER_URL (EMR_DNS in der Frage) ist die URL des Master-Knotens, den Sie von bekommen EMR Management Console Seite für den Cluster

SPARK_UI_NODE_URL kann im oberen Bereich des Stderr-Protokolls angezeigt werden. Die Log-Linie wird in etwa so aussehen:
```
16/04/28 21:24:46 INFO SparkUI: Started SparkUI at http://10.2.5.197:4040 
```
mit Ihrem Browser auf localhost: 4040

versucht, diese auf EMR 4.6 läuft Funken 2.6.1

Quelle

2016-05-04 19:55:27 ud3sh

Wo ist das Stderr-Protokoll? Wenn ich den pyspark in der gleichen Note wie master_URL starte, sollten die master_URL und der SPRK_UL_NODE gleich sein? – sgu

-1

einfach SSH-Tunnel verwenden On Ihre lokale Maschine tun:

ssh -i/path/to/pem -L 3000: ec2-xxxxcompute-1.amazonaws.com: 8088 [email protected]

auf Ihrem lokalen Rechner Browser getroffen:

localhost: 3000

Quelle

2017-02-10 08:31:08 Jimmy

Spark UI auf AWS EMR

Antwort

Verwandte Themen