Ermitteln Spark-UI-Port aus Jupyter/Pypspark

Question

Ich habe mehrere Jupyter Notebooks mit jeweils eigenen pyspark (Spark 1.6.1) Kernel laufen. Wie kann ich herausfinden, welche Spark UI-Instanz zu welchem ​​Kernel gehört? Offensichtlich konnte ich einfach durch die offenen Seiten (http://sparky:4040, http://sparky:4041, usw.) radeln und versuchen, es auszuarbeiten, aber ich hoffe, es gibt eine programmatische Art und Weise, dies zu tun.

Edit: Ich habe keine Root-Zugriff auf den Server haben ...

Answer 1

Dies ist hässlich, aber es funktioniert ...

import urllib 
sparkHost = "sparky" 

for x in range(4040,4060): 
    link = "http://"+sparkHost+":"+str(x)+"/environment/" 
    try: 
     f = urllib.request.urlopen(link) 
     myfile = f.read() 
     if (sc.applicationId in str(myfile)): 
      print ('Application ID found on port ', x) 
    except: 
     pass 

Alle Verbesserungen auf diesem sind mehr als willkommen!

Answer 2

Sie nmap Dienstprogramm für diese verwenden:

sudo nmap -O sparky 

Es wird alle offenen Ports auf sparky Host zeigen.