2017-09-21 2 views
0

Ich versuche den flink Verlaufsserver zu konfigurieren. Ich bin dem Flink Dokument here gefolgt. Ich bin in der Lage, den Verlaufsserver aufzurufen, konnte aber nur die abgeschlossenen Jobs sehen, nicht die laufenden Jobs. Fehle ich etwas oder werden nur die abgeschlossenen Jobs im History Server angezeigt? Freundlich helfen.Flink Verlaufsserver zeigt keine laufenden Anwendungen

Jobs zur Zeit in Cluster:

localhost: 8081/joboverview

{ 
    "running": [ 
     { 
      "jid": "e4e6edb76b887054d7aca460b7136937", 
      "name": "Filter", 
      "state": "RUNNING", 
      "start-time": 1505971363801, 
      "end-time": -1, 
      "duration": 11588615, 
      "last-modification": 1505971363832, 
      "tasks": { 
       "total": 1, 
       "pending": 0, 
       "running": 1, 
       "finished": 0, 
       "canceling": 0, 
       "canceled": 0, 
       "failed": 0 
      } 
     } 
    ], 
    "finished": [ 
     { 
      "jid": "ec16f4cf01192268150c750966cefd0d", 
      "name": "Flink Java Job at Thu Sep 21 10:52:09 IST 2017", 
      "state": "FINISHED", 
      "start-time": 1505971329989, 
      "end-time": 1505971330746, 
      "duration": 757, 
      "last-modification": 1505971330746, 
      "tasks": { 
       "total": 3, 
       "pending": 0, 
       "running": 0, 
       "finished": 3, 
       "canceling": 0, 
       "canceled": 0, 
       "failed": 0 
      } 
     } 
    ] 
} 

verfügbar Jobs in History Server

localhost: 8082/joboverview

{ 
    "running": [], 
    "finished": [ 
     { 
      "jid": "ec16f4cf01192268150c750966cefd0d", 
      "name": "Flink Java Job at Thu Sep 21 10:52:09 IST 2017", 
      "state": "FINISHED", 
      "start-time": 1505971329989, 
      "end-time": 1505971330746, 
      "duration": 757, 
      "last-modification": 1505971330746, 
      "tasks": { 
       "total": 3, 
       "pending": 0, 
       "running": 0, 
       "finished": 3, 
       "canceling": 0, 
       "canceled": 0, 
       "failed": 0 
      } 
     } 
    ] 
} 

Flink Geschichte Serverkonfiguration:

#============================================================================== 
# HistoryServer 
#============================================================================== 

# The HistoryServer is started and stopped via bin/historyserver.sh (start|stop) 

# Directory to upload completed jobs to. Add this directory to the list of 
# monitored directories of the HistoryServer as well (see below). 
jobmanager.archive.fs.dir: hdfs://<hdfs>:8020/sax/flink/jobmanager 

# The address under which the web-based HistoryServer listens. 
historyserver.web.address: localhost 

# The port under which the web-based HistoryServer listens. 
historyserver.web.port: 8082 

# Comma separated list of directories to monitor for completed jobs. 
historyserver.archive.fs.dir: hdfs://<hdfs>:8020/sax/flink/jobmanager 

# Interval in milliseconds for refreshing the monitored directories. 
historyserver.archive.fs.refresh-interval: 10000 

Antwort

0

Die erste Zeile der Flink Website, die Sie verknüpften Zustände:

Flink hat eine Geschichte Server, der verwendet werden kann, die Statistiken von abfragen abgeschlossene Jobs nachdem der entsprechende Flink-Cluster heruntergefahren wurde.

die auch besagt, dass

Die HistoryServer Sie den Status und die Statistiken von abgeschlossene Aufträge abfragen kann, die von einem Jobmanager archiviert wurden.

nun von dem, was ich sehe, haben Sie auch Zugriff auf die Überwachung api, die Sie mit „localhost: 8081/joboverview“ zugegriffen, wenn Sie nur die laufenden Aufträge zugreifen möchten, können Sie sie mit „/ joboverview zugreifen können/running "uri

Weitere Informationen finden Sie unter Monitoring API Link hier.

+0

Vielen Dank für Ihre Antwort. Ja, ich habe das Dokument durchgesehen und es ist klar, dass nur abgeschlossene Jobs im Verlaufsserver angezeigt werden. Ich war verwirrt, weil ich es mit dem Spark History Server verglichen habe, wo wir sowohl laufende als auch abgeschlossene Jobs sehen können. Hier in Flink kann ich den JSON mit Laufen sehen und fertig, aber der laufende JSON ist immer leer. Aus diesem Grund habe ich diese Frage gestellt, um meine Zweifel zu klären. – far2c

+0

Laufen ist immer leer? kannst du vielleicht die Frage mit ein bisschen mehr Informationen aktualisieren, damit wir schauen können, was genau falsch ist. Andernfalls, wenn Ihnen die Antwort geholfen hat, können Sie sie als akzeptiert markieren. –

Verwandte Themen