Wie bekomme ich die ID einer Map-Aufgabe in Spark?

Question

Gibt es eine Möglichkeit, die ID einer Map-Aufgabe in Spark zu erhalten? Wenn beispielsweise jede Kartenaufgabe eine benutzerdefinierte Funktion aufruft, kann ich die ID dieser Kartenaufgabe von dieser benutzerdefinierten Funktion erhalten?

Answer 1

Ich bin nicht sicher, was Sie ID Karten Aufgabe bedeuten, aber Sie können Task-Informationen mit TaskContext zugreifen:

import org.apache.spark.TaskContext 

sc.parallelize(Seq[Int](), 4).mapPartitions(_ => { 
    val ctx = TaskContext.get 
    val stageId = ctx.stageId 
    val partId = ctx.partitionId 
    val hostname = java.net.InetAddress.getLocalHost().getHostName() 
    Iterator(s"Stage: $stageId, Partition: $partId, Host: $hostname") 
}).collect.foreach(println) 

Eine ähnliche Funktionalität zu PySpark in Spark-2.2.0 hinzugefügt (SPARK-18576):

from pyspark import TaskContext 
import socket 

def task_info(*_): 
    ctx = TaskContext() 
    return ["Stage: {0}, Partition: {1}, Host: {2}".format(
     ctx.stageId(), ctx.partitionId(), socket.gethostname())] 

for x in sc.parallelize([], 4).mapPartitions(task_info).collect(): 
    print(x)