Broadcast-Funktionalität in Apache Flink mit Java

Question

Ich versuche Apache Flink - Broadcasting zu implementieren. Wie implementieren wir Broadcasting für Datensätze mit Java.

Bitte helfen.

Answer 1

Die Flink DataSet API Programming Guide bietet und Beispiel dafür, wie Sie einen Datensatz in Java übertragen können:

// 1. The DataSet to be broadcasted 
DataSet<Integer> toBroadcast = env.fromElements(1, 2, 3); 

DataSet<String> data = env.fromElements("a", "b"); 

data.map(new RichMapFunction<String, String>() { 
    @Override 
    public void open(Configuration parameters) throws Exception { 
     // 3. Access the broadcasted DataSet as a Collection 
     Collection<Integer> broadcastSet = getRuntimeContext().getBroadcastVariable("broadcastSetName"); 
    } 

    @Override 
    public String map(String value) throws Exception { 
     ... 
    } 
}).withBroadcastSet(toBroadcast, "broadcastSetName"); // 2. Broadcast the DataSet