Spark: Zählen Sie zwei Felder zusammen

Question

Ich versuche einige Parameter mit Spark zu zählen. Ich habe das Beispiel für die Wortzahl verwendet. In diesem Beispiel können wir ein Wort zählen, aber ich frage mich, wie ich zwei Felder gleichzeitig zählen kann. Hier

ist das, was ich tun möchte:

Eingabedateien

{ 
    "redundancy":1, 
    "deviceID":"dv1" 
} 
{ 
    "redundancy":1, 
    "deviceID":"dv2" 
} 
{ 
    "redundancy":2, 
    "deviceID":"dv1" 
} 
{ 
    "redundancy":1, 
    "deviceID":"dv1" 
} 
{ 
    "redundancy":2, 
    "deviceID":"dv5" 
} 

Ausgabedateien

{ 
    "redundancy":1, 
    "count":3, 
    "nbDevice":2 
} 
{ 
    "redundancy":2, 
    "count":2, 
    "nbDevice":2 
} 

Ich frage mich, ob es bereits ein Beispiel für diesen Anwendungsfall oder wenn Sie irgendwelche Unterlagen oder Links haben, wäre ich sehr dankbar.

Answer 1

Sie können Paare als Schlüssel verwenden.

Die Lösung kann wie folgt aussehen:

rdd.map(record => (record.firstField, record.secondField) -> 1) 
    .reduceByKey(_ + _)