-2
Ich habe eine RDD POJO Werte. Ich muss die Werte von RDD durchlaufen. Aber da das Datenvolumen riesig ist, möchte ich nicht sammeln.Iterate über RDD in Apache Funke ohne zu sammeln
Gibt es einen alternativen Ansatz zum Iterieren von RDD-Werten ohne Collect zu verwenden.
Was Sie erreichen wollen? Was ist das Endziel? Die meisten RDD-Operationen "iterieren" die RDD auf die eine oder andere Weise. Die einfachste ist "map", die auf jedes Element eine Funktion anwendet und eine neue RDD mit den transformierten Elementen zurückgibt. – puhlen
Wenn Sie versuchen, die RDD von POJO in einem persistenten Speicher zu speichern, können Sie auch die Funktion 'map' verwenden. In diesem Fall müssen Sie nicht alle Daten sammeln. Aber es wäre besser, wenn Sie sagen könnten, was Sie erreichen wollen. – himanshuIIITian