Herauszufinden Duplikate in einem Datensatz in scala

Question

Ich habe einen Datensatz, der ein Datensatz von String ist, und es hat die Daten

12348,5,233,234559,4 
12348,5,233,234559,4 
12349,6,233,234560,5 
12350,7,233,234561,6 

Ich möchte die doppelten Zeilen in einem Datensatz, um herauszufinden, wie ich tun, dass ? Ich möchte die Duplikate entfernen. Im Beispiel ist die doppelte Zeile 12348,5,233,234559,4 und ich möchte nur eine einzige Instanz davon ausgeben.

Wie gehe ich vor?

Answer 1

Dimas Antwort funktionieren soll. Hier ist eine andere Lösung.

I denke (nicht positiv)groupby würde alle Daten im Speicher halten .. also vielleicht wäre das besser für Sie.

Ich bin neu zu scala selbst, ich habe tatsächlich eine Weile damit verbracht, dies als Praxis haha ​​zu beantworten. Verwirrend, aber es macht Sinn!

Denken Sie an eine Karte wie ein Wörterbuch. Sie können Paare darin speichern. In scala können Sie ein Schlüssel/Wert-Paar hinzufügen/aktualisieren, indem Sie ein Paar hinzufügen. Map(b -> 4) + ("c" -> 2) würde Map(b -> 4, c -> 2) zurückgeben. Erweiternd gibt Map(b -> 4, c -> 2) + ("b" -> 1)Map(b -> 1, c -> 2) zurück. Was acc ist (aus Gründen der Klarheit in Zählung umbenannt) ist der Akkumulator eines wachsenden Objekts, wenn der Iterator gefaltet ist. Jedes Mal, wenn es eine neue Zeile trifft, prüft es, ob diese Zeile bereits in der Map enthalten ist (wiederum Think Dictionary). Wenn der Wert dort ist, nimmt es den vorherigen Wert mit getOrElse und fügt 1 hinzu, aktualisiert dann die ACC-Map mit dem neuen Paar, oder es initialisiert es bei eins, wenn es noch nicht existiert (da es das erste Mal war Reihe wurde gesehen).

Hier ist der beste Blog, den ich fürs Lernen Faltung gefunden habe. Der Autor beschreibt es prägnant und genau: https://coderwall.com/p/4l73-a/scala-fold-foldleft-and-foldright

Answer 2

Wenn Sie Scala-Sammlungen verwenden (wie Seq, List), haben Sie eine Methode namens .distinct. Ansonsten kann man es in einem Set verwandeln, die Duplikate von Standard entfernt (aber nicht konservieren nicht die Reihenfolge)

Answer 3

dataSet.groupBy(identity).collect { case (k,v) if v.size > 1 => k }