Erhalten Sie einzigartigen RDD Strings

Question

ich das folgende Beispiel RDD erstellt habe,

val rdd = sc.parallelize(List(("something1@domainA.com"), 
           ("something2@domainA.com"), 
           ("something3@domainB.com"))) 

//I used the following to split, 

val rdd1 = rdd.map(_.split("@")) //RDD[Array[String]] 

Was ich versuche jetzt zu tun ist, eine neue RDD mit verschiedenen Domänen zu erhalten, das heißt

val finalrdd = sc.parallelize(List(("domainA"), 
            ("domainB"))) 

fand ich this post aber ich konnte es nicht zur Arbeit bringen.

Answer 1

Versuchen:

rdd.map(_.split("@")).flatMap { case Array(_, d) => d.split("\\.").headOption }.distinct