Ich muss folgende Operation ausführen: Auswahl jedes Feld in der RDD. Ich habe es in Scala konvertieren, expecially das Teil in der dritten Zeile, Auswählen jeder Spalte:Auswahl der Spalte RDD scala-spark
val rddHash=x.map(row =>(DigestUtils.sha1Hex(row(0).toString.getBytes("UTF-8")),row(1).toString)).reduceByKey((a,b)=>(a+b))
val z=rddHash.cartesian(rddHash)
val outRdd=z.map(m => (m(0)(0),(m(1)(0),euclidean(m(0)(1).split(','),m(1)(1).split(',')))))
X die Datenmenge als (String, Object) aufgeladen ist.
Aber dieser Code funktioniert nicht, das Problem ist der Teil in Bezug auf die dritten Zeilen, in denen ich versuche, Elemente über m (0) (0), m (1) (0) usw. zu wählen. Der Fehler ist:
<console>:42: error: ((String, String), (String, String)) does not take parameters
Wie kann ich jedes Feld in der rdd in Scala wählen?
Ps meine Codezeile in pyspark ist die folgende:
outRdd=cartesian.map(lambda m: (m[0][0],(m[1][0],euclidean(m[0][1].split(','),m[1][1].split(',')))))
Wo kartesischer die gleiche struucture zeigte, dass vor:
((String, String), (String, String))