Scala-Fehler: Konstruktor kann nicht zum erwarteten Typ instanziiert werden;

Question

Ich versuche dies für Matrixmultiplikation von zwei großen Matrizen in Scala zu tun. Unten ist die Logik für die Multiplikation:

val res = M_.map(M_ => (M_.j,M_)) 
    .join(N_.map(N_ => (N_.j, N_))) 
    .map({ case (_, ((i, v), (k, w))) => ((i, k), (v * w)) }) 
    .reduceByKey(_ + _) 
    .map({ case ((i, k), sum) => (i, k, sum) }) 

M_ und N_ sind zwei RDDs dieser beiden Klassen:

case class M_Matrix (i: Long, j: Long, v: Double) 
case class N_Matrix (j: Long, k: Long, w: Double) 

Aber ich folgende Störung erhalte:

Error image-Please open

Was mache ich hier falsch?

Answer 1

Da Ihr rdd/dateframe M_Matrix und N_Matrix Objekte enthält, können Sie nicht mit einem Tupel übereinstimmen. So etwas sollte funktionieren:

val res = M_.map(M_ => (M_.j,M_)) 
    .join(N_.map(N_ => (N_.j, N_))) 
    .map{ case (_, (m_matrix, n_matrix)) => ((m_matrix.i, n_matrix.k), m_matrix.v * n_matrix.w)} 
    .reduceByKey(_ + _) 
    .map{ case ((i, k), sum) => (i, k, sum)} 

---

Eine bessere Lösung als die Fall Klassen würde e MatrixEntry verwenden:

import org.apache.spark.mllib.linalg.distributed.MatrixEntry 

es Verwenden Sie statt M_Matrix und N_Matrix wenn die RDDs Gebäude, dann Die join kann wie folgt aussehen:

val res = M_.map(M_ => (M_.j,M_)) 
    .join(N_.map(N_ => (N_.i, N_))) 
    .map{ case (_, (m_matrix, n_matrix)) => ((m_matrix.i, n_matrix.j), m_matrix.value * n_matrix.value)} 
    .reduceByKey(_ + _) 
    .map{ case ((i, k), sum) => MatrixEntry(i, k, sum)} 

Dies führt zu einem RDD[MatrixEntry], genau wie die beiden, die verbunden wurden.