So ordnen Sie eine RDD der Fallklasse zu LabeledPoint (Beschriftung, Feature-Vektor)

Question

Zuordnen eines RDD der Fallklasse zu LabeledPoint (Beschriftung, Feature-Vektor).

Dies ist die RDD von Fallklasse Exam (x: Double, y: Doppel):

Ds (1.0,6.0)

Ds (2.0,8.0)

Ds (3,0, 10,0)

Ds (3.0,10.0)

ds (4.0,12.0)

Ds (5.0,14.0)

versucht, dies zu tun -

 val parsedData = aRDD.map(row => 
    new LabeledPoint(
    row._1, 
    Vectors.dense(row._2)) 

Erste Fehler "Wert _1 ist kein Mitglied von main.scala.spark.Q1Partb.Q1.Exam" bei row._1 und row._2

und dies -

  val parsedData = aRDD.map{line => 
      val Array(rawLabel, rawfeatures) = line.split(',') 
      val features = rawfeatures) .split(' ').map(_.toDouble) 
      LabeledPoint(rawLabel.toDouble, Vectors.dense(features))} 

Erste Fehler "rekursiven Wert x Typ $ 4 needs" für rawLabel und "Wert Split ist kein Mitglied von main.scala.spark.Q1Partb.Q1.ds" für line.split ('')

Answer 1

Wenn Sie eine RDD [Prüfung] haben sollten Sie in der Lage sein, zu schreiben

val parsedData = aRDD.map(exam => LabeledPoint(exam.x, Vectors.dense(exam.y)) 

Answer 2

ich dieses Problem hatte, weil meine Variablennamen durch eine Funktion genommen wurde.

So private val Seq(transaction, transaction2) = insertTx(...

wurde

private val Seq(transaction1, transaction2) = insertTx(...

mit der Transaktion der Täter zu sein.