Von DataFrame zu RDD [LabeledPoint]

Question

Ich versuche, einen Dokumentklassifikator mit Apache Spark MLlib zu implementieren, und ich habe einige Probleme, die Daten darzustellen. Mein Code ist der folgende:

import org.apache.spark.sql.{Row, SQLContext} 
import org.apache.spark.sql.types.{StringType, StructField, StructType} 
import org.apache.spark.ml.feature.Tokenizer 
import org.apache.spark.ml.feature.HashingTF 
import org.apache.spark.ml.feature.IDF 

val sql = new SQLContext(sc) 

// Load raw data from a TSV file 
val raw = sc.textFile("data.tsv").map(_.split("\t").toSeq) 

// Convert the RDD to a dataframe 
val schema = StructType(List(StructField("class", StringType), StructField("content", StringType))) 
val dataframe = sql.createDataFrame(raw.map(row => Row(row(0), row(1))), schema) 

// Tokenize 
val tokenizer = new Tokenizer().setInputCol("content").setOutputCol("tokens") 
val tokenized = tokenizer.transform(dataframe) 

// TF-IDF 
val htf = new HashingTF().setInputCol("tokens").setOutputCol("rawFeatures").setNumFeatures(500) 
val tf = htf.transform(tokenized) 
tf.cache 
val idf = new IDF().setInputCol("rawFeatures").setOutputCol("features") 
val idfModel = idf.fit(tf) 
val tfidf = idfModel.transform(tf) 

// Create labeled points 
val labeled = tfidf.map(row => LabeledPoint(row.getDouble(0), row.get(4))) 

Ich muss Datenframes verwenden, um die Token zu generieren und die TF-IDF-Features zu erstellen. Das Problem tritt auf, wenn ich versuche, diesen Datenrahmen in eine RDD [LabeledPoint] umzuwandeln. Ich ordnet die Datenframezeilen zu, aber die get-Methode von Row gibt einen beliebigen Typ zurück, nicht den Typ, der im Datenrahmenschema (Vector) definiert ist. Daher kann ich die RDD nicht bauen, die ich brauche, um ein ML-Modell zu trainieren.

Was ist die beste Option, um nach der Berechnung einer TF-IDF eine RDD [LabeledPoint] zu erhalten?

Answer 1

Casting das Objekt für mich verwenden gearbeitet.

Versuchen:

// Create labeled points 
val labeled = tfidf.map(row => LabeledPoint(row.getDouble(0), row(4).asInstanceOf[Vector])) 

Answer 2

Sie benötigen getAs[T](i: Int): T

// Create labeled points 
val labeled = tfidf.map(row => LabeledPoint(row.getDouble(0), row.getAs[Vector](4)))