Fehler beim Pipeline- RDD Umwandlung in pyspark zu Datenrahmen

Question

Ich versuche, die unter pipelined RDD in Datenrahmen zu konvertieren.

Pipelined RDD -> user_rdd

['new_user1', 
'new_user2', 
'Onlyknows', 
'Icetea', 
'_coldcoffee_'] 

Ich versuchte

schema = StructType([StructField('Username', StringType(), True)]) 
user_df = sqlContext.createDataFrame(user_rdd,schema) 
mention_df.show(20) 

Ich erhalte die folgenden Fehler mit dem folgenden Code zu konvertieren:

ValueError: Unexpected tuple 'new_user1' with StructType 

I toDF versucht, mit () auch:

user_df=user_rdd.toDF() 

Dieses Mal begegnet der Fehler ist:

TypeError: Can not infer schema for type: <type 'str'> 

Lassen Sie mich wissen, ob es einen Weg gibt, dies zu Datenrahmen zu konvertieren pyspark verwenden.

Answer 1

Die rdd Sie haben, ist eine Liste von Strings, die im Wesentlichen 1d Daten ist; Ein Datenrahmen erfordert 2d Daten; Wandeln Sie jedes Element in der rdd zu einem Tupel sollte das Problem beheben:

user_df = sqlContext.createDataFrame(user_rdd.map(lambda x: (x,)), schema) 
#            ^^^^^^^^^^^^^^^^^^^ 
user_df.show() 
+------------+ 
| Username| 
+------------+ 
| new_user1| 
| new_user2| 
| Onlyknows| 
|  Icetea| 
|_coldcoffee_| 
+------------+