wählen Sie zufällige Spalten aus einem sehr großen Datenrahmen in pyspark

Question

Ich habe ein Datenfeld in Pyspark, die rund 150 Spalten hat. Diese Spalten ergeben sich aus dem Zusammenfügen verschiedener Tabellen. Nun besteht meine Anforderung darin, den Datenrahmen in eine Datei zu schreiben, aber in einer bestimmten Reihenfolge wie zuerst 1 bis 50 Spalten schreiben, dann Spalte 90 bis 110 und dann Spalte 70 und 72. Das heißt, ich möchte nur bestimmte Spalten auswählen und neu anordnen.

Ich kenne einen der Weg ist, df.select zu verwenden ("geben Sie Ihre Spalte Reihenfolge"), aber in meinem Fall sind die Spalten sehr groß und es ist nicht möglich, jeden einzelnen Spaltennamen in 'auswählen ".

Bitte sagen Sie mir, wie ich das in pyspark erreichen kann.

Hinweis- Ich kann keine Beispieldaten bereitstellen, da die Anzahl der Spalten sehr groß ist und die Spaltennummer in meinem Fall der Hauptblockierer ist.

Answer 1

Es ist wie alles klingt, die Sie tun möchten, ist programmatisch die Liste der Spaltennamen zurückgeben, aus dieser Liste eine Scheibe oder Scheiben auswählen, und wählen Sie dann, dass die Teilmenge von Spalten in einige Bestellung von Ihrem Datenrahmen. Sie können dies tun, indem Sie die Liste df.columns bearbeiten. Als Beispiel:

a=[list(range(10)),list(range(1,11)),list(range(2,12))] 
df=sqlContext.createDataFrame(a,schema=['col_'+i for i in 'abcdefghij']) 

df ist ein Datenrahmen mit Spalten ['col_a', 'col_b', 'col_c', 'col_d', 'col_e', 'col_f', 'col_g', 'col_h', 'col_i', 'col_j'] ist. Sie können diese Liste zurückgeben, indem Sie df.columns aufrufen, die Sie wie jede andere Python-Liste aufteilen und neu anordnen können. Wie Sie das tun, hängt von Ihnen ab und welche Spalten Sie aus dem df und in welcher Reihenfolge auswählen möchten. Zum Beispiel:

mycolumnlist=df.columns[8:9]+df.columns[0:5] 
df[mycolumnlist].show() 

Returns

+-----+-----+-----+-----+-----+-----+ 
|col_i|col_a|col_b|col_c|col_d|col_e| 
+-----+-----+-----+-----+-----+-----+ 
| 8| 0| 1| 2| 3| 4| 
| 9| 1| 2| 3| 4| 5| 
| 10| 2| 3| 4| 5| 6| 
+-----+-----+-----+-----+-----+-----+ 

Answer 2

Sie können die Liste der Spalten programmatisch

first_df.join(second_df, on-'your_condition').select([column_name for column_name in first_df.columns] + [column_name for column_name in second_df.columns]) 

erstellen Sie zufällig ausgewählte Untergruppe von Spalten mithilfe von random.sample(first_df.columns, number_of_columns) Funktion auswählen können.

this helps :)