Importieren von Daten mit Pyspark: Falscher Datentyp

Question

Ich habe ein Problem mit Pyspark: wenn ich mein Dataset mit Pyspark importiere, werden alle meine Spalten als eine Zeichenkette betrachtet, selbst wenn meine Spalten numerisch sind.

Ich habe dieses Problem nicht, wenn ich Daten mit Pandas importiere.

Ich benutze tatsächlich eine Plattform zu Devlop: Dataiku. die Daten sind bereits auf der Plattform und ich importieren sie mit diesem Code:

# Example: Read the descriptor of a Dataiku dataset 
mydataset = 
dataiku.Dataset("Extracts___Retail_Master_Data___Product_Hierarchy_HDFS") 
# And read it as a Spark dataframe 
df = dkuspark.get_dataframe(sqlContext, mydataset) 

ich nicht einen Weg finden, kann meine Daten in das richtige Format zu importieren.

Danke.

Answer 1

In Dateiku gibt es 2 Konzepte: ein Speichertyp und eine Bedeutung. Also, wenn Sie Ihre Daten-Set erkunden werden Sie beide unter jeder Spaltenname (Typ in grau, blau Bedeutung) siehe

Eine Bedeutung ein Typ ist, der Dataiku passt die beste denkt nach, was in dieser Spalte gespeichert.

In Ihrem Fall sollten Sie mit Ihrem Extracts___Retail_Master_Data___Product_Hierarchy_HDFS gehen Dataset Einstellungen ->Schema ->gesetzt korrekte Spaltentypen ->speichern.

Wenn Sie möchten, um mehr zu bekommen gibt es eine doc Seite

https://doc.dataiku.com/dss/latest/schemas/index.html