Ein SparkSession DataFrame auf DSX importieren

Question

Ich arbeite derzeit an Data Science Experience und möchte eine CSV-Datei als SparkSession DataFrame importieren. Ich bin in der Lage, den DataFrame erfolgreich zu importieren, jedoch werden alle Spaltenattribute in Zeichenfolientyp konvertiert. Wie lässt diese DSX-Funktion die in der CSV-Datei vorhandenen Typen erkennen?

Answer 1

Derzeit ist der generierte Code für die eigentliche Erstellung des pyspark.sql.DataFrame sieht wie folgt aus:

df_data_1 = spark.read\ 
    .format('org.apache.spark.sql.execution.datasources.csv.CSVFileFormat')\ 
    .option('header', 'true')\ 
    .load('swift://container_name.' + name + '/test.csv') 
df_data_1.take(5) 

Sie haben die folgenden Optionen hinzufügen, dann wird das Schema abgeleitet werden:

.option(inferschema='true')\