überspringen erste Zeile in csv während DataSet Erstellung

Ich habe eine CSV-Daten alsüberspringen erste Zeile in csv während DataSet Erstellung

Date, Time, CO(GT), PT08.S1(CO) 
10/03/2004, 18.00.00, 2, 6

mit ich es bin Parsen DataSet für die Erstellung und möchten erste Zeile überspringen. Wie kann ich es tun?

Quelle

2017-09-19 Utkarsh Saraf

Verwenden Sie die Header-Option des DataFrameReader, zum Beispiel wie dies in Java:

Daset<Row> df = spark 
      .read() 
      .option("inferSchema", true) 
      .option("header", true) 
      .csv(paths);

Quelle

2017-09-19 13:14:28 moe

können Sie mir bieten einen Link auf das, was wir alle in 'option' in Funken verwenden können. –

https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/DataFrameReader.scala#L507 – philantrovert

hängt davon ab, welche Datenquelle Sie verwenden. Sie können sich den SQL-Leitfaden (https://spark.apache.org/docs/latest/sql-programming-guide.html#data-sources) und die api-Dokumentation (https://spark.apache.org/) ansehen. docs/2.1.0/api/scala/index.html # org.apache.spark.sql.DataFrameReader). Die Optionen sind jedoch nicht unter Optionen, sondern unter der Respective-Datenquellen-Methode zu finden. in diesem Fall 'csv' – moe

überspringen erste Zeile in csv während DataSet Erstellung

Antwort

Verwandte Themen