Lesen von TSV in Spark Datareframe mit Scala API

Question

Ich habe versucht, die Databricks-Bibliothek zum Lesen von CSVs zu bekommen. Ich versuche, einen TSV, der von Bienenstock verursacht wird, in einen Funken Datenrahmen zu lesen, der das scala api verwendet.

Hier ist ein Beispiel dafür ist, dass Sie in den Funken Shell ausführen können (ich die Beispieldaten öffentlich gemacht, so dass es für Sie arbeiten kann)

import org.apache.spark.sql.SQLContext 
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType}; 

val sqlContext = new SQLContext(sc) 
val segments = sqlContext.read.format("com.databricks.spark.csv").load("s3n://michaeldiscenza/data/test_segments") 

Die documentation sagt man das Trennzeichen angeben kann, aber ich bin unklar wie man diese Option angibt

Answer 1

Alle Optionsparameter werden wie unten in der option() Funktion übergeben:

val segments = sqlContext.read.format("com.databricks.spark.csv") 
    .option("delimiter", "\t") 
    .load("s3n://michaeldiscenza/data/test_segments") 

Answer 2

Mit Spark-Version 2.0+, Stecker den eingebauten in der CSV-Dritten dependancy und ein bessere Leistung zu vermeiden:

val spark = SparkSession.builder.getOrCreate() 
val segments = spark.read.option("sep", "\t").csv("/path/to/file")