Gibt es eine Möglichkeit, von Parkett-Dateien in hdfs in SqlContext von Mobius zu lesen?

Question

ich in Scala kennen, können Sie in einer Parkett-Datei wie folgt lauten:

//Create Spark Context 
val sparkConf = new SparkConf().setAppName(appName).setMaster(sparkMaster) 
val sc = new SparkContext(sparkConf) 
val sqlContext = new SQLContext(sc) 
import sqlContext.implicits._ 

val pf = 
     sqlContext.read.parquet(hdfsDataUri + "test.parquet") 
pf.registerTempTable("test") 

Gibt es eine Möglichkeit, dies mit Mobius (C# API für Spark) zu tun? Ich konnte nur eine Möglichkeit finden CSV-Dateien zu lesen. Ref: https://github.com/Microsoft/Mobius

Answer 1

C# API for using Parquet in Apache Spark ist in Mobius verfügbar. Es folgt die C# -Implementierung der Apache Spark-Scala-Code in Ihrer Frage:

 var sparkConf = new SparkConf().SetAppName(appName).SetMaster(sparkMaster); 
     var sc = new SparkContext(sparkConf); 
     var sqlContext = new SqlContext(sc); 
     var pf = sqlContext.Read().Parquet(hdfsDataUri + "test.parquet"); 
     pf.RegisterTempTable("test"); 

Answer 2

Sie können Parkett Dateien direkt in .NET über https://github.com/elastacloud/parquet-dotnet