Gibt es eine C# -Aquivalent für den Java MongoDB Hadoop Connector?

Question

Ich spiele mit Mobius (die C# -Sprache für Spark) und den C# -Treiber für MongoDB. Ich möchte MongoDB als Eingabe/Ausgabe für die Spark-Abfragen in meiner C# -Anwendung verwenden. Ich weiß, dass es einen Java MongoDB Hadoop Connector gibt, aber ich möchte weiterhin Mobius verwenden, um meine Spark-Abfragen zu schreiben.

Answer 1

Sie könnten MongoDB Spark Connector und DataFrame API in Mobius für die Abfrage von MongoDB verwenden. Der Code zum Laden von Daten wie

aussehen

var mongoDbDataFrame = sqlContext.Read.Format("com.mongodb.spark.sql").Load() 

Sobald die Daten geladen wird, könnten Sie tun, Select(), Filter() Operationen auf dem Datenrahmen. Sie könnten auch den Datenrahmen als TempTable registrieren SQL-Abfragen für die Verwendung unter

mongoDbDataFrame.RegisterTempTable("MongDbDataFrameTempTable") 
sqlContext.Sql("SELECT <columns> FROM MongDbDataFrameTempTable WHERE <condition>") 

Hinweis die Codevorlage verwenden, benötigen Sie den Stecker und seine Abhängigkeiten in dem Classpath enthalten und „--jars“ Parameter für die verwendet werden könnten, .