Wie man eine Mongo-Spark-Verbindung Konfiguration von einem Databricks Python-Notebook

Question

Ich gelang es, Verbindung zu Mongodb von Funken, mit der mongo-spark connector von einem Databricks Notebook in Python.

Momentan konfiguriere ich das mongodb-URI in einer Umgebungsvariable, aber es ist nicht flexibel, da ich den Verbindungsparameter direkt in meinem Notebook ändern möchte.

Ich lese in connector documentation, dass es möglich ist, alle in der SparkConf festgelegten Werte zu überschreiben.

Wie kann ich die Werte von Python überschreiben?

Answer 1

Sie müssen vorher nichts in der SparkConf * setzen. Sie können eine beliebige configuration options an den Datenrahmen Reader oder Writer zB passieren:

df = sqlContext.read \ 
    .option("uri", "mongodb://example.com/db.coll) \  
    .format("com.mongodb.spark.sql.DefaultSource") \ 
    .load() 

* Dieser hinzugefügt wurde in 0,2