Databricks Spark Conf

Question

Sorry für die blöde Frage hier, aber ich versuche, die Konfiguration des Zündkerzensteckers, speziell des Mongo Spark-Steckers zu ändern (Notwendigkeit, den Stecker von unserem Prod-Server zu unserem sekundären zu wechseln). Wie kann ich auf die SparkConf zugreifen, um diese Änderungen vorzunehmen? Ich benutze Databricks und Python, v2.1

Ich freue mich auf https://docs.mongodb.com/spark-connector/master/configuration/, aber ich bin verwirrt, wo ich sogar dies eingeben? Örtlich? In einem Notizbuch? In die Befehlszeile? Ich habe es versucht und keinen Erfolg gehabt. Wenn jemand eine praktische Schritt für Schritt Panne hat, wäre das erstaunlich.

Answer 1

Wenn Sie die Konfiguration mit Databricks Armaturenbrett zur Verfügung stellen möchten:

• Gehen Sie zu Ihrem Databricks Armaturenbrett.

• Open Cluster-Panel.

  

• Klicken Sie auf Cluster erstellen.

  

• Öffnen Spark-Registerkarte und geben Sie die gewünschten Optionen:

  

• Sie das gleiche Format wie für Konfigurationsdateien, einschließlich Präfix verwenden sollten:

  spark.mongodb.input.uri mongodb://host:port/ 
  

Referenz:

• https://docs.databricks.com/user-guide/clusters/spark-config.html