zu Mongo mit Replik Anschluss Set und Mongo-Hadoop-Anschluss für Spark

Question

ich einen Spark-Prozess haben, der zur Zeit der Mongo-hadoop Brücke wird mit (von https://github.com/mongodb/mongo-hadoop/blob/master/spark/src/main/python/README.rst) die Mongo Datenbank zuzugreifen:

mongo_url = 'mongodb://localhost:27017/db_name.collection_name' 
mongo_rdd = spark_context.mongoRDD(mongo_url) 

Die Mongo Instanz wird jetzt auf einen Cluster aktualisiert, auf den nur mit einer Replikatgruppe zugegriffen werden kann.

Wie erstelle ich eine RDD mit dem Mongo-Hadoop-Anschluss? Das mongoRDD() geht zu mongoPairRDD(), das nicht mehrere Strings aufnehmen kann.

Answer 1

Der MongoDB Hadoop Connector mongoRDD kann einen gültigen MongoDB Connection String annehmen.

Zum Beispiel, wenn es jetzt ein Replikatsatzes Sie angeben können:

mongodb://db1.example.net,db2.example.net:27002,db3.example.net:27003/?db_name&replicaSet=YourReplicaSetName 

Siehe auch zugehörige Informationen:

• mongo-hadoop: Usage with authentication
• mongo-hadoop: Configuration Reference