Spark mongdb Daten mit Java

Question

Ich habe die Dokumentation hier Stratio JAVA spark mongdob Projekt hier verfolgt, aber mein Code wird nur nach dem Drucken Check1 stecken. Ich kann einfach nicht herausfinden, was ich falsch mache.

---

JavaSparkContext sc = new JavaSparkContext("local[*]", "test spark-mongodb java"); 
    SQLContext sqlContext = new SQLContext(sc); 

    Map options = new HashMap(); 
    options.put("host", "host:port"); 
    options.put("database", "database"); 
    options.put("collection", "collectionName"); 
    options.put("credentials", "username,database,password"); 

    System.out.println("Check1"); 
    DataFrame df =  sqlContext.read().format("com.stratio.datasource.mongodb").options(options).load(); 

    df.count(); 
    df.show(); 

Meine pom-Datei ist wie folgt:

---

<dependencies> 

    <dependency> 
     <groupId>com.stratio.datasource</groupId> 
     <artifactId>spark-mongodb_2.11</artifactId> 
     <version>0.11.1</version> 
     <type>jar</type> 
    </dependency> 

    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-sql_2.11</artifactId> 
     <version>1.5.2</version> 
     <type>jar</type> 
    </dependency> 
     <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.11</artifactId> 
     <version>1.5.2</version> 
     <type>jar</type> 
    </dependency> 

</dependencies> 

ich eingecheckt haben den Abhängigkeitsbaum und alles scheint es in Ordnung.

Answer 1

Was Sie melden, ist ein bekannter Fehler, der bei Version 0.11.2 behoben wurde.

Dieser Fehler war der Grund, warum einige interne Akka-Akteure nicht beendet wurden. Das kombiniert mit der Tatsache, dass die Standard-Akka-Einstellungen das Akteursystem nicht-dämonisch machen, verhinderte, dass die Anwendung geschlossen wurde.

Sie haben zwei Möglichkeiten, Ihr Problem zu beheben:

• Aktualisieren Sie Ihre Version auf 0.11.2

• Fügen Sie eine application.conf Datei unter Projekt resources Ordner Einstellung Aktorik dämonisch. Das heißt, mit folgendem Inhalt:

  akka {

  daemonic = auf

  }

Answer 2

Ich werde ich meine Frage in der Hoffnung antworten, dass es jemand helfen könnte.

Ich habe es endlich geschafft, dies herauszufinden. Das Schlimmste an dieser Funke Bibliotheken ist, dass es große Unterschiede zwischen Version der Bibliothek und viele von ihnen nicht kompatibel miteinander sind:

public class TestClass { 
    JavaSparkContext sc = new JavaSparkContext("local[*]", "test spark-mongodb java"); 
    SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc); 

    Map options = new HashMap(); 
    options.put("host", "localhost:27017"); 
    options.put("database", "test"); 
    options.put("collection", "mycol"); 

    DataFrame df = sqlContext.read().format("com.stratio.datasource.mongodb").options(options).load(); 
    df.registerTempTable("mycol"); 
    sqlContext.sql("SELECT * FROM mycol"); 
    df.show(); 
} 

und meine pom-Datei ist wie folgt:

<dependency> 
     <groupId>com.stratio.datasource</groupId> 
     <artifactId>spark-mongodb_2.10</artifactId> 
     <version>0.11.2</version> 
     <type>jar</type> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.10</artifactId> 
     <version>1.6.1</version> 
     <type>jar</type> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-sql_2.10</artifactId> 
     <version>1.6.1</version> 
     <type>jar</type> 
    </dependency>