Apache Spark und Scala benötigt Gläser

Question

Ich bin neu in Scala. Kann mir jemand vorschlagen, was sind die JAR-Dateien für die Ausführung von Apache Spark mit Scala in Linux-Umgebung erforderlich. Code war ein Stück ursprünglichen Code. Ich Ausnahmen wie java.lang.NoSuchMethodError bekommen: org.jboss.netty.channel.socket.nio.NioWorkerPool (Ljava/util/mitlaufende/Executor; I) V

java -cp“:../Opt/cloudera/Pakete/CDH-5.7.1-1.cdh5.7.1.p1876.1944/Gläser/: ./ "

TestAll.scala

import org.apache.spark.SparkContext._ 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkConf 
import org.apache.spark.sql.SQLContext 
import java.io._ 
import java.sql.{Connection,DriverManager} 
import scala.collection._ 
import scala.collection.mutable.MutableList 
object TestAll { 
    def main(args: Array[String]) { 
    val conf =new SparkConf().setAppName("Testing App").setMaster("local") 
    val sc=new SparkContext(conf) 
     println("Hello, world!") 
    } 
    } 

Answer 1

Sie müssen von here Funken zum Download bereit. Wählen Sie die Option "Mit Hadoop vorkonfiguriert". Dann können Sie den Anweisungen des Quick Start folgen. Dies wird dich durch die Hello World führen. Ich bin mir nicht sicher, welche IDE Sie verwenden, aber die freundlichste für Scala ist Intellij IDEA