Müssen JUnit Test für Scala Code schreiben

Question

Ich bin neu in Scala und Spark. Ich brauche JUnit für das folgende Wortzählimpulsprogramm zu schreiben:

import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark._ 

object SparkWordCount { 

    def main(args: Array[String]) { 

    meth() 

    } 

    def meth() { 

    //Spark Config object having cluster information 
    val sparkConfig = new SparkConf() 
     .setAppName("SparkWordCount") 
     .setMaster("local") 

    val sc = new SparkContext(sparkConfig) 

    val input = sc.textFile("C:\\SparkW\\input\\inp.txt") 
    val count = input.flatMap(line ⇒ line.split(" ")) 
     .map(word ⇒ (word, 1)) 
     .reduceByKey(_ + _) 
    count.saveAsTextFile("outfile") 
    System.out.println("OK"); 

    } 

} 

Wie schreibe ich einen Test für diese mit JUnit?

Answer 1

Sie eines der vielen scala spec/Testbibliotheken können

ein Test wie

import org.scalatest.{FlatSpec, Matchers} 

class WordCountSpec extends FlatSpec with Matchers { 
    "wordCount" should "return an empty output for an empty input" in 
withLocalSparkContext { context => 
    val lines = context.emptyRDD[String] 
    val words = WordCount.wordCount(lines).collect() 
    words should be (Seq.empty) 
}} 

Kontrolle dieser für ein volles Beispiel aussehen kann Spec Class

gibt es beispielsweise Programme gibt für scalatest specification etc, haben eine Suche rund um

Answer 2

Inzwischen habe ich auch eine andere Lösung gefunden, so daran gedacht, es zu teilen

Import java.io.File

Import org.junit. {Assert, Test}

/** * Erstellt von usharani auf 2017.07.07. */ Klasse SparkWordCountTest {

@Test def test(): Unit = { val line1 = new File ("outfile/Teil 00000") val line2 = new File ("C:/Users/Usharani/IdeaProjects/Praxis/src/test/scala/inputs.txt ") Wert myString = scala.io.Source.fromFile (line1) .getLines.mkString Wert myString1 = scala.io.Source.fromFile (line2). getLines.mkString println (myString) println (meinstring1) Assert.assertEquals (myString, meinstring1)

} }