Ich lese die blog und versuchte, die codes laufen zu lassen.wie man function-function-function-cluster auf lokalen kubernetes function created by minikube
$kubectl get po
NAME READY STATUS RESTARTS AGE
spark-master-668325562-w369p 1/1 Running 0 23s
spark-worker-1868749523-xt7hg 1/1 Running 0 23s
Nun wird der Funke Cluster läuft gut auf lokale Kubernetes Cluster von minikube erstellt. Ich versuche, ihn mit dem folgenden Befehl zu senden:
Wie kann man die IP-Adresse von Sparkmaster kennen? Ich habe nur die oben genannten Schritte, um es zu tun und kann nicht finden, zugehörige Tutorials darüber, wie zu wissen/ der Spark-Master-IP.
Jeder kann es erklären? Dank
UPDATE
Ich habe versucht, den folgenden ips, scheiterte aber.
$ minikube ip
192.168.42.55
$kubectl get svc
NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes 10.0.0.1 <none> 443/TCP 3h
spark-master 10.0.0.175 <none> 8080/TCP,7077/TCP 42m
Fehler:
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem
at scala.Predef$.require(Predef.scala:224)
at org.apache.spark.metrics.MetricsSystem.getServletHandlers(MetricsSystem.scala:91)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:524)
at NetworkScanCounter$.main(network-scan-counter.scala:68)
at NetworkScanCounter.main(network-scan-counter.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:743)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)