Warum startet Spark-Shell den SQL-Kontext nicht?

Question

Ich benutze funke-2.0.2-bin-hadoop2.7 und richte eine Spark-Umgebung ein. Ich habe die meisten Schritte zum Installieren und Konfigurieren abgeschlossen, aber schließlich habe ich etwas anderes als die Online-Tutorials gefunden.

Die Protokolle fehlen die Zeile:

SQL-Kontext als SqlContext.

Wenn ich Spark-Shell ausführen, startet es nur den Spark-Kontext. Warum wird der SQL-Kontext nicht gestartet?

Unter normalen Umständen sollten die folgenden zwei Codezeilen gleichzeitig ausgeführt werden?

Spark context available as sc 
SQL context available as sqlContext. 

Answer 1

Vom Funken 2.0 ab SparkSession stattdessen verwendet wird (wie SQL Kontext/sqlContext wurde "umbenannt in" zu SparkSession/spark).

Wenn Sie Spark-Shell ausführen, erhalten Sie einen Verweis auf diese Spark-Sitzung als spark. Sie sollten folgendes sehen:

Spark-Sitzung als 'Funke' verfügbar.

Wenn Sie das zugrunde liegende SQL-Kontext zugreifen möchten Sie Folgendes tun können:

spark.sqlContext 

Bitte nicht, da es nicht mehr erforderlich, und die meisten Operationen können ohne sie ausgeführt werden.