Wie loswerden derby.log, metastore_db von Spark Shell

Question

Bei der Ausführung spark-shell erstellt es eine Datei derby.log und einen Ordner metastore_db. Wie konfiguriere ich Spark, um diese irgendwo anders zu platzieren?

Für den Derby-Log habe ich versucht Getting rid of derby.log wie so spark-shell --driver-memory 10g --conf "-spark.driver.extraJavaOptions=Dderby.stream.info.file=/dev/null" mit ein paar verschiedenen Eigenschaften, aber Funken ignoriert sie.

Kann jemand diese oder ein Standardverzeichnis für sie loswerden?

Answer 1

Die Verwendung der hive.metastore.warehouse.dir ist seit Spark 2.0.0, see the docs veraltet.

Wie this answer angedeutet, für die wahr Schuldige sowohl das metastore_db Verzeichnis und die derby.log Datei in jedem Arbeitsunterverzeichnis erstellt werden, sind die derby.system.home Eigenschaft . säumigen.

Somit ist eine Standardposition für beide, indem Sie die folgende Zeile in spark-defaults.conf angegeben werden können:

spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby 

wo /tmp/derby durch das Verzeichnis Ihrer Wahl ersetzt werden.

Answer 2

Verwenden Sie hive.metastore.warehouse.dir Eigenschaft. From docs:

val spark = SparkSession 
    .builder() 
    .appName("Spark Hive Example") 
    .config("spark.sql.warehouse.dir", warehouseLocation) 
    .enableHiveSupport() 
    .getOrCreate() 

Für Derby log: Getting rid of derby.log könnte die Antwort sein. In der Regel erstellen derby.properties Datei in Arbeitsverzeichnis mit folgendem Inhalt:

derby.stream.error.file=/path/to/desired/log/file 

Answer 3

Versuchen derby.system.home in ein anderen Verzeichnis als System-Eigenschaft vor den Funken Shell Anheizen. Derby wird dort neue Datenbanken erstellen. Der Standardwert für diese Eigenschaft ist .

Referenz: https://db.apache.org/derby/integrate/plugin_help/properties.html

Answer 4

Für Funken Schale, um zu verhindern das metastore_db Verzeichnis mit und vermeiden Sie es im Code zu tun (da der Kontext/Sitzung bereits erstellt und Sie gewonnen‘ t stoppen Sie sie und erstellen Sie sie jedes Mal mit der neuen Konfiguration neu. Sie müssen den Speicherort in der Datei hive-site.xml festlegen und diese Datei in das Verzeichnis config conf kopieren.
Eine Probe hive-site.xml Datei, um die Lage von metastore_db in /tmp (siehe meine Antwort here) zu machen:

<configuration> 
    <property> 
    <name>javax.jdo.option.ConnectionURL</name> 
    <value>jdbc:derby:;databaseName=/tmp/metastore_db;create=true</value> 
    <description>JDBC connect string for a JDBC metastore</description> 
    </property> 
    <property> 
    <name>javax.jdo.option.ConnectionDriverName</name> 
    <value>org.apache.derby.jdbc.EmbeddedDriver</value> 
    <description>Driver class name for a JDBC metastore</description> 
    </property> 
    <property> 
     <name>hive.metastore.warehouse.dir</name> 
     <value>/tmp/</value> 
     <description>location of default database for the warehouse</description> 
    </property> 
</configuration> 

Danach können Sie Ihre spark-shell wie folgt beginnen könnte von derby.log auch

$ spark-shell --conf "spark.driver.extraJavaOptions=-Dderby.stream.error.file=/tmp" 

loszuwerden