2015-07-18 5 views
10

Weder in der Entwickler- noch in der API-Dokumentation wird angegeben, welche Optionen in DataFrame.saveAsTable oder DataFrameWriter.options übergeben werden können, und sie würden sich auf das Speichern einer Hive-Tabelle auswirken.Spark: Welche Optionen können mit DataFrame.saveAsTable oder DataFrameWriter.options übergeben werden?

Meine Hoffnung ist, dass wir in den Antworten auf diese Frage Informationen sammeln können, die Spark-Entwicklern helfen würden, die mehr Kontrolle darüber haben möchten, wie Spark Tabellen speichert und vielleicht eine Grundlage zur Verbesserung der Spark-Dokumentation bietet.

+0

Das ist ein bisschen vage und mit offenem Ende für SO, though. Wonach suchen Sie? Wie kann ich speichern? –

+0

@JustinPihony Ich sehe, wie jemand den Titel falsch lesen konnte. Ich habe es aktualisiert, um es deutlicher zu machen. Vielen Dank für Ihren Kommentar. Um es klar zu sagen, die Frage ist nicht, wie man eine Hive-Tabelle speichert. Es handelt sich um die nicht dokumentierten Optionen, die beim Speichern einer Hive-Tabelle übergeben werden können. – Sim

+1

Ich werde später versuchen, mehr darüber zu erfahren, aber aus einer Hive-Perspektive sieht es so aus, als würden die Optionen nie benutzt (außer dem Pfad). Jdbc verwendet eine Anzahl von ihnen, obwohl –

Antwort

-2

Ich glaube, das ist das, was Sie suchen: https://github.com/databricks/spark-csv

+1

Dies deckt nur die Verwendung einer bestimmten Bibliothek, die Spark erweitert. Die tatsächliche Antwort ist in der Spark Codebasis. (Dies ist eine alte Frage.) – Sim

Verwandte Themen