Ich habe eine einfache Pipe-getrennte Datei (newfile.txt) auf meinem hdfs und ich habe meine Polybase korrekt konfiguriert. Ich habe Schwierigkeiten, diese Datei mit Polybase in meinen SQL Server zu importieren. Hier sind die Abfragen:SQL Server 2016 Polybase-Fehler mit Hadoop
zunächst ein externes Dateiformat erstellt:
CREATE EXTERNAL FILE FORMAT TextFile
WITH (
FORMAT_TYPE = DELIMITEDTEXT
, FORMAT_OPTIONS (Field_Terminator = '|',
USE_TYPE_DEFAULT = TRUE));
Zweitens ist die Datenquelle für Hadoopcluster erstellt:
CREATE EXTERNAL DATA SOURCE HadoopCluster
WITH (
TYPE = HADOOP,
LOCATION = 'hdfs://10.153.14.11:8020'
)
Schließlich wird die externe Tabelle erstellt, die importiert die Daten von hdfs:
create external table tmpExternal
(
patientEncounter varchar(8000),
PtAcctNo varchar(200))
with (location = '/user/newfolder/',
data_source = HadoopCluster,
file_format = TextFile,
reject_type = value,
reject_value = 0);
Nach dem Ausführen der obigen Abfrage, hier ist die Fehler, die ich am Ende immer:
Msg 596, Ebene 21, Status 1, Zeile 26
kann die Ausführung nicht fortgesetzt werden, da die Session in dem Kill-Zustand befindet.Nachricht 0, Ebene 20, Status 0, Zeile 26
Beim aktuellen Befehl ist ein schwerwiegender Fehler aufgetreten. Die Ergebnisse, falls vorhanden, sollten verworfen werden.
Ich bin sicher, dass es kein Problem mit Speicherplatz gibt. Bitte helfen.
UPDATE: Die HDP 2.5-Version wird verwendet. Ich habe Polybase erfolgreich installiert und dies ist meine erste externe Tabelle, die ich aus hdfs importieren möchte.
Format der txt-Datei besteht aus 2 Zeilen und 2 Spalten:
1234 | abcd
5676 | efgh
Können Sie einige Beispieldaten posten? Haben Sie auch [Polybase installiert und aktiviert] (https://docs.microsoft.com/en-us/sql/relational-databases/polybase/get-started-with-polybase)? Haben Sie andere externe Tabellen erfolgreich oder ist dies die erste? In Bezug auf Sicherheit, wie verbinden Sie sich? Welche Version ist die Hadoop-Installation (Hortonworks HDP x.x oder Cloudera CDH)? – wBob
Es gibt kein "CREDENTIAL" in Ihrer externen Datenquellendefinition? – wBob
UPDATE: HDP 2.5-Version wird verwendet. Ich habe Polybase erfolgreich installiert und dies ist meine erste externe Tabelle, die ich aus hdfs importieren möchte. Format der txt-Datei besteht aus 2 Zeilen und 2 Spalten: 1234 | abcd 5676 | efgh – user3838498