2017-04-26 4 views
1

Ich habe eine einfache Pipe-getrennte Datei (newfile.txt) auf meinem hdfs und ich habe meine Polybase korrekt konfiguriert. Ich habe Schwierigkeiten, diese Datei mit Polybase in meinen SQL Server zu importieren. Hier sind die Abfragen:SQL Server 2016 Polybase-Fehler mit Hadoop

zunächst ein externes Dateiformat erstellt:

CREATE EXTERNAL FILE FORMAT TextFile 
WITH ( 
    FORMAT_TYPE = DELIMITEDTEXT 
    , FORMAT_OPTIONS (Field_Terminator = '|', 
     USE_TYPE_DEFAULT = TRUE)); 

Zweitens ist die Datenquelle für Hadoopcluster erstellt:

CREATE EXTERNAL DATA SOURCE HadoopCluster 
    WITH ( 
     TYPE = HADOOP, 
     LOCATION = 'hdfs://10.153.14.11:8020' 
    ) 

Schließlich wird die externe Tabelle erstellt, die importiert die Daten von hdfs:

create external table tmpExternal 
(
    patientEncounter varchar(8000), 
    PtAcctNo varchar(200)) 
    with (location = '/user/newfolder/', 
      data_source = HadoopCluster, 
      file_format = TextFile, 
      reject_type = value, 
      reject_value = 0); 

Nach dem Ausführen der obigen Abfrage, hier ist die Fehler, die ich am Ende immer:

Msg 596, Ebene 21, Status 1, Zeile 26
kann die Ausführung nicht fortgesetzt werden, da die Session in dem Kill-Zustand befindet.

Nachricht 0, Ebene 20, Status 0, Zeile 26
Beim aktuellen Befehl ist ein schwerwiegender Fehler aufgetreten. Die Ergebnisse, falls vorhanden, sollten verworfen werden.

Ich bin sicher, dass es kein Problem mit Speicherplatz gibt. Bitte helfen.

UPDATE: Die HDP 2.5-Version wird verwendet. Ich habe Polybase erfolgreich installiert und dies ist meine erste externe Tabelle, die ich aus hdfs importieren möchte.

Format der txt-Datei besteht aus 2 Zeilen und 2 Spalten:

1234 | abcd

5676 | efgh

+0

Können Sie einige Beispieldaten posten? Haben Sie auch [Polybase installiert und aktiviert] (https://docs.microsoft.com/en-us/sql/relational-databases/polybase/get-started-with-polybase)? Haben Sie andere externe Tabellen erfolgreich oder ist dies die erste? In Bezug auf Sicherheit, wie verbinden Sie sich? Welche Version ist die Hadoop-Installation (Hortonworks HDP x.x oder Cloudera CDH)? – wBob

+0

Es gibt kein "CREDENTIAL" in Ihrer externen Datenquellendefinition? – wBob

+0

UPDATE: HDP 2.5-Version wird verwendet. Ich habe Polybase erfolgreich installiert und dies ist meine erste externe Tabelle, die ich aus hdfs importieren möchte. Format der txt-Datei besteht aus 2 Zeilen und 2 Spalten: 1234 | abcd 5676 | efgh – user3838498

Antwort

0

Haben Sie dieses Problem behoben werden? Ich habe gerade 3 Wochen mit der SQL-Produktgruppe verbracht, um dieses Problem aufzuspüren.

In meinem Fall hatten wir EVENT NOTIFICATIONS eingerichtet, um DDL-Änderungen mitzuteilen. Es ist ein Fehler in ihrem Code und wird eine zukünftige CU sein. Wenn Sie Ereignisbenachrichtigungen haben, lassen Sie sie fallen und versuchen Sie es erneut.

Hoffe, das hilft.

+0

Glück gehabt mit diesem Thema? Wir versuchen, rund 5 Millionen Datensätze aus SQL-Tabelle von MDF-Datei auf externe Tabelle mit Polybase gesichert zu verschieben. Es schlägt mit demselben Fehler fehl. Wir könnten sehen, dass mpdwsvc.exe vor dieser Ausnahme im DB-Server abstürzt. –