Import zu HDFS oder Hive (direkt)

Question

1. Stack: Installierte HDP-2.3.2.0-2950 mit Ambari 2.1
2. Die Quelle ist eine MS SQL-Datenbank von rund 1,6 TB und rund 25 Tabellen Das ultimative Ziel ist es, Überprüfen Sie, ob die vorhandenen Abfragen schneller auf dem HDP laufen können
3. Es gibt keinen Luxus von Zeit und Verfügbarkeit, die Daten mehrmals zu importieren, daher muss der Import einmal durchgeführt werden und die Hive-Tabellen, Abfragen usw. müssen Versuchen Sie zum Beispiel, zuerst eine normale, partitionierte Tabelle in ORC zu erstellen. Wenn es nicht ausreicht, versuchen Sie Indizes und so weiter. Möglicherweise werden wir auch das Parkett Format auswerten und so weiter

4.As eine Lösung zu 4., habe ich mich entschlossen, zunächst die Tabellen auf HDFS in Avro-Format zum Beispiel zu importieren:

sqoop import --connect 'jdbc:sqlserver://server;database=dbname' --username someuser --password somepassword --as-avrodatafile --num-mappers 8 --table tablename --warehouse-dir /dataload/tohdfs/ --verbose 

Jetzt Ich plane, eine Hive-Tabelle zu erstellen, aber ich habe einige Fragen erwähnt here.

Meine Frage ist, dass alle oben genannten Punkte am sichersten sind (in Bezug auf die Zeit und nicht die HDFS etc.) Ansatz - zuerst auf HDFS bringen, Hive-Tabellen erstellen und experimentieren oder direkt in Hive importieren (ich weiß nicht, wenn ich nun diese Tabellen löschen und neu starten wollen, muss ich die Daten)

Answer 1

für das Laden erneut zu importieren, können Sie diese Optionen versuchen

1) Sie können csv eine mySQL-Import tun Datei, die in Ihrem Linux-Dateisystem als Backup gespeichert wird, dann tun Sie einen Abstand zu HDFS.

2) Wie bereits erwähnt, können Sie einen Sqoop-Import durchführen und die Daten in die Hive-Tabelle (parent_table) laden.

Zur Überprüfung der Leistung bei Verwendung verschiedener Formate & Partitionstabelle können Sie CTAS-Abfragen (Create Table As Select) verwenden, in denen Sie neue Tabellen aus der Basistabelle (parent_table) erstellen können. In CTAS können Sie das Format wie Parque oder Avro usw. erwähnen und Partitionsoptionen sind ebenfalls vorhanden.

Auch wenn Sie neue Tabellen löschen, die von CTAS erstellt wurden, ist die Basistabelle vorhanden.

Basierend auf meiner Erfahrung, Parque + Partition wird eine beste Leistung geben, aber es hängt auch von Ihren Daten ab.

Answer 2

Ich sehe, dass die Verbindung und Einstellungen alle korrekt sind. Aber ich sehe --fetch-size in der Abfrage. Standardmäßig ist die --fetch-size 1000, was in Ihrem Fall ewig dauern würde. Wenn die Anzahl der Spalten geringer ist. Ich würde empfehlen, die --fetch-size 10000 zu erhöhen. Ich bin bis zu 50000 gegangen, wenn die Anzahl der Spalten weniger als 50 ist. Vielleicht 20000, wenn Sie 100 Spalten haben. Ich würde empfehlen, die Größe der Daten pro Zeile zu überprüfen und dann zu entscheiden. Wenn es eine Spalte gibt, deren Größe größer als 1 MB Daten ist. Dann würde ich nichts über 1000 empfehlen.