Wie übertrage ich mysql table in hive?

Question

Ich habe eine große MySQL-Tabelle, die ich in eine Hadoop/Hive-Tabelle übertragen möchte. Gibt es Standardbefehle oder -techniken, um eine einfache (aber große) Tabelle von Mysql nach Hive zu übertragen? Die Tabelle speichert hauptsächlich Analysedaten.

Answer 1

1. Zunächst einmal herunterladen mysql-connector-java-5.0.8 und setzen Sie das Glas und Ordner sind Sqoop

2. Lib erstellen die Tabelle Definition in Hive mit genaue Feldnamen und Typen wie in Mysql

   sqoop Import --verbose --fields-terminated-von ',' --connect jdbc: mysql: // localhost/test --tabelle employee --hive-import --warehouse-dir/user/hive/warehouse --fields-terminated -von '' --split-by-ID --hive-Tabelle Mitarbeiter

Test - Datenbankname

Mitarbeiter - Tabellenname (in Test)

/user/Nest/Warehouse - Verzeichnis in HDFS, in das die Daten importiert werden müssen

--split-by ID - ID kann der Primärschlüssel der Tabelle 'employee' sein

--hive-Tabelle Mitarbeiter - Mitarbeiter Tabelle, deren Definition ist in Hive

Sqoop User Guide (Einer der besten Führer für das Lernen Sqoop)

Answer 2

Apache Sqoop ist ein Werkzeug, das dieses Problem löst:

Apache Sqoop (TM) ist ein Tool für die effiziente Übertragung von Massendaten zwischen Apache Hadoop und strukturierten Datenspeichern, wie beispielsweise relationale Datenbanken.

Answer 3

Werfen Sie einen Blick auf: http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_importing_data_into_hive