Verbinden von HIVE in MRJob

Question

Das Szenario ist Ich muss eine Datei (Input) verarbeiten und für jeden Datensatz muss ich überprüfen, ob bestimmte Felder in der Eingabedatei mit den Feldern in einem Hadoop-Cluster übereinstimmen.

Wir denken daran, mit MRJob die Eingabedatei zu verarbeiten und mit HIVE Daten aus dem Hadoop-Cluster zu holen. Ich würde gerne wissen, ob es mir möglich ist, HIVE in einem MRJob-Modul zu verbinden. Wenn ja, wie?

Wenn nicht, was wäre der ideale Ansatz, um meine Anforderung zu erfüllen.

Ich bin neu in Hadoop, MRJob und Hive.

Bitte geben Sie einen Vorschlag.

Answer 1

"Übereinstimmungen mit den in einem Hadoop-Cluster gespeicherten Feldern." -> Sie meinen, dass Sie suchen müssen, wenn die Felder auch in dieser Datei vorhanden sind?

Wie viele Dateien müssen insgesamt gescannt werden?

Eine Lösung besteht darin, jedes einzelne Element in einer HBase-Tabelle zu laden und für jeden Datensatz in der Eingabedatei den Datensatz aus der Tabelle "abzurufen". Wenn das GET erfolgreich ist, existiert der Datensatz an anderer Stelle in HDFS, oder auch nicht. Sie würden für jeden HBase-Datensatz eine eindeutige Kennung benötigen, und in Ihrer Eingabedatei sollte auch derselbe Bezeichner vorhanden sein.

Sie können auch eine Verbindung zu Hive herstellen, aber das Schema muss starr sein, damit alle Ihre HDFS-Dateien in eine einzelne Hive-Tabelle geladen werden können. HBase kümmert sich nicht wirklich um Spalten (nur ColumnFamilies benötigt). Ein weiterer Nachteil von MapReduce und Hive ist, dass die Geschwindigkeit im Vergleich zu HBase (fast in Echtzeit) niedrig ist.

Hoffe, das hilft.