Wie importieren/exportieren HBase Daten über hdfs (Hadoop-Befehle)

Question

Ich habe meine gecrawled Daten von Nutch in Hbase, deren Dateisystem ist hdfs. Dann hat ich meine Daten kopiert (Eine Tabelle von hbase) von hdfs direkt mit einem lokalen Verzeichnis mit dem Befehl

hadoop fs -CopyToLocal /hbase/input ~/Documents/output 

Danach kopierte ich, dass die Daten in einer anderen hbase (anderes System) mit dem Befehl folgenden

hadoop fs -CopyFromLocal ~/Documents/input /hbase/mydata 

Es ist in hdfs gespeichert und wenn ich list Befehl in HBase Shell verwenden, zeigt es es als eine andere Tabelle dh "Mydata", aber wenn ich scan Befehl ausführen, heißt es dort gibt es keine Tabelle mit 'Mydata' Namen.

Was ist ein Problem mit dem obigen Verfahren? In einfachen Worten:

1. I unter Verwendung eines hadoop Befehls
2. Dann hbase Tabelle zu meinem lokalen Dateisystem kopieren will, mag ich es in hdfs in einem anderen System von hadoop Befehl
3. schließlich direkt speichern möchte ich die Tabelle in hbase zu sein schien und seine Daten wie die ursprüngliche Tabelle zu einem anderen, verwenden Sie eine der folgenden Methode

Answer 1

Wenn Sie möchten, exportieren Sie die Tabelle von einem hbase Cluster und importieren Sie es an:

Mit Hadoop

• Export

  $ bin/hadoop jar <path/to/hbase-{version}.jar> export \ 
      <tablename> <outputdir> [<versions> [<starttime> [<endtime>]] 
  

  HINWEIS: Kopieren Sie das Ausgabeverzeichnis in hdfs von der Quelle zum Ziel-Cluster

• Import

Hinweis: Beide outputdir und InputDir sind in hdfs.

Mit Hbase

• Export

  $ bin/hbase org.apache.hadoop.hbase.mapreduce.Export \ 
      <tablename> <outputdir> [<versions> [<starttime> [<endtime>]]] 
  

• Kopieren Sie das Ausgabeverzeichnis in hdfs von der Quelle zum Ziel-Cluster

• Import

  $ bin/hbase org.apache.hadoop.hbase.mapreduce.Import <tablename> <inputdir> 
  

  Referenz: Hbase tool to export and import

Answer 2

Wenn Sie den Hbase Befehl stattdessen Backup hbase Tabellen verwenden, können Sie die Hbase ExportSnapshot Werkzeug, das Kopien der hfiles, Protokolle und Snapshot-Metadaten zu anderen Dateisystem verwenden können (local/hdfs/s3) Verwenden eines Kartenreduzierungsauftrags.

• Snapshot der Tabelle

  $ ./bin/hbase shell hbase> snapshot 'myTable', 'myTableSnapshot-122112'

• Export in dem gewünschten Dateisystem

  $ ./bin/hbase class org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot MySnapshot -copy-to fs://path_to_your_directory

Sie es wieder aus dem lokalen Dateisystem exportieren zu hdfs: /// srv2: 8082/hbase und führen Sie den Wiederherstellungsbefehl von der HBAS-Shell aus, um die Tabelle aus dem Snapshot wiederherzustellen.

$ ./bin/hbase shell 
hbase> disable 'myTable' 
hbase> restore_snapshot 'myTableSnapshot-122112' 

Referenz: Hbase Snapshots