Gibt es eine Verbindung zwischen Sqoop und verschiedenen Hadoop-Clustern, sodass mehrere Sqoop-Jobs erstellt werden können, um Daten in mehrere Hadoop-Cluster zu exportieren?So verbinden Sie Sqoop mit mehreren Hadoop-Clustern
Daten an mehrere hadoop Cluster
exportieren Wenn Daten in Hadoop gehen wird, das ist technisch ein Sqoop Import
nicht klar, wie man zur Zeit verschiedene Cluster von einer Maschine zu verwalten, aber Sie würden Der Ordner conf aller Umgebungen muss für Sqoop verfügbar sein.
Das sqoop-Befehlszeilenprogramm ist ein Wrapper, derausführtSkript mit Hadoop ausgeliefert. Wenn auf Ihrem Computer mehrere Installationen von Hadoop vorhanden sind, können Sie die Hadoop-Installation auswählen, indem Sie die Umgebungsvariable
$HADOOP_HOMEfestlegen.Zum Beispiel:
$ HADOOP_HOME=/path/to/some/hadoop sqoop import --arguments...oder:
$ export HADOOP_HOME=/some/path/to/hadoop $ sqoop import --arguments...Wenn
gesetzt$HADOOP_HOMEnicht gesetzt ist, wird Sqoop die Verteilung der Standardinstallationsverzeichnis für Cloudera verwenden für Hadoop,/usr/lib/hadoop.
Die aktive Hadoop Konfiguration von$HADOOP_HOME/conf/geladen wird, es sei denn, die$HADOOP_CONF_DIRUmgebungsvariable
https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_controlling_the_hadoop_installation
Je nachdem, wie Sie Setup-Hadoop, Hortonworks nur hat Sqoop 1, während Cloudera (und vielleicht MapR) haben Sqoop2, und diese Anweisungen sind wahrscheinlich unterschiedlich, da die Sqoop2-Architektur anders ist.
denke ich Sqoop2 kann das tun, aber Sqoop1 ist sehr stark gebunden an Ihre hdfs Konfigurationsdateien –
@ cricket_007 können Sie mir in Bezug auf einige Dokumente zeigen, wie Sqoop2 es tut. – Shengjie
sqoop.apache.org hat alle Informationen, die Sie benötigen –