Sqoop 1.99.7 Installation auf Centos 7

Question

Ich bin neu in Hadoop Eco System.

Ich bin dabei, ein Hadoop Eco System auf einem einzigen Knoten einzurichten. Hadoop-System wurde bereits eingerichtet und funktioniert gut mit HBASE und HIVE. Um eine Verbindung mit externen Datenquellen herzustellen, richte ich den Server sqoop 1.99.7 ein. Ich finde es schwierig einzurichten, da die Dokumentation Verwirrung stiftet. Kann jemand mir Schritt für Schritt helfen ... Die von mir bisher getan ..

1. Java 1.7 Version - verfügbar
2. Hadoop gemeinsam - bereits Setup und überprüft
3. heruntergeladen und installiert Sqoop Version 1.99.7
4. die Datei ~/.bashrc mit Export SQOOP_HOME =/usr/lib/Sqoop export PATH = $ PATH konfiguriert: SQOOP_HOME $/bin
5. Quelle der bashrc

0 Jetzt

Ich bin nicht klar, wie pro Dokumentation, auf, und ich bin hier für die letzte 1 Tag stecken ... 1. Third Party Gläser Erstellen - Ich habe ein Verzeichnis/var/lib/sqoop2 erstellt mit mkdir -p/var/lib/sqoop2

(Creation did not give any error and unable to locate this directory) 
Hence copy all mysql-jdbc* files, postgresql-jdbc could not be done. Also 
Unable to locate mysl-jdbc* files in the server path 

2. ich nehme keine Aktion erforderlich ist, die sqoop_boot starp zu konfigurieren. Eigenschaften und sqoop.properties

Wenn die obigen Schritte nicht abgeschlossen sind, kann ich den sqoop-Server nicht starten. Kann man mich auf dem oben genannten auch korrigieren, was getan werden muss .. Vielen Dank im Voraus .. Sreeram

Answer 1

Nur um hinzuzufügen, wenn ich den Server starte, bekomme ich die folgende Ausgabe und der sqoop Server startet nicht. Was ist Abhilfe?

[root@localhost sqoop]# ./bin/sqoop.sh server start 
Setting conf dir: /home/sreeram/sqoop/conf 
Sqoop home directory: /home/sreeram/sqoop 
Starting the Sqoop2 server... 
2017-08-20 14:06:16,511 INFO [main] core.SqoopServer (SqoopServer.java:initialize(55)) - Initializing Sqoop server. 
2017-08-20 14:06:16,521 INFO [main] core.PropertiesConfigurationProvider (PropertiesConfigurationProvider.java:initialize(99)) - Starting config file poller thread 
SLF4J: Class path contains multiple SLF4J bindings. 
SLF4J: Found binding in [jar:file:/home/sreeram/sqoop/server/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] 
SLF4J: Found binding in [jar:file:/home/sreeram/apache-hive-2.3.0-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class] 
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. 
Exception in thread "main" java.lang.RuntimeException: Failure in server initialization 
    at org.apache.sqoop.core.SqoopServer.initialize(SqoopServer.java:68) 
    at org.apache.sqoop.server.SqoopJettyServer.<init>(SqoopJettyServer.java:67) 
    at org.apache.sqoop.server.SqoopJettyServer.main(SqoopJettyServer.java:177) 
Caused by: org.apache.sqoop.common.SqoopException: MAPREDUCE_0002:Failure on submission engine initialization - Invalid Hadoop configuration directory (not a directory or permission issues): /etc/hadoop/conf/ 
    at org.apache.sqoop.submission.mapreduce.MapreduceSubmissionEngine.initialize(MapreduceSubmissionEngine.java:97) 
    at org.apache.sqoop.driver.JobManager.initialize(JobManager.java:257) 
    at org.apache.sqoop.core.SqoopServer.initialize(SqoopServer.java:64) 
    ... 2 more