[[email protected] ~]$ **sqoop import-all-tables -m=4 --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" --username=retail_dba --password=cloudera --warehouse-dir=/user/cloudera/sqoop-import**
Warning: /usr/lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
16/05/26 10:31:30 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5-cdh5.4.2
16/05/26 10:31:30 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
16/05/26 10:31:32 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
16/05/26 10:31:33 INFO tool.CodeGenTool: Beginning code generation
16/05/26 10:31:33 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `categories` AS t LIMIT 1
16/05/26 10:31:33 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `categories` AS t LIMIT 1
16/05/26 10:31:33 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/lib/hadoop-mapreduce
Note: /tmp/sqoop-cloudera/compile/cc4bbc7353018a0c34e03cbc6701dc23/categories.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
16/05/26 10:31:43 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-cloudera/compile/cc4bbc7353018a0c34e03cbc6701dc23/categories.jar
16/05/26 10:31:43 WARN manager.MySQLManager: It looks like you are importing from mysql.
16/05/26 10:31:43 WARN manager.MySQLManager: This transfer can be faster! Use the --direct
16/05/26 10:31:43 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path.
16/05/26 10:31:43 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql)
16/05/26 10:31:43 INFO mapreduce.ImportJobBase: Beginning import of categories
16/05/26 10:31:44 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar
16/05/26 10:31:47 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
16/05/26 10:31:47 INFO client.RMProxy: Connecting to ResourceManager at quickstart.cloudera/127.0.0.1:8032
16/05/26 10:31:56 INFO db.DBInputFormat: Using read commited transaction isolation
16/05/26 10:31:56 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: SELECT MIN(`category_id`), MAX(`category_id`) FROM `categories`
16/05/26 10:31:56 INFO mapreduce.JobSubmitter: number of splits:4
16/05/26 10:31:57 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1464283628429_0001
16/05/26 10:31:59 INFO impl.YarnClientImpl: Submitted application application_1464283628429_0001
16/05/26 10:31:59 INFO mapreduce.Job: The url to track the job: http://quickstart.cloudera:8088/proxy/application_1464283628429_0001/
16/05/26 10:31:59 INFO mapreduce.Job: **Running job: job_1464283628429_0001**
Antwort
ich wenig Forschung auf diese Art von Fehler haben und fand schließlich unter wie in Ihrem Protokoll von Screenshot beschrieben, nach dem folgenden Protokollfehler viele aufgetreten Wiederholungsfehler erschienen. So zweifelte an Ressourcenmanager.
Connecting to ResourceManager at quickstart.cloudera
I untersucht und gefunden
Sie this sollten nach dem Booten normalerweise keine Server starten müssen, aber es sieht aus wie die GARN Resourcemanager gestorben. Es ist möglich, es war nur ein wenig Glitch, wenn es begann und konnte, indem Sie die folgenden Hinweise und versuchen, wieder behoben werden:
sudo service hadoop-yarn-resourcemanager start
Wenn Sie ein wenig tiefer oder die oben doesn graben möchten‘ t arbeiten, finden Sie die Protokolle in/var/log/hadoop-Garn. Es wird eine .out-Datei und eine .log-Datei für den ResourceManager geben - überprüfen Sie beide und sehen Sie, ob es Stack-Traces, Fehlermeldungen usw. gibt (oder zögern Sie nicht, diese Dateien einfach hier zu posten).
Vielen Dank .. Ja ich habe herausgefunden, dass Garn nicht lief und mit diesem Befehl lief es. Allerdings kann ich immer noch nicht mit sqoop mit sqoop Import-all-tables importieren. Ich gebe das Nein. von Mappern als 4, so sollte es nacheinander alle Tabellen in 4 Dateien importieren. Aber es bleibt nur beim ersten Dateiimport hängen und endet nicht. : | –
Ich habe meine Frage aktualisiert, bitte schauen Sie hinein .. @RamPrasad –
Zuerst für neue Antwort sollte neue Frage aufgeworfen werden. Aber es sieht so aus, als würde Ihr Job laufen, da er die Tracker-URL http: //quickstart.cloudera: 8088/proxy/application_1464283628429_0001/liefert. Solange der Job läuft, müssen Sie auf das Ergebnis warten und Sie können in die Datenbank einchecken, ob sie teilweise importiert wurde Ergebnis oder nicht. und Sie müssen Job-Tracker und Task-Tracker für das Ergebnis von der obigen URL sehen. Scheint wie jetzt, es gibt kein Problem. –
- 1. Primärschlüsselfehler beim Importieren der Tabelle Mit Sqoop
- 2. wie Daten mit Sqoop Java API importieren?
- 3. Inkrementelles Update in sqoop
- 4. Sqoop Import --password-Datei funktioniert nicht richtig in sqoop 1.4.4
- 5. Fehler beim Importieren von Tabellen Formular sqlserver mit sqoop
- 6. Sqoop psql Abfrage mit Daten
- 7. sqoop Import-all-Tabellen schlägt fehl
- 8. SQOOP: Tabellenimportfehler
- 9. Fehler beim Importieren einer Datei in Hive mit sqoop
- 10. Incrimental Update in HIVE Tabelle mit Sqoop
- 11. Sqoop mit Java
- 12. Apache sqoop Fehler
- 13. Sqoop Job Ausnahme
- 14. Unit Testing Sqoop Anwendungen
- 15. Wie überschreiben Sie die Daten in der Struktur mit sqoop
- 16. Sqoop-Hive Import
- 17. Extra Backslash in Sqoop Import Ergebnis
- 18. sqoop Import Problem mit mysql
- 19. Permission Ausnahme für Sqoop
- 20. SQOOP INCR load
- 21. Wird sqoop Datensätze bei der Initialisierung extrahieren oder werden sqoop-Datensätze zur Tabelle hinzugefügt, wenn der sqoop ausgeführt wird?
- 22. Hive Import nicht statt Sqoop mit Einnahme
- 23. Sqoop-Job mit Passwortproblem
- 24. Sqoop Zeile Parse Fehler
- 25. sqoop schlägt fehl von netezza - "java.lang.ArrayIndexOutOfBoundsException"
- 26. sqoop - Verbindung zu Orakel und Importieren von Daten in HDFS in IBM BigInsights
- 27. Können wir Sqoop in Cloudera verwenden, um Daten in Cassandra zu importieren
- 28. Sqoop Import ohne Split von
- 29. kann nicht importiert werden alle Tabellen
- 30. Ausführen von sqoop in Python-Skript
klicken Sie bitte auf den oben blauen Hyperlink Text um das Bild zu sehen, i für eine genaue Beschreibung meiner Ausgabe hochgeladen –
siehe wahrscheinliche Lösung unten und aktualisiert ... wenn Sie mit dieser Flagge in Ordnung sind oben akzeptiert“Privat " –
Bitte kopieren Sie diesen Text, bearbeiten Sie Ihre Frage und fügen Sie sie hier ein. Verwenden Sie keine Screenshots für den Code –