FEHLGESCHLAGEN: Ausführungsfehler, Rückgabecode 1 von org.apache.hadoop.hive.ql.exe.mcr.MapRedTask. Keine solche Datei oder kein Verzeichnis

Question

Erhalte die folgende Ausnahme in Hive beim Ausführen einfach SELECT COUNT(*) FROM Table.

Auftragsübermittlung fehlgeschlagen mit Ausnahme 'org.apache.hadoop.io.nativeio.NativeIOException (keine solche Datei oder Verzeichnis)' failed: Ausführungsfehler, Rückgabecode 1 von org.apache.hadoop.hive .ql.exe.mr.MapRedTask. Keine solche Datei oder Verzeichnis

Keine Probleme tritt auf einfache SELECT * FROM Table.
Bitte schlagen Sie vor, wo das Problem liegen könnte. Hive-Ausführung-Engine ist MR.

Voll Stack-Trace Fehler:

2017-07-18T07: 18: 52.744 ERROR [main]: exec.Task (:()) - Job Submission mit Ausnahme fehlgeschlagen ‚org.apache .hadoop.io.native.NativeIOException (Keine solche Datei oder Verzeichnis) 'ENOENT: Keine solche Datei oder kein Verzeichnis unter org.apache.hadoop.io.native.NativeIO $ POSIX.chmodImpl (Native Methode) unter org. apache.hadoop.io.nativeio.NativeIO $ POSIX.chmod (NativeIO.java:230) unter org.apache.hadoop.fs.RawLocalFileSystem.setPermission (RawLocalFileSystem. java: 729) bei org.apache.hadoop.fs.ChecksumFileSystem $ 1.Apply (ChecksumFileSystem.java:505) bei org.apache.hadoop.fs.ChecksumFileSystem $ FsOperation.run (ChecksumFileSystem.java:486) unter org.apache.hadoop.fs.ChecksumFileSystem.setPermission (ChecksumFileSystem.java:502) bei org.apache.hadoop.fs.FileSystem.mkdirs (FileSystem.java:602) um org.apache.hadoop.mapreduce. JobResourceUploader.uploadFiles (JobResourceUploader.java:94) bei org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles (JobSubmitter.java:95) bei org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal (JobSubmitter.java: 190) bei org.apache.hadoop.mapreduce.Job $ 10.run (Job.java:1290) um org.apache.hadoop.mapreduce.Job $ 10.run (Job.java:1287) um java.security.AccessController. doPrivileged (Native Methode) um javax.security.auth.Subject.doAs (Subject.java:415) um org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1698) bei org.apache.hadoop .mapreduce.Job.submit (Job.java:1287) um org.apache.hadoop.mapred.JobClient $ 1.run (JobClient.java:575) um org.apache.hadoop.mapred.JobClient $ 1.run (JobClient .java: 570) unter java.security.AccessController.doPrivileged (Native Methode) um javax.security.auth.Subject.doAs (Subject.java:415) um org.apache.hadoop.security.UserGroupInfor mation.doAs (UserGroupInformation.java:1698) um org.apache.hadoop.mapred.JobClient.submitJobInternal (JobClient.java:570) bei org.apache.hadoop.mapred.JobClient.submitJob (JobClient.java:561) bei org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute (ExecDriver.java:433) bei org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute (MapRedTask .java: 138) bei org.apache.hadoop.hive.ql.exe.Task.executeTask (Task.java:197) um org.apache.hadoop.hive.ql.exe.TaskRunner.runSequential (TaskRunner.java: 100) bei org.apache.hadoop.hive.ql.Driver.launchTask (Driver.java:1858) um ​​ org.apache.hadoop.hive.ql.Driver.execute (Driver.java:1562) um org.apache.hadoop.hive.ql.Driver.runInternal (Driver.java:1313) um org.apache.hadoop.hive.ql.Driver.run (Driver.java:1084) um org.apache.hadoop. hive.ql.Driver.run (Driver.java:1072) um org.apache.hadoop.hive.cli.CliDriver.processLocalCmd (CliDriver.java:232) um org.apache.hadoop.hive.cli.CliDriver .processCmd (CliDriver.java:183) bei org.apache.hadoop.hive.cli.CliDriver.processLine (CliDriver.java:399) bei org.apache.hadoop.hive.cli.CliDriver.executeDriver (CliDriver .java: 776) bei org.apache.hadoop.hive.cli.CliDriver.run (CliDriver.java:714) um org.apache.hadoop.hive.cli.CliDriver.main (CliDriver.java:641) um sun.reflect. NativeMethodAccessorImpl.invoke0 (native Methode) bei sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) bei sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) bei Methode von java.lang.reflect. Rufen Sie (Method.java:606) um org.apache.hadoop.util.RunJar.run (RunJar.java:221) um org.apache.hadoop.util.RunJar.main (RunJar.java:136)

auf

2017-07-18T07: 18: 52,745 Fehler [Haupt]: ql.Driver (:()) - FAILE D: Ausführungsfehler, Rückgabecode 1 von org.apache.hadoop.hive.ql.exe.mc.MapRedTask. Keine solche Datei oder Verzeichnis

Answer 1

Versuchen Sie, Berechtigungen auf Hadoop tmp dir zu überprüfen. Der Pfad zu diesem Verzeichnis wird zum Beispiel in core-site.xml konfiguriert. Der Name der Eigenschaft lautet hadoop.tmp.dir. Ich hatte ein ähnliches Problem wie das, das Sie beschrieben haben, und es wurde von dem Benutzer verursacht, unter dem der MR-Job ausgeführt wurde, keine Schreibberechtigung für diesen Speicherort.