Fehler beim Starten von JobHistoryServer auf Cloudera Manager

Question

Ich habe Cloudera Manager 5.13 installiert.

Während zum ersten Mal GARN Installation und Ausführung .. hatte ich folgende Fehlermeldung

Error starting JobHistoryServer 
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error creating done directory: [hdfs://vmi150132.contaboserver.net:8020/user/history/done] 
    at org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.tryCreatingHistoryDirs(HistoryFileManager.java:682) 
    at org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.createHistoryDirs(HistoryFileManager.java:618) 
    at org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.serviceInit(HistoryFileManager.java:579) 
    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) 
    at org.apache.hadoop.mapreduce.v2.hs.JobHistory.serviceInit(JobHistory.java:95) 
    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) 
    at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107) 
    at org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.serviceInit(JobHistoryServer.java:154) 
    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) 
    at org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.launchJobHistoryServer(JobHistoryServer.java:229) 
    at org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.main(JobHistoryServer.java:239) 
Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=mapred, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 
    at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279) 
    at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260) 
    at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240) 

[.... und andere Reihen von Ausnahmefehlern Stapel]

Also im Grunde ist das Problem der Erlaubnis der HDFS-Ordner.

Etwas wie: sudo -u hdfs hdfs dfs -chmod -R 777 / wird den Fehler beheben.

Aber meine Frage ist ... Wäre nicht unsicher? Warum behandelt Cloudera diese Berechtigungen nicht?

Answer 1

Eigentlich wäre der Job History Server von mapred gehören und wenn Sie die genauen Berechtigungen sehen möchten, sollten Sie sich beziehen:

Deploying MapReduce v2 (YARN) on a Cluster - Step 8: Create the history Directory and Set Permissions

Dies ist ein Unterverzeichnis des Staging-Verzeichnis, das Sie konfiguriert in Schritt 4. In diesem Beispiel verwenden wir/user/history. Erstellen Sie es und legen Sie die Berechtigungen wie folgt:

sudo -u hdfs hadoop fs -mkdir -p /user/history 
sudo -u hdfs hadoop fs -chmod -R 1777 /user/history 
sudo -u hdfs hadoop fs -chown mapred:hadoop /user/history