HDFS von Java - Angabe der Benutzer

Question

Ich verbinde glücklich zu HDFS und Auflisten meinem Home-Verzeichnis:

Configuration conf = new Configuration(); 
conf.set("fs.defaultFS", "hdfs://hadoop:8020"); 
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem"); 
FileSystem fs = FileSystem.get(conf); 
RemoteIterator<LocatedFileStatus> ri = fs.listFiles(fs.getHomeDirectory(), false); 
while (ri.hasNext()) { 
    LocatedFileStatus lfs = ri.next(); 
    log.debug(lfs.getPath().toString()); 
} 
fs.close(); 

Was ich will, obwohl tun jetzt als einen bestimmten Benutzer eine Verbindung (nicht die Whois-Benutzer). Weiß jemand, wie Sie angeben, mit welchem ​​Benutzer Sie sich verbinden?

Answer 1

Sobald ich sehe, wird dies durch UserGroupInformation Klasse und PrivilegedAction oder PrivilegedExceptionAction getan. Hier ist ein Beispielcode, um eine Verbindung zu Remote-HDFS herzustellen, die "wie" einem anderen Benutzer ähnelt (in diesem Fall "hbase"). Hoffe das wird deine Aufgabe lösen. Wenn Sie ein vollständiges Schema mit Authentifizierung benötigen, müssen Sie die Benutzerbehandlung verbessern. Aber für SIMPLE Authentifizierungsschema (eigentlich keine Authentifizierung) funktioniert es gut.

package org.myorg; 

import java.security.PrivilegedExceptionAction; 

import org.apache.hadoop.conf.*; 
import org.apache.hadoop.security.UserGroupInformation; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.FileStatus; 

public class HdfsTest { 

    public static void main(String args[]) { 

     try { 
      UserGroupInformation ugi 
       = UserGroupInformation.createRemoteUser("hbase"); 

      ugi.doAs(new PrivilegedExceptionAction<Void>() { 

       public Void run() throws Exception { 

        Configuration conf = new Configuration(); 
        conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase"); 
        conf.set("hadoop.job.ugi", "hbase"); 

        FileSystem fs = FileSystem.get(conf); 

        fs.createNewFile(new Path("/user/hbase/test")); 

        FileStatus[] status = fs.listStatus(new Path("/user/hbase")); 
        for(int i=0;i<status.length;i++){ 
         System.out.println(status[i].getPath()); 
        } 
        return null; 
       } 
      }); 
     } catch (Exception e) { 
      e.printStackTrace(); 
     } 
    } 
} 

Answer 2

Wenn ich Sie richtig verstanden habe, wollen Sie nur das Home-Verzeichnis des Benutzers, wenn angegeben, und nicht den Whois-Benutzer.

Setzen Sie in Ihrer Konfigurationsdatei Ihre homedir-Eigenschaft auf user/$ {user.name}. Stellen Sie sicher, dass Sie eine Systemeigenschaft namens user.name haben

Das funktionierte in meinem Fall.

Ich hoffe, das ist, was Sie tun möchten, wenn Sie nicht einen Kommentar hinzufügen.