So konfigurieren Sie den virtuellen Python-Schritt für Hadoop in Ami 4.x

Question

In AMI 3 existiert die Datei /home/hadoop/conf/hadoop-user-env.sh. Und dieser alte Code, den ich sehe, konnte diesen Befehl beim Bootstrapping ausführen.

echo ". /home/hadoop/resources/pips/bin/activate" >> /home/hadoop/conf/hadoop-user-env.sh 

Dies aktiviert virtuelles env für Python.

In AMI 4 ist diese Datei verschwunden. Wie soll ich einen Python-Schritt in Hadoop machen, um unter ami 4 in virtuellem env zu laufen?

Answer 1

Ich werde dies versuchen und hoffen, dass es Ihnen hilft.

In Amazon EMR AMI-Versionen 2.x und 3.x gab es ein Skript hadoop-user-env.sh, das nicht zum Standard-Hadoop gehörte und zusammen mit der Bootstrap-Aktion configure-daemons zum Konfigurieren des Hadoop verwendet wurde Umgebung. Das Skript enthalten die folgenden Aktionen:

#!/bin/bash 
export HADOOP_USER_CLASSPATH_FIRST=true; 
echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh 

In Amazon EMR Release 4.x, können Sie das gleiche tun jetzt mit den Hadoop-env-Konfigurationen:

[ 
    { 
    "Classification":"hadoop-env", 
    "Properties":{ 

    }, 
    "Configurations":[ 
     { 
      "Classification":"export", 
      "Properties":{ 
       "HADOOP_USER_CLASSPATH_FIRST":"true", 
       "HADOOP_CLASSPATH":"/path/to/my.jar" 
      } 
     } 
    ] 
    } 
] 

Es gibt weitere Informationen über die Unterschiede und Ersatzcodes auf Amazon's Documentation Site.