AWS Spark-EMR Numpy Import Fehler

Question

Ich versuche, ein Python-Skript auf AWS EMR vorlegen, dass die Einfuhren numpy aber ich bekomme

ImportError: No module named numpy 

Ich habe versucht, eine der Antworten mit hier: No module named numpy when spark-submitting. Ich habe ein Skript, das bootstrap_actions.sh

sudo yum install python-numpy python-scipy -y 

und ich das Skript enthält, wenn ich den Cluster zu erstellen, aber immer noch den Import Fehler. Irgendeine Lösung, wie ich importieren kann, um zu arbeiten?

Answer 1

Für Amazon EMR müssen Sie Bootstrap-Aktionen verwenden. Die Installation von der Konsole aus ändert nur den Master-Knoten und nicht die Task-Knoten.

runners: 
    emr: 
    bootstrap: 
    - sudo yum install -y python27-numpy 

Ich gehe davon aus, dass Sie Python 2.7 verwenden werden. Wenn Sie Python 3.x verwenden, finden Sie im folgenden Link Beispiele für die Installation mit PIP im Bootstrap. Ich gehe auch davon aus, dass Sie eine aktuelle EMR AMI verwenden.

EMR Bootstrapping Cookbook