Google Cloud Dataproc von Google Datalab

Question

Kann Code in Google Cloud Datalab auf Dataproc-Clustern ausgeführt werden?

Die Idee ist, die große Interaktivität und Schnittstelle von Datalab zu verwenden, um Apache Spark Code auszuführen.

Answer 1

Dies ist auf unserem Radar, aber noch nicht vollständig als Init-Aktion für einen Dataproc-Cluster aktiviert.

Danke. Dinesh Kulkarni Produktmanager Datalab & Machine Learning, GCP

Answer 2

Nun ist es möglich, erstellen Sie einfach eine Dataproc Cluster diesem Befehl:

gcloud dataproc clusters create $CLUSTERNAME \ 
    --project $PROJECT \ 
    --num-workers $WORKERS \ 
    --bucket $BUCKET \ 
    --metadata startup-script-url=gs://$BUCKET/setup/setup_env.sh,BUCKET=$BUCKET \ 
    --master-machine-type $VMMASTER \ 
    --worker-machine-type $VMWORKER \ 
    --initialization-actions \ 
     gs://dataproc-initialization-actions/datalab/datalab.sh \ 
    --scopes cloud-platform 

Um es noch einfacher Sie dieses Skript verwenden können: https://github.com/kanjih-ciandt/script-dataproc-datalab/tree/master