0
Ich muss 2 verkettete M/R-Jobs ausführen, daher müsste ich die Ausgabe des ersten Jobs als Eingabe für die zweite verwenden.Jobverkettung auf Amazon EMR?
Wie kann ich dies auf EMR erreichen?
A
Antwort
0
Sie können mehrere Jobs als Schritte hinzufügen. Und verwenden Sie S3, um die Zwischenergebnisse zu speichern. Der zweite mapreduce-Job kann die Zwischenergebnisse von S3 lesen und die Arbeit fortsetzen.
Verwandte Themen
- 1. RStudio auf Amazon EMR-Cluster
- 2. Amazon EC2 vs. Amazon EMR
- 3. Zugriff auf Azure-Blobspeicher in Amazon EMR
- 4. wie startet man emr cluster auf amazon?
- 5. Amazon EMR Cluster matplotlib Fehler
- 6. Wie Sie Dateien von Amazon emr abrufen?
- 7. Amazon AWS EMR "Nein" Konfiguration Beispielanwendung
- 8. Unterstützung für Hadoop 1.0.1 Jobs auf Amazon EMR
- 9. Bootstrapping Abhängigkeiten auf Amazon EMR mit Python Mrjob
- 10. Parquet Warning Auffüllen Einloggen Hive MapReduce auf Amazon EMR
- 11. Running Pig on Tez auf Amazon EMR-4
- 12. Amazon EMR - Yum Update Boostrap Aktion schlägt auf Slave
- 13. Python Dependency Management auf EMR
- 14. Ausführen von Amazon EMR mit einem benutzerdefinierten AMI?
- 15. Verbinden Sie Amazon EMR Spark mit MySQL (Schreiben von Daten)
- 16. amazon emr spark Einreichung von S3 funktioniert nicht
- 17. Fehler bei der Analyse Parameter, amazon aws emr
- 18. Oozie Probe auf EMR
- 19. Spark auf EMR konfigurieren
- 20. Schritt fehlgeschlagen mit ExitCode, Amazon Emr Hadoop, S3DistCp
- 21. Amazon Web Services Kinesis, EMR und S3 in der Cloud
- 22. Spark und Amazon EMR: S3-Verbindungen werden nicht geschlossen
- 23. AWS EMR Spark 1.0
- 24. Snappy nicht verfügbar Fehler auf EMR
- 25. Presto auf EMR: externer Zugriff
- 26. Liste S3-Ordner auf EMR
- 27. läuft pyspark Skript auf EMR
- 28. Funken mit OpenBLAS auf EMR
- 29. Spark UI auf AWS EMR
- 30. fehlgeschlagen mrjob auf EMR importieren