Was ist der Unterschied zwischen Google Dataflow und Google Dataproc?

Question

DataFlow selbst hat ETL-, Berechnungs- und Streaming-Prozess Warum brauchen wir Googles Dataproc?

Answer 1

Google Dataflow ist ein vollständig verwalteter und selbstoptimierender Cloud-Dienst, mit dem Sie das Programmiermodell Apache Beam zum Schreiben Ihrer Batch- und Streaming-Datenverarbeitungspipelines verwenden können. Es ist in viele Open Source- und Google Cloud-Datenquellen und Senken integriert.

Google Dataproc ist ein vollständig gemanagter Cloud-Dienst zum Ausführen von Apache Hadoop- und Apache Spark-Clustern auf einfache und kostengünstige Weise. Wenn Sie über Datenverarbeitungspipelines verfügen, die Spark, Hive oder Pig verwenden, ist dies eine schnelle und einfache Möglichkeit, Ihre Pipelines zu verschieben. Sie können benutzerdefinierte Pakete installieren, starten/stoppen und diese Cluster jederzeit skalieren. Darüber hinaus ist Google Dataproc in viele Google Clouds Datendienste integriert.