2017-12-12 3 views
1

Angenommen, wir haben einen Arbeiter mit 4 CPU-Kernen. Wie wird die Parallelität in Dataflow-Worker-Computern konfiguriert? Parallel zu # Anzahl der Kerne?Google Cloud Dataflow Worker Threading

Wo wäre diese Art von Informationen verfügbar?

Antwort

2

Ein Worker-Thread wird pro Kern verwendet, und jeder Worker-Thread verarbeitet unabhängig voneinander einen Teil des Eingabebereichs.

+0

Also 1 Maschine mit 4 Kern, Parallelität ist 4? Danke – Mayumi

+0

Können wir diese Informationen auch irgendwo in der Dokumentation finden? Wäre super hilfreich. – Mayumi

+0

Ich stieß auf diese Suche oder eine Antwort auf meine eigene etwas andere Frage. Können Sie bitte klarstellen, ob es einen Unterschied gibt, einen DataFlow-Job lokal auf einer Compute Engine-Instanz mit 8 CPUs auszuführen oder ihn remote auf 8 N1-Standard-1 DataFlow-Workern auszuführen? Offensichtlich ist Auto-Scaling ein Unterschied, aber gibt es irgendwelche Vor- oder Nachteile für lokal vs. remote sonst? Insbesondere in Bezug auf die Parallelverarbeitung. Vielen Dank! –

Verwandte Themen