Leistung von gsutil cp Befehl wurde abgelehnt

Question

Wir haben festgestellt, dass die gsutil cp Befehl zum Kopieren einer einzigen Datei in Google Storage war besser, wenn nur wenige solcher Prozesse ausgeführt, um verschiedene einzelne Dateien an verschiedenen Speicherort auf Google Storage zu kopieren. Die normale Geschwindigkeit zu dieser Zeit war ~ 50mbps. Aber da "gsutil cp" Prozesse zum Kopieren einer einzelnen Datei in Google-Speicher zugenommen haben, ist die durchschnittliche Geschwindigkeit in diesen Tagen auf ~ 10mbps gefallen.

Ich nehme an „gsutil -m cp“ Befehl nicht Performace verbessern, da es nur 1 Datei kopiert werden soll.

Was kann mit der Zunahme der Anzahl von gsutil cp Prozessen dieser geringen Geschwindigkeit zugeschrieben werden, um viele einzelne Dateien zu kopieren. Was können wir tun, um die Geschwindigkeit dieser Prozesse zu erhöhen?

Answer 1

gsutil kann eine einzelne große Datei parallel hochladen. Dazu werden Teile der Datei als separate Objekte in GCS hochgeladen und anschließend von GCS aufgefordert, sie zusammen zu bilden und anschließend die einzelnen Unterobjekte zu löschen.

N.B. Da Objekte hochgeladen und dann fast sofort gelöscht werden, sollten Sie dies nicht in Nearline-Buckets tun, da für das Löschen von Objekten, die kürzlich hochgeladen wurden, zusätzliche Kosten anfallen.

Sie können eine Dateigröße festlegen, ab der gsutil dieses Verhalten verwendet. Versuchen Sie folgendes: https://cloud.google.com/storage/docs/gsutil/commands/cp#parallel-composite-uploads