gsutil Streaming scheint nicht wirklich

Question

zu streamen

Ich folge den Anweisungen hier: https://cloud.google.com/storage/docs/streaming

Wie ich ein Verfahren zum Hochladen auf Google Cloud Storage per Streaming zu starten, muss der Prozess abgeschlossen ist, bevor irgendetwas zeigt sich in Google-Wolke. Wenn der Prozess in irgendeiner Weise unterbrochen wird, zeigt sich nichts.

Gibt es einen Weg, um tatsächlich Speicherung gcloud zu streamen (und vielleicht sogar in der Lage sein, den Download zu starten, bevor der Upload abgeschlossen ist?

Answer 1

Es tatsächlich über fortsetzbar Uploads Streaming macht, sondern ein Stück nicht senden, bis Sie haben die fortsetzbar Chunkgröße getroffen: https://github.com/GoogleCloudPlatform/gsutil/blob/88ab2023f0dcf3d7a5444832eb547b2cbc68d7bd/gslib/util.py#L833

Sie einen ziemlich einfachen python-Skript schreiben kann, zu einer Zeit, als die mehr zu erzeugen, dann Pause, so dass Sie die Uploads auftreten, sehen:

import sys 
import time 

for i in range(3): 
    sys.stdout.write('a' * 1024 * 1024 * 101L) 
    time.sleep(10) 

Und Rohr es wie so gsutil:

python my_data_generator.py | gsutil cp - gs://BUCKET/OBJECT 

die Datenübertragung für eine Weile zu beobachten, im Schlaf stoppen und fortsetzen.

Um diese Chunk-Größe zu reduzieren, können Sie die Option GSUtil:json_resumable_chunk_size in Ihrer .boto-Datei anpassen.