Ich habe gelesen, dass der erste Chunk 256MB und jeder weitere Chunk nur 4MB sein kann?Wie hoch ist die maximale Dateigröße, die mit der REST-API in den azure Data Lake Store gestreamt werden kann?
Kann jemand das bestätigen oder ablehnen?
https://docs.microsoft.com/en-us/rest/api/datalakestore/webhdfs-filesystem-apis
Durch die API REST können Sie Dateien beliebiger Größe übertragen. Der bevorzugte Weg besteht darin, ein CREATE gefolgt von einer Anzahl von APPEND-Aufrufen zu verwenden. Die empfohlene Größe für jede Übertragung beträgt 4 MB oder weniger.
Es ist auch möglich, obwohl nicht empfohlen, einen größeren Chunk in einem einzigen REST API-Aufruf zu übertragen. Sie müssen Transfer-Encoding in diesem Modus auf Chunked setzen. Siehe hier: https://en.wikipedia.org/wiki/Chunked_transfer_encoding. Es gibt jedoch einige Nuancen, es zu benutzen. Jeder einzelne Chunk in dem Anruf kann fehlschlagen. Sie müssen in diesem Fall feststellen, an welchem Punkt die Übertragung insgesamt fehlgeschlagen ist. Chunks über 4 MB sind nicht garantiert, dass sie auch atomar ausgeführt werden.