Laden Sie eine Zip-Datei mit io.Pipe() lesen/schreiben golang

Question

Ich versuche, Bytes einer Zip-Datei mit io.Pipe() -Funktion in Golang streamen. Ich benutze Pipe-Reader, um die Bytes jeder Datei in der ZIP zu lesen und streame sie dann aus und benutze den Pipe-Writer, um die Bytes in das Antwortobjekt zu schreiben.

Dies ist keine funktionierende Implementierung, sondern eine Struktur dessen, was ich versuche zu erreichen. Ich möchte nicht ioutil.ReadAll verwenden, da die Datei sehr groß sein wird und Pipe() hilft mir zu vermeiden, alle Daten in den Speicher zu bringen. Kann jemand mit einer funktionierenden Implementierung mit io.Pipe() helfen?

Answer 1

Ich habe es funktioniert mit golang io.Pipe(). Der PipeWriter schreibt Byte in die Pipe in Chunks und die PipeReader Reader vom anderen Ende. Der Grund für die Verwendung einer Go-Routine ist eine nicht blockierende Schreiboperation, während simultane Lesevorgänge in der Pipe stattfinden.

Hinweis: Es ist wichtig, den Pipe Writer zu schließen (w.Close()), um EOF im Stream zu senden, andernfalls wird der Stream nicht geschlossen.

func DownloadZip() ([]byte, error) { 
    r, w := io.Pipe() 

    defer r.Close() 
    defer w.Close() 

    zip, err := os.Stat("temp.zip") 
    if err != nil{ 
     return nil, err 
    } 

    go func(){ 

     f, err := os.Open(zip.Name()) 
     if err != nil { 
      return 

     } 

     buf := make([]byte, 1024) 
     for { 
      chunk, err := f.Read(buf) 
      if err != nil && err != io.EOF { 
       panic(err) 
      } 
      if chunk == 0 { 
       break 
      } 

      if _, err := w.Write(buf[:chunk]); err != nil{ 
       return 
      } 

     } 

     w.Close() 
    }() 

    body, err := ioutil.ReadAll(r) 
    if err != nil { 
     return nil, err 
    } 
    return body, nil 

} 

Bitte lassen Sie mich wissen, wenn jemand eine andere Möglichkeit hat, es zu tun.