So laden Sie eine große Datei aus Google Cloud Storage mithilfe von Java mit Prüfsummensteuerung

Question

Ich möchte große Dateien aus Google Cloud Storage mit der von Google bereitgestellten Java-Bibliothek com.google.cloud.storage herunterladen. Ich habe Arbeitscode, aber ich habe noch eine Frage und ein Hauptproblem:

Mein Hauptanliegen ist, wann ist der Dateiinhalt tatsächlich heruntergeladen? Während (Verweise auf den folgenden Code) storage.get(blobId), während blob.reader() oder während reader.read(bytes)? Dies wird sehr wichtig, wenn es darum geht, wie mit einer ungültigen Prüfsumme zu behandeln, was muss ich tun, um tatsächlich auszulösen, dass die Datei wieder über das Netzwerk abgerufen wird?

Die einfachere Frage ist: Gibt es eingebaute Funktionalität, um MD5 (oder CRC32C) auf die erhaltene Datei in der Google Bibliothek zu tun? Vielleicht muss ich es nicht selbst implementieren.

Hier versucht, meine Methode große Dateien von Google Cloud Storage herunterladen:

private static final int MAX_NUMBER_OF_TRIES = 3; 
public Path downloadFile(String storageFileName, String bucketName) throws IOException { 
    // In my real code, this is a field populated in the constructor. 
    Storage storage = Objects.requireNonNull(StorageOptions.getDefaultInstance().getService()); 

    BlobId blobId = BlobId.of(bucketName, storageFileName); 
    Path outputFile = Paths.get(storageFileName.replaceAll("/", "-")); 
    int retryCounter = 1; 
    Blob blob; 
    boolean checksumOk; 
    MessageDigest messageDigest; 
    try { 
     messageDigest = MessageDigest.getInstance("MD5"); 
    } catch (NoSuchAlgorithmException ex) { 
     throw new RuntimeException(ex); 
    } 

    do { 
     LOGGER.debug("Start download file {} from bucket {} to Content Store (try {})", storageFileName, bucketName, retryCounter); 
     blob = storage.get(blobId); 
     if (null == blob) { 
      throw new CloudStorageCommunicationException("Failed to download file after " + retryCounter + " tries."); 
     } 
     if (Files.exists(outputFile)) { 
      Files.delete(outputFile); 
     } 
     try (ReadChannel reader = blob.reader(); 
      FileChannel channel = new FileOutputStream(outputFile.toFile(), true).getChannel()) { 
      ByteBuffer bytes = ByteBuffer.allocate(128 * 1024); 
      int bytesRead = reader.read(bytes); 
      while (bytesRead > 0) { 
       bytes.flip(); 
       messageDigest.update(bytes.array(), 0, bytesRead); 
       channel.write(bytes); 
       bytes.clear(); 
       bytesRead = reader.read(bytes); 
      } 
     } 
     String checksum = Base64.encodeBase64String(messageDigest.digest()); 
     checksumOk = checksum.equals(blob.getMd5()); 
     if (!checksumOk) { 
      Files.delete(outputFile); 
      messageDigest.reset(); 
     } 
    } while (++retryCounter <= MAX_NUMBER_OF_TRIES && !checksumOk); 
    if (!checksumOk) { 
     throw new CloudStorageCommunicationException("Failed to download file after " + MAX_NUMBER_OF_TRIES + " tries."); 
    } 
    return outputFile; 
} 

Answer 1

Die Google-Cloud-Java-Speicherbibliothek validiert keine Prüfsummen, wenn Daten über die normale HTTPS/TCP-Korrektheitsprüfung hinaus gelesen werden. Wenn das MD5 der empfangenen Daten mit dem bekannten MD5 verglichen würde, müsste es die gesamte Datei herunterladen, bevor es Ergebnisse von read() zurücksenden könnte, was für sehr große Dateien undurchführbar wäre.

Was Sie tun, ist eine gute Idee, wenn Sie den zusätzlichen Schutz des Vergleichs von MD5s benötigen. Wenn dies eine einmalige Aufgabe ist, können Sie das Befehlszeilentool gsutil verwenden, das diese Art von zusätzlicher Prüfung durchführt.

Answer 2

Da die JavaDoc von ReadChannel sagt:

Implementationen dieser Klasse intern Datenpuffer können Remote-Aufrufe zu reduzieren .

So ist die Implementierung Sie von blob.reader() bekommen konnte die gesamte Datei, einige Bytes oder nichts zwischenzuspeichern und nur Byte für Byte holen, wenn Sie read() nennen. Du wirst es nie wissen und es sollte dir egal sein.

Wie nur read() wirft eine IOException und die anderen Methoden, die Sie nicht tun, würde ich sagen, dass nur Aufruf read() tatsächlich Zeug herunterladen wird. Sie können dies auch in the sources der lib sehen.

Btw. Trotz des Beispiels in den JavaDocs der Bibliothek sollten Sie nach >= 0 suchen, nicht nach > 0. 0 bedeutet nur, dass nichts gelesen wurde, nicht dass das Ende des Streams erreicht wurde. Das Ende des Streams wird durch die Rückgabe von -1 signalisiert.

Zum erneuten Versuch nach einer fehlgeschlagenen Prüfsummenprüfung, holen Sie sich einen neuen Reader aus dem Blob. Wenn etwas die heruntergeladenen Daten zwischenspeichert, dann der Leser selbst. Wenn Sie also einen neuen Reader aus dem Blob erhalten, wird die Datei von der Ferne heruntergeladen.