Wie Gesamtzahl der Zeilen in einer Datei mit Google Datenfluß

Question

zählen würde ich gerne wissen, ob es einen Weg gibt insgesamt keine Zeilen in einer Datei mit Google Datenfluß, um herauszufinden. Jedes Codebeispiel und jeder Zeiger ist eine große Hilfe. Grundsätzlich habe ich ein Verfahren, wie

int getCount(String fileName) {} 

So wird über Methode zurückgeben Gesamtanzahl der Zeilen und deren Umsetzung wird Datenfluß Code sein.

Dank

Answer 1

wie Ihr Anwendungsfall scheint, ist eine, die Verarbeitung erfordern nicht verteilt, da die Datei komprimiert ist und daher nicht gleichzeitig gelesen werden können. finden Sie können jedoch nach wie vor nützlich es Datenfluß-APIs zum Wohl ihrer einfachen Zugangs zu GCS und automatischer Dekompression zu verwenden.

Da Sie das Ergebnis auch als tatsächliches Java-Objekt aus Ihrer Pipeline herausholen möchten, müssen Sie den Direct-Runner verwenden, der prozessintern ausgeführt wird, ohne mit dem Dataflow-Dienst zu kommunizieren oder eine verteilte Verarbeitung durchzuführen Rückkehr es die Fähigkeit PCollection ‚s in Java-Objekte zu extrahieren bietet:

wie diese

Etwas:

PipelineOptions options = ...; 
DirectPipelineRunner runner = DirectPipelineRunner.fromOptions(options); 
Pipeline p = Pipeline.create(options); 
PCollection<Long> countPC = 
    p.apply(TextIO.Read.from("gs://...")) 
    .apply(Count.<String>globally()); 
DirectPipelineRunner.EvaluationResults results = runner.run(p); 
long count = results.getPCollection(countPC).get(0);