Wie man den letzten Teil der großen Datei mit Java oder Scala behandelt

Question

Ziemlich einfache Frage, Angenommen, ich habe eine große Datei, Mein Zweck ist es, alle 200 Zeilen zu lesen und einige Prozesse auf anderen Thread. Die Datei ist ziemlich lang, so dass der letzte Thread nicht genau 200 Zeilen erhält.

Ich dachte, etwas über sich selbst: (aber nicht bekommen, wie die verbleibende letzte Chunk .... zu lösen)

String[] chunk = new String[200]; 
     int count = 0; 
     String line = null; 
     while ((line = bufferedReader.readLine()) != null) { 
      chunk[count % chunk.length] = line; 
      count++; 
      if (count % chunk.length == 0) { 
       exec.execute(new Runnable() { 

        @Override 
        public void run() { 
         // TODO process what ever 

        } 
       }); 
      } 

     } 

porpose: jedes Chunk von Linien auf anderen Thread nehmen Code unter Berücksichtigung handhaben der letzte Brocken, mit der besten Leistung/Optimierung.

PS - nicht tho ganze Datei zuerst und Speicher in dem Speicher lesen chunked ... Ich denke, tut es während der Iteration ...

Answer 1

Dies ist ein üblicher Fall ist, wenn man etwas in gleichen Teilen zu verarbeiten, der letzte Teil ist kleiner als die Chunk-Größe, aber größer als 0, mit Ausnahme des Falls tot_lines % chunk_size == 0. Sie können einen neuen letzten Thread ausführen, nachdem die while-Schleife beendet wurde. Im Array chunk haben Sie die restlichen Zeilen.

Answer 2

 Source 
     .fromFile("fileName") 
     .getLines 
     .grouped(200) 
     .foreach(doStuff)