Wie liest man eine Textdatei Zeile für Zeile in Go, wenn einige Zeilen lang genug sind, um "bufio.Scanner: Token zu lange" Fehler zu verursachen?

Question

Ich habe eine Textdatei, in der jede Zeile ein JSON-Objekt darstellt. Ich bin der Verarbeitung dieser Datei in Go mit einem einfachen for Schleife wie folgt aus:

scanner := bufio.NewScanner(file) 
for scanner.Scan() { 
    jsonBytes = scanner.Bytes() 
    var jsonObject interface{} 
    err := json.Unmarshal(jsonBytes, &jsonObject) 

    // do stuff with "jsonObject"... 

} 
if err := scanner.Err(); err != nil { 
    log.Fatal(err) 
} 

Wenn dieser Code eine Zeile mit einem besonders großen JSON-String (~ 67kb) erreicht, erhalte ich die Fehlermeldung „bufio.Scanner: Token zu lang ".

Gibt es eine einfache Möglichkeit, die maximale Zeilengröße, die von NewScanner gelesen werden kann, zu erhöhen? Oder gibt es einen anderen Ansatz, den Sie insgesamt machen können, wenn Sie Zeilen lesen müssen, die für NewScanner zu groß sind, aber im Allgemeinen bekannt sind, dass sie nicht von unsicherer Größe sind?

Answer 1

Von the package docs:

Programme, die mehr Kontrolle über die Fehlerbehandlung oder große Token benötigen, oder müssen sequenziellen Scans auf einem Lesegerät ausführen, sollte bufio.Reader stattdessen verwenden.

Es sieht so aus, als wäre die bevorzugte Lösung bufio.Reader.ReadLine.

Answer 2

Sie wollen sicher nicht Zeile für Zeile lesen. Warum nicht Sie dies nur tun:

d := json.NewDecoder(file) 
for { 
    var ob whateverType 
    err := d.Decode(&ob) 
    if err == io.EOF { 
     break 
    } 
    if err != nil { 
     log.Fatalf("Error decoding: %v", err) 
    } 

    // do stuff with "jsonObject"... 

} 

Answer 3

Sie können auch tun:

scanner := bufio.NewScanner(file) 
buf := make([]byte, 0, 64*1024) 
scanner.Buffer(buf, 1024*1024) 
for scanner.Scan() { 
    // do your stuff 
} 

Das zweite Argument für scanner.Buffer() setzt die maximale Token-Größe. Im obigen Beispiel können Sie die Datei scannen, solange keine Zeile größer als 1 MB ist.