"Sub-Parser" in Pipes-Attoparsec

Question

Ich versuche, Binärdaten mit Pipes-Attoparsec in Haskell zu analysieren. Der Grund dafür, dass Pipes (Proxies) beteiligt sind, besteht darin, das Lesen mit Parsing zu verschachteln, um eine hohe Speicherbenutzung für große Dateien zu vermeiden. Viele Binärformate basieren auf Blöcken (oder Chunks), und ihre Größen werden oft durch ein Feld in der Datei beschrieben. Ich bin mir nicht sicher, was ein Parser für einen solchen Block heißt, aber das meine ich mit "Sub-Parser" im Titel. Das Problem, das ich habe, ist, sie in einer prägnanten Weise ohne einen potenziell großen Speicherbedarf zu implementieren. Ich habe mir zwei Alternativen ausgedacht, die beide in gewisser Hinsicht versagen.

Alternative 1 besteht darin, den Block in eine separate Bytefolge zu lesen und einen separaten Parser dafür zu starten. Kurz gesagt, ein großer Block führt zu einem hohen Speicherverbrauch.

Alternative 2 besteht darin, im selben Kontext zu analysieren und die Anzahl der verbrauchten Bytes zu verfolgen. Dieses Tracking ist fehleranfällig und scheint alle Parser zu befallen, die in den finalen blockParser fallen. Bei einer fehlerhaften Eingabedatei könnte sie auch Zeit durch Parsing vergeuden, die weiter ist als durch das Größenfeld angegeben, bevor die verfolgte Größe verglichen werden kann.

import Control.Proxy.Attoparsec 
import Control.Proxy.Trans.Either 
import Data.Attoparsec as P 
import Data.Attoparsec.Binary 
import qualified Data.ByteString as BS 

parser = do 
    size <- fromIntegral <$> anyWord32le 

    -- alternative 1 (ignore the Either for simplicity): 
    Right result <- parseOnly blockParser <$> P.take size 
    return result 

    -- alternative 2 
    (result, trackedSize) <- blockparser 
    when (size /= trackedSize) $ fail "size mismatch" 
    return result 

blockParser = undefined 

main = withBinaryFile "bin" ReadMode go where 
    go h = fmap print . runProxy . runEitherK $ session h 
    session h = printD <-< parserD parser <-< throwParsingErrors <-< parserInputD <-< readChunk h 128 
    readChunk h n() = runIdentityP go where 
     go = do 
      c <- lift $ BS.hGet h n 
      unless (BS.null c) $ respond c *> go 

Answer 1

Ich nenne dies gerne einen "festen Eingabe" Parser.

Ich kann Ihnen sagen, wie pipes-parse es tun wird. Sie können eine Vorschau dessen sehen, was ich in pipes-parse in den parseN und parseWhile Funktionen der Bibliothek beschreiben werde. Diese sind eigentlich für generische Eingaben, aber ich schrieb ähnliche, zum Beispiel String Parser sowie here und here.

Der Trick ist wirklich einfach, Sie fügen ein falsches Ende des Eingabemarkers ein, wo der Parser stoppen soll, führen Sie den Parser aus (der fehlschlägt, wenn er das falsche Ende des Eingabemarkers trifft), dann entfernen Sie das Ende der Eingabe Marker.

Offensichtlich ist das nicht so einfach wie ich es klingen lasse, aber es ist das allgemeine Prinzip. Die heiklen Teile sind:

• Doing es so, dass es immer noch streamt. Die eine, die ich verlinkt habe, macht das noch nicht, aber die Art, wie du dies auf eine Streaming-Weise tust, ist, eine Pipe upstream einzufügen, die die durchfließenden Bytes zählt und dann den Marker am Ende der Eingabe an der richtigen Stelle einfügt.

• nicht mit bestehenden Ende der Eingabe störender Marker

Dieser Trick für pipes-attoparsec angepasst werden kann, aber ich denke, die beste Lösung wäre für attoparsec direkt um diese Funktion zu schließen. Wenn diese Lösung jedoch nicht verfügbar ist, können wir die Eingabe beschränken, die an den Parser attoparsec übergeben wird.

Answer 2

Ok, also habe ich endlich herausgefunden, wie man das macht, und ich habe dieses Muster in der pipes-parse Bibliothek kodifiziert. Die pipes-parse tutorial erklärt, wie man das macht, speziell im Abschnitt "Nesting".

Das Lernprogramm erklärt dies nur für das datenathnologische Parsen (d. H. Einen generischen Strom von Elementen), aber Sie können es auch so erweitern, dass es mit ByteString funktioniert.

Die beiden wichtigsten Tricks, die diese Arbeit zu machen sind:

• Fixing StateP global zu sein (in pipes-3.3.0)

• den Unter Parser in einer transienten StateP Schicht einbetten, so dass es eine verwendet Fresh Leftovers Kontext

Die pipes-attoparsec wird bald ein Update, dass buil veröffentlicht werden ds auf pipes-parse, damit Sie diese Tricks in Ihrem eigenen Code verwenden können.