Riesige Datei in Clojure und Java Heap-Platz Fehler

Question

Ich gepostet zuvor auf eine huge XML file - es ist ein 287GB XML mit Wikipedia-Dump ich möchte ot in CSV-Datei (Revisionen Autoren und Zeitstempel). Das habe ich bis zu einem gewissen Punkt geschafft. Bevor ich den StackOverflow Error bekomme, bekomme ich nun nach dem Lösen des ersten Problems: java.lang.OutOfMemoryError: Java Heap Space Fehler.

Mein Code (zum Teil von Justin Kramer Antwort genommen) sieht so aus:

(defn process-pages 
    [page] 
    (let [title  (article-title page) 
     revisions (filter #(= :revision (:tag %)) (:content page))] 
    (for [revision revisions] 
     (let [user (revision-user revision) 
      time (revision-timestamp revision)] 
     (spit "files/data.csv" 
       (str "\"" time "\";\"" user "\";\"" title "\"\n") 
       :append true))))) 

(defn open-file 
[file-name] 
(let [rdr (BufferedReader. (FileReader. file-name))] 
    (->> (:content (data.xml/parse rdr :coalescing false)) 
     (filter #(= :page (:tag %))) 
     (map process-pages)))) 

ich nicht zeigen article-title, revision-user und revision-title Funktionen, weil sie einfach nur Daten aus einem bestimmten Ort in der Seite nehmen oder Revisions-Hash. Jeder könnte mir dabei helfen - ich bin wirklich neu in Clojure und bekomme das Problem nicht.

Answer 1

Nur klar zu sein, (:content (data.xml/parse rdr :coalescing false)) faul. Überprüfen Sie seine Klasse oder ziehen Sie das erste Element (es wird sofort zurück), wenn Sie nicht überzeugt sind.

Das sagte, ein paar Dinge zu beachten, wenn große Sequenzen verarbeitet: Halten Sie auf den Kopf und unrealisierte/verschachtelte Faulheit. Ich denke, dass dein Code darunter leidet.

Hier ist, was ich empfehlen:

1) In (dorun) bis zum Ende der ->> Kette von Anrufen. Dadurch wird die Sequenz vollständig ausgeführt, ohne den Kopf zu halten.

2) Ändern Sie for in process-page zu doseq. Du spuckst auf eine Datei, was ein Nebeneffekt ist, und du willst das hier nicht träge machen.

Wie Arthur empfiehlt, möchten Sie vielleicht einmal eine Ausgabedatei öffnen und weiterschreiben, anstatt & für jeden Wikipedia-Eintrag zu öffnen.

UPDATE:

Hier ist ein Umschreiben, die Bedenken deutlicher zu trennen versucht:

(defn filter-tag [tag xml] 
    (filter #(= tag (:tag %)) xml)) 

;; lazy 
(defn revision-seq [xml] 
    (for [page (filter-tag :page (:content xml)) 
     :let [title (article-title page)] 
     revision (filter-tag :revision (:content page)) 
     :let [user (revision-user revision) 
       time (revision-timestamp revision)]] 
    [time user title])) 

;; eager 
(defn transform [in out] 
    (with-open [r (io/input-stream in) 
       w (io/writer out)] 
    (binding [*out* out] 
     (let [xml (data.xml/parse r :coalescing false)] 
     (doseq [[time user title] (revision-seq xml)] 
      (println (str "\"" time "\";\"" user "\";\"" title "\"\n"))))))) 

(transform "dump.xml" "data.csv") 

Ich sehe hier nichts, die übermäßige Speichernutzung verursachen würde.

Answer 2

Leider data.xml/parse ist nicht faul, es versucht, die gesamte Datei in den Speicher zu lesen und dann zu analysieren.

Verwenden Sie stattdessen die this (lazy) xml library, die nur den Teil enthält, an dem gerade gearbeitet wird. Sie müssen dann Ihren Code neu strukturieren, um die Ausgabe zu schreiben, während sie die Eingabe liest, anstatt alle xml zu sammeln und dann auszugeben.

Ihre Linie

(:content (data.xml/parse rdr :coalescing false) 

werden alle XML-Daten in den Speicher laden und fordern Sie dann den Inhaltsschlüssel von ihm. was den Haufen sprengen wird.

eine grobe Skizze eines faulen Antwort würde wie folgt aussehen:

(with-open [input (java.io.FileInputStream. "/tmp/foo.xml") 
      output (java.io.FileInputStream. "/tmp/foo.csv"] 
    (map #(write-to-file output %) 
     (filter is-the-tag-i-want? (parse input)))) 

Geduld hat, die Arbeit mit (> data ram) nimmt immer Zeit :)

Answer 3

Ich weiß nicht, über Clojure aber im Klar Java könnte man einen SAX Ereignis basierte Parser wie http://docs.oracle.com/javase/1.4.2/docs/api/org/xml/sax/XMLReader.html verwenden, die nicht die XML laden muss in dem RAM