Lesen sehr große .xml.bz2 Dateien

Question

Ich mag würde Wikimedia .xml.bzip2 analysieren Dumps, ohne die gesamte Datei zu extrahieren oder eine XML-Validierung durchführen:

var filename = "enwiki-20160820-pages-articles.xml.bz2"; 

var settings = new XmlReaderSettings() 
{ 
    ValidationType = ValidationType.None, 
    ConformanceLevel = ConformanceLevel.Auto // Fragment ? 
}; 

using (var stream = File.Open(filename, FileMode.Open)) 
using (var bz2 = new BZip2InputStream(stream)) 
using (var xml = XmlTextReader.Create(bz2, settings)) 
{ 
    xml.ReadToFollowing("page"); 
    // ... 
} 

Die BZip2InputStream Werke - wenn ich einen StreamReader verwenden Ich kann XML Zeile für Zeile lesen. Aber wenn ich XmlTextReader verwenden, scheitert es, wenn ich versuche, die Lese auszuführen:

System.Xml.XmlException: ‚Unerwartetes Ende der Datei aufgetreten ist. Die folgenden Elemente sind nicht geschlossen: mediawiki. Linie 58, Position 1. '

Der bzip Strom nicht bei EOF. Ist es möglich, einen XmlTextReader über einem BZip2-Stream zu öffnen? Oder gibt es andere Möglichkeiten, dies zu tun?

Answer 1

Dies sollte funktionieren. Ich habe eine Kombination aus XmlReader und Xml Linq verwendet. Sie können das XElement-Dokument nach Bedarf analysieren.

using System; 
using System.Collections.Generic; 
using System.Linq; 
using System.Text; 
using System.Xml; 
using System.Xml.Linq; 


namespace ConsoleApplication29 
{ 
    class Program 
    { 
     const string URL = @"https://dumps.wikimedia.org/enwiki/20160820/enwiki-20160820-abstract26.xml"; 
     static void Main(string[] args) 
     { 
      XmlReader reader = XmlReader.Create(URL); 

      while (!reader.EOF) 
      { 
       if (reader.Name != "doc") 
       { 
        reader.ReadToFollowing("doc"); 
       } 
       if (!reader.EOF) 
       { 
        XElement doc = (XElement)XElement.ReadFrom(reader); 
       } 
      } 

     } 
    } 
}