Wie kann ich mein Programm reaktionsfähiger machen? (Programm, das mindestens 200 Dateien lädt) - ich könnte 1 Idee haben

Question

zuerst - ich möchte mich für mein abgeschlagenes Englisch entschuldigen.

Ich baue ein Programm, das eine Menge Dateien verwendet. Ich habe viele foreach-Schleifen, die durch die Festplatte und diese Dateien (mindestens 200 Dateien - 600 Bytes pro Datei im Durchschnitt) schleifen, die Schleife verwendet XPath, um nach Werten in der Datei zu suchen (die Dateien sind natürlich XML-Dateien)

Ich muss einen Weg finden, mein Programm reaktionsfähiger zu machen - ich dachte an eines, das folgendes ist: Computerspeicher hat eine höhere Ladegeschwindigkeit als Computerhardware - und ich dachte - vielleicht sollte ich diese Dateien in die Speicher und als Schleife der Speicher statt die Festplatte von looping .., nebenbei bemerkt, wenn jemand kann mir sagen, wie viel schneller Computer-Speicher (von harddisks) ist als dank

Vielen dank im fortgeschrittenen .. Din

wenn jemand nicht mein Englisch verstehen Ich werde versuchen, wieder zu erklären

Answer 1

Der beste Ansatz, den ich denke, ist PLINQ in C#4.0. Gruppieren Sie diese XML-Dateien und fragen Sie sie parallel mit LINQ-to-XML ab. Das folgende ist ein einfaches Beispiel, das alle XML-Dateien in C: \ xmlFolder lädt und die Dokumente auswählt, die ein Element enthalten, dessen Name "Schlüssel" ist.

List<XDocument> xmls = Directory.EnumerateFiles(@"C:\XmlFolder").AsParallel() 
          .Select(path => XDocument.Load(path)) 
          .Where(doc => doc.Descendants() 
              .Any(ele => ele.Name.Equals("key"))) 
          .ToList(); 

Answer 2

Sie sollten die XML-Dateien in einem anderen Thread analysieren und Objekte mit den erforderlichen Informationen zu erstellen, auf diese Weise Sie sofortigen Zugriff auf die Informationen haben.

Answer 3

Definieren Sie "reagierend". Meinst du, dass du möchtest, dass UI-Cues weiterhin passieren oder dass du während der Verarbeitung der Dateien weiterhin in der Lage bist, andere Dinge zu tun?

Der ehemalige ist einfach, Sie können einfach in den gelegentlichen Application.DoEvents() in Ihren Schleifen werfen. Dadurch wird die Benutzeroberfläche aufgefordert, alle wartenden Hinweise auszuführen (z. B. das Fenster zeichnen usw.).

Letzteres wird Multi-Threading beinhalten. Eintauchen in das ist ein bisschen komplexer, als in einem Absatz oder zwei gelehrt werden kann, aber einige Google-Suchen nach "C# .net Multithreading-Tutorial" sollte eine Tonne Ergebnisse ergeben. Wenn Sie mit dem grundlegenden Konzept dessen, was Multithreading bietet, nicht vertraut sind, kann ich es weiter erklären.

Answer 4

Sie können die Datenbank zum Speichern von XML-Dateien verwenden, sie wird schneller, sicherer und zuverlässiger als Ihr aktuelles Schema sein. Sie können Indizes erstellen, der gleichzeitige Zugriff ist aktiviert, XQuery/Xpath wird unterstützt und viel mehr "Pluspunkte".

Wenn Sie nur XML-Dateien haben, können Sie Native XML-Datenbanken berücksichtigen. Wenn Sie auch andere Datentypen haben, können Sie XML-fähige DBMLS (wie Oracle oder DB2) in Betracht ziehen.

Answer 5

Verwenden Sie einen BackgroundWorker oder einen ThreadPool, um mehrere Threads für die E/A zu erzeugen, und lesen Sie die Daten dann in eine Warteschlange (vorausgesetzt, die Gesamtgröße Ihrer Daten ist nicht zu groß). Lassen Sie einen anderen Thread von dieser Queue ablesen und führen Sie Ihre interne xPath-Logik aus, um aus diesen Dateien alles herauszuholen, was Sie benötigen.

Im Wesentlichen, denken Sie an es als eine Instanz der Producer/Consumer design pattern, wobei Ihre I/O-Leser Threads Produzenten sind, und Ihre XPath-Logik Threads sind Verbraucher.

Der Typ des Objekts in der Warteschlange könnte nur ein Byte-Array sein, aber ich würde vorschlagen, eine benutzerdefinierte C# -Klasse, die das Byte-Array enthält, sowie einige der Metadaten der Datei für den Fall, dass Sie es für was auch immer benötigen Grund.