Iterieren durch IQueryable mit foreach Ergebnisse in einem nicht genügend Speicher Ausnahme

Question

Ich bin durch eine kleinere (~ 10 GB) Tabelle mit einem Foreach/IQueryable und LINQ-SQL. sieht ungefähr so ​​aus:

using (var conn = new DbEntities() { CommandTimeout = 600*100}) 
{ 
    var dtable = conn.DailyResults.Where(dr => dr.DailyTransactionTypeID == 1); 
    foreach (var dailyResult in dtable) 
    { 
     //Math here, results stored in-memory, but this table is very small. 
     //At the very least compared to stuff I already have in memory. :) 
    } 
} 

Das Visual Studio-Debugger führt eine Out-of-Speicher Ausnahme nach kurzer Zeit auf der Basis der foreach-Schleife. Ich gehe davon aus, dass die Zeilen der dtable nicht geleert werden. Was ist zu tun?

Answer 1

Die IQueryable<DailyResult> dTabelle wird versuchen, das gesamte Abfrageergebnis in dem Speicher zu laden, wenn aufgezählt ... vor einer Wiederholung der foreach-Schleife. Während der Iteration der foreach-Schleife wird keine Zeile geladen. Wenn Sie dieses Verhalten wünschen, verwenden Sie DataReader.

Answer 2

Sie nennen ~ 10GB kleiner? Du hast einen guten Sinn für Humor!

Sie könnten Zeilen in Blöcken laden, auch bekannt als Paginierung.

conn.DailyResults.Where(dr => dr.DailyTransactionTypeID == 1).Skip(x).Take(y); 

Answer 3

Die Verwendung von DataReader ist ein Schritt zurück, es sei denn, es gibt eine Möglichkeit, sie innerhalb von LINQ zu verwenden. Ich dachte, wir wollten von ADO wegkommen.

Die oben vorgeschlagene Lösung funktioniert, aber es ist wirklich hässlich. Hier ist mein Code:

int iTake = 40000; 
int iSkip = 0; 
int iLoop; 
ent.CommandTimeout = 6000; 
while (true) 
{ 
    iLoop = 0; 
    IQueryable<viewClaimsBInfo> iInfo = (from q in ent.viewClaimsBInfo 
             where q.WorkDate >= dtStart && 
             q.WorkDate <= dtEnd 
             orderby q.WorkDate 
             select q) 
             .Skip(iSkip).Take(iTake); 
    foreach (viewClaimsBInfo qInfo in iInfo) 
    { 
    iLoop++; 
    if (lstClerk.Contains(qInfo.Clerk.Substring(0, 3))) 
    { 
      /// Various processing.... 
    } 
    } 
    if (iLoop < iTake) 
    break; 
    iSkip += iTake; 
} 

Sie können sehen, dass ich habe aus Aufzeichnungen laufen zu überprüfen, da die foreach-Schleife bei 40.000 Aufzeichnungen enden wird. Nicht gut.

Aktualisiert am 10.06.2011: Auch das funktioniert nicht. Bei etwa 2.000.000 Datensätzen bekomme ich eine Ausnahme wegen Speichermangel. Es ist auch quälend langsam. Als ich es änderte, um OleDB zu verwenden, lief es in ungefähr 15 Sekunden (im Gegensatz zu 10+ Minuten) und der Speicher ging nicht aus. Hat jemand eine LINQ-Lösung, die schnell funktioniert und läuft?

Answer 4

Ich würde vorschlagen, SQL stattdessen zu verwenden, um diese Daten zu ändern.

Answer 5

Verwenden .AsNoTracking() - es sagt DbEntities nicht abgerufenen Zeilen

using (var conn = new DbEntities() { CommandTimeout = 600*100}) 
{ 
    var dtable = conn.DailyResults 
       .AsNoTracking()  // <<<<<<<<<<<<<< 
       .Where(dr => dr.DailyTransactionTypeID == 1); 
    foreach (var dailyResult in dtable) 
    { 
     //Math here, results stored in-memory, but this table is very small. 
     //At the very least compared to stuff I already have in memory. :) 
    } 
}