Wie verwende ich Laravel's Chunk, um zu vermeiden, dass der Arbeitsspeicher knapp wird?

Question

Ich ziehe 100k Datensätze aus temporären Tabellen, mache ein paar kleine Änderungen an den Daten, lade Fotos herunter und lege dann die Felder, die ich behalten muss, in eine "Master" -Tabelle. Dies führt schnell dazu, dass meine App abstürzt, da der Arbeitsspeicher knapp wird.

Ich lese die sehr kurze Dokumentation über die Verwendung von Chunk() mit Laravel eloquenten ORM, aber ich weiß nicht, wie man es überhaupt in meiner Klasse zu implementieren beginnt. Hier

ist, was ich derzeit tue:

public function fire() 
{ 
    // Turn off query logging 
    DB::connection()->disableQueryLog(); 

    $feeds = RetsFeed::where('active','=',1)->get(); 
    foreach ($feeds as $feed) 
    { 

     $class = "TempListing{$feed->board}"; 

     $listings = $class::orderBy('MatrixModifiedDT','desc')->get(); 

     $listings->each(function($listing) use ($feed) { 
      ListingMigrator::migrateListing($listing,$feed); 
      echo "Feed: $feed->board\r\n"; 
      echo "SubcondoName: $listing->SubCondoName\r\n"; 
      echo "Development: $listing->Development\r\n"; 
      echo "\r\n"; 
     }); 
    } 

} 

Jedes Futter (oder Datenquelle) in eine temporäre Tabelle in einer anderen lästige Pflicht abgeladen wird. Das funktioniert gut. Dann greife ich alle Listen aus einer Tabelle (die durchschnittlich 30k ist) und führe meine ListingMigrator-Methode aus.

Wo gebe ich den Chunk in diesem Beispiel ein? Wäre es die Zeile:

$listings = $class::orderBy('MatrixModifiedDT','desc')->get(); 

verstehe ich nicht vollständig die Schließung in dem beredten docs. Das ist alles, was sie dazu zu sagen haben, und hier ist das Codebeispiel aus der Laravel Website:

User::chunk(200, function($users) 
{ 
    foreach ($users as $user) 
    { 
     // 
    } 
}); 

Answer 1

Der chunk Aufruf den get Anruf ersetzen sollte - es ausgelegt ist, auf dem Pre-get() Query Builder-Objekt zu arbeiten .

$listings = $class::orderBy('MatrixModifiedDT','desc'); 

$listings->chunk(200, function($listings) use($feed) { 
    $listings->each(function($listing) use ($feed) { 
     ListingMigrator::migrateListing($listing,$feed); 
     echo "Feed: $feed->board\r\n"; 
     echo "SubcondoName: $listing->SubCondoName\r\n"; 
     echo "Development: $listing->Development\r\n"; 
     echo "\r\n"; 
    }); 
});