Abhängige Datenbankabfragen parallel ausführen

Question

Ich habe ein einfaches Skript, das etwa 100 Millionen Ergebnisse abruft, 1 Million auf einmal von einem entfernten MySQL-Server und aktualisiert meine lokale Datenbank. Der Remote-Server ist nicht unter meiner Kontrolle, so dass eine Art Master/Slave-Setup für automatische Updates nicht möglich ist. Es dauert ein paar Stunden, normal auszuführen, aber ich erkannte, dass der Teil des Codes, der die Ergebnisse von dem Remote-Server abruft, und der Teil des Codes, der die lokalen Einträge aktualisiert, etwa die gleiche Zeit für die Ausführung benötigen. Also, theoretisch könnte ich die Ausführungszeit fast halbieren, wenn ich den nächsten Satz Zeilen vom Remote-Server abrufe, während ich die lokalen Einträge aktualisiere. Ich habe einen Beispielcode für parallele Datenbankabfragen in PHP gesehen (zum Beispiel die Frage 322275), aber ich kann mir keinen Weg vorstellen, wie ich mit der foreach-Update-Schleife in meinem Skript arbeiten kann. Ist das in PHP möglich oder wäre ich besser dran wäre das eine andere Sprache wie Python oder Ruby (obwohl ich keine Erfahrung mit beiden habe)?

Bearbeiten: Auch der Remote-Server ist auf halbem Weg um die Welt, so dass die Netzwerklatenz ziemlich hoch ist.

Beispielcode:

for ($i = 0; $i < 100; $i++) 
{ 
    $min = $i * LIMIT; 
    $max = ($i + 1) * LIMIT; 

    $updates = $db_remote->fetchAll("SELECT * FROM table_name WHERE content_id >= $min AND content_id < $max"); // Pull 1 million results from the remote SQL server 

    foreach ($updates as $u) 
    { 
     $db_local->update("UPDATE table_name SET ... WHERE content_id = $u['content_id'] LIMIT 1"); // Update each of the local entries 
    } 
} 

Answer 1

Sie könnten http://php.net/manual/en/function.pcntl-fork.php

Wenn die Remote-Abfrage beendet hat prüfen wollen, können Sie Ihre Datenbank zu aktualisieren und Gabel Ihren Prozess, um nächsten Satz von Abrufen zu starten Daten.