Ich bin ziemlich neu in der JavaScript-Programmierung und arbeite an einem Web-Scraping-Skript, das mit CasperJS erstellt wurde.CasperJS: mehrere Instanzen von Skript ausführen?
Das Problem ist, dass es ziemlich langsam ist, aber es funktioniert. Ich versuche mir eine Möglichkeit zu überlegen, ein überlagertes Skript/Programm zu erstellen, das das von mir erstellte Skript startet, aber ich bin mir nicht sicher, der beste Weg dazu. Ich habe mit dem Befehl GNU Parallel experimentiert, aber ich würde etwas bevorzugen, das JS, PHP oder Python verwendet, da ich mit diesen Sprachen besser vertraut bin.
Mir ist auch bewusst, dass die CasperJS-Instanzen die Cookies und lokalen Speicher teilen, aber das ist kein Problem in meinem Anwendungsfall. Wenn jemand mehr Erfahrung mit dieser Art von Architektur und Framework könnte mir helfen, würde ich es begrüßen.
Danke!
definieren "langsam". Können Sie die Engpässe beschreiben, von denen Sie glauben, dass sie auftreten? Könnten Sie ['xargs' verwenden, um mehrere Instanzen gleichzeitig auszuführen] (https://stackoverflow.com/questions/28357997/running-programs-in-parallel-using-xargs)? – tadman
Haben Sie eine Stunde durch das Tutorial für GNU Parallel gegangen? gnu.org/software/parallel/parallel_tutorial.html –
@tadman die Langsamkeit, die ich verweise, ist mit der Seite verbunden, die ich schabe. Um alle erforderlichen Aktionen auszuführen, dauert es ca. 3 Minuten. Wenn ich bedenke, dass ich vor dem Neustart etwa 60 davon ausführen muss, kann ich sehen, warum ich simultane Jobs ausführen möchte :) –