Web Parser mit mehreren Threads

Question

Ich möchte einen Webparser mit node.js erstellen.

Ich weiß, die Verwendung von Multithreading wird nicht automatisch einen Leistungsvorteil erhalten, aber da dieser Parser mit dem Internet interagiert, gibt es die Verbindungsverzögerungen.

Wenn der Parser eine Website anfordert, dauert es mehrere hundert Millisekunden, wenn die CPU nicht mehr warten muss, bis die Anforderung abgeschlossen ist. Für einen einzelnen Thread würde dies bedeuten, dass er die meiste Zeit wartet.

Ich möchte Threading verwenden, um verfügbare CPU-Ressourcen besser zu verteilen.

Ich möchte mehrere Worker ausführen, die die Anforderungen zusammen mit einigen anderen Methoden ausführen.

Ich fand das Cluster-Modul könnte nützlich sein, aber ich bin mir nicht sicher, da die meisten Beispiele davon sprechen, es als Webserver zu verwenden.

Wie wird dies am besten mit node.js erreicht?

Answer 1

Wie @Roman-Dibikhin beantwortet, überprüfen Sie das Async queue Modul.

Wenn Sie Ihren Code richtig erstellen - die Grenze wird Ihre Netzwerkbandbreite \ sql \ Festplatte viel vor dem einzelnen Kern sein.

Ich habe gerade ein Projekt, das Knoten für URL-Verschrottung verwenden. Das Limit ist nur die Internetbandbreite.

natürlich wenn Sie wollen, können Sie immer eine andere Instanz feuern.

Answer 2

Sie können Async NPM verwenden, um die gesamte Leistung eines Kerns zu verwenden, und dann mit einigen clustering solution skalieren, um alle Kerne zu verwenden.