Node.js bot mit Cheerio

Question

Ich habe einige .js Dateien, die Informationen von Webseiten mit Cheerio nehmen, aber was ich tun möchte ist geben sie Art von setTimeout wie 1 Tag Zeitraum neu zu starten, wenn neue Daten kommt oder nicht . Ich denke, ich sollte nicht mit setTimeout tun, weil ich 15-20 Dateien haben werde, dass Daten, ich sollte Thread verwenden, aber wie werde ich sie wie Service verwenden.

Answer 1

Eigentlich klingt 15-20 gut für mich zu verwenden setTimeout.

Ich dachte, Sie möchten vielleicht einige Cron-Tools wie: https://www.npmjs.com/package/node-schedule überprüfen und dann Ihre Crawler planen, Ziele erneut zu scannen, wie Sie benötigen, da dies effizienter wäre.

Answer 2

Ich würde empfehlen, cron für Knoten, es ist eine Implementierung von Cron und ist sehr einfach zu bedienen. Auf diese Weise können Sie Aufgaben so planen, dass sie ausgeführt werden, wenn Sie dies möchten. Es erlaubt Ihnen auch, Aufgaben zu planen, ohne Ihren Server mit setTimeout zu überlasten, aber von dem, was Sie sagen, haben Sie nicht viele, also wird es nicht zu viel von einer Auswirkung machen.