0
Ich habe ungefähr 10K URLs in einem Array. Zu einer anderen Zeit kann dies 100K sein. Ich muss sie programmatisch besuchen und die Antwort erhalten und sie ausdrucken oder etwas damit machen. Um zu verhindern, dass der Server, zu dem alle URLs gehören, erstickt, möchte ich sie nacheinander besuchen. Ich weiß, dass es das asynchrone Modul gibt, um dies zu tun. Meine Frage ist: Ist Async der einzige Weg, dies zu tun? Kann async für eine höhere Anzahl von URLs skaliert werden?So greifen Sie nacheinander auf URLs zu
Es ist nicht erforderlich, dass die asynchrone Bibliothek eine einfache sequenzielle Iteration durch ein Array von Anforderungen durchführt. Sie könnten es verwenden, aber es ist nicht notwendig und es gibt kein Skalierungsproblem in einer sequentiellen Iteration nacheinander. – jfriend00
Siehe [Wie kann ich API-Anfragen stapeln] (http://stackoverflow.com/questions/35422377/how-can-i-- throttle-stack-of-api-requests/35422593#35422593) und [1000 Anfragen ausführen so dass nur 10 auf einmal läuft] (http://stackoverflow.com/questions/39141614/run-1000-requests-so-that-only-10-runs-at-a-time/39154813#39154813) und [ Stellen Sie mehrere Anfragen an eine API, die nur 20 Anfragen pro Minute verarbeiten kann. (Http://stackoverflow.com/questions/33378923/make-several-requests-to-a-api-that-can-only-handle-20- Anfrage-eine-Minute/33379149 # 33379149) für die Umsetzung von etwas wie Sie tun. – jfriend00
async ist gut. Wenn Sie etwas sequenziell ausführen, warum sollten Sie sich Sorgen über die Skalierung machen? Es wird einfach mehr Zeit brauchen. – AllTheTime