Führe einen ForEach wie einen Wasserfall in Async aus

Question

Ich versuche Längen- und Breitengrad aus einer Liste von Adressen mit der Google API über ein Node.js-Skript abzurufen. Der Anruf selbst funktioniert einwandfrei, da ich aber rund 100 Adressen einreichen muss. Ich benutze eine async.forEach auf einem Array, aber die Anrufe werden zu schnell gemacht und ich bekomme den Fehler "Sie haben Ihre Rate-Limit für diese API überschritten."

Ich fand, dass die Anzahl der Anrufe auf 2500 alle 24 Stunden und maximal 10 Sekunden begrenzt ist. Während ich für die 2500 pro Tag OK bin, mache ich meine Anrufe viel zu schnell für das Ratenlimit.

Ich muss jetzt eine Funktion schreiben, wer die Anrufe genug verzögert, um das Limit nicht zu erreichen. Hier ist ein Beispiel von meinem Code:

async.forEach(final_json, function(item, callback) { 
    var path = '/maps/api/geocode/json?address='+encodeURIComponent(item.main_address)+'&sensor=false'; 
    console.log(path); 
    var options = { 
     host: 'maps.googleapis.com', 
     port: 80, 
     path: path, 
     method: 'GET', 
     headers: { 
     'Content-Type': 'application/json' 
     } 
    } 
    // a function I have who makes the http GET 
    rest.getJSON(options, function(statusCode, res) { 
     console.log(res); 
     callback(); 
    }); 
}, function() { 
    // do something once all the calls have been made 
}); 

Wie würden Sie vorgehen, dies zu erreichen? Ich habe versucht, mein Putting rest.getJSON in einem 100ms setTimeout aber die forEach wird für alle Reihen so schnell, dass alles beginnt die setTimeout fast zur gleichen Zeit und daher ist es nicht etwas ändern ...

The async.waterfall wie es aussieht, würde den Trick machen, aber die Sache ist, ich weiß nicht genau, wie viele Zeilen ich haben werde, also kann ich nicht alle Funktionsaufrufe fest codieren. Und um ehrlich zu sein, würde es meinen Code machen wirklich hässlich

Answer 1

Die Idee ist, dass Sie eine rateLimited Funktion erstellen können, die ähnlich wie ein throttled oder debounced Funktion wirkt, außer alle Anrufe, die nicht sofort ausführen lassen Warteschlange gestellt und laufen in Auftrag als die Rate Limit Zeitperiode abläuft.

Im Grunde erstellt es parallele 1-Sekunden-Intervalle, die sich selbst über eine erneute Neuterminierung der Zeit verwalten, aber nur bis zu perSecondLimit Intervallen zulässig sind.

function rateLimit(perSecondLimit, fn) { 
    var callsInLastSecond = 0; 
    var queue = []; 
    return function limited() { 
     if(callsInLastSecond >= perSecondLimit) { 
      queue.push([this,arguments]); 
      return; 
     } 

     callsInLastSecond++; 
     setTimeout(function() { 
      callsInLastSecond--; 
      var parms; 
      if(parms = queue.shift()) { 
       limited.apply(parms[0], parms[1]); 
      } 
     }, 1010); 

     fn.apply(this, arguments); 
    }; 
} 

Verbrauch:

function thisFunctionWillBeCalledTooFast() {} 
var limitedVersion = rateLimit(10, thisFunctionWillBeCalledTooFast); 

// 10 calls will be launched immediately, then as the timer expires 
// for each of those calls a new call will be launched in it's place. 
for(var i = 0; i < 100; i++) { 
    limitedVersion(); 
} 

Answer 2

Hier ist, wie ich es hacken würde (Anmerkung: arr ist Ihr Array von Orten):

function populate(arr, callback, pos) { 
    if(typeof pos == "undefined") 
     pos=0; 
    var path = '/maps/api/geocode/json?address='+encodeURIComponent(arr[pos].main_address)+'&sensor=false'; 
    console.log(path); 
    var options = { 
     host: 'maps.googleapis.com', 
     port: 80, 
     path: path, 
     method: 'GET', 
     headers: { 
     'Content-Type': 'application/json' 
     } 
    } 
    // a function I have who makes the http GET 
    rest.getJSON(options, function(statusCode, res) { 
     console.log(res); 
    }); 
    pos++; 

    if(pos<arr.length) 
     setTimeout(function(){ 
      populate(arr,callback,pos); 
     },110); //a little wiggle room since setTimeout isn't exact 
    else 
     callback(); 
} 

Sie eine Rate Begrenzungsfunktion hinzufügen könnte, aber, IMHO, führt es unnötige Komplexität ein. Alles, was Sie wirklich tun wollen, ist die Funktion alle zehn Sekunden oder so zu rufen, bis Sie mit Ihrer Liste fertig sind, also tun Sie das.

Es ist sicherlich nicht so erweiterbar wie die Alternative, aber ich bin ein Fan der Einfachheit.