Umfrage REST-Service mit Node.js

Question

Ich arbeite an einem Service, der Foursquare für bestimmte Check-Ins jede Minute oder so abfragte und die Ergebnisse in einer NoSQL-Datenbank speichern/aktualisieren würde. Ist der beste Ansatz, eine http.request mit setInterval zu umbrechen und dann die chunked response mithilfe des Datenereignis-Emitters zu aggregieren? Ich plane, den Endemitter zu verwenden, um den JSON zu analysieren und in eine NoSQL DB zu schieben, wenn die Anforderung abgeschlossen ist. Gedanken?

Answer 1

Es könnte bessere Möglichkeiten, aber ich endete nur mit Ereignis-Emitter, um die REST-Antwort wie folgt zu verarbeiten:

var fourSquareGet = { 
    host: 'api.foursquare.com', 
    port: 443, 
    path: '/v2/venues/search?ll=33.88,-119.19&query=burger*', 
    method: 'GET' 
}; 
setInterval(function() { 
    var reqGet = https.request(fourSquareGet, function (res) { 
     var content; 

     res.on('data', function (chunk) { 
      content += chunk; 
     }); 
     res.on('end', function() { 
      // remove 'undefined that appears before JSON for some reason 
      content = JSON.parse(content.substring(9, content.length)); 
      db.checkins.save(content.response.venues, function (err, saved) { 
       if (err || !saved) throw err; 
      }); 
      console.info("\nSaved from Foursquare\n"); 
     }); 
    }); 

    reqGet.end(); 
    reqGet.on('error', function (e) { 
     console.error(e); 
    }); 
}, 25000); 

Allerdings bin ich mir nicht sicher, warum ich aus der parsen „undefiniert“ hatte JSON erhielt ich von foursquare.

Answer 2

Als ich auf ein ähnliches Problem stieß, verwendete ich eine ähnliche Technik und es funktionierte gut. Here's where I got the idea from. Hoffentlich hilft das ein bisschen.

Answer 3

Ich habe die Antwort von @occasl fixiert und für Klarheit aktualisiert:

var https = require('https'); 

setInterval(function() { 

    var rest_options = { 
     host: 'api.example.com', 
     port: 443, 
     path: '/endpoint', 
     method: 'GET' 
    }; 

    var request = https.request(rest_options, function(response) { 
     var content = ""; 

     // Handle data chunks 
     response.on('data', function(chunk) { 
      content += chunk; 
     }); 

     // Once we're done streaming the response, parse it as json. 
     response.on('end', function() { 
      var data = JSON.parse(content); 

      //TODO: Do something with `data`. 
     }); 
    }); 

    // Report errors 
    request.on('error', function(error) { 
     console.log("Error while calling endpoint.", error); 
    }); 

    request.end(); 
}, 5000);