Screen Scraping & Web-Navigation Simulation

Question

Ich bin ein webscraper machen und ich weiß schon, wie einige Daten verschrotten und wandeln sie in Json ich mit diesem Code gemacht:

var express = require('express'); 
var fs = require('fs'); 
var request = require('request'); 
var cheerio = require('cheerio'); 
var app  = express(); 
var url = 'http://www.footmercato.net/'; 

request(url, function(err, resp, body) { 
    if (!err) { 
     var $ = cheerio.load(body); 
     var data = []; 
     var i = 1; 
     $('.text').each(function(i, element) { 
     var article = $('p'); 
     var jsObject = { title : "", article : "", date : "" }; 
     var articleTxt = article.text(); 
     jsObject.article = articleTxt; 
     data.push(jsObject); 
     }) 
     var json = JSON.stringify(data); 
     fs.writeFile('output.json', JSON.stringify(json, null, 4), function(err) { 
      console.log('File successfully written!'); 
     }) 
    } 
}); 

    app.listen('8080'); 

Aber ich möchte auf der Webseite navigieren Ich kratze, fülle Formulare aus und gehe zu anderen Seiten.

Weiß jemand, ob ich es mit cheerio machen kann oder wie ich es zu meinem bestehenden Code hinzufügen kann?

Dank

Answer 1

Sie webdriverio verwenden können, tatsächlich wird er ein Browser-Fenster öffnen, und dann können Sie den Dom durch die webdriverio api zu Formen Mausklicks zu behandeln, und navigieren Sie von einer Seite zu einer anderen manipulieren.

var webdriverio = require('webdriverio'); 
var options = { 
    desiredCapabilities: { 
     browserName: 'firefox' 
    } 
}; 
webdriverio 
    .remote(options) 
    .init() 
    .url('http://www.google.com') 
    .getTitle().then(function(title) { 
     console.log('Title was: ' + title); 
    }) 
    .end();