Wie kann ich mit node.js Seiten mit dynamischem Inhalt erstellen?

Question

Ich versuche, eine website zu kratzen, aber ich bekomme einige der Elemente nicht, weil diese Elemente dynamisch erstellt werden.

Ich benutze die cheerio in node.js und Mein Code ist unten.

var request = require('request'); 
var cheerio = require('cheerio'); 
var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; 

request(url, function (err, res, html) { 
    var $ = cheerio.load(html); 
    $('.listMain > li').each(function() { 
     console.log($(this).find('a').attr('href')); 
    }); 
}); 

Dieser Code gibt leere Antwort, weil, wenn die Seite geladen wird, die <ul id="store_list" class="listMain"> leer ist.

Der Inhalt wurde beigefügten bisher noch nicht.

Wie kann ich diese Elemente mit node.js? Wie kann ich Seiten mit dynamischen Inhalten scrappen?

Answer 1

Hier gehen Sie;

var phantom = require('phantom'); 

phantom.create(function (ph) { 
    ph.createPage(function (page) { 
    var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; 
    page.open(url, function() { 
     page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() { 
     page.evaluate(function() { 
      $('.listMain > li').each(function() { 
      console.log($(this).find('a').attr('href')); 
      }); 
     }, function(){ 
      ph.exit() 
     }); 
     }); 
    }); 
    }); 
}); 

Answer 2

Verwenden Sie das neue Modul npm x-ray, mit einem steckbaren Web-Treiber x-ray-phantom.

Beispiele auf den Seiten oben, aber hier ist, wie dynamisch Schaben zu tun:

var phantom = require('x-ray-phantom'); 
var Xray = require('x-ray'); 

var x = Xray() 
    .driver(phantom()); 

x('http://google.com', 'title')(function(err, str) { 
    if (err) return done(err); 
    assert.equal('Google', str); 
    done(); 
}) 

Answer 3

Check out GoogleChrome/puppeteer

Headless Chrome Node API

Es macht ziemlich trivial Schaben. Im folgende Beispiel wird die Überschrift kratzt an npmjs.com über (.npm-expansions bleibt unter der Annahme)

const puppeteer = require('puppeteer'); 

(async() => { 
    const browser = await puppeteer.launch(); 
    const page = await browser.newPage(); 

    await page.goto('https://www.npmjs.com/'); 

    const textContent = await page.evaluate(() => { 
    return document.querySelector('.npm-expansions').textContent 
    }); 

    console.log(textContent); /* No Problem Mate */ 

    browser.close(); 
})(); 

evaluate für die Inspektion des dynamischen Elements ermöglichen, da diese Skripte auf der Seite ausgeführt wird.