PhantomJS Herunterladen von vielen Websites beginnt die gleiche Website nach ersten Downloads zu kopieren

Question

Dieser Code wird weiterhin die gleiche Website auf einer Schleife aus einer Liste von tausend Seiten herunterladen. Konnte keinen Weg finden. Was ich gegoogelt habe, könnte ein Problem mit Split sein.

var fs = require('fs'); 
var pageContent = fs.read('list.txt'); 
var arrdata = pageContent.split(/[\n]/); 
var system = require('system'); 
var page = require('webpage').create(); 
var args = system.args; 
var imagelink; 
var content = " "; 

function handle_page(i){ 
    var imageLink = arrdata[i]; 
    page.open(imageLink, function(){ 
     fs.write("file"+i+".txt", page.content, 'w'); 
     handle_page(i+1); 
    }); 
} 
handle_page(0); 

Answer 1

Gelöst durch Verwendung einer Batch-Datei, um eine URL aus einer Datei abzurufen und ein phantomJS-Skript zu starten. Beachten Sie, dass dies länger dauern kann, aber es war die einzige Möglichkeit, dies mit einer großen Liste zu erledigen.

Batch:

@echo off 
for /f "tokens=*" %%a in (C:\PATH\PATH\PATH\PATH\list.txt) do (
    echo %%a 
    phantomjs save_script.js %%a 
) 
pause 

PhantomJS save_page.js:

var page = require('webpage').create(); 
var fs = require('fs'); 
var system = require('system'); 
var re = system.args[1] 

page.open("http://"+re, function(){ 
    fs.write(re.substr(22,100)+".html", page.content, 'w'); 
    phantom.exit(); 
}); 

I substr verwendet (22.100), um den letzten Teil der Website-URL als eindeutige Dateinamen zu übernehmen. URLs wurden ohne http: // gespeichert, da es im Code einige Komplikationen gab.