PERL WWW :: Scripter nicht arbeiten, nicht zurück Inhalt

Question

Normalerweise mache ich Scraper in Ruby, aber entscheide dich in Perl. Und wenn ich mein Skript ausführe, sehe ich die Nummer der URL, die sich sehr, sehr langsam öffnet. Und ich danke, vielleicht sein Redirect-Problem? Oder vielleicht seine JS-URLs deshalb Problem. Und ich entscheide mich, ein Modul zu benutzen, das JS Webseiten öffnen kann. Also schaue ich zu cpan doc, nimm Code und versuche es zu starten. Nichts, kein Inhalt. Was mache ich falsch? Bitte korrigieren Sie mich. Oder rate mir vielleicht etwas. Ich versuche, Selenium zu verwenden, habe aber Probleme mit der Installation, siehe Fehler, wenn ich Selen in der Linux-Konsole laufen lasse.

use WWW::Scripter; 

    $w = new WWW::Scripter; 
    $w->use_plugin('JavaScript'); 

    open(FH, "<links.csv"); 
    while (<FH>) { 
    $url = $_; 

    if ($url !~ /http(s)/) { 
     $url = "http://".$url; 
    } 

    $w->get(url); 
    $html = $w->content; 

    print "=======\n"; 
    print Dupmper $w->content; 
    print "=======\n"; 
} 

Answer 1

$w->get(url); 

Es ist nicht url, dann ist es $url. Verwenden Sie strict und warnings.

Answer 2

Zuerst sollten Sie immer use strict und use warnings in Ihren Perl-Programmen. Sie hätten Ihren Tippfehler aufgegriffen.

Zweitens sollten Sie den Returncode von get() überprüft haben, da dies gezeigt hätte, dass etwas nicht in Ordnung war.

Drittens gibt es in Ihrem Code einige veraltete Perl-Programmierpraktiken.

# Always use these 
use strict; 
use warnings; 

use WWW::Scripter; 
# Added this 
use Data::Dumper; 

# Don't use indirect object notation. 
# Declare variable 
my $w = WWW::Scripter->new; 
$w->use_plugin('JavaScript'); 

# Three-arg version of open() 
# Lexical filehandle 
# Check result of open() and die on failure 
open(my $in_fh, '<', 'links.csv') or die $!; 

while (<$in_fh>) { 
    # Fixed regex. 
    # 1/ Anchored at start of string 
    # 2/ Made 's' optional (and non-captured) 
    if (! /^https?/) { 
    # Use string interpolation 
    $url = "http://$url"; 
    } 

    # Capture HTTP response 
    # Use '$url', not 'url' 
    my $resp = $w->get($url); 

    # Check request is successful 
    unless ($resp->is_success) { 
    # If not, warn and die 
    warn $resp->status_line; 
    next; 
    } 

    print "=======\n"; 
    print Dumper $w->content; 
    print "=======\n"; 
}