HTML Treebuilder XPath zum Extrahieren von Links

Question

Ich schreibe ein grundlegendes Skript, das nur alle Links von einer Webseite extrahiert. Es ist in Perl geschrieben und verwendet die Module WWW :: Mechanize und HTML :: Treebuilder :: Xpath, die beide über CPAN installiert wurden.

Ich weiß, dass es einfach mit WWW :: Mechanize gemacht werden kann, möchte aber lernen, es auch mit XPath zu tun.

Also wird das Skript die gesamte Webseite analysieren und das href-Attribut für jedes Anker-Tag prüfen, den Link extrahieren und auf die Konsole drucken/in eine Datei schreiben. Bitte beachten Sie, dass ich im folgenden Skript "use strict" nicht verwendet habe, da ich dies nur schreibe, um das Konzept der Verwendung von XPath zum Durchlaufen des HTML-Baums zu verdeutlichen und zu verstehen.

hier ist das Skript:

#! /usr/bin/perl 

use WWW::Mechanize; 
use HTML::TreeBuilder::XPath; 
use warnings; 

$url="https://example.com"; 

$mech=WWW::Mechanize->new(); 
$mech->get($url); 

$tree=HTML::TreeBuilder::XPath->new(); 

$tree->parse($mech->content); 

$nodes=$tree->findnodes(q{'//a'}); # line is modified later. 

foreach $node($nodes) 
{ 
    print $node->attr('href'); 
} 

Und es gibt einen Fehler:

Can't locate object method "attr" via package "XML::XPathEngine::Literal" at pagegetter.pl line 23. 

ich das Skript geändert haben, wie folgt:

$nodes=$tree->findnodes(q{'//a/@href'}); 

while($node=$nodes->shift) 
{ 
    print $node->attr('href'); 
} 

Fehler:

Can't locate object method "shift" via package "XML::XPathEngine::Literal" 

Ich bin mir nicht sicher, wie der Wert des href-Attributs gedruckt werden soll.

$ Knoten sollten die Liste aller href-Attribute enthalten? Ich glaube, es speichert nicht den Wert, sondern Hinweise darauf?

Ich habe versucht, Beispiele zu suchen und zu lesen, aber ich bin mir nicht sicher, wie ich das anstellen soll.

Danke.

Answer 1

Es gibt ein paar Fehler. Reparaturen:

# list context 
my @nodes = $tree->findnodes(
    q{//a}  # just a string, not a string containings quotes 
); 

# iterate over array 
for my $node (@nodes) {