Was ist der schnellste Weg, um gleichzeitige Web-Anfragen in Perl zu machen?

Question

Ich muss einige gleichzeitige XML-Feed-Anforderungen in Perl machen. Was ist der schnellste Weg, dies zu tun?

Answer 1

Ich würde wahrscheinlich AnyEvent verwenden, vielleicht so:

use AnyEvent; 
use AnyEvent::HTTP; 


sub get_feeds { 
    my @feeds = @_; 
    my $done = AnyEvent->condvar; 
    my %results; 
    $done->begin(sub { $done->send(\%results) }); 

    for my $feed (@feeds){ 
     $done->begin; 
     http_get $feed, sub { $results{$feed} = \@_; $done->end }; 
    } 

    $done->end; 
    return $done; 
} 

my $done = get_feeds(...); 
my $result = $done->recv; # block until all feeds are fetched 

Answer 2

I verwendet LWP::Parallel::UserAgent für etwas ähnliches. Ein Beispiel aus dem POD:

require LWP::Parallel::UserAgent; 
$ua = LWP::Parallel::UserAgent->new(); 
... 

$ua->redirect (0); # prevents automatic following of redirects 
$ua->max_hosts(5); # sets maximum number of locations accessed in parallel 
$ua->max_req (5); # sets maximum number of parallel requests per host 
... 
$ua->register ($request); # or 
$ua->register ($request, '/tmp/sss'); # or 
$ua->register ($request, \&callback, 4096); 
... 
$ua->wait ($timeout); 
... 
sub callback { my($data, $response, $protocol) = @_; .... } 

Answer 3

HTTP::Async ist ziemlich schnell und sehr leicht zu Code.

Answer 4

Eigentlich ist AnyEvent::Curl::Multi eine nicht blockierende Bibliothek, die auf libcurl aufgebaut ist. Sehr schnell und tonnenweise Nebenläufigkeit verfügbar. Viel mächtiger als AnyEvent :: HTTP, IMO.