Verwenden von Regex zum Extrahieren von URLs aus reinem Text mit Perl

Question

Wie kann ich Perl regexps verwenden, um alle URLs einer bestimmten Domäne (mit möglicherweise variablen Subdomains) mit einer bestimmten Erweiterung aus reinem Text zu extrahieren? Ich habe versucht:

my $stuff = 'omg http://fail-o-tron.com/bleh omg omg omg omg omg http://homepage.com/woot.gif dfgdfg http://shomepage.com/woot.gif aaa'; 
while($stuff =~ m/(http\:\/\/.*?homepage.com\/.*?\.gif)/gmsi) 
{ 
print $1."\n"; 
} 

Es schlägt fehl, schrecklich und gibt mir:

http://fail-o-tron.com/bleh omg omg omg omg omg http://homepage.com/woot.gif 
http://shomepage.com/woot.gif 

Ich dachte, das würde nicht passieren, weil ich .*? verwende, das sollte nicht gierig sein und geben Sie mir die kleinste Spiel. Kann mir jemand sagen, was ich falsch mache? (Ich möchte nicht etwas uber-Komplex, in Dosen regexp URLs zu überprüfen, ich möchte wissen, was ich tue, falsch, so kann ich daraus lernen.)

Answer 1

Besuchen CPAN: Regexp::Common::URI

bearbeiten: Selbst wenn Sie keinen regulären Ausdruck in der Liste haben möchten, kann es Ihnen helfen, die Quelle eines getesteten Moduls zu betrachten, das funktioniert.

Wenn Sie URLs finden möchten, die einer bestimmten Zeichenfolge entsprechen, können Sie dieses Modul einfach dazu verwenden.

#!/usr/bin/env perl 
use strict; 
use warnings; 
use Regexp::Common qw/URI/; 

while (<>) { 
    if (m/$RE{URI}{HTTP}{-keep}/) { 
    print $_ if $1 =~ m/what-you-want/; 
    } 
} 

Answer 2

URI::Find wurde speziell entwickelt, um dieses Problem zu lösen. Es wird alle URIs finden und Sie können sie dann filtern. Es hat ein paar Heuristiken, um Dinge wie nachlaufende Interpunktion zu behandeln.

UPDATE: Kürzlich aktualisiert, um Unicode zu behandeln.

Answer 3

ich dachte, das sollte nicht passieren, weil ich benutze. *? die sollten nicht gierig sein und gib mir das kleinste Spiel

Es tut, aber es gibt Ihnen das kleinste Spiel geht rechts. Ausgehend von der ersten http und nach rechts gehend, ist das die kleinste Übereinstimmung.

Bitte beachten Sie, dass Sie für die Zukunft keine Schrägstriche abbrechen müssen, da Sie keine Schrägstriche als Trennzeichen verwenden müssen. Und Sie müssen auch nicht dem Doppelpunkt entkommen. Das nächste Mal, dies nur tun:

m|(http://.*?homepage.com\/.*?\.gif)| 

oder

m#(http://.*?homepage.com\/.*?\.gif)# 

oder

m<(http://.*?homepage.com\/.*?\.gif)> 

oder einem der vielen anderen Zeichen finden Sie in der Dokumentation perlre.

Answer 4

URLs dürfen keine Leerzeichen enthalten, also statt. *? Sie sollten \ S *? für null oder mehr Leerzeichen verwenden.

Answer 5

hier ein regex ist (hoffentlich) bekommen | Auszug | erhalten alle URLs aus string | Textdatei, die für mich zu funktionieren scheint:

m,(http.*?://([^\s)\"](?!ttp:))+),g 

...oder in einem Beispiel:

$ echo -e "\n\na blahlah blah:http://www.abc.com/dss.htm?a=1&p=2#chk - blahblah \"https://poi.com/a%20b\"; (http://bbb.comhttp://roch.com/abc) \n" | perl -ne 'while (my $string = <>) { print "$string\n"; while ($string =~ m,(http.*?://([^\s)\"](?!ttp:))+),g) {print "$&\n"} }' 


a blahlah blah:http://www.abc.com/dss.htm?a=1&p=2#chk - blahblah "https://poi.com/a%20b"; (http://bbb.comhttp://roch.com/abc) 

http://www.abc.com/dss.htm?a=1&p=2#chk 
https://poi.com/a%20b 
http://bbb.com 
http://roch.com/abc 

Für meine Noob Referenz, hier ist die Debug-Version des gleichen Befehl über:

$ echo -e "\n\na blahlah blah:http://www.abc.com/dss.htm?a=1&p=2#chk - blahblah \"https://poi.com/a%20b\"; (http://bbb.comhttp://roch.com/abc) \n" | perl -dne 'use re "debug" ; while (my $string = <>) { print "$string\n"; while ($string =~ m,(http.*?://([^\s)\"](?!ttp:))+),g) {print "$&\n"} }' 

Die Regex passt auf http(s):// - und verwendet Leerzeichen, " und ) als " "Charaktere" verlassen; verwendet dann positive lookahead, um zunächst eine "Exit" auf "http" Literalgruppe zu verursachen (wenn eine Übereinstimmung bereits in Arbeit ist); Da jedoch auch das letzte Zeichen der vorherigen Übereinstimmung "gegessen" wird, wird die Vorausschau-Übereinstimmung hier um ein Zeichen nach "ttp:" verschoben.

Einige nützliche Seiten:

• perl: multiple matches on a single line? (edited for proper < > forma
• regular expression negate a word (not character)
• Perl Regular Expressions
• Perl Text Patterns for Search and Replace (Intro, $&, @- ...)

Hoffnung hilft dieses jemand,
012.351.Prost!

EDIT: Ups, findet nur etwa URI::Find::Simple - search.cpan.org, scheint das gleiche zu tun (über regex - Getting the website title from a link in a string)

Answer 6

ich verwendet habe Code die Links zu extrahieren, die mit spezifischer Verlängerung enden
wie * .htm, * .html, * .gif, * .jpeg. Hinweis: In diesem Skript wird die Erweiterung * .html zuerst geschrieben und dann * .htm, weil beide "htm" gemeinsam haben. Diese Art von Änderungen sollte also sorgfältig durchgeführt werden.

Eingabe: Dateiname mit Links und Name der Ausgabedatei, in der die Ergebnisse gespeichert werden.
Ausgabe: Wird in der Ausgabedatei gespeichert. hier

-Code lautet:

use strict; 
use warnings; 

if ($#ARGV != 1) { 
print 
"Incorrect number of arguments.\nArguments: Text_LinkFile, Output_File\n"; 
die $!; 
} 
open FILE_LINKS, $ARGV[0] or die $!; 
open FILE_RESULT, ">$ARGV[1]" or die $!; 

my @Links; 
foreach (<FILE_LINKS>) { 
    my @tempArray; 
    my (@Matches) =($_ =~ m/((https?|ftp):\/\/[^\s]+\.(html?|gif|jpe?g))/g); 
    for (my $i = 0 ; $i < $#Matches ; $i += 3) { 
     push(@Links, $Matches[$i]); 
     } 
    } 
print FILE_RESULT join("\n", @Links); 

Ausgabe der Zeichenfolge ist hier:

http://homepage.com/woot.gif 
http://shomepage.com/woot.gif 

Answer 7

https?\:\/\/[^\s]+[\/\w] 

Diese Regex für mich gearbeitet