Extrahieren Sie Informationen aus HTML-Dokumenten mit der Befehlszeile

Question

Ich verwende wget, um eine HTML-Seite herunterzuladen und Informationen aus zu extrahieren. Speziell möchte ich dies drehen:

<a href="/312728/" title="The 10 Best Goals ever"> 
<a href="/671921/" title="Golf at its best"> 
<a href="/371285/" title="Football Legends"> 
<a href="/576903/" title="Boxing Legends"> 

in diese und speichern Sie als eine TXT-Datei.

/312728/The 10 Best Goals ever 
/671921/Golf at its best 
/371285/Football Legends 
/576903/Boxing Legends 

Ich habe versucht:

wget --quiet -O - http://some-site.com | grep -o '<a href="/?/" title="?"> > new.txt 

aber das hat mir nicht die gewünschten Ergebnisse.

Answer 1

Ändern der grep zu egrep für einige feinere regex Fähigkeiten, können Sie wie etwas tun:

wget --quiet -O - http://some-site.com | egrep -e '<a href="\/[0-9]*\/" title="[:alnum:]*' 

Welche zurückkehren sollte:

<a href="/312728/" title="The 10 Best Goals ever"> 
<a href="/671921/" title="Golf at its best"> 
<a href="/371285/" title="Football Legends"> 
<a href="/576903/" title="Boxing Legends"> 

Dann awk verwenden, können wir das Zeug durch Doppel abgrenzen -Quote und wählen Sie die Teile, die Sie zurückgeben möchten:

wget --quiet -O - http://some-site.com | egrep -e '<a href="\/[0-9]*\/" title="[:alnum:]*' | awk -F'"' '{print $2$4}' 

Was sollte dies zurück:

/312728/The 10 Best Goals ever 
/671921/Golf at its best 
/371285/Football Legends 
/576903/Boxing Legends 

Die Sie in eine Textdatei wie diese umleiten könnte:

wget --quiet -O - http://some-site.com | egrep -e '<a href="\/[0-9]*\/" title="[:alnum:]*' | awk -F'"' '{print $2$4}' >> mytextfile.txt