Wie extrahiert man eine Liste von URLs aus einer bestimmten Domain?

Question

Ich benutze Firefox 53, habe Scrapbook X und möchte viele Seiten mit der Funktion "Mehrere URLs speichern" speichern, aber bevor ich das tue, möchte ich eine bestimmte Liste von URLs extrahieren, ohne dass ich das manuell machen muss.

Die Website, die ich suche Daten aus zu extrahieren ist www.address-data.co.uk - nämlich this page.

Ich möchte nur die URLs und Unterseiten innerhalb dieser Seite extrahieren, aber nicht die Datenschutzrichtlinie oder die Kontaktseite und alle Unterseiten mit den EH-Postleitzahlen.

Gibt es eine Möglichkeit, dies online zu tun, oder ein Tool für Mac OS X, das alle zugehörigen URLs finden kann, bevor ich sie in Scrapbooks Mehrere URLs speichern (wo ich sie in einem Unterordner von Scrapbook speichere) kopiere?

Answer 1

Ich nehme an, dass EH45 typisch für diejenigen ist, die Sie von der von Ihnen erwähnten Seite extrahieren möchten. Wie seine Geschwister hat es die Form https://address-data.co.uk/postcode-district-EH<postcode number>.

Dies bedeutet, dass Sie eine vollständige Liste der URLs erstellen können, wenn Sie eine Liste der Nummern oder der Postleitzahlen haben.

Meine Hauptschwierigkeit bei der Beantwortung besteht darin, dass ich nicht weiß, welche Werkzeuge (insbesondere Programmierwerkzeuge) Ihnen zur Verfügung stehen. Ich nehme nur an, dass Sie Zugriff auf einen Editor haben oder erhalten können, der Makros ausführen kann oder Spalten bearbeiten kann. Unter Windows würde ich Emerald (auch bekannt als Crimson) verwenden.

Kopieren Sie dann den Inhalt der Tabelle in der EH-Seite (nicht die Tabellenüberschriften) und entfernen Sie alles außer der ersten Spalte. Schließlich, jedes Element in der Spalte mit "https://address-data.co.uk/postcode-district-" voranstellen.

PS: Dies könnte auch eine gute Frage zu SuperUser sein.