Ist es möglich, dunkle Webseiten zu crawlen?

Question

Bisher crawle ich Daten aus verschiedenen Quellen als Live-Streaming Twitter und Facebook API und speichern Sie es in separaten DB. Danach benutze ich diese großen Daten, um das Benutzerverhalten und einige andere Arten von Analysen zu verstehen.

Was ich versuche, ist das gleiche, aber bei Dark Web Pages möchte ich alle Webseiten durchsuchen, auf die der TOR-Explorer zugreifen kann. Ich habe in mehreren Blogs nach so etwas gesucht, aber was ich gefunden habe, ist, dass alle nur Log-Dateien durchsuchen.

Ist es möglich, dunkle Webseiten zu crawlen, wie wir es mit Social-Media-Plattformen APIs tun?

Answer 1

Ja, es ist möglich - wir machen es seit Jahren. Wir verwenden Ubuntu wir tor auf unsere Crawler so installieren:

apt get install tor

und unsere Python-Skript urllib Anfragen für .onion Links gegen den Dienst über den Port 9050.

laufen, wenn Sie nicht das Gefühl, wie die Entwicklung Ihren eigenen Crawler können Sie gerne bei https://webhose.io

versuchen