Crawling-Sites mit bestimmten Domain-Suffix

Question

Ich bin daran interessiert, so viele Domain-Namen wie möglich zu finden, die ein bestimmtes Domain-Suffix haben, die ich interessiert, zum Beispiel: ".com", ".net", ".org", usw.

Ich habe versucht, Google zu crawlen, aber es ist offensichtlich nicht legal und ist schwer zu tun.

Gibt es eine große Liste mit Domain-Namen? Wenn nicht, wie kann ich einen Crawler erstellen, der so viele Domains wie möglich findet, die mit einem bestimmten Domain-Suffix enden?

Answer 1

CommonCrawl haben kürzlich die Veröffentlichung [einer Rangliste von Hosts] [2] (insgesamt 385 Millionen) bekannt gegeben, die Sie nach Domänensuffix filtern können.