Warum ist die Vorwärts-DNS benötigt Crawlern

Question

von den Google-Support-Website, um zu überprüfen -

Um Googlebot als Anrufer zu überprüfen:

Führen Sie einen Reverse-DNS-Lookup auf der Zugriff auf die IP-Adresse aus Ihren Protokollen, mit der Host-Befehl. Stellen Sie sicher, dass sich der Domänenname in googlebot.com oder google.com befindet. Führen Sie eine Vorwärts-DNS-Suche auf der in Schritt 1 abgerufenen Domäne aus. Verwenden Sie dazu den Hostbefehl für den abgerufenen Domänennamen . Stellen Sie sicher, dass es sich um die ursprüngliche IP-Adresse aus Ihren Protokollen handelt.

Meine Frage ist, warum ist die Forward-DNS-Lookup notwendig? Kann ein Angreifer einen DNS-Eintrag des Formats crawl-xx-xx-xx-xx.googlebot.com erstellen?

Ich sehe das tatsächlich in meinen Protokollen - auch von anderen Crawlern. Ip, dass wenn ich Reverse-DNS-Lookup von der richtigen Domäne kommen, aber die Forward-Lookup nicht die IP zurückgibt. Fragen, wie ist das möglich.

Answer 1

Reverse-Zonen können von niemandem bedient werden. Wenn Sie den IP-Bereich besitzen und Ihren ISP dazu bringen, Reverse-Lookups weiterzuleiten, können Sie eine Reverse-Zone bereitstellen, die auf alles verweist, was Sie möchten.

einen Angreifer Als ich jede IP-Block kaufen und dienen 4.3.2.1.in-addr.arpa meine Zone, die alle Datensätze sind in crawl-xx-xx-xx-xx.googlebot.com

sagt, dass ich nicht obwohl Googles vorwärts dns für diese Zone kontrollieren. Also, obwohl ich einen Reverse-Lookup für 1.2.3.4 erhalten kann, um crawl-12-34-56-78.googlebot.com zurückzugeben, kann ich nicht eine Vorwärtssuche auf crawl-12-34-56-78.googlebot.com erhalten, um 1.2.3.4 zurückzugeben.

Die inkonsistenten Einträge in Ihren Protokollen sind fast sicher Drittanbieter-Bots versuchen (ganz gut) zu imitieren Google.