Welche HTTP-Signaturen werden von Crawling-Robots von Google Web gefunden?

Question

Mit allen verfügbaren HTTP-Daten,

Auf welche "Zeichen" können Sie achten, um die Suchmaschinenroboter von Google zu erkennen?

Answer 1

How to verify googlebot - die offizielle Methode.

Answer 2

Soweit ich weiß, haben die Crawler von Google den User-Agent auf "Googlebot" gesetzt.

Andere Suchmaschinenanbieter halten sich normalerweise an einen erkennbaren Namen im User-Agent; Es gibt verschiedene Listen von bekannten Agenten, wie zum Beispiel http://www.jafsoft.com/searchengines/webbots.html.

Answer 3

Das sollte User-Agent Header genug sein, um die Google-Bot eine Liste bekannter se bot

Durch die Sie sicher, dass ein echter Googlebot das ist sein wollen würde bekommen

Check out user-agents.org Webseite erfassen google, dann können Sie die IP/Host, der

c immer überprüfen [nn] .googlebot.com

Wobei [nn] eine Zahl ist.

Answer 4

Nun, ich bin nicht so sicher, wie wartbar es ist, DNS-Reverse-Lookups für IP-Adressen zu tun. Ich würde das nur tun, wenn Sie befürchten, dass jemand die User-Agent-Zeichenfolgen von Google verfälscht, was sehr unwahrscheinlich ist. Es kann auch selbst gespooft werden, wie der Artikel zeigt.

Sie sind am besten dran, nur ihre bekannten Benutzeragenten passend:

Regex.IsMatch(ua, @"googlebot|mediapartners-google|adsbot-google", RegexOptions.IgnoreCase);