Ich möchte wissen, wenn Google die Website Crawlen, vorzugsweise indem Sie mir eine E-Mail senden.Gibt es eine Möglichkeit zu sagen, wenn googlebot/bingbot/yahoobot meine Website in asp.net 2005 IIS6 Crawlen ist?
Gibt es eine Möglichkeit, die Leistung nicht zu beeinträchtigen?
Der Benutzeragent identifiziert sich als Gsa-Crawler/Googlebot je nachdem, ob es sich um eine Google-Appliance oder Google handelt. Sie könnten einen Code schreiben (Request.ServerVariables("HTTP_USER_AGENT")), der darauf überwacht oder IIS-Protokolldateien analysiert.
Vielleicht möchten Sie überprüfen, dass der Bot wirklich Google ist - das ist something to watch out for.
Ich würde die Web-App root wählen, wenn Sie eine E-Mail benötigen, um ASAP und die Datei analysieren root zu senden, wenn Sie ein wenig länger warten können.
Ihre IIS Logfiles (usu. In c:\windows\system32\logfiles ...), zeigen Ihnen, wenn die Spinnen Ihre Website gecrawlt haben. Stellen Sie sicher, dass Sie die Protokollierung aktiviert haben und dass Sie den Browser/Benutzer-Agent protokollieren. Der Browseragent ist eine Zeichenfolge, die unter anderem den Namen des Webbrowsers/bot/was auch immer die Seite angefordert hat, enthält. Die meisten Einträge sind bei visueller Prüfung offensichtlich (z. B. enthält googlebot die Zeichenfolge "googlebot").
Wenn Sie benachrichtigt werden möchten, habe ich eine Aufgabe, die alle fünfzehn oder zwanzig Minuten ausgeführt wird, Ihre Protokolleinträge seit dem letzten Scan durchsucht und Ihnen eine E-Mail mit einer Musterübereinstimmung sendet, wie der vorherige Befragte vorgeschlagen hat .