Wie blockiere ich Subdomain, das für den URL-Verkürzungsdienst mit robots.txt verwendet wird?

Question

Sagen wir, meine Domain ist example.com. Unter www.example.com hatte ich meine Hauptwebsite eingerichtet (mit Blogger eingerichtet) und go.example.com für die URL-Kürzung verwendet (Setup mit GoDaddy Shortened Service). Jetzt möchte ich alle go.example.com URLs blockieren, so dass sie nicht indiziert werden können.

Wenn ich rel="noindex,nofollow" für go.example.com URLs in meinem Hauptblog verwende, dann wirkt sich dies auf meine Blog-Suchmaschinenoptimierung aus?

Answer 1

Mit dieser robots.txt auf go.example.com, nicht zulassen Sie Bots Crawl jede URL von diesem Host entsprechen:

# https://go.example.com/ 
User-agent: * 
Disallow:/

Wenn Sie fein sind mit kriechen, aber Sie wollen Indizierung verhindern (you can’t have both), müssen Sie noindex (entweder im meta - robots Element oder im HTTP-Header X-Robots-Tag) verwenden. Beachten Sie, dass Sie noindex nicht als Verknüpfungstyp in dem Attribut rel verwenden können.

Wenn Sie immer (z. B. mit 301) von go.example.com zur kanonischen URL (auf einem anderen Host) umleiten, haben Suchmaschinenbots keinen Grund, Ihr Dokument unter go.example.com zu indexieren, da Sie keinen Inhalt bereitstellen , nur die Weiterleitung.