Wie die robots.txt-Datei ordnungsgemäß für Subdomains geschrieben werden sollte?

Question

Kann mir jemand erklären, wie sollte ich eine robots.txt-Datei schreiben, wenn ich, dass alle Root-Crawler indizieren möchten und einige spezifische Subdomains

User-agent: * 
Allow:/
Allow: /subdomain1/ 
Allow: /subdomain2/ 

Ist das richtig? Und wo soll ich es hinstellen? Im Ordner root (public_html) oder in jedem Subdomain-Ordner?

Answer 1

Es gibt keine Möglichkeit, Regeln für verschiedene Subdomains in einer einzelnen robots.txt-Datei anzugeben. Eine angegebene robots.txt-Datei steuert nur das Crawlen der Subdomäne, von der sie angefordert wurde. Wenn Sie einige Subdomains blockieren und andere zulassen möchten, müssen Sie verschiedene robots.txt-Dateien aus den verschiedenen Subdomains bereitstellen.

Zum Beispiel, wenn Sie kriechen von http://crawlme.example.com/ zu ermöglichen, aber Sie wollen Crawling von http://nocrawl.example.com/ dann blockieren:

http://crawlme.example.com/robots.txt sollte enthalten:

# Allow everything: 
User-agent: * 
Disallow: 

und http://nocrawl.example.com/robots.txt sollte enthalten:

# Block everything: 
User-agent: * 
Disallow:/