blockieren Suchmaschinen von der Indexierung Dev-Sites

Ich denke, eine meiner Websites wurde vor kurzem von Google deklassiert, weil es gefunden und begann meine dev-Website zu indizieren. Es ist im Grunde eine Replik meiner Hauptseite. (dev.site.com & site.com)blockieren Suchmaschinen von der Indexierung Dev-Sites

Wie auch immer, gibt es eine Möglichkeit, eine robot.txt zu erstellen, die verhindern würde, dass Datenverkehr auf dev.site.com indiziert wird, so dass site.com immer noch voll ist indexiert.

Ich weiß, ich könnte nur separate Roboter-Dateien für jeden haben, aber es wäre nur einfacher, einen zu haben, der beide abdeckt. Vor allem, weil ich mit einer ganzen Reihe von Websites arbeite, die Dev-Sites haben, und möchte einfach einen einfachen Workflow haben und die Roboterdateien nicht ändern müssen, wenn ich neue Versionen der Site zum Leben dränge.

Quelle

2011-01-11 Roeland

Vielleicht könnten Sie die robots.txt-Datei dynamisch, z. via PHP:

<?php 
if ($_SERVER['HTTP_HOST'] === 'dev.site.com') { 
    echo "..."; 
} else { 
    echo "..."; 
}

Quelle

2011-01-11 15:39:16

könnte dies funktionieren. Ich mache meine db-Parameter tatsächlich so. Wie würde ich eine robot.txt-Datei echo'n? Ich bin ein wenig verwirrt darüber, was du damit meinst. – Roeland

Ich meine, verwenden Sie einfach echo-Anweisungen, um die gewünschten Zeilen auszugeben - zB Echo "Disallow: /" und so weiter ... –

Alternativ könnten Sie auch includes verwenden: if () {include "dev-robots.txt" ; } else {include "live-robots.txt"; } –

Es ist Teil des Standard, dass jede Sub-Domain eine eigene robots.txt haben muss (auf die zugegriffen wird, wenn von dev.site.com, man würde eine andere für site.com/dev nicht brauchen).

Quelle

2011-01-11 15:41:41 wes

Ein weiterer Ansatz ist es, eine Zeile in der .htaccess-Datei hinzuzufügen: Header-Set X-Robots-Tag „noindex, nofollow“

Diese befürwortet wird auf die robots.txt überlegen zu sein, als ob es eine ist Link zu Ihrer dev-Seite, die Suchmaschinen melden den Link (auch wenn sie Ihre Seite nicht indizieren). Dies wird hier befürwortet: http://yoast.com/prevent-site-being-indexed/

Quelle

2012-05-02 20:32:22 ehowland

blockieren Suchmaschinen von der Indexierung Dev-Sites

Antwort

Verwandte Themen