Wie verbiete ich bestimmte Seite von robots.txt

Question

Ich erstelle zwei Seiten auf meiner Website, die sehr ähnlich sind, aber verschiedenen Zwecken dienen. Einer ist den Benutzern zu danken, dass sie einen Kommentar hinterlassen, und der andere besteht darin, Nutzer zum Abonnieren anzuregen.

Ich möchte nicht den doppelten Inhalt, aber ich möchte die Seiten verfügbar sein. Kann ich die Sitemap so einstellen, dass eine versteckt wird? Würde ich das in der robots.txt-Datei machen?

Die disallow sieht wie folgt aus:

Disallow:/wp-admin

Wie würde ich auf die eine bestimmte Seite anpassen wie:

http://sweatingthebigstuff.com/thank-you-for-commenting

Answer 1

Disallow: /thank-you-for-commenting 

in Roboter .txt

Schauen Sie sich last.fm robots.txt file zur Inspiration an.

Answer 2

Dies ist sehr einfach, jede Seite, die Sie nicht zulassen möchten, geben Sie einfach Root-URL dieser Datei oder Ordner. Fügen Sie das einfach in Ihre robots.txt Datei ein.

Disallow: /thank-you-for-commenting 

Answer 3

robots.txt-Dateien reguläre Ausdrücke verwenden, um Seiten zu passen, so dass mehr Seiten gezielt zu vermeiden, als Sie beabsichtigen, müssen Sie einen $ bis zum Ende des Seitennamen hinzuzufügen:

Disallow: /thank-you-for-commenting$ 

Wenn Sie dies nicht tun, verbieten Sie auch die Seite/Vielen Dank für Ihre Kommentierung.

Answer 4

Sie können auch eine spezifische Seite mit der Erweiterung in robots.txt Datei hinzufügen. Im Testfall können Sie den Pfad der Testseite angeben, um das Crawlen von Robots zu verhindern.

Beispiele:

Disallow: /index_test.php 
Disallow: /products/test_product.html 
Disallow: /products/  

Die erste Disallow: /index_test.php wird Bots nicht zulassen aus der Testseite in Stammordner kriecht.

Zweite Disallow: /products/test_product.html wird test_product.html unter dem Ordner "Produkte" verbieten.

Schließlich wird das letzte Beispiel Disallow: /products/ den gesamten Ordner vom Crawlen verbieten.