0
Ich versuche es einzurichten, wo www.url.com/folder
nicht erlaubt ist, aber www.url.com/folder/1
zulässig ist. Ich habe es wie folgt festgelegt:Robots.txt Ordner nicht zulassen, aber Unterordner zulassen
User-agent: *
Disallow: /folder
Allow: /folder/*
, die funktioniert, wenn mit dem Google robots.txt-Tester testen, aber wenn ich auf die Protokolle sehen, kann ich sehen, Googlebot alle URLs anders als/Ordner zu schlagen.
Fehle ich etwas? Sollte erlauben zuerst gehen?
Mögliche Duplikat [Robots.txt Unterordner zulassen aber nicht die Eltern] (http://stackoverflow.com/questions/7609031/robots-txt-allow -sub-folder-but-not-the-parent) – Quentin
"alle anderen URLs als/Ordner" - Welche URLs sind diese und welche möchten Sie nicht zulassen? – unor
Jede andere URL auf der Website, d. Ich habe die/Ordner Einschränkungen aus der Datei für jetzt entfernt, sehen, ob das etwas ändert. – lifwanian