Robots.txt unterscheidet sich von dem im Verzeichnis

Ich kann nicht herausfinden, warum Google liest meine robots.txt-Datei als Disallow: /.Robots.txt unterscheidet sich von dem im Verzeichnis

Dies ist, was ich in meiner robots.txt-Datei, die im Hauptwurzelverzeichnis ist:

User-agent: * 

Allow:/

Aber wenn ich Ziffer im Browser wird es Disallow: / zeigen: http://revita.hr/robots.txt

Ich habe alles versucht, die Sitemap eingereicht, Meta-Robots-Index hinzugefügt, in folgen, aber es ist immer das Gleiche.

Irgendwelche Ideen?

Quelle

2017-01-27 Mara Barn

Sie scheinen eine andere robots.txt-Datei zu haben, wenn Sie über HTTPS (→ Allow) statt über HTTP (→ Disallow) darauf zugreifen.

By the way, brauchen Sie nicht

User-agent: * 
Allow:/

, weil alles, was der Standard ist damit zu erklären. Als Allow nicht Teil der ursprünglichen robots.txt-Spezifikation ist, können Sie diese stattdessen verwenden:

User-agent: * 
Disallow:

Beachten Sie auch, dass Sie nicht eine leere Zeile in einem Datensatz haben sollte.

Quelle

2017-01-28 01:49:59 unor

Danke, wissen Sie, wie ist es möglich, verschiedene robots.txt zu haben, wenn der Zugriff über https statt http? Ich habe es versucht und festgestellt, dass Sie Recht haben, aber nicht verstehen, warum, wenn ich nur eine robots.txt-Datei im Stammverzeichnis habe. –

@MaraBarn: Wenn Sie sich die Antwortheader anschauen, wird die HTTP robots.txt von einem nginx Server bedient, während die HTTPS robots.txt von einem Apache Server bedient wird. Die HTTP-Version wurde zuletzt im November 2014 geändert und wird bis Februar 2017 zwischengespeichert. - Scheint es, als würden Sie zwei Server betreiben? Und der HTTP-Server hat es für lange Zeit zwischengespeichert? – unor

Ich werde meinen Provider kontaktieren und fragen, danke! –

Robots.txt unterscheidet sich von dem im Verzeichnis

Antwort

Verwandte Themen