Ich überprüfe ein paar meiner Websites, um sicherzustellen, dass meine SEO-Grundlagen abgedeckt sind. Es gibt keine privaten Seiten auf der fraglichen Seite und wir möchten, dass alle Seiten indiziert werden. Ist die Einrichtung einer robots.txt-Datei, auch wenn sie nicht benötigt wird, für meine Website seriöser und wichtiger für Google?Benötige ich unbedingt eine robots.txt-Datei für meine öffentlich zugänglichen Websites?
Ich würde nur ein leeres einbeziehen, obwohl ohne es Ihr Server immer noch eine 404-Nachricht an den Anforderer ausspuckt. Das ist wahrscheinlich größer als eine leere robots.txt-Datei.
nein, wird es nicht.
Google hat seine eigenen Regeln zu entscheiden und wird sich nicht auf das Vorhandensein von robots.txt verlassen.
Nur Google kann das für Sie beantworten.
Gemäß wikipedia ist robots.txt nur für Blacklisting, Rate Limiting und Sitemaps.
Gemäß Google ist es eine gute Idee. Ihre Anweisungen/Richtlinien sind eigentlich ziemlich gründlich.
Suchmaschinen suchen nach einer robots.txt-Datei. Wenn es nicht dort ist, erhält die Suchmaschine einen 404. Es ist eine gute Idee, einen zu haben, selbst wenn es leer ist.
Diese Frage wurde beantwortet, aber die Antworten sind alle ein bisschen alt, und diese Frage wird weiterhin in den Suchergebnissen angezeigt, und die Dinge haben sich geändert.
Google now recommend folgendes:
Wenn Sie Motoren zu indizieren alles in Ihrer Website suchen möchten, müssen Sie keine robots.txt-Datei benötigen (nicht einmal eine leere).
JohnMu (von Google), macht auch die following suggestion:
ich weiter noch ein wenig gehen würde empfehlen, und vielleicht die robots.txt-Datei vollständig zu entfernen.
Könnte das nicht als ungültige robots.txt-Datei betrachtet werden? –