Ich habe robots.txt-Datei hinzugefügt und einige Zeilen hinzugefügt, um einige Ordner zu beschränken.Auch habe ich alle Einschränkungen hinzugefügt, um auf diese robots.txt-Datei mit .htaccess-Datei zugreifen.Can Suchmaschinen lesen Inhalt dieser Datei?Kann die Suchmaschine robots.txt lesen, wenn der Lesezugriff eingeschränkt ist?
Antwort
Diese Datei sollte frei lesbar sein. Suchmaschinen sind wie Besucher auf Ihrer Website. Wenn ein Besucher diese Datei nicht sehen kann, wird die Suchmaschine sie auch nicht sehen können.
Es gibt absolut keinen Grund zu versuchen, diese Datei zu verstecken.
Web-Crawler müssen in der Lage sein, HTTP-GET Ihre robots.txt abzurufen, oder sie können die Datei nicht analysieren und Ihre Konfiguration respektieren.
Die Antwort ist nein! Aber die einfachste und sicherste ist auch noch zu versuchen:
https://support.google.com/webmasters/answer/6062598?hl=en
Die robots.txt-Tester zeigt Ihnen, ob Ihre robots.txt-Datei blockiert Google Web-Crawler von bestimmten URLs auf Ihrer Website. Für Beispiel können Sie dieses Tool verwenden, um zu testen, ob der Googlebot-Image-Crawler die URL eines Bilds, das Sie blockieren möchten, aus Google Image Search crawlen kann.
- 1. Ist die verknüpfte Liste nur eingeschränkt nutzbar?
- 2. Ist die neue C++ - Rückkehrsyntax eingeschränkt?
- 3. Wie kann der Schreibzugriff in Firebase ohne Lesezugriff bereitgestellt werden?
- 4. Robots.txt Priorität Frage
- 5. Warum ist die Java-Kryptographie eingeschränkt?
- 6. Inwiefern ist JavaScript eingeschränkt, wenn eine Facebook-App erstellt wird?
- 7. Wie kann der Zugriff auf Amazon S3 API eingeschränkt werden?
- 8. JMX Passwort Lesezugriff Ausgabe
- 9. Website Beschreibung nicht in Google-Suchmaschine
- 10. Zugriff auf die Website mit Lastenausgleich, wenn die DNS-Suche auf dem Server eingeschränkt ist
- 11. Cache-Verwaltung in der Suchmaschine
- 12. Kann Lesezugriff gewährt werden Webkonsole 7?
- 13. „com.example ist eingeschränkt“, wenn APK Hochladen Store Spielen
- 14. Dynamic robots.txt
- 15. Suchmaschine cloaking
- 16. Robots.txt Verwendung
- 17. Laravel Suchmaschine
- 18. Wie kann die Sichtbarkeit von Objekten eingeschränkt werden?
- 19. Wie kann die Java-String-Erstellung in Hibernate eingeschränkt werden?
- 20. Wie kann die Aktion in einem bestimmten Namespace eingeschränkt werden?
- 21. Wie kann der Bereich datetimepicker in einem Monat eingeschränkt werden?
- 22. Suchmaschine umleiten
- 23. Was ist eine gute Quellcode-Suchmaschine?
- 24. Wie kann die Parallelität von flatMap eingeschränkt werden?
- 25. Wie kann der Dateityp zum Hochladen in WordPress eingeschränkt werden?
- 26. Cassandra Primärschlüssel Spalte kann nicht eingeschränkt werden
- 27. Wie kann die SonarQube-Berechtigung "Ausführungsanalyse" pro Projekt eingeschränkt werden?
- 28. Warum und wie benutzt der googlebot die Suchmaschine meiner Website?
- 29. Wie kann meine C# -App testen, ob der Benutzer "Lesezugriff" auf eine Netzwerkfreigabe hat?
- 30. Git/Gitosis - Repository Lesezugriff verweigert
Ich habe meinen Admin-Zugriffsordner von allen IP-Adressen außer meiner IP-Adresse in htaccess eingeschränkt und diesen Ordner in Robots-Datei auch nicht zulassen ... was wird dann passieren? –