Hi OpenCart hat standardmäßig keine robots.txt-Datei. Es gibt auch keine Einstellungen im Admin-Bereich.
Dies ist jedoch sehr einfach, Sie können einfach robots.txt Datei in Ihrer Website Stammverzeichnis erstellen. Ein kurzes Beispiel für die Syntax ist unten angegeben.
Robots.txt ist eine Textdatei (nicht html), die Sie auf Ihrer Website platzieren, um Suchrobotern mitzuteilen, welche Seiten Sie nicht besuchen möchten.
Es ist wichtig klarzustellen, dass robots.txt kein Weg ist zu verhindern, dass Suchmaschinen Ihre Website crawlen (dh es ist keine Firewall oder eine Art Passwortschutz) und die Tatsache, dass Sie eine robots.txt setzen Datei ist so etwas wie das Setzen einer Notiz "Bitte nicht eingeben" an einer unverschlossenen Tür - z Du kannst nicht verhindern, dass Diebe herein kommen, aber die Guten werden sich nicht öffnen und eintreten.
blockieren alle Web-Crawler von allen Inhalten
User-agent: *
Disallow:/
-Block eine bestimmte Web-Crawler aus einem bestimmten Ordner
User-agent: Googlebot
Disallow: /no-google/
-Block eine bestimmte Web-Crawler von einer bestimmten Webseite
User-agent: Googlebot
Disallow: /no-google/blocked-page.html
Sitemap Parameter
User-agent: *
Disallow:
Sitemap: http://www.example.com/none-standard-location/sitemap.xml
Ich hoffe, es hilft.
Niemand wird helfen? –