0
Wir haben eine Website, die auf Ruby on Rails aufgebaut ist, die mit Apache umgekehrt ist. So ist der Stammordner für die Website wäre/var/www/html/digiryte und die Ordnerstruktur ist ähnlich wie dieseVerhindern, dass Google andere Ordner crawlt unter/var/www/
/var/www/html/
rails_website/
folder1/
folder2/
index.html
Das Problem ist Google Webmaster-Konsole zeigt Crawling-Fehler mit der URL wie
/html/rails_website/public/assets/...
Wie ist das möglich?
Wie kann ich Google davon abhalten, diese Ordner zu indizieren?
Ich möchte Urls im rails_website indiziert werden nicht zu verbieten gewohnt Ordner Index, andere aber nicht sein. Ich weiß nicht, wie Google auf diese Ordner zugreift. – sureshprasanna70
Ich denke, der beste Weg ist, eine sitemap.xml für die URL, die Sie indizieren möchten, zu machen und diesen Ordner mit robot.txt zu blockieren –