SEO und AJAX-Sites

Question

Ist es möglich, Suchmaschinen zu helfen, indem Sie ihnen eine Liste von URLs zum Crawlen geben? Es kann schwierig sein, die Website SEO-freundlich zu machen, wenn Sie schwere AJAX-Logik verwenden. Nehmen wir an, der Benutzer wählt eine Kategorie, dann eine Unterkategorie und ein Produkt. Es scheint unnötig, Kategorien und Unterkategorien URLs zu geben. Aber nur Produkte eine URL zu geben, macht Sinn. Wenn ich die URL für das Produkt sehe, kann ich die Anwendung zu diesem Produkt navigieren lassen. Also, ist es möglich, robots.txt oder eine andere Methode zu verwenden, um Suchmaschinen zu den von mir angegebenen URLs zu leiten?

Ich bin offen für andere Vorschläge, wenn dies irgendwie keinen Sinn ergibt.

Answer 1

Ja. Was Sie beschreiben, ist eine Sitemap - es ist eine Liste von Seiten auf Ihrer Website, die Suchmaschinen verwenden können, um sie beim Crawlen Ihrer Website zu helfen.

Es gibt ein paar Möglichkeiten zum Formatieren einer Sitemap, aber bei weitem am einfachsten ist es, alle URLs in einer Textdatei auf Ihrer Website - eine pro Zeile - aufzulisten und in robots.txt wie folgt zu referenzieren :

Sitemap: http://example.com/sitemap.txt 

Hier ist die Google-Dokumentation zum Thema: https://support.google.com/webmasters/answer/183668?hl=en