Was sind die Vorteile einer aktualisierten sitemap.xml?

Question

Der folgende Text stammt von sitemaps.org. Was sind die Vorteile dafür, wenn der Crawler seine Aufgabe erfüllt?

Sitemaps sind eine einfache Möglichkeit für Webmaster Suchmaschinen über Seiten auf ihren Websites zu informieren, dass für das Crawling zur Verfügung stehen. In seiner einfachsten Form ist eine Sitemap eine XML Datei, die über jede URL entlang mit zusätzlichen Metadaten-URLs für eine Website listet (wenn es wurde zuletzt aktualisiert, wie oft in der Regel ändert sich, und wie wichtig es ist, im Verhältnis zu anderen URLs in der Website), so dass Suche Engines können intelligenter die Website crawlen.

Edit 1: Ich hoffe, genug Vorteile zu bekommen, damit ich die Entwicklung dieser Funktion rechtfertigen kann. In diesem Moment stellt unser System keine Sitemaps dynamisch zur Verfügung, also müssen wir eines mit einem Crawler erstellen, was kein sehr guter Prozess ist.

Answer 1

Crawlers sind „faul“, also wenn Sie ihnen eine Sitemap mit allen Website-URLs in geben, sind sie eher zu indizieren mehr Seiten auf Ihrer Website.

Sie geben Ihnen auch die Möglichkeit, Ihre Seiten zu priorisieren, damit die Crawler wissen, wie häufig sie sich ändern, welche wichtiger sind, um auf dem neuesten Stand zu bleiben, usw., damit sie ihre nicht gecrawlte Seiten nicht verschwenden, Fehlende, die das tun, oder Indizierung von Seiten, die Sie nicht interessieren (und fehlende Seiten, die Sie tun).

Es gibt auch viele automatedtools online, die Sie verwenden können, um Ihre gesamte Website zu crawlen und eine Sitemap zu generieren. Wenn Ihre Seite nicht zu groß ist (weniger als ein paar tausend URLs), werden sie großartig funktionieren.

Answer 2

Nun, wie der Absatz sagt Sitemaps auch Meta-Daten über eine bestimmte URL zur Verfügung stellen, die ein Crawler kriechend extrapolieren rein kann nicht in der Lage sein. Die Sitemap dient als Inhaltsverzeichnis für den Crawler, sodass er Inhalte priorisieren und auf Dinge hinweisen kann, auf die es ankommt. Auch

Answer 3

Die Sitemap hilft den Crawler zu sagen, welche Seiten wichtiger sind, und auch, wie oft sie zu erwarten aktualisiert werden. Dies ist eine Information, die wirklich nicht durch bloßes Scannen der Seiten selbst herausgefunden werden kann.

Crawlers haben eine Grenze, wie die Scan Ihrer Website viele Seiten, und wie viele Ebenen tief folgen sie Links. Wenn Sie viele weniger relevante Seiten, viele verschiedene URLs auf derselben Seite oder Seiten haben, die viele Schritte benötigen, wird der Crawler angehalten, bevor er zu den interessantesten Seiten gelangt. Die Sitemap bietet eine alternative Möglichkeit, einfach die interessantesten Seiten zu finden, ohne Links folgen zu müssen und Duplikate zu sortieren.