Wie behandeln Web-Crawler Javascript?

Question

Heute wird viel Inhalt im Internet mit JavaScript (speziell durch Hintergrund-AJAX-Aufrufe) generiert. Ich habe mich gefragt, wie Web-Crawler wie Google mit ihnen umgehen. Kennt sie JavaScript? Haben sie eine integrierte JavaScript-Engine? Oder ignorieren sie einfach alle JavaScript-generierten Inhalte auf der Seite (ich denke ziemlich unwahrscheinlich). Verwenden Personen bestimmte Techniken, um ihren Inhalt indizieren zu lassen, der ansonsten über Hintergrund-AJAX-Anfragen für einen normalen Internetnutzer verfügbar wäre?

Answer 1

JavaScript wird von Bing- und Google-Crawlern verarbeitet. Yahoo verwendet die Bing-Crawler-Daten, daher sollte es auch behandelt werden. Ich habe mir keine anderen Suchmaschinen angeschaut. Wenn Sie sich also für sie interessieren, sollten Sie nachsehen.

Bing published guidance in March 2014, wie JavaScript-basierte Websites zu erstellen, die mit ihren Crawler arbeiten (vor allem im Zusammenhang mit pushState), den guten Praktiken im Allgemeinen sind:

• Vermeiden Erstellen defekte Links mit pushState
• Vermeiden zwei Erstellen verschiedene Links, die auf den gleichen Inhalt mit pushState verweisen
• Vermeiden Sie cloaking. (Here's an article Bing published about their cloaking detection in 2007)
• Unterstützt Browser (und Crawler), die nicht mit pushState umgehen können.

Google later published guidance in May 2014, wie JavaScript-basierte Websites zu erstellen, die mit ihren Crawler arbeiten, und ihre Empfehlungen sind ebenfalls zu empfehlen:

• Sie das JavaScript (und CSS) in der robots.txt nicht blockieren Datei.
• Stellen Sie sicher, dass Sie die Last der Crawler verarbeiten können.
• Es ist eine gute Idee, Browser und Crawler zu unterstützen, die nicht umgehen können (oder Benutzer und Organisationen, die dies nicht erlauben). JavaScript
• Tricky JavaScript, das auf obskure oder spezifische Funktionen der Sprache beruht, funktioniert möglicherweise nicht mit den Crawlern .
• Wenn Ihr JavaScript Inhalte von der Seite entfernt, wird es möglicherweise nicht indiziert. herum.

Answer 2

Die meisten von ihnen behandeln Javascript in keiner Weise. (Zumindest nicht alle Crawler der großen Suchmaschinen.)

Aus diesem Grund ist es immer noch wichtig, dass Ihre Website die Navigation ohne JavaScript fehlerfrei verarbeitet.

Answer 3

Genau was Ben S gesagt hat. Und jeder, der mit Lynx auf Ihre Website zugreift, führt auch kein JavaScript aus. Wenn Ihre Website für die allgemeine Öffentlichkeit bestimmt ist, sollte sie in der Regel ohne JavaScript verwendet werden können.

Auch, wenn es Seiten gibt, die eine Suchmaschine finden sollte, und die normalerweise nur von JavaScript entstehen würden, könnten Sie statische Versionen von ihnen erstellen, erreichbar durch eine crawlable Sitemap, wo diese statisch sind Seiten verwenden JavaScript, um die aktuelle Version zu laden, wenn sie von einem JavaScript-fähigen Browser aufgerufen werden (falls ein Mensch mit einem Browser Ihrer Site-Map folgt). Die Suchmaschine sieht die statische Form der Seite und kann sie indizieren.

Answer 4

Crawlers analysiert Javascript nicht, um herauszufinden, was es tut.

Sie können gebaut werden, um einige klassische Schnipsel wie onchange="window.location.href=this.options[this.selectedIndex].value;" oder onclick="window.location.href='blah.html';" zu erkennen, aber sie kümmern sich nicht um Dinge wie Inhalte, die mit AJAX abgerufen werden. Zumindest noch nicht, und so geholte Inhalte werden immer sekundär sein.

So sollte Javascript nur für zusätzliche Funktionalität verwendet werden. Der Hauptinhalt, den die Crawler finden sollen, sollte weiterhin reiner Text auf der Seite und normale Links sein, denen die Crawler leicht folgen können.

Answer 5

Ich habe dies getestet, indem ich Seiten auf meiner Seite nur mit Javascript erreichbar gemacht habe und dann deren Anwesenheit in Suchindizes beobachtet habe.

Seiten auf meiner Website, die nur mit Javascript erreichbar waren, wurden nachträglich von Google indiziert.

Der Inhalt wurde durch Javascript mit einer 'klassischen' Technik erreicht, oder indem eine URL erstellt und die window.location entsprechend eingestellt wurde.

Answer 6

Crawler Javascript oder Ajax behandeln ruft, wenn sie irgendeine Art von Frameworks wie ‚Htmlunit‘ oder ‚Selen‘