0
Verwenden Webcrawler Cookies oder verwerfen sie diese?Erkennt der Webcrawler Cookies?
A
Antwort
0
Crawler reagieren nicht auf Befehle zum Ausgeben von Cookies und speichern sie bis zum nächsten Besuch einer Seite.
Crawler führen kein JavaScript aus.
Crawler lesen nur die Standardseiten (was ohne Cookies und abgeschaltetes JavaScript geliefert wird) und sortieren sie basierend auf dem, was sie sehen.
+2
Sorry -1 - Es gibt Webcrawler, die Cookies verwenden - hier ist die Dokumentation, wie man sie für IBMs Omnifind aktiviert - http://publib.boulder.ibm.com/infocenter/discover/v8r5m0/index.jsp?topic=/ com.ibm.discovery.es.ad.doc/administration/iiysatcookie.htm – DanSingerman
+0
Dann ist das neu für mich. Vielen Dank. – User
+0
Und ab 2010 haben einige Crawler (z. B. GoogleBot, aber auch einige Spambots) JS, sogar Flash-Ausführungsmöglichkeiten. – Piskvor
5
Ein Crawler ist nur eine Software, die Dateien über HTTP herunterlädt und versucht, weitere URLs zu finden, um weitere Dateien herunterzuladen.
Es ist Aufgabe des Erstellers des Crawlers festzustellen, ob er Javascript und Cookies verwenden oder ignorieren möchte.
Die meisten Raupen, glaube ich, wird ignorieren derzeit Javascript und Cookies, aber es gibt keinen Grund, warum dies der Fall sein muss (und Sie sollten auf jeden Fall nicht auf sie verlassen, sagen aus Sicherheitsgründen)
Verwandte Themen
- 1. Webcrawler überspringen URLs
- 2. Richtlinien für gute Webcrawler "Etikette"
- 3. Gute Webseiten zum Testen von Webcrawler auf
- 4. Anzeigen der Cookies Werte auf der gleichen Seite php-cookies
- 5. Cookies mit Cookie: Der ‚Pfad‘ Teil des Cookies ist ungültig
- 6. Wie kann ein Perl-Webcrawler einem ASP.NET-Postback folgen?
- 7. R WebCrawler - XML-Inhalt scheint nicht XML zu sein:
- 8. Javascript-Cookies vs PHP-Cookies
- 9. Caching mit Cookies ohne Caching Cookies
- 10. Server Cookies?
- 11. WebOb Cookies
- 12. Liste der Browser-Cookies mit Ruby
- 13. Selen: Der Versuch, mit Cookies einloggen -
- 14. ASP.NET Session Cookies - Angabe der Basisdomäne
- 15. Einstellen eines Cookies vor der JavaScript-Umleitung
- 16. Angular Cookies
- 17. iphone + cookies
- 18. Wie setzen Sie Cookies in eckigen?
- 19. NetBeans erkennt $ {project.organization} in der Lizenzvorlage nicht
- 20. Warum erkennt der Compiler meine Steuerelemente nicht?
- 21. Wie erkennt man den Zustand der Stromversorgung?
- 22. Javascript erkennt, ob der Eingang fokussiert ist
- 23. Wie erkennt der C# -Compiler COM-Typen?
- 24. JavaFX erkennt keine Änderungen der verfügbaren Drucker
- 25. Warum erkennt der Wireshark kein DNS-Paket?
- 26. Excel-Import, der Tabellen nicht erkennt
- 27. Wie erkennt der Server Geräte nach Sitzungen?
- 28. Migration der Entitätsframework, die keine Änderungen erkennt
- 29. erkennt, wenn der Eingang ist versteckt Typ
- 30. Jquery-Cookies: Ändern der Körper-ID beim Laden der Seite
@perezclark I Ich denke, Sie haben eine gute Frage, aber Sie müssen sowohl die Frage als auch den Titel umformulieren. –
Und vielleicht ein paar Fragezeichen fallen ... Ich habe gehört The Riddler suchte nach dir. Etwas darüber, wie viele Fragezeichen es in seiner Stadt gibt oder so. – peirix
Vielleicht besser formuliert als "Verwenden Web Crawler Cookies oder verwerfen sie?" –