2009-08-11 15 views
1

Ich erstelle einen Webanwendungs-Crawler, der nicht nur alle Links oder Seiten in einer Webanwendung finden soll, sondern auch alle erlaubten Aktionen in der App ausführt (z. B. Schaltflächen drücken, Formulare ausfüllen, bemerken Änderungen im DOM auch wenn sie keine Anfrage ausgelöst haben etc.)Erstellen eines automatischen Web-Crawlers

Grundsätzlich ist dies eine Art "Browser Simulator".

Ich finde WebKit eine gute Option, um meinen Crawler zu implementieren, da es alle benötigte Technologie (Javascript-Engine, Parser, DOM-Manipulation, etc.) hat, aber es scheint ein Overkill zu sein, ein voll funktionsfähiger Browser zu sein.

Gibt es ein Toolkit, das Ihnen die oben genannten Funktionen bietet?

Antwort

1

Ich benutze webkit durch PyQt das JavaScript zu analysieren und dann Mechanize mit ihr zu interagieren.

Verwandte Themen