Wo fange ich mit einem Web-Bot an?

Question

Ich möchte einfach ein automatisches Skript erstellen, das (vorzugsweise) auf einem Webserver ausgeführt werden kann und einfach auf ein Objekt einer Webseite "klickt". Ich bin neu in Python oder in welcher Sprache auch immer für diese verwendet würde, also dachte ich, ich würde hier hingehen und fragen, wo ich anfangen soll! Das mag so aussehen, als wollte ich, dass das Skript Werbung schmeißt oder etwas illegal macht, aber es ist einfach, mit einer anderen Website zu interagieren.

Answer 1

Ich würde die Python mechanize Bibliothek empfehlen. Es ist so konzipiert, dass es als simulierter Browser agiert. Ich habe es verwendet, um mehrere Web-Schnittstellen aus dem Skript zu fahren.

Answer 2

Ich würde empfehlen, das WebBrowser-Steuerelement des .NET-Pakets zu verwenden. Sie können auf alle DOM-Elemente zugreifen und vollständig mit jeder Website interagieren. Hier ist eine kurze article

Wenn Sie immer noch Python bevorzugen, mechanize könnte eine gute Möglichkeit, das zu tun.

Answer 3

Ich würde wahrscheinlich mit Twill beginnen - Sie können ihre Skriptsprache oder Python-API verwenden.

Answer 4

Es muss nicht Python sein, ich habe es in PHP und Perl gesehen, und Sie können es wahrscheinlich in vielen anderen Sprachen tun. Der allgemeine Ansatz lautet:

1) Sie geben Ihrer App eine URL und eine HTTP-Anfrage an diese URL. Ich denke, ich habe das mit php/wget gesehen. Wahrscheinlich viele andere Möglichkeiten, es zu tun.

2) Scannen Sie die HTTP-Antwort für andere URLs, die Sie "klicken" möchten (wirklich, senden HTTP-Anforderungen an sie), und senden Sie dann Anforderungen an diese. Das Parsen der Links erfordert normalerweise ein gewisses Verständnis von regulären Ausdrücken (wenn Sie mit regulären Ausdrücken nicht vertraut sind, sollten Sie es auffrischen - es ist wichtig;)).