Crawl-Seite, die Anmeldung mit Anemone erfordert

Question

I Anemone Juwel in folgenden Weise bin mit:

• Besuch ersten url (Samen), Seiteninhalt zur Datenbank speichern und alle Links von dieser Seite Datenbank speichern und (wieder
• alle Verbindungen, die noch nicht in der Datenbank sind)
• laden nächsten Link aus der Datenbank, deren Inhalt und alle anderen Links speichern Wenn es keine andere Verbindung, kriechen alle Links wieder (nach einiger Zeit) alten Inhalt zu überschreiben von neu

Das funktioniert ziemlich gut, aber gibt es irgendeine Möglichkeit, Seiten zu crawlen, die eine Anmeldung erfordern (wenn ich Benutzername und Passwort kenne)? Ich kenne Mechanize Juwel, die Funktionen zum Ausfüllen von Formularen bieten, aber ich weiß nicht, wie ich es in meinen Prozess integrieren kann (wenn es möglich ist). Oder gibt es eine andere Möglichkeit, Seiten hinter dem Login-Formular zu crawlen?

Answer 1

In Ihrem Fall schlage ich eine dieser Lösungen verwenden:

• Selen WebDriver gem https://github.com/SeleniumHQ/selenium/tree/master/rb
• PhantomJS http://phantomjs.org/

Da diese zwei Lösung können Sie Formulare, und klicken Sie auf Web-Elemente füllen und alles zu tun, was der Standard-Internetnutzer ist. Dies ist nicht möglich im Fall Mechanize gem.