2009-07-04 4 views
2

Eine aktuelle article hat mich aufgefordert, ein Projekt abzuholen, an dem ich seit einer Weile gearbeitet habe. Ich möchte ein Web-Service-Front-End für eine Reihe von Websites erstellen, um das automatische Ausfüllen von Formularen und das Abrufen von Daten aus den Ergebnissen und anderen Bereichen der Site zu ermöglichen. Ich habe einen Grad des Erfolgs unter Verwendung Selenium und des kundenspezifischen Codes erreicht, aber ich suche, um dieses Stadium zu erweitern, in dem das Hinzufügen der zusätzlichen Aufstellungsorte eine triviale Aufgabe ist (möglicherweise eine, die keinen Entwickler sogar erfordert).Website Datenabruf

Die Kapow web data server sieht aus, um viel davon zu erreichen, aber mir wird gesagt, dass es ziemlich teuer ist (zurzeit auf ein Angebot wartend). Hat jemand Erfahrung damit oder kann man Alternativen vorschlagen (Open Source idealerweise)?

Haftungsausschluss: Ich erkenne die möglichen Rechtmäßigkeitsprobleme bei der Automatisierung der Datenabfrage von Drittanbieter-Websites - dieses Tool wurde für die Verwendung in einem Preisvergleichssystem entwickelt und alle damit verbundenen Websites werden mit ausdrücklicher Genehmigung ausgeführt von den Eigentümern. Wenn die Websites eine API bereitstellen, wird dies eindeutig der bevorzugte Ansatz sein.

Dank

Antwort

0

Realisiert es schon eine Weile her, seit ich das geschrieben, jedoch sollte über sie jemand kommen, ich habe dafür bei der Verwendung des WSO2 Rahmen (insbesondere der Mashup-Server) viel Erfolg hatte. Für Data-Mining-Aufgaben habe ich auch eine Java-Bibliothek verwendet, die Wraps - Webharvest - die alles erreicht hat, was ich brauchte