Mechanisieren: Wie man eine Tabelle herunterladen

Question

Ich benutze Mechanize von sparklemotion (https://github.com/sparklemotion/mechanize).

Es gibt eine Website namens https://philjobs.org/. Dort können Sie eine Kalkulationstabelle herunterladen, indem Sie auf einen Link klicken.

Ich versuche den Download der Tabelle zu automatisieren. Hier ist, was ich gerade habe:

require 'rubygems' 
require 'mechanize' 

agent = Mechanize.new 

agent.pluggable_parser.default = Mechanize::Download 

page = agent.get('https://philjobs.org') 

agent.page.link_with(:text => 'Download spreadsheet').click.save 

Anstatt die Tabelle speichern, speichert es die HTML. Wie kann ich die Tabelle stattdessen speichern?

Answer 1

Versuchen Sie, diese

agent = Mechanize.new 
agent.pluggable_parser.default = Mechanize::Download 
url = "https://philjobs.org/jobQuery/execute?fromSavedquery=&email=&jobQuery.name=&format=csv&id=&view=On+screen+-+simple&typesToggler=Any+job+type&_jobTypes=&_jobTypes=&_jobTypes=&_jobTypes=&_jobTypes=&_jobTypes=&_jobTypes=&_jobTypes=&tenureTypesToggler=Any+contract+type&_tenureTypes=&_tenureTypes=&_tenureTypes=&_tenureTypes=&jobQuery.locationConstraint=NONE&jobQuery.institution.id=&jobQuery.institution.name=&jobQuery.institution.deleted=false&jobQuery.distance=50.0&jobQuery.city.id=&autonamejobQuerycity=&jobQuery.country=&jobQuery.region=&topicListToggler=Any+AOS&aocListToggler=Any+AOC&jobQuery.keywords=&moreOptions=&jobQuery.orderBy=Creation+time&searchFromDatePicker=&jobQuery.fromDate=date.struct&jobQuery.fromDate_day=&jobQuery.fromDate_month=&jobQuery.fromDate_year=&searchToDatePicker=&jobQuery.toDate=date.struct&jobQuery.toDate_day=&jobQuery.toDate_month=&jobQuery.toDate_year=&_withExpired=" 

agent.get(url).save('stackoverflow.csv') 

Wenn Sie Tabelle herunterladen Link klicken, sie die Form Javascript als get Methode einreicht. Das obige url wird unter Verwendung aller Eingabefelder (Parameter) des Formulars erzeugt.