Parsen einer Website nach POST-Anfrage mit Python

Question

Ich möchte einige Adressen aus einem Store-Locator für eine Website ausrangieren, um es einfacher zu machen, in Google Maps zu setzen und zu sehen, wo sich alle Geschäfte in meinem Staat befinden. Hier

ist die Store Locator Webseite: http://www.rockyboots.com/locator

Wenn ich hier, die ich in meinem Zustand versetzt, und es gibt alle Adressen. Ich frage mich, wie man das mit Python macht, speziell das Requests-Modul.

Ich habe versucht, Reverse Engineering, welche Informationen gesendet wurde, als ich das Formular abgeschickt, und bekam

form = {'dwfrm_storelocator_address_states_stateUSCA':'NS', 
     'dwfrm_storelocator_findbystate':'Search'} 

so zur Zeit meine Anfrage wie folgt aussieht:

r = requests.post(url, data = form) 

wo

url = 'http://www.rockyboots.com/locator' 

Dies scheint mir nur die Locator-Seite wiederzugeben, nicht die eingereichte Formularseite.

An diesem Punkt bin ich nur nicht sicher, was ich sonst noch tun oder versuchen könnte, also wäre jede Information hilfreich. Dies ist nur ein Nebenprojekt, mit dem ich etwas Web Scraping lernen könnte.

Answer 1

Ein Benutzer auf Reddit (commandlineluser) half mir bei der Lösung. Es stellte sich heraus, dass ein anderer Parameter an die POST-Anfrage übergeben werden musste, dieser Parameter wurde jedoch bei jedem Zugriff auf die URL geändert.

The final solution is shown here.