Web Scrapping von einer Website mit einer statischen URL

Question

So versuche ich, Postleitzahl Informationen aus der Canada Post Website zu extrahieren. Das Problem, das ich hier habe, ist die URL bleibt statisch, unabhängig davon, welche Adresse Sie eingeben, wenn Sie versuchen, eine Postleitzahl zu finden. Zum Beispiel, beginnend an der Basisseite, wenn ich Eingang '1 MACLEAN ST' als meine Suchanfrage, und drücken Sie Enter

Sie die URL bemerken bleibt die gleiche

Ich habe noch nie von einer Website mit einer statischen URL gecrawlt und mich gefragt, wie ich das machen würde (zB bestimmte Bibliotheken für Python etc.). Ich denke irgendwann, dass ich mehr als wahrscheinlich die Postleitzahl Informationen ('A0J 1T0' in diesem Fall) durch ein HTML-Tag extrahieren muss, wie unten zu sehen.

Answer 1

Da Sie brauchen Aktionen Schaben vor auszuführen, müssen Sie wie phantomjs eine Maden Browser verwenden. Es ist etwas anspruchsvoller als einfaches Scraping, aber Sie können Adressen programmgesteuert eingeben und dann die resultierenden Daten der zurückgegebenen Seite abkratzen.

Answer 2

Sie könnten einen Wrapper mit etwas wie Selenium schreiben, um dynamisch mit der Seite zu interagieren.

Alternativ können Sie auch in die Entwickler-API schauen, in der Sie eine Adresse angeben und einen Code abrufen können (sowie erweiterte Anwendungsfälle wie das Erstellen von Versandetiketten).

https://www.canadapost.ca/cpo/mc/business/productsservices/developers/services/fundamentals.jsf