wie crawl website mit statischer url in python

Question

Ich möchte eine PHP-basierte Website durchsuchen es ein Suchfeld können wir eine Nummer in diesem Suchfeld eingeben, es rendert das Ergebnis gegen die eingegebene Zahl, wenn wir auf Senden Schaltfläche klicken oder Enter drücken, aber die URL ändert sich nicht. wie seine zeigt foo.com/res_17.php für jedes Ergebnis, aber für Crawlen wie mehr als tausend Datensätze, sollten Datensätze durch eindeutige IDs wie foo.com/res_17.php?id = 1001, foo.com/res_17 zugänglich sein. php? id = 1002 - foo.com/res_17.php?id=3450 so dass ich mit while loop auf sie zugreifen kann Wie kann ich das tun jede Lösung bitte helfen.

Answer 1

Ich habe Ihnen ein mein Skript

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import re 
html = urlopen("http://en.wikipedia.org/wiki/Andrew_Ng") 
bsObj = BeautifulSoup(html) 

for link in bsObj.find("div", {"id":"bodyContent"}).findAll("a", 
      href=re.compile("^(/wiki/)((?!:).)*$")): 
    if 'href' in link.attrs: 
     print(link.attrs['href']) 

Ausgabe als alle Artikel Andrew Ng Wikipedia präsentiert wird.