Ich versuche, die Suchergebnisse von http://startpage.com/ zu kratzen, habe ich die Ergebnisse alle fertig mit BS4 und Anfragen. Ich bin auf ein Problem gestoßen, nachdem ich die Ergebnisse auskratzen konnte. Ich kann nicht zur nächsten Seite der Suchergebnisse gelangen. Ich kann keinen Link finden, der Webbrowser-Entwicklertools verwendet. Wenn ich das Element überprüfe, ist dies das, was es zeigt <a href="javascript:;" class="numbers_st" onclick="mysubmit(10); return false;" id="2">2</a> das ist die Nummer 2-Taste. Die andere Option ist die nächste Schaltfläche <a href="javascript:document.nextform.submit();" class="numbers_st" style="width:200px; text-align:left;">Next<span class="i_next"></span></a> Wie mache ich eine Anfrage oder was immer ich tun muss, um nach dem Scraping der Ergebnisse der ersten Seite auf die nächste Seite zu gelangen.Scraping Startseite mit BS4 und Anfragen
import requests
from bs4 import BeautifulSoup
def dork():
url = 'https://www.startpage.com/do/search?cmd=process_search&query=inurl:admin&language=english_au&cat=web&with_language=&with_region=&pl=&ff=&rl=&abp=-1&with_date=m'
source_code = requests.get(url, 'html')
plain_txt = source_code.text
soup = BeautifulSoup(plain_txt, "lxml")
for text in soup.find_all('h3', {'class': 'clk'}):
for link in text.find_all('a'):
href = link.get('href')
print(href)
dork()
Das ist der Code, der die Links bekommt.