Web-Verschrottung - extrahieren Sie Daten von einer Seite mit Python

Question

Dies ist der Code, den ich verwende. es gibt eine leere Liste zurück. Konnte nicht herausfinden, was ich falsch mache!

from urllib request import urlopen 
import re 

url = 'http://pubs.acs.org/doi/full/10.1021/jacs.6b10998'# example of a web page 
html = urlopen(url).read().decode('utf-8')# decoding 

cite_year='<span class="citation_year">(.+?)</span>'# extract citation year 
pattern = re.compile(cite_year) #compile 
citation_year = re.findall(pattern, html) #store data into a variable 

print(citation_year)# and print 

Answer 1

Add-Header auf die Anfrage, verwende ich requests und bs4 Bibliothek:

import requests 
import bs4 
headers = {'User-Agent':'Mozilla/5.0'} 
url = 'http://pubs.acs.org/doi/full/10.1021/jacs.6b10998'# example of a web page 
html = requests.get(url, headers=headers) 
soup = bs4.BeautifulSoup(html.text, 'lxml') 
year = soup.find(class_="citation_year").text 
print(year)