Keine Daten nach dem Abschaben einer Website

Question

Ich möchte alle Namen von einer Website https://www.internationaltelecomsweek.com mit Scrapy kratzen.

Dies ist in der Artikeldatei.

import scrapy 
class ItwItem(scrapy.Item): 
    name = scrapy.Field() 

Das ist meine Spinne.

import scrapy 
from itw.items import ItwItem 
class ItwSpider(scrapy.Spider): 

     name = 'itw' 

     allowed_domains = ['https://www.internationaltelecomsweek.com'] 

     start_urls = ['https://www.internationaltelecomsweek.com/this-year/companies-attending'] 

     def parse(self, response): 
     data= json.loads(response.body) 
     for i in data: 
     item["name"] = i["DisplayName"] 
     return item 

Wenn ich scrapy laufen lasse ich nur eine leere CSV-Datei. Was mache ich falsch?

Answer 1

Es scheint, dass die Liste der Teilnehmer dynamisch generiert wird und jeder Teilnehmer als JSON-Objekt zurückgegeben wird.

Laden Sie die Website in der scrapy shell und überprüfen Sie view(response), um zu sehen, was Ihre Spinne tatsächlich lesen kann. Sie werden sehen, dass die Seite nichts zurückgibt, wo Sie in Ihrem Browser die Teilnehmer sehen können.

Wenn Sie auf der Netzwerkregisterkarte überprüfen, welche Anforderungen an den Server weitergeleitet werden, sehen Sie, dass die Teilnehmerliste von this URL jeweils als JSON-Objekt übergeben wird.

Was Sie tun müssen, ist: Analysieren Sie die URL, die die JSON-Objekte liefert und verarbeiten sie JSON mit in scrapy:

import json 

data = json.loads(response.body) 
for i in data: 
    item["name"] = i["DisplayName"]