Scraping json Antwort scrapy mit

Question

JSON RESPONSE FROM WEBSITE Ich bin neu in Python scrapy und json. Ich versuche, JPS Antwort von 78751 zu kratzen. Aber es zeigt Fehler. Der Code, den ich verwenden, ist

import scrapy 
import json 
class BlackSpider(scrapy.Spider): 
    name = 'black' 
    start_urls = ['https://appworld.blackberry.com/cas/content/2360/reviews/2.17.2?page=1&pagesize=100&sortby=newest&callback=_content_2360_reviews_2_17_2&_=1499161778751'] 





    def parse(self, response): 
     data = re.findall('(\{.+\})\);', response.body_as_unicode()) 
     a=json.loads(data[0]) 

     item = MyItem() 
     item["Reviews"] = a["reviews"][4]["review"]   

     return item 

Der Fehler es zeigt, ist Valueerror („No JSON-Objekt decodiert werden kann“) ERROR

Answer 1

Die Antwort, die Sie erhalten ist Javascript-Funktion mit einigen json drin:

_content_2360_reviews_2_17_2 (\ r \ n { "some": "json"}]}); \ r \ n

Zum extrahieren Die Daten aus dieser können Sie einfache regex Lösung verwenden:

import re 
import json 
data = re.findall('(\{.+\})\);', response.body_as_unicode()) 
json.loads(data[0]) 

Es trasnslates zu: Wählen Sie alles zwischen {}, die mit );

bearbeiten endet: Ergebnisse, die ich mit dieser bekommen:

{'platform': None, 
'reviews': [{'createdDate': '2017-07-04', 
    'model': 'London', 
    'nickname': 'aravind14-92362', 
    'rating': 6, 
    'review': 'Very bad ', 
    'title': 'My WhatsApp no update '}], 
'totalReviews': 569909, 
'version': '2.17.2'}