Parsen von variablen Daten aus einem Javascript-Tag mit Python

Question

Ich kratze einige Websites mit BeautifulSoup und Anfragen. Es gibt eine Seite, die ich untersuche, die ihre Daten innerhalb eines Tags <script language="JavaScript" type="text/javascript"> hat. Es sieht wie folgt aus:

<script language="JavaScript" type="text/javascript"> 
var page_data = { 
    "default_sku" : "SKU12345", 
    "get_together" : { 
     "imageLargeURL" : "http://null.null/pictures/large.jpg", 
     "URL" : "http://null.null/index.tmpl", 
     "name" : "Paints", 
     "description" : "Here is a description and it works pretty well", 
     "canFavorite" : 1, 
     "id" : 1234, 
     "type" : 2, 
     "category" : "faded", 
     "imageThumbnailURL" : "http://null.null/small9.jpg" 
     ...... 

Gibt es eine Möglichkeit, dass ich ein Python-Wörterbuch oder JSON-Objekt aus dem page_data Variable in diesem Script-Tag erstellen können? Das wäre viel schöner, als mit BeautifulSoup Werte zu erreichen.

Answer 1

Wenn Sie BeautifulSoup verwenden, um die Inhalte des <script> Tag zu bekommen, die json module kann mit ein bisschen String Magie den Rest:

jsonValue = '{%s}' % (textValue.split('{', 1)[1].rsplit('}', 1)[0],) 
value = json.loads(jsonValue) 

Die .split() und .rsplit() Combo oben aufgespalten den Text auf der ersten { und auf dem letzten } im JavaScript-Textblock, der Ihre Objektdefinition sein sollte. Indem wir die geschweiften Klammern wieder zum Text hinzufügen, können wir sie an json.loads() übergeben und eine Python-Struktur daraus erhalten.

Demonstration:

>>> import json 
>>> textValue = ''' 
... var page_data = { 
... "default_sku" : "SKU12345", 
... "get_together" : { 
...  "imageLargeURL" : "http://null.null/pictures/large.jpg", 
...  "URL" : "http://null.null/index.tmpl", 
...  "name" : "Paints", 
...  "description" : "Here is a description and it works pretty well", 
...  "canFavorite" : 1, 
...  "id" : 1234, 
...  "type" : 2, 
...  "category" : "faded", 
...  "imageThumbnailURL" : "http://null.null/small9.jpg" 
... } 
... }; 
... ''' 
>>> jsonValue = '{%s}' % (textValue.split('{', 1)[1].rsplit('}', 1)[0],) 
>>> value = json.loads(jsonValue) 
>>> value 
{u'default_sku': u'SKU12345', u'get_together': {u'category': u'faded', u'canFavorite': 1, u'name': u'Paints', u'URL': u'http://null.null/index.tmpl', u'imageThumbnailURL': u'http://null.null/small9.jpg', u'imageLargeURL': u'http://null.null/pictures/large.jpg', u'type': 2, u'id': 1234, u'description': u'Here is a description and it works pretty well'}} 
>>> import pprint 
>>> pprint.pprint(value) 
{u'default_sku': u'SKU12345', 
 u'get_together': {u'URL': u'http://null.null/index.tmpl', 
                   u'canFavorite': 1, 
                   u'category': u'faded', 
                   u'description': u'Here is a description and it works pretty well', 
                   u'id': 1234, 
                   u'imageLargeURL': u'http://null.null/pictures/large.jpg', 
                   u'imageThumbnailURL': u'http://null.null/small9.jpg', 
                   u'name': u'Paints', 
                   u'type': 2}}