Python: Was wird zurückgegeben, wenn ich requests.get ('url') und print r.text verwende?

Question

Ich versuche zu kratzen this webpage. Dieser Code funktioniert:

import requests 
header = { 
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:32.0) Gecko/20100101 Firefox/32.0', 
} 
r = requests.get('http://www.machinefinder.com/ww/en-US/categories/used-drawn-planters', headers=header) 
print r.text 

aber ich bin mir nicht sicher, was der Text, den es wirklich zurückgibt. Ich wünschte, es wäre JSON, damit ich andere Beispiele kopieren könnte, die JSON parsen.

Hinweis: meine Arbeit Sicherheit blockiert die Webseite und sagt: „Illegale Web Browser“, wenn ich

header={ 
      'Content-Type': 'application/json;charset=UTF-8', 
     } 

verwenden, weshalb ich Firefox stattdessen bin mit.

Answer 1

>>>>type(r.text) 
<type 'unicode'> 

Sieht aus, um der HTML für die Seite zu sein. Sie könnten Schöne Suppe verwenden, um es zu analysieren : https://www.crummy.com/software/BeautifulSoup/bs3/documentation.html

Answer 2

Sie können keine beliebige Website erhalten, um eine JSON formatierte Daten zurückzugeben, es sei denn, es bietet eine Möglichkeit, eine JSON formatierte Daten anzufordern (und zurück ..).

r.text wird im Allgemeinen den Quellcode der Website enthalten, es sei denn, es wurden erneut JSON Daten zurückgegeben.

Also müssen Sie auf andere Mittel zum Parsen von Websites, wie BeautifulSoup zurückgreifen.