Was ist der schnellste Weg zu HTTP GET in Python?

Question

Was ist der schnellste Weg zu HTTP GET in Python, wenn ich weiß, der Inhalt wird eine Zeichenfolge sein? Ich suche die Dokumentation für einen schnellen Einzeiler wie:

contents = url.get("http://example.com/foo/bar") 

Aber alles, was ich Google verwenden finden httplib und urllib - und ich bin nicht in der Lage eine Verknüpfung in diesen Bibliotheken zu finden.

Does Standard Python 2.5 eine Verknüpfung in irgendeiner Form hat wie oben, oder soll ich eine Funktion schreiben url_get?

1. würde ich es vorziehen, nicht die Ausgabe von Beschuss aus zu wget oder curl zu erfassen.

Answer 1

Python 2.x:

import urllib2 
contents = urllib2.urlopen("http://example.com/foo/bar").read() 

Python 3.x:

import urllib.request 
contents = urllib.request.urlopen("http://example.com/foo/bar").read() 

Dokumentation für urllib.request und read.

Wie ist das?

Answer 2

Werfen Sie einen Blick auf httplib2, die - neben einer Menge von sehr nützlichen Funktionen - bietet genau das, was Sie wollen.

Wo Inhalt wäre der Antworttext (als String) und resp würde die Status und Antwortheader enthalten.

Es ist aber nicht kommt mit einem Standard-Python enthalten installieren (aber es erfordert nur Standard-Python), aber es ist auf jeden Fall einen Besuch wert.

Answer 3

Wenn Sie Lösung wollen mit httplib2 sein oneliner

import httplib2 
resp, content = httplib2.Http().request("http://example.com/foo/bar") 

Answer 4

Hier ist ein wget Skript in Python instatntinating anonymen Http Objekt zu betrachten:

# From python cookbook, 2nd edition, page 487 
import sys, urllib 

def reporthook(a, b, c): 
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b)/c * 100), c), 
for url in sys.argv[1:]: 
    i = url.rfind("/") 
    file = url[i+1:] 
    print url, "->", file 
    urllib.urlretrieve(url, file, reporthook) 
print 

Answer 5

Theller Lösung für wget ist wirklich nützlich, aber, Ich habe festgestellt, dass der Fortschritt während des Herunterladens nicht gedruckt wird. Es ist perfekt, wenn Sie eine Zeile nach der print-Anweisung in reporthook hinzufügen.

import sys, urllib 

def reporthook(a, b, c): 
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b)/c * 100), c), 
    sys.stdout.flush() 
for url in sys.argv[1:]: 
    i = url.rfind("/") 
    file = url[i+1:] 
    print url, "->", file 
    urllib.urlretrieve(url, file, reporthook) 
print 

Answer 6

Sie eine Bibliothek requests genannt nutzen könnten.

import requests 
r = requests.get("http://example.com/foo/bar") 

Dies ist ziemlich einfach. Dann können Sie wie folgt tun:

>>> print r.status_code 
>>> print r.headers 
>>> print r.content 

Answer 7

Wenn Sie mit HTTP-APIs speziell arbeiten, gibt es auch bequemer Entscheidungen wie Nap.

Zum Beispiel ist hier, wie Logen von Github zu bekommen, da 1. Mai 2014:

from nap.url import Url 
api = Url('https://api.github.com') 

gists = api.join('gists') 
response = gists.get(params={'since': '2014-05-01T00:00:00Z'}) 
print(response.json()) 

Weitere Beispiele: https://github.com/kimmobrunfeldt/nap#examples

Answer 8

Ausgezeichnete Lösungen Xuan, Theller.

Denn es 3 mit Python arbeiten machen folgende

import sys, urllib.request 

def reporthook(a, b, c): 
    print ("% 3.1f%% of %d bytes\r" % (min(100, float(a * b)/c * 100), c)) 
    sys.stdout.flush() 
for url in sys.argv[1:]: 
    i = url.rfind("/") 
    file = url[i+1:] 
    print (url, "->", file) 
    urllib.request.urlretrieve(url, file, reporthook) 
print 

Auch Änderungen, Sie die URL eingeben sollte von einem vorangestellt werden „http: //“, andernfalls gibt es einen unbekannten URL-Typen Fehler.

Answer 9

Ohne weitere notwendigen Import diese Lösung (für mich) arbeitet - auch mit https:

try: 
    import urllib2 as urlreq # Python 2.x 
except: 
    import urllib.request as urlreq # Python 3.x 
req = urlreq.Request("http://example.com/foo/bar") 
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36') 
urlreq.urlopen(req).read() 

Ich habe oft Schwierigkeiten, den Inhalt greifen, wenn sie nicht einen „User-Agenten“ in den Header-Informationen angeben. Dann werden normalerweise die Anfragen mit etwas wie: urllib2.HTTPError: HTTP Error 403: Forbidden oder urllib.error.HTTPError: HTTP Error 403: Forbidden abgebrochen.