Wie kann ich eine Website mit Urllib über Proxy in Python öffnen?

Question

Ich habe dieses Programm, das eine Website zu überprüfen, und ich möchte wissen, wie kann ich es in Python über Proxy prüfen ...

dies der Code ist, nur zum Beispiel

while True: 
    try: 
     h = urllib.urlopen(website) 
     break 
    except: 
     print '['+time.strftime('%Y/%m/%d %H:%M:%S')+'] '+'ERROR. Trying again in a few seconds...' 
     time.sleep(5) 

Answer 1

standardmäßig urlopen verwendet die Umgebungsvariable http_proxy die HTTP-Proxy zu verwenden, fest:

$ export http_proxy='http://myproxy.example.com:1234' 
$ python myscript.py # Using http://myproxy.example.com:1234 as a proxy 

Wenn Sie stattdessen einen Proxy in Ihrer Anwendung angeben möchten, können Sie eine proxies ar geben gument zu urlopen:

proxies = {'http': 'http://myproxy.example.com:1234'} 
print "Using HTTP proxy %s" % proxies['http'] 
urllib.urlopen("http://www.google.com", proxies=proxies) 

Edit: Wenn ich Ihre Kommentare richtig verstehe, Sie jeden Proxy mehrere Proxies und drucken wollen versuchen, wie Sie es versuchen. Wie wäre es mit so etwas?

candidate_proxies = ['http://proxy1.example.com:1234', 
        'http://proxy2.example.com:1234', 
        'http://proxy3.example.com:1234'] 
for proxy in candidate_proxies: 
    print "Trying HTTP proxy %s" % proxy 
    try: 
     result = urllib.urlopen("http://www.google.com", proxies={'http': proxy}) 
     print "Got URL using proxy %s" % proxy 
     break 
    except: 
     print "Trying next proxy in 5 seconds" 
     time.sleep(5) 

Answer 2

Hier Beispielcode Anleitung, wie urllib verwenden über Proxy verbinden:

authinfo = urllib.request.HTTPBasicAuthHandler() 

proxy_support = urllib.request.ProxyHandler({"http" : "http://ahad-haam:3128"}) 

# build a new opener that adds authentication and caching FTP handlers 
opener = urllib.request.build_opener(proxy_support, authinfo, 
            urllib.request.CacheFTPHandler) 

# install it 
urllib.request.install_opener(opener) 

f = urllib.request.urlopen('http://www.google.com/') 
""" 

Answer 3

Python 3 ist hier etwas anders. Er wird versuchen, die automatische Proxy-Einstellungen erkennen, aber wenn Sie bestimmte oder manuelle Proxy-Einstellungen benötigen, denken über diese Art von Code:

#!/usr/bin/env python3 
import urllib.request 

proxy_support = urllib.request.ProxyHandler({'http' : 'http://user:pass@server:port', 
              'https': 'https://...'}) 
opener = urllib.request.build_opener(proxy_support) 
urllib.request.install_opener(opener) 

with urllib.request.urlopen(url) as response: 
    # ... implement things such as 'html = response.read()' 

Siehe auch the relevant section in the Python 3 docs

Answer 4

für http und https:

proxies = {'http':'http://proxy-source-ip:proxy-port', 
      'https':'https://proxy-source-ip:proxy-port'} 

mehr Proxies in ähnlicher Weise

hinzugefügt werden können

proxies = {'http':'http://proxy1-source-ip:proxy-port', 
      'http':'http://proxy2-source-ip:proxy-port' 
      ... 
      } 

Nutzung

filehandle = urllib.urlopen(external_url , proxies=proxies) 

keine Proxies nicht Verwenden Sie (im Falle von Verbindungen innerhalb des Netzwerks)

filehandle = urllib.urlopen(external_url, proxies={}) 

Proxys verwenden Authentifizierung über Benutzername und Passwort

proxies = {'http':'http://username:password@proxy-source-ip:proxy-port', 
      'https':'https://username:password@proxy-source-ip:proxy-port'} 

Hinweis: Vermeiden Sie Sonderzeichen wie :,@ in Benutzername und Passwörter