Wie mache ich diesen Twisted Python Proxy schneller?

Question

Der folgende Code ist ein HTTP-Proxy für die Inhaltsfilterung. Er verwendet GET, um die URL der aktuellen Site an den Server zu senden, wo er sie verarbeitet und antwortet. Es läuft SEHR, SEHR, SEHR langsam. Irgendwelche Ideen, wie man es schneller machen kann? Hier

ist der Code:

from twisted.internet import reactor 
from twisted.web import http 
from twisted.web.proxy import Proxy, ProxyRequest 
from Tkinter import * 
#import win32api 
import urllib2 
import urllib 
import os 
import webbrowser 

cwd = os.path.abspath(sys.argv[0])[0] 
proxies = {} 
user = "zachb" 
class BlockingProxyRequest(ProxyRequest): 
    def process(self): 
     params = {} 
     params['Location']= self.uri 
     params['User'] = user 
     params = urllib.urlencode(params) 
     req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
     resp = req.read() 
     req.close() 
     if resp == "allow": 
      pass 
     else: 
      self.transport.write('''BLOCKED BY ADMIN!''') 
      self.transport.loseConnection() 

     ProxyRequest.process(self) 

class BlockingProxy(Proxy): 
    requestFactory = BlockingProxyRequest 
factory = http.HTTPFactory() 
factory.protocol = BlockingProxy 

reactor.listenTCP(8000, factory) 
reactor.run() 

Wer irgendwelche Ideen, wie diese laufen schneller zu machen? Oder sogar eine bessere Art, es zu schreiben?

Answer 1

Die Hauptursache der Langsamkeit in diesem Proxy ist wahrscheinlich diese drei Linien:

req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
    resp = req.read() 
    req.close() 

Eine normale Twisted-basierte Anwendung Gewinde Single. Sie müssen aus dem Weg gehen, um Threads einzubeziehen. Das bedeutet, dass immer wenn eine Anfrage eingeht, Sie den einzigen Verarbeitungsthread für diese HTTP-Anfrage blockieren. Bis zum Abschluss dieser HTTP-Anfrage werden keine weiteren Anfragen bearbeitet. Verwenden Sie eine der APIs in twisted.web.client (z. B. Agent oder getPage). Diese APIs blockieren nicht, sodass Ihr Server gleichzeitige Anfragen gleichzeitig verarbeitet. Dies sollte zu viel kleineren Antwortzeiten führen.