Wie kann ich ein Verbindungstimeout mit asyncio hinzufügen?

Question

Ich möchte mich sehr schnell mit einer Liste von vielen verschiedenen Seiten verbinden. Ich benutze asyncio, um dies in einer asynchronen Art und Weise zu tun und jetzt hinzufügen ein Timeout für wenn Verbindungen ignoriert werden sollen, wenn sie zu lange dauern, um zu antworten.

Wie implementiere ich das?

import ssl 
import asyncio 
from contextlib import suppress 
from concurrent.futures import ThreadPoolExecutor 
import time 


@asyncio.coroutine 
def run(): 
    while True: 
     host = yield from q.get() 
     if not host: 
      break 

     with suppress(ssl.CertificateError): 
      reader, writer = yield from asyncio.open_connection(host[1], 443, ssl=True) #timout option? 
      reader.close() 
      writer.close() 


@asyncio.coroutine 
def load_q(): 
    # only 3 entries for debugging reasons 
    for host in [[1, 'python.org'], [2, 'qq.com'], [3, 'google.com']]: 
     yield from q.put(host) 
    for _ in range(NUM): 
     q.put(None) 


if __name__ == "__main__": 
    NUM = 1000 
    q = asyncio.Queue() 

    loop = asyncio.get_event_loop() 
    loop.set_default_executor(ThreadPoolExecutor(NUM)) 

    start = time.time() 
    coros = [asyncio.async(run()) for i in range(NUM)] 
    loop.run_until_complete(load_q()) 
    loop.run_until_complete(asyncio.wait(coros)) 
    end = time.time() 
    print(end-start) 

(Auf einer Nebenbemerkung: Hat jemand eine Idee, wie diese zu optimieren?)

Answer 1

Sie den Anruf zu open_connection in asyncio.wait_for wickeln können, die Ihnen ein Timeout angeben können:

with suppress(ssl.CertificateError): 
     fut = asyncio.open_connection(host[1], 443, ssl=True) 
     try: 
      # Wait for 3 seconds, then raise TimeoutError 
      reader, writer = yield from asyncio.wait_for(fut, timeout=3) 
     except asyncio.TimeoutError: 
      print("Timeout, skipping {}".format(host[1])) 
      continue 

Beachten Sie, dass wenn TimeoutError ausgelöst wird, die open_connection Coroutine ebenfalls abgebrochen wird. Wenn Sie nicht möchten, dass es abgebrochen wird (obwohl ich denke, dass Sie tun möchten, dass es in diesem Fall abgebrochen wird), haben Sie den Anruf in asyncio.shield umbrechen.