raise RuntimeError ('Event loop is closed'), wenn "mongoimport" Tasks geplant werden soll

Hier ist ein seltsamer Fehler, den ich bei der Verwendung von "asyncio" für die Planung der "mongoimport" Task habe. Nachdem ich den mongod-Dienst gestartet und Befehle eingefügt habe, die ich am Terminal generiert habe, hat es funktioniert. Allerdings, wenn ich versuche python3.4 asyncio zu verwenden, Probleme kommen:raise RuntimeError ('Event loop is closed'), wenn "mongoimport" Tasks geplant werden soll

File "/Users/wangyi/Documents/workspace/Math/machine_learning/ditech/io/collect.py", line 100, in <module> 
    parse_train_data() 
    File "/Users/wangyi/Documents/workspace/Math/machine_learning/ditech/io/collect.py", line 95, in parse_train_data 
    call_in_background(*targets) 
    File "/Users/wangyi/Documents/workspace/Math/machine_learning/ditech/io/collect.py", line 19, in wrapper 
    result = func(*args, **keywords) 
    File "/Users/wangyi/Documents/workspace/Math/machine_learning/ditech/io/collect.py", line 41, in call_in_background 
    loop.run_until_complete(asyncio.gather(*targets, loop=loop)) 
    File "/usr/local/lib/python3.4/asyncio/tasks.py", line 567, in gather 
    fut = async(arg, loop=loop) 
    File "/usr/local/lib/python3.4/asyncio/tasks.py", line 511, in async 
    task = loop.create_task(coro_or_future) 
    File "/usr/local/lib/python3.4/asyncio/base_events.py", line 211, in create_task 
    self._check_closed() 
    File "/usr/local/lib/python3.4/asyncio/base_events.py", line 265, in _check_closed 
    raise RuntimeError('Event loop is closed') 
RuntimeError: Event loop is closed

Hier mein Snippet Codes ist:

def parse_train_data(): 

    commandtpl = "mongoimport --host=127.0.0.1 -d DiDitech -c {table} -f {fields} --type tsv --file {target}" 

    for tb in tables: 
     tasks = list(map(lambda t: commandtpl.format(table=tb, fields=','.join(fields[tb]), target=t), train_dest[tb])) 
     print('commands of %s:' % tb) 
     print('' + '\n'.join(tasks)) 
     targets = [get_lines(ob) for ob in tasks] 
     call_in_background(*targets)

call_in_background ist leicht Wrapper mit timmer auf run_util_complete von (asyncio.gather (* Ziele)). Ziele sind definiert als Coros wie in PEP angegeben.

def call_in_background(*targets): 
... 
    loop = get_loop() 
    print(loop.run_until_complete(asyncio.gather(*targets, loop=loop, return_exceptions=True))) 
    #loop.close() 

@asyncio.coroutine 
def get_lines(shell_command): 
    task = yield from asyncio.create_subprocess_shell(shell_command, 
      stdin=PIPE, stdout=PIPE, stderr=STDOUT) 

    return (yield from task.communicate())[0].splitlines()

Quelle

2016-06-27 Wang Yi

Wie sieht 'call_in_background' aus? Schließt es die Schleife? Bearbeiten Sie die Frage, indem Sie ein [minimales, vollständiges und überprüfbares Beispiel] (https://stackoverflow.com/help/mcve) einfügen. – dirn

@dirn Ja, es schließt die Schleife sobald run_until_complete zurückkehrt. Soll ich den Autor von asyncio Andrew um Hilfe rufen? –

Das ist dein Problem. Schließen Sie die Schleife nicht, bis Sie damit fertig sind. – dirn

Jetzt wechsle ich die Codes

... 

    flag = False 
    if loop is None: 
     loop = get_loop() 
     flag = True 
    print(loop.run_until_complete(asyncio.gather(*targets, loop=loop, return_exceptions=True))) 

    if flag == False: 
     loop.close()

und es funktioniert dank schließlich mit Codes Struktur neu anordnen. Danke!!!

2016-06-28T16:39:59.128+0800 connected to: 127.0.0.1 
2016-06-28T16:39:59.136+0800 imported 279 documents 
2016-06-28T16:39:59.130+0800 connected to: 127.0.0.1 
2016-06-28T16:39:59.145+0800 imported 66 documents 
2016-06-28T16:39:59.134+0800 connected to: 127.0.0.1 
2016-06-28T16:39:59.142+0800 imported 288 documents 
2016-06-28T16:39:59.140+0800 connected to: 127.0.0.1 
2016-06-28T16:39:59.148+0800 imported 285 documents

Quelle

2016-06-28 08:41:48

raise RuntimeError ('Event loop is closed'), wenn "mongoimport" Tasks geplant werden soll

Antwort

Verwandte Themen