Python Multiprocessing Pool funktioniert nicht

Question

Ich versuche herauszufinden, warum Multi-Processing nicht funktioniert. Ich habe schon seit ein paar Tagen gekämpft, weiß .. kann jemand einen Blick darauf werfen und sehen, was ich falsch mache.

Ich bekomme keinen Fehler auf dem Skript. Es endet so, als würde es nie die Funktion ausführen, die ich im Pool definiert habe. Ich habe sogar einen gefälschten Funktionsnamen eingegeben, um zu sehen, ob es einen Fehler beim Versuch gibt, es auszuführen, und es nicht einmal zu diesem Punkt kommt. Irgendwelche Gedanken ??

Das Skript funktioniert, wenn ich Multiprocessing nicht verwende, nur um das Skript schneller zu machen. Ich überprüfe 7300 Links für Antwortcodes. Danke im Voraus.

def check_links(linklist): 
 
    returnList = [] 
 
    for links in linklist: 
 
     r = requests.get(links) 
 
     rc = r.status_code 
 
     strRc = str(rc) 
 
     result = links+' '+strRc 
 
     returnList.append(result) 
 
    yield returnList 
 

 
def main(): 
 
    pool = multiprocessing.Pool(4) 
 
    results = pool.map(check_links, MasterListNoDupes) 
 
    
 
    pool.close() 
 
    pool.join() 
 
    
 
    for result in results: 
 
     print(result) 
 
     
 
if __name__ == ' __main__': 
 
    main()

Answer 1

Wenn Ihr Code genau so, wie Sie es klebten, dann zum Glück ist die Lösung einfach- wenn man sich die if Anweisung unten unten schaut, haben Sie ein Leerzeichen vor in dem String, sollte '__main__' lesen (es liest ' __main__').

Also, nur diesen Platz entfernen und Sie können mit Ihrer Codierung weitermachen!

Ich habe Ihre Python-Requests nicht getestet, da ich keine Liste von URLs usw. habe, ich habe nur eine Dummy-Methode geschrieben, die für eine zufällige Zeit schläft und scheinbar wie erwartet funktioniert.

Answer 2

Try this:

import multiprocessing 
import requests 
def check_links(links): 
    returnList = [] 
    print links 
    r = requests.get(links) 
    rc = r.status_code 
    strRc = str(rc) 
    result = links+' '+strRc 
    return result 

def main(): 
    pool = multiprocessing.Pool(4) 
    a = ['http://stackoverflow.com','https://www.google.co.in'] 
    results = pool.map(check_links, a) 

    pool.close() 
    pool.join() 

    for result in results: 
     print(result) 

if __name__ == '__main__': 
    main()