Python Multiprozess Anfragen auf API

Question

Ich muss Daten von API, die URL basierend auf anderen ID.

url = "http://123456789/" id = "jimmy"

ich eine Liste von ID haben, sind hier mein Code

for id in ID: 
    response = requests.get(url+id) 
    info = response.json(encoding = "utf-8") 
    ##save info 

Aber ich habe 400.000 ID und es wird lange dauern, zu ergreifen Alle Daten, Also ich möchte Multiprozess verwenden, um diesen Job zu beenden. Schneiden Sie die ID-Liste in 10 oder mehr kleine Liste und führen Sie sie in der gleichen Zeit. Wie kann ich das tun? Bitte helfen, danke!

Answer 1

Sie können Pool verwenden. Schneiden Sie die Liste der IDs in viele Sub-IDs und verschiedene Prozess-Handle unterschiedliche IDs. https://docs.python.org/2/library/multiprocessing.html