Erhalten mehr als 700k Anhänger ID von Twitter mit Python

Question

Ich konnte die Zahl von 75.000 bekommen. Danach zieht es weiterhin doppelte IDs. Hier ist mein Code. Kann ich irgendwelche Vorschläge erhalten, damit ich die große Menge an Follower-IDs ohne Duplikate korrekt ziehen kann?

import tweepy 
import time 

access_token = "..." 
access_token_secret = "..." 
consumer_key = "..." 
consumer_secret = "..." 

auth = tweepy.OAuthHandler(consumer_key, consumer_secret) 
auth.set_access_token(access_token, access_token_secret) 
api = tweepy.API(auth) 


ids = [] 
while True: 
    try: 
     for page in tweepy.Cursor(api.followers_ids, screen_name = "...").pages(): 
      ids.extend(page) 
    except tweepy.TweepError: 
     time.sleep(60*15) 
     continue 
    except StopIteration: 
     pass 
    break 

Answer 1

Ich weiß nicht, warum Sie Duplikate bekommen, aber die Werte in einen Satz anstatt eine Liste, sie zu entfernen effizient setzen könnte.

Gerade ids = []-ids = set()

ändern und ids.extend(page) zu ids.update(page)