Für ein Forschungsprojekt sammle ich Tweets mit Python-Twitter. Wenn wir jedoch unser Programm eine Woche lang nonstop auf einem einzigen Computer ausführen, können wir pro Woche nur etwa 20 MB Daten sammeln. Ich führe dieses Programm nur auf einem Computer aus, damit wir nicht dieselben Tweets zweimal sammeln.So sammeln Sie Tweets schneller mit Twitter API in Python?
Unser Programm führt eine Schleife aus, die getPublicTimeline() alle 60 Sekunden aufruft. Ich habe versucht, dies zu verbessern, indem ich getUserTimeline() für einige Benutzer aufgerufen habe, die in der öffentlichen Zeitleiste erschienen sind. Dies hat mir jedoch immer wieder das Sammeln von Tweets für etwa eine halbe Stunde verboten. Sogar ohne das Verbot schien es, dass es sehr wenig Beschleunigung gab, indem dieser Code hinzugefügt wurde.
Ich weiß über Twitter "Whitelisting", dass ein Benutzer mehr Anfragen pro Stunde senden kann. Ich habe mich vor etwa drei Wochen darum beworben und seitdem nichts mehr gehört, also suche ich nach Alternativen, die es unserem Programm ermöglichen, Tweets effizienter zu sammeln, ohne das Standardtarif-Limit zu überschreiten. Kennt jemand eine schnellere Möglichkeit, öffentliche Tweets von Twitter zu sammeln? Wir möchten ungefähr 100 MB pro Woche bekommen.
Danke.
alten Beitrag, aber für Leute, die hier stolpern: GetPublicTimeline() ist nicht in der aktuellen Twitter API noch Python-Twitter-Code, aber es wird wahrscheinlich die Zeitleiste des Benutzers, der authentifiziert wurde - meine Vermutung ist der Grund für die kleine Anzahl von Tweets. Ich glaube nicht, dass Sie eine offene Abfrage mit der REST-API machen können, aber mit der Streaming-API können Sie das tun (ich denke, 0,1% der Firehose - viel, um einige Gigs von Daten in ein paar Tagen zu bekommen) – drevicko