2017-01-18 15 views
-1

Ich verwende 3 Module in diesem Programm, ich weiß nicht, ob das, was ich versuche, sogar möglich ist! Also möchte ich einige Daten von Twitter abschaben und sie in eine Textdatei schreiben, indem ich Python benutze. Kann mir jemand bitte sagen, warum mein Code die Daten nicht verschrottet?Python, Webscraping und eine Datei schreiben

import urllib 
import urllib.request 
from os import path 
from bs4 import BeautifulSoup 

# here I define the url, I request the page, create my soup 
theurl = "https://twitter.com/realDonaldTrump" 
thepage = urllib.request.urlopen(theurl) 
soup = BeautifulSoup(thepage, "html.parser") 

def create_file(dest): 
    """ 
    Creates a file for the user to write data in! 
    :param dest: 
    :return: 
    """ 
    ## FileName == Month_Day_Year 
    name = 'Data Scraped.txt' 

    if not(path.isfile(dest +name)): 
     f = open(dest + name, "w") 
     f.write(soup.title.text) 
     f.close() 

if __name__ == '__main__': 
    destination = 'C:\\Users\\edwin\\' \ 
       'Desktop\\WebScrappin\\' 
    create_file(destination) 
    print("Your file has been created!!") 

Antwort

0

Sie schreiben nur den Titel des Dokuments, das Sie erhalten haben.

 f.write(soup.title.text) 

Statt Schaben (das ist against their ToS) Sie Ihre Daten aus ihrem RESTful API sammeln sollen oder eine Bibliothek verwenden, wie Twython

+0

im nicht Verschrottung twitter vollständig im nur, um herauszufinden, wie der Titel setzen in ein Textdokument, alles in meinem Python-Code geschrieben. Ich verstehe Ihre Antwort nicht, ich habe das in meinem Code. Ist es an der falschen Stelle? –

+0

Ich beziehe mich darauf, dass Sie nur den Titel schreiben. Einen Teil ihrer Site zu scrappen, ist gegen ToS. – Alex

+0

Welche Fehler erhalten Sie, wenn Sie diesen Code ausführen? – Alex