Entfernen Sie nicht UTF-8 Zeichen aus Zeichenfolge in Python

Question

Ich versuche Tweets zu lesen und diese Tweets in eine Datei schreiben. Ich bekomme jedoch UnicodeEncodeErrors, wenn ich versuche, einige dieser Tweets in eine Datei zu schreiben. Gibt es eine Möglichkeit, diese nicht utf-8 Zeichen zu entfernen, damit ich den Rest des Tweets schreiben kann?

Zum Beispiel kann ein Problem tweet kann es aussehen dieses:

Kamera?

Dies ist der Code ich verwende:

with open("Tweets.txt",'w') as f: 
    for user_tws in twitter.get_user_timeline(screen_name='camera', 
              count = 200): 
     try: 
      f.write(user_tws["text"] + '\n') 
     except UnicodeEncodeError: 
      print("skipped: " + user_tws["text"]) 
      mod_tw = user_tws["text"] 
      mod_tw=mod_tw.encode('utf-8','replace').decode('utf-8') 
      print(mod_tw) 
      f.write(mod_tw) 

Der Fehler ist dies:

UnicodeEncodeError: 'charmap' codec can't encode character '\U0001f3a5' in position 56: character maps to

Answer 1

Sie keine UTF8 codierte Datei schreiben, die Codierung Parameter in die offene Funktion hinzufügen

with open("Tweets.txt",'w', encoding='utf8') as f: 
    ... 

Viel Spaß