Python zum Extrahieren der @ Benutzer und URL-Link in Twitter Textdaten mit Regex

Question

Es gibt eine Liste Zeichenfolge twitter Text Daten, zum Beispiel die folgenden Daten (tatsächlich gibt es eine große Anzahl von Text, nicht nur diese Daten), Ich möchte den ganzen Benutzernamen nach @ und URL-Link im Twitter-Text extrahieren, zum Beispiel: galaxy5univ und url link.

tweet_text = ['@galaxy5univ I like you', 
    'RT @BestOfGalaxies: Let's sit under the stars ...', 
    '@jonghyun__bot .........((thanks)', 
    'RT @yosizo: thanks.ddddd <https://yahoo.com>', 
    'RT @LDH_3_yui: #fam, ccccc https://msn.news.com'] 

mein Code:

import re 
pu = re.compile(r'http\S+') 
pn = re.compile(r'@(\S+)') 
for row in twitter_text: 
    text = pu.findall(row) 
    name = (pn.findall(row)) 
    print("url: ", text) 
    print("name: ", name) 

Durch den Code in einer großen Anzahl von Twitter-Daten zu testen, habe ich bekam, dass meine zwei Muster für URL und Namen beide falsch sind (obwohl in einigen twitter Text Daten sind richtig). Habt ihr einige Dokumente oder einen Link zum Extrahieren von Namen und URL von Twitter-Text im Fall von großen Twitter-Daten.

Wenn Sie Tipps zum Extrahieren von Name und URL von Twitter-Daten haben, bitte sagen Sie mir, danke!

Answer 1

Beachten Sie, dass Ihre pn = re.compile(r'@(\S+)') regex nach @ keine 1+ Nicht-Leerzeichen erfassen wird.

ausschließen Um : passende, müssen Sie die Kurz \S Klasse [^\s] negierte Zeichenklasse äquivalent zu konvertieren, und fügen Sie : es:

pn = re.compile(r'@([^\s:]+)') 

Nun wird es vor der ersten Erfassung nicht-Leerzeichen Symbole stoppen :. Siehe die regex demo.

Wenn Sie bis zum letzten : erfassen müssen, können Sie einfach : nach der Erfassungsgruppe hinzufügen: pn = re.compile(r'@(\S+):').

Wie für eine URL passend Regex gibt es many on the Web, just choose die eine, die am besten für Sie funktioniert. Hier

ist ein example code:

import re 
p = re.compile(r'@([^\s:]+)') 
test_str = "@galaxy5univ I like you\nRT @BestOfGalaxies: Let's sit under the stars ...\n@jonghyun__bot .........((thanks)\nRT @yosizo: thanks.ddddd <https://y...content-available-to-author-only...o.com>\nRT @LDH_3_yui: #fam, ccccc https://m...content-available-to-author-only...s.com" 
print(p.findall(test_str)) 
p2 = re.compile(r'(?:http|ftp|https)://(?:[\w_-]+(?:(?:\.[\w_-]+)+))(?:[\w.,@?^=%&:/~+#-]*[\w@?^=%&/~+#-])?') 
print(p2.findall(test_str)) 
# => ['galaxy5univ', 'BestOfGalaxies', 'jonghyun__bot', 'yosizo', 'LDH_3_yui'] 
# => ['https://yahoo.com', 'https://msn.news.com'] 

Answer 2

Wenn die Benutzernamen keine Sonderzeichen enthalten, können Sie verwenden:

@([\w]+) 

Siehe Live demo

Answer 3

Ich habe einen Artikel geschrieben amout Tweets Jahren Parsen vor. Ich denke, es ist immer noch relevant: https://fromzerotocodehero.blogspot.com/2010/12/parsing-tweets-links-users-and-hash.html