Wie doppelte Verknüpfungen in der Textdatei entfernen?

Question

So habe ich eine Textdatei, die innen wie folgt aussieht:

http://example.pl/folder/this_same1.avi 
http://example.pl/folder/this_same1.avi 
http://example.pl/folder/this_same2.avi 
http://example.pl/folder/this_same2.avi 
http://example.pl/folder/this_same3.avi 
http://example.pl/folder/this_same3.avi 

Und ich möchte alle doppelten Links löschen. in die Ausgabedatei sieht wie folgt aus:

http://example.pl/folder/this_same1.avi 
http://example.pl/folder/this_same2.avi 
http://example.pl/folder/this_same3.avi 

Answer 1

Wenn diese Struktur konsistent ist und die Reihenfolge wichtig ist:

links = fp.readlines()[::2] 

Wenn Struktur nicht konsistent ist, und Reihenfolge ist wichtig:

links = [] 
for line in fp.readlines(): 
    if line not in links: 
     links.append(line) 

Dann Datei schreiben.

Answer 2

Oh, ich habe meine Antwort verbessert:

with open('file.txt', 'wb') as fp: 
    for line in links: 
     fp.write(line) 

Testen Sie selbst:

links = set() 
with open('file.txt', 'r') as fp: 
    for line in fp.readlines(): 
     links.add(line) 

Dann können Sie in die Datei schreiben zurück ..