Identifizieren duplicate - csv dict reader

Question

Ich bin über Zeilen einer csv-Datei iterieren, ich möchte die Zeile aus der Verarbeitung überspringen, wenn es aus einer der früheren verarbeiteten Zeile dupliziert ist.

Unten ist mein Code:

import csv 
csv_contents = request.vars['file'].value.decode('utf-8') 
file = csv_contents.splitlines() 
file_data = [row for row in csv.DictReader(file)] 
for data in file_data: 
    #if duplicate, continue. skip the row 

Wie zu erkennen, ob eine Zeile in einer Datei Duplikat ist.

Answer 1

Um die doppelten Einträge aus einer Liste zu entfernen, können Sie die Liste in einen Satz konvertieren und erneut in eine Liste konvertieren.

Wie Serge Ballesta sagte die Liste Reihenfolge wird nicht mit dieser Methode gespeichert.