Python Duplikate entfernen

Question

Ich habe eine Frage zu Duplikaten in Python zu entfernen. Ich habe eine Reihe von Beiträgen gelesen, konnte sie aber noch nicht lösen. Ich habe folgende CSV-Datei:

EDIT

Eingang:

ID, Source, 1.A, 1.B, 1.C, 1.D 
1, ESPN, 5,7,,,M 
1, NY Times,,10,12,W 
1, ESPN, 10,,Q,,M 

ausgegeben werden soll:

ID, Source, 1.A, 1.B, 1.C, 1.D, duplicate_flag 
1, ESPN, 5,7,,,M, duplicate 
1, NY Times,,10,12,W, duplicate 
1, ESPN, 10,,Q,,M, duplicate 
1, NY Times, 5 (or 10 doesn't matter which one),7, 10, 12, W, not_duplicate 

In Worten, wenn die ID ist die nimm auch Werte aus der Zeile mit Quelle "NY Times", wenn der r Wenn "NY Times" einen leeren Wert hat und die doppelte Zeile aus der Quelle "ESPN" einen Wert für diese Zelle hat, nehmen Sie den Wert aus der Zeile mit der Quelle "ESPN". Markieren Sie für die Ausgabe die ursprünglichen zwei Zeilen als Duplikate und erstellen Sie eine dritte Zeile.

Um ein wenig weiter zu klären, da ich dieses Skript auf vielen verschiedenen csv-Dateien mit unterschiedlichen Spaltenüberschriften laufen muß, kann ich nicht wie etwas tun:

def main(): 
     with open(input_csv, "rb") as infile: 
      input_fields = ("ID", "Source", "1.A", "1.B", "1.C", "1.D") 
      reader = csv.DictReader(infile, fieldnames = input_fields) 
      with open(output_csv, "wb") as outfile: 
       output_fields = ("ID", "Source", "1.A", "1.B", "1.C", "1.D", "d_flag") 
       writer = csv.DictWriter(outfile, fieldnames = output_fields) 
       writer.writerow(dict((h,h) for h in output_fields)) 
       next(reader) 
       first_row = next(reader) 
       for next_row in reader: 
        #stuff 

Weil ich das Programm will laufen die ersten beiden Spalten unabhängig von den anderen Spalten in der Tabelle. Mit anderen Worten, "ID" und "Source" sind in jeder Eingabedatei, aber der Rest der Spalten ändert sich abhängig von der Datei.

Würde schätzen jede Hilfe, die Sie anbieten können! FYI, "Quelle" kann nur sein: NY Times, ESPN oder Wall Street Journal und die Reihenfolge der Priorität für Duplikate ist: Nimm NY Times, wenn verfügbar, ansonsten nimm ESPN, ansonsten das Wall Street Journal. Dies gilt für jede Eingabedatei.

Answer 1

Der Code unten liest alle Datensätze in einem großen Wörterbuch, dessen Schlüssel ihre Identifikatoren sind und deren Werte Wörterbücher Mapping Quellennamen gesamten Datenzeilen sind. Dann durchläuft es das Wörterbuch und gibt Ihnen die Ausgabe, nach der Sie gefragt haben.

import csv 

header = None 
idfld = None 
sourcefld = None 

record_table = {} 

with open('input.csv', 'rb') as csvfile: 
    reader = csv.reader(csvfile) 
    for row in reader: 
     row = [x.strip() for x in row] 

     if header is None: 
      header = row 
      for i, fld in enumerate(header): 
       if fld == 'ID': 
        idfld = i 
       elif fld == 'Source': 
        sourcefld = i 
      continue 

     key = row[idfld] 
     sourcename = row[sourcefld] 

     if key not in record_table: 
      record_table[key] = {sourcename: row, "all_rows": [row]} 
     else: 
      if sourcename in record_table[key]: 
       cur_row = record_table[key][sourcename] 
       for i, fld in enumerate(row): 
        if cur_row[i] == '': 
         record_table[key][sourcename][i] = fld 
      else: 
       record_table[key][sourcename] = row 
      record_table[key]["all_rows"].append(row) 

print ', '.join(header) + ', duplicate_flag' 

for recordid in record_table: 
    rowdict = record_table[recordid] 

    final_row = [''] * len(header) 

    rowcount = len(rowdict) 

    for sourcetype in ['NY Times', 'ESPN', 'Wall Street Journal']: 
     if sourcetype in rowdict: 
      row = rowdict[sourcetype] 
      for i, fld in enumerate(row): 
       if final_row[i] != '': 
        continue 
       if fld != '': 
        final_row[i] = fld 

    if rowcount > 1: 
     for row in rowdict["all_rows"]: 
      print ', '.join(row) + ', duplicate' 

    print ', '.join(final_row) + ', not_duplicate'