Mischen CSV-Datei Daten nach ihren Etiketten

Question

Angenommen, ich habe zwei CSV-Dateien, jeder von ihnen hat 100 Zeilen. Jede Zeile in zwei CSV-Dateien hat den gleichen Index und das gleiche Label. Daher können diese 100 Zeilen als Paardatensatz angezeigt werden.

Mein Zweck ist es, eine der CSV-Dateien zu mischen, um die Daten je nach ihren unterschiedlichen Labels ungepaart zu machen.

Zum Beispiel input:

1st CSV   2nd CSV   label 
data_1    data_1'   12 
data_2    data_2'   6 
...    ...    ... 

Output:

data_1    data_2'  
...     ... 

Weil Data_1 und Data_2' unterschiedliche Etiketten (12 bzw. 6), so werden sie als als ungepaarte Daten. Mein Zweck ist es, eine beliebige Anzahl von Daten auszuwählen, die mit data_1 unterschiedliche Bezeichnungen haben.

Gibt es irgendwelche Python-Bibliotheken oder Methoden, um es zu machen?

Answer 1

Sie können den csv-Inhalt mischen, indem Sie die Funktion random.shuffle() von python verwenden. Hier ist ein Beispiel/Test-Code in Python:

> cat ./shuffle_rows.py 
#!/usr/bin/env python 
# -*- coding: utf-8 -*- 

data = "" 
for i in range(5): 
    data += "label_%d, data_%d, ...\n" % (i, i) 

print("======== Input ========") 
print data 

import random 
data = data.split("\n") 
random.shuffle(data) # shuffle modifies the sequence 
data="\n".join(data) 

print("======== Output ========") 
print data 

> ./shuffle_rows.py 
======== Input ======== 
label_0, data_0, ... 
label_1, data_1, ... 
label_2, data_2, ... 
label_3, data_3, ... 
label_4, data_4, ... 

======== Output ======== 
label_1, data_1, ... 

label_4, data_4, ... 
label_2, data_2, ... 
label_3, data_3, ... 
label_0, data_0, ... 

Answer 2

Es gibt keine direkten Python-Methode/api es zu tun. Von dem, was ich verstehe, möchten Sie den Inhalt so mischen, dass es keine Übereinstimmungen (Paarung) gibt, wenn Zeile für Zeile verglichen wird. Also müssen Sie dieses Shuffling implementieren. Da ich viel Zeit damit verbracht habe und nicht aufgeben wollte - hier ist mein letzter Versuch. Hoffe es hilft dir, es bei Bedarf weiter zu modifizieren.

> cat ./disjoint.py 
#!/usr/bin/env python 
# -*- coding: utf-8 -*- 

import random 
NUM_ITEMS = 10 

data = [] 
for i in range(NUM_ITEMS): 
    #data.append("data_%d" % (i if i%2 == 0 else i/2)) # for negative testing: create some duplicates 
    data.append("data_%d" % (i)) 

output = list(data) # copy 

def display(d, o): 
    print("%3s | %8s | %8s | %6s" % ("#", "Data", "Output", "Match?")) 
    len1 = len(d) 
    len2 = len(o) 
    lenb = max(len1, len2) 
    for i in range(lenb): 
     i1 = d[i] if i < len1 else "None1" 
     i2 = o[i] if i < len2 else "None2" 
     print("%3d | %8s | %8s | %6s" % (i, i1, str(i2), "Err" if not i2 else "Yes" if (i1 == i2) else "No")) 

print("==================== Input ==================") 
display(data, output) 

uniq = set(data) # list without duplicates. 
for i in range(NUM_ITEMS): 
    d = data[i] 

    tmp_uniq = set(uniq) # copy 
    if d in tmp_uniq: 
     tmp_uniq.remove(d) # exclude current paired item. 
    if len(tmp_uniq) == 0: 
     output[i] = None 
     continue 

    tmp_uniq = list(tmp_uniq) # shuffle works only on list 
    random.shuffle(tmp_uniq) # shuffle remaining non-matching items 
    a_non_matching = tmp_uniq[0] 
    output[i] = a_non_matching 
    uniq.remove(a_non_matching) 

print("==================== Output ==================") 
display(data, output) 

Und hier ist die Ausgabe von diesem neuen Test/Beispielcode:

> ./disjoint.py 
==================== Input ================== 
    # |  Data | Output | Match? 
    0 | data_0 | data_0 | Yes 
    1 | data_1 | data_1 | Yes 
    2 | data_2 | data_2 | Yes 
    3 | data_3 | data_3 | Yes 
    4 | data_4 | data_4 | Yes 
    5 | data_5 | data_5 | Yes 
    6 | data_6 | data_6 | Yes 
    7 | data_7 | data_7 | Yes 
    8 | data_8 | data_8 | Yes 
    9 | data_9 | data_9 | Yes 
==================== Output ================== 
    # |  Data | Output | Match? 
    0 | data_0 | data_5 |  No 
    1 | data_1 | data_2 |  No 
    2 | data_2 | data_0 |  No 
    3 | data_3 | data_1 |  No 
    4 | data_4 | data_6 |  No 
    5 | data_5 | data_9 |  No 
    6 | data_6 | data_7 |  No 
    7 | data_7 | data_8 |  No 
    8 | data_8 | data_4 |  No 
    9 | data_9 | data_3 |  No