Iterieren durch mehrere Textdateien und Vergleichen

Question

Ich versuche, eine Funktion zu schreiben, die Textdateien in eine Liste einfügt und dann durch die Dateien iteriert, um exakte und teilweise Kopien zu finden, um Leute auszusondern, die durch Plagarisierung ihrer Arbeit betrogen haben könnten. Ich beginne damit, meine Klassenliste zu verwenden und .txt zu ihrem Namen hinzuzufügen, um ihre Zuordnungen zu finden und ob sie die Zuweisung sogar abgeschlossen haben oder nicht. Ich habe über 500 Schülerarbeiten zu lesen. Mit dem Code, den ich bisher geschrieben habe, wird er wortwörtlich innerhalb der .txt-Dateien wiederholt, so dass ich zu viele "Betrogene" zurückbekomme. Bitte helfen.

def Cheaters(): 
    file = open("roster.txt", "r") 
    L = [] 
    for i in file: 
     new = [i[:-1], ".txt"] 
     new2 = "".join(new) 
     if i not in L: 
      L.append(new2) 
    for j in L: 
     try: 
      file2 = open(j, "r") 
      for n in file2: 
       for m in file2: 
        if n == m: 
         print("Cheated") 
     except: 
      print("No work submitted") 

Answer 1

Versuchen Sie es. Möglicherweise müssen Sie es für Ihre Dateistruktur ändern, aber es sollte geschlossen sein.

import re 
from itertools import product 

def hash_sentences(document): 
    # remove all characters except those below, replace with a space 
    # split into a list 
    cleaned_text = re.sub(r'[^A-z0-9,;:\.\?! ]', ' ', document) 
    sentences = re.split(r'[\?.!\.]', cleaned_text) 

    # the less than 5 removes short sentences like "Dr." 
    # return a hash of the sentences for comparison 
    return [hash(s.strip().lower()) for s in sentences if len(s) > 5] 

def compare_documents(doc1, doc2): 
    hash1 = hash_sentences(doc1) 
    hash2 = hash_sentences(doc2) 
    # return the percentage of sentences of doc1 that are in doc2 
    return sum((h in hash2) for h in hash1)/float(len(hash1)) 

# get list of document file names 
with open('roster.txt', 'r') as fp: 
    doc_fnames = [d+'.txt' for d in fp.readlines()] 

# create dictionay of file names and content 
doc_dict = {} 
for fname in doc_fnames: 
    try: 
     with open(fname, 'r') as fp: 
      doc_dict[fname] = fp.read() 
    except: 
     print('No submission: %s' %fname) 

# iterate through the pairs of documents 
for doc_pair in product(doc_dict.keys(), doc_dict.keys()): 
    pct = compare_documents(doc_dict[doc_pair[0]], doc_dict[doc_pair[1]]) 
    print('Percentage of %s sentences in %s: %0.2f%%' %(doc_pair[0], doc_pair[1], 100*pct))