Python: Der beste Weg, um 2 Textdateien zu vergleichen?

Question

Ich habe 2 Datei: Datei A enthält 200 000 Zeilen; Datei B enthält 4 000 000 Zeilen. Also, ich möchte diese Dateien vergleichen und die Zeilen drucken, die nicht in Datei B sind

Zum Beispiel: Datei A:

1 
    2 
    3 

Datei B:

1 
    4 
    5 
    6 
    7 

Der Ausgang :

2 
    3 

Und das unten ist mein Code:

Dieser Code funktioniert, es dauert jedoch sehr lange. Also, wie beschleunigt man den Code-Prozess?

Jede Hilfe wird sehr geschätzt! :)

Answer 1

einen Satz erstellen gerade von:

with open('C:/A.txt') as a: 
    with open('C:/B.txt') as b: 
     lines = set(b) 
    for line in a: 
     if line not in lines: 
      print(line) 

Vielleicht ein besserer Weg, so etwas wie dieses würde die Hashes der Zeilen in Datei B - und vergleichen Sie die Zeilen in A mit denen in diesem Satz -

Solch ein Set dauert etwa hundert Megabyte Speicher, sollte daher in den Speicher in einem Notebook oder wo passen rkstation:

linesB = {hash(line) for line in open("fileB"))} 
for line in open("fileA"): 
    if hash(line) not in linesB: 
     print (line) 

Die Haupt Geschwindigkeit hier oben ist, dass für eine Linie linear innerhalb fileB im Gegensatz zu suchen, ist es nur einmal gelesen wird - und jede Zeile in einem Satz zur Verfügung gestellt, die eine konstante Look-up-Zeit hat. Daher kommen Sie von ~ 200.000 X 4.000.000 Vergleichen (O (m X n)) auf nur ~ 200.000 Vergleiche (O (m X 1)) herunter.

Das nicht zu schweigen von der Notwendigkeit, Daten aus dem filsystem 200.000 mal in den Programmspeicher zu verschieben.

Indem Sie nur die hash Zeilen in B behalten Sie vermeiden, alle Textinformationen von DateiB im Speicher zu behalten - nur 24 Bytes für jeden Hash (in einem 64-Bit-System) - anstelle der Textinformation selbst (die von jedem abhängt Zeilenlänge) + sein Hash.

Answer 2

Ein schneller Weg wäre, um die Datei einmal zu öffnen und einen Satz verwenden:

with open('C:/A.txt') as a, open('C:/B.txt') as b: 
    lines = set() 
    for line in a: 
     if line not in lines: 
      for line_b in b: 
       lines.add(line_b) 
       if line_b == line: 
        break 
      else: 
       print(line) 

Answer 3

Sie könnten die Operation set difference verwenden, um alle Zeilen zu erhalten, die in diesen Dateien nicht übereinstimmen.

with open('A.txt') as a: 
    contentA = set(a) 

with open('B.txt') as b: 
    contentB = set(b) 

print(contentA - contentB) 

Edit: Der umgekehrte Vorgang, den Inhalt der Datei B zu drucken, die jetzt nicht mehr in A sind nur

print(contentB - contentA)