Speicherleck - Python - Zähler - Listen in Dicts

Question

file_dict = {} 
    for calli, callj in itertools.product(feats,feats): 
     keys = seqd.keys() 
     if (not calli in keys) | ((not callj in keys)): 
      continue 
     else: 
      lst = [] 
      ##### this is the problematic part !!!!!!!!! 
      for jj, ii in itertools.product(seqd[callj], seqd[calli]): 
       if (jj - ii) > 0: 
        lst.append(1./(jj - ii)) 
        del jj,ii 
      entry = sum(lst) 
      del lst 
      file_dict[str(calli) + " " + str(callj) + " distance"] = entry 

Ich benutze das obige Snippet in einigen Code und Iterieren über Dateien. Ich habe ein Speicherleck. Wenn ich nur diese 4 Zeilen auskommentiere, die in der Schleife sind, die ich hervorgehoben habe, bleibt mein Code bei konstantem RAM ~ 100mb. Allerdings, wenn ich dies auskommentiere, geht es bis zu ~ 8-9GB super schnell. Bitte helfen Sie !!

Answer 1

Für den Kontext repliziere ich den Algorithmus auf Seite 5 dieses Papiers und erzeuge einen Abhängigkeitsgraphen für Systemaufrufe.

Hier ist der vollständige Code behoben. Im Grunde ging es darum, ein Listenverständnis innerhalb einer Summe zu verwenden, aber ohne Klammern um das Verständnis zu legen. Auf diese Weise Gegenstände wurden zusammengefasst, da sie anstatt zuerst die Liste generiert wurden, den Aufbau ...

Hier ist der Code:

def graph_maker_dict(feats, calls): 
# get dictionary of present calls and list of indexes where they appear 
seqd = defaultdict(list) 
for v, k in enumerate(calls): 
    seqd[k].append(v) 

# run calculations with list comprehensions 
file_dict = {} 
for calli, callj in itertools.product(feats,feats): 
    keys = seqd.keys() 
    if (not calli in keys) or ((not callj in keys)): 
     continue 
    else: 
     entry = sum(1./(jj - ii) for jj in seqd[callj] for ii in seqd[calli] if (jj - ii) > 0) 
     file_dict[calli[:2] + " " + callj[:2] + " distance"[:2]] = entry 
return file_dict