Python: Textdatei in dict lesen und Kommentare ignorieren

Question

Ich versuche, die folgende Textdatei in ein Wörterbuch zu legen, aber ich möchte, dass jeder Abschnitt mit '#' beginnt oder leere Zeilen ignoriert werden.

Meine Textdatei sieht wie folgt aus etwas:

# This is my header info followed by an empty line 

Apples   1    # I want to ignore this comment 
Oranges   3    # I want to ignore this comment 

#~*~*~*~*~*~*~*Another comment~*~*~*~*~*~*~*~*~*~* 

Bananas   5    # I want to ignore this comment too! 

Meine gewünschte Ausgabe wäre:

myVariables = {'Apples': 1, 'Oranges': 3, 'Bananas': 5} 

Mein Python-Code lautet wie folgt:

filename = "myFile.txt" 
myVariables = {} 

with open(filename) as f: 
    for line in f: 
     if line.startswith('#') or not line: 
      next(f) 

     key, val = line.split() 
     myVariables[key] = val 
     print "key: " + str(key) + " and value: " + str(val) 

Der Fehler, den ich bekommen :

Traceback (most recent call last): 
    File "C:/Python27/test_1.py", line 11, in <module> 
    key, val = line.split() 
ValueError: need more than 1 value to unpack 

Ich verstehe den Fehler, aber ich verstehe nicht, was mit dem Code falsch ist.

Vielen Dank im Voraus!

Answer 1

Dieser Ihre Fehler nicht genau reproduzieren, aber es gibt ein Problem mit Ihrem Code:

>>> x = "Apples\t1\t# This is a comment" 
>>> x.split() 
['Apples', '1', '#', 'This', 'is', 'a', 'comment'] 
>>> key, val = x.split() 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
ValueError: too many values to unpack 

Stattdessen versuchen:

key = line.split()[0] 
val = line.split()[1] 

Edit: und ich denke, Sie „mehr als 1 Wert brauchen auspacken "kommt aus den leeren Zeilen. Außerdem bin ich nicht vertraut mit next() wie folgt. Ich glaube, ich würde so etwas wie:

if line.startswith('#') or line == "\n": 
    pass 
else: 
    key = line.split()[0] 
    val = line.split()[1] 

Answer 2

Sie müssen sich mit # Spaltung entweder die restlichen Zeilen nach der Trennung auf # oder mit rfind wie unten schneiden die Zeichenfolge, eine leere Zeile, die Leerzeilen und Zeilen ignorieren wird eine neue Linie, so dass Sie and line.strip() für ein überprüfen müssen, können Sie nicht nur auf die Leerzeichen geteilt und entpacken Sie, wie Sie mehr als zwei Elemente nach der Trennung haben einschließlich dessen, was im Kommentar ist:

with open("in.txt") as f: 
    d = dict(line[:line.rfind("#")].split() for line in f 
       if not line.startswith("#") and line.strip()) 
    print(d) 

Ausgang:

{'Apples': '1', 'Oranges': '3', 'Bananas': '5'} 

Eine weitere Option ist zweimal und in Scheiben schneiden zu spalten:

with open("in.txt") as f: 
    d = dict(line.split(None,2)[:2] for line in f 
       if not line.startswith("#") and line.strip()) 
    print(d) 

oder Spaltung zweimal und Auspacken eine explizite Schleife:

with open("in.txt") as f: 
    d = {} 
    for line in f: 
     if not line.startswith("#") and line.strip(): 
      k, v, _ = line.split(None, 2) 
      d[k] = v 

Sie auch itertools.groupby zur Gruppe verwenden können die Linien, die Sie wollen.

from itertools import groupby 
with open("in.txt") as f: 
    grouped = groupby(f, lambda x: not x.startswith("#") and x.strip()) 
    d = dict(next(v).split(None, 2)[:2] for k, v in grouped if k) 
    print(d) 

zu behandeln, in denen wir mehrere Wörter in einfache Anführungszeichen haben, können wir aufzuspalten shlex verwenden:

import shlex 
with open("in.txt") as f: 
    d = {} 
    for line in f: 
     if not line.startswith("#") and line.strip(): 
      data = shlex.split(line) 
      d[data[0]] = data[1] 

print(d) 

So Änderung der Bananen-Linie:

Bananas   'north-side disabled'    # I want to ignore this comment too! 

Wir erhalten:

{'Apples': '1', 'Oranges': '3', 'Bananas': 'north-side disabled'} 

Und das gleiche wird für das Aufschneiden arbeiten:

with open("in.txt") as f: 
    d = dict(shlex.split(line)[:2] for line in f 
       if not line.startswith("#") and line.strip()) 
    print(d) 

Answer 3

Gegeben Ihren Text:

text = """ 
# This is my header info followed by an empty line 

Apples   1    # I want to ignore this comment 
Oranges   3    # I want to ignore this comment 

#~*~*~*~*~*~*~*Another comment~*~*~*~*~*~*~*~*~*~* 

Bananas   5    # I want to ignore this comment too! 
""" 

Wir dies auf 2 Arten tun können. Verwenden Sie regex oder Python-Generatoren verwenden. Ich würde letzteres wählen (unten beschrieben), da regex in solchen Fällen nicht besonders schnell (er) ist.

die Datei zu öffnen:

with open('file_name.xyz', 'r') as file: 
    # everything else below. Just substitute `for line in lines` with 
    # `for line in file.readline()` 

nun ein ähnliches zu schaffen, können wir die Zeilen aufgeteilt, und erstellen Sie eine Liste:

lines = text.split('\n') # as if read from a file using `open`. 

Hier ist, wie wir alle wollen Sie in ein paar Zeilen:

# Discard all comments and empty values. 
comment_less = filter(None, (line.split('#')[0].strip() for line in lines)) 

# Separate items and totals. 
separated = {item.split()[0]: int(item.split()[1]) for item in comment_less} 

Lets Test:

>>> print(separated) 
{'Apples': 1, 'Oranges': 3, 'Bananas': 5} 

Hoffe, das hilft.

Answer 4

Kommentare strippen, könnten Sie str.partition() verwenden, die funktioniert, ob das Kommentarzeichen vorhanden ist oder nicht in der Zeile ist:

for line in file: 
    line, _, comment = line.partition('#') 
    if line.strip(): # non-blank line 
     key, value = line.split() 

line.split() kann heben eine Ausnahme in diesem Code zu-es passiert, wenn es eine nicht ist -Blank-Zeile, die nicht genau zwei durch Leerzeichen getrennte Wörter enthält - es hängt von der Anwendung ab, was Sie in diesem Fall tun möchten (ignorieren Sie solche Zeilen, drucken Sie Warnungen usw.).

Answer 5

Wenn das Format der Datei korrekt definiert ist, können Sie eine Lösung mit regulären Ausdrücken versuchen. Hier ist nur eine Idee:

import re 

fruits = {} 
with open('fruits_list.txt', mode='r') as f: 
    for line in f: 
     match = re.match("([a-zA-Z0-9]+)[\s]+([0-9]+).*", line) 
     if match: 
      fruit_name, fruit_amount = match.groups() 
      fruits[fruit_name] = fruit_amount 


print fruits 

AKTUALISIERT: ich die Art und Weise des Lesens Linie geändert von großen Dateien zu kümmern. Jetzt lese ich Zeile für Zeile und nicht alles in einem. Dies verbessert die Speichernutzung.