Wie erstelle ich ein Wörterbuch aus einer Textzeile?

Question

Ich habe eine generierte Datei mit Tausenden von Zeilen wie folgt aus:

CODE,XXX,DATE,20101201,TIME,070400,CONDITION_CODES,LTXT,PRICE,999.0000,QUANTITY,100,TSN,1510000001

einige Linien haben mehr Felder und andere haben weniger, aber alle das gleiche Muster von Schlüssel-Wert-Paare folgen und jede Zeile hat eine TSN-Feld

Wenn auf der Datei eine Analyse zu machen, ich schrieb eine Schleife wie folgt aus der Datei in ein Wörterbuch zu lesen:

#!/usr/bin/env python 

from sys import argv 

records = {} 
for line in open(argv[1]): 
    fields = line.strip().split(',') 
    record = dict(zip(fields[::2], fields[1::2])) 
    records[record['TSN']] = record 

print 'Found %d records in the file.' % len(records) 

... und das ist gut und tut genau das, was ich es (das will print ist nur ein triviales Beispiel).

aber es fühlt sich nicht besonders „pythonic“ für mich und die Zeile mit: (wie oft hat es über die Felder iterieren)

dict(zip(fields[::2], fields[1::2])) 

Welche fühlt sich einfach „klobig“.

Gibt es einen besseren Weg, dies 2.6 nur mit den Standardmodulen in Python zu tun, zur Hand?

Answer 1

In Python 2 Sie izip im itertools Modul und die Magie des Generators nutzen könnten Objekte eine eigene Funktion schreiben um die Erstellung von Wertepaaren für die dict Datensätze zu vereinfachen. Ich habe die Idee für pairwise() von einer ähnlichen Namen (aber funktionell verschieden) recipe in dem Python 2 itertools docs.

Um den Ansatz in Python 3 verwenden Sie können einfach nur zip() verwenden, da es das tut, was izip() in Python hat 2 bei der Entfernung des letzteren aus itertools — nachstehendem Beispiel dieser Adressen und soll in beiden Versionen arbeiten.

try: 
    from itertools import izip 
except ImportError: # Python 3 
    izip = zip 

def pairwise(iterable): 
    "s -> (s0,s1), (s2,s3), (s4, s5), ..." 
    a = iter(iterable) 
    return izip(a, a) 

Welche Dateien lesen for Schleife wie dies in verwendet werden können:

mehr

from sys import argv 

records = {} 
for line in open(argv[1]): 
    fields = (field.strip() for field in line.split(',')) # generator expr 
    record = dict(pairwise(fields)) 
    records[record['TSN']] = record 

print('Found %d records in the file.' % len(records)) 

Aber warten Sie, ist da!

Es ist möglich, eine generalisierte Version erstellen Ich grouper() nennen werde, die einen ähnlichen Namen entspricht wieder, aber funktionell verschiedene itertools Rezept (die unter pairwise() rechts aufgeführt wird):

def grouper(n, iterable): 
    "s -> (s0,s1,...sn-1), (sn,sn+1,...s2n-1), (s2n,s2n+1,...s3n-1), ..." 
    return izip(*[iter(iterable)]*n) 

Welche sein könnte wie dies in Ihrer for Schleife verwendet:

record = dict(grouper(2, fields)) 

natürlich, für bestimmte Fälle wie diesen, ist es einfach zu bedienen functools.partial() und erstellen Sie eine ähnliche pairwise() Funktion mit ihm (die sowohl in Python 2 & 3 funktioniert):

import functools 
pairwise = functools.partial(grouper, 2) 

Postscript

Es sei denn, es gibt eine wirklich große Anzahl von Feldern, könnten Sie stattdessen eine tatsächliche Sequenz erstellen aus den Paaren von Positionen (anstatt einen Generator Ausdruck verwendet, der keine len() hat):

fields = tuple(field.strip() for field in line.split(',')) 

Sie könnten mit einem erhalten, indem einfacher grouper() Funktion:

try: 
    xrange 
except NameError: # Python 3 
    xrange = range 

def grouper(n, sequence): 
    for i in xrange(0, len(sequence), n): 
     yield sequence[i:i+n] 

pairwise = functools.partial(grouper, 2) 

Answer 2

nicht so viel besser als nur more efficient...

Full explanation

Answer 3

import itertools 

def grouper(n, iterable, fillvalue=None): 
    "grouper(3, 'ABCDEFG', 'x') --> ABC DEF Gxx" 
    args = [iter(iterable)] * n 
    return itertools.izip_longest(fillvalue=fillvalue, *args) 

record = dict(grouper(2, line.strip().split(",")) 

source

Answer 4

Wenn wir es in eine Funktion zu abstrahieren wie auch immer, es ist nicht zu schwer zu schreiben „from scratch“ gehen:

def pairs(iterable): 
    iterator = iter(iterable) 
    while True: 
     try: yield (iterator.next(), iterator.next()) 
     except: return 

robert Rezept Version auf jeden Fall gewinnt Punkte für Flexibilität obwohl.