NumPy: Mismatch in der Größe des alten und neuen Daten-Descriptor

Question

ich in das folgende Problem lief 1.10.2 mit NumPy wenn einer CSV-Datei zu lesen. Ich kann nicht herausfinden, wie man explizite Datentypen genfromtxt gibt. Hier

ist die CSV, minimal.csv:

x,y 
1,hello 
2,hello 
3,jello 
4,jelly 
5,belly 

Hier versuche ich, es zu lesen, mit genfromtxt:

import numpy 
numpy.genfromtxt('minimal.csv', dtype=(int, str)) 

ich auch versucht:

import numpy 
numpy.genfromtxt('minimal.csv', names=True, dtype=(int, str)) 

Wie auch immer, ich bekommen Fehler:

Traceback (most recent call last): 
    File "visualize_numpy.py", line 39, in <module> 
    numpy.genfromtxt('minimal.csv', dtype=(int, str)) 
    File "/Users/xeli/workspace/myproj/env/lib/python3.5/site-packages/numpy/lib/npyio.py", line 1518, in genfromtxt 
    replace_space=replace_space) 
    File "/Users/xeli/workspace/myproj/env/lib/python3.5/site-packages/numpy/lib/_iotools.py", line 881, in easy_dtype 
    ndtype = np.dtype(ndtype) 
ValueError: mismatch in size of old and new data-descriptor 

Alternativ habe ich versucht:

import numpy 
numpy.genfromtxt('minimal.csv', dtype=[('x', int), ('y', str)]) 

Welche wirft:

Traceback (most recent call last): 
    File "visualize_numpy.py", line 39, in <module> 
    numpy.genfromtxt('minimal.csv', dtype=[('x', int), ('y', str)]) 
    File "/Users/xeli/workspace/myproj/env/lib/python3.5/site-packages/numpy/lib/npyio.py", line 1834, in genfromtxt 
    rows = np.array(data, dtype=[('', _) for _ in dtype_flat]) 
ValueError: size of tuple must match number of fields. 

I bekannt dtype=None macht NumPy zu versuchen richtigen Typen zu erraten, und in der Regel gut funktioniert. Die Dokumentation erwähnt jedoch, dass es viel langsamer als explizite Typen ist. In meinem Fall ist die Recheneffizienz erforderlich, so dass dtype=None keine Option ist.

Gibt es etwas schrecklich falsch mit meinem Ansatz oder NumPy?

Answer 1

Das funktioniert gut, und bewahrt Ihre Daten-Header:

df = numpy.genfromtxt('minimal.csv', 
         names=True, 
         dtype=None, 
         delimiter=',') 

Dies macht genfromtxt die dtype erraten, die in der Regel ist das, was Sie wollen. Trennzeichen ist ein Komma, also sollten wir dieses Argument ebenfalls übergeben und schließlich behält names=True die Header-Information bei.

Zugriff einfach Ihre Daten wie bei jeder anderen Rahmen würde:

>>>>print(df['x']) 
[1 2 3 4 5] 

Edit: wie pro Ihren Kommentar unten, könnten Sie die dtype ausdrücklich vor, etwa so:

df = numpy.genfromtxt('file1.csv', 
         names=True, 
         dtype=[('x', int), ('y', 'S5')], # assuming each string is of len =< 5 
         delimiter=',') 

Answer 2

Von einem kurzen Blick auf die documentation, die Standardeinstellung delimiter=None.

Versuchen numpy.genfromtxt('minimal.csv', dtype=(int, str), names=True, delimiter=',')

Answer 3

I bin in der gleichen Position, in der ich nicht sicher bin, warum meine bereitgestellten Typen einen Fehler werfen. Das könnte eine praktikable Lösung für Sie sein. Hier ist ein Beispiel, das meinen Datensatz verwendet, der Ihrem ähnlich ist.

Zunächst einige der Daten laden und überprüfen Sie die tatsächlichen dtypes NumPy verwendet:

>>> movies = np.genfromtxt('movies.csv', delimiter='|', dtype=None) 
>>> movies 
array([(1, 'Toy Story (1995)'), (2, 'GoldenEye (1995)'), 
     (3, 'Four Rooms (1995)'), ..., (1680, 'Sliding Doors (1998)'), 
     (1681, 'You So Crazy (1994)'), 
     (1682, 'Scream of Stone (Schrei aus Stein) (1991)')], 
     dtype=[('f0', '<i8'), ('f1', 'S81')]) 

Dann laden Sie alle Ihre Daten die erfassten Arten mit:

>>> movies = np.genfromtxt('movies.csv', delimiter='|', 
          dtype=[('f0', '<i8'), ('f1', 'S81')]) 

Dies ist zwar nicht so zufriedenstellend wie zu wissen, warum NumPy den Fehler verursacht, aber es funktioniert für Ihren speziellen Anwendungsfall.