CSV-Datei mit numpy.genfromtxt() lesen - Trennzeichen als Teil eines Zeilennamens

Question

Ich habe Datensatz "Alter bei 1. Ehe (Frauen)" von http://www.gapminder.org/data im Excel/CSV-Format heruntergeladen. Das Dataset hat die erste Zeile mit dem Header und die erste Spalte enthält die Namen der Länder.

Um diese Daten zu lesen, verwende ich den folgenden Code.

import numpy as np 

source=open("D:\FirstMarriage.csv") 

data = np.genfromtxt(source, dtype=None, delimiter=",", skip_header=1) 
print data 

Nach Ausführen dieses Code (in Spyder IDE) erhalte ich diesen Fehler:

ValueError: Some errors were detected ! 
Line #37 (got 118 columns instead of 117) 
Line #38 (got 118 columns instead of 117) 
Line #72 (got 118 columns instead of 117) 
Line #87 (got 118 columns instead of 117) 
Line #97 (got 118 columns instead of 117) 
Line #98 (got 118 columns instead of 117) 
Line #184 (got 118 columns instead of 117) 

Beim Öffnen der CSV-Datei mit Notepad ++ und ich sehe für die angegebenen Zeilen, die ich, dass diese Zeilen Namen enthalten finden der Länder mit Koma in ihren Namen. Darüber hinaus werden diese Namen nur in Anführungszeichen gesetzt, um darauf hinzuweisen, dass es sich um einen vollständigen Namen handelt. Aber es hilft mir nicht. Bitte beachten Sie das folgende Beispiel (ich nur die erste Spalte am angezeigt):

China 
Colombia 
"Congo, Dem. Rep." 
"Congo, Rep." 
Costa Rica 

Gibt es eine einfache Möglichkeit, diese Daten zu reinigen und zu behandeln, den Namen in Anführungszeichen als einzelne Zeichenfolge?

Ich verwende Python 2.7 (Anaconda) auf Windows 10.

Dank im Voraus!

Answer 1

Der beste Weg, meiner Meinung nach, ist ein csv oder andere Zeichen getrennte Datei zu lesen, die DataFrame Klasse von Pandas zu verwenden. Sie müssen nicht mit dem Vorhandensein von Kommas umgehen, da DataFrame s alle Commons CSV-Spezifikationen befolgen.

import pandas as pd 
data = pd.read_csv(source) 

Answer 2

numpy ist nicht bekannt.

Es gibt 2 Lösungen dazu.

1. Fügen Sie einen Pre- und Post-Prozessor hinzu, um das Komma in | zu ändern und dann zurück.

2. Verwenden Pandas Bibliothek

   import pandas 
   pandas.read_csv(filepath_or_buffer, quotechar='"').as_matrix() 
   

Answer 3

Es kann mit 2 csv-Dateien durchgeführt werden. Die erste, die Sie erstellen müssten, um Ihre Daten von den Kommas zu entlasten und fügen Sie ein separates Trennzeichen sagen ; und die Beseitigung dieser doppelten Anführungszeichen. Für mehr Verständnis besuchen Sie: https://docs.scipy.org/doc/numpy/reference/generated/numpy.genfromtxt.html Verwenden Sie den deletechars Parameter. Dann in der generierten csv-Datei verwenden Sie es als Eingabe für ein numpy-Array verwenden Sie einfach Trennzeichen als ;