Hinzufügen von Daten zu CSV Spalte weise mit Pandas

Question

Ich habe einige CSV-Dateien und ich möchte eine bestimmte Spalte von allen kopieren und speichern Sie es in einer neuen CSV-Datei Spalte weise.Aber den folgenden Code fügen Sie sie in einer einzigen Spalte.

Auch insgesamt muss ich fast 20M Daten durchgehen, also möchte ich sie nicht in einem einzigen Datenrahmen speichern und sie zuletzt speichern.

Hier ist mein Code:

import os 
import glob 
import pandas as pd 
k= glob.glob("*.csv") 
colu="Close" 
file="merged.csv" 
temp_dirr="./temp/" 
if not os.path.exists(temp_dirr): 
    os.makedirs(temp_dirr) 

filename=temp_dirr+file 

df=pd.read_csv(k[0])[colu].dropna() 
df.to_csv(filename,header=False,index=False) 
for i in k[1:]: 
    df=pd.read_csv(i)[colu].dropna() 
    df.to_csv(filename,mode="a",header=False,index=False) 

und hier ist die Ausgabe merged.csv Datei

23.6 1065 23.45 1150 172.7 11098 11443.3

Aber ich möchte, dass die Ausgabedatei wie diese 23.6 172.7 1065 11098 23.45 11443.3 1150

Hier die sein Ordner hat 2 CSV-Dateien und die beiden Spalten sind für die "close" Spalte dieser 2 Dateien. Wie fügt man sie spaltenweise hinzu?

Answer 1

Sie können es auf diese Weise tun:

def get_merged_csv(flist, **kwargs): 
    return pd.concat([pd.read_csv(f, **kwargs) for f in flist], axis=1) 

fmask = '*.csv' 
# column numbers are starting from 0, so 9th column has index 8 
df = get_merged_csv(glob.glob(fmask), usecols=[8]) 
df.to_csv(filename,mode="a",header=False,index=False) 

Answer 2

Ich bin nicht sicher, wie diese Pythond mit zu tun, aber in R, es ist sehr einfach.

Zusammenführen aller Spalten in File1 und Column12 in File2.

import pandas as pd 
file1 = pd.read_table('C:\\Users\Users\\your_path_here\\Book1.csv', delimiter=',', header=None) 
file2 = pd.read_table('C:\\Users\\Users\\your_path_here\\Book2.csv', delimiter=',', header=None) 
file2_short = file2.ix[:,12:13] 

#print (file2_short) 
frames=[file1, file2_short] 
new = pd.concat(frames) 
new.to_csv('C:\\Users\\your_path_here\\newfile.csv')