openpyxl readonly use_iterators

Question

Ich habe einige riesige Excel-Dateien, aber ich bin sogar mit einem "bescheidenen" (50 MB) behaftet. Ich muss die ersten beiden Zeilen überspringen, aber ich denke nicht, dass das die Verlangsamung ist. Kannst du an etwas anderes denken?

wb = load_workbook(MyFile,read_only=True) 
ws = wb.active 

NDepth = ws.max_row-2 
NTime = ws.max_column -1 

Local_Depth = np.zeros((NDepth,)) 
Local_Temp = np.zeros((NDepth,NTime)) 

iterlist = islice(ws.iter_rows(),2,None) 

start = time.time() 

i=0 
for row in iterlist: 
    Local_Depth[i] = row[0].value 
    j=0 
    for col in row[1:]: 
     Local_Temp[i,j] = col.value 
     j += 1 
    i += 1 

print "Done", time.time()-start 

Es dauert länger als 7 Minuten, um die Datei auf einem M4700 Dell Precision zu laden. Etwa 8000 Zeilen und 800 Spalten. Sicherlich muss etwas falsch sein? Könnte es irgendwo andere Verbesserungen geben, die ich in meinem Python 2.7-Setup machen sollte?

Danke, John

Answer 1

Ich würde Pandas für diese Aufgabe versuchen. Es ist sehr einfach und gibt dir viel Kraft.

Hier ist ein kleines Beispiel:

import time 
import numpy as np 
import pandas as pd 

# let's generate some sample data (8000 rows, 800 columns) 
data = np.random.randint(0, 100, (8000, 800)) 

# let's generate column names from 'col001' to 'col800' 
cols = ['col{0:02d}'.format(i) for i in range(1,801)] 

# generating Pandas data frame from numpy array 
df = pd.DataFrame(data, columns=cols) 

# write generated DF (Data Frame) to Excel file 
df.to_excel(r'd:/temp/sample.xlsx', index=False) 
# we are done with sample data 

##################################################################### 
# 
# interesting part starts here ... 
# 
##################################################################### 

start = time.time() 

# read up the Excel file (skipping first two rows) 
df = pd.read_excel(r'd:/temp/sample.xlsx', skiprows=2) 

print "Done", time.time()-start 

# print the shape of out DF 
print(df.shape) 

Output (von ipython, auf meinem Heim-Notebook es ca. dauerte 2 Minuten.):

In [24]: %paste 
start = time.time() 

# read up the Excel file 
df = pd.read_excel(r'd:/temp/sample.xlsx', skiprows=2) 

print "Done", time.time()-start 
## -- End pasted text -- 
Done 124.375999928 

In [25]: 

In [25]: df.shape 
Out[25]: (7998, 800) 

In [26]: # print the shape of out DF 

In [27]: print(df.shape) 
(7998, 800) 

Jetzt können Sie alle Ihre Daten im Speicher als Standard ein DF und kann es sehr komfortabel mit allen Pandas Leistung verarbeiten

PS müssten Sie die folgenden Python-Module installieren:

• numpy
• Pandas
• xlrd
• openpyxl oder XlsxWriter (oder beide)

Answer 2

Wenn ich als nehmen gegeben, dass die Excel-Datei ein rechteckiges Blatt ist dann habe ich eine enorme Geschwindigkeit bekommen indem du einfach direkt zu ZIP gehst. Attached ist ein Teil des Codes für den Generator, der eine Reihe von Zeilen zurückgibt, die ich dann analysieren kann, um in jeder Zeile nach den tatsächlichen Werten zwischen <v> und </v> zu suchen. Ich habe nicht versucht, das hübsch zu machen - es sieht sehr unpythonisch aus.

def rowList(): 
with zipfile.ZipFile('MyFile.xlsx', mode='r') as z: 
    with z.open('xl/worksheets/sheet1.xml', 'r') as f: 
     irow =-1 
     while irow <0: 
      hstring = f.read(50000) 
      if hstring == "": 
       break; 
      irow = hstring.find("sheetData") 
     if irow < 0: 
      return 
     ist = hstring.find("<dimension") 
     string = hstring[ist+16: ist+50] 
     itl = string.find("/>") 
     yield string[:itl-1] 
     string = hstring[irow+10:] 
     while True: 
      irow = string.find("</row>") 
      while irow<0: 
       hstring = f.read(50000) 
       if hstring == "": 
        break; 
       string += hstring 
       irow = string.find("</row>") 
      if irow < 0: 
       return 
      irow +=6 
      ist = string.find("<c") 
      yield string[ist:irow-6] 
      string = string[irow:] 

Lässt die Berechnungszeit von Minuten auf Sekunden fallen.

Das lässt mich fragen, ob es etwas Ähnliches gibt, das für openpyxl in Betracht gezogen wird - ein Parameter, der ihm sagt, dass er eine sehr flache Datei öffnet.

Answer 3

Ich bin bis auf 22 Sekunden

import numpy as np 
import time 
from openpyxl import Workbook 
from openpyxl import load_workbook 
import zipfile 


def rowList(fullfilename): 
with zipfile.ZipFile(fullfilename, mode='r') as z: 
    with z.open('xl/worksheets/sheet1.xml', 'r') as f: 
     irow =-1 
     while irow <0: 
      hstring = f.read(50000) 
      if hstring == "": 
       break; 
      irow = hstring.find("sheetData") 
      if irow < 0: 
       return 
     string = hstring[irow+10:] 
     while True: 
      irow = string.find("</row>") 
      while irow<0: 
       hstring = f.read(50000) 
       if hstring == "": 
        break; 
       string += hstring 
       irow = string.find("</row>") 
      if irow < 0: 
       return 
      irow +=6 
      ist = string.find("<c") 
      yield string[ist:irow-6] 
      string = string[irow:] 


def splitRow(func,row): 

j = 0 
c1 = row.find("<v") 
c2 = 0 
while c1 > 0: 
    c1 += c2 + 3 
    c2 = c1 + row[c1:].find("</v") 
    yield func(row[c1:c2]) 
    j += 1 
    c2 += 3 
    c1 = row[c2:].find("<v") 


start = time.time() 

wb = load_workbook(MyFile,read_only=True, use_iterators=True) 
ws = wb.active 
NDepth = ws.max_row-2 
NTime = ws.max_column -1 
wb._archive.close() 

Local_Store = np.empty((NDepth,NTime+1)) 
Local_Time = np.empty((NTime,)) 

print NDepth, NTime 
print "Data Accessed via Iterators", time.time()-start 

start = time.time() 

print "About to call RowList" 

i = -2 
j = 1 
for row in rowList(MyFile): 
if i == -2: 
    True 
else: 
    if i == -1: 
     Local_Time[:] = list(splitRow(float,row)) 
    else: 
     Local_Store[i,:] = list(splitRow(float,row)) 

i += 1 

print i, "Rows Parsed", time.time()-start