Glättungskurve für Matplotlib.pyplot mit Pandas oder numpy/scipy

Question

Ich habe eine Reihe von Daten, die aus Werten aus mehreren Experimenten besteht (1-40, in der MWE ist es 1-5). Die Gesamtmenge der Einträge in meinen ursprünglichen Daten ~ 4.000.000, die ich versuche zu glätten, um es anzuzeigen:

import pandas as pd 
import numpy as np 
import matplotlib.pyplot as plt 
from scipy.interpolate import spline 
from statsmodels.nonparametric.smoothers_lowess import lowess 

df = pd.DataFrame() 
df["values"] = np.random.randint(100000, 200000, 1000) 
df["id"] = [1,2,3,4,5] * 200 
plt.figure(1, figsize=(11.69,8.27)) 
# Both fail for my amount of data: 
plt.plot(spline(df["values"], df["id"], range(100)), "r-") 
plt.plot(lowess(df["values"], df["id"]), "r-") 

beid scipy.interplate und statsmodels.nonparametric.smoothers_lowess.lowess, wirft aus Speicherausnahmen für meine Daten. Gibt es einen effizienten Weg, um dies zu lösen, zum Beispiel in GNU R mit ggplot2 und geom_smooth()?

Answer 1

Ich kann nicht ganz sagen, was Sie bekommen bei mit allen Dimensionen auf Ihre Daten, aber eine sehr einfache Sache, die Sie versuchen können, ist nur die ‚markevery‘ verwenden kwarg etwa so:

import numpy as np 
import matplotlib.pyplot as plt 

x=np.linspace(1,100,1E7) 
y=x**2 
plt.figure(1, figsize=(11.69,8.27)) 
plt.plot(x,y,markevery=100) 
plt.show() 

Dies zeigt nur jeden n-ten Punkt an (n = 100).

Wenn das nicht helfen Sie wie so nur eine einfache numpy Interpolation mit weniger Proben versuchen mögen:

x_large=np.linspace(1,100,1E7) 
y_large=x**2 
x_small=np.linspace(1,100,1E3) 
y_small=np.interp(x_small,x_large,y_large) 
plt.plot(x_small,y_small)