Fehlende Werte durch Stichproben von der Verteilung bestehender Werte ableiten

Question

Fehlende Werte sind ein häufiges Problem bei der Datenanalyse. Eine gemeinsame Strategie scheint zu sein, dass fehlende Werte durch Werte ersetzt werden, die zufällig aus der Verteilung bestehender Werte entnommen werden.

Gibt es Python-Bibliothekscode, der diesen Vorverarbeitungsschritt auf einem Datenrahmen bequem durchführt? Soweit ich sehe, bietet das sklearn.preprocessing Modul diese Strategie nicht an.

Answer 1

Um aus einer Verteilung von vorhandenen Werten zu probieren, müssen Sie die Verteilung kennen. Wenn die Verteilung nicht bekannt ist, können Sie die Kerndichte-Schätzung verwenden, um sie anzupassen. Dieser Blog-Post hat einen schönen Überblick über Kernel-Density-Schätzungen für Python: http://jakevdp.github.io/blog/2013/12/01/kernel-density-estimation/.

Es gibt eine Implementierung in scikit-lernen (siehe http://scikit-learn.org/stable/modules/density.html#kernel-density); sklearn's KernelDensity hat die .sample() Methode. Es gibt auch einen Kernel Density Estimator in statsmodels (http://statsmodels.sourceforge.net/devel/generated/statsmodels.nonparametric.kernel_density.KDEMultivariate.html); Es unterstützt kategorische Funktionen.

Eine andere Methode besteht darin, zufällig vorhandene Werte zu wählen, ohne zu versuchen, Werte zu erzeugen, die in einem Datensatz nicht zu sehen sind. Das Problem bei dieser Lösung ist, dass der Wert von anderen Werten in derselben Zeile abhängen kann, und "random.sample", ohne dies zu berücksichtigen, unrealistische Beispiele liefern kann.