Werden Entscheidungsbäume (z. B. C4.5) als nichtparametrisches Lernen betrachtet?

Question

Ich bin relativ neu im maschinellen Lernen und versuche, Entscheidungsbaum Induktion in das große Schema der Dinge zu platzieren. Werden Entscheidungsbäume (z. B. solche mit C4.5 oder ID3) als parametrisch oder nichtparametrisch betrachtet? Ich würde annehmen, dass sie in der Tat parametrisch sind, da die Entscheidungsaufteilungspunkte für reale Werte aus einer Verteilung von Merkmalswerten, beispielsweise dem Mittelwert, bestimmt werden können. Sie teilen jedoch nicht die nichtparametrische Eigenschaft, alle ursprünglichen Trainingsdaten zu behalten (wie man es mit kNN machen würde).

Answer 1

Der Begriff "parametrisch" bezieht sich auf Parameter, die die Verteilung der Daten definieren. Da Entscheidungsbäume wie C4.5 keine Annahmen bezüglich der Verteilung der Daten treffen, sind sie nichtparametrisch. Die Gaußsche Maximum-Likelihood-Klassifikation (GMLC) ist parametrisch, weil sie annimmt, dass die Daten einer multivariaten Gaußschen Verteilung folgen (Klassen sind durch Mittel und Kovarianzen gekennzeichnet). In Bezug auf Ihren letzten Satz ist das Beibehalten der Trainingsdaten (z. B. instanzbasiertes Lernen) nicht für alle nichtparametrischen Klassifizierer gemeinsam. Zum Beispiel werden künstliche neuronale Netzwerke (ANN) als nichtparametrisch betrachtet, aber sie behalten die Trainingsdaten nicht bei.