Wie erhält man Informationsgewinn von einem scikit-learn DecisionTreeClassifier?

Question

Ich sehe, dass DecisionTreeClassifier Kriterium akzeptiert = 'Entropie', was bedeutet, dass es Informationsgewinn als Kriterium für die Aufspaltung des Entscheidungsbaums verwenden muss. Was ich brauche, ist der Informationsgewinn für jedes Feature auf der Stammebene, wenn es den Wurzelknoten spalten soll.

Answer 1

Sie können nur auf die Informationsverstärkung (oder Gini-Verunreinigung) für ein Feature zugreifen, das als Teilknoten verwendet wurde. Das Attribut DecisionTreeClassifier.tree_.best_error[i] enthält die Entropie des i-ten Knotens, der auf dem Merkmal DecisionTreeClassifier.tree_.feature[i] aufteilt. Wenn Sie möchten, dass die Entropie aller Beispiele, die den i-ten Knoten erreichen, DecisionTreeClassifier.tree_.init_error[i] ist.

Für die Dokumentation hier weitere Informationen siehe: https://github.com/scikit-learn/scikit-learn/blob/dacfd8bd5d943cb899ed8cd423aaf11b4f27c186/sklearn/tree/_tree.pyx#L64

Wenn Sie die Entropie für jede Funktion (bei einem bestimmten Split-Knoten) zugreifen wollen - Sie müssen die Funktion find_best_splithttps://github.com/scikit-learn/scikit-learn/blob/master/sklearn/tree/_tree.pyx#L713