sklearn DecisionTreeClassifier mehr Tiefe weniger Genauigkeit?

Question

Ich habe zwei gelernt sklearn.tree.tree.DecisionTreeClassifier s. Beide sind mit den gleichen Trainingsdaten trainiert. Beide lernten mit unterschiedlichen maximalen Tiefen für die Entscheidungsbäume. Die Tiefe für die decision_tree_model war 6 und die Tiefe für die small_model war 2. Neben der max_depth wurden keine weiteren Parameter angegeben.

Wenn ich die Genauigkeit auf den Trainingsdaten von ihnen beiden wie diese erhalten möchten:

small_model_accuracy = small_model.score(training_data_sparse_matrix, training_data_labels) 
decision_tree_model_accuracy = decision_tree_model.score(training_data_sparse_matrix, training_data_labels) 

Überraschenderweise ist die Ausgabe:

small_model accuracy: 0.61170212766 
decision_tree_model accuracy: 0.422496238986 

Wie dies überhaupt möglich ist? Sollte ein Baum mit einer höheren maximalen Tiefe nicht immer eine höhere Genauigkeit auf den Trainingsdaten haben, wenn er mit den gleichen Trainingsdaten erlernt wird? Ist es vielleicht, dass score Funktion, die die 1 - accuracy oder etwas ausgibt?

EDIT:

• Getestet habe ich es nur mit noch höherer maximaler Tiefe. Der zurückgegebene Wert wird noch niedriger. Dies deutet darauf hin, dass es 1 - accuracy oder so ähnlich ist.

EDIT # 2:

Es scheint einen Fehler, den ich mit den Trainingsdaten mit Arbeiten gemacht werden. Ich dachte nochmal über das Ganze nach und kam zu dem Schluss: "Nun, wenn die Tiefe höher ist, sollte der Baum nicht der Grund dafür sein. Was gibt es sonst noch? Die Trainingsdaten selbst. Aber ich habe die gleichen Daten verwendet! Vielleicht habe ich es getan etwas zu den Trainingsdaten dazwischen? " Dann habe ich noch einmal überprüft und es gibt einen Unterschied in der Verwendung der Trainingsdaten. Ich muss es von einem SFrame in eine scipy Matrix umwandeln (muss möglicherweise auch spärlich sein). Nun habe ich nach der Montage der beiden Modelle eine weitere Genauigkeitsberechnung durchgeführt. Dies führt zu einer Genauigkeit von 61% für die small_model und 64% Genauigkeit für die decision_tree_model. Das sind nur 3% mehr und immer noch etwas überraschend, aber zumindest ist es möglich.

EDIT # 3:

Das Problem behoben ist. Ich habe die Trainingsdaten falsch gehandhabt und das hat zu einer anderen Anpassung geführt.

ist hier die Handlung Genauigkeit nach den Fehlern Festsetzung:

Diese korrekt aussehen und würde auch erklären, warum die Zuordnung Schöpfer 6 als die maximale Tiefe wählen gewählt.

Answer 1

Sollte ein Baum mit einer höheren maximalen Tiefe nicht immer eine höhere Genauigkeit haben, wenn er mit den gleichen Trainingsdaten gelernt wird?

Nein, definitiv nicht immer. Das Problem besteht darin, dass Sie Ihr Modell für Ihre Trainingsdaten überarbeiten, indem Sie einen komplexeren Baum anpassen. Daher erhöht die niedrigere Punktzahl als die maximale Tiefe.