Methode zum maschinellen Lernen, die in der Lage ist, Vorwissen in einen Entscheidungsbaum zu integrieren

Question

Kennt jemand von Ihnen eine Methode des maschinellen Lernens oder eine Kombination von Methoden, die es ermöglicht, Vorwissen in den Entscheidungsfindungsprozess zu integrieren?

Mit „Vorwissen“ Ich meine die Information, ob ein Merkmal in einem bestimmten Knoten wirklich verantwortlich für die daraus resultierende Einstufung ist oder nicht. Stellen Sie sich vor, wir haben nur eine kurze Zeitspanne, in der unsere Merkmale gemessen werden, und in dieser Zeit haben wir eine Korrelation zwischen den Merkmalen. Wenn wir jetzt die gleichen Merkmale wieder messen würden, würden wir wahrscheinlich nicht eine Korrelation zwischen diesen Funktionen erhalten, weil es nur ein Zufall war, dass sie korreliert sind. Leider ist es nicht möglich, erneut zu messen.

Das Problem, das mit dem sich stellt, ist: die Funktion, die durch die Algorithmen gewählt wird, eine Spaltung durchzuführen ist nicht die Funktion, die tatsächlich in der realen Welt zur Spaltung führt. Mit anderen Worten, das stark korrelierte Merkmal wird vom Algorithmus ausgewählt, während das andere Merkmal das zu wählende Merkmal ist. Deshalb möchte ich Regeln/Kausalitäten/Einschränkungen für den Baumlernprozess festlegen.

Answer 1

„ein besonderes Merkmal in einem bereits gelernt Baum“ - der typische Entscheidungsbaum hat ein Merkmal pro Knoten und damit jedes Merkmal in vielen verschiedenen Knoten auftreten kann. In ähnlicher Weise hat jedes Blatt eine Klassifizierung, aber jede Klassifizierung kann in mehreren Blättern erscheinen. (Und bei einem binären Klassifikator muss jeder nicht triviale Baum wiederholte Klassifikationen aufweisen). Diese

bedeutet, dass Sie alle Blätter aufzählen können und sortieren sie durch Klassifizierung einheitliche Untergruppen von Blättern zu erhalten. Für jede solche Teilmenge können Sie alle Pfade vom Stamm des Baums aus analysieren, um zu sehen, welche Features aufgetreten sind. Aber das wird ein großer Satz sein.

"Aber in meinem Fall gibt es einige Merkmale, die stark korreliert sind ... Das Feature, das von den Algorithmen gewählt wird, um eine Teilung durchzuführen, ist nicht das Merkmal, das tatsächlich zur Spaltung in der realen Welt führt." Es wurde gesagt, dass jedes Modell falsch ist, aber einige Modelle sind nützlich. Wenn die Features tatsächlich stark korreliert sind, wirkt sich die Auswahl dieses "falschen" Features nicht wirklich auf das Modell aus.

Sie können natürlich nur den Split-Algorithmus in der Baumstruktur ändern. Trivial, "wenn die verbleibenden Klassen sind A und B, verwenden Sie Split S, sonst bestimmen Sie die Aufspaltung mit Algorithmus C4.5" ist ein gültiger Splitting-Algorithmus, der bereits vorhandenes Wissen über zwei bestimmte Klassen fest programmiert, ohne auf diesen Fall beschränkt zu sein.

Beachten Sie jedoch, dass es möglicherweise einfacher ist, eine kombinierte Klasse A+B in den Entscheidungsbaum einzufügen und dann bei der Nachbearbeitung zwischen A und B zu entscheiden.