Warum kann Naive Bayes XOR nicht lösen?

Question

Ich habe kürzlich begonnen, Algorithmen zu verstehen, die mit der Verarbeitung natürlicher Sprache zu tun haben, und bin auf verschiedene Seiten gestoßen, die darauf hindeuten, dass Naive Bayes das XOR-Konzept nicht erfassen können. Erstens verstehe ich nicht, was genau das XOR-Problem ist. Kann jemand bitte erklären, was das XOR-Problem ist, wenn möglich mit einem einfachen Klassifizierungsbeispiel.

Answer 1

Das XOR-Problem ist das einfachste Problem, das nicht linear trennbar ist. Stellen Sie sich vor, Sie haben zwei boolesche Variablen X und Y, und der Zielwert, den Sie "vorhersagen" wollen, ist das Ergebnis der XOR-Verknüpfung der beiden Variablen. Das heißt, nur wenn einer (aber nicht der andere) 1 ist, möchten Sie 1 als Ergebnis und andernfalls 0 vorhersagen. Ein bisschen mehr grafisch:

Y^
1 | XOR(x=0,y=1)=1 XOR(x=1,y=1)=0 
    | 
0 | XOR(x=0,y=0)=0 XOR(x=1,y=0)=1 
    +-------------------------------> 
      0    1  X 

Wie Sie für die vier „Punkte“ meiner „plot“ sehen oben (X horizontal, Y vertikal, sich vorstellen die Kommata die „Punkte“ sind, wenn Sie mögen), Es gibt keine Möglichkeit, eine gerade Linie zu zeichnen, die die beiden Ergebnisse voneinander trennt (die beiden 1en oben links und unten rechts und die beiden 0en auch in gegenüberliegenden Ecken). So lineare Klassifikatoren, die die Klassentrennung mit geraden Linien modellieren, können Probleme dieser Art nicht lösen.

Jetzt, wie Naive Bayes, es Modelle unabhängige Ereignisse. Wenn nur X und Y gegeben sind, kann es die Verteilung von xs modellieren und es kann das ys modellieren, aber es modelliert keine Beziehung zwischen den beiden Variablen. Das heißt, um die XOR-Funktion zu modellieren, müsste der Klassifikator beide Variablen gleichzeitig beobachten. Nur eine Vorhersage basierend auf dem Zustand von X ohne Berücksichtigung des Zustands von Y (und umgekehrt) kann nicht zu einer geeigneten Lösung für dieses Problem führen. Daher ist der Naive Bayes Klassifikator auch ein linearer Klassifikator.