Überwachtes Lernen (Dokumentenklassifizierung) mit Deep-Learning-Techniken

Question

Ich las die Papiere über Deep Learning. Die meisten von ihnen beziehen sich auf unbeaufsichtigtes Lernen.

Sie sagen auch, dass die Neuronen mit unbeaufsichtigten RBM-Netzwerk vortrainiert sind. Später werden sie fein abgestimmt mit Back Propagation-Algorithmus (überwacht).

Also können wir überwachte Lernprobleme mit Deep Learning lösen?

Ich versuche herauszufinden, ob Deep-Learning für Dokumentklassifikation Problem angewendet werden kann. Ich weiß, dass es ziemlich gute Klassifikatoren gibt. Aber mein Ziel ist herauszufinden, ob wir für diesen Zweck Deep Learning nutzen können oder nicht.

Answer 1

Bei Deep Learning geht es darum, unbekannte Konzepte zu lernen. Sie werden daher typischerweise verwendet, um Muster in Datensätzen zu finden. Dies ist unbeaufsichtigt, da diese Muster nicht unbedingt a priori bekannt sind. Beim überwachten Lernen ist jedoch die Art des Musters, das Sie benötigen, leicht in Form von Trainingsmustern zu verstehen, die zu den Daten passen, die Sie zu lernen versuchen. Diese Muster werden zur Grundlage für die Anpassung Ihres Modells (z. B. ein neuronales Netzwerk, das unter Verwendung der Rückausbreitung trainiert wurde) an Ihre Daten. Es gibt keine echte Entdeckung neuer Konzepte und Komponenten. Aus dieser Perspektive würde ich sagen, dass kein tiefes Lernen nicht zur Lösung von überwachten Lernproblemen angewendet werden kann.

Nachdem dies gesagt wurde, können Sie es möglicherweise verwenden, um interessante Muster in Ihren Daten zu finden. Sie könnten dann diese interessanten Muster als Grundlage für das Training verwenden, das einen Standard überwachten Ansatz verwendet. Vielleicht ist dies das, was sie oben getan haben, wo Sie

erwähnen "Sie sagen auch, dass die Neuronen mit unbeaufsichtigten RBM-Netzwerk vortrainiert sind. Später werden sie Fein abgestimmt mit Back Propagation-Algorithmus (überwacht)."

Ohne gelesen zu haben, was Sie gelesen haben, haben sie vielleicht mit einem unbeaufsichtigten Algorithmus begonnen, um die interessantesten Daten zu finden und dabei eine Form der Dimensionsreduktion durchzuführen, die zu Daten führte, die leichter zu trainieren waren als die Originaldaten überwachte Algorithmus.

Answer 2

Kurz gesagt - ja, es kann sein, und ist oft in überwachten Art und Weise verwendet. Genau wie Ben J beschrieben hat - die "Tiefe" der Architektur wird unbeaufsichtigt verwendet, um eine sehr abstrakte Darstellung Ihrer Daten zu erzeugen, die später entweder als Vorverarbeitungsschicht (keine Feinabstimmung) oder als Initialisierung verwendet werden kann für das neuronale Netzwerk (mit Feineinstellung, Hinton-ähnlich). Insbesondere können Sie solche Vorgehensweise für Texte verwenden.

Es ist interessant, sehr kürzlich erschienenen Arbeit von Hinton in Bezug auf die Modellierung der Textdokumente mit dbms: http://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf

Es gibt viele Ressourcen avaliable online, insbesondere pylearn Bibliothek implementiert solche Ansätze, einschließlich der „klassischen“ DBN (Tief Beiief Netzwerk) http://deeplearning.net/tutorial/DBN.html

Darüber hinaus ist es auch möglich, eine Klassifizierung nur mit gestapelten RBMs durchzuführen, dieses Modell wird als "Klassifikation RBM" bezeichnet. Weitere Details erhalten Sie hier: http://machinelearning.org/archive/icml2008/papers/601.pdf

Answer 3

Neben der oben genannten guten Referenz gibt es eine weitere Arbeit von Yann Le Cunns Gruppe, die Textklassifikation nur durch Kodieren von Zeichen ohne Verwendung einer externen Merkmalsextraktions-Bibliothek durchführt. Es funktioniert einfach durch Kodierung auf Zeichenebene. Sie beanspruchen 98% Genauigkeit.

http://arxiv.org/pdf/1502.01710v2.pdf

Answer 4

Ja, Definitiv. In der Industrie wird Deep Learning hauptsächlich zur Lösung von überwachten Problemen eingesetzt. RBM und solche unbeaufsichtigten Dinge werden außerhalb des akademischen Kreises nicht weit verbreitet. Um mehr über tiefes Lernen mit überwachtem Lernen zu erfahren, können Sie Arbeiten nach 2012 lesen und mit allem beginnen, was mit ImageNet Challenge zu tun hat. Dies sind die wichtigsten Meilensteine ​​der tiefen neuronale Netze

: