Praktische Art der Erklärung "Informationstheorie"

Question

Informationstheorie kommt ins Spiel, wo immer Codierung & Dekodierung vorhanden ist. Zum Beispiel: Komprimierung (Multimedia), Kryptographie.

In der Informationstheorie begegnen uns Begriffe wie "Entropie", "Selbstinformation", "Gegenseitige Information" und das gesamte Thema basiert auf diesen Begriffen. Was einfach nur abstrakt klingt. Ehrlich gesagt, machen sie keinen Sinn.

Gibt es ein Buch/Material/Erklärung (wenn Sie können), die diese Dinge auf praktische Weise erklärt?

EDIT:

An Introduction to Information Theory: symbols, signals & noise by John Robinson Pierce ist Das Buch, dass es so, wie ich will (praktisch) erklärt. Es ist zu gut. Ich fing an, es zu lesen.

Answer 1

Shanons Originalarbeit "A mathematical theory of communication" ist eine sehr sehr wichtige Ressource für das Studium dieser Theorie. Niemand sollte es vermissen.

Durch das Lesen werden Sie verstehen, wie Shanon zu der Theorie kam, die die meisten Zweifel beseitigen sollte.

Auch Studien Arbeiten von Huffman Kompressionsalgorithmus wird sehr hilfreich sein.

EDIT:

Eine Einführung in die Informationstheorie

John R. Pierce

scheint gut nach den amazon Bewertungen (ich habe es nicht ausprobiert).

[von googleing „Informationstheorie Laie“]

Answer 2

Ich wollte Feynman für Pop-sci Zwecke empfehlen, aber auf Reflexion ich denke, es könnte genauso gut für eine Lockerung in eine ernsthafte Studie eine gute Wahl sein. Du kannst dieses Zeug nicht wirklich kennen, ohne die Mathematik zu lernen, aber Feynman ist so bewegend, dass er die Mathematik schleicht, ohne die Pferde zu erschrecken.

Feynman Lectures on Computation http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

Abdeckungen eher mehr Boden als nur Informationstheorie, aber gute Sachen und angenehm zu lesen. (Außerdem bin ich verpflichtet zu Team Physik zu ziehen. Rah! Rah! Rhee!)

Answer 3

Meine eigene Sicht auf „Information Theory“ ist, dass es im Wesentlichen Mathematik/Statistik nur angewendet, sondern weil es um die Kommunikation angewendet wird wird/signalisiert, dass es "Informationstheorie" genannt wurde.

Der beste Weg, um die Konzepte zu verstehen, ist, sich selbst eine echte Aufgabe zu stellen. Sagen Sie zum Beispiel, nehmen Sie ein paar Seiten Ihres Lieblingsblogs, speichern Sie es als Textdatei und versuchen Sie dann, die Größe der Datei zu reduzieren, während Sie sicherstellen, dass Sie die Datei noch vollständig rekonstruieren können (zB verlustfreie Komprimierung). Sie beginnen zum Beispiel alle Instanzen von und mit einer 1 zum Beispiel zu ersetzen ....

ich immer der Meinung Lernen bin, indem Sie wird der beste Ansatz

Answer 4

Ich erinnere mich Artikel in, glaube ich, Personal Computer World, die zur Identifizierung von Münzen eine Version von ID3 präsentiert, obwohl es eine heuristische Alternative verwendet zur Protokollformel. Ich denke, es hat die Summe der Quadrate minimiert, anstatt die Entropie zu maximieren - aber es war lange her. Es gab einen anderen Artikel in (ich denke) Byte, der die Protokollformel für Informationen (nicht Entropie) für ähnliche Dinge verwendete. Solche Dinge gaben mir einen Griff, der die Theorie leichter beherrschte.

BEARBEITEN - von "nicht Entropie" Ich meine, ich denke, dass es gewichtete Mittelwerte von Informationswerten verwendet, aber nicht den Namen "Entropie" verwendet.

Ich denke, die Konstruktion einfacher Entscheidungsbäume aus Entscheidungstabellen ist ein sehr guter Weg, um die Beziehung zwischen Wahrscheinlichkeit und Information zu verstehen. Sie macht die Verknüpfung von Wahrscheinlichkeit zu Information intuitiver und liefert Beispiele für den gewichteten Durchschnitt, um den Entropie-maximierenden Effekt ausgewogener Wahrscheinlichkeiten zu veranschaulichen. Ein sehr guter Tag-1-Unterricht.

Und was ist auch schön ist, dass Sie dann diesen Entscheidungsbaum mit einem Decodierungsbaum Huffman ersetzen kann (die ist immerhin ein „das Token am Decodierung ich?“ Entscheidungsbaum) und den Link machen Codierung.

BTW - unter diesem Link einen Blick ...

• http://www.inference.phy.cam.ac.uk/mackay/

Mackay verfügt über ein kostenloses Download-Lehrbuch (und in gedruckter Form erhältlich), und während ich habe nicht alles Die Teile, die ich gelesen habe, schienen sehr gut zu sein. Insbesondere die Erklärung von "Erklären weg" in Bayes, insbesondere auf Seite 293, bleibt im Gedächtnis.

CiteSeerX ist eine sehr nützliche Ressource für die Papiere der Informationstheorie (unter anderem) .Zwei interessante Papiere sind ...

• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.2410
• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.51.3672

Obwohl CN2 wahrscheinlich nicht ist Tag eins Material.

Answer 5

Informationstheorie hat sehr effiziente Anwendungen in z.B. maschinelles Lernen und Data Mining. insbesondere Datenvisualisierung, Variablenauswahl, Datentransformation und Projektionen, Informationstheorie-Kriterien gehören zu den beliebtesten Ansätzen.

Siehe z.B.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf oder http://www.mdpi.com/1424-8220/11/6/5695

Informationstheorie ermöglicht es uns, eine optimale Datenverdichtung in einer formalen Art und Weise zu nähern z.B.in Bezug auf die posteriore Verteilungen und Markov Blankets:

http://www.mdpi.com/1099-4300/13/7/1403

Es erlaubt uns, obere und untere Schranken für die Wahrscheinlichkeit eines Fehlers in variablen Auswahl abzurufen:

http://www.mdpi.com/1099-4300/12/10/2144

Einer der Vorteile von Verwendung der Informationstheorie im Vergleich zu Statistiken ist, dass man nicht unbedingt Wahrscheinlichkeitsverteilungen einrichten muss. Man kann Information, Redundanz, Entropie, Transfer-Entropie berechnen, ohne zu versuchen, Wahrscheinlichkeitsverteilungen überhaupt zu schätzen. Die Eliminierung der Variablen ohne Informationsverlust ist definiert als die Bewahrung bedingter a posteriorischer Wahrscheinlichkeiten, unter Verwendung der Informationstheorie kann man ähnliche Formulierungen finden ... ohne die Notwendigkeit, Wahrscheinlichkeitsdichten zu berechnen. Berechnungen sind eher in Bezug auf gegenseitige Informationen zwischen Variablen und die Literatur hat eine Menge von effizienten Schätzern und niedrigeren Dimensionsnäherungen für diese bereitgestellt. Siehe: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695

Answer 6

ich von Glynn Winskel dieses Buch vorschlagen könnte. Es wurde in meiner Universität für den Kurs der Informationstheorie verwendet. Es beginnt von Logic Theory definiert dann eine einfache Imperativ Sprache, genannt IMP, und es folgt mit vielen Konzepten über formale Semantik in der Sprache.

Die formale Semantik von Programmiersprachen

http://mitpress.mit.edu/books/formal-semantics-programming-languages

Answer 7

Obwohl, können die Konzepte abstrakt sein, aber sie finden gute Verwendung in der letzten Zeit in Maschinelles Lernen/Künstliche Intelligenz. Dies könnte als eine gute Motivation für die praktische Notwendigkeit für dieses theoretische Konzept dienen. Zusammenfassend möchten Sie abschätzen, wie gut Ihr funktionaler Approximator (LSTM, RNN oder CNN oder lineare Regression) bei der Modellierung der wahren Verteilung gut ist - das ist gegenseitige Information oder relative Entropie, zum Beispiel Minimierung der Kreuzentropie in cnn oder Minimierung der Verzerrungsfunktion/Abstand in der linearen Regression.

Außerdem werden Sie kein nützliches Kommunikationssystem oder vernetztes System ohne irgendeine theoretische Analyse der Kanalkapazität und -eigenschaften bauen.

Im Grunde könnte es theoretisch aussehen, aber es ist das Herz des heutigen Kommunikationszeitalters.

Um eine ausführlichere Ansicht auf das bekommen, was ich meine, ich lade Sie zu diesem ISIT Vortrag zu sehen: https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s von Prof. David TSe