Ein gutes Intro zur Informationstheorie, bitte?

Question

Ich weiß über Wikipedia und MacKay's Information Theory, Inference, and Learning Algorithms (ist es als Lehrbuch geeignet?). Ein Lehrbuch, das mit Shannons Entropie beginnt und durch bedingte Entropie und gegenseitige Information geht, wird gesucht ... Irgendeine Idee? Wenn Sie einen solchen Kurs an Ihrer Hochschule absolvieren, welches Lehrbuch wird verwendet?

Danke.

Answer 1

Ich verwendete das folgende Lehrbuch während meines Studiums in CS bei EPFL. IMO, es ist gut geschrieben, mit guten Erläuterungen und deckt mehr als genug für eine Einführung in die Domain ab.

Elements of Information Theory

Elements of Information Theory http://ecx.images-amazon.com/images/I/51HVK59X77L.jpg

EDIT: Für weiterführende Literatur, sind hier einige andere Messwerte, die mein Professor empfehlen hat. Ich habe sie nicht gelesen (Schande über mich), also kann ich nicht sagen, ob sie gut sind oder nicht.

1. RG Gallager, Information Theory and Reliable Communication, Wiley, 1968
2. D. MacKay, Information Theory, Inference & Learning Algorithms, Cambridge University Press, 2008. (Sie bereits erwähnt)
3. I. Csiszar und J. Korner, Information Theory: Coding Theorems for Discrete Memoryless Systems, Akademiai Kiadö, 1997.
4. C. E. Shannon, The Mathematical Theory of Communication