Informationstheorie

Inhalt

In der Lehrveranstaltung wird eine Einführung in die Grundlagen der Shannonschen Informationstheorie gegeben. Ziel ist es, dass die Studierenden wesentliche informationstheoretische Resultate zur maximal möglichen verlustlosen (Quellencodierung) und verlustbehafteten (Rate-Distortion-Theorie) Komprimierung von Daten und zur maximalen Geschwindigkeit einer zuverlässigen Datenübertragung (Kanalcodierung) herleiten können. Die für die analytischen Betrachtungen benötigten Hilfsmittel in Form von Informationsmaßen (Entropie, Transinformation, Kapazität usw.) sowie deren Eigenschaften (typische Sequenzen) werden ebenso behandelt wie in der Praxis einsetzbare, einfache Codes (Block-Codes und Turbo-Codes und Polar-Codes).

• Grundbegriffe aus der Wahrscheinlichkeitstheorie
  • Ereignis, Wahrscheinlichkeit, Zufallsgröße, Zufallsvektor, zufälliger Prozeß, Konvergenz zufälliger Folgen, Konvergenzsätze
• Grundbegriffe aus der Informationstheorie
  • Maße für diskrete Zufallsgrößen: Entropie, bedingte Entropie, relative Entropie, Transinformation, bedingte Transinformation, Ungleichungen
  • Maße für stetige Zufallsgrößen: Differentielle Entropie, bedingte differentielle Entropie, relative Entropie, Transinformation, bedingte TI, Ungleichungen
  • Maße für zufällige Folgen
  • Typische Sequenzen und asymptotische Gleichverteilungseigenschaft
• Quellen und Quellencodierung
  • Definition und Eigenschaften
  • Quellencodierung für diskrete gedächtnislose Quellen (feste und variable Länge)
  • Ausgewählte Quellencodes: Morse, Huffman, Shannon-Fano-Elias
• Datenübertragung und Kanalkapazität
  • Diskreter gedächtnisloser Kanal: Kanalcodierungstheorem
  • Diskreter gedächtnisloser Kanal mit Zustand: Kanalkapazitäten
  • Gaußkanal: Modell und Kanalcodierungstheorem
• Bandbegrenzter Gaußkanal, Vektorwertige Gaußkanäle

Veranstaltung (ET-NT-072) mit 5 Credit Points.

Dozent: Prof. Eduard Jorswieck
Assistenten:  Jyun-Sian Wu, Marcel Mross