Information TheoryModulbeschreibung #40230 / Version 1
- 6 LP
- Portfolioprüfung
- Benotet
- Winter- und Sommersemester
- Englisch
Diese Modulbeschreibung gilt nicht im aktuellen Semester (WiSe 2026/27).
| Modul / Version | #40230 / #1 |
|---|---|
| Gültigkeit | WS 2015/16 – WS 2016/17 |
| Verfügbare Sprache(n) | Englisch |
| Leistungspunkte | 6 |
| Modulverantwortliche*r | Caire, Giuseppe |
| Benotung | Benotet |
| Prüfungsform | Portfolioprüfung |
| Lehrsprache(n) | Englisch |
Zugehörigkeit
| Fakultät | Fakultät IV |
|---|---|
| Institut | Institut für Telekommunikationssysteme |
| Fachgebiet | 34331600 FG Theoretische Grundlagen der Kommunikationstechnik |
Kontakt
| Sekretariat | HFT 6 |
|---|---|
| Ansprechpartner*in | Caire, Giuseppe |
| E-Mail-Adresse | caire@tu-berlin.de |
| Webseite | http://www.commit.tu-berlin.de/menue/lehre/parameter/en/ |
Lernergebnisse
Students are presented with fundamental and advanced concepts in Information Theory. The module is formed by two courses in sequence. In the first course, basic information measures and single-source/single-destination problems are presented. In the second course, multiuser network problems are presented. Information theory forms the theoretical foundation of communication networks, data compression, data storage, and source coding, such as video and audio coding.
Lehrinhalte
- Definition and main properties of entropy, cross-entropy (information divergence) and mutual information
- Typical sequences and typical sets, fundamental lemmas of typicality.
- Data compression, Human codes, arithmetic codes, notion of universal lossless source coding (Lempel-Ziv algorithm).
- Channel capacity of discrete memoryless channels
- Gaussian channels, spectral efficiency, waterfilling power allocation with relation to bit-loading and OFDM.
- Rate-distortion theory and quantization, reverse waterfilling with relation to subband coding, successive refinement coding, with reference to scalable image and video coding.
- The Multiple Access Channel
- The Broadcast Channel
- The Interference Channel
- Graphical networks and network coding
- Relay networks and noisy network coding
- Typical sequences and typical sets, fundamental lemmas of typicality.
- Data compression, Human codes, arithmetic codes, notion of universal lossless source coding (Lempel-Ziv algorithm).
- Channel capacity of discrete memoryless channels
- Gaussian channels, spectral efficiency, waterfilling power allocation with relation to bit-loading and OFDM.
- Rate-distortion theory and quantization, reverse waterfilling with relation to subband coding, successive refinement coding, with reference to scalable image and video coding.
- The Multiple Access Channel
- The Broadcast Channel
- The Interference Channel
- Graphical networks and network coding
- Relay networks and noisy network coding
Modulbestandteile
Pflichtbereich
Die folgenden Veranstaltungen sind für das Modul obligatorisch:
Arbeitsaufwand und Leistungspunkte
Information Theory (Vorlesung)
| Aufwandbeschreibung | Multiplikator | Stunden | Gesamt |
|---|---|---|---|
| Attendance time | 15 | 2 h | 30 h |
| Examination preparation | 1 | 30 h | 30 h |
| Preparation and postprocessing | 15 | 2 h | 30 h |
| 90 h | |||
Network Information Theory (Vorlesung)
| Aufwandbeschreibung | Multiplikator | Stunden | Gesamt |
|---|---|---|---|
| Attendance time | 15 | 2 h | 30 h |
| Examination preparation | 1 | 30 h | 30 h |
| Preparation and postprocessing | 15 | 2 h | 30 h |
| 90 h | |||
Der Aufwand des Moduls summiert sich zu 180 Stunden. Damit umfasst das Modul 6 Leistungspunkte.
Beschreibung der Lehr- und Lernformen
The module consists of conventional frontal teaching in class, developing theoretical and mathematical concepts, exercises developed in class, in order to develop problem-solving skills and reinforce comprehension of the theory, and homework exercises in order to develop independent and autonomous thinking skills in the students.
Voraussetzungen für die Teilnahme / Prüfung
Wünschenswerte Voraussetzungen für die Teilnahme an den Lehrveranstaltungen:
Prerequisite for participation to courses are a mathematical background at the level of beginning MS students in Electrical Engineering (multivariate calculus, Fourier and Laplace Transforms, signals and systems, linear algebra and notions of matrix theory). The course is open to students enrolled in any MSc in EE CS, Mathematics and Physics
Verpflichtende Voraussetzungen für die Modulprüfungsanmeldung:
Dieses Modul hat keine Prüfungsvoraussetzungen.
Abschluss des Moduls
| Benotung | Benotet |
|---|---|
| Prüfungsform | Portfolioprüfung |
| Sprache | Englisch |
Prüfungselemente
| Name | Punkte/Gewicht | Kategorie | Dauer/Umfang |
|---|---|---|---|
| (Deliverable assessment) Project presentation | 40 | ||
| (Examination) Oral examination/discussion | 20 | ||
| (Examination) Written test | 40 |
Prüfungsbeschreibung (Abschluss des Moduls)
The final grade according to § 47 (2) AllgStuPO will be calculated according to Notenschlüssel 3 of Faculty
IV.
IV.
Dauer des Moduls
Für Belegung und Abschluss des Moduls ist folgende Semesteranzahl veranschlagt: 2 Semester.
Dieses Modul kann in folgenden Semestern begonnen werden: Winter- und Sommersemester.
Maximale teilnehmende Personen
Dieses Modul ist nicht auf eine Anzahl Studierender begrenzt.
Anmeldeformalitäten
Course teaching and organization (not module examination enrollment at Examination office/Prüfungsamt) is supported by an ISIS course. Registration details are provided at the beginning of the module.
Literaturhinweise, Skripte
Skript in Papierform
nicht verfügbar
Skript in elektronischer Form
verfügbar – Course notes and slides in electronic form are provided
Empfohlene Literatur
- El Gamal, Abbas, and Young-Han Kim. Network information theory. Cambridge University Press, 2011.
- T. Cover and J. Thomas, Elements of Information Theory, 2nd Ed., Wiley Interscience, 2006.
Zugeordnete Studiengänge
Dieses Modul findet in keinem Studiengang Verwendung.
Sonstiges
The module is formed by two courses, taking place in two consecutive semesters (WS - SS)