Zum Inhalt springen
Technische Universität Berlin English
Vorlesungsverzeichnis und Modultransfersystem

Information TheoryModulbeschreibung #40230 / Version 1

← Zur Modulseite English version
Diese Modulbeschreibung gilt nicht im aktuellen Semester (WiSe 2026/27).
Modul / Version#40230 / #1
GültigkeitWS 2015/16 – WS 2016/17
Verfügbare Sprache(n)Englisch
Leistungspunkte6
Modulverantwortliche*rCaire, Giuseppe
BenotungBenotet
PrüfungsformPortfolioprüfung
Lehrsprache(n)Englisch

Zugehörigkeit

FakultätFakultät IV
InstitutInstitut für Telekommunikationssysteme
Fachgebiet34331600 FG Theoretische Grundlagen der Kommunikationstechnik

Kontakt

SekretariatHFT 6
Ansprechpartner*inCaire, Giuseppe
E-Mail-Adressecaire@tu-berlin.de
Webseitehttp://www.commit.tu-berlin.de/menue/lehre/parameter/en/

Lernergebnisse

Students are presented with fundamental and advanced concepts in Information Theory. The module is formed by two courses in sequence. In the first course, basic information measures and single-source/single-destination problems are presented. In the second course, multiuser network problems are presented. Information theory forms the theoretical foundation of communication networks, data compression, data storage, and source coding, such as video and audio coding.

Lehrinhalte

- Definition and main properties of entropy, cross-entropy (information divergence) and mutual information
- Typical sequences and typical sets, fundamental lemmas of typicality.
- Data compression, Human codes, arithmetic codes, notion of universal lossless source coding (Lempel-Ziv algorithm).
- Channel capacity of discrete memoryless channels
- Gaussian channels, spectral efficiency, waterfilling power allocation with relation to bit-loading and OFDM.
- Rate-distortion theory and quantization, reverse waterfilling with relation to subband coding, successive refinement coding, with reference to scalable image and video coding.
- The Multiple Access Channel
- The Broadcast Channel
- The Interference Channel
- Graphical networks and network coding
- Relay networks and noisy network coding

Modulbestandteile

Pflichtbereich

Die folgenden Veranstaltungen sind für das Modul obligatorisch:

LehrveranstaltungenArtNummerTurnusSpracheSWSVVZ
Information TheoryVorlesung0432 L 654 Wintersemester–2 ISIS
Network Information TheoryVorlesung34331600 L 001 Sommersemester–2 ISIS

Arbeitsaufwand und Leistungspunkte

Information Theory (Vorlesung)

AufwandbeschreibungMultiplikatorStundenGesamt
Attendance time152 h30 h
Examination preparation 130 h30 h
Preparation and postprocessing 152 h30 h
90 h

Network Information Theory (Vorlesung)

AufwandbeschreibungMultiplikatorStundenGesamt
Attendance time152 h30 h
Examination preparation 130 h30 h
Preparation and postprocessing152 h30 h
90 h

Der Aufwand des Moduls summiert sich zu 180 Stunden. Damit umfasst das Modul 6 Leistungspunkte.

Beschreibung der Lehr- und Lernformen

The module consists of conventional frontal teaching in class, developing theoretical and mathematical concepts, exercises developed in class, in order to develop problem-solving skills and reinforce comprehension of the theory, and homework exercises in order to develop independent and autonomous thinking skills in the students.

Voraussetzungen für die Teilnahme / Prüfung

Wünschenswerte Voraussetzungen für die Teilnahme an den Lehrveranstaltungen:

Prerequisite for participation to courses are a mathematical background at the level of beginning MS students in Electrical Engineering (multivariate calculus, Fourier and Laplace Transforms, signals and systems, linear algebra and notions of matrix theory). The course is open to students enrolled in any MSc in EE CS, Mathematics and Physics

Verpflichtende Voraussetzungen für die Modulprüfungsanmeldung:

Dieses Modul hat keine Prüfungsvoraussetzungen.

Abschluss des Moduls

BenotungBenotet
PrüfungsformPortfolioprüfung
SpracheEnglisch

Prüfungselemente

NamePunkte/GewichtKategorieDauer/Umfang
(Deliverable assessment) Project presentation40
(Examination) Oral examination/discussion20
(Examination) Written test40

Prüfungsbeschreibung (Abschluss des Moduls)

The final grade according to § 47 (2) AllgStuPO will be calculated according to Notenschlüssel 3 of Faculty
IV.

Dauer des Moduls

Für Belegung und Abschluss des Moduls ist folgende Semesteranzahl veranschlagt: 2 Semester.

Dieses Modul kann in folgenden Semestern begonnen werden: Winter- und Sommersemester.

Maximale teilnehmende Personen

Dieses Modul ist nicht auf eine Anzahl Studierender begrenzt.

Anmeldeformalitäten

Course teaching and organization (not module examination enrollment at Examination office/Prüfungsamt) is supported by an ISIS course. Registration details are provided at the beginning of the module.

Literaturhinweise, Skripte

Skript in Papierform

nicht verfügbar

Skript in elektronischer Form

verfügbar – Course notes and slides in electronic form are provided

Empfohlene Literatur

  • El Gamal, Abbas, and Young-Han Kim. Network information theory. Cambridge University Press, 2011.
  • T. Cover and J. Thomas, Elements of Information Theory, 2nd Ed., Wiley Interscience, 2006.

Zugeordnete Studiengänge

Dieses Modul findet in keinem Studiengang Verwendung.

Sonstiges

The module is formed by two courses, taking place in two consecutive semesters (WS - SS)