Zum Inhalt springen
Technische Universität Berlin English
Vorlesungsverzeichnis und Modultransfersystem

Introduction to Reinforcement Learning with Engineering ApplicationsModulbeschreibung #40919 / Version 2

← Zur Modulseite English version
Diese Modulbeschreibung gilt nicht im aktuellen Semester (WiSe 2026/27).
Modul / Version#40919 / #2
GültigkeitSoSe 2020 – SoSe 2020
Verfügbare Sprache(n)Englisch
Leistungspunkte6
Modulverantwortliche*rMaghsudi, Setareh
BenotungBenotet
PrüfungsformPortfolioprüfung
Lehrsprache(n)Englisch

Zugehörigkeit

FakultätFakultät IV
InstitutInstitut für Telekommunikationssysteme
Fachgebiet34332400 FG Control of Convergent Access Networks

Kontakt

SekretariatEN 17
Ansprechpartner*inMaghsudi, Setareh
E-Mail-Adresseteaching@ccan.tu-berlin.de
Webseitehttps://www.ccan.tu-berlin.de/menue/teaching/

Lernergebnisse

After successful completion of the module, students are able to apply the concept of reinforcement learning to solve practical tasks in various fields of technology. They can analyze application fields to select, implement, evaluate and optimize appropriate decision making methods based on reinforcement learning.

Lehrinhalte

A. Theory:
1. Markov Decision Processes
• Bellman Equation, Value iteration, policy iteration
• Dynamic Programming
• Algorithmic Solutions
• Partially-Observable Setting
• Q-Learning
• The Multi-Agent Setting
2. Multi-Armed Bandits
• Basics
• Stochastic Bandits
• Adversarial Bandits
• Markovian Bandits
•The Multi-Agent Setting
B. Application:
1. Data Analytics
2. Image/Speech Processing
3. Radio Resource Allocation
4. Load Balancing
5. Security
6. Internet of Things

Modulbestandteile

Pflichtbereich

Die folgenden Veranstaltungen sind für das Modul obligatorisch:

LehrveranstaltungenArtNummerTurnusSpracheSWSVVZ
Introduction to Reinforcement LearningVorlesung34332400 L 004 Sommersemester[en]2 ISIS
Applications of Reinforcement Learning in EngineeringIntegrierte Veranstaltung34332400 L 005 Sommersemester[en]2 ISIS

Arbeitsaufwand und Leistungspunkte

Introduction to Reinforcement Learning (Vorlesung)

AufwandbeschreibungMultiplikatorStundenGesamt
Präsenzzeit152 h30 h
Pre- and Post-processing120 h20 h
Take-home Problem Set120 h20 h
Exam Preparation120 h20 h
90 h

Applications of Reinforcement Learning in Engineering (Integrierte Veranstaltung)

AufwandbeschreibungMultiplikatorStundenGesamt
Präsenzzeit152 h30 h
Vor-/Nachbereitung154 h60 h
90 h

Der Aufwand des Moduls summiert sich zu 180 Stunden. Damit umfasst das Modul 6 Leistungspunkte.

Beschreibung der Lehr- und Lernformen

The module is developed to provide an introduction to reinforcement learning, with an emphasis on applications in engineering. It consists of two courses in sequence. The first course, which takes place during the first half of the semester, is held in the conventional frontal teaching form. During this part, basic models and concepts of reinforcement learning are introduced. The second course, which takes place in the second half of the semester, is in the form of seminar or mini-project. Each student defines some mini-project, in which some engineering problem is addressed by using reinforcement learning. The projects are in the form of research and/or computer implementation. The progress and results are presented and discussed in the class during the semester.

Voraussetzungen für die Teilnahme / Prüfung

Wünschenswerte Voraussetzungen für die Teilnahme an den Lehrveranstaltungen:

Prerequisites to attend the module are calculus, probability theory and random processes at the level of MSc students in engineering.

Verpflichtende Voraussetzungen für die Modulprüfungsanmeldung:

Dieses Modul hat keine Prüfungsvoraussetzungen.

Abschluss des Moduls

BenotungBenotet
PrüfungsformPortfolioprüfung
Art der Portfolioprüfung100 Punkte insgesamt
SpracheEnglisch

Prüfungselemente

NamePunkte/GewichtKategorieDauer/Umfang
(Deliverable Assessment) Take-home Problem Set20schriftlichOne problem set
(Examination) Oral test/discussion30mündlich20 Minuten
(Deliverable Assessment) Seminar Presentation20mündlich30 Minuten
(Deliverable Assessment) Mini-Project30flexibel

Prüfungsbeschreibung (Abschluss des Moduls)

The grading consists of 4 parts:

(i) Take-home problem set: The students receive a set of problems (10-20 questions) with a due date near the end of the lecture.

(ii) Oral test: The test is organized for each student individually and the questions concern the theoretical and fundamental topics of the lecture.

(iii) Report: Each student (or each team) provides a written description of the selected mini-project, the novelty of the mini-project, the findings/results, and the ideas for future work. If the project includes computer simulation, the supplementary materials (such as the data set and the code, if applicable) shall accompany the report.

(iv) Presentation: Each student (or each team) presents his/her mini-project together with the findings and results as well as the ideas for future work.

Dauer des Moduls

Für Belegung und Abschluss des Moduls ist folgende Semesteranzahl veranschlagt: 1 Semester.

Dieses Modul kann in folgenden Semestern begonnen werden: Sommersemester.

Maximale teilnehmende Personen

Die maximale Teilnehmerzahl beträgt 20.

Anmeldeformalitäten

How to sign in: Please write an e-mail to: teaching@ccan.tu-berlin.de until April 10.
Please provide the following information in your e-mail:
- your name,
- your study program,
- your current semester count.

Literaturhinweise, Skripte

Skript in Papierform

verfügbar

Skript in elektronischer Form

nicht verfügbar

Empfohlene Literatur

  • R. S. Sutton and A. Barto, Reinforcement Learning: An Introduction, MIT Press, 1998
  • C. Szepevri, Algorithms for Reinforcement Learning, Morgan and Claypool, 2010
  • N. Cesa-Bianchi and S. Bubeck, Regret Analysis of Stochastic and Non-Stochastic Multi-Armed Bandit Problems, Foundations and Trends in Machine Learning-Now Publishing, 2012

Zugeordnete Studiengänge

Dieses Modul findet in keinem Studiengang Verwendung.

Sonstiges

Keine Angabe