Introduction to Reinforcement Learning with Engineering ApplicationsModulbeschreibung #40919 / Version 1
- 6 LP
- Portfolioprüfung
- Benotet
- Sommersemester
- Englisch
Diese Modulbeschreibung gilt nicht im aktuellen Semester (WiSe 2026/27).
| Modul / Version | #40919 / #1 |
|---|---|
| Gültigkeit | WS 2018/19 – WS 2018/19 |
| Verfügbare Sprache(n) | Englisch |
| Leistungspunkte | 6 |
| Modulverantwortliche*r | Maghsudi, Setareh |
| Benotung | Benotet |
| Prüfungsform | Portfolioprüfung |
| Lehrsprache(n) | Englisch |
Zugehörigkeit
| Fakultät | Fakultät IV |
|---|---|
| Institut | Institut für Telekommunikationssysteme |
| Fachgebiet | 34332400 FG Control of Convergent Access Networks |
Kontakt
| Sekretariat | EN 17 |
|---|---|
| Ansprechpartner*in | Maghsudi, Setareh |
| E-Mail-Adresse | teaching@ccan.tu-berlin.de |
| Webseite | https://www.ccan.tu-berlin.de/menue/teaching/ |
Lernergebnisse
The module is developed to provide an introduction to reinforcement learning, with an emphasis on applications in engineering. It consists of two courses in sequence. The first course, which takes place during the first half of the semester, is held in the conventional frontal teaching form. During this part, basic models and concepts of reinforcement learning are introduced. The second course, which takes place in the second half of the semester, is in the form of seminar or mini-project. Each student defines some mini-project, in which some engineering problem is addressed by using reinforcement learning. The projects are in the form of research and/or computer implementation. The progress and results are presented and discussed in the class during the semester.
Lehrinhalte
A. Theory:
1. Markov Decision Processes
• Bellman Equation, Value iteration, policy iteration
• Dynamic Programming
• Algorithmic Solutions
• Partially-Observable Setting
• Q-Learning
• The Multi-Agent Setting
2. Multi-Armed Bandits
• Basics
• Stochastic Bandits
• Adversarial Bandits
• Markovian Bandits
•The Multi-Agent Setting
B. Application:
1. Data Analytics
2. Image/Speech Processing
3. Radio Resource Allocation
4. Load Balancing
5. Security
6. Internet of Things
1. Markov Decision Processes
• Bellman Equation, Value iteration, policy iteration
• Dynamic Programming
• Algorithmic Solutions
• Partially-Observable Setting
• Q-Learning
• The Multi-Agent Setting
2. Multi-Armed Bandits
• Basics
• Stochastic Bandits
• Adversarial Bandits
• Markovian Bandits
•The Multi-Agent Setting
B. Application:
1. Data Analytics
2. Image/Speech Processing
3. Radio Resource Allocation
4. Load Balancing
5. Security
6. Internet of Things
Modulbestandteile
Pflichtbereich
Die folgenden Veranstaltungen sind für das Modul obligatorisch:
Arbeitsaufwand und Leistungspunkte
Introduction to Reinforcement Learning (Vorlesung)
| Aufwandbeschreibung | Multiplikator | Stunden | Gesamt |
|---|---|---|---|
| Präsenzzeit | 15 | 2 h | 30 h |
| Pre- and Post-processing | 1 | 20 h | 20 h |
| Take-home Problem Set | 1 | 20 h | 20 h |
| Exam Preparation | 1 | 20 h | 20 h |
| 90 h | |||
Applications of Reinforcement Learning in Engineering (Integrierte Veranstaltung)
| Aufwandbeschreibung | Multiplikator | Stunden | Gesamt |
|---|---|---|---|
| Präsenzzeit | 15 | 2 h | 30 h |
| Vor-/Nachbereitung | 15 | 4 h | 60 h |
| 90 h | |||
Der Aufwand des Moduls summiert sich zu 180 Stunden. Damit umfasst das Modul 6 Leistungspunkte.
Beschreibung der Lehr- und Lernformen
The module consists of two parts; the first part is held in the conventional teaching form to provide the students with necessary knowledge. The second course also includes seminar in order to enhance the self-learning ability and presentation skills of students. Also a project is foreseen to apply the learned materials in a real-world engineering problem, which improves the analytical and/or programming skills of students.
Voraussetzungen für die Teilnahme / Prüfung
Wünschenswerte Voraussetzungen für die Teilnahme an den Lehrveranstaltungen:
Prerequisites to attend the course are calculus, probability theory and random processes at the level of MSc students in engineering.
Verpflichtende Voraussetzungen für die Modulprüfungsanmeldung:
Dieses Modul hat keine Prüfungsvoraussetzungen.
Abschluss des Moduls
| Benotung | Benotet |
|---|---|
| Prüfungsform | Portfolioprüfung |
| Art der Portfolioprüfung | 100 Punkte insgesamt |
| Sprache | Englisch |
Prüfungselemente
| Name | Punkte/Gewicht | Kategorie | Dauer/Umfang |
|---|---|---|---|
| (Deliverable Assessment) Take-home Problem Set | 20 | schriftlich | One problem set |
| (Examination) Oral test/discussion | 30 | mündlich | 20 Minuten |
| (Deliverable Assessment) Seminar Presentation | 20 | mündlich | 30 Minuten |
| (Deliverable Assessment) Mini-Project | 30 | flexibel |
Dauer des Moduls
Für Belegung und Abschluss des Moduls ist folgende Semesteranzahl veranschlagt: 1 Semester.
Dieses Modul kann in folgenden Semestern begonnen werden: Sommersemester.
Maximale teilnehmende Personen
Die maximale Teilnehmerzahl beträgt 20.
Anmeldeformalitäten
Besides the examination registration at QISPOS/Prüfungsamt within the first 6 weeks of the lecture period, no formal enrollment is required.
Literaturhinweise, Skripte
Skript in Papierform
verfügbar
Skript in elektronischer Form
nicht verfügbar
Empfohlene Literatur
- R. S. Sutton and A. Barto, Reinforcement Learning: An Introduction, MIT Press, 1998
- C. Szepevri, Algorithms for Reinforcement Learning, Morgan and Claypool, 2010
- N. Cesa-Bianchi and S. Bubeck, Regret Analysis of Stochastic and Non-Stochastic Multi-Armed Bandit Problems, Foundations and Trends in Machine Learning-Now Publishing, 2012
Zugeordnete Studiengänge
Dieses Modul findet in keinem Studiengang Verwendung.
Sonstiges
Keine Angabe