Eventbasierte Maschinelles SehenModulbeschreibung #40993 / Version 2
- 6 LP
- Portfolioprüfung
- Benotet
- Sommersemester
- Englisch
| Modul / Version | #40993 / #2 |
|---|---|
| Gültigkeit | Seit SoSe 2025 |
| Verfügbare Sprache(n) | Englisch |
| Leistungspunkte | 6 |
| Modulverantwortliche*r | Gallego, Guillermo |
| Benotung | Benotet |
| Prüfungsform | Portfolioprüfung |
| Lehrsprache(n) | Englisch |
Zugehörigkeit
| Fakultät | Fakultät IV |
|---|---|
| Institut | Institut für Technische Informatik und Mikroelektronik |
| Fachgebiet | 34342000 FG Robotic Interactive Perception |
Kontakt
| Sekretariat | MAR 5-5 |
|---|---|
| Ansprechpartner*in | Gallego, Guillermo |
| E-Mail-Adresse | guillermo.gallego@tu-berlin.de |
| Webseite | https://www.digital-future.berlin/en/about-us/professors/prof-dr-guillermo-gallego/ |
Lernergebnisse
Die Teilnehmer lernen grundlegende Konzepte, theoretische Grundlagen und relevante Algorithmen kennen, die im Bereich der eventbasierten (d. h. neuromorphen) Bildverarbeitung entwickelt wurden. Nach Abschluss des Moduls haben die Teilnehmer einen Überblick über das Feld, das vom Funktionsprinzip eventbasierter Sensoren (z. B. eventbasierter Kameras) über ihre Vor- und Nachteile bis hin zu den Methoden reicht, mit denen die Eventdaten für eine Zielanwendung verarbeitet werden. Die Teilnehmer lernen auch die Unterschiede zur konventionellen (Video-basierten) Computerbildverarbeitung in Bezug auf Methoden, Leistungskriterien und Anwendungen kennen.
Lehrinhalte
Dieser Kurs ist der erste seiner Art weltweit. Nach bestem Wissen des Kursleiters wurde aufgrund der Neuartigkeit der behandelten Themen, die in den letzten zehn Jahren auf Forschungskonferenzen und in Fachzeitschriften erschienen sind, bisher nirgendwo ein ähnlicher Kurs angeboten.
Zu den behandelten Themen gehören:
Biologisch inspiriertes Funktionsprinzip von eventbasierten (d.h. neuromorphen) Sensoren.
Eventbasierte Merkmalserkennung und -verfolgung.
Eventbasierte Bewegungsschätzung: Schätzung des optischen Flusses, 3D-Rekonstruktion, Lokalisierung der Kamera und Schätzung der Eigen-Bewegung, simultane Lokalisierung und Kartierung (E-SLAM).
Stereo-Tiefenschätzung in dynamischen Szenen.
Rekonstruktion der Bildintensität aus Events.
Eventbasierte Mustererkennung, Klassifizierung und maschinelles Lernen.
Eventbasierte Signalverarbeitung und -filterung.
Eventbasierte Sensor-Fusion.
Eventbasierte Regelung.
Eventbasierte (d.h. Spike-basierte) Hardware.
Neue Anwendungen im eventbasierten maschinellen Sehen.
Zu den behandelten Themen gehören:
Biologisch inspiriertes Funktionsprinzip von eventbasierten (d.h. neuromorphen) Sensoren.
Eventbasierte Merkmalserkennung und -verfolgung.
Eventbasierte Bewegungsschätzung: Schätzung des optischen Flusses, 3D-Rekonstruktion, Lokalisierung der Kamera und Schätzung der Eigen-Bewegung, simultane Lokalisierung und Kartierung (E-SLAM).
Stereo-Tiefenschätzung in dynamischen Szenen.
Rekonstruktion der Bildintensität aus Events.
Eventbasierte Mustererkennung, Klassifizierung und maschinelles Lernen.
Eventbasierte Signalverarbeitung und -filterung.
Eventbasierte Sensor-Fusion.
Eventbasierte Regelung.
Eventbasierte (d.h. Spike-basierte) Hardware.
Neue Anwendungen im eventbasierten maschinellen Sehen.
Modulbestandteile
Pflichtbereich
Die folgenden Veranstaltungen sind für das Modul obligatorisch:
| Lehrveranstaltungen | Art | Nummer | Turnus | Sprache | SWS | VVZ |
|---|---|---|---|---|---|---|
| Event-based Robot Vision | Übung | 34342000L-002 | Sommersemester | [en] | 2 | WiSe 2026/27 (1) ISIS |
| Event-based Robot Vision | Vorlesung | 34342000L-001 | Sommersemester | [en] | 4 | WiSe 2026/27 (1) ISIS |
Veranstaltungen im Vorlesungsverzeichnis
Veranstaltungen, die aus den Lehrveranstaltungen dieses Moduls angelegt wurden.
WiSe 2026/27 (2)
Event-based Robot Vision (Übung) 1
- Event-based Robot Vision (Übung) Termingruppe 1 3434 L 002
Event-based Robot Vision (Vorlesung) 1
- Event-based Robot Vision (Vorlesung) Termingruppe 1 3434 L 001
Arbeitsaufwand und Leistungspunkte
Event-based Robot Vision (Übung)
| Aufwandbeschreibung | Multiplikator | Stunden | Gesamt |
|---|---|---|---|
| Präsenzzeit | 15 | 2 h | 30 h |
| Vor-/Nachbereitung | 15 | 4 h | 60 h |
| 90 h | |||
Event-based Robot Vision (Vorlesung)
| Aufwandbeschreibung | Multiplikator | Stunden | Gesamt |
|---|---|---|---|
| Präsenzzeit | 15 | 4 h | 60 h |
| Vor-/Nachbereitung | 15 | 2 h | 30 h |
| 90 h | |||
Der Aufwand des Moduls summiert sich zu 180 Stunden. Damit umfasst das Modul 6 Leistungspunkte.
Beschreibung der Lehr- und Lernformen
In den Vorlesungen werden die Themen (Sensoren und Algorithmen) aus theoretischer Sicht vorgestellt, mit besonderen Fokus auf die zugrunde liegenden Prinzipien und verwendeten mathematischen Werkzeuge. Die Teilnahme/Interaktion ist erwünscht und wird erwartet, einschließlich der Möglichkeit von Leseaufträgen. Von den Teilnehmern wird erwartet, dass sie die Themen nach dem Unterricht zur Vorbereitung auf die Übungen wiederholen.
Die Übungen finden parallel statt. Sie bieten den Teilnehmern die Möglichkeit, praktische Einblicke in die Technologie der eventbasierten Kameras zu erhalten. Eventbasierte Verarbeitungsalgorithmen werden im Detail besprochen und teilweise implementiert.
Die Übungen finden parallel statt. Sie bieten den Teilnehmern die Möglichkeit, praktische Einblicke in die Technologie der eventbasierten Kameras zu erhalten. Eventbasierte Verarbeitungsalgorithmen werden im Detail besprochen und teilweise implementiert.
Voraussetzungen für die Teilnahme / Prüfung
Wünschenswerte Voraussetzungen für die Teilnahme an den Lehrveranstaltungen:
Das Modul deckt viele Themen der neusten Forschung ab. Es erfordert Grundkenntnisse in den Bereichen Informationstechnologie, Bildverarbeitung, maschinelles Sehen und maschinelles Lernen.
Verpflichtende Voraussetzungen für die Modulprüfungsanmeldung:
Dieses Modul hat keine Prüfungsvoraussetzungen.
Abschluss des Moduls
| Benotung | Benotet |
|---|---|
| Prüfungsform | Portfolioprüfung |
| Art der Portfolioprüfung | 100 Punkte insgesamt |
| Sprache | Englisch |
Prüfungselemente
| Name | Punkte/Gewicht | Kategorie | Dauer/Umfang |
|---|---|---|---|
| (Prüfung) Schriftliche Prüfung (Abschlussprüfung) | 40 | schriftlich | 60 minutes |
| (Prüfung) Schriftliche Prüfung (Zwischenprüfung) | 30 | schriftlich | 60 minutes |
| (Deliverables) Praktische Übungen | 30 | praktisch | 2-4 pages, program code |
Prüfungsbeschreibung (Abschluss des Moduls)
Die Prüfungen bestehen aus Multiple-Choice-Fragen sowie aus Aufgaben, bei denen die Antwort in schriftlicher Form (mit Sätzen und Mathematik) ausgearbeitet werden muss.
Dauer des Moduls
Für Belegung und Abschluss des Moduls ist folgende Semesteranzahl veranschlagt: 1 Semester.
Dieses Modul kann in folgenden Semestern begonnen werden: Sommersemester.
Maximale teilnehmende Personen
Die maximale Teilnehmerzahl beträgt 30.
Anmeldeformalitäten
Bei Fragen zum Modul wenden Sie sich bitte an Prof. Gallego
guillermo.gallego@tu-berlin.de
guillermo.gallego@tu-berlin.de
Literaturhinweise, Skripte
Skript in Papierform
nicht verfügbar
Skript in elektronischer Form
nicht verfügbar
Empfohlene Literatur
- Gallego et al., Event-based Vision: A survey, IEEE T-PAMI 2022. https://arxiv.org/abs/1904.08405
- Posch et al., Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output. Proc. IEEE (2014), 102(10):1470-1484
- List of Event-based Vision Resources: https://github.com/uzh-rpg/event-based_vision_resources
- CVPR 2023 International Workshop on Event-based Vision - Slides and Videos: https://tub-rip.github.io/eventvision2023/
Zugeordnete Studiengänge
Diese Modulversion wird in folgenden Studiengängen verwendet:
| Studiengang / StuPO | Semester | Studiengangsbereich |
|---|---|---|
| Computer Engineering StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems |
| WiSe 2025/26 | Wahlpflicht Studiengebiet B › Kognitive Systeme / Cognitive Systems | |
| SoSe 2026 | Wahlpflicht Studiengebiet B › Kognitive Systeme / Cognitive Systems | |
| WiSe 2026/27 | Wahlpflichtbereich › Studiengebiet B › Kognitive Systeme / Cognitive Systems | |
| Computer Science (Informatik) StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems |
| WiSe 2025/26 | Studiengebiete › Kognitive Systeme / Cognitive Systems | |
| SoSe 2026 | Studiengebiete › Kognitive Systeme / Cognitive Systems | |
| WiSe 2026/27 | Wahlpflichtbereich › Studiengebiet › Kognitive Systeme / Cognitive Systems | |
| Elektrotechnik StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems |
| WiSe 2025/26 | Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems | |
| SoSe 2026 | Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems | |
| WiSe 2026/27 | Wahlpflichtbereich › Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems | |
| Information Systems Management (Wirtschaftsinformatik) StuPO 2017 | SoSe 2025 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems |
| WiSe 2025/26 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems | |
| SoSe 2026 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems | |
| WiSe 2026/27 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems | |
| Wirtschaftsingenieurwesen StuPO 2026 | WiSe 2026/27 | Ingenieurwissenschaften / Studienrichtungen › AI Engineering › Cognitive Systems |
Sonstiges
Mastermodul:
Kognitive Systeme und Informationssysteme
Kognitive Systeme und Informationssysteme