Eventbasierte Maschinelles Sehen - PROJEKTModulbeschreibung #41021 / Version 2
- 9 LP
- Portfolioprüfung
- Benotet
- Winter- und Sommersemester
- Englisch
| Modul / Version | #41021 / #2 |
|---|---|
| Gültigkeit | Seit SoSe 2025 |
| Verfügbare Sprache(n) | Englisch |
| Leistungspunkte | 9 |
| Modulverantwortliche*r | Gallego, Guillermo |
| Benotung | Benotet |
| Prüfungsform | Portfolioprüfung |
| Lehrsprache(n) | Englisch |
Zugehörigkeit
| Fakultät | Fakultät IV |
|---|---|
| Institut | Institut für Technische Informatik und Mikroelektronik |
| Fachgebiet | 34342000 FG Robotic Interactive Perception |
Kontakt
| Sekretariat | MAR 5-5 |
|---|---|
| Ansprechpartner*in | Gallego, Guillermo |
| E-Mail-Adresse | guillermo.gallego@tu-berlin.de |
| Webseite | https://www.digital-future.berlin/en/about-us/professors/prof-dr-guillermo-gallego/ |
Lernergebnisse
Die Teilnehmer dieses Projektkurses werden praktische Erfahrungen in der Anwendung von Techniken des eventbasierten maschinellen Sehens zur Lösung von Problemen der robotischen Umgebungswarnehmung (Bewegungsschätzung, Erkennung usw.) sammeln. Die Teilnehmer arbeiten einzeln oder in einem kleinen Team zusammen und erwerben Kenntnisse über den Stand der Technik im Bereich des eventbasierten Sehens im Zusammenhang mit dem gewählten Problem.
Lehrinhalte
Die eventbasierte Bildverarbeitung ist eine neuartige Technologie, die Vorteile verspricht, um einige der Einschränkungen herkömmlicher, bildbasierter Kameras und visueller Verarbeitungspipelines (von den Sensoren bis zur Ausgabe verwertbarer Informationen) zu überwinden, wie z. B. Latenzzeit, Dynamikumfang, Bandbreite und Stromverbrauch. Um die Vorteile eventbasierter Kameras nutzen zu können, werden neue Algorithmen benötigt, um ihre unkonventionelle Ausgabe (eine Liste asynchroner pro-pixel Intensitätsänderungen im Gegensatz zu den bekannten Videobildern von Standardkameras) zu verarbeiten. Dieses Projekt befasst sich mit der Untersuchung und Entwicklung maßgeschneiderter Algorithmen und Methoden zur Lösung spezifischer Probleme beim eventbasierten Sehen (Bewegungsschätzung, Segmentierung, Objekterkennung und Klassifizierung usw.).
Zu Beginn des Moduls erhalten die Studierenden Projektthemen aus einer Liste möglicher Themen sowie einige einführende Materialien zu dem gewählten Problem. Nach der Festlegung der Projektteams und -themen werden die geeigneten Werkzeuge für die Durchführung des Projekts besprochen und eingerichtet. Die Studierenden erstellen einen Projektplan, legen die Daten fest, an denen sie arbeiten werden, und die Schritte, die für einen erfolgreichen Abschluss des Projekts vorgesehen sind. In den verbleibenden Wochen entwickeln die Studierenden ihre Projekte und besprechen die Fortschritte mit dem Ausbilder, um künftige Maßnahmen festzulegen. Am Ende des Projekts stellen die Studierenden ihre Ergebnisse in einer mündlichen Präsentation den anderen Teilnehmern des Moduls vor. Sie fassen nicht nur das technische Ergebnis des Projekts zusammen, sondern auch die Schwierigkeiten und Erkenntnisse, die während des Projekts gewonnen wurden.
Zu den allgemeinen Themen gehören unter anderem:
- Algorithmen: visuelle Odometrie, SLAM, 3D-Rekonstruktion, Schätzung des optischen Flusses, Rekonstruktion der Bildintensität, Erkennung, Rekonstruktion der Stereotiefe, Erkennung von Merkmalen/Objekten, Verfolgung, Kalibrierung, Sensorfusion (Videosynthese, visuell-inertiale Odometrie, usw.).
- Eventkamera-Datensätze und/oder -Simulatoren.
- Eventbasierte Signalverarbeitung, Darstellung, Steuerung, Bandbreitenkontrolle.
- Eventbasiertes aktives Sehen, eventbasierte sensomotorische Integration.
- Anwendungen in: Robotik (Navigation, Manipulation, Drohnen...), Automobil, IoT, AR/VR, Weltraumforschung, Inspektion, Überwachung, Personenzählung, Physik, Biologie.
- Modellbasierte, eingebettete oder lernende Ansätze.
- Neuartige Hardware (Kameras, neuromorphe Prozessoren usw.) und/oder Software-Plattformen.
- Neue Trends und Herausforderungen im eventbasierten und/oder biologisch inspirierten Sehen (SNNs, etc.).
- Eventbasiertes Sehen für die Computergrafik.
Eine längere Liste verwandter Themen finden Sie im Inhaltsverzeichnis dieses Repositorys: https://github.com/uzh-rpg/event-based_vision_resources/
Zu Beginn des Moduls erhalten die Studierenden Projektthemen aus einer Liste möglicher Themen sowie einige einführende Materialien zu dem gewählten Problem. Nach der Festlegung der Projektteams und -themen werden die geeigneten Werkzeuge für die Durchführung des Projekts besprochen und eingerichtet. Die Studierenden erstellen einen Projektplan, legen die Daten fest, an denen sie arbeiten werden, und die Schritte, die für einen erfolgreichen Abschluss des Projekts vorgesehen sind. In den verbleibenden Wochen entwickeln die Studierenden ihre Projekte und besprechen die Fortschritte mit dem Ausbilder, um künftige Maßnahmen festzulegen. Am Ende des Projekts stellen die Studierenden ihre Ergebnisse in einer mündlichen Präsentation den anderen Teilnehmern des Moduls vor. Sie fassen nicht nur das technische Ergebnis des Projekts zusammen, sondern auch die Schwierigkeiten und Erkenntnisse, die während des Projekts gewonnen wurden.
Zu den allgemeinen Themen gehören unter anderem:
- Algorithmen: visuelle Odometrie, SLAM, 3D-Rekonstruktion, Schätzung des optischen Flusses, Rekonstruktion der Bildintensität, Erkennung, Rekonstruktion der Stereotiefe, Erkennung von Merkmalen/Objekten, Verfolgung, Kalibrierung, Sensorfusion (Videosynthese, visuell-inertiale Odometrie, usw.).
- Eventkamera-Datensätze und/oder -Simulatoren.
- Eventbasierte Signalverarbeitung, Darstellung, Steuerung, Bandbreitenkontrolle.
- Eventbasiertes aktives Sehen, eventbasierte sensomotorische Integration.
- Anwendungen in: Robotik (Navigation, Manipulation, Drohnen...), Automobil, IoT, AR/VR, Weltraumforschung, Inspektion, Überwachung, Personenzählung, Physik, Biologie.
- Modellbasierte, eingebettete oder lernende Ansätze.
- Neuartige Hardware (Kameras, neuromorphe Prozessoren usw.) und/oder Software-Plattformen.
- Neue Trends und Herausforderungen im eventbasierten und/oder biologisch inspirierten Sehen (SNNs, etc.).
- Eventbasiertes Sehen für die Computergrafik.
Eine längere Liste verwandter Themen finden Sie im Inhaltsverzeichnis dieses Repositorys: https://github.com/uzh-rpg/event-based_vision_resources/
Modulbestandteile
Pflichtbereich
Die folgenden Veranstaltungen sind für das Modul obligatorisch:
| Lehrveranstaltungen | Art | Nummer | Turnus | Sprache | SWS | VVZ |
|---|---|---|---|---|---|---|
| Event-based Robot Vision | Projekt | 3434 L 11007 | Winter- und Sommersemester | – | 6 | WiSe 2026/27 (1) ISIS |
Veranstaltungen im Vorlesungsverzeichnis
Veranstaltungen, die aus den Lehrveranstaltungen dieses Moduls angelegt wurden.
WiSe 2026/27 (1)
Event-based Robot Vision (Projekt) 1
- Event-based Robot Vision (Projekt) Termingruppe 1 3434 L 11007
Arbeitsaufwand und Leistungspunkte
Event-based Robot Vision (Projekt)
| Aufwandbeschreibung | Multiplikator | Stunden | Gesamt |
|---|---|---|---|
| Präsenzzeit | 15 | 6 h | 90 h |
| Vor-/Nachbereitung | 15 | 12 h | 180 h |
| 270 h | |||
Der Aufwand des Moduls summiert sich zu 270 Stunden. Damit umfasst das Modul 9 Leistungspunkte.
Beschreibung der Lehr- und Lernformen
Dieses Modul beinhaltet eine angeleitete und selbstorganisierte Projektarbeit, die durch den Dozenten betreut wird. Die Studierenden erhalten einen kurzen Überblick über die Grundlagen und die neuesten Entwicklungen auf dem Gebiet des eventbasierten Sehens. Die Studierenden arbeiten einzeln oder in kleinen Teams an einem selbst gewählten Thema und präsentieren während des Kurses den Fortschritt bei der Umsetzung ihrer Projekte. Am Ende des Kurses präsentiert jedes Team seine Erkenntnisse, Methoden, Ergebnisse und Erfahrungen in einer Abschlusspräsentation. Schließlich werden die Projekte (Code, Datensatz usw.) dokumentiert und in Form eines Berichts und/oder eines Github-/Gitlab-Repository veröffentlicht.
Voraussetzungen für die Teilnahme / Prüfung
Wünschenswerte Voraussetzungen für die Teilnahme an den Lehrveranstaltungen:
Es sind gute Programmierkenntnisse in mindestens einer der folgenden Programmiersprachen erforderlich: C++, Python.
Grundkenntnisse in Robotik, maschinellem Lernen und maschinellem Sehen sind erforderlich.
Kenntnisse von ROS (Robot Operating System) sind wünschenswert.
Grundkenntnisse in Robotik, maschinellem Lernen und maschinellem Sehen sind erforderlich.
Kenntnisse von ROS (Robot Operating System) sind wünschenswert.
Verpflichtende Voraussetzungen für die Modulprüfungsanmeldung:
Dieses Modul hat keine Prüfungsvoraussetzungen.
Abschluss des Moduls
| Benotung | Benotet |
|---|---|
| Prüfungsform | Portfolioprüfung |
| Art der Portfolioprüfung | 100 Punkte insgesamt |
| Sprache | Englisch |
Prüfungselemente
| Name | Punkte/Gewicht | Kategorie | Dauer/Umfang |
|---|---|---|---|
| (Deliverable assessment) Final presentation | 25 | mündlich | 25 minutes |
| (Deliverable assessment) Implementation | 40 | praktisch | approx 120 hours |
| (Deliverable assessment) Intermediate presentation | 20 | mündlich | 20 minutes |
| (Deliverable assessment) Technical documentation | 15 | schriftlich | 8 page, repository |
Prüfungsbeschreibung (Abschluss des Moduls)
Die Gesamtnote des Moduls setzt sich aus den Ergebnissen der Kursarbeit („Portfolioprüfung“) mit folgenden Teilen zusammen:
1. Zwischenpräsentation (20p): Die Studierenden stellen ihre ersten Erkenntnisse und Ergebnisse zu ihrem Thema vor.
2. Umsetzung (40p): Code, Prototyp-Implementierung der Lösung für das vorgeschlagene Problem.
3. Abschlusspräsentation (25p): Die Studierenden präsentieren ihre abschließenden Erkenntnisse/Ergebnisse und die aus dem Projekt gezogenen Lehren.
4. Technische Dokumentation (15p): Die Studierenden legen ihren bereinigten Code (z. B. Gitlab-Repository) mit benutzerfreundlichen Anweisungen vor, die von Kollegen ausgeführt werden können, und erstellen eine kurze technische und wissenschaftliche Zusammenfassung des Projekts.
1. Zwischenpräsentation (20p): Die Studierenden stellen ihre ersten Erkenntnisse und Ergebnisse zu ihrem Thema vor.
2. Umsetzung (40p): Code, Prototyp-Implementierung der Lösung für das vorgeschlagene Problem.
3. Abschlusspräsentation (25p): Die Studierenden präsentieren ihre abschließenden Erkenntnisse/Ergebnisse und die aus dem Projekt gezogenen Lehren.
4. Technische Dokumentation (15p): Die Studierenden legen ihren bereinigten Code (z. B. Gitlab-Repository) mit benutzerfreundlichen Anweisungen vor, die von Kollegen ausgeführt werden können, und erstellen eine kurze technische und wissenschaftliche Zusammenfassung des Projekts.
Dauer des Moduls
Für Belegung und Abschluss des Moduls ist folgende Semesteranzahl veranschlagt: 1 Semester.
Dieses Modul kann in folgenden Semestern begonnen werden: Winter- und Sommersemester.
Maximale teilnehmende Personen
Die maximale Teilnehmerzahl beträgt 15.
Anmeldeformalitäten
Innerhalb der ersten 4 Wochen nach Projektbeginn müssen sich die Studierenden für das Modul bei QISPOS (universitäres Prüfungsprotokolltool) und zusätzlich bei ISIS für Lehrmaterialien und Kommunikation anmelden.
Literaturhinweise, Skripte
Skript in Papierform
nicht verfügbar
Skript in elektronischer Form
nicht verfügbar
Empfohlene Literatur
- Event-based Vision: A Survey. Gallego et al., IEEE TPAMI 2022
- Digital Image Processing, Gonzalez and Woods. Pearson
- R. Szeliski, Computer Vision: Algorithms and Applications, Springer, 2nd Edition
Zugeordnete Studiengänge
Diese Modulversion wird in folgenden Studiengängen verwendet:
| Studiengang / StuPO | Semester | Studiengangsbereich |
|---|---|---|
| Computer Engineering StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiet B › Kognitive Systeme / Cognitive Systems |
| WiSe 2025/26 | Wahlpflicht Studiengebiet B › Kognitive Systeme / Cognitive Systems | |
| SoSe 2026 | Wahlpflicht Studiengebiet B › Kognitive Systeme / Cognitive Systems | |
| WiSe 2026/27 | Wahlpflichtbereich › Studiengebiet B › Kognitive Systeme / Cognitive Systems | |
| Computer Science (Informatik) StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems |
| WiSe 2025/26 | Studiengebiete › Kognitive Systeme / Cognitive Systems | |
| SoSe 2026 | Studiengebiete › Kognitive Systeme / Cognitive Systems | |
| WiSe 2026/27 | Wahlpflichtbereich › Studiengebiet › Kognitive Systeme / Cognitive Systems | |
| Elektrotechnik StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems |
| WiSe 2025/26 | Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems | |
| SoSe 2026 | Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems | |
| WiSe 2026/27 | Wahlpflichtbereich › Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems | |
| Information Systems Management (Wirtschaftsinformatik) StuPO 2017 | SoSe 2025 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems |
| WiSe 2025/26 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems | |
| SoSe 2026 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems | |
| WiSe 2026/27 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems | |
| Wirtschaftsingenieurwesen StuPO 2026 | WiSe 2026/27 | Ingenieurwissenschaften / Studienrichtungen › AI Engineering › Cognitive Systems |
Sonstiges
- Kognitive Systeme
- Automatisierungstechnik
- Automatisierungstechnik