Zum Inhalt springen
Technische Universität Berlin English
Vorlesungsverzeichnis und Modultransfersystem

Eventbasierte Maschinelles Sehen - PROJEKTModulbeschreibung #41021 / Version 2

← Zur Modulseite English version
Modul / Version#41021 / #2
GültigkeitSeit SoSe 2025
Verfügbare Sprache(n)Englisch
Leistungspunkte9
Modulverantwortliche*rGallego, Guillermo
BenotungBenotet
PrüfungsformPortfolioprüfung
Lehrsprache(n)Englisch

Zugehörigkeit

FakultätFakultät IV
InstitutInstitut für Technische Informatik und Mikroelektronik
Fachgebiet34342000 FG Robotic Interactive Perception

Kontakt

SekretariatMAR 5-5
Ansprechpartner*inGallego, Guillermo
E-Mail-Adresseguillermo.gallego@tu-berlin.de
Webseitehttps://www.digital-future.berlin/en/about-us/professors/prof-dr-guillermo-gallego/

Lernergebnisse

Die Teilnehmer dieses Projektkurses werden praktische Erfahrungen in der Anwendung von Techniken des eventbasierten maschinellen Sehens zur Lösung von Problemen der robotischen Umgebungswarnehmung (Bewegungsschätzung, Erkennung usw.) sammeln. Die Teilnehmer arbeiten einzeln oder in einem kleinen Team zusammen und erwerben Kenntnisse über den Stand der Technik im Bereich des eventbasierten Sehens im Zusammenhang mit dem gewählten Problem.

Lehrinhalte

Die eventbasierte Bildverarbeitung ist eine neuartige Technologie, die Vorteile verspricht, um einige der Einschränkungen herkömmlicher, bildbasierter Kameras und visueller Verarbeitungspipelines (von den Sensoren bis zur Ausgabe verwertbarer Informationen) zu überwinden, wie z. B. Latenzzeit, Dynamikumfang, Bandbreite und Stromverbrauch. Um die Vorteile eventbasierter Kameras nutzen zu können, werden neue Algorithmen benötigt, um ihre unkonventionelle Ausgabe (eine Liste asynchroner pro-pixel Intensitätsänderungen im Gegensatz zu den bekannten Videobildern von Standardkameras) zu verarbeiten. Dieses Projekt befasst sich mit der Untersuchung und Entwicklung maßgeschneiderter Algorithmen und Methoden zur Lösung spezifischer Probleme beim eventbasierten Sehen (Bewegungsschätzung, Segmentierung, Objekterkennung und Klassifizierung usw.).

Zu Beginn des Moduls erhalten die Studierenden Projektthemen aus einer Liste möglicher Themen sowie einige einführende Materialien zu dem gewählten Problem. Nach der Festlegung der Projektteams und -themen werden die geeigneten Werkzeuge für die Durchführung des Projekts besprochen und eingerichtet. Die Studierenden erstellen einen Projektplan, legen die Daten fest, an denen sie arbeiten werden, und die Schritte, die für einen erfolgreichen Abschluss des Projekts vorgesehen sind. In den verbleibenden Wochen entwickeln die Studierenden ihre Projekte und besprechen die Fortschritte mit dem Ausbilder, um künftige Maßnahmen festzulegen. Am Ende des Projekts stellen die Studierenden ihre Ergebnisse in einer mündlichen Präsentation den anderen Teilnehmern des Moduls vor. Sie fassen nicht nur das technische Ergebnis des Projekts zusammen, sondern auch die Schwierigkeiten und Erkenntnisse, die während des Projekts gewonnen wurden.

Zu den allgemeinen Themen gehören unter anderem:
- Algorithmen: visuelle Odometrie, SLAM, 3D-Rekonstruktion, Schätzung des optischen Flusses, Rekonstruktion der Bildintensität, Erkennung, Rekonstruktion der Stereotiefe, Erkennung von Merkmalen/Objekten, Verfolgung, Kalibrierung, Sensorfusion (Videosynthese, visuell-inertiale Odometrie, usw.).
- Eventkamera-Datensätze und/oder -Simulatoren.
- Eventbasierte Signalverarbeitung, Darstellung, Steuerung, Bandbreitenkontrolle.
- Eventbasiertes aktives Sehen, eventbasierte sensomotorische Integration.
- Anwendungen in: Robotik (Navigation, Manipulation, Drohnen...), Automobil, IoT, AR/VR, Weltraumforschung, Inspektion, Überwachung, Personenzählung, Physik, Biologie.
- Modellbasierte, eingebettete oder lernende Ansätze.
- Neuartige Hardware (Kameras, neuromorphe Prozessoren usw.) und/oder Software-Plattformen.
- Neue Trends und Herausforderungen im eventbasierten und/oder biologisch inspirierten Sehen (SNNs, etc.).
- Eventbasiertes Sehen für die Computergrafik.
Eine längere Liste verwandter Themen finden Sie im Inhaltsverzeichnis dieses Repositorys: https://github.com/uzh-rpg/event-based_vision_resources/

Modulbestandteile

Pflichtbereich

Die folgenden Veranstaltungen sind für das Modul obligatorisch:

LehrveranstaltungenArtNummerTurnusSpracheSWSVVZ
Event-based Robot VisionProjekt3434 L 11007 Winter- und Sommersemester–6 ISIS

Veranstaltungen im Vorlesungsverzeichnis

Veranstaltungen, die aus den Lehrveranstaltungen dieses Moduls angelegt wurden.

WiSe 2026/27 (1)

Event-based Robot Vision (Projekt) 1

Alle Gruppen dieser Lehrveranstaltung im Verzeichnis

Arbeitsaufwand und Leistungspunkte

Event-based Robot Vision (Projekt)

AufwandbeschreibungMultiplikatorStundenGesamt
Präsenzzeit156 h90 h
Vor-/Nachbereitung1512 h180 h
270 h

Der Aufwand des Moduls summiert sich zu 270 Stunden. Damit umfasst das Modul 9 Leistungspunkte.

Beschreibung der Lehr- und Lernformen

Dieses Modul beinhaltet eine angeleitete und selbstorganisierte Projektarbeit, die durch den Dozenten betreut wird. Die Studierenden erhalten einen kurzen Überblick über die Grundlagen und die neuesten Entwicklungen auf dem Gebiet des eventbasierten Sehens. Die Studierenden arbeiten einzeln oder in kleinen Teams an einem selbst gewählten Thema und präsentieren während des Kurses den Fortschritt bei der Umsetzung ihrer Projekte. Am Ende des Kurses präsentiert jedes Team seine Erkenntnisse, Methoden, Ergebnisse und Erfahrungen in einer Abschlusspräsentation. Schließlich werden die Projekte (Code, Datensatz usw.) dokumentiert und in Form eines Berichts und/oder eines Github-/Gitlab-Repository veröffentlicht.

Voraussetzungen für die Teilnahme / Prüfung

Wünschenswerte Voraussetzungen für die Teilnahme an den Lehrveranstaltungen:

Es sind gute Programmierkenntnisse in mindestens einer der folgenden Programmiersprachen erforderlich: C++, Python.
Grundkenntnisse in Robotik, maschinellem Lernen und maschinellem Sehen sind erforderlich.
Kenntnisse von ROS (Robot Operating System) sind wünschenswert.

Verpflichtende Voraussetzungen für die Modulprüfungsanmeldung:

Dieses Modul hat keine Prüfungsvoraussetzungen.

Abschluss des Moduls

BenotungBenotet
PrüfungsformPortfolioprüfung
Art der Portfolioprüfung100 Punkte insgesamt
SpracheEnglisch

Prüfungselemente

NamePunkte/GewichtKategorieDauer/Umfang
(Deliverable assessment) Final presentation25mündlich25 minutes
(Deliverable assessment) Implementation40praktischapprox 120 hours
(Deliverable assessment) Intermediate presentation20mündlich20 minutes
(Deliverable assessment) Technical documentation15schriftlich8 page, repository

Prüfungsbeschreibung (Abschluss des Moduls)

Die Gesamtnote des Moduls setzt sich aus den Ergebnissen der Kursarbeit („Portfolioprüfung“) mit folgenden Teilen zusammen:
1. Zwischenpräsentation (20p): Die Studierenden stellen ihre ersten Erkenntnisse und Ergebnisse zu ihrem Thema vor.
2. Umsetzung (40p): Code, Prototyp-Implementierung der Lösung für das vorgeschlagene Problem.
3. Abschlusspräsentation (25p): Die Studierenden präsentieren ihre abschließenden Erkenntnisse/Ergebnisse und die aus dem Projekt gezogenen Lehren.
4. Technische Dokumentation (15p): Die Studierenden legen ihren bereinigten Code (z. B. Gitlab-Repository) mit benutzerfreundlichen Anweisungen vor, die von Kollegen ausgeführt werden können, und erstellen eine kurze technische und wissenschaftliche Zusammenfassung des Projekts.

Dauer des Moduls

Für Belegung und Abschluss des Moduls ist folgende Semesteranzahl veranschlagt: 1 Semester.

Dieses Modul kann in folgenden Semestern begonnen werden: Winter- und Sommersemester.

Maximale teilnehmende Personen

Die maximale Teilnehmerzahl beträgt 15.

Anmeldeformalitäten

Innerhalb der ersten 4 Wochen nach Projektbeginn müssen sich die Studierenden für das Modul bei QISPOS (universitäres Prüfungsprotokolltool) und zusätzlich bei ISIS für Lehrmaterialien und Kommunikation anmelden.

Literaturhinweise, Skripte

Skript in Papierform

nicht verfügbar

Skript in elektronischer Form

nicht verfügbar

Empfohlene Literatur

  • Event-based Vision: A Survey. Gallego et al., IEEE TPAMI 2022
  • Digital Image Processing, Gonzalez and Woods. Pearson
  • R. Szeliski, Computer Vision: Algorithms and Applications, Springer, 2nd Edition

Zugeordnete Studiengänge

Diese Modulversion wird in folgenden Studiengängen verwendet:

Studiengang / StuPOSemesterStudiengangsbereich
Computer Engineering
StuPO 2015
SoSe 2025Wahlpflicht Studiengebiet B › Kognitive Systeme / Cognitive Systems
WiSe 2025/26Wahlpflicht Studiengebiet B › Kognitive Systeme / Cognitive Systems
SoSe 2026Wahlpflicht Studiengebiet B › Kognitive Systeme / Cognitive Systems
WiSe 2026/27Wahlpflichtbereich › Studiengebiet B › Kognitive Systeme / Cognitive Systems
Computer Science (Informatik)
StuPO 2015
SoSe 2025Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems
WiSe 2025/26Studiengebiete › Kognitive Systeme / Cognitive Systems
SoSe 2026Studiengebiete › Kognitive Systeme / Cognitive Systems
WiSe 2026/27Wahlpflichtbereich › Studiengebiet › Kognitive Systeme / Cognitive Systems
Elektrotechnik
StuPO 2015
SoSe 2025Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems
WiSe 2025/26Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems
SoSe 2026Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems
WiSe 2026/27Wahlpflichtbereich › Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems
Information Systems Management (Wirtschaftsinformatik)
StuPO 2017
SoSe 2025Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems
WiSe 2025/26Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems
SoSe 2026Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems
WiSe 2026/27Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems
Wirtschaftsingenieurwesen
StuPO 2026
WiSe 2026/27Ingenieurwissenschaften / Studienrichtungen › AI Engineering › Cognitive Systems

Sonstiges

- Kognitive Systeme
- Automatisierungstechnik