Qualitätssicherung für Maschinelles LernenModulbeschreibung #41069 / Version 3
- 3 LP
- Portfolioprüfung
- Benotet
- Wintersemester
- Englisch
| Modul / Version | #41069 / #3 |
|---|---|
| Gültigkeit | Seit SoSe 2024 |
| Verfügbare Sprache(n) | Englisch, Deutsch |
| Leistungspunkte | 3 |
| Modulverantwortliche*r | Haufe, Stefan |
| Benotung | Benotet |
| Prüfungsform | Portfolioprüfung |
| Lehrsprache(n) | Englisch |
Zugehörigkeit
| Fakultät | Fakultät IV |
|---|---|
| Institut | Institut für Softwaretechnik und Theoretische Informatik |
| Fachgebiet | 34352700 FG S-Professur Unsicherheit, inverse Modellierung und maschinelles Lernen (UNIML) |
Kontakt
| Sekretariat | MAR 4-3 |
|---|---|
| Ansprechpartner*in | Haufe, Stefan |
| E-Mail-Adresse | haufe@tu-berlin.de |
| Webseite | https://www.tu.berlin/uniml/ |
Lernergebnisse
Kenntnisse: Die Studierenden sind vertraut mit den abstrakten Anforderungen, die gegenwärtige und geplante Gesetzesinitiativen an Systeme und Produkte, die künstliche Intelligenz (KI) oder Maschinelles Lernen (ML) verwenden, stellen (werden). Sie kennen verschiedene Dimensionen der Qualität von KI/ML Systemen und Produkten, und haben sich geeignete quantitative Verfahren und Metriken zur Messung von Qualität, sowie technische Ansätze zur Wahrung und Verbesserung von Qualität, erarbeitet.
Fertigkeiten: Die Studierenden erwerben praktische Fähigkeiten hinsichtlich des debuggings von ML Anwendung, indem sie code und/oder Daten sowie workflows analysieren. Sie erwerben oder verfeinern die Fähigkeit, ein inhaltlich klar abgegrenztes Feld anhand vorgegebener Literatur zusammenzufassen, um vorgegebene Fragen zu beantworten. Die Ergebnisse der wissenschaftlichen Recherche werden in einem Fachvortrag präsentiert, wobei Präsentationstechniken erworben oder verfeinert werden und wissenschaftlicher Diskurs geübt wird.
Kompetenzen: Die Studierenden sind in der Lage, die Risiken und Ausfallarten eines gegebenen KI/ML Systems oder Produktes zu analysieren. Sie sind weiterhin in der Lage, Testverfahren vorzuschlagen, um die Funktionstüchtigkeit des Systems/Produktes unter verschiedenen Störeinflüssen zu bewerten, sowie Maßnahmen vorzuschlagen, um unerwünschtes Systemverhalten zu verhindern. Sie sind ferner in der Lage, die ethischen, ökonomischen und sonstigen Implikationen einzelner Ausfallarten zu diskutieren.
Fertigkeiten: Die Studierenden erwerben praktische Fähigkeiten hinsichtlich des debuggings von ML Anwendung, indem sie code und/oder Daten sowie workflows analysieren. Sie erwerben oder verfeinern die Fähigkeit, ein inhaltlich klar abgegrenztes Feld anhand vorgegebener Literatur zusammenzufassen, um vorgegebene Fragen zu beantworten. Die Ergebnisse der wissenschaftlichen Recherche werden in einem Fachvortrag präsentiert, wobei Präsentationstechniken erworben oder verfeinert werden und wissenschaftlicher Diskurs geübt wird.
Kompetenzen: Die Studierenden sind in der Lage, die Risiken und Ausfallarten eines gegebenen KI/ML Systems oder Produktes zu analysieren. Sie sind weiterhin in der Lage, Testverfahren vorzuschlagen, um die Funktionstüchtigkeit des Systems/Produktes unter verschiedenen Störeinflüssen zu bewerten, sowie Maßnahmen vorzuschlagen, um unerwünschtes Systemverhalten zu verhindern. Sie sind ferner in der Lage, die ethischen, ökonomischen und sonstigen Implikationen einzelner Ausfallarten zu diskutieren.
Lehrinhalte
- Motivation und einleitende Beispiele aus den Bereichen Automotive, Medizin oder Finanzen
- Erarbeitung von Taxonomien anhand von Risikoklassen und Ausfallarten
- rechtliche Anforderung an KI Systeme
- ethische Fragen
- Qualitätsaspekte von KI/ML Systemen
* Datenqualität
* Modellgüte, Generalisierbarkeit
* Modellrobustheit
* Fairness
* Transparenz
* Unsicherheitsschätzung und -kalibrierung
* Arten von Interpretierbarkeit und Erklärbarkeit
* Datenschutz
- Testverfahren und quantitative Metriken zur Messung von Qualität
- praktische Ansätze, um hohe Qualität zu gewährleisten/erreichen
- Simulationend und Benchmarks
- Gegenwärtige Normungs- und Standardisierungsaktivitäten
- Erarbeitung von Taxonomien anhand von Risikoklassen und Ausfallarten
- rechtliche Anforderung an KI Systeme
- ethische Fragen
- Qualitätsaspekte von KI/ML Systemen
* Datenqualität
* Modellgüte, Generalisierbarkeit
* Modellrobustheit
* Fairness
* Transparenz
* Unsicherheitsschätzung und -kalibrierung
* Arten von Interpretierbarkeit und Erklärbarkeit
* Datenschutz
- Testverfahren und quantitative Metriken zur Messung von Qualität
- praktische Ansätze, um hohe Qualität zu gewährleisten/erreichen
- Simulationend und Benchmarks
- Gegenwärtige Normungs- und Standardisierungsaktivitäten
Modulbestandteile
Pflichtbereich
Die folgenden Veranstaltungen sind für das Modul obligatorisch:
| Lehrveranstaltungen | Art | Nummer | Turnus | Sprache | SWS | VVZ |
|---|---|---|---|---|---|---|
| Quality Assurance for Machine Learning | Seminar | Unregelmässig | [en] | 2 | ISIS |
Arbeitsaufwand und Leistungspunkte
Quality Assurance for Machine Learning (Seminar)
| Aufwandbeschreibung | Multiplikator | Stunden | Gesamt |
|---|---|---|---|
| Präsenzzeit | 15 | 2 h | 30 h |
| Vor-/Nachbereitung | 15 | 4 h | 60 h |
| 90 h | |||
Der Aufwand des Moduls summiert sich zu 90 Stunden. Damit umfasst das Modul 3 Leistungspunkte.
Beschreibung der Lehr- und Lernformen
Das Modul besteht derzeit aus einem Seminar. Die Studierenden werden jeweils einen Fachvortrag zu einem vorgegebenen konkreten Thema halten, wofür ein Zusammenstellung von Publikationen bereitgestellt wird. Die studentischen Vorträge werden durch kurze Vorlesungssegmente eingerahmt, die den Zweck haben, die behandelten Forschungsthemen einzuführen, mit Kontext zu versehen und zu verbinden. Teil jedes Veranstaltungstermins sind Diskussionsphasen, in denen die Teilnehmer zu aktiver Mitarbeit aufgefordert sind. Die Studierenden werden ausserdem als Gruppenarbeit ein KI System analysieren und ihre Ergebnisse dem Seminar vorstellen. Zudem werden die Studierenden eine Hausaufgabe bearbeiten.
Voraussetzungen für die Teilnahme / Prüfung
Wünschenswerte Voraussetzungen für die Teilnahme an den Lehrveranstaltungen:
Empfohlen ist ein abgeschlossenes Bachelorstudium und Vorwissen in KI/ML. Der erfolgreiche Abschluss eines einfuehrenden Moduls wie "Machine Learning I" oder "Machine Intelligence I" wird empfohlen. Programmierkentnisse in mindestens einer Sprache (z.B. Matlab, Python, R).
Verpflichtende Voraussetzungen für die Modulprüfungsanmeldung:
Dieses Modul hat keine Prüfungsvoraussetzungen.
Abschluss des Moduls
| Benotung | Benotet |
|---|---|
| Prüfungsform | Portfolioprüfung |
| Art der Portfolioprüfung | 100 Punkte insgesamt |
| Sprache | Englisch |
Prüfungselemente
| Name | Punkte/Gewicht | Kategorie | Dauer/Umfang |
|---|---|---|---|
| Referat | 50 | mündlich | 30 min |
| Gruppenarbeit | 25 | mündlich | 60 min |
| (Deliverable assessment) Homework | 25 | praktisch | 3 Seiten |
Prüfungsbeschreibung (Abschluss des Moduls)
Die Modulnote berechnet sich aus
1. Der Qualität des Seminarvortrags. (50%).
2. Der Qualität der Vorstellung einer Gruppenarbeit (25%).
3. Die Qualität einer Hausaufgabe (25%).
1. Der Qualität des Seminarvortrags. (50%).
2. Der Qualität der Vorstellung einer Gruppenarbeit (25%).
3. Die Qualität einer Hausaufgabe (25%).
Dauer des Moduls
Für Belegung und Abschluss des Moduls ist folgende Semesteranzahl veranschlagt: 1 Semester.
Dieses Modul kann in folgenden Semestern begonnen werden: Wintersemester.
Maximale teilnehmende Personen
Die maximale Teilnehmerzahl beträgt 24.
Anmeldeformalitäten
Die Studierenden können sich in MOSES für den Kurs registrieren.
Literaturhinweise, Skripte
Skript in Papierform
nicht verfügbar
Skript in elektronischer Form
nicht verfügbar
Empfohlene Literatur
Keine empfohlene Literatur angegeben
Zugeordnete Studiengänge
Diese Modulversion wird in folgenden Studiengängen verwendet:
| Studiengang / StuPO | Semester | Studiengangsbereich |
|---|---|---|
| Computer Engineering StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Medientechnik und Mensch-Maschine-Interaktion / Digital Media and Human-Computer Interaction |
| WiSe 2025/26 | Wahlpflicht Studiengebiet B › Kognitive Systeme / Cognitive Systems | |
| SoSe 2026 | Wahlpflicht Studiengebiet B › Medientechnik und Mensch-Maschine-Interaktion / Digital Media und Human-Computer Interaction | |
| WiSe 2026/27 | Wahlpflichtbereich › Studiengebiet B › Kognitive Systeme / Cognitive Systems | |
| Computer Science (Informatik) StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Medientechnik und Mensch-Maschine-Interaktion / Digital Media and Human-Computer Interaction |
| WiSe 2025/26 | Studiengebiete › Kognitive Systeme / Cognitive Systems | |
| SoSe 2026 | Studiengebiete › Kognitive Systeme / Cognitive Systems | |
| WiSe 2026/27 | Wahlpflichtbereich › Studiengebiet › Kognitive Systeme / Cognitive Systems | |
| Elektrotechnik StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Medientechnik und Mensch-Maschine-Interaktion / Digital Media and Human-Computer Interaction |
| WiSe 2025/26 | Wahlpflicht Studiengebiete Fak. IV › Medientechnik und Mensch-Maschine-Interaktion / Digital Media and Human-Computer Interaction | |
| SoSe 2026 | Wahlpflicht Studiengebiete Fak. IV › Medientechnik und Mensch-Maschine-Interaktion / Digital Media and Human-Computer Interaction | |
| WiSe 2026/27 | Wahlpflichtbereich › Studiengebiete Fak. IV › Medientechnik und Mensch-Maschine-Interaktion / Digital Media and Human-Computer Interaction | |
| Information Systems Management (Wirtschaftsinformatik) StuPO 2017 | SoSe 2025 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems |
| WiSe 2025/26 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems | |
| SoSe 2026 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems | |
| WiSe 2026/27 | Wahlpflichtbereich › Fachstudium Wirtschaftsinformatik › Informationssysteme / Information Systems | |
| Wirtschaftsingenieurwesen StuPO 2026 | WiSe 2026/27 | Ingenieurwissenschaften / Studienrichtungen › AI Engineering › Cognitive Systems |
Sonstiges
Keine Angabe