Data Integration and Large-scale AnalysisModulbeschreibung #41112 / Version 1
- 6 LP
- Schriftliche Prüfung
- Benotet
- Wintersemester
- Englisch
Diese Modulbeschreibung gilt nicht im aktuellen Semester (WiSe 2026/27).
Zur aktuellen Version (v2)
| Modul / Version | #41112 / #1 |
|---|---|
| Gültigkeit | WiSe 2023/24 – WiSe 2025/26 |
| Verfügbare Sprache(n) | Englisch |
| Leistungspunkte | 6 |
| Modulverantwortliche*r | Böhm, Matthias |
| Benotung | Benotet |
| Prüfungsform | Schriftliche Prüfung |
| Lehrsprache(n) | Englisch |
Zugehörigkeit
| Fakultät | Fakultät IV |
|---|---|
| Institut | Institut für Softwaretechnik und Theoretische Informatik |
| Fachgebiet | 34352900 FG Big Data Engineering |
Kontakt
| Sekretariat | Keine Angabe |
|---|---|
| Ansprechpartner*in | Böhm, Matthias |
| E-Mail-Adresse | matthias.boehm@tu-berlin.de |
| Webseite | Keine Angabe |
Lernergebnisse
Common data and system characteristics include heterogeneous data sources and formats, often in different representations and with data quality issues (which require integration and cleaning), as well as large data collections (which require distributed data storage and analysis). Accordingly, the goals of this module are to convey a basic understanding and practical applicability of
O1 Major data integration architectures
O2 Key techniques for data integration and cleaning
O3 Methods for large-scale data storage and analysis
O1 Major data integration architectures
O2 Key techniques for data integration and cleaning
O3 Methods for large-scale data storage and analysis
Lehrinhalte
This course covers major data integration architectures, key techniques for data integration and cleaning, as well as methods for large-scale, i.e., distributed, data storage and analysis. In detail, the module covers the following topics which also reflect the lecture calendar (with a separate 90-120min lecture per topic):
A: Data Integration and Preparation
01 Introduction and Overview
02 Data Warehousing, ETL, and SQL/OLAP
03 Message-oriented Middleware, EAI, and Replication
04 Schema Matching and Mapping
05 Entity Linking and Deduplication
06 Data Cleaning and Data Fusion
07 Data Provenance (and Blockchain)
B: Large-Scale Data Management and Analysis
08 Cloud Computing Fundamentals
09 Cloud Resource Management and Scheduling
10 Distributed Data Storage
11 Distributed, Data-Parallel Computation
12 Distributed Stream Processing
13 Distributed Machine Learning Systems
The module contains both lectures and exercises/programming projects which are offered as separate courses in order to increase flexibility.
A: Data Integration and Preparation
01 Introduction and Overview
02 Data Warehousing, ETL, and SQL/OLAP
03 Message-oriented Middleware, EAI, and Replication
04 Schema Matching and Mapping
05 Entity Linking and Deduplication
06 Data Cleaning and Data Fusion
07 Data Provenance (and Blockchain)
B: Large-Scale Data Management and Analysis
08 Cloud Computing Fundamentals
09 Cloud Resource Management and Scheduling
10 Distributed Data Storage
11 Distributed, Data-Parallel Computation
12 Distributed Stream Processing
13 Distributed Machine Learning Systems
The module contains both lectures and exercises/programming projects which are offered as separate courses in order to increase flexibility.
Modulbestandteile
Pflichtbereich
Die folgenden Veranstaltungen sind für das Modul obligatorisch:
| Lehrveranstaltungen | Art | Nummer | Turnus | Sprache | SWS | VVZ |
|---|---|---|---|---|---|---|
| Data Integration and Large-scale Analysis | Vorlesung | 41112 | Wintersemester | [en] | 3 | WiSe 2026/27 (1) ISIS |
| Data Integration and Large-scale Analysis | Übung | 41112 | Wintersemester | [en] | 2 | ISIS |
Veranstaltungen im Vorlesungsverzeichnis
Veranstaltungen, die aus den Lehrveranstaltungen dieses Moduls angelegt wurden.
WiSe 2026/27 (1)
Data Integration and Large-scale Analysis (Vorlesung) 1
- Data Integration and Large-scale Analysis (Vorlesung) Termingruppe 1 41112
Arbeitsaufwand und Leistungspunkte
Data Integration and Large-scale Analysis (Vorlesung)
| Aufwandbeschreibung | Multiplikator | Stunden | Gesamt |
|---|---|---|---|
| Attendance Lectures | 15 | 3 h | 45 h |
| Pre/post-processing Lectures | 15 | 1 h | 15 h |
| Exam Preparation | 1 | 30 h | 30 h |
| 90 h | |||
Data Integration and Large-scale Analysis (Übung)
| Aufwandbeschreibung | Multiplikator | Stunden | Gesamt |
|---|---|---|---|
| Attendance Discussion Rounds | 3 | 2 h | 6 h |
| Exercise Prototype Implementation | 1 | 84 h | 84 h |
| 90 h | |||
Der Aufwand des Moduls summiert sich zu 180 Stunden. Damit umfasst das Modul 6 Leistungspunkte.
Beschreibung der Lehr- und Lernformen
This module combines traditional lectures (on data integration and large-scale data engineering and analysis), supporting examples of open source systems, as well as practical exercises/projects on related topics. For the practical part, teams of 1-3 students can pick one of two alternatives:
a) Contribution of a unique feature to an open-source data-centric ML system (from a list of project proposals), or
b) Alternative exercise on large-scale data analysis pipelines using Apache Spark
a) Contribution of a unique feature to an open-source data-centric ML system (from a list of project proposals), or
b) Alternative exercise on large-scale data analysis pipelines using Apache Spark
Voraussetzungen für die Teilnahme / Prüfung
Wünschenswerte Voraussetzungen für die Teilnahme an den Lehrveranstaltungen:
Completed basic courses on applied machine learning, data management, and distributed systems
Verpflichtende Voraussetzungen für die Modulprüfungsanmeldung:
Die Prüfungsvoraussetzungen konnten nicht abgerufen werden.
Abschluss des Moduls
| Benotung | Benotet |
|---|---|
| Prüfungsform | Schriftliche Prüfung |
| Sprache | Englisch |
| Dauer/Umfang | 90 |
Dauer des Moduls
Für Belegung und Abschluss des Moduls ist folgende Semesteranzahl veranschlagt: 1 Semester.
Dieses Modul kann in folgenden Semestern begonnen werden: Wintersemester.
Maximale teilnehmende Personen
Dieses Modul ist nicht auf eine Anzahl Studierender begrenzt.
Anmeldeformalitäten
Registration in ISIS and exercise/project selection within the first 4 weeks of the semester.
Literaturhinweise, Skripte
Skript in Papierform
nicht verfügbar
Skript in elektronischer Form
verfügbar – https://mboehm7.github.io/teaching/ws2122_dia/index.htm
Empfohlene Literatur
Keine empfohlene Literatur angegeben
Zugeordnete Studiengänge
Diese Modulversion wird in folgenden Studiengängen verwendet:
| Studiengang / StuPO | Semester | Studiengangsbereich |
|---|---|---|
| Computer Engineering StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Verteilte Systeme und Netze / Distributed Systems and Networks |
| WiSe 2025/26 | Wahlpflicht Studiengebiet B › Verteilte Systeme und Netze / Distributed Systems and Networks | |
| Computer Science (Informatik) StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems |
| WiSe 2025/26 | Studiengebiete › Data and Software Engineering / Data and Software Engineering | |
| Elektrotechnik StuPO 2015 | SoSe 2025 | Wahlpflicht Studiengebiete Fak. IV › Verteilte Systeme und Netze / Distributed Systems and Networks |
| WiSe 2025/26 | Wahlpflicht Studiengebiete Fak. IV › Data and Software Engineering / Data and Software Engineering | |
| Informatik StuPO 2015 | SoSe 2025 | Wahlpflichtbereich › Wahlpflichtbereich Katalog Informatik |
| WiSe 2025/26 | Wahlpflichtbereich › Wahlpflichtbereich Katalog Informatik | |
| Information Systems Management (Wirtschaftsinformatik) StuPO 2017 | SoSe 2025 | Wahlpflichtbereich › Fachstudium Informatik › Verteilte Systeme und Netze / Distributed Systems and Networks |
| WiSe 2025/26 | Wahlpflichtbereich › Fachstudium Wirtschaft › Business, Economics and Management | |
| Technische Informatik StuPO 2015 | SoSe 2025 | Wahlpflichtbereich › Informatik |
| WiSe 2025/26 | Wahlpflichtbereich › Informatik | |
| Wirtschaftsinformatik StuPO 2015 | SoSe 2025 | Wahlpflichtbereich › Informatik |
| WiSe 2025/26 | Wahlpflichtbereich › Informatik | |
| Wirtschaftsinformatik StuPO 2021 | SoSe 2025 | Wahlpflichtbereich › Informatik |
| WiSe 2025/26 | Wahlpflichtbereich › Informatik |
Sonstiges
Keine Angabe