Zum Inhalt springen
Technische Universität Berlin English
Vorlesungsverzeichnis und Modultransfersystem

Data Integration and Large-scale AnalysisModulbeschreibung #41112 / Version 1

← Zur Modulseite English version
Diese Modulbeschreibung gilt nicht im aktuellen Semester (WiSe 2026/27). Zur aktuellen Version (v2)
Modul / Version#41112 / #1
GültigkeitWiSe 2023/24 – WiSe 2025/26
Verfügbare Sprache(n)Englisch
Leistungspunkte6
Modulverantwortliche*rBöhm, Matthias
BenotungBenotet
PrüfungsformSchriftliche Prüfung
Lehrsprache(n)Englisch

Zugehörigkeit

FakultätFakultät IV
InstitutInstitut für Softwaretechnik und Theoretische Informatik
Fachgebiet34352900 FG Big Data Engineering

Kontakt

SekretariatKeine Angabe
Ansprechpartner*inBöhm, Matthias
E-Mail-Adressematthias.boehm@tu-berlin.de
WebseiteKeine Angabe

Lernergebnisse

Common data and system characteristics include heterogeneous data sources and formats, often in different representations and with data quality issues (which require integration and cleaning), as well as large data collections (which require distributed data storage and analysis). Accordingly, the goals of this module are to convey a basic understanding and practical applicability of
O1 Major data integration architectures
O2 Key techniques for data integration and cleaning
O3 Methods for large-scale data storage and analysis

Lehrinhalte

This course covers major data integration architectures, key techniques for data integration and cleaning, as well as methods for large-scale, i.e., distributed, data storage and analysis. In detail, the module covers the following topics which also reflect the lecture calendar (with a separate 90-120min lecture per topic):

A: Data Integration and Preparation
01 Introduction and Overview
02 Data Warehousing, ETL, and SQL/OLAP
03 Message-oriented Middleware, EAI, and Replication
04 Schema Matching and Mapping
05 Entity Linking and Deduplication
06 Data Cleaning and Data Fusion
07 Data Provenance (and Blockchain)

B: Large-Scale Data Management and Analysis
08 Cloud Computing Fundamentals
09 Cloud Resource Management and Scheduling
10 Distributed Data Storage
11 Distributed, Data-Parallel Computation
12 Distributed Stream Processing
13 Distributed Machine Learning Systems

The module contains both lectures and exercises/programming projects which are offered as separate courses in order to increase flexibility.

Modulbestandteile

Pflichtbereich

Die folgenden Veranstaltungen sind für das Modul obligatorisch:

LehrveranstaltungenArtNummerTurnusSpracheSWSVVZ
Data Integration and Large-scale AnalysisVorlesung41112 Wintersemester[en]3 ISIS
Data Integration and Large-scale AnalysisÜbung41112 Wintersemester[en]2 ISIS

Veranstaltungen im Vorlesungsverzeichnis

Veranstaltungen, die aus den Lehrveranstaltungen dieses Moduls angelegt wurden.

WiSe 2026/27 (1)

Data Integration and Large-scale Analysis (Vorlesung) 1

Alle Gruppen dieser Lehrveranstaltung im Verzeichnis

Arbeitsaufwand und Leistungspunkte

Data Integration and Large-scale Analysis (Vorlesung)

AufwandbeschreibungMultiplikatorStundenGesamt
Attendance Lectures153 h45 h
Pre/post-processing Lectures151 h15 h
Exam Preparation130 h30 h
90 h

Data Integration and Large-scale Analysis (Übung)

AufwandbeschreibungMultiplikatorStundenGesamt
Attendance Discussion Rounds32 h6 h
Exercise Prototype Implementation184 h84 h
90 h

Der Aufwand des Moduls summiert sich zu 180 Stunden. Damit umfasst das Modul 6 Leistungspunkte.

Beschreibung der Lehr- und Lernformen

This module combines traditional lectures (on data integration and large-scale data engineering and analysis), supporting examples of open source systems, as well as practical exercises/projects on related topics. For the practical part, teams of 1-3 students can pick one of two alternatives:
a) Contribution of a unique feature to an open-source data-centric ML system (from a list of project proposals), or
b) Alternative exercise on large-scale data analysis pipelines using Apache Spark

Voraussetzungen für die Teilnahme / Prüfung

Wünschenswerte Voraussetzungen für die Teilnahme an den Lehrveranstaltungen:

Completed basic courses on applied machine learning, data management, and distributed systems

Verpflichtende Voraussetzungen für die Modulprüfungsanmeldung:

Die Prüfungsvoraussetzungen konnten nicht abgerufen werden.

Abschluss des Moduls

BenotungBenotet
PrüfungsformSchriftliche Prüfung
SpracheEnglisch
Dauer/Umfang90

Dauer des Moduls

Für Belegung und Abschluss des Moduls ist folgende Semesteranzahl veranschlagt: 1 Semester.

Dieses Modul kann in folgenden Semestern begonnen werden: Wintersemester.

Maximale teilnehmende Personen

Dieses Modul ist nicht auf eine Anzahl Studierender begrenzt.

Anmeldeformalitäten

Registration in ISIS and exercise/project selection within the first 4 weeks of the semester.

Literaturhinweise, Skripte

Skript in Papierform

nicht verfügbar

Skript in elektronischer Form

verfügbar – https://mboehm7.github.io/teaching/ws2122_dia/index.htm

Empfohlene Literatur

Keine empfohlene Literatur angegeben

Zugeordnete Studiengänge

Diese Modulversion wird in folgenden Studiengängen verwendet:

Studiengang / StuPOSemesterStudiengangsbereich
Computer Engineering
StuPO 2015
SoSe 2025Wahlpflicht Studiengebiete Fak. IV › Verteilte Systeme und Netze / Distributed Systems and Networks
WiSe 2025/26Wahlpflicht Studiengebiet B › Verteilte Systeme und Netze / Distributed Systems and Networks
Computer Science (Informatik)
StuPO 2015
SoSe 2025Wahlpflicht Studiengebiete Fak. IV › Kognitive Systeme / Cognitive Systems
WiSe 2025/26Studiengebiete › Data and Software Engineering / Data and Software Engineering
Elektrotechnik
StuPO 2015
SoSe 2025Wahlpflicht Studiengebiete Fak. IV › Verteilte Systeme und Netze / Distributed Systems and Networks
WiSe 2025/26Wahlpflicht Studiengebiete Fak. IV › Data and Software Engineering / Data and Software Engineering
Informatik
StuPO 2015
SoSe 2025Wahlpflichtbereich › Wahlpflichtbereich Katalog Informatik
WiSe 2025/26Wahlpflichtbereich › Wahlpflichtbereich Katalog Informatik
Information Systems Management (Wirtschaftsinformatik)
StuPO 2017
SoSe 2025Wahlpflichtbereich › Fachstudium Informatik › Verteilte Systeme und Netze / Distributed Systems and Networks
WiSe 2025/26Wahlpflichtbereich › Fachstudium Wirtschaft › Business, Economics and Management
Technische Informatik
StuPO 2015
SoSe 2025Wahlpflichtbereich › Informatik
WiSe 2025/26Wahlpflichtbereich › Informatik
Wirtschaftsinformatik
StuPO 2015
SoSe 2025Wahlpflichtbereich › Informatik
WiSe 2025/26Wahlpflichtbereich › Informatik
Wirtschaftsinformatik
StuPO 2021
SoSe 2025Wahlpflichtbereich › Informatik
WiSe 2025/26Wahlpflichtbereich › Informatik

Sonstiges

Keine Angabe