inf5458 - Applied AI - Multimodal-Multisensor Interfaces II: Signal Processing, Architectures, and Detection of Emotion and Cognition (Vollständige Modulbeschreibung)

Grundkonzepte der künstlichen Intelligenz, Mensch-Computer-Schnittstellen

Erlernen von Methoden der multimodalen Interaktion, Erlernen von Human-Computer Interaction Konzepten

Fachkompetenzen
Die Studierenden:

arbeiten sich in das Thema Multimodalität ein (Kompetenz: grundlegende Konzepte der Multimodalität, entwickeln einer Intuition für multimodale Ansätze, multimodale Fusionstechniken)

Methodenkompetenzen
Die Studierenden:

• erarbeiten zu einem speziellen Thema im Bereich Multimodalität eine Hausarbeit (Kompetenz: schnelle Auffassungsgabe, strukturierte Literaturdurchsicht, präzise Ausdrucksweise)

Sozialkompetenzen
Die Studierenden:

• wählen ein Thema und stehen im Austausch zueinander und zu der betreuenden Person (Kompetenz: Kommunikationsfähigkeit, Begeisterungsfähigkeit, Eigeninitiative)

Selbstkompetenzen
Die Studierenden:

• erarbeiten selbstverantwortlich in einem betreuten Rahmen (Kompetenzen: Eigenverantwortlichkeit, Analytisches Denken, Organisation, Zeitmanagement)

Wir beginnen mit multimodaler Signalverarbeitung, Architekturen und maschinellem Lernen. Dazu gehören aktuelle Deep-Learning- Ansätze für die Verarbeitung multisensorischer und multimodaler Benutzerdaten und Interaktionen sowie Kontextsensitivität. Ein weiterer Schwerpunkt ist die Verarbeitung von Informationen über den Zustand und die Eigenschaften des Benutzers, eine aufregende neue Fähigkeit für Benutzerschnittstellen der nächsten Generation. Wir diskutieren die multimodale Echtzeit-Analyse von Emotionen und sozialen Signalen aus verschiedenen Modalitäten und die Wahrnehmung affektiver Ausdrücke durch die Benutzer.

Anschließend wird die multimodale Verarbeitung des kognitiven Zustands anhand von Verhaltenssignalen und physiologischen Signalen erörtert, um kognitive Belastung, Fachwissen, Täuschung und Depression zu erkennen. Diese Sammlung von Kapiteln bietet praktische Beispiele für den Entwurf und die Verarbeitung von Systemen, Informationen über Werkzeuge und praktische Ressourcen für die Entwicklung und Bewertung neuer Systeme sowie Terminologie und tutorielle Unterstützung für die Beherrschung dieses schnell wachsenden Bereichs. Schließlich befassen wir uns mit dem Meinungsaustausch von Experten über das aktuelle und kontroverse Thema des multimodalen Deep Learning. Die Diskussion konzentriert sich auf die Frage, wie multimodale und multisensorische Schnittstellen die menschliche Leistung im nächsten Jahrzehnt am ehesten verbessern werden.

The Handbook of Multimodal-Multisensor Interfaces: Signal Processing, Architectures, and Detection of Emotion and Cognition - Volume 2 (https://dl.acm.org/doi/book/10.1145/3107990)

https://uol.de/aai/lehre

am Ende der Vorlesungszeit

Projektarbeit / Präsentation