inf5456 - Applied AI - Multimodal-Multisensor Interfaces I: Foundations, User Modeling, and Common Modality Combination (Vollständige Modulbeschreibung)

Grundkonzepte der künstlichen Intelligenz, Mensch-Computer-Schnittstellen

Erlernen von Methoden der multimodalen Interaktion, Erlernen von Human-Computer Interaction Konzepten

Fachkompetenzen
Die Studierenden:

• arbeiten sich in das Thema Multimodalität ein (Kompetenz: grundlegende Konzepte der Multimodalität,
• entwickeln einer Intuition für multimodale Ansätze, multimodale Fusionstechniken)

Methodenkompetenzen
Die Studierenden:

• erarbeiten erarbeiten zu einem speziellem Thema im Bereich Multimodalität eine Hausarbeit (Kompetenz: grundlegende Konzepte der Multimodalität,
• entwickeln einer Intuition für multimodale Ansätze, multimodale Fusionstechniken)

Sozialkompetenzen
Die Studierenden:

• wählen ein Thema und stehen im Austausch zueinander und zu der betreuenden Person (Kompetenz: Kommunikationsfähigkeit, Begeisterungsfähigkeit, Eigeninitiative)

Selbstkompetenzen
Die Studierenden:

• erarbeiten selbstverantwortlich in einem betreuten Rahmen (Kompetenzen: Eigenverantwortlichkeit, Analytisches Denken, Organisation, Zeitmanagement)

Wir befassen uns mit den relevanten theoretischen und neurowissenschaftlichen Grundlagen für die Entwicklung von Hochleistungssystemen. Wir erörtern Ansätze zur Benutzermodellierung, zur Gestaltung von Benutzeroberflächen, die die Wahl des Benutzers unterstützen, zur synergetischen Kombination von Modalitäten mit Sensoren und zur Verschmelzung von multimodaler Eingabe und Ausgabe. Außerdem werfen wir einen detaillierten Blick auf die gängigsten multimodalen und multisensorischen Kombinationen, z. B. Berührungs- und Stifteingabe, haptische und nicht-sprachliche Audioausgabe sowie Sprachverarbeitung in Kombination mit sichtbaren Lippenbewegungen, Blicken, Gesten oder Stifteingabe. Ein durchgängiges Thema ist die Unterstützung der Mobilität und der individuellen Unterschiede zwischen den Nutzern - einschließlich der weltweit schnell wachsenden Zahl älterer Menschen.

The Handbook of Multimodal-Multisensor Interfaces: Signal Processing, Architectures, and Detection of Emotion and Cognition - Volume 1 (https://dl.acm.org/doi/book/10.1145/3015783)

https://uol.de/aai/lehre

am Ende der Vorlesungszeit

Projektarbeit / Präsentation