phy708 - Compulsory Optional Subject Natural and Engineering Sciences (Course overview)

Institute of Physics

9 KP

Module components

Semester courses Summer semester 2024

Examination

Lecture

5.04.313 - Modern Speech Technology / Sprachtechnologie
- Prof. Dr. Gerald Enzner
- Dr.-Ing. Aleksej Chinaev
Tuesday: 14:00 - 16:00, weekly (from 02/04/24)

Der Kurs vermittelt die ingenieurmäßigen Werkzeuge für die moderne Sprachsignalverarbeitung. Die vermittelten Grundlagen ergänzen die physiologischen Aspekte der Spracherzeugung und die psychoakustischen Aspekte der Sprachwahrnehmung aus dem "Einführungskurs" um die technische Repräsentation von Sprache in Algorithmen, Hardware und Software. Dabei wird ein besonderes Augenmerk auf die Aufgabenstellung der Sprachsignalverbesserung in mehreren Facetten gelegt, wie etwa Geräuschfilterung, Hallreduktion und Echokompensation. Die benötigten Werkzeuge der modernen Sprachverarbeitung werden hier elementar und intuitiv vermittelt. Die mathematischen Anforderungen sind moderat bis gering. Die Übungen werden von den Studierenden selbst oder im Team und ggfs. mit komponentenweiser Unterstützung durch die Lehrenden in Software oder an der Tafel implementiert. Die Studierenden gewinnen so einen Voreinblick in die wissenschaftliche Arbeitsweise bei studentischen Qualifikationsarbeiten, wie etwa der Bachelorarbeit, sowie die ingenieurmäßige Arbeitsweise im industriellen Umfeld von Sprachverarbeitung. 1. Technische Repräsentation von Sprachsignalen - Bandbreite und Abtastrate, Abtastratenfehler, Digitale Auflösung - Einkanal-, Mehrkanal-, Binauralsignale - Akustisches Sensornetzwerk - Datenbanken für Sprache und Störung - Raumsimulation mit Spiegelquellen-Methode 2. Aufgabenstellung der Sprachsignalverbesserung - Organisationform wissenschaftlicher Signalverarbeitungswettbewerbe - Problemstellungen mit Störsignal, Raumhall oder Interferenz - Evaluationsmetriken: PESQ, STOI, SegSNR, POLQA und ViSQOL - Modellbasierte Verarbeitungsweise: Wiener-Filter, adaptive Methoden - DNN-basierte Verarbeitungsweise: FNN, CNN, RNN, LSTM 3. Hardware- und Softwarewerkzeuge für die Sprachverarbeitung - Entwicklungsumgebungen: Matlab, Python, TensorFlow - Kommerzielle Lösungen und Analyse: Nvidia, Krisp, Solicall, etc. - Geräte für die Sprachsignalerfassung und Verarbeitung: PC, Handy, R-Pi, Hearing Aid 4. Sprachkommunikation - Systeme zur Sprachkommunikation: Voice over IP, Telekonferenzen - Prinzipielle Funktion von Sprachcodecs: Quellen- und Kanal-Kodierung - Aktuelle Entwicklungen für die Sprachübertragung: WebRTC, Speex, EVS - Eigenschaften der Codecs: Abtastrate, Bitrate, Latenz, SNR, Komplexität im Vergleich - Übertragungsverluste und ihre Kompensation: Statistische Modellierung und Verschleierung
5.04.4698 - Abteilungsseminar Fraunhofer Hör-, Sprach- und Audiotechnologie
- Dr. Jens Ekkehart Appell
Thursday: 10:00 - 12:00, weekly (from 04/04/24)

Im Seminar werden aktuelle Forschungsfragen und -Ergebnisse der Abteilung Hör-, Sprach- und Audiotechnologie des Fraunhofer-Institut für Digitale Medientechnologie vorgestellt und diskutiert. Dabei werden neben den im Rahmen von PhD- und Masterarbeiten erzielten Ergebnisse auch die in verschiedenen anwendungsorientierten Projekten eingesetzten Technologien und deren Anwendung vorgestellt. Beiträge von Partnern aus dem Netzwerk der Fraunhofer Abreitsgruppe erfolgen auf Einladung. Inhaltliche Themen kommen aus den Bereichen der Hör- und Audioforschung, der Sprachtechnologie, der Neurotechnologie sowie der KI / machine Learning. Studierenden wird somit ein interessanter Einblick in die Anwendungsfroschung und den Forschungstransfer bei Fraunhofer HSA gegeben. Studierende haben die Gelegenheit, eigene Seminarbeitrag aus dem Themenspektrum der Abteilung zu erarbeiten und vorzustellen.

Exercises

Notes on the module

Prerequisites	Signal- und Systemtheorie, Biomedizinische Physik und Neurophysik, Physikalische Messtechnik
Reference text	Lehrveranstaltungen: Wahlveranstaltungen aus Natur- und Ingenieurwissenschaften, z.B.: - pb171 Angewandte und medizinische Akustik (VL/Ü, 4 SWS, 6 KP); - pb185 Einführung in die Sprachverarbeitung (VL/Ü, 4 SWS, 6 KP)); - pb241 Ausgewählte Aspekte der modernen Physik (VL/SE, 4 SWS, 6 KP); - pb260 Einführung in die Kern- und Elementarteilchenphysik (VL, 2 SWS, 3 KP) - pb425 Modern Speech Technology / Sprachtechnologie (VL, 2 SWS, 3KP)
Module examination	KL
Skills to be acquired in this module	Vertiefung der bereits erworbenen Kenntnisse und Kompetenzen in den Bereichen durch Veranstaltungen aus dem Lehrangebot für höhere Semester der BSc-Studiengänge aus den Natur- und Ingenieurwissenschaften entsprechend ihrer jeweiligen Vertiefungsrichtung.