Motivation

Neuronale Netze sind ein wichtiger Bestandteil des maschinellen Lernens und haben in den letzten Jahren aufgrund ihrer Fähigkeit, komplexe Muster in Daten zu erkennen und Vorhersagen zu treffen, an Bedeutung gewonnen. Für den Einsatz von neuronalen Netzen außerhalb der Testumgebung ist es jedoch oftmals erforderlich, zu wissen, wie sicher sich das Model bei der Vorhersage ist. Dies lässt sich durch die Quantifizierung der Unsicherheit (Uncertainty Quantification) des Models erreichen. Zur Berechnung der Unsicherheit gibt es bereits viele gut etablierte Methoden, wie z.B. Monte-Carlo-Sampling oder die Ensemble-Bildung. Das Problem ist jedoch oftmals die adäquate Evaluation und Bewertung der berechneten Unsicherheit.

Da in sicherheitskritischen Anwendungen Fehler des Models zur potentiell katastrophalen Folgen führen können, ist es zwingend erforderlich, ein Model nicht nur aufgrund der Genauigkeit zu bewerten, sondern auch die Genauigkeit der Unsicherheit in Betracht zu ziehen.

Ziel

Das Ziel der Abschlussarbeit ist es, die Qualität unterschiedlicher Methoden zur Berechnung von Konfidenzintervallen gegeneinander zu vergleichen, unter Verwendung verschiedener Metriken zur Bewertung der Qualität der Intervalle. Das Ergebnis der Arbeit ist dabei zweiteilig. Es soll nicht nur betrachtet werden, welche Methoden sich zur Quantifizierung von Unsicherheit anwenden lassen, sondern es soll ebenfalls eine Bewertung der Methoden hinsichtlich ihrer Zuverlässigkeit erfolgen.

Profil

Die Arbeit richtet sich an Studierende der Informatik oder vergleichbarer Studiengänge, die sich mit maschinellem Lernen im Bereich der datengetriebenen Modellierung beschäftigen wollen. Vorkenntnisse im Bereich Data Science, Neuronale Netze und Python-Programmierung sind wünschenswert, aber nicht zwingend erforderlich. Bewerber*innen sollten bereit sein, sich motiviert und selbstständig in das neue Thema einzuarbeiten.

Die Ausarbeitung kann auf Deutsch oder Englisch erfolgen.

Kontakt

Jelke Wibbeke

OFFIS - Institut für Informatik

Escherweg 2, 26121 Oldenburg

Jelke.wibbeke@offis.de

Literatur

1. Levi, Dan, et al. "Evaluating and calibrating uncertainty prediction in regression tasks." Sensors 22.15 (2022): 5540.
2. Pearce, Tim, et al. "High-quality prediction intervals for deep learning: A distribution-free, ensembled approach." International conference on machine learning. PMLR, 2018.
3. Gawlikowski, Jakob, et al. "A survey of uncertainty in deep neural networks." arXiv preprint arXiv:2107.03342 (2021).