Master Theses - Details
Generative Machine Learning for Individualized Spatial Hearing
Supervisor: Johannes Hahn
Area of work: Machine Learning, Generative Models, Spatial Audio
Category: Bachelor Thesis (BA), Master Thesis (MA)
Status: Open
Tools: Python, PyTorch
Aufgabenstellung:
Menschen besitzen die Fähigkeit, die Richtung einer Schallquelle anhand von Laufzeit- und Pegeldifferenzen zwischen den Ohren sowie charakteristische spektralen Veränderungen zu bestimmen. Diese Effekte entstehen durch Reflektionen und Beugungen der Schallwelle am menschlichen Körper und werden durch sogenannte kopfbezogene Übertragungsfunktionen (engl. Head-Related Transfer Functions, HRTFs) beschrieben. Da sich Menschen in ihrer Anatomie unterscheiden, variieren auch ihre individuellen HRTFs. Sind diese bekannt, kann eine immersive räumliche Audiowiedergabe realisiert werden. Da ihre Messung jedoch aufwendig ist, werden oft generische HRTFs verwendet. Je größer deren Abweichugn von der individuellen HRTF ist, desto stärker sinkt der Grad der Immersion.
Zur Lösung dieses Problems wird erforscht, wie sich individualisierte HRTFs anhand verschiedener Daten, etwa Ohrfotos, 3D-Kopfscans oder binauraler Aufnahmen, bestimmen lassen. Hierfür kommen insbesondere Methoden des maschinellen Lernens zum Einsatz. Einen vielversprechenden Ansatz bieten generative Modelle, welche in der Lage sind, neue Daten zu erzeugen und sich somit für die HRTF-Individualisierung eignen. Prominente Beispiele generativer Modelle sind Variational Autoencoders, Diffusionsmodelle und Generative Adversarial Networks.
Im Rahmen einer Abschlussarbeit können die folgenden Arbeitspunkte bearbeitet werden:
- Entwicklung und Implementierung neuartiger generativer HRTF Modelle
- Optimierung existierender Modelle durch Einbinden physikalischer Randbedingungen
- Entwicklung von Verfahren zur HRTF-Individualisierung auf Basis generativer HRTF
Bei Interesse können weitere Details in einem persönlichen Gespräch erläutert werden. Die genaue Aufgabenstellung der Abschlussarbeit wird dann in enger Absprache mit der Kandidatin / dem Kandidaten festgelegt.