Master Theses - Details

Machine Learning zur Rekonstruktion verlorener Sprachsignalanteile

Betreuer: Lars Thieling

Themengebiet: Sprachsignalverarbeitung, Machine Learning

Kategorie: Masterarbeit (MA), Bachelorarbeit (BA)

Status: offen

Tools: Matlab, Python

Aufgabenstellung:

Audio- bzw. Sprachsignale sind häufig Störungen ausgesetzt, bei denen das Nutzsignal in Frequenz- und/oder Zeit-begrenzten Anteilen verzerrt wird. Ein Ansatz, z.B. in der Störgeräuschreduktion oder der Echo-Kompensation, ist es, diese Verzerrungen zu dämpfen oder zu entfernen. Dies führt jedoch zu hörbaren Artefakten. Durch Rekonstruktion des Nutzsignals können diese Artefakte behoben werden. In Anlehnung an das Image Inpainting aus der digitalen Bildverarbeitung, wird dieser Rekonstruktionsprozess für den Fall von Sprachsignalen als Speech Inpainting bezeichnet.

Abhängig von der Frequenzbreite und Dauer der fehlenden Signalanteile (Lücken) existieren dabei verschiedene Ansätze, wie z.B. die Bandbreitenerweiterung oder Packet Loss Concealment. Diese Verfahren sind jedoch meist nur auf Zeit- oder Frequenz-begrenzte Lücken ausgelegt. Für Zeit- und Frequenz-abhängige Störungen, wie z.B. eine Autohupe, sind diese Algorithmen i.d.R. nicht geeignet. Daher müssen neue Verfahren entwickelt werden, welche solche speziellen Lücken auf Basis der ungestörten Anteile rekonstruieren können. Aufgrund der vielversprechenden Ergebnisse beim Image Inpainting bieten sich hierzu Ansätze aus dem Bereich des Machine Learning an.

Die folgenden Arbeitspunkte können in diesem Zusammenhang im Rahmen einer Abschlussarbeit bearbeitet werden:

  • Ermittlung und Untersuchung geeigneter Bewertungsmaße (z.B. PESQ) sowie Implementierung von Möglichkeiten zum Training auf solchen Maßen
  • Implementierung und Evaluierung eines Generative Adversarial Networks für Speech Inpainting
  • Phasenrekonstruktion auf Basis von nicht-perfekten Sprach-Magnitudenspektren
  • Signalrekonstruktion mittels WaveGlow
  • Implementierung und Evaluierung des Wavenets für Speech Inpainting
  • Zwei stufiges Speech Inpainting 

Bei Interesse können nähere Einzelheiten in einem persönlichen Gespräch erläutert werden. Die genaue Aufgabenstellung der Abschlussarbeit wird dann in enger Absprache und je nach Interesse des/der Kandidaten/Kandidatin erstellt.

back