Audio Texture Synthese: Theorie en Toepassingen

Abstract

Audio textures zijn een nieuw medium, analoog aan de bekende image textures. We spreken over relatief monotone geluiden met een eenvoudige structuur van steeds herhalende en toch steeds weer net verschillende patronen. Ze hebben een lokale structuur, maar geen overduidelijke globale structuur op lange termijn. Het doel van audio texture synthese is niet het synthetiseren van een volledig nieuw geluid, noch het aanpassen van de spectrale inhoud van het geluid. Audio texture synthese vertrekt vanuit een gegeven audio texture en tracht hieruit een nieuw audio texture te creëren ((texture) synthesis-byexample) dat dezelfde herkenbare karakteristieken heeft als het oorspronkelijke audio texture. Dit document tracht de volgende doelstellingen in te vullen. Ten eerste wordt een inleiding gegeven tot het fenomeen geluid. Een noodzakelijke basiskennis van geluid wordt aangedragen op zowel fysisch, wiskundig, perceptueel als digitaal vlak. Een aantal benodigde technieken worden voorgesteld voor de analyse en parametrisatie van geluid. Om audio texture synthese in een groter geheel te kunnen plaatsen wordt een bondig overzicht gegeven van geluidssynthese zoals vooral bekend uit het domein van de elektronische synthesizer. Audio texture synthese is een zeer recent domein dat nog volop in ontwikkeling is, wat zal blijken uit de bespreking van al even recente publicaties in een literatuurstudie. Hierbij komt niet alleen de synthese van audio textures aan bod, maar ook de detectie en modellering ervan. Af en toe wordt ook de relatie gelegd met de verwante domeinen van image textures en video textures. De publicatie Audio Textures van Lie Lu e.a. (2002) [11] vormt de basis voor de ge¨ımplementeerde audio texture synthese techniek. Zonder in detail te treden kunnen we stellen dat het algoritme een analyse maakt van de self-similarity van de audio en vervolgens op basis van deze self-similarity de audio indeelt in perceptueel samenhangende subclips. Het detecteren van de breekpunten van deze subclips wordt verwezenlijkt met een berekening van de audio novelty in elk frame van de audio. Op basis van de transitiekans tussen elk paar subclips wordt tenslotte een nieuw audio texture gesynthetiseerd. 1 2 Vertrekkend van deze basis wordt uitbreidend werk verricht. Een eerste belangrijke uitbreiding komt in de vorm van het audio loops synthese algoritme. Dit algoritme is een aangepast algoritme uit het video textures domein en is in staat een eindig audio texture te synthetiseren met zulke karakteristieken dat het oneindig kan herhaald worden zonder storende artefacten. Grootser van opzet is echter audio texture restauratie dat audio kan restaureren door voor het beschadigde deel een vervangend audio texture te synthetiseren. De theorie achter zowel audio texture synthese als audio texture restauratie wordt gedetailleerd uiteengezet, wordt vervolgens ge¨ımplementeerd in Matlab en aan de hand van meer dan voldoende case studies worden tenslotte successen en beperkingen onthuld en besproken. Zie hoofdstuk 1 voor een inleiding tot audio textures en een volledig overzicht van de thesis.