Verkenning van het gebruik van reinforcement learning in de context van progressive glTF 2.0 streaming

Abstract

Mijn masterproef onderzoekt het gebruik van reinforcement learning (RL) om de laadvolgorde van 3D-scènes, opgeslagen in het GLTF-formaat, te optimaliseren op basis van het camerastandpunt van de gebruiker. In plaats van willekeurig of op volgorde te laden, leert een RL-agent welke onderdelen van de scène het eerst geladen moeten worden om de visuele kwaliteit (gemeten met PSNR) zo snel mogelijk te verbeteren.

Een aangepaste Gymnasium-omgeving simuleert het laden van scènes en biedt per stap beloningen op basis van de verbetering in beeldkwaliteit. De agent krijgt informatie over de afstand en zichtbaarheid van elk object vanuit het camerastandpunt. De trainingsloop maakt gebruik van MaskablePPO, een algoritme dat ongeldige acties (zoals al geladen objecten) kan uitsluiten.

De omgeving communiceert met een rendering engine via WebSockets. Deze engine berekent per stap de PSNR-waarden, die worden gebruikt om de beloning te bepalen. Resultaten tonen aan dat de RL-agent effectief leert om objecten te prioriteren die het meest bijdragen aan de initiële beeldkwaliteit. Dit kan nuttig zijn voor toepassingen zoals progressieve weergave van complexe 3D-scènes in games, simulaties of webtoepassingen.