Gebaarherkenning van de SMOG-gebarentaal voor VR-belevingen

Abstract

Spreken Met Ondersteuning van Gebaren (SMOG) is een vorm van communicatie die gebaren gebruikt voor de kernbegrippen van een gesproken zin. Hierdoor kunnen personen met een communicatieve beperking zich beter uitdrukken. Het aanleren en oefenen van SMOG is echter arbeidsintensief, aangezien één begeleider telkens slechts één persoon kan bijstaan. Virtual reality (VR) heeft potentieel om SMOG-gebaren effectiever en speelser in te oefenen en tegelijkertijd de werklast van begeleiders te verminderen. Daarom onderzoekt deze masterproef in welke mate het mogelijk is om een accuraat en kostenefficiënt gebaarherkenningssysteem voor VR te ontwikkelen met behulp van machine learning. Eerst werden geschikte sensoren geselecteerd om gebaren op te nemen: de dieptecamera Intel RealSense D435f, een laptopwebcam en een smartphonecamera. Daarna werd een dataset van zeven SMOG-gebaren, uitgevoerd door 13 verschillende personen, samengesteld. Deze data werd vervolgens gebruikt om een machine learning-model te trainen, dat met slechts een paar voorbeelden kan leren. Bij gebruik van een smartphonecamera - de sensor die het best scoort op het vlak van gebruiksvriendelijkheid en kostenefficiëntie - vertoonde transfer learning met MoViNets bij 4 epochs de hoogste nauwkeurigheid voor het correct classificeren van gebaren, namelijk 99,3%, vergeleken met 95,0% bij de webcam. Dit toont aan dat het mogelijk is om gebruikers in een VR-omgeving te filmen, terwijl zij gebaren uitvoeren en deze gebaren met een hoge nauwkeurigheid correct te classificeren.