Voice and gesture control system for TV

Abstract

In deze thesis werd er onderzoek gedaan naar verschillende interactietechnieken met de TV, vooral stem en gebaren interactie. Deze thesis is gecombineerd aan een stage bij Zappware waarbij deze twee interactietechnieken binnen hun huidige systeem werden geïmplementeerd om een meer natuurlijke interactie te bieden aan de gebruikers. Bij de implementatie van de stemherkenningstechnologie werd er gebruik gemaakt van een library van SemanticEdge. SemanticEdge is gespecialiseerd in stemherkenningstechnologie en biedt een bibliotheek dat enkel TV content zoals EPG en VOD data herkent en analyseert. Stemherkenning werd geïmplementeerd op het bestaande Android applicatie van Zappware om de TV te bedienen en te zoeken binnen EPG en VOD cataloog. Bij de stemherkenning wordt er vooral gefocust op voice-search in natuurlijke taal, snelle toegang tot bepaalde delen van de UI, maar ook switchen van zender d.m.v. de zendernaam uit te spreken. Gebarenherkenning wordt gedaan via een ring van Logbar, met deze ring kan de gebruiker 2-D gebaren uitvoeren in de lucht. Bij deze interactietechniek wordt er gefocust op navigatie en snelle toegang tot bepaalde stukken van de UI. Deze systeem werd geëvalueerd door gebruik van usertesten op 15 personen en gedemonstreerd op een conferentie (IBC 2015).