Multimodal interfaces on mobile devices: mangling speech and graphical

Abstract

Er is een groeiende nood aan multimodale applicaties door de opkomst van mobiele apparaten. Mobiele gebruikers hebben hun handen en ogen niet altijd vrij om hun mobiel apparaat te bedienen. Buiten directe manipulatie is er nood aan een andere interactiemodaliteit om dit probleem te verhelpen. Spraak als interactiemodaliteit stelt de gebruiker in staat om een mobiel apparaat te bedienen zonder hun handen en ogen in beslag te nemen. XHTML + Voice (X+V) is een markup taal die beide modaliteiten combineert en op een eenvoudige manier linkt. X+V wordt gebruikt om de multimodale user interface voor te stellen. Er zijn tal van multimodale browsers voor handen die X+V kunnen renderen, waaronder de Opera webbrowser. Om multimodale user interfaces te realiseren wordt er gebruik gemaakt van de User Interface Markup Language (UIML). UIML is een High Level User Interface Description Language (HLUIDL) die de user interface beschrijft. Deze abstracte beschrijving wordt vervolgens gemapt naar een X+V document. Als UIML raamwerk wordt er gebruik gemaakt van Uiml.Net. Het doel van deze thesis is om Uiml.Net uit te breiden met support voor multimodale users interfaces. De architectuur van de Uiml.Net renderer wordt aangepast zodat een UIML document op een XML document gemapt kan worden. In de implementatie wordt er zo veel mogelijk gesteund op de al bestaande architectuur. Om een X+V document te kunnen renderen wordt er een X+V specifieke renderer aangemaakt. Met behulp van een X+V vocabulary kan een UIML document gemapt worden op een X+V document.