A Multi-Model AI-Driven GUI Framework for Dynamic User Adaptation

Abstract

Deze thesis presenteert een multimodaal, AI-gestuurd GUI-framework voor dynamische interface-adaptatie, dat realtime, gepersonaliseerde toegankelijkheidsverbeteringen mogelijk maakt op platformen zoals Flutter, SwiftUI en meer. Ontworpen voor de gezondheidsdomein, ondersteunt het framework motorisch en visueel beperkte gebruikers, evenals handsfree interacties, door integratie van aanraking, toetsenbord, stem en gebaren. De kern vormt Smart Intent Fusion (SIF), een configureerbare multi-agent architectuur aangedreven door grote taalmodellen, die multimodale input, gebruikersprofielen en interactiegeschiedenis samenbrengt om intentie af te leiden en gerichte aanpassingen voor te stellen. Een haalbaarheidsstudie met zes gebruikersprofielen en 84 interactiegebeurtenissen toont dat het systeem consequent toegankelijkheidsgerichte aanpassingen genereert, met meetbare afwegingen tussen snelheid en diepgang van redenering. De resultaten illustreren het praktische potentieel van multimodale AI voor adaptieve, gepersonaliseerde interfaces en leggen de basis voor toekomstige systemen die autonoom UI-code kunnen herstructureren voor rijkere, contextbewuste personalisatie.