Real-time baking assistant

Abstract

Deze thesis onderzoekt hoe large language models (LLM’s) en computer vision kunnen worden geïntegreerd in een augmented reality (AR)-omgeving om realtime, gepersonaliseerde leerondersteuning te bieden. In tegenstelling tot traditionele stapsgewijze instructietools interpreteert het systeem gebruikersacties, detecteert mogelijke fouten en geeft adaptieve, contextbewuste feedback. Bakken werd gekozen als domein vanwege de noodzaak aan precisie en de duidelijke zichtbaarheid van fouten, waardoor het ideaal is om realtime feedback te testen. Een prototype werd ontwikkeld voor de Magic Leap 2-headset. Het systeem registreert continu beelden vanuit het perspectief van de gebruiker, verwerkt deze en stuurt ze naar een LLM die de voortgang analyseert en persoonlijke begeleiding genereert. Belangrijke functies zijn voice commands, visuele overlays (zoals weegondersteuning en timers) en bijna directe feedback bij fouten. Evaluaties tonen aan dat de assistent effectief fouten detecteert zoals verkeerde hoeveelheden, overgeslagen stappen of foutieve technieken, al blijven er uitdagingen rond ingrediëntherkenning, te vroege stapvoortgang en false positive fouten bij complexe scenario’s. Het onderzoek toont de haalbaarheid van AR-assistenten voor vaardigheidsoverdracht en gaat verder dan statische tutorials, naar interactieve, ondersteunende leerervaringen. Hoewel het nog een proof of concept is, vormt het de basis voor betere en schaalbare toepassingen.