Find By Idea: Interpreting AI with Training Sample Proximity in Embedding Space

Abstract

Met de toenemende populariteit van LLM-toepassingen zoals ChatGPT en GitHub Copilot, komen veel niet-technische gebruikers voor het eerst in aanraking met deze moderne AI-technieken. Niet iedereen beseft echter dat deze systemen functioneren als een ‘black box', waarbij elke invoer een uitvoer oplevert, maar onduidelijk is hoe die uitvoer tot stand is gekomen. Dit black box-probleem moet niet alleen onderzocht worden om transparanter te worden, maar ook moet aan nieuwe gebruikers duidelijk worden gemaakt wat zij van een LLM mogen verwachten.

Deze thesis bespreekt de huidige XAI-technieken die kunnen worden gebruikt om de werking van LLMs te verklaren. Inzicht in hoe deze modellen tot hun uitkomsten komen is essentieel voor transparantie, vertrouwen en verantwoordelijkheid. De focus ligt op het vertrouwen dat gebruikers in de LLM stellen, aangezien nieuwe gebruikers de capaciteiten van het model vaak overschatten en er te veel op vertrouwen. Door de sterke en zwakke punten van deze benaderingen te analyseren, draagt deze thesis bij aan de inspanningen om krachtige taalmodellen begrijpelijker en betrouwbaarder te maken. De belangrijkste bijdrage van dit werk is een gebruiksvriendelijke methode om gebruikers een juiste hoeveelheid vertrouwen te geven in een LLM. Deze methode presenteert gebruikers menselijke trainingsvoorbeelden die semantisch vergelijkbaar zijn met het huidige gesprek.