Many Minds, One Decision: Leveraging Multiple AI Models for Informed Decision-Making

Abstract

Deze thesis onderzoekt de uitlegbaarheid van deep neural networks (DNNs) door veranderingen in data en architectuur te vergelijken. De studie richt zich op neurale netwerken die zijn getraind op de MNIST dataset van handgeschreven cijfers. Het onderzoek traint talloze modellen om verschillen in voorspellingen te koppelen aan interne logica.

Het concept van model multiplicity, waarbij meerdere modellen dezelfde nauwkeurigheid bereiken maar intern verschillen, wordt onderzocht. Het eerste hoofdstuk definieert model multiplicity en bespreekt de implicaties voor model evaluatie. Het benadrukt dat nauwkeurigheid niet voldoende is voor modelselectie; eigenschappen zoals uitlegbaarheid, eerlijkheid en robuustheid moeten ook worden overwogen.

Een softwarearchitectuur genereert automatisch diverse modellen door variaties in trainingsdata en hyperparameters toe te passen. Dit systeem vermijdt handmatige modelcreatie en bevordert reproduceerbaarheid. De gegenereerde modellen worden geëvalueerd op prestaties en gegroepeerd, waarbij frequent itemsets worden gebruikt om vergelijkbare modellen te identificeren.

Het laatste hoofdstuk richt zich op het uitleggen van model multiplicity. Door multiplicitous modellen te introduceren, kunnen gebruikers in plaats van één enkel model een set van modellen raadplegen, wat de besluitvorming in kritieke systemen kan verbeteren. Verschillen in data-augmentaties en hyperparameters worden geanalyseerd om voorspellend gedrag te verklaren, wat het vertrouwen en begrip van gebruikers vergroot.