Data management plan completion and reviewing through human-in-the-loop AI

Abstract

Modern, data-gedreven onderzoek vereist efficiënt en kwalitatief beheer van onderzoeksdata (Research Data Management, RDM), waarbij het plannen van gegevensverzameling, opslag en delen volgens richtlijnen centraal staat. Deze thesis onderzoekt hoe AI-technologie onderzoekers en RDM-teams kan ondersteunen bij het invullen van verplichte Data Management Plans (DMP’s) via real-time, contextbewuste suggesties en continue feedbackloops.

Een human-in-the-loop-systeem werd ontwikkeld voor interacties tussen gebruikers, AI en RDM-teams in complexe situaties. De oplossing gebruikt prompt engineering en retrieval-augmented generation, gecombineerd met vector-embeddings en gelijkeniszoekopdrachten, om large language model (LLM)-antwoorden te optimaliseren. Een hybride interface met gelaagde feedbacktools en vraagvlagknoppen maakt communicatie met het LLM en het RDM-team mogelijk.

Gebruikersonderzoek met onderzoekers die eerder een DMP invulden, toonde tevredenheid: zowel de pragmatische als de hedonische dimensies werden positief beoordeeld (>0,8). De hybride feedbacktool scoorde het hoogst op bruikbaarheid (1,22), beter dan sterbeoordelingen (0,99) en chatbot-gestuurde feedback (0,83). De cognitive walkthrough met een RDM-admin benadrukten het belang van overschrijfrechten, persistente antwoordlogs en vraagvlagging. Deze bevindingen suggereren dat generatieve AI niet alleen DMP-processen verbetert, maar ook breder toepasbaar is voor gestructureerde formulierondersteuning.