Evaluation of modern tools for data scientists

Abstract

Met de opkomst van grote taalmodellen (LLMs) worden steeds meer onderdelen van data-analyse geautomatiseerd, al blijft de nauwkeurigheid bij complexe taken onzeker. Dit onderzoek evalueert in hoeverre generatieve AI-tools betrouwbare assistenten zijn tijdens de voorbereidende fases van data-analyse: data cleaning en exploratieve data-analyse (EDA). Vier recente modellen — ChatGPT (GPT-4o), Claude (3.7 Sonnet), DeepSeek (V3) en Grok (3) — werden getest op hun vermogen om code te genereren, visuele patronen te interpreteren en statistische tabellen te analyseren. De evaluatie gebeurde via zorgvuldig opgebouwde testcases in R met de Titanic- en Palmer Penguins-datasets. De prestaties werden beoordeeld op nauwkeurigheid en aangevuld met een kwalitatieve analyse van bruikbaarheid, volledigheid en redeneringsdiepte. De resultaten tonen aan dat AI-tools veel basis- cleaning- en EDA-taken accuraat uitvoeren, maar de kwaliteit verschilt sterk per tool en taak. ChatGPT en Claude presteerden het best, met Claude als uitschieter in redenering en volledigheid. DeepSeek was technisch sterk maar zwakker in visuele interpretatie. Grok scoorde goed op numeriek vlak, maar was minder consistent bij grafieken en complexere cleaning. Ondanks beperkingen in datasets en methodologie biedt het onderzoek waardevolle inzichten in de praktische inzetbaarheid van AI bij data-analyse. Vervolgonderzoek kan focussen op iteratieve interactie, meer datavariatie en vergelijking met menselijke output.