Benchmarking machine learning performance on small datasets

Abstract

Artificiële Intelligentie (AI) is onmisbaar in de samenleving. Ook KMO’s willen AI inzetten voor meer datagedreven en efficiënte operaties, maar hebben vaak te weinig data om modellen te trainen. Deze masterproef benchmarkt daarom drie state-of-the-art ML-algoritmen in een small-data scenario. De modellen worden getraind op datasets van 100–1000 voorbeelden, waarbij ook zes data-augmentatietechnieken en één dimensiereductiemethode (PCA) worden geëvalueerd. Experimenteel onderzoek met de CDC Diabetes- en Student Dropout-datasets omvat per trainingsgrootte tien steekproeven, waarna optimalisatie en evaluatie plaatsvinden met stratified KFold cross-validation. Performantiemetrieken zijn accuracy, precision, recall en F1-score. Populatiemodellen worden getraind op 70% van de volledige data om de small-data-resultaten te vergelijken met grote datasets. De resultaten tonen dat small-data-modellen vergelijkbare resultaten behalen als grote-data-modellen. Op de diabetesdataset leveren augmentatietechnieken nauwelijks verbetering in F1-score, terwijl PCA de gemiddelde F1-score met 20 procentpunten verhoogt. Op de studentendataset verbeteren SVMSMOTE, BorderlineSMOTE, SMOTE en ADASYN de F1-score van RF- en XGB-modellen licht (ongeveer 1%) ten opzichte van de baseline; bij LogReg is geen enkele augmentatietechniek effectief.