Enhancing Multimodal Video Retrieval Systems: A Framework for AI Model Integration and Transparency

Abstract

Deze thesis introduceert een raamwerk dat het maken van foundation modellen democratiseert, waardoor ook kleinere bedrijven zonder grote rekenkracht en data complexe AI-modellen kunnen gebruiken. Dit systeem integreert diverse AI-modellen en maakt het mogelijk om video's te doorzoeken op basis van inhoudelijke elementen zoals acties en dialogen, in plaats van alleen bestandsnamen.

De kern van het raamwerk is de plug-and-play functionaliteit, waardoor ontwikkelaars gemakkelijk nieuwe functionaliteiten kunnen toevoegen zonder dat hertraining nodig is. Dit vergroot de flexibiliteit en aanpasbaarheid van het systeem. Bovendien lost dit raamwerk het blackbox-syndroom op dat vaak geassocieerd wordt met foundation modellen, door transparantie te bieden in hoe beslissingen worden genomen.

Een praktijkvoorbeeld toont aan hoe effectief het systeem een zoekopdracht zoals "Jan die fietst op een strand" afhandelt, door relevante videoclips te identificeren en te selecteren. Dit raamwerk markeert een belangrijke vooruitgang in de manier waarop interactie met digitale media plaatsvindt, wat essentieel is voor de toekomstige ontwikkeling van videozoektechnologieën.