Large language models as drivers for robotic control

Abstract

Mijn masterproef onderzoekt of Large Language Models (LLM's) mobiele robots kunnen navigeren in bekende en onbekende omgevingen zonder gebruik van een ondersteunend framework, waarbij de LLM’s dus zelf het meeste werk doen. De omgeving kan ook obstakels bevatten. De LLM krijgt een bestemming en moet hierheen navigeren via commando’s. Dit werd getest met GPT-4o en Gemini-2.0-Flash in vier scenario’s. Het eerste is het bepalen van de oriëntatie van de robot, wat goed verliep: beide LLM’s slaagden in alle taken. De volgende twee scenario’s zijn grid-based movement (bewegen op een rooster) en free movement (vrije beweging). Zonder obstakels waren de resultaten sterk, maar obstakels bleken een grote uitdaging. In deze scenario’s kent de LLM altijd de positie van de robot. Het laatste scenario is gebaseerd op afstand: de LLM krijgt enkel de afstand tot het doel. De resultaten waren redelijk, maar niet beter dan een eenvoudig algoritme. Algemeen presteren LLM’s behoorlijk in robotnavigatie, maar hebben ze moeite met obstakels, consistentie en het volgen van instructies. Tot LLM’s verder evolueren, lijken ondersteunende systemen nodig.