Synthetic data generation via Blender for training object detection networks: evaluation on apple detection in orchards

Abstract

In België wordt 75% van de geproduceerde peren geëxporteerd. De meeste exportlanden eisen dat deze peren afkomstig zijn van percelen die vrij zijn van bacterievuur. In een eerste stap wordt er gekeken naar de mogelijkheid om appels, bladeren en takken te detecteren in RGB-afbeeldingen van boomgaarden via machine learning-technieken. Deze technieken vereisen een grote, gelabelde dataset, wat erg tijdrovend is om te verkrijgen. Echter wordt hiervoor ook een oplossing gegeven. In deze masterthesis werd een programma geschreven in Python waarmee een grote dataset van geannoteerde afbeeldingen gegenereerd kan worden in common object segmentation image formaat (COCO) via een 3D modeleringssoftware (Blender). Daarnaast heeft de onderzoeker controle over elk aspect in elke scene, zoals helderheid, lichtinval, camerapositie… Deze dataset kan vervolgens gebruikt worden om verschillende neurale netwerken te trainen. In deze thesis werd het programma gebruikt om een COCO-dataset bestaande uit synthetische afbeeldingen van verschillende appelbomen te genereren. Aansluitend worden deze afbeeldingen en annotaties gebruikt om een Mask Region based Convolutional Neural Network (Mask R-CNN) te trainen om zo appels, takken en bladeren in een boomgaard te herkennen. De resultaten zijn alvast veelbelovend met een F1-score van 0.85, gebaseerd op enkel appels. Dit is een vooruitgang van 0.78 ten opzichte van het Mask R-CNN model getraind met een COCO-dataset. Tot slot wordt nog een methode voorgesteld om de huidige valse positieven te verwijderen.