6D Object Pose Estimation Using Synthetic Training Data and FFB6D Deep Learning: Evaluation on Real RGBD Data

Abstract

6D object pose estimation wordt gebruikt in verschillende toepassingen, zoals augmented reality en Human-Robot Collaboration. Onlangs is gebleken dat technieken zoals neurale netwerken hiervoor toepasbaar zijn, echter hebben deze veel trainingsdata nodig. Bovendien wordt vaak werkelijke data als (deel van de) trainingset gebruikt. Het genereren van veel, gelabelde, werkelijke data is een tijdrovend proces. Daarom kan synthetische data een oplossing bieden. Deze thesis richt zich op de implementatie van een 6D pose estimation algoritme dat uitsluitend getraind is op synthetische data en geëvalueerd is op werkelijke data. Eerst werd een literatuurstudie uitgevoerd omtrent 6D pose estimation methodes. Op basis van een vergelijking van bestaande methodes werd een geschikt algoritme genaamd FFB6D gekozen. BlenderProc, een fotorealistische synthetische data generatie tool werd vervolgens gebruikt om training data te creëren. Bijkomend werd een werkelijke dataset vastgelegd met een RGBD-camera. Deze data bevat ground truth information die gegenereerd werd door een ICP-algoritme en/of markers. Als laatste werd FFB6D geëvalueerd op de synthetische en werkelijke data. FFB6D werd getraind op 80.000 synthetische scènes. Als een error van 2 cm toegelaten werd, behaalde FFB6D een nauwkeurigheid van ten hoogste 98% en 84% op respectievelijk de synthetische en werkelijke data. Het kan dus geconcludeerd worden dat het gebruik van BlenderProc training data een veelbelovende manier is om FFB6D te trainen voor werkelijke toepassingen.