Weakly-Supervised Semantic Segmentation by Learning Label Uncertainty

Abstract

Sinds de opkomst van deep learning kent het domein van computervisie een enorme vooruitgang op het gebied van semantische segmentatie. Echter, om een hoge performantie te bekomen is een nauwkeurig gelabelde dataset nodig, welke een grote kost met zich meebrengt. Het doel van deze thesis is de ontwikkeling van nieuwe methodes om een deep learning netwerk te trainen aan de hand van bounding box annotaties, welke sneller en goedkoper te verkrijgen zijn. Hiervoor worden er nieuwe kostfuncties ontwikkeld die via een combinatie van aleatorische onzekerheid en online bootstrapping in staat zijn om de slecht gelabelde pixels binnen de bounding box annotaties te negeren. In een eerste fase van de thesis worden deze technieken toegepast op de standaard regressie kostfunctie. Vervolgens, omdat een classificatie kostfunctie beter geschikt is voor segmentatie, worden dezelfde concepten toegepast op de binaire classificatie kostfunctie. Beide methoden worden geïmplementeerd voor binaire segmentatie en geëvalueerd op de Cityscapes dataset. Tot slot wordt de nieuwe binaire classificatie kostfunctie uitgebreid naar een multi-class classificatie kostfunctie. Deze wordt vervolgens gebruikt om een auto/persoon segmentatienetwerk te trainen en wordt ook geëvalueerd op de Cityscapes dataset. Met slechts 18% nauwkeurig gelabelde data en 82% bounding box labels wordt met de nieuwe kostfunctie een score behaald die vergelijkbaar (77.5 versus 79.8 mIoU) is met een standaard netwerk dat getraind is op 100% nauwkeurig gelabelde data.