De implementatie van een op AI gebaseerde tekst- en afbeeldingsfilter voor het contextafhankelijk modereren van gebruikersinput voor interactieve lichtinstallaties

Abstract

De twee Limburgse bedrijven BMK Solutions en Painting with Light werken samen aan interactieve lichtinstallaties. Enkele hiervan hebben vrije gebruikersinput in de vorm van tekst of afbeeldingen. Om ongewenste inhoud te vermijden, moet deze input gemodereerd worden voor vertoning op de installatie. Hierdoor is er nood aan een tekst- en afbeeldingsfilter die de beoordeling zo veel mogelijk automatiseert. De installaties worden wereldwijd geplaatst en moeten daarom rekening houden met culturele verschillen die de gepastheid van de input bepalen. Dit doen de filters op basis van de context en plaats van de installatie. Beide filters zijn geschreven in Python. De tekstfilter is opgebouwd uit vier verschillende modules: de zelf geïmplementeerde profanity filter en context filter, de Completions module van OpenAI, Perspective van Google Jigsaw en de Moderation module van OpenAI. De afbeeldingsfilter bestaat uit een pipeline van drie verschillende modellen: de pornografische filter, de agressiefilter en de filter voor haatdragende memes. Zowel de tekst- als de afbeeldingsfilter geven via hun eigen API waardes terug die voor een kenmerk de waarschijnlijkheid aangeven dat dit kenmerk gedetecteerd werd. De beheerder van de installatie kan voor elke module drempelwaarden instellen die beslissen welke input wordt getoond, welke niet getoond mag worden en welke handmatig gefilterd moet worden. De nauwkeurigheid van de filters is daardoor afhankelijk van de gekozen drempelwaarden, wat mogelijk maakt om in te spelen op de lokale context.