Advanced relighting algorithms for post-production

Abstract

In this dissertation, a set of algorithms are provided for relighting in a movie post-production environment. Lighting is a crucial factor in how an object appears to an audience. It can be used to hide certain parts of objects or to explicitly reveal them. Often, lighting controls the mood in scenes or conveys subtle emotions. It can occur that a particular scene configuration is not to the liking of a film director at some point in the production phase. Perhaps he would like to add some lighting or remove a disturbing glare that bounces of a chair next to a metallic object. In a regular movie production pipeline, the only way to proceed would be to perform a retake of that particular scene in which the configuration has been physically altered to reflect the director’s wishes. Depending on the scenario, this can be both costly and time-consuming. This dissertation will present algorithms that allow a director to avoid any physical recapturing of the scene in question. This has obvious cost advantages and could potentially permit unseen flexibility in movie production environments. The difficulty of designing relighting algorithms, lies in the appearance acquisition of the objects in a random scene. Not only are there several factors that contribute to the final shading of individual pixels, their data are also notoriously noisy, ambiguous or downright absent. Part of this work will be devoted to the explanation of the difficulties involved with estimating object geometry, material and illumination from nothing but images. As will be clear by the end of this dissertation, there are hard limitations on the ability to recover high-frequency details of these separate factors. On the other hand, not all use cases require the same amount of accuracy and some convincing results of relighting experiments will be demonstrated in this dissertation, corroborating the viability of our relighting algorithms for real-life applications.

In deze thesis worden een verzameling algoritmen voorgesteld voor herbelichting in een film post-productie omgeving. Belichting is een cruciale factor die bepaalt hoe een object er voor een publiek uitziet. Het kan gebruikt worden om bepaalde delen van objecten te verbergen, of juist om te accentueren. Vaak controleert het gebruik van belichting de sfeer en kan men er subtiele emoties mee overbrengen. Zo kan het voorkomen dat een bepaalde configuratie op een filmset niet volledig naar de wens van de regisseur is. Misschien wil hij wat licht toevoegen of een storende glans verwijderen, afkomstig van een metaal object. In een normaal productieproces zou de enige oplossing het opnieuw opnemen zijn, waarbij de objecten op de set op de juiste plaats gezet worden. Afhankelijk van de situatie kan dit een dure aangelegenheid zijn, zowel wat kosten als tijd betreft. Deze doctoraatsthesis presenteert algoritmen die een regisseur toelaten om dure heropnames te vermijden. Dit heeft grote implicaties op het gebied van kostenbesparingen in de filmindustrie en laat veel meer flexibiliteit toe tijdens de opnames. De grote moeilijkheid bij het ontwerpen van herbelichtingsalgoritmen, ligt in het extraheren van het uitzicht van objecten in een willekeurige omgeving. Dit voorkomen van objecten is erg dubbelzinnig, omdat er veel factoren bijdragen tot de uiteindelijke kleur van individuele pixels. Die factoren bevatten vaak ook veel ruis of er ontbreken grote stukken data. De omgevingsfactoren die bijdragen tot het uiterlijk van een object worden ook wel intrinsieke factoren genoemd. Een gedeelte van deze thesis zal dan ook focussen op het verminderen van de ambiguïteit bij het schatten van geometrie, materiaaleigenschappen en belichting. De schatting zal meestal vertrekken vanuit gewone tweedimensionale afbeeldingen. Zoals duidelijk zal zijn tegen het einde van deze thesis, zijn er harde limieten op de mogelijkheid om hoogfrequent detail uit de omgevingsfactoren terug te achterhalen. Anderzijds vereist niet elke toepassing dezelfde mate van precisie om overtuigende herbelichting te verwezenlijken. In deze thesis zullen enkele voorbeelden getoond worden die de praktische haalbaarheid van herbelichting aantonen.