Bayesian Optimization for Engineering Design and Process Optimization

Abstract

In wetenschap en techniek speelt optimalisatie een cruciale rol. Bijvoorbeeld het ontwikkelen van een nieuw medicijn om ziekten effectiever te bestrijden of het ontwerpen van een elektrische motor voor maximale efficiëntie zijn belangrijke optimalisatietaken. Om deze problemen succesvol op te lossen zijn efficiënte en effectieve algoritmen heel belangrijk. Zeker wanneer het ontwerp of het proces dat we willen optimaliseren gepaard gaat met hoge evaluatiekosten voor het berekenen van de doelfuncties. Denk bijvoorbeeld aan het evalueren een elektrisch motorontwerp via de eindige elementen methode. De duur van dit proces kan variëren van minuten tot dagen, afhankelijk van de complexiteit van het onderzochte motorontwerp. Voor een goede optimalisatie zijn er tientallen tot honderden of meer evaluaties nodig. Bovendien hebben sommige problemen geen gesloten formule of is er geen informatie over de afgeleides van de doelfunctie, bijvoorbeeld wanneer fysieke experimenten worden uitgevoerd in een laboratoriumomgeving. Dit soort problemen wordt ook wel naar verwezen als ”black boxöptimalisatie. Evolutionaire algoritmen zijn doorgaans een geschikte aanpak voor black-box optimalisatieproblemen en vereisen weinig of geen aannames voor het probleem (zoals bijvoorbeeld het beschikbaar zijn van afgeleides). Echter, vanwege hun heuristische aard vereisen ze een aanzienlijk aantal functie-evaluaties om het gewenste optimum te identificeren. Daarom wordt de voorkeur gegeven aan efficiënter algoritmes. Vooral wanneer de doelfuncties in het optimalisatieprobleem gepaard gaan met hoge evaluatiekosten. De doelstelling van dit werk is het aantal evaluaties te beperken. Veelbelovende oplossingen gebruiken een surrogaatmodel om de optimalisatie te versnellen. Dit werk focust zich op het ontwikkelen van data-gedreven technieken met behulp van surrogaatmodellen voor ontwerp- en procesoptimalisatieproblemen in de ingenieurswetenschappen. Deze surrogaatmodellen worden gebruikt om de dure evaluaties van de doelfuncties, zoals het berekenen van de motorefficiëntie, te benaderen. Onder de verschillende surrogaatmodelleringstechnieken worden Bayesiaanse methoden gewaardeerd in vergelijking met andere methodes. De Bayesiaanse aanpak probeert namelijk ook de onzekerheid te kwantificeren in het geloof dat we hebben over de doelfunctie (bv., efficiëntie) van het huidig ontwerp of proces die we willen modelleren. Het overweegt alle mogelijke benaderingen van de echte functie op basis van de geobserveerde data. Door gebruik te maken van de voorspellingen en de onzekerheid daarop die deze modellen bieden, kan men een efficiënte optimalisatietechniek creëren voor het oplossen van het black-box optimalisatieprobleem. Hoofdstuk 1 biedt een meer gedetailleerde bespreking van dit concept. In het bijzonder behandelt het de Bayesiaanse aanpak en biedt het inzicht en intuïtie in de onderliggende werking ervan. De daaropvolgende secties van het hoofdstuk schetsen de fundamentele ideeën voor het zoeken naar optima, terwijl ze ook de redenering illustreren achter de acquisitiefunctie die wordt gebruikt om nieuwe potentiële oplossingen te rangschikken op basis van de huidige overtuigingen van het Bayesiaanse model. In realistische multi-objectieve optimalisatieproblemen zijn doorgaans niet alle objectieven duur om te evalueren. Vaak zijn de objectieven een mix van zowel goedkope als dure objectieven. Echter een aanzienlijke hoeveelheid onderzoek en praktische toepassingen, vooral degene die betrokken zijn bij Bayesiaanse optimalisatiemethoden gebaseerd op het hypervolume, benaderen vaak de goedkope objectieven met behulp van Bayesiaanse modellen. Deze aanpak kan echter een nadelig effect hebben bij het omgaan met een niet-gladde en moeilijk te modelleren goedkope functie. Om dit probleem aan te pakken, introduceert dit werk in Hoofdstuk 2 een bi-objectieve Bayesiaanse optimalisatiemethode gebaseerd op het hypervolume die zowel goedkope als dure objectieven ondersteunt. Dit wordt bereikt door de deterministische goedkope doelstelling op te nemen in de hypervolume-integratieformule. In dit hoofdstuk worden twee nieuwe acquisitiefuncties geintroduceerd op basis van de hypervolumegebaseerde ”Expected Improvement ën ”Probability of Improvement ”. De prestaties van deze methoden worden geëvalueerd op een reeks benchmarkfuncties en twee echte toepassingen. In navolging van het bi-objectieve raamwerk dat is besproken in Hoofdstuk 2, gaat Hoofdstuk 3 dieper in op complexere problemen. Dit hoofdstuk heeft tot doel om problemen aan te pakken met meer dan twee, zowel goedkope als dure, objectieven. Bovendien wordt er rekening gehouden met zowel goedkope als dure beperkingen op de finale oplossing wat het optimalisatieprobleem aanzienlijk uitdagender maakt. Net als in het vorige hoofdstuk wordt een op hypervolume-gebaseerde acquisitiefunctie ontwikkeld. Bovendien worden technieken op basis van de ”probability of feasibilityacquisitiefunctie en een surrogaatmodel gebruikt om de tijdrovende evaluatie van de dure beperkingen te minimaliseren, terwijl de evaluatie van de goedkope beperking rechtstreeks kan worden aangesproken tijdens de optimalisatie van de acquisitiefunctie. De voorgestelde methode wordt vervolgens toegepast voor het ontwerpen van een synchrone motor met permanente magneten. Dit brengt aanzienlijke uitdagingen met zich mee, vooral vanwege de aanwezigheid van een strikte beperking die de set van mogelijke oplossingen beperkt. Om hiermee om te gaan, wordt een acquisitiefunctie ontwikkeld voor het actief leren van de beperking om de Bayesiaanse optimalisatie te starten. Deze tweeledige aanpak presteert beter dan de traditionele method op basis van het hypervolume en ook beter dan een genetische algoritme. Bovendien wordt de voorgestelde methode geëvalueerd op verschillende multi-objectieve testfuncties. In bepaalde optimalisatiescenario’s kunnen parameterconfiguraties gelijktijdig geevalueerd worden, i.t.t. de sequentiële benadering die doorgaans wordt toegepast voor standaard Bayesiaanse optimalisatie. Neem bijvoorbeeld de optimalisatie van een lijmprocess, waarbij meerdere verlijmde substraten tegelijkertijd in de oven geplaatst worden voor het uithardingsproces. Dit maakt de parallelle evaluatie van meerdere parameterconfiguraties mogelijk (= ”batch”van metingen). In fysieke experimentele omgevingen moeten de elementen binnen de ”batch”vaak voldoen aan specifieke beperkingen, zoals het minimaliseren van bepaalde batchkosten. We verwijzen naar deze voorkeuren als batchcondities. In Hoofdstuk 4 worden drie verschillende batchcondities onderzocht. In de eerste conditie wordt één dimensie van de parameterconfiguratie constant gehouden binnen een batch. Bijvoorbeeld, zodat dezelfde oventijd wordt gehandhaafd voor een batch van metingen in het uithardingsproces na het lijmen. De tweede conditie heeft als doel om de variantie van een van de parameters binnen een ”batch”te minimaliseren. Bijvoorbeeld, het verminderen van de variatie van de oventijd kan worden beschouwd als een manier om het multitasken dat de operator moet uitvoeren tijdens de optimalisatie van het lijmen te verminderen. In laatste conditie wordt de maximale waarde van een van de parameters binnen een ”batch”geminimaliseerd. Het verminderen van de maximale oventijd binnen een ”batch”verlijmde substraten impliceert een wens om de algehele duur van de ovenwerking te verminderen, resulterend in verminderde kosten. De voorgestelde aanpak wordt geëvalueerd door middel van testen op een reeks benchmarkfuncties en een toepassing met betrekking tot het lijmproces. Hoofdstuk 5 biedt een beknopte samenvatting van de conclusies die zijn getrokken uit dit proefschrift. Het bevat ook een discussie over mogelijke toekomstige onderzoeksrichtingen. In dit hoofdstuk zal ik een overzicht geven van de belangrijkste bevindingen en enkele inzichten delen in mogelijke ideëen voor verder onderzoek. Ter afsluiting omvat deze scriptie twee bijlagen waarbij Bayesiaanse modellen worden gebruiken voor het maken van accurate digitale tweelingen van technische systemen. In Bijlage A worden Gaussische processen (GPs) gebruikt om surrogaatmodellen te construeren voor elektrische aandrijvingen. Bovendien is er een initiële test uitgevoerd op datasets om het transient gedrag te beoordelen. In Bijlage B wordt het gebruik van GPs en Multilayer Perceptron (MLP) onderzocht voor warmtewisselaars. Bayesiaanse optimalisatie wordt hierbij gebruikt om de architectuur en hyperparameters van de MLP te optimaliseren.

Optimization is a crucial and vast field in science and engineering. Optimization tasks are numerous and include developing a new drug to combat disease more effectively or designing the shape of an electrical motor for maximum efficiency in mass production are inherently optimization tasks. To this end, having efficient and effective optimization algorithms to carry out is very important. This becomes even more significant when the design or process we wish to optimize comes with high computational costs. For instance, evaluating a single electrical motor design configuration requires running expensive finite element methods. The time needed for this can range from a few minutes to several days, depending on the complexity of the motor design being investigated. For optimization tasks typically many evaluations of various designs are required. Moreover, often problems do not possess closed-form formulas or derivative information, such as when conducting physical experiments in a real-world laboratory setting. These types of problems are commonly known as black-box optimization problems. Evolutionary algorithms are a suitable approach for addressing black-box optimization problems. Because of their heuristic nature, they do not impose strict requirements or assumptions on the problem at hand but typically require a substantial number of function evaluations to identify the desired optimal solution. Therefore, a more efficient algorithm is mandated, especially when the objective functions in the optimization problem come with high evaluation costs. The issue this thesis aims to address is the limited size of the potential data sets, which is a direct consequence of the high cost of function evaluations in science and engineering problems. Surrogatebased optimization approaches are one promising solution for this type of problem. This thesis concentrates on developing data-efficient techniques using surrogate models, or machine learning, for engineering design and process optimization problems. These surrogate models are employed to approximate the expensive objectives. Among various surrogate-based modeling techniques, Bayesian machine learning methods are a popular and data-efficient solution compared to other approaches. The Bayesian approach tries to quantify the uncertainty about the belief we hold concerning the process or objective we want to model. All possible outcomes are considered based on the observed data of the real function. Leveraging the predictive capabilities and uncertainty quantification offered by Bayesian inference, improved data-efficient optimization techniques can be created for addressing black-box optimization problems. Chapter 1 provides a more detailed discussion of this concept. In particular, it discusses the Bayesian modeling workflow and offers insight into the underlying intuition. The subsequent sections of the chapter outline the fundamental ideas for searching for optima while also illustrating the reasoning behind the scoring function used to inquire about a potential new optimal point based on the current beliefs of the Bayesian model. This framework, which relies on Bayesian surrogate models, is known as Bayesian Optimization (BO). In real-world multi-objective optimization, not all objectives are expensive to evaluate. Often, the objectives are a mix of both cheap and expensive ones. Unfortunately, a significant amount of research and practical applications, especially those involving hypervolume-based BO methods, choose to simply approximate the cheap objectives using Bayesian models. However, this approach might be detrimental when dealing with a non-smooth and hard-to-model cheap function. To address this issue, Chapter 2 introduces a bi-objective hypervolume-based Bayesian Optimization method that accommodates both cheap and expensive objectives. In particular, this is achieved by directly incorporating the deterministic cheap objective in the definition of the hypervolume improvement formula, leading to new formulations. Two new acquisition functions based on hypervolume-based Expected Improvement and Probability of Improvement are proposed. The performance of these methods is evaluated on a range of benchmark functions and two real-world engineering design optimization problems. Expanding upon the bi-objective optimization framework discussed in Chapter 2, Chapter 3 investigates a more generalized setting where the aim is to address scenarios involving more than two cheap-expensive objectives. Furthermore, it also takes into account both cheap and expensive constraints making the problem considerably more challenging compared to unconstrained bi-objective scenarios. Similar to the previous chapter, a hypervolume-based cheap-expensive acquisition function is developed. Moreover, probability of feasibility techniques are utilized to handle the expensive constraint, while the cheap constraint is handled by the inner optimizer during the optimization of the acquisition function. The proposed method is subsequently applied to the optimization of a permanent magnet synchronous motor design. This real-world problem presents significant challenges, particularly due to the presence of a non-smooth constraint with a small feasible region. To handle this, an active learning acquisition function is developed for generating better initial feasible points for the BO process. This two-stage approach outperforms the standard hypervolume-based approach and often the genetic algorithm method as well. Additionally, the proposed method is evaluated on various multi-objective (constrained) test functions. In certain optimization scenarios, it becomes possible to evaluate parameter configurations in parallel, which differs from the sequential approach commonly employed in standard Bayesian Optimization. Take, for instance, the optimization of an adhesive bonding process, where it is possible to place multiple glued substrates in the oven for the curing process simultaneously. This enables the parallel evaluation of parameter configurations. In physical experimental settings, such as in the case of the adhesive bonding problem, the elements within the batch often need to adhere to specific constraints, or the overall parallel optimization procedure should also aim to minimize certain batch costs. This thesis refers to these preferences as Batch Conditions. In Chapter 4, three distinct batch conditions are explored. The first condition is the fixed input batching, where one dimension of the parameter configuration to be optimized must remain constant within a batch. For instance, this could involve maintaining the same oven time for a batch of points in the adhesive bonding curing process. The second condition is the minimum variance input batching, where the goal is to minimize the cumulative variance of one of the parameters within a batch. For instance, reducing the cumulative variation in oven time can be seen as a way to reduce the multitasking that the operator needs to perform during adhesive bonding optimization. The final batch condition is min-max input batching, where the objective is to minimize the maximum value of one of the parameters within a batch. Reducing the maximum oven time within a batch of glued substrate implies a desire to reduce the overall duration of oven operation, resulting in reduced costs associated with oven operation. The proposed approach is evaluated through testing on a set of benchmark functions and an adhesive bonding optimization problem. Chapter 5 offers a concise summary of the conclusions drawn from this dissertation. It also includes a discussion about potential future research directions. In this chapter, an overview of the main findings and some insights into possible areas for further investigation are provided. To conclude, this thesis comprises two appendices that explore the use of Bayesian models for building digital twins of engineering systems. In Appendix A, Gaussian Processes (GPs) are employed to construct surrogate models for electrical drives, considering the steady-state equivalent of the physical simulator. Additionally, an initial test on transient phase data sets has been conducted to assess the capabilities of the GP model. In Appendix B, the utilization of GPs and Multilayer Perceptron (MLP) for heat exchanger system surrogates is investigated. Bayesian Optimization is employed to optimize the architecture and hyperparameters of the MLP.