The impact of uncertainties in input factors on road safety savings at the regional level: Applying sensitivity analysis to a computational model for assessing the impact of policy measures at the regional level

Abstract

Het doel van dit rapport is het uitvoeren van een sensitiviteitsanalyse om de robuustheid van verkeersveiligheidsresultaten ten aanzien van onzekerheid in verschillende inputfactoren te beoordelen. Meer bepaald kunnen de inputfactoren die voor de meeste variatie zorgen in de modeloutput bepaald worden. In dit onderzoek omvat de modeloutput de verkeersveiligheidsresultaten, namelijk het aantal bespaarde letselongevallen, terwijl de inputfactoren variabelen zijn die de verkeersveiligheids-resultaten beïnvloeden. De sensitiviteit of gevoeligheid van het aantal bespaarde letselongevallen wordt beoordeeld, gebruik makende van zes inputfactoren (de onderrapportering voor letselongevallen, de wijziging in autonoom risico, de groei in verkeersprestatie, de effectiviteit van alcohol- of drugscontroles, het gecombineerde effect van automatische filewaarschuwingssystemen (door middel van variabele borden) en congestiewaarschuwingssystemen (de maatregelen worden afhankelijk of onafhankelijk van elkaar beschouwd) en het gecombineerde effect van borden die de aanbevolen snelheid aanduiden in bochten en nieuwe vangrails (afhankelijk of onafhankelijk beschouwd)). Door middel van een rekenmodel (Nambuusi et al., 2009 gebaseerd op Reurings en Wijnen, 2008) wordt het aantal bespaarde letselongevallen in een fictieve casestudie berekend. Variantiegebaseerde sensitiviteitsanalyse methodes (Saltelli (2002) en Saltelli et al. (2008)) worden gebruikt om de factoren te bepalen die voor de meeste onzekerheid in het aantal bespaarde letselongevallen zorgen. Deze methodes hebben onder andere het voordeel dat ze interactie-effecten kunnen vatten naast de fractionele bijdrage van een inputfactor aan de variatie van de modeloutput en dat ze eenvoudig te interpreteren zijn.

De fictieve casestudie (met als doel het illustreren van de sensitiviteitsmethodologie) resulteert in een gemiddeld aantal bespaarde letselongevallen tegen 2010 van 2357 met een standaardafwijking van 159, een minimum van 1774 en een maximum van 2954. Dit breed interval van bespaarde letselongevallen impliceert een grote onzekerheid gegeven de mogelijke waarden van de inputfactoren. De factoren die bijdragen aan deze onzekerheid worden geïdentificeerd door middel van een sensitiviteitsanalyse. De resultaten van de sensitiviteitsanalyse tonen dat, wanneer elke factor afzonderlijk wordt beschouwd, de groei in verkeersprestatie de meeste onzekerheid in het aantal bespaarde letselongevallen veroorzaakt. Bovendien hebben ook de onderrapportering van letselongevallen, de wijziging in autonoom risico en het gecombineerde effect van twee maatregelen (borden die de aanbevolen snelheid aanduiden in bochten en nieuwe vangrails) hoge eerste-orde sensitiviteitindices. De totale-effect sensitiviteitindices (rekening houdend met interactie-effecten) duiden hoofdzakelijk de effectiviteit van alcohol- of drugscontroles en het gecombineerde effect van twee maatregelen (automatische filewaarschuwingssystemen door middel van variabele borden en congestiewaarschuwingssystemen; en borden die de aanbevolen snelheid aanduiden in bochten en nieuwe vangrails) aan. Over het algemeen kunnen we besluiten dat de schattingen van alle factoren van groot belang zijn en precieze inschatting vereisen om de onzekerheid in het aantal bespaarde letselongevallen te reduceren. Desalniettemin zou prioriteit gegeven moeten worden aan de groei in verkeersprestatie.

Verder onderzoek in de ontwikkeling van het model zou gewijd moeten worden aan het verhogen van de zekerheid met betrekking tot alle inputfactoren. Daarnaast zou een meer realistische casestudie voor Vlaanderen (gebruik makende van recente, gedetailleerde, kwaliteitsvolle data) interessante inzichten opleveren.

The objective of this report is to carry out a sensitivity analysis to assess the overall robustness of the road safety outcomes due to the uncertainty in various model input factors. Moreover, input factors that propagate most variance in the model output can be determined. In this research, the model output are the road safety outcomes, that is, the number of injury accidents saved while input factors are variables influencing the road safety outcomes. The sensitivity of the number of injury accidents saved is assessed using six factors (underreporting factor for injury accidents, modification factor for the autonomous risk, growth factor in traffic performance, the effectiveness of alcohol or drugs checks, the combined effect of automatic warnings of queues with variable signs and congestion warning signals (considered dependent or independent) and the combined effect of signs showing recommended speed in curves and new guardrails along embankments (considered dependent or independent)). By means of a computational model (Nambuusi et al., 2009 based on Reurings and Wijnen, 2008) the number of injury accidents saved in a fictitious case study is determined. Variance based sensitivity analysis methods (Saltelli (2002) and Saltelli et al. (2008)) are utilized to identify the factors that cause most uncertainty in the number of injury accidents saved. Such methods have advantages of being model-free, the ability to capture interaction effects in addition to the fractional contribution of an input factor to the variance of the model output and straightforward to interpret. The fictitious application (aimed at illustrating the sensitivity methodology) results in an average number of injury accidents saved by 2010 of 2,357 with a standard deviation of 159, a minimum of 1,774 and a maximum of 2,954. This wide range of the number of injury accidents saved implies a high uncertainty given the possible values of the input factors. The factors contributing to this uncertainty have been identified by means of a sensitivity analysis. The sensitivity analysis results have shown that considered singularly, the growth factor in traffic performance causes most uncertainty in the number of injury accidents saved. Moreover, the underreporting factor for injury accidents, the modification factor for the risk and the combined effect of two measures (new guard rails along embankments and signs showing recommended speed in curves) also have large first-order sensitivity indices. Further, the total-effect sensitivity indices (accounting for interaction effects) mainly indicate the effectiveness of alcohol or drug checks and the combined effect of two measures (automatic warnings of queues with variable signs and congestion warning signals; signs showing recommended speed in curves and new guardrails along embankments). In general, we conclude that the estimates of all factors are essential and require precise estimation if uncertainty in the number of injury accidents saved is to be reduced. However, the growth factor in traffic performance should be given priority. Future research in the development of the model should be devoted to improving certainty concerning all input factors. In addition, a more realistic case study for Flanders (using recent, detailed data of high quality) would provide interesting insights.