Impact of Methodological Choices on Road Safety Ranking

Abstract

Samengestelde indicatoren aggregeren een veelheid aan informatie in één index op basis waarvan landen vaak gerangschikt worden. De positie van een land kan echter sterk beïnvloed worden door de methodologische keuzes die gemaakt worden tijdens het proces waarbij een samengestelde indicator wordt gecreëerd. Dit proces bestaat uit verschillende fasen zoals het selecteren van geschikte indicatoren, het normaliseren van de indicatorwaarden, het toekennen van een gewicht aan elke indicator en het selecteren van een aggregatieoperator. Om een robuuste index te garanderen waarbij in elke fase verscheidene mogelijke en alternatieve technieken worden beschouwd, is een onderzekerheid- en sensitiviteitanalyse essentieel. Onderzoekers, beleidmakers alsook de weggebruikers zullen voordeel halen uit zulke analyse. We identificeren immers de belangrijkste methodologische aspecten waarvoor bijkomende informatie het meest waardevol is om de onzekerheid in het eindresultaat te verminderen. Onzekerheid- en sensitiviteitanalyse als een noodzakelijk onderdeel van het indexproces beschouwen, zal zorgen voor een hogere aanvaardbaarheid van samengestelde indicatoren. In dit onderzoek wordt de verkeersveiligheidsrangschikking van landen op basis van verschillende indicator- en wegingsopties bestudeerd. De resultaten tonen dat de rangschikking van landen significant verschilt naargelang de gekozen wegingsmethode, expert en set van indicatoren. Van deze drie factoren blijkt de indicatorset de meest beïnvloedende factor te zijn. Bijkomend onderzoek met betrekking tot de selectie van geschikte verkeersveiligheidsindicatoren (naast andere aspecten) zal de onderzekerheid in de rangschikking verminderen en bijdragen tot het verkrijgen van een robuuste verkeersveiligheidsindex.

Composite indicators aggregate a lot of information in one index based on which countries are often ranked. However, the position of a country can largely be influenced by the methodological choices made during the composite indicator process. This process consists of several phases such as selecting appropriate indicators, normalising the indicator values, assigning a weight to each indicator and selecting an aggregator. In order to guarantee a robust index considering several possibilities and alternative techniques during each phase, an uncertainty and sensitivity analysis is essential. Researchers, policymakers as well as the community of road users will benefit from such analysis. The most influencing methodological aspects will be indicated for which extra information is most valuable in order to reduce the uncertainty in the end result. Incorporating the necessary uncertainty and sensitivity analysis in the process is an aspect that will enlarge the acceptability of composite indicators. In this research, the road safety ranking of countries based on different weighting and indicator options is studied. The results show that the ranking of countries differs significantly according to the selected weighting method, expert and set of indicators. Of these three factors, the indicator set resulted to be the most influencing factor. Additional research on the selection of appropriate indicators (beside other aspects) will reduce the uncertainty in ranking and help in obtaining a robust road safety index.