Inter-national Benchmarking of Road Safety Performance and Development using Indicators and Indexes: Data Envelopment Analysis based Approaches.

Abstract

Road traffic injuries and fatalities have nowadays been recognized as one of the most important public health issues that requires concerted efforts for effective and sustainable prevention. Given the fact that more and more countries are taking steps to improve their road safety situation, there is a growing need for a country to evaluate its own road safety performance, to compare it with that of other countries, and moreover, to learn from those best-performers as a basis for developing their own road safety policy. In this dissertation research, we implemented road safety product benchmarking and road safety programme benchmarking based on road safety risk indicators and safety performance indicators (SPIs), respectively for 28 European countries. The technique of data envelopment analysis (DEA), originally developed to assess the so-called relative efficiency of a homogeneous set of decision making units on the basis of multiple inputs and multiple outputs, was investigated and applied throughout this dissertation. Various extensions to the methodology were explored to answer the specific research questions that were associated with both road safety benchmarking studies. Useful insights were gained from benchmarking analyses, and valuable recommendations were given to road safety policymakers by indicating practical targets and formulating action priorities to enhance the level of road safety. In the road safety product benchmarking, we investigated different road safety final outcomes (such as road fatalities). The corresponding road safety risk indicators based on different measures of exposure as well as their evolution over time were compared between countries. Specifically, we developed a DEAbased road safety model (DEA-RS) to evaluate the overall road safety risk of the 28 European countries by simultaneously considering three main risk indicators (i.e., the number of fatalities per million inhabitants, the number of fatalities per 10 billion passenger-kilometres travelled, and the number of fatalities per million passenger cars). That way, the ‘efficiency’ of each country’s current operations was identified. Moreover, by performing clustering analysis to group countries with inherent similarity in their practices, we further applied a categorical DEARS model to identify best-performing and underperforming countries in each group. Useful benchmarks were then identified and a set of practical targets in terms of road fatalities assigned for those underperforming countries. Furthermore, to capture the dynamic road safety development in each country, we applied the Malmquist productivity index to assess the road safety performance change of countries over time, in which we not only focused on the evolution of road safety final outcomes within a given period, but also took the changes in exposure in the same period into account. It therefore provided more objective results than the ones based on the traditional indicator that only measures the percentage change in road fatalities. Moreover, the decomposition of the index into efficiency change (or catch-up effect) and technical change (or frontier-shift effect) further provided valuable information on whether the improvement in road safety of each country was attained through countryspecific progress relative to the other countries that were considered, or just through an overall improvement in the technological environment. In addition, we also investigated the possibility to take a larger picture of the impact of road crashes into account by including the number of serious injuries as an additional indicator of road safety final outcome to perform road safety product benchmarking and further analyzed its impact on the countries’ ranking. In doing so, different types of weight restrictions were formulated in the DEA-RS model to indicate the relationship between road fatalities and serious injuries. Interesting results were obtained inspiring us to apply this kind of model to a more complete road safety product benchmarking practice in the future. With respect to the road safety programme benchmarking, which is to compare the human-vehicle-infrastructure performance between countries with the purpose of explaining more detailed aspects of crash causation and injury prevention, safety performance indicators situated on the level of intermediate outcomes of road safety were studied, and the combination of individual indicators into a composite road safety performance index was the main focus of this research. Specifically, based on the identification of six leading road safety risk factors (i.e., alcohol, speed, protective systems, vehicle, road, and emergency medical services) within the three main road transport components (i.e., road user, vehicle and infrastructure), we developed a comprehensive set of hierarchically structured SPIs for capturing the road safety performance of a country, and various international data sources providing indicator values for a large set of countries were consulted. Totally, 32 quantitative SPIs were specified with available data collected (or calculated) for 28 European countries, and necessary data processing procedures (including outlier detection and missing data imputation) were performed. Moreover, to measure the multi-dimensional concept of road safety performance which cannot be captured by a single indicator, we investigated the use of DEA to construct a composite road safety performance index for cross-country comparison. In doing so, a multiple layer DEA-based composite index model (MLDEA-CI) was proposed for hierarchical structure assessment. Based on this model, the most optimal road safety performance index score for each of the 28 European countries was determined by combining all the 32 hierarchical SPIs. Best-performing countries were distinguished from underperforming ones and countries were ranked subsequently. A clear link with the overall road safety risk from the view of the final outcome level was verified. Moreover, country-specific benchmarks were identified for the underperforming countries, and useful insight in the areas of underperformance in each country was gained by analyzing the indicator weights allocated in each layer of the hierarchy. The results enabled policymakers to prioritize their actions to improve the level of road safety in their country. In addition, for the sake of meaningful and reliable benchmarking, two practical challenges related to data (including missing values and qualitative indicators) were explored in the development of a composite road safety performance index. Regarding the influence of the existence of missing data in the data set on the final index score of 28 European countries, we replaced them by approximations in the form of intervals deduced from multiple imputation in which the true values are believed to lie. An interval MLDEA-based CI model was subsequently applied to obtain for each country an upper and a lower bound of its index score corresponding to its most favorable and unfavorable option, respectively. The interval instead of the precise index score for each country highlighted the underlying imperfect nature of the indicator data, and provided us with a more credible representation of a country’s overall road safety performance. Furthermore, we investigated two approaches within the DEA framework for modeling qualitative (or ordinal) data in the context of composite index construction. They are the imprecise DEA-based CI model and the fuzzy DEAbased CI model. A crisp index score was achieved for each country by using the IDEA-based CI model, which is easy for interpretation and use, while in the FDEA-based CI model, fuzzy index scores were obtained based on different possibility levels, which are powerful on the other hand in capturing the uncertainties associated with human thinking. The high similarity of the ranking result based on these two models verified its robustness and implied the reliability of using either of these two approaches for modeling qualitative data. To conclude, inter-national benchmarking of road safety performance and development is a promising step to improve a country’s road safety level. We identified in this dissertation the main research issues with respect to road safety product and programme benchmarking based on different types of road safety indicators, and developed corresponding approaches to deal with these issues. This research mainly contributed to the literature on using the technique of DEA and its various extensions to implement meaningful road safety benchmarking practices. Although it is mathematical in nature, the theory behind it is straightforward and it is currently ready for implementation at the practical level. In addition, from the road safety policy point of view, based on the recommendations with respect to both target setting and action prioritizing from the benchmarking studies described in this dissertation, learning about best practices applied in country-specific benchmarks and (re)formulating concrete road safety strategies and programmes constitute the first next step for each country to take, which in turn, generates new challenges and opportunities for future research.

Verkeersslachtoffers en verkeersdoden worden tegenwoordig beschouwd als één van de belangrijkste volksgezondheidsaangelegenheden waarvoor inspanningen met het oog op een efficiënte en duurzame preventie vereist zijn. Omdat steeds meer landen maatregelen nemen om hun verkeersveiligheidssituatie te verbeteren, is er een groeiende behoefte voor landen om hun eigen verkeersveiligheidsprestaties te evalueren, om deze te vergelijken met die van andere landen, en om bovendien te leren van “goede landen” bij de ontwikkeling van hun eigen verkeersveiligheidsbeleid. Dit doctoraatsonderzoek richt zich op het benchmarken van het verkeersveiligheidsproduct enerzijds en het verkeersveiligheidsprogramma anderzijds op basis van indicatoren gerelateerd aan het verkeersveiligheidsrisico en de verkeersveiligheidsprestatie voor 28 Europese landen. De data envelopment analyse (DEA) techniek, die oorspronkelijk ontwikkeld werd om de relatieve efficiëntie te beoordelen van een homogene set van eenheden op basis van meerdere inputs en outputs, werd bestudeerd en toegepast doorheen dit proefschrift. Meerdere uitbreidingen van de methodologie werden onderzocht en voorgesteld om te beantwoorden aan de specifieke onderzoeksvragen. Deze benchmark studie op vlak van verkeersveiligheid verschafte ons nuttige inzichten waardoor waardevolle aanbevelingen met betrekking tot verkeersveiligheid aan beleidsmakers gegeven konden worden, bijvoorbeeld door te wijzen op haalbare doelstellingen en het formuleren van aandachtspunten om het verkeersveiligheidsniveau te verbeteren. Bij het benchmarken van het verkeersveiligheidsproduct lag de nadruk op verscheidene finale verkeersveiligheidsuitkomsten (zoals dodelijke slachtoffers). Hierbij werden landen vergeleken wat betreft hun verkeersveiligheidsrisico gedefinieerd op basis van verschillende blootstellingsmaten, evenals de evolutie hierin over de tijd. Meer specifiek ontwikkelden we een DEA-gebaseerd verkeersveiligheidsmodel (DEA-RS) om de globale verkeersveiligheid van de 28 Europese landen te evalueren door tezelfdertijd drie belangrijke risicoindicatoren in rekening te brengen (zijnde het aantal doden per miljoen inwoners, het aantal doden per 10 miljard afgelegde personenkilometers, en het aantal doden per miljoen personenwagens). Op deze manier konden we de ‘efficiëntie’ van elk land identificeren. Na een clusteranalyse om landen die inherente gelijkenissen vertonen te groeperen, pasten we verder een categorisch DEA-RS model toe om de best presterende en ondermaats presterende landen in elke groep te identificeren. Zo konden we nuttige voorbeeldlanden identificeren, alsook een reeks praktische doelstellingen met betrekking tot verkeersdoden bepalen voor de landen die ondermaats presteren. Om bovendien de dynamische verkeersveiligheidsontwikkeling in elk land te vatten, pasten we de Malmquist productiviteitsindex toe om veranderingen in de verkeersveiligheidsprestaties van landen doorheen de tijd te beoordelen. Hierbij keken we niet enkel naar de evolutie van de finale uitkomsten op vlak van verkeersveiligheid binnen een bepaalde periode, maar ook naar de veranderingen in blootstelling tijdens dezelfde periode. Bijgevolg leverde dit objectievere resultaten op dan de resultaten die gebaseerd zijn op de traditionele indicator, waar enkel procentuele veranderingen in het aantal verkeersdoden gemeten worden. De opdeling van de index in efficiëntie verandering (of “catch-up” effect) en technische verandering (of “frontier-shift” effect) verstrekte bovendien waardevolle informatie over het feit of de verkeersveiligheidsverbetering in elk land werd bereikt door een land-specifieke vooruitgang ten opzichte van de andere landen die werden beoordeeld of enkel door een algemene verbetering op technologisch vlak. Bovendien onderzochten we in het kader van verkeersveiligheidsproduct benchmarking de mogelijkheid om ook het aantal zwaargewonden op te nemen als extra indicator van de finale uitkomsten van verkeersveiligheid en analyseerden we de impact hiervan op de rangschikking van de landen. In het DEA-RS model werden verschillende types gewichtsbeperkingen geformuleerd om de verhouding tussen verkeersdoden en zwaargewonden aan te geven. Dit leverde interessante resultaten op die ons inspireerden om dit model in de toekomst toe te passen op een zo uitgebreid mogelijke set van finale verkeersveiligheidsuitkomsten. Met betrekking tot het benchmarken van het verkeersveiligheidsprogramma, dat gericht is op het vergelijken van de mens-voertuig-infrastructuurprestaties tussen landen en zo meer gedetailleerde aspecten van het ongevals- en verwondingsproces verklaren, werden verkeersveiligheidsindicatoren op het niveau van tussenliggende verkeersveiligheidsuitkomsten bestudeerd. De focus van dit onderzoek lag hierbij op de combinatie van individuele indicatoren in een samengestelde verkeersveiligheidsprestatie-index. Meer bepaald ontwikkelden we voor zes belangrijke verkeersveiligheidsfactoren (alcohol, snelheid, beschermende uitrusting, voertuig, weg, en medische hulpverlening) een uitgebreide set van hiërarchisch gestructureerde indicatoren om de verkeersveiligheidsprestatie van een land weer te geven. Hierbij werden diverse internationale gegevensbronnen geraadpleegd die indicatorwaarden verstrekken voor een grote reeks landen. In totaal werden 32 kwantitatieve prestatieindicatoren gespecificeerd waarvoor gegevens verzameld (of berekend) werden voor 28 Europese landen, en de noodzakelijke gegevensverwerkingsprocedures (inclusief het detecteren van uitschieters en de imputatie van ontbrekende gegevens) werden uitgevoerd. Om het multidimensionele concept van verkeersveiligheidsprestatie te vatten (hetgeen niet vastgelegd kan worden in één enkele indicator), onderzochten we of de DEA techniek gebruikt kan worden om een samengestelde verkeersveiligheidsprestatie-index te verkrijgen op basis waarvan landen met elkaar vergeleken kunnen worden. Hiervoor werd een meerlagig DEA-gebaseerd indexmodel (MLDEA-CI) opgesteld. Gebruikmakend van dit model werd de meest optimale verkeersveiligheidsprestatie-indexscore (berekend als combinatie van 32 hiërarchische prestatie-indicatoren) voor elk van de 28 Europese landen bepaald. De best presterende landen werden onderscheiden van de ondermaats presterende en landen werden gerangschikt. Een duidelijke link met het globale verkeersveiligheidsrisico (uit de benchmarking van het verkeersveiligheidsproduct) werd gevonden. Voorts werden land-specifieke voorbeeldlanden geïdentificeerd voor de ondermaats presterende landen en werd voor een land een goed inzicht verkregen in de domeinen waarin ondermaats gepresteerd werd door de indicatorgewichten te analyseren die in elke laag van de hiërarchie waren toegewezen. De resultaten geven zo een richting aan voor het verhogen van de verkeersveiligheidsprestatie in een land. Bij de ontwikkeling van een samengestelde verkeersveiligheidsprestatie-index werd met het oog op een zinvolle en betrouwbare benchmarking bovendien onderzoek gedaan naar twee praktische uitdagingen op het gebied van gegevens (inclusief ontbrekende waarden en kwalitatieve indicatoren). Wat betreft de invloed van ontbrekende data in de dataset op de definitieve indexscore van de 28 Europese landen, werd gebruik gemaakt van intervallen, bepaald uit meervoudige imputatie, waarin de werkelijke waarden worden verondersteld te liggen. Een interval MLDEA-gebaseerd CI model werd later toegepast om voor ieder land een maximum en minimum indexscore te verkrijgen die respectievelijk overeenkomen met de meest gunstige en meest ongunstige optie. Het gebruik van een interval in plaats van de exacte indexscore voor elk land benadrukte de onderliggende imperfectie van de indicatorgegevens, en was een geloofwaardigere weergave van de globale verkeersveiligheidsprestatie van een land. Verder onderzochten we twee benaderingen binnen het DEA-domein om kwalitatieve (of ordinale) gegevens te modelleren in de context van een samengestelde index, met name het “imprecise DEA-based CI model” en het “fuzzy DEA-based CI model”. Een enkele indexscore voor elk land werd verkregen door gebruik te maken van het op IDEA-gebaseerde CI model, hetgeen gemakkelijk te interpreteren en gebruiken is, terwijl in het op FDEAgebaseerde CI model fuzzy indexscores verkregen werden die geschikt zijn om onzekerheden, eigen aan het menselijk denken, te vatten. De hoge mate van overeenstemming van het resultaat (de rangschikking) van deze twee modellen bewees hun robuustheid en impliceerde de mogelijkheid om één van beide benaderingen te gebruiken voor het modelleren van kwalitatieve gegevens. Om te besluiten, is het internationale benchmarken van verkeersveiligheidsprestaties en de ontwikkeling hierin een veelbelovende stap om het verkeersveiligheidsniveau van een land te verbeteren. In dit proefschrift identificeerden we de belangrijkste onderzoeksuitdagingen met betrekking tot het benchmarken van het verkeersveiligheidsproduct en -programma, gebaseerd op verschillende types van verkeersveiligheidsindicatoren en ontwikkelden we de gepaste methodologie om deze uitdagingen te benaderen. Dit onderzoek droeg hoofdzakelijk bij tot de literatuur met betrekking tot het gebruik van de DEAtechniek en haar diverse uitbreidingen in het kader van zinvolle verkeersveiligheid benchmarkpraktijken. Hoewel het wiskundig van aard is, is de achterliggende theorie bevattelijk en kan het momenteel praktisch geïmplementeerd worden. Vanuit het standpunt van het verkeersveiligheidsbeleid en gebaseerd op de aanbevelingen uit de benchmark studies die betrekking hebben op het bepalen van doelstellingen en prioriteiten stellen aan acties, vormen het leren over goede praktijken die toegepast worden in voorbeeldlanden en het (opnieuw) formuleren van concrete veiligheidsstrategieën en -programma's bovendien de eerstvolgende te nemen stap voor elk land. Dit zal op haar beurt nieuwe uitdagingen en kansen creëren voor toekomstig onderzoek.