Mortality statistics in Belgium 1980-1997: quality of coding

Abstract

Aim: To determine to which extent and how coding errors affect the Belgian mortality statistics.

Methods: According to rules and notes of the ICD-9 Classification, an automated programme was developed and applied to the Belgian 1980-1997 mortality data. In addition to this, a recoding exercise has been carried out in collaboration with the French WHO Coding Reference Centre on a systematic sample of 566 certificates.

Main findings: The number of errors decreased significantly over time (from about 100 °/°° errors to 10 °/°°), but the pattern of errors changed in time and in magnitude, according to region of residence and age group (higher error rates in the higher age group, lower error rates in Brussels). The high proportion of certificates, mentioning only one cause of death, prevented to study these phenomena according to type of pathology. Moreover, we found that the real error rate is much higher than that established by the automated programme as shown by the recoding exercise, which determined a four times higher error rate.

Principal conclusions: Notwithstanding the improved quality of our mortality data, a continuous effort of quality assurance and of the timely availability of the statistics is mandatory. It aims essentially at the accuracy of the coding, in which comparisons with other registers are essential, and at the allocation of the necessary resources. Due to shortcomings of the past, one has to be cautious by the interpretation of our older mortality data and of time trends.

Doelstelling: Bepalen in welke mate en hoe codeerfouten de Belgische doodsoorzakenstatistiek beïnvloeden. Methode: Een geautomatiseerd programmema, waarin regels en nota’s van de ICD-9 classificatie werden geïntegreerd, werd uitgewerkt en toegepast op de Belgische mortaliteitsgegevens van 1980-1997. Daarenboven werd in samenwerking met het Franse WGO Codeer Referentiecentrum een hercoderingsoefening uitgevoerd op een systematische steekproef van 566 certificaten. Resultaten: Over de jaren heen verminderde het aantal codeerfouten significant (van ongeveer 100°/°° tot 10°/ °°). Verder veranderden in de loop der jaren de omvang en het patroon van de codeerfouten in functie van het gewest van de woonplaats en de leeftijdsgroep (hogere foutencijfers in de oudere leeftijdsgroep, lagere cijfers in Brussel). De aanzienlijke proportie certificaten waarin slechts één doodsoorzaak vermeld werd, maakte een analyse in functie van het type pathologie onmogelijk. Ons baserend op de hercoderingsoefening stelden we daarenboven vast dat het geautomatiseerde programmema slechts een vierde van de codeerfouten opspoort. Conclusies: Niettegenstaande de verbeterde kwaliteit van de overlijdensgegevens is een volgehouden inspanning vereist, zowel op het gebied van de kwaliteitsbewaking als van de tijdige terbeschikkingstelling van de gegevens. Het gaat hierbij voornamelijk over de accuratesse van de codering, waarbij de vergelijking met andere registers essentieel is, en het toekennen van de nodige middelen. Omwille van de tekortkomingen in het verleden dient men voorzichtig te zijn bij het interpreteren van oudere sterftegegevens en van tijdsreeksen.

Objectif: Déterminer dans quelle mesure et de quelle façon les erreurs d’encodage influencent les statistiques de décès belges. Méthode: Un programme informatisé, dans lequel des règles et des notes de la Classification Internationale des Maladies (CIM-9) ont été intégrées, a été élaboré et appliqué aux données de mortalité belges de 1980-1997. En outre et en collaboration avec le Centre de référence français OMS pour la Classification des Maladies, un exercice de réencodage a été effectué sur un échantillon systématique de 566 certificats de décès. Résultats: Au fil des années, le nombre d’erreurs d’encodage a diminué d’une façon significative (d’environ 100°/°° à 10°/°°). De plus, durant cette période, le nombre et le type d’erreurs ont changé en fonction de la région du lieu de résidence et du groupe d’âge (un taux d’erreurs plus élevé dans le groupe d’âge des 65 ans et plus, des chiffres plus bas à Bruxelles). La proportion importante de certificats de décès ne mentionnant qu’une cause de décès a rendu impossible une analyse en fonction du type de pathologie. Nous basant sur l’exercice de réencodage, nous estimons que le programme informatisé ne permet le dépistage que d’un quart des erreurs de codage. Conclusions: Bien que la qualité des données de décès se soit améliorée, un effort soutenu est requis aussi bien dans le domaine du contrôle de la qualité que dans celui de la mise à disposition des données en temps utile. Il s’agit avant tout de l’exactitude du codage, dans laquelle les comparaisons avec d’autres registres sont essentielles, ainsi que de l’attribution des ressources nécessaires. En raison des insuffisances du passé, la prudence est de mise lors de l’interprétation des données de décès anciennes et des séries temporelles.