(Non)-Prioritizing Generalized Pairwise Comparisons and COVID-19

Abstract

A single endpoint is often not sufficient to reflect the full clinical benefit of a treatment in multifaceted diseases. Although methodologies exist to combine several clinical meaningful endpoints on subject level, test statistic level and p-value level, these methodologies are often limited. They either ignore the correlation between the endpoints, are limited in the number and type of endpoints, treat every endpoint as equally important, do not have a straightforward effect sizes measure to quantify the effect of the treatment or have poor small sample properties. In this work it is shown that a very flexible class of non-parametric statistical tests, named Generalized Pairwise Comparison or GPC, can circumvent all these limitations. GPC allows for an endpoint that consists of the combination of multivariate outcomes of any number and any type of data, accommodates one and two-sided tests, allows for prioritizing of the multivariate outcomes by importance, for paired designs and a threshold of clinical relevance between pairs of observations. Moreover, both a straightforward interpretable absolute (net benefit) and relative (win ratio, win odds) treatment effect size measure is available. While inference for the GPC statistics is based on U-statistic asymptotics, re-sampling or rank-based methods, they each have its practical limitations and a fast and accurate exact permutation and bootstrap test, with good small sample properties is developed. Although the exact tests are in theory applicable to any of the GPC statistic (net benefit, win ratio and win odds), it is shown that the inference with all GPC statistics are approximately equal. As the ratios require an approximation, it is recommended to always use the net benefit for hypothesis testing with GPC. In the presence of a single outcome without censoring, it is shown that, although the net benefit is in most realistic clinical scenarios not the optimal UMVUE estimator, it remains unbiased and the loss in efficiency is limited. In the presence of drop-out censoring, unbiased estimators can be obtained, but none of the censoring correcting approaches can be reliably used for estimation in the presence of administrative censoring. Given that right-censoring due to insufficient follow-up is common in clinical trials, the use of GPC is limited for estimation purposes in survival outcomes. For testing the null hypothesis of no treatment effect, the complex and computationally demanding censoring correcting methods (by Efron, Péron, Datta and Dong) are not very distinct from simple, naive methodologies. In most scenarios with a univariate outcome in the presence of censoring, the Latta hypothesis test shows the highest power and is therefore recommended. In the presence of multivariate outcomes of different data type or repeated measures, both prioritized and non-prioritized GPC methods incorporate correlation between outcomes, albeit differently. In the prioritized GPC, the correlation affects the treatment effect size statistic, while in the non-prioritized GPC, high positive (negative) correlation between the outcomes increases (decreases) the variance of the non-prioritized GPC test. The prioritized GPC is recommended when a clear clinical priority of the outcomes is available, the treatment effect measure is expected to vary with correlation and no interest lies in individual components of the multivariate outcome, while the non-prioritized GPC is recommended when no clear clinical priority of the outcomes is available, and when interest lies in all individual components of the multivariate outcome. For small sample trials, which may include a cross-over design, we recommend GEEtype models for repeated measures analyses because it uses the information most efficiently, it accounts for the correlation between the repeated measures, and it yields an easily interpretable treatment-effect measure. When the distribution of the repeated measures do not allow for the GEE-type models (i.e. in the presence of multivariate data of different type), GPC is recommended, as they control the type I error well, even in very small sample sizes, they result in a single analysis rather than a per treatment period analysis and have an obvious interpretable treatment effect measure. COVID-19 While it is often claimed that Belgium was one of the worst hit countries worldwide with regards to COVID-19 mortality during the first wave of the pandemic, this claim is highly dependent on correctly reporting COVID-19-related mortality. Excess mortality is suggested as a more reliable alternative to assess the overall impact on mortality of the SARS-CoV-2 virus, which on its turn requires a reliable estimate of the mortality that is expected under non-pandemic conditions. Two models that forecast mortality under non-pandemic conditions are presented in this work. The first approach is a linear mixed model that is easy to apply, requires only historical mortality data, allows for serial correlation, and downweights the influence of historical excess mortality. Unlike the commonly used 5-year weekly average, the linear mixed model is forecasting the subject-specific mortality, and as a result improves the estimation of excess mortality for Belgium and the Netherlands. However, the relationship between excess mortality and COVID-19 mortality is perturbed by a heat wave in the summer of 2020. Therefore, a dynamic linear state-space model to estimate the weekly all-cause mortality, was proposed, which accounts for extreme temperature and seasonal influenza. The model uses the Goldstein index to capture influenza and the weekly average of the maximum temperature additional to the historical mortality data to forecast mortality. The state-space model prediction of the excess mortality that is not explained by heat waves and seasonal influenza coincides with the reported COVID-19 mortality in the year 2020 in Belgium. Since Belgium had virtually no discrepancy between COVID-19-related mortality and excess mortality, this supports its mortality reporting strategy. In light of the close agreement, it is useful to consider the Belgian COVID-19 Infection Fatality Ratio (IFR), which is shown in the first half of the year 2020 to increase with age and which was substantially larger in the nursing home population (0.6% in the non-nursing home population versus 21% in the nursing home population). Many countries imposed Non-Pharmaceutical Interventions (NPI) to curb the SARSCoV-2 incidences, before and during the availability of vaccines. The effect of the NPIs on controlling the SARS-CoV-2 infections in the general population and non-essential sectors is shown in a cross-sectional and longitudinal analyses of SARS-CoV-2 incidences per economic sector, to adequately decrease COVID-19 incidences, even in those sectors with frequent close contacts under solely sanitary protocols, for example, human health and care activities and food shops. Moreover, the effect of vaccination on the confirmed SARS-Cov-2 infections is shown by comparing longitudinal 14-day incidence data for the Autumn 2020 and 2021 Spring waves in Belgium. While hospital and residential care employees, who received COVID19 vaccine prioritized, are among the most affected economic sectors with SARS-Cov-2 infections during the Autumn 2020 wave, the incidence declines during the 2021 Spring wave to one of the lowest incidences, well below the population and working population average, despite a surge in COVID-19 infection. Insights into the effect of NPIs and vaccination on the SARS-CoV-2 incidences per economic sector offer guidance for the policy makers for controlling the SARS-CoV-2 infections in the population and to organize safe working environments in specific sectors during the COVID-19 endemic or a future pandemic.

Multivariate eindpunten Eén enkel eindpunt is vaak onvoldoende om het volledige klinische voordeel van een behandeling bij veelzijdige ziekten weer te geven. Hoewel er methodologieën bestaan om verschillende klinisch betekenisvolle eindpunten te combineren op subjectniveau, teststatistiekniveau en p-waardeniveau, zijn deze methodologieën vaak beperkt. Ze negeren ofwel de correlatie tussen de eindpunten, zijn beperkt in het aantal en het type eindpunten, behandelen elk eindpunt als even belangrijk, hebben geen gemakkelijk interpreteerbaar effect grootte om de behandeling te kwantificeren of hebben slechte kleine steekproef eigenschappen. In dit werk wordt aangetoond dat een zeer flexibele klasse van niet-parametrische statistische tests, Generalized Pairwise Comparison of GPC genaamd, al deze beperkingen kan omzeilen. GPC maakt een eindpunt mogelijk dat bestaat uit de combinatie van multivariate uitkomsten van een willekeurig aantal en type gegevens, biedt de mogelijkheid tot een- en tweezijdige tests, maakt het mogelijk om de multivariate uitkomsten te rankschikken op belangrijkheid, laat gepaarde analyses en een drempel van klinische relevantie tussen observatieparen toe. Bovendien is er zowel een duidelijk interpreteerbare absolute (net benefit) en relatieve (win ratio, win odds) maatstaf voor het behandelingseffect beschikbaar. Hoewel inferentie voor de GPC-statistieken gebaseerd is op U-statistische asymptotiek, re-sampling of op rang gebaseerde methoden, hebben ze elk hun praktische beperkingen en hebben wij een snelle en nauwkeurige exacte permutatie- en bootstrap-test ontwikkeld, met goede kleine steekproefeigenschappen. Hoewel de exacte tests in theorie van toepassing zijn op elk van de GPC-statistieken (net benefit, win ratio en win odds), wordt aangetoond dat de inferentie met alle GPC-statistieken ongeveer gelijk is. Aangezien de ratios een benadering vereisen, wordt aanbevolen om altijd de net benefit te gebruiken voor het testen van hypothesen met GPC. In de aanwezigheid van een enkele uitkomst zonder censurering, is aangetoond dat, hoewel de net benefit in de meeste realistische klinische scenario’s niet de optimale UMVUE-schatter is, het onvertekend blijft en het verlies aan efficiëntie beperkt is. In de aanwezigheid van drop-out-censurering kunnen onvertekende schatters worden verkregen, maar geen van de censurering correcties kunnen op betrouwbare wijze worden gebruikt voor schattingen in de aanwezigheid van administratieve censurering. Aangezien censurering vanwege onvoldoende follow-up gebruikelijk is in klinische onderzoeken, is het gebruik van GPC beperkt voor schattingsdoeleinden in overlevingsstudies. Voor het testen van de nulhypothese voor geen behandelingseffect, zijn de complexe en rekenkundig veeleisende correctiemethoden voor censurering (van Efron, Péron, Datta en Dong) niet erg verschillend van eenvoudige, naïeve methodologieën. In de meeste scenario’s met een univariate uitkomst in aanwezigheid van censurering, toont de Latta-hypothesetest de hoogste power en wordt daarom aanbevolen. In de aanwezigheid van multivariate uitkomsten van verschillende datatypes of herhaalde metingen, omvatten zowel geprioriteerde als niet-geprioriteerde GPC-methoden de correlatie tussen de uitkomsten, zij het op verschillende manieren. In de geprioriteerde GPC beïnvloedt de correlatie de grootte van de statistiek, terwijl in de niet-geprioriteerde GPC een hoge positieve (negatieve) correlatie tussen de uitkomsten, de variantie van de GPC-test verhoogt (verlaagt). De geprioriteerde GPC wordt aanbevolen wanneer een duidelijke klinische prioriteit van de uitkomsten beschikbaar is, er verwacht wordt dat de behandeleffectmeting moet variëren met de correlatie en er geen interesse ligt in individuele componenten van de multivariate uitkomst, terwijl de niet-geprioriteerde GPC wordt aanbevolen wanneer er geen duidelijke klinische prioriteit van de uitkomsten beschikbaar is, en wanneer interesse ligt in alle individuele componenten van de multivariate uitkomst. Voor kleine steekproeven, die een cross-over-ontwerp kunnen bevatten, raden we GEEtype modellen aan voor analyses van herhaalde metingen, omdat het de informatie het meest efficiënt gebruikt, het de correlatie tussen de herhaalde metingen verklaart en het een gemakkelijk interpreteerbaar behandelingeffect oplevert. Wanneer de verdeling van de herhaalde metingen de GEE-type modellen niet toelaat (bv. in de aanwezigheid van multivariate gegevens van een ander type), wordt GPC aanbevolen, aangezien ze de type I-fout goed beheersen, zelfs in zeer kleine steekproefomvang, ze resulteren in een enkele analyse in plaats van een analyse per behandelingsperiode en een duidelijk interpreteerbaar behandeleffect hebben. COVID-19 Hoewel vaak wordt beweerd dat België één van de zwaarst getroffen landen ter wereld was met betrekking tot COVID-19-sterfte tijdens de eerste golf van de pandemie, is deze claim sterk afhankelijk van de correcte rapportage van COVID-19-gerelateerde sterfte. Oversterfte wordt gesuggereerd als een betrouwbaarder alternatief om de algehele impact op de mortaliteit van het SARS-CoV-2-virus te beoordelen, wat op zijn beurt een betrouwbare schatting vereist van de mortaliteit die wordt verwacht onder niet-pandemische omstandigheden. In dit werk worden twee modellen gepresenteerd die sterfte voorspellen onder nietpandemische omstandigheden. De eerste benadering is een lineair mixed model dat eenvoudig toe te passen is, alleen historische sterftegegevens vereist, seriële correlatie toelaat en de invloed van historische oversterfte afweegt. In tegenstelling tot het veelgebruikte 5-jaars weekgemiddelde, voorspelt het lineair mixed model de jaarspecifieke sterfte en verbetert daardoor de schatting van de oversterfte voor België en Nederland. De relatie tussen oversterfte en COVID-19-sterfte wordt echter verstoord door de hittegolf in de zomer van 2020. Daarom werd een dynamisch lineair state-space-model voorgesteld om de wekelijkse sterfte te schatten, dat rekening houdt met extreme temperaturen en de seizoensgriep. Het model gebruikt de Goldstein-index om griep vast te leggen en het weekgemiddelde van de maximumtemperatuur naast de historische sterftegegevens om de sterfte te voorspellen. De state-space modelvoorspelling van de oversterfte, die niet verklaard kan worden door hittegolven en seizoensgriep, valt samen met de gerapporteerde COVID-19-sterfte in het jaar 2020 in België. Aangezien België vrijwel geen discrepantie toont tussen COVID-19-gerelateerde sterfte en oversterfte, ondersteunt dit zijn mortaliteitsrapportagestrategie. In het licht van de nauwe overeenstemming, is het nuttig om de Belgische COVID-19 Infection Fatality Ratio (IFR) nader te bekijken, die in de eerste helft van het jaar 2020 toeneemt met de leeftijd en die aanzienlijk groter was in de verzorgingstehuispopulatie ( 0,6% in de nietverzorgingstehuispopulatie versus 21% in de verzorgingstehuispopulatie). Veel landen hebben niet-farmaceutische interventies (NFI) opgelegd om de SARSCoV-2-incidentie te beteugelen, voor en tijdens de beschikbaarheid van vaccins. Het effect van de NFI’s op het beheersen van de SARS-CoV-2-infecties in de algemene bevolking en niet-essentiële sectoren wordt aangetoond in een transversale en longitudinale analyse van SARS-CoV-2-incidenties per economische sector. De NFI’s verminderen adequaat COVID-19 incidenties, zelfs in die sectoren met frequente nauwe contacten onder uitsluitend sanitaire protocollen, bijvoorbeeld gezondheids- en zorgactiviteiten en levensmiddelenwinkels. Bovendien wordt het effect van vaccinatie op de bevestigde SARS-Cov-2-infecties aangetoond door longitudinale 14-daagse incidentiegegevens voor de herfst van 2020 en de lente van 2021 in België te vergelijken. Terwijl ziekenhuis- en residentiële zorgmedewerkers, die voorrang hebben gekregen op het COVID-19-vaccin, tot de meest getroffen economische sectoren behoren met SARS-Cov-2-infecties tijdens de herfst van 2020, daalt de incidentie tijdens de lentegolf van 2021 tot één van de laagste incidenties, ruim onder het bevolkings- en beroepsbevolkingsgemiddelde, ondanks een sterke toename in circulatie van de COVID-19-infectie in de algemene bevolking. Inzichten in het effect van NFI’s en vaccinatie op de SARS-CoV-2-incidenties per economische sector bieden houvast voor de beleidsmakers voor het beheersen van de SARS-CoV-2-infecties in de bevolking en het organiseren van veilige werkomgevingen in specifieke sectoren tijdens de COVID-19 endemie of een toekomstige pandemie.