Surrogate marker evaluation in clinical trials using methods of causal inference

Abstract

In clinical trials it is often not practical to measure the clinical endpoint of interest, the so-called `true endpoint'. For example, the treatment and followup of patients with multi-drug resistant tuberculosis typically takes one to two years to assess whether the patient has e ectively been cured from MDR-TB. In addition, these trials su er from slow patient recruitment which causes these trials to run for several years. Furthermore, the longer these trials run, the higher the proportion of subjects dropping out. As successful drug development typically requires a number of phase 2 and 3 trials it is of particular interest to investigate whether decisions can be based on endpoints that can be measured earlier and that can predict the treatment e ect on the true endpoint. For instance, early culture conversion from positive to negative has long been suggested as an outcome that can substitute for the assessment of cure. Such a replacement outcome for the true endpoint (T) is referred to as a `surrogate endpoint' (S). A number of statistical methods have been proposed over the last decades to formally evaluate whether the surrogate endpoint can replace the true endpoint. These methods can be classi ed along two dimensions, taking into account (i) whether they use information from a single or from multiple clinical trials, and (ii) whether they focus on individual or on expected causal e ects. When the focus is on individual causal e ects, it is assumed that each patient has two potential outcomes for the true endpoint T: an outcome T0 that would be observed under the control treatment and an outcome T1 that would be observed under the experimental treatment and similarly for S. These are called `potential outcomes', because they represent the outcomes that could have been observed if the patient had received the control treatment or the experimental treatment. Individual causal e ects can then be de ned as ∆T = T1−T0 and ∆S = S1−S0. Expected causal treatment e ects essentially refer to the averaged individual causal treatment e ects. The focus in this dissertation is primarily on the single-trial setting (STS) in which we study the individual causal e ects. We distinguish between two cases, (i) both endpoints are normally distributed, and (ii) both endpoints are binary distributed. In the STS, S is claimed to be a good surrogate for T if ∆S conveys a substantial amount of information of ∆T. The amount of uncertainty in ∆T expected to be removed if ∆S were known is quanti ed by the mutual information I(∆T, ∆S). However, to obtain a metric that has intuitively appealing properties, the mutual information needs to be properly transformed into the so-called individual causal association (ICA), and this depends on the scale of measurements of both endpoints. Chapter 5 studies the possibility of nding a good surrogate in the binary case based on properties of the true endpoint only. One basically wants to predict the individual causal treatment e ect on the true endpoint based on the individual causal treatment e ect on the surrogate. Bounding above the risk of making a prediction error to a chosen threshold level δ, it is shown applying Fano's inequality how large the ICA should be. The methodology gives a quantitative framework to evaluate the relationship between the risk one is willing to take when using a surrogate endpoint and the likelihood of nding a surrogate that achieved that level of risk. It is clear that, the lower the threshold level δ, the larger the ICA. Chapter 6 studies the surrogate predictive value in the binary case. In general, the ICA o ers a general assessment of the surrogate predictive value, taking value 1 when there is a deterministic relationship between ∆T and ∆S, and value 0 when both causal e ects are independent. However, when one moves away from the previous two extreme scenarios, the interpretation of the ICA becomes challenging. The primary purpose of this chapter consists of developing measures that can be used to facilitate interpretation on the performance of the putative surrogate marker. The rst measure is the conditional probability of possible outcomes for the treatment e ect on the true endpoint, given the e ect on the surrogate endpoint. This measure gives more granular insight as to how predictive ∆S is for ∆T. A second measure is the minimal probability of a prediction error (PPE) which is de ned in terms of the probability of making an incorrect assessment about ∆T based on ∆S. In introducing this concept it is important to realize that this measure can also be de ned on the true endpoint itself. For instance, the HBsAg case clearly illustrates that there is a high chance that none of the treatments will be successful. This implies that the PPE is very low and it remains to be seen how much a suggested surrogate can further reduce this PPE. The latter can be quanti ed using the reduction in the probability of making a prediction error (RPE) which is, similarly to the ICA, de ned on the unit scale taking value 1 when there is a deterministic relationship between ∆T and ∆S, and value 0 when both causal e ects are independent. A simulation study has been conducted demonstrating that the RPE and the ICA behave approximately similar while the RPE has a more straightforward interpretation. Chapter 7 studies the relationship between the association and surrogacy when both the surrogate and the true endpoint are binary outcomes. In the normal case we have demonstrated that when certain veri able conditions hold, i.e., homoscedasticity and equal identi able correlations, any value of ρ∆ between zero and γ will be compatible with the data. This clearly indicates that a correlate does not a surrogate make. Another important feature of the normal case is that neither ρ∆ or γ depend on the mean vector which is a direct consequence of the separation of the mean and covariance structure. This is fundamentally di erent in the binary case. As there are now theoretical results available to gain insight in the complex relationship between association and surrogacy in the binary case, an extensive simulation study has been conducted. The results clearly show that the central tendency of the ICA is large when the association between the binary endpoints is large and, at the same time, the success rates of both endpoints are approximately the same in each treatment arm. When additionally, the treatment e ects are large, the simulations demonstrate that the ICA may have a rather large lower bound. Chapter 8 provides a discussion on the MDR-TB case study. It is shown that the the putative surrogate performs rather poorly, both for the primary and a sensitivity analysis. It is recognized that this is primarily due to the fact that the response rates for T are markedly lower compared to S. In addition, the association between both endpoints is rather low. Thanks to the insights from the simulation exercise in Chapter 7 it can now be clearly explained why the surrogate performed poorly.

Het is vaak moeilijk om in klinische studies het meest klinisch relevante eindpunt, het zogenoemde `Werkelijke eindpunt' (T) te observeren. Bijvoorbeeld, in meervoudig medicijn-resistente tuberculose is het noodzakelijk om een patiënt gedurende 1 tot 2 jaar te behandelen om vervolgens te kunnen vaststellen of de patiënt e ectief genezen is. Bovendien verloopt de patiëntenwerving in klinische studies in deze populatie zeer traag zodat de totale duurtijd meerdere jaren in beslag neemt. Verder is een gevolg van de lange behandeling een verhoogde kans op patiëntenuitval. Aangezien meerdere van dergelijke studies nodig zijn voor een succesvolle ontwikkeling van een nieuw geneesmiddel is het nuttig om te bekijken of beslissingen omtrent de doeltre endheid van het experimentele middel kunnen geëvalueerd worden op basis van metingen die voldoende vroeg worden genomen. Het is dan uiteraard van belang om te onderzoeken of deze vroege metingen inderdaad voorspellend zijn voor de feitelijke doeltre endheid. Bijvoorbeeld, vroege cultuurconversie van positief naar negatief is in het verleden vaak naar voor geschoven als een substituut voor het werkelijke eindpunt, i.c., genezing. Zulk een substituut noemen we een surrogaatmerker. Er is de laatste decennia een waaier van statistische methoden ontwikkeld om formeel te bepalen of de surrogaatmerker (S) een volwaardig substituut kan zijn voor het werkelijke eindpunt. Deze methodes kunnen onderverdeeld worden volgens twee assen, rekening houdend met (i) informatie over één of meerdere studies wordt gebruikt en, (ii) of ze gebruik maken van individuele of verwachte causale verbanden. Indien de focus ligt op individuele causale verbanden wordt verondersteld dat elke patiënt twee mogelijke uitkomsten heeft voor het werkelijke eindpunt T: de uitkomst T0 wordt geobserveerd wanneer de patiënt het controlemiddel toegediend krijgt en T1 wanneer de patiënt het experimentele middel toegediend krijgt. Men noemt beide uitkomsten potentiële uitkomsten omdat ze refereren naar de uitkomst die wordt geobserveerd afhankelijk van de toegediende therapie. Een zelfde redenering wordt gemaakt voor S. Individuele causale verbanden worden dan gede nieerd als ∆T = T1 − T0 en ∆S = S1 − S0. Verwachte causale verbanden verwijzen dan naar de gemiddelde individuele causale verbanden. De klemtoon in dit eindwerk ligt primordiaal op de enige-studie situatie (ESS) in dewelke we de individuele causale verbanden bestuderen. We onderscheiden hier twee gevallen, namelijk (i), beide eindpunten zijn normaal verdeeld, en (ii), beide eindpunten zijn binair. In de ESS claimen we dat S een goede surrogaatmerker is voor T indien ∆S veel informatie bevat over ∆T. De onzekerheid over ∆T die wordt weggenomen na kennis te hebben van ∆S wordt in de informatietheorie bepaald door de wederzijdse informatie I(∆T, ∆S). Om vervolgens een metriek te bekomen die de gewenste eigenschappen bezit, wordt de wederzijdse informatie getransformeerd naar de zogenoemde individuele causale associatie (ICA). Het weze gesteld dat deze speci eke transformatie ook afhangt van het normale dan wel het binaire geval. In Hoofstuk 5 bestuderen we de mogelijkheid tot het vinden van een goede surrogaatmerker in het binaire geval, op basis van de eigenschappen die het werkelijke eindpunt bezit. We herhalen dat het primaire doel is het individueel causaal verband van het werkelijke eindpunt te voorspellen gebruikmakend van het individueel causaal verband van surrogaatmerker. Hierbij leggen we een drempel δ op aan de predictiefout die we maximaal wensen te maken. Met behulp van Fano's ongelijkheid kunnen we vervolgens bepalen hoe groot de ICA zou moeten zijn indien we tegemoet komen aan deze maximale predictiefout. Deze methodologie schept een analytisch kader waarin kan bepaald worden hoe plausibel het is om een surrogaatmerker te vinden rekeninghoudend met voornoemde maximale predictiefout. Het is duidelijk dat hoe kleiner deze risicodrempel, des te groter de ICA zal moeten zijn. In Hoofdstuk 6 bestuderen we de surrogaat predictieve waarde in het binaire geval. De ICA is een algemene maat van de surrogaat predictieve waarde met waarde 1 indien er een deterministische relatie is tussen ∆T en ∆S, en waarde 0 wanneer beide onafhankelijk zijn. De interpretatie van de ICA wordt echter bemoeilijkt wanneer de waarde 0 noch 1 is. Het belangrijkste objectief van dit hoofdstuk bestaat in de ontwikkeling van metrieken die de interpret atie van de ICA in een klinisch perspectief plaatsen. De eerste metriek is de voorwaardelijke kans op een potentiële uitkomst voor het individuele behandelingse ect op het werkelijke eindpunt, gegeven het e ect van de behandeling op de surrogaatmerker. Deze metriek geeft een jnmaziger beeld weer van het verband tussen ∆T en ∆S. Een tweede metriek is de minimale kans op een predictiefout. Deze wordt gede nieerd als de kans op een foute voorspelling van ∆T gebaseerd op ∆S. Het is belangrijk om op te merken dat de kans op een predictiefout als dusdanig ook kan bepaald worden op ∆T op zich. Bijvoorbeeld, in de hepatitis B casus is het duidelijk dat het zeer aannemelijk is dat geen van beide behandelingen zullen werken. Dit impliceert dat de minimale kans op een predictiefout van nature zeer laag is en het blijft de vraag hoeveel deze maat verder kan verkleind worden op basis van een voorgestelde surrogaatmerker. Deze reductie op de minimale kans op een predictiefout (RPE) is net zoals de ICA een metriek die gede nieerd is op het eenheidsinterval en gelijkaardige voornoemde eigenschappen bezit. Een simulatiestudie heeft bovendien aan het licht gebracht dat de RPE en ICA een sterk verband vertonen daar waar de RPE makkelijker te interpreteren is vanuit een klinisch perspectief. In Hoofdstuk 7 bestuderen we tenslotte de relatie tussen associatie en surrogaatsubstitutie wanneer beide eindpunten binair verdeeld zijn. In het normale geval is er aangetoond dat in bepaalde veri eerbare gevallen, i.c., gelijke correlatie en homoscedasticiteit, ρ∆ elke mogelijke waarde tussen 0 en γ kan aannemen. Dit bewijst opnieuw dat correlatie geen voldoende voorwaarde is voor surrogaatsubstitutie. Een andere belangrijke eigenschap van normaal verdeelde data is de onafhankelijkheid tussen gemiddelde en variantie. Dit betekent concreet dat ρ∆ noch γ afhangen van de gemiddeldes. Dit is fundamenteel verschillend in het binaire geval. Aangezien er geen theoretische resultaten beschikbaar zijn die inzicht verscha en in de complexe relatie tussen associatie en surrogaatsubstitutie, is een gedetailleerde simulatiestudie uitgevoerd om dit verband beter in kaart te brengen. De resultaten geven duidelijk aan dat de centrale tendens van de ICA hoog is bij sterke associatie tussen de eindpunten, en wanneer tezelfdertijd, de proportiegemiddeldes van beide eindpunten min of meer gelijk zijn in beide behandelingsgroepen. Indien bovendien de behandelingse ecten substantieel groot zijn, tonen de simulaties aan dat de ondergrens van de ICA voldoende hoog kan zijn. In Hoofdstuk 8 bestuderen we een laatste keer de MDR-TB casus. Er word aangetoond dat de vermeende surrogaatmerker slechts matig presteert, zowel in de primaire analyse als in een sensitiviteitsanalyse. Hierbij wordt erkend dat dit te wijten valt aan een wezenlijk verschil in proportiegemiddeldes tussen T en S. Bovendien is de associatie tussen beide eindpunten relatief laag. Aangezien aan deze voorwaarden niet voldaan is weten we dankzij eerder vernoemde simulatiestudie dat de ICA in deze con guratie nooit hoog kan kunnen zijn.