Præambel
Det naturlige hjem for dette arbejde er et biomedicinsk tidsskrift. Der er dog ingen chance for, at en artikel vil blive accepteret af et konventionelt tidsskrift. Hvorfor? Fordi resultaterne er jordskælvende, som det fremgår af titlen.
Dette indlæg er teknisk, men det er præamblen ikke. For den ikke-akademiske læser vil præamblen tjene to formål: 1) at dele en interessant historie om udviklingen af dette arbejde; 2) at give et simpelt resumé af, hvad jeg fandt.
Så bliv hos mig i det mindste gennem dette afsnit.
Selvom jeg har over 200 videnskabelige publikationer, var kun få virkelig innovative i den forstand, at de var en kreativ idé, der førte til en interessant opdagelse. De fleste var uinspirerende, "normal" videnskab. Jeg spekulerede ofte på, hvordan disse sjældne tilfælde var født, og set i bakspejlet var det aldrig langvarig tænkning. Det var snarere en uforklarlig gnist, et øjeblik, hvor en idé kom ind i mit hoved ud af det blå, eller nogle løse ender blev forbundet. Dette arbejde havde noget af begge dele.
Jeg har aldrig stolet på resultaterne af Pfizer-forsøget. Den 95% effektivitet mod en luftvejsvirus var for god til at være sand – hidtil uset i forbindelse med en viral luftvejsinfektion. Jeg kunne dog ikke sige, hvad der kunne være gået galt.
Arbejder på en nylig indlæg, konkluderede jeg, at synderen måtte have været konstateringen af tilfælde. Af en eller anden grund er mange tilfælde blevet overset i vaccinearmen, og derfor kan de oprindelige resultater ikke stoles på. Er der nogen anden måde at estimere den sande effektivitet mod symptomatisk infektion ud fra forsøgets data? "Sandsynligvis ikke" er det forventede svar.
Tilfældigvis opdagede jeg et andet dokument om Pfizer-forsøget med titlen "Final Full Clinical Study Report". I dette lange dokument inkluderede Pfizer estimater af effektiviteten mod asymptomatisk infektion, som var baseret på en blodprøve hos alle deltagere (anti-N-antistoffer).
Er der en måde at estimere effektiviteten mod symptomatisk infektion ud fra effektiviteten mod asymptomatisk infektion??
Det var gnisten: at stille et spørgsmål, der forbandt to løse ender. Det var ikke alt for svært at besvare det. Simpelt beregningsarbejde.
Enhver analyse er baseret på nogle præmisser eller antagelser. Her havde jeg brug for to:
Først antog jeg, at vaccinen ikke forebygger en infektion. Den forebygger muligvis kun symptomer, når man er smittet. Denne præmis er bredt accepteret nu, og jeg var i stand til at demonstrere den indirekte i forsøgets data.
Min anden antagelse handlede om fordelingen af infektioner mellem asymptomatiske og symptomatiske. Der findes data om emnet, herunder data jeg var i stand til at udtrække fra forsøget.
Resten af arbejdet var ikke mere end en simpel ligning, jeg lånte fra et gammelt papir, og et par rækker i en Excel-fil, som jeg vil vise til sidst.
Jeg lovede en spoiler:
Ud af over et halvt dusin forskellige beregninger resulterede én i nul effektivitet, én i 50%, og alle andre - op til 25%. Vi bør følge flertallet: det var ikke mere end 25%. Og det er før aftagelsen...
Datakilder
For at kombinere data om asymptomatiske infektioner og symptomatiske infektioner, var jeg nødt til at finde et relevant tidsvindue, hvor begge typer data var tilgængelige. Det var mellem dosis 2 (administreret 21 dage efter dosis 1) og en måned senere, en periode hvor den rapporterede effektivitet var mellem 90.5 % og 94.8 %.
Der var to kilder til dataene: den berømte papir in og New England Journal of Medicine og Pfizer-dokumentet, som jeg nævnte i præamblen, som formodentlig blev indsendt til FDA. Nedenfor finder du skærmbilleder af de data, jeg brugte. Røde rektangler blev tilføjet.
Kilde: The New England Journal of Medicine
Kilde: et Pfizer-dokument med titlen “Endelig fuldstændig klinisk studierapport”
Foreløbig analyse
Starttabellen er enkel: antallet af tilfælde af symptomatisk infektion og asymptomatisk infektion i forsøgets to arme inden for en måned efter den anden dosis.
Tallene i højre kolonne blev transskriberet fra tabel 36 ovenfor. Tallet 4 er baseret på grafen, og tallet 90 blev estimeret ud fra tabellen under grafen: 21 tilfælde på 7 dage mellem dosis 2 og dag 6 (dag 7 tilhører den næste kategori). Det er 3 tilfælde pr. dag og 90 tilfælde på 30 dage. Vi får et lignende estimat ved at basere os på 275 tilfælde på omkring 100 dage, givet en konstant hældning.
Hyppigheden af asymptomatiske infektioner i placeboarmen er omkring 50 %, hvilket er rimeligt. Estimater i litteraturen spænder fra en tredjedel til halvdelen af alle infektioner. Både 50 % og 30 % vil blive brugt senere i beregningen.
Som det vil blive forklaret om lidt, er tallet i den øverste højre celle (34) forkert, men jeg vil bruge tabellen til at beregne risikoforhold (RR) og oddsforhold (OR) for at illustrere flere grundlæggende punkter.
Risiko fortolkes som sandsynlighed, der estimeres ved en andel. Odds er formelt defineret som forholdet mellem komplementære sandsynligheder (f.eks. 0.514/0.486 nedenfor), men kan beregnes som forholdet mellem én hændelse og den komplementære hændelse (f.eks. er oddsene for symptomatisk infektion i placeboarmen 90/85).
Tabellen og punkterne nedenfor refererer til personer som blev smittet.
- Hvis vaccination reducerer sandsynligheden for symptomatisk infektion (RR = 0.20; effektivitet = 80 %), må den øge sandsynligheden for asymptomatisk infektion ("RR" = 1.84; effektivitet = -84 %). En negativ effektivitet er her naturligvis et positivt resultat. Analogt set øger en behandling patienternes overlevelse, hvis den reducerer dødeligheden af en sygdom.
- RR'en for symptomatisk infektion (0.20) er IKKE det omvendte af "RR" for asymptomatisk infektion (1/1.84=0.54). Det er et generisk statistisk fænomen.
- I modsætning hertil er OR for symptomatisk infektion (0.11) den inverse af OR for asymptomatisk infektion (1/9=0.11). Det er også et generisk fænomen, som vil være nyttigt.
Bemærk, at for begge udfald er odds ratioen længere fra nul end risiko ratioen: 0.11<0.20<1 og 9.00>1.84>1. Det er en velkendt sammenhæng.
Jeg dedikerede en nylig indlæg til dataene om asymptomatiske infektioner i Pfizer-forsøget. Kort sagt er de estimater, de rapporterede (tabel 36 ovenfor), 50% til 60% effektivitet, forkerte, fordi blodprøven overser mange flere infektioner efter vaccination end infektioner hos uvaccinerede. Baseret på data fra to studier - det ene rapporterer om Pfizer-vaccinen og en anden på Moderna-vaccinen — den sande procentdel af infektioner efter vaccination er to til tre gange den procentdel, der viser serokonversion. Ved at anvende tre korrektionsfaktorer fra dette interval på den øverste celle (fed skrift), får vi følgende resultater for symptomatisk infektion.
Efter at have korrigeret for antallet af asymptomatiske infektioner i vaccinearmen, er estimaterne for effektivitet mod symptomatisk infektion – hos inficerede personer – i overensstemmelse med de rapporterede resultater en måned efter dosis 2: mellem 90 % og 95 %. Det er betryggende.
Vigtigst af alt understøtter ligheden mellem estimaterne hos inficerede deltagere og estimaterne hos alle deltagere den første antagelse. Alle de effekter på symptomatisk infektion, som rapporteret fra forsøget, korrekt eller forkert, skyldtes forebyggelse af symptomer under infektion. Vaccinen forhindrede ikke infektioner. Uden at det var kendt tidligere, har forsøget faktisk estimeret effekten på symptomer. når de er smittet.
Estimering af den sande effektivitet mod symptomatisk infektion
Resultaterne af forsøget og min samstemmende analyse ovenfor forudsætter korrekt optælling af symptomatiske tilfælde i vaccinearmen. Hvis det tal (f.eks. 4 ovenfor) kan ikke stole på, ingen af resultaterne er gyldige.
Kan vi undgå behovet for at være afhængige af det tal? Kan vi få RR (symptomatisk infektion) fra RR (asymptomatisk infektion)? Vi ved allerede, hvordan man får et korrigeret interval for sidstnævnte.
Som forklaret tidligere, kan vi ikke bare tage det omvendte af risikoforholdet fordi
Men følgende lighed gælder for odds ratioen.
Risikoforholdet og oddsforholdet er ikke ens (medmindre de er 1). Der er dog en ikke-lineær funktion der forbinder dem.
Som kan omarrangeres for at beregne odds ratioen ud fra risiko ratioen, hvis det er nødvendigt.
p0 er "baselinerisikoen". I vores tilfælde er det enten sandsynligheden for asymptomatisk infektion eller sandsynligheden for symptomatisk infektion hos de uvaccinerede (placeboarmen), afhængigt af hvilket udfald der er af interesse.
Så vi har et beregningsspor fra risikoforholdet for asymptomatisk infektion til risikoforholdet for symptomatisk infektion, der ikke er afhængig af korrekt optælling af symptomatiske infektioner i vaccinearmen.
Følsomhedsanalyse
Som tidligere vist (tabel 36) var den rapporterede effektivitet mod asymptomatisk infektion 50 % til 60 %, hvilket betyder en risikoratio mellem 0.4 og 0.5. Jeg brugte 0.5. Resultaterne er dårligere (lavere effektivitet mod symptomatisk infektion), når risikoratioen er 0.4, så jeg viser kun ét eksempel, det bedste resultat.
Min følsomhedsanalyse omfattede to forskellige faktorer:
- Tre korrektionsfaktorer (2, 2.5, 3) af risikoforholdet for asymptomatisk infektion for at tage højde for underdetektion af postvaccinationsinfektioner ved anti-N-antistof-blodprøven. En rapporteret (biased) risikoforhold på 0.5 korrigeres til henholdsvis 1, 1.25 og 1.5. Vaccination har enten ingen effekt, eller den øger "risikoen" (sandsynligheden) for asymptomatisk infektion.
- To proportioner af en asymptomatisk infektion: 0.5, som observeret i dataene, og 0.3, den nedre grænse i litteraturen.
Dette er resultaterne (vaccineeffektivitet fremhævet med fed skrift).
Hvis den korrigerede risikoratio for asymptomatisk infektion er 1, er beregningen overflødig. Vaccinen har ingen effekt på nogen af typerne af infektion, uanset andelen af asymptomatiske infektioner.
Ellers kan man for at illustrere trinene se på anden række. En skæv risikoratio for asymptomatisk infektion (0.5), som rapporteret af Pfizer, korrigeres til 1.25. Forudsat at 50 % af infektionerne er asymptomatiske (p(Hvis 0 = 0.5 i konverteringsligningen), får vi en odds ratio på 1.667. Ved at tage den inverse metode får vi odds ratioen for symptomatisk infektion (0.6). Ved at konvertere denne odds ratio til en risiko ratio får vi 0.75, hvilket er 25 % effektivitet mod symptomatisk infektion.
Resultaterne taler for sig selv. Bortset fra én undtagelse er de tættere på nul end på 95 %.
Epilog
Er resultaterne gyldige? Det tror jeg selvfølgelig.
Kan jeg tage fejl? Ingen tager aldrig fejl. Men nogen bliver nødt til at vise mig, hvor jeg tager fejl undervejs i analysen, og det er usandsynligt, at det sker. Vil dette indlæg overhovedet fremkalde en reaktion fra den modsatte side? For de fleste mennesker, inklusive forskere, er det en storm i et glas vand at sætte spørgsmålstegn ved et gammelt forsøg. (De glemmer, at der ikke er nogen udløbsdato for at søge sandheden.)
Men måske sker der et mirakel. Måske vil embedsmænd hos NIH eller FDA læse dette indlæg, bedømme resultaternes gyldighed og bede et par metodologer om at gennemgå det. Hvis resultaterne ikke bliver anfægtet, vil de indsende min analyse og disse anmeldelser til Pfizer, anmode om et svar og offentliggøre alt.
Må jeg låne en berømt sætning?
Jeg har en drøm.
Anerkendelse
Jeg takker Tomas Fürst for kommentarer til et udkast til indlægget.
Udgivet fra Medium
-
Dr. Eyal Shahar er professor emeritus i folkesundhed i epidemiologi og biostatistik. Hans forskning fokuserer på epidemiologi og metodologi. I de senere år har Dr. Shahar også ydet betydelige bidrag til forskningsmetodologi, især inden for kausale diagrammer og skævheder.
Vis alle indlæg
