Problemet med videnskab er videnskabsmænd

For fem år siden tweetede astrofysiker og videnskabsformidler Neil deGrasse Tyson et meget mindeværdigt og citatværdigt tweet:

Jorden har brug for et virtuelt land: #Rationaler, med en en-linje forfatning: Al politik skal være baseret på vægten af ​​beviser

- Neil deGrasse Tyson (@neiltyson) 29. Juni, 2016

Tysons ideelle verden appellerede til mange mennesker, der var trætte af følelsesdrevet, knæfaldspolitik og politisk stammekrigsførelse, der havde invaderet alle arenaer i det offentlige liv, inklusive videnskab. Det appellerede til mange af hans videnskabskolleger, folk trænet i at tænke objektivt og teste hypoteser baseret på observationer om den naturlige verden.

Det eneste problem - den enorme vægt af beviser viser, hvorfor det virtuelle land Rationalia simpelthen aldrig kommer til at ske.

Det er fordi for mennesker kræver det en enorm mængde energi og indsats at tænke rationelt. Som et resultat, gider vi det meste af tiden ikke. I stedet styres langt størstedelen af ​​vores tænkning fuldstændig af vores intuition - vores instinkter alene uden nogen af ​​den irriterende forstyrrende rationelle tanke.

Denne dikotomi er mesterligt forklaret i udsøgte detaljer af nobelpristageren Daniel Kahneman i sin bog Tænker hurtigt og langsomt, og dækket med fokus på politiske splittelser i Jonathan Haidts mesterværk Det retfærdige sind. Begge er fantastiske værker i sig selv, og giver fascinerende forklaringer på, hvorfor folk har forskellige holdninger, og hvorfor det er så svært at ændre dem.

Endnu vigtigere, denne kognitive dikotomi gælder for alle, selv videnskabsmænd. Det kan være overraskende for nogle (inklusive nogle videnskabsmænd, tilsyneladende), da medier og politikere har portrætteret videnskabsmænd (i hvert fald dem de er enige med) som gennemsyret af en magisk evne til at skelne og udtale absolut sandhed.

Dette kunne ikke være længere fra virkeligheden. Jeg fortæller ofte folk, at forskellen mellem en videnskabsmand og den gennemsnitlige person er, at en videnskabsmand er mere bevidst om, hvad han/hun ikke ved om deres specifikke felt, hvorimod den gennemsnitlige person ikke ved, hvad de ikke ved. Med andre ord lider alle af knusende uvidenhed, men videnskabsmænd er (håber man) normalt mere opmærksomme på dybden af ​​deres. De kan lejlighedsvis have en idé om, hvordan man lidt kan øge en bestemt mængde viden, og nogle gange kan den idé endda vise sig at være vellykket. Men for det meste bruger de deres tid på at tænke på en dyb kløft af viden, der er specifik for deres felt.

Forskere er ofte hæmmet af deres egne års erfaring og den potentielt vildledende intuition, der har udviklet sig som et resultat. I bogen Virus Hunter, fortæller forfatterne CJ Peters og Mark Olshaker, hvordan en tidligere CDC-direktør bemærkede, at "unge, uerfarne EIS-officerer (Epidemic Intelligence Service) CDC sædvanligvis sendte ud for at undersøge mystiske sygdomsudbrud og epidemier faktisk havde en vis fordel i forhold til deres mere erfarne og erfarne ældre. Mens de havde førsteklasses uddannelse og støtte fra hele CDC-organisationen, havde de ikke set nok til at have forudindstillede meninger og kunne derfor have været mere åbne over for nye muligheder og haft energien til at forfølge dem." Eksperter er også forfærdelige til at komme med forudsigelser, og som forklaret af forsker og forfatter Philip Tetlock i sin bog Ekspert politisk bedømmelse, de er ikke mere nøjagtige til at forudsige end den gennemsnitlige person. Jo flere nylige fejl i pandemiske forudsigelsesmodeller har kun styrket denne konklusion.

De fleste succesrige videnskabsmænd kan spore deres kronende præstationer til arbejde, der fandt sted tidligt i deres karriere. Dette sker, ikke kun fordi videnskabsmænd får mere jobsikkerhed, men fordi de bliver hæmmet af deres egne erfaringer og forudindtagethed. Da jeg var laborant i slutningen af ​​90'erne, husker jeg, at jeg spurgte en immunolog til råds om et eksperiment, jeg planlagde. Han endte med at give mig en masse grunde til, hvorfor der ikke var nogen god måde at udføre det eksperiment og få brugbar information på. Jeg fortalte en postdoc om dette møde, og jeg husker, at hun sagde "Lyt ikke på ham. Den fyr kan overtale dig fra at gøre hvad som helst”. Erfarne forskere er meget opmærksomme på, hvad der ikke virker, og det kan resultere i manglende vilje til at tage risici.

Forskere opererer i et stærkt konkurrencepræget miljø, hvor de er tvunget til at bruge det meste af deres tid på at søge forskningsfinansiering ved endeløse bevillingsskrivninger, hvoraf langt de fleste er ufinansierede. For at være konkurrencedygtige for denne begrænsede pulje sætter forskere det mest positive spin på deres arbejde og offentliggør deres mest positive resultater. Selvom undersøgelsen afviger fra det oprindeligt planlagte, lyder det resulterende manuskript sjældent på den måde. Og disse pres resulterer ofte i, at dataanalyse falder ind i et fejltilbøjeligt spektrum fra mere uskyldigt at understrege positive resultater til at ignorere negative eller modstridende data til direkte fremstilling. Detaljerede eksempler på dette er givet af forfatteren Stuart Ritchie i sin bog Science Fictions: Hvordan bedrageri, bias, uagtsomhed og hype underminerer søgen efter sandhed. Ritchie forklarer ikke kun, hvordan videnskaben bliver forvrænget af pres for anerkendelse og finansiering fra velmenende videnskabsmænd, han kommer ind i blodige detaljer om nogle af de mest produktive svindlere. En anden fremragende ressource, der dækker videnskabelige fejl og forskningsmisbrug, er hjemmesiden tilbagetrækning Watch. Det store antal af tilbagetrukne papirer, mange af de samme videnskabsmænd, fremhæve vigtigheden af ​​at dokumentere og angribe videnskabeligt bedrageri.

Problemerne med rapportering af forskningsdata og replikerbarhed har været kendt i årevis. I 2005, Stanford Professor John Ioannidis, blandt de højest citerede videnskabsmænd, udgav en af ​​de mest citerede artikler (over 1,600), Hvorfor de fleste publicerede forskningsresultater er falske. I undersøgelsen brugte Ioannidis matematiske simuleringer til at vise "at for de fleste undersøgelsesdesign og -indstillinger er det mere sandsynligt, at en forskningspåstand er falsk end sand. Desuden kan påståede forskningsresultater for mange nuværende videnskabelige områder ofte blot være nøjagtige mål for den fremherskende skævhed." Ioannidis tilbød også seks følger udledt af hans konklusioner: 

1. Jo mindre undersøgelser der udføres inden for et videnskabeligt område, jo mindre sandsynligt er forskningsresultaterne sande.
2. Jo mindre effektstørrelserne er i et videnskabeligt felt, jo mindre sandsynligt er forskningsresultaterne sande.
3. Jo større antal og jo mindre udvælgelse af testede sammenhænge i et videnskabeligt område, jo mindre sandsynligt er forskningsresultaterne sande.
4. Jo større fleksibilitet i design, definitioner, resultater og analytiske metoder i et videnskabeligt område, jo mindre sandsynligt er forskningsresultaterne sande.
5. Jo større økonomiske og andre interesser og fordomme er inden for et videnskabeligt område, jo mindre sandsynligt er forskningsresultaterne sande.
6. Jo varmere et videnskabeligt område (med flere videnskabelige hold involveret), jo mindre sandsynligt er forskningsresultaterne sande.

Hvis du ser nøje på listen, burde 5 og 6 springe ud og skrige af dig. Her er et nærmere kig:

"Konsekvens 5: Jo større økonomiske og andre interesser og fordomme er inden for et videnskabeligt område, jo mindre sandsynligt er forskningsresultaterne sande. Interessekonflikter og fordomme kan øge bias, u. Interessekonflikter er meget almindelige i biomedicinsk forskning, og typisk er de mangelfuldt og sparsomt rapporteret. Fordomme har ikke nødvendigvis økonomiske rødder. Forskere inden for et givet felt kan være fordomsfulde udelukkende på grund af deres tro på en videnskabelig teori eller forpligtelse til deres egne resultater (vægt min). Mange ellers tilsyneladende uafhængige, universitetsbaserede undersøgelser kan udføres uden anden grund end for at give læger og forskere kvalifikationer til forfremmelse eller ansættelse. Sådanne ikke-finansielle konflikter kan også føre til forvrængede rapporterede resultater og fortolkninger. Prestigefyldte efterforskere kan via peer review-processen undertrykke fremkomsten og formidlingen af ​​resultater, der modbeviser deres resultater, og dermed fordømme deres felt til at fastholde falske dogmer. Empirisk dokumentation for ekspertudtalelser viser, at den er ekstremt upålidelig."

"Konsekvens 6: Jo varmere et videnskabeligt felt (med flere videnskabelige hold involveret), jo mindre sandsynligt er forskningsresultaterne sande. Denne tilsyneladende paradoksale konsekvens følger, fordi, som nævnt ovenfor PPV (positiv prædiktiv værdi) af isolerede fund falder, når mange hold af efterforskere er involveret i det samme felt.Dette kan forklare, hvorfor vi af og til ser stor begejstring hurtigt efterfulgt af alvorlige skuffelser på områder, der tiltrækker bred opmærksomhed. Med mange teams, der arbejder på det samme felt og med massive eksperimentelle data, der produceres, er timing af afgørende betydning for at slå konkurrencen. Dermed, hvert hold kan prioritere at forfølge og formidle deres mest imponerende "positive" resultater... "

Forskere, der fordømmer på grund af deres overbevisning, motiveret af "varmen" i feltet, og dermed prioriterer positive resultater, er alle lynende åbenlyse kilder til skævhed i SARS-CoV-2-forskning. Ioannidis og kolleger har udgivet om eksplosion af offentliggjort SARS-CoV-2-forskning, og noterer sig "210,863 artikler som er relevante for COVID-19, hvilket tegner sig for 3.7 % af de 5,728,015 artikler på tværs af al videnskab offentliggjort og indekseret i Scopus i perioden 1. januar 2020 til 1. august 2021." Forfattere til COVID-19-relaterede artikler var eksperter på næsten alle områder, inklusive "fiskeri, ornitologi, entomologi eller arkitektur". Ved udgangen af ​​2020, Ioannidis skrev, "kun bilteknik havde ikke videnskabsmænd, der udgav om COVID-19. I begyndelsen af ​​2021 havde bilingeniørerne også sagt deres mening." Andre har også kommenteret på "covidisering"Af forskning, der fremhæver reduktionen af ​​forskningens kvalitet, da COVID-manien drev forskere fra ikke-relaterede felter mod det hotteste og mest lukrative spil i byen.

Som jeg nævnte i to tidligere indlæg, universel maskering , rapportering om COVID-skader på børn er blevet uigenkaldeligt politiseret og forvrænget på grund af mediernes, politikeres, videnskabsmænds og folkesundhedsorganisationers udbredte skævheder. Men den virkelige synder kan være offentligheden selv, og den første verden, nul-risiko sikkerhedskultur, der har tilskyndet alle disse aktører til at overdrive skader for at fremtvinge adfærdsændringer hos de ikke-kompatible. Desuden vil de fleste eftergivne mennesker, der "tager pandemien alvorligt", gerne vide, at alle de ofre, de har ydet, har været det værd. 

Forskere og medier er dog mere end glade for det levere:

"Forestil dig, hvis du var en videnskabsmand og vidste, at en positiv konklusion af din undersøgelse ville føre til øjeblikkelig anerkendelse af The New York Times, CNN og andre internationale medier, mens et ugunstigt resultat ville føre til visnende kritik fra dine jævnaldrende, personlige angreb og censur på sociale medier, og svært ved at publicere dine resultater. Hvordan ville nogen reagere på det?"

Svaret er indlysende. Det overvældende ønske fra en rædselsslagen offentlighed om beviser for indgreb, der effektivt eliminerer risikoen for infektion, vil uundgåeligt presse videnskabsmænd til at fremlægge dette bevis. Ideelt set ville en anerkendelse af denne skævhed resultere i øget skepsis fra andre videnskabsmænd og medier, men det er ikke sket. Overdrevet fordringer of virkningsfuldhed af indgreb og overdrevne skader på fremme deres accept er blevet normen i pandemirapportering.

Som jeg diskuterede i forrige indlæg, er den bedste måde at afbøde forskningsbias på, hvis efterforskere inviterer neutrale partnere til at replikere arbejdet og samarbejde om yderligere undersøgelser. Muligheden for at gøre alle data tilgængelige for offentligheden og andre videnskabsmænd inviterer også til kritiske anmeldelser, der er crowd-sourced og dermed potentielt mere nøjagtige og mindre partiske. Offentlig tilgængelighed af datasæt og dokumenter har resulteret i en forbedring af pandemi prognose og har medbragt mulighed for en laboratorielækage oprindelse for SARS-CoV-2 ud af konspirationsteoriens skygger og ud i offentlighedens lys.

Som følge af åbne data og gennemsigtig dokumentation har andre klaget over, at disse ressourcer er blevet misbrugt af lænestolsforskere eller videnskabsmænd, der beskæftiger sig med epistemisk overtrædelse uden for deres respektive felter, hvilket resulterer i en enorm, forvirrende bunke af vildledende information. Men selvom videnskabsprocessen kun er begrænset til "eksperter", producerer langt de fleste undersøgelser meget lidt værdifuld eller nøjagtig information til andre forskere eller offentligheden som helhed.

Kun gennem en barsk naturlig udvælgelse og peer-replikeringsproces overlever de bedste ideer ud over deres oprindelige hype. Det er også vigtigt at bemærke, at grupper af forskere inden for et bestemt felt kan være så lammet af interne og politiske skævheder og giftig gruppetænkning, at kun dem uden for deres felt er i stand til at gøre opmærksom på problemet. Derfor er andre videnskabsmænds og offentlighedens evne til at hjælpe i videnskabens langsigtede, korrigerende proces den bedste måde at komme tættere på sandheden på trods af vores kollektive fejl.

Genoptrykt fra forfatterens understak