Hon forskar om hur själva forskningen ska bli mer tillförlitlig

På senare år har intresset för metascience tagit fart, studier av forskningens egna styrkor och svagheter. Det visar sig att det ofta förekommer kvalitetsbrister. Inom fält som till exempel experimentell ekonomi och experimentell psykologi dras uppemot två tredjedelar av forskningsrapporterna med olika slags problem, säger Anna Dreber Almenberg, professor i nationalekonomi vid Handelshögskolan.

– Resultaten är inte genomgående falska, men en hög andel av resultaten har svagt stöd och många resultat håller inte när man försöker göra om studierna.

Fenomenet kallas ibland för ”replikationskris” och innebär att det är svårt för andra forskare att belägga det ursprungliga resultatet när de gör om studien, trots att den varit publicerad i en topprankad tidskrift. Oftast handlar det om så kallade falska positiva resultat, det vill säga att en forskare gör ett fynd som inte existerar i verkligheten.

– Som forskare tycker man att det är roligare att hitta något och där kan man lura sig själv. Det finns också en publikationshets med en förväntan att publicera resultat i ansedda tidskrifter. Dessutom noterar vi att det finns brister i statistisk träning. Rent forskningsfusk är däremot sällsynt.

Tror inte längre på egna resultat

Anna är tydlig med att alla kan göra misstag och vill gärna avdramatisera frågan. Syftet är inte att peka finger utan att ta fram generella lärdomar som hela forskarsamhället kan dra nytta av. Hon är själv öppen med att ha gjort studier vars resultat hon inte längre tror på – i sig en anledning till att hon insåg problemets allvar.

– I mina presentationer brukar jag nämna min välciterade studie om finansiellt risktagande. Den kostade mycket tid och pengar, men troligen var resultaten bara brus.

Studien publicerades 2009 och frågan var om det går att spåra en genetisk orsak till vilka ekonomiska risker människor tar. I undersökningen tog Anna upp två dopamingener. Variationen i den ena genen var statistiskt signifikant i relation till finansiellt risktagande bland hundra män. Artikeln fick stor uppmärksamhet.

– Men senare insåg vi att vi i princip har noll statistisk styrka när vi kollar på hundra individer och en gen. Jag har fortfarande kvar studien på min hemsida, men jag skriver rent ut att jag inte längre tror på resultatet.

Kraftfullt kroppsspråk saknade effekt

Det är relativt vanligt med små experimentella studier och det förekommer att forskare förleds att slå på stora trumman trots ett begränsat material. Ett känt exempel är en studie om så kallad ”power posing” från 2010. Undersökningen med 42 deltagare påvisade att personer kan självsuggerera sig till ökade testosteronnivåer och en ökad känsla av självförtroende bara genom att inta en kraftfull kroppsställning under kort tid.

– När vi försökte upprepa resultaten med ett fem gånger så stort urval hittade vi i princip ingenting och idag finns i stort sett ingen akademisk psykolog som tror på den här effekten, inte heller förstaförfattaren på ursprungsstudien.

Men det hindrar inte att originalresultaten lever vidare i populära föredrag på Youtube med miljontals visningar och som moment på ledarskapskurser.

– Det är svårt att nå ut med en korrigering av falska positiva resultat.

Åtgärder för trovärdigare forskning

På senare år har Anna alltmer styrt sin forskning mot att granska den här typen av studier och att ta fram förslag på lösningar. Det kan bli nödvändigt att skärpa kraven på statistisk styrka och att ha större urvalsgrupper.

– En annan åtgärd är att sänka gränsen för vad som ska räknas som statistiskt signifikanta resultat, från p<0,05 till p<0,005.

Hon undersöker också hur bra forskarna själva är på att göra förutsägelser av om vissa resultat kan replikeras. Metoden kallas prognosmarknader, där människor med olika förkunskaper kan satsa pengar på olika utfall. Den stora mängden data från många individer skapar ett pris med stort informationsinnehåll. Frågan är vad som händer när en mängd initierade forskare får slå vad om huruvida en studie kommer att kunna replikeras eller inte.

– Våra resultat pekar på att forskarna inte är perfekta, men att de ändå är bättre än slumpen på att förutsäga vilka resultat som håller, och att prognosmarknadspriserna kan användas för att analysera sannolikheten att den testade hypotesen är sann vid olika testtillfällen.

Wallenberg Scholar är ett otroligt viktigt erkännande. Det ger friheten att våga göra nya saker och att ta risker i forskningen som annars inte hade varit möjliga. Och friheten gör att det går att byta spår när nya oväntade ingångar dyker upp, vilket jag tycker ofta händer och ofta leder till de intressantaste projekten.

I en tid när sanningsbegreppet ofta debatteras tycker Anna att hennes forskning blir extra meningsfull.

– Risken finns att allmänheten börjar misstro forskningen och att vi får en debatt om ”fake science”. Våra resultat tyder ju på att det inte är något fel med den vetenskapliga metoden. En viss andel falska positiva resultat är oundviklig, men en så hög andel som vi ser kan man göra något åt, och det går att påskynda processen för att få bort falska positiva resultat från den vetenskapliga litteraturen. Det är viktigt att människor och organisationer kan fatta beslut som bygger på tillförlitlig forskning.

Text Nils Johan Tjärnlund
Bild Magnus Bergström