Utmaningen: Hitta bästa forskningen

– I vårt fall är bedömningen både lättare och svårare än för andra. Svårare därför att det absolut inte får bli fel, lättare eftersom vi har tiden på vår sida. Ett vetenskapligt genombrott ger avtryck som går att bedöma i efterhand. Det är ingen slump att det kan ta 20 år innan en upp täckt belönas, säger Thomas Perlmann, professor i molekylär utvecklingsbiologi vid institutionen för cell- och molekylärbiologi, nybliven sekreterare i Nobelkommittén och en av de som ska besluta om vem eller vilka som får årets Nobelpris i fysiologi eller medicin.

Det finns många möjliga svar på frågan om vad bra forskning är. Ett är att frågeställningen måste vara relevant och att den studie man sätter upp för att försöka svara på denna fråga är rätt utformad. Studieupplägget påverkar möjligheten att tolka resultaten, exempelvis om det finns tillräckligt med patienter för att kunna dra statistiskt säkra slutsatser. Ett annat är att forskningen är originell och nydanande, något som poängteras i Nobelsammanhang. I Alfred Nobels testamente slås det fast att den forskning som belönas med Nobelpriset i fysiologi eller medicin ska vara en upptäckt.

– Ett sådant genombrott ska förändra tankesätt i grunden och det ska finnas ett tydligt före och ett efter i fältet, eller så ska ett helt nytt fält öppnas upp, säger Thomas Perlmann.

Bra forskning ska också vara etisk och välgjord. Det innebär att undvika till exempel att en större andel av de som inte har någon effekt av en behandling hoppar av studien, att tagna prover blandas ihop eller förorenas, eller att rent fusk gör att resultaten inte går att lita på. Dessutom kan man hävda att forskningen ska vara nyttig, det vill säga att resultaten ska gå att använda.

Många faktorer som påverkar

Det är alltså många faktorer som påverkar om forskningen blir bra och därmed mycket som kan gå fel. Dessa fallgropar kan Nobelkommittén för sin del undvika framförallt genom att penetrera forskningen på djupet. I andra fall, som när en tjänst ska tillsättas eller en finansiär ska fördela forskningspengar, tar man av tids- och resursskäl till andra bedömningskriterier. Det som då mäts är framförallt citeringar, vilket innebär att en viss vetenskaplig artikel används som referens i en senare artikel (se ordlista). Ofta är det artiklar som publicerats i högt rankade tidskrifter, med hög så kallad impact factor, som citeras mest. Därför anses det viktigt att publicera i dessa.

Men här kan det uppstå problem. Inom forskarvärlden talas det om ”publiceringshets”, att det blir viktigare att publicera i rätt tidskrift än att göra bra forskning. Det kan resultera i bristande kvalitet. Thomas Perlmann skissar ett exempel:

– Tänk dig att redaktören för den mycket välrenommerade tidskriften Nature säger att din inskickade artikel var intressant, men att för att få artikeln publicerad behövs kompletterande experiment. Då är det lätt att tänka att ”här har jag foten i dörren till Nature, inte ska några larviga experiment hindra mig från att publicera!”.

Det ökar risken att den enskilde forskaren skruvar på sina data och kanske väljer ut det experiment som stöder tesen, säger han. En sådan glidning innebär då att publicerade resultat inte är så robusta som de kan verka. Det lägger krokben för ett annat viktigt kvalitetskriterium, nämligen att resultaten ska kunna återupprepas av andra forskare. Denna så kallade reproducerbarhet innebär att andra forskare och forskargrupper ska kunna få samma resultat om de gör om studien, vilket är testet som visar att resultaten är tillförlitliga.

Bristande reproducerbarhet har uppmärksammats en hel del på senare tid. Exempelvis blev det stor uppståndelse för några år sedan när forskare vid läkemedelsföretaget Amgen försökte reproducera 53 studier som fått stort genomslag inom cancerforskningen. Bara sex av studierna gick att reproducera. Thomas Perlmann beskriver också hur det i dag krävs en hel ”berättelse” för att kunna publicera i de högt rankade tidskrifterna.

– Artikeln ska innehålla allt! En spännande hypotes, en serie experiment i flera olika modellsystem – från cellnivå till experiment på människa – och gärna ett genombrott, säger han och fortsätter:

– Det som presenteras framstår då ibland som oroande komplett där alla pusselbitar passar lite för perfekt. Vi som letar efter riktiga genombrott vet att dessa är mycket sällsynta. De förekommer definitivt inte tjogtals i varje nummer av de etablerade tidskrifterna, även om artiklarna ofta presenteras på det sättet.

Antalet citeringar

Kritiker mot dagens system har därför frågat sig om tidskrifterna en forskare publicerar i och antalet citeringar som publikationen får verkligen är ett bra kvalitetsmått på forskningen. Pauline Mattsson, forskare vid institutionen för lärande, informatik, management och etik, har i ett pågående projekt intervjuat 34 Nobelpristagare i fysiologi eller medicin och samlat in information om publikationer, patent och industrisamarbeten.

– När vi tittar på alla artiklar som de hade publicerat var det i hälften av fallen deras mest citerade artikel som också gav dem Nobelpriset. Men i resten av fallen var det andra artiklar som citerats mest. Det kan exempelvis handla om metodik som förfinats och utvecklats, säger hon.

Många citeringar behöver heller inte självklart betyda att forskningen är ”bättre”. Antalet citeringar påverkas även av exempelvis när en artikel publicerats. Om den är publicerad för länge sedan innebär det chans till fler citeringar. Även vilken typ av artikel det är påverkar, översiktsartiklar ger fler citeringar, samt vilket forskningsfält det handlar om – artiklar inom medicin och biokemi refererar traditionellt många artiklar, medan etik eller fysik refererar få. Storleken på fältet spelar också in, om det är 100 eller 10 000 forskare i fältet. Henrik Schmidt arbetar som bibliotekarie med forskningsnära tjänster vid Karolinska Institutets bibliotek i Solna. Han betonar problemet med enskilda mått.

– Det man ska ha klart för sig är att dessa kvantitativa mätmetoder inte är ett bra sätt att mäta enskilda forskares prestationer, men om de tillämpas på ett universitet eller en stor institution kan de ge en fingervisning om forskningens kvalitet. Åtminstone korrelerar ofta höga värden på kvantitativa mått med höga omdömen av kvalitativa analyser, säger han.

Gert Helgesson, professor i medicinsk etik vid Stockholm centre for health care ethics vid Karolinska Institutet, håller även han med om mycket av kritiken mot att använda enskilda indikatorer som mått på forskningskvalitet. Han lyfter skillnaden mellan olika forskningsfält.

– Inom medicinsk etik är det till exempel ytterst sällan som våra resultat tas in i de tidskrifter som har högst impact factor, även om det händer. Jag sa nyligen till mina studenter att tidigare har ”publish or perish” gällt, alltså att publicera eller gå under. Nu är läget snarare ”publish AND perish”– det hjälper inte att publicera om det inte är i de bästa tidskrifterna, säger han och fortsätter:

– Men med detta sagt måste jag ändå betona: att försöka mäta forskningens kvalitet på ett formaliserat och objektivt vis är i princip bra, eftersom det motverkar nepotism, det vill säga favorisering utan att man tar hänsyn till en persons faktiska meriter. Det får man inte glömma.