Utmaningen: Hitta bästa forskningen

Inom medicinsk forskning finns i dag en rad olika mått för att bedöma vilken forskning som är bäst. Men kritiker menar att mätandet har blivit ett självändamål. Alternativa metoder finns som bland annat lyfter forskningens samhällspåverkan.

Att mäta vad som är bra forskning är en komplex uppgift. Samtidigt sker dagligen bedömningar av forskning vid exempelvis tilldelning av tjänster eller anslag. Det behövs med andra ord mätverktyg. Men här kan det uppstå en konflikt. Att slaviskt följa mätverktyg kan leda till att det verkliga målet, som att förbättra människors hälsa, överskuggas av målet att uppnå goda resultat enligt mätverktyget. Ett sådant mål kan vara att publicera sina forskningsresultat i en välrenommerad tidskrift (se faktaruta nedan).

Ekonomen Charles Goodhart har formulerat problemet i en lag: ”When a measure becomes a target, it ceases to be a good measure.” Hur ska man undvika detta? Och hur ska forskningens kvalitet kunna bedömas på ett rättvist sätt? I extremfallet - Nobelpriset - är det världens bästa forskning som ska belönas.

Thomas Perlmann. Foto: Ulf Sirborn

– I vårt fall är bedömningen både lättare och svårare än för andra. Svårare därför att det absolut inte får bli fel, lättare eftersom vi har tiden på vår sida. Ett vetenskapligt genombrott ger avtryck som går att bedöma i efterhand. Det är ingen slump att det kan ta 20 år innan en upp täckt belönas, säger Thomas Perlmann, professor i molekylär utvecklingsbiologi vid institutionen för cell- och molekylärbiologi, nybliven sekreterare i Nobelkommittén och en av de som ska besluta om vem eller vilka som får årets Nobelpris i fysiologi eller medicin.

Det finns många möjliga svar på frågan om vad bra forskning är. Ett är att frågeställningen måste vara relevant och att den studie man sätter upp för att försöka svara på denna fråga är rätt utformad. Studieupplägget påverkar möjligheten att tolka resultaten, exempelvis om det finns tillräckligt med patienter för att kunna dra statistiskt säkra slutsatser. Ett annat är att forskningen är originell och nydanande, något som poängteras i Nobelsammanhang. I Alfred Nobels testamente slås det fast att den forskning som belönas med Nobelpriset i fysiologi eller medicin ska vara en upptäckt.

– Ett sådant genombrott ska förändra tankesätt i grunden och det ska finnas ett tydligt före och ett efter i fältet, eller så ska ett helt nytt fält öppnas upp, säger Thomas Perlmann.

Bra forskning ska också vara etisk och välgjord. Det innebär att undvika till exempel att en större andel av de som inte har någon effekt av en behandling hoppar av studien, att tagna prover blandas ihop eller förorenas, eller att rent fusk gör att resultaten inte går att lita på. Dessutom kan man hävda att forskningen ska vara nyttig, det vill säga att resultaten ska gå att använda.

Det är alltså många faktorer som påverkar om forskningen blir bra och därmed mycket som kan gå fel. Dessa fallgropar kan Nobelkommittén för sin del undvika framförallt genom att penetrera forskningen på djupet. I andra fall, som när en tjänst ska tillsättas eller en finansiär ska fördela forskningspengar, tar man av tids- och resursskäl till andra bedömningskriterier. Det som då mäts är framförallt citeringar, vilket innebär att en viss vetenskaplig artikel används som referens i en senare artikel (se ordlista). Ofta är det artiklar som publicerats i högt rankade tidskrifter, med hög så kallad impact factor, som citeras mest. Därför anses det viktigt att publicera i dessa.

Men här kan det uppstå problem. Inom forskarvärlden talas det om ”publiceringshets”, att det blir viktigare att publicera i rätt tidskrift än att göra bra forskning. Det kan resultera i bristande kvalitet. Thomas Perlmann skissar ett exempel:

– Tänk dig att redaktören för den mycket välrenommerade tidskriften Nature säger att din inskickade artikel var intressant, men att för att få artikeln publicerad behövs kompletterande experiment. Då är det lätt att tänka att ”här har jag foten i dörren till Nature, inte ska några larviga experiment hindra mig från att publicera!”.

Det ökar risken att den enskilde forskaren skruvar på sina data och kanske väljer ut det experiment som stöder tesen, säger han. En sådan glidning innebär då att publicerade resultat inte är så robusta som de kan verka. Det lägger krokben för ett annat viktigt kvalitetskriterium, nämligen att resultaten ska kunna återupprepas av andra forskare. Denna så kallade reproducerbarhet innebär att andra forskare och forskargrupper ska kunna få samma resultat om de gör om studien, vilket är testet som visar att resultaten är tillförlitliga.

Bristande reproducerbarhet har uppmärksammats en hel del på senare tid. Exempelvis blev det stor uppståndelse för några år sedan när forskare vid läkemedelsföretaget Amgen försökte reproducera 53 studier som fått stort genomslag inom cancerforskningen. Bara sex av studierna gick att reproducera. Thomas Perlmann beskriver också hur det i dag krävs en hel ”berättelse” för att kunna publicera i de högt rankade tidskrifterna.

– Artikeln ska innehålla allt! En spännande hypotes, en serie experiment i flera olika modellsystem – från cellnivå till experiment på människa – och gärna ett genombrott, säger han och fortsätter:

– Det som presenteras framstår då ibland som oroande komplett där alla pusselbitar passar lite för perfekt. Vi som letar efter riktiga genombrott vet att dessa är mycket sällsynta. De förekommer definitivt inte tjogtals i varje nummer av de etablerade tidskrifterna, även om artiklarna ofta presenteras på det sättet.

Kritiker mot dagens system har därför frågat sig om tidskrifterna en forskare publicerar i och antalet citeringar som publikationen får verkligen är ett bra kvalitetsmått på forskningen. Pauline Mattsson, forskare vid institutionen för lärande, informatik, management och etik, har i ett pågående projekt intervjuat 34 Nobelpristagare i fysiologi eller medicin och samlat in information om publikationer, patent och industrisamarbeten.

Pauline Mattsson. Photo: Ulf Sirborn
Pauline Mattsson. Foto: Ulf Sirborn

– När vi tittar på alla artiklar som de hade publicerat var det i hälften av fallen deras mest citerade artikel som också gav dem Nobelpriset. Men i resten av fallen var det andra artiklar som citerats mest. Det kan exempelvis handla om metodik som förfinats och utvecklats, säger hon.

Många citeringar behöver heller inte självklart betyda att forskningen är ”bättre”. Antalet citeringar påverkas även av exempelvis när en artikel publicerats. Om den är publicerad för länge sedan innebär det chans till fler citeringar. Även vilken typ av artikel det är påverkar, översiktsartiklar ger fler citeringar, samt vilket forskningsfält det handlar om – artiklar inom medicin och biokemi refererar traditionellt många artiklar, medan etik eller fysik refererar få. Storleken på fältet spelar också in, om det är 100 eller 10 000 forskare i fältet. Henrik Schmidt arbetar som bibliotekarie med forskningsnära tjänster vid Karolinska Institutets bibliotek i Solna. Han betonar problemet med enskilda mått.

– Det man ska ha klart för sig är att dessa kvantitativa mätmetoder inte är ett bra sätt att mäta enskilda forskares prestationer, men om de tillämpas på ett universitet eller en stor institution kan de ge en fingervisning om forskningens kvalitet. Åtminstone korrelerar ofta höga värden på kvantitativa mått med höga omdömen av kvalitativa analyser, säger han.

Henrik Schmidt. Photo: Stefan Zimmerman
Henrik Schmidt. Foto: Stefan Zimmerman

Det är därför som det på senare tid har tagits fram nya forskningsmått. I Storbritannien lanserade REF2014, Research Excellence Framework, som ett nytt sätt att mäta forskningskvalitet, för att bättre kunna fördela forskningsmedel. En viktig del var att föra in samhällsnytta i ekvationen. Den förra svenska regeringen tog intryck av detta och gav de stora forskningsråden i uppdrag att ta fram en motsvarande svensk modell. FOKUS-modellen för forskningskvalitetsutvärdering i Sverige presenterades i december 2014. Enligt modellen skulle 70 procent av vikten läggas på forskningens kvalitet så som den bedöms av expertpanelers utlåtanden och citeringsanalyser, 15 procent på utvecklingspotential (exempelvis hur många doktorander som finns i fältet eller antal samarbeten), samt 15 procent på samhällsnytta. Sedan dess har ingenting hänt.

– Jag tror personligen att denna modell vore bra, men är tveksam till om den kommer att tillämpas. Dels kan det vara svårt att tillsätta oberoende expertpaneler, dels riskerar den att bli alltför byråkratisk och kostsam. Forskare vill inte lägga ännu mer av sin tid på administration, säger Henrik Schmidt.

Olika affärsdrivande företag har sett behovet och tillhandahåller numera så kallade altmetri-tjänster. Via olika algoritmer räknar de fram hur stort genomslag en viss vetenskaplig artikel har, och presenterar dessa samlade data som en siffra. Här vägs det in hur många som läst artikeln, laddat ner den, kommenterat den men även om den nämnts i nyhetssammanhang eller har skrivits om i Wikipedia. Till skillnad från de traditionella måtten påverkar det även om artikeln omnämns i sociala medier. En fördel med dessa mått är snabbheten – du kan få klick på din artikel så snart den är släppt på nätet, medan det kan ta uppåt ett år innan du får din första citering. En annan fördel är bredden. Men nackdelarna är uppenbara.

– Har du ett sexigt forskningsämne, som kost och hälsa, får du mycket uppmärksamhet, oavsett vilken kvalitet forskningen håller. Dessutom är data lätta att manipulera genom att be folk sprida artikeln på sociala medier, exemplifierar Henrik Schmidt.

Något som har införts på senare år är att det går att kommentera enskilda vetenskapliga artiklar som publiceras i forskningsdatabasen PubMed. Det krävs dock att man är registrerad och själv har publicerat artiklar. Här handlar det inte om att räkna antal kommentarer utan om att få värdefull respons från kollegor.

– Det blir ett sätt att samtala om den publicerade forskningens företräden och brister på ett sätt som liknar hur man diskuterar publicerade artiklar i så kallade ”journal clubs” inom den egna institutionen. Skillnaden är att det sker på nätet, säger Henrik Schmidt.

Han lyfter också det så kallade Leidenmanifestet, som lanserades i april 2015. Där har forskare sammanställt tio punkter för bättre utvärdering av forskningens kvalitet. Här är en viktig del att se olika kvantitativa indikatorer för vad de är – just indikatorer – och kombinera dem med en noggrann genomgång av den forskning som ska bedömas. Mätmetoderna bör också anpassas till forskningens syfte, om det handlar om omedelbar samhällsnytta eller om att utveckla ett forskningsfält. Och inte minst bör de olika utvärderingsmetoderna vara transparenta och dessutom hela tiden utvärderas och uppdateras.

Professor Gert Helgesson. Foto: Stefan Zimmerman

Gert Helgesson, professor i medicinsk etik vid Stockholm centre for health care ethics vid Karolinska Institutet, håller även han med om mycket av kritiken mot att använda enskilda indikatorer som mått på forskningskvalitet. Han lyfter skillnaden mellan olika forskningsfält.

– Inom medicinsk etik är det till exempel ytterst sällan som våra resultat tas in i de tidskrifter som har högst impact factor, även om det händer. Jag sa nyligen till mina studenter att tidigare har ”publish or perish” gällt, alltså att publicera eller gå under. Nu är läget snarare ”publish AND perish”– det hjälper inte att publicera om det inte är i de bästa tidskrifterna, säger han och fortsätter:

– Men med detta sagt måste jag ändå betona: att försöka mäta forskningens kvalitet på ett formaliserat och objektivt vis är i princip bra, eftersom det motverkar nepotism, det vill säga favorisering utan att man tar hänsyn till en persons faktiska meriter. Det får man inte glömma.

Fakta: Ordlista

  • Citering: Om forskare väljer att referera till andra forskares resultat i sina arbeten, säger man att deras artikel citeras. Antalet citeringar (svengelska efter engelskans ”citation rate”) ger ett mått på hur betydelsefull en viss artikel är.
  • Impact factor: Impact factor räknas ut genom att årsvis sammanställa hur ofta publicerade vetenskapliga artiklar refererar till de artiklar som publicerats i tidskriften. Impact factorn för tidskriften är genomsnittet för alla publicerade artiklar i tidskriften under perioden. Det säger alltså ingenting om hur ofta en enskild forskares artikel citerats.
  • Peer review: Så kallas det system som innebär att varje studie som skickats in till en tidskrift granskas av andra forskare i samma eller angränsande fält.

Fakta: Så går det till att publicera sina resultat

  1. De artiklar en forskare skriver sänds till en vetenskaplig tidskrift inom forskarens fält, exempelvis stamcellsforskning eller klinisk onkologi.
  2. Väl hos tidskriften granskas studien och dess resultat av andra forskare som bedömer hur studien är gjord och hur man tolkat data. Detta ligger sedan till grund för om artikeln accepteras eller inte.
  3. Efter en tid får forskaren svar. Om artikeln inte accepteras för publicering får man prova att skicka den till en annan tidskrift. En tidskrift med hög impact tar i regel in lägre andel av inskickade artiklar, i vissa fall bara 5 procent.
  4. I de fall artikeln accepteras för publicering krävs ofta kompletterande experiment eller resonemang. Sammantaget är detta en tidskrävande process och det kan ta ett halvår till ett år innan en inskickad artikel publiceras.
  5. När artikeln väl har publicerats kan andra läsa den och citera den. Medicinska artiklar samlas i en databas, PubMed, där det går att söka på författarnamn, tidskrift eller nyckelord.

Text: Lotta Fredholm, först publicerad i tidskriften Medicinsk Vetenskap nummer 2, 2016

OD
Innehållsgranskare:
Ola Danielsson
2023-09-07