Strategiska forskningsområdena utvärderade

Rektor bloggade för några dagar sedan om utvärderingen av de strategiska forskningsområden som kom just före valborg. Han konstaterade att det blev både ris och ros för Lunds universitet  Framför allt var det BioCare (Biomarkers in Cancer Medicine) med Lund som värduniversitet och Göteborgs universitet som partner som fick underkänt för att deras resultat inte citerats i en omfattning som nådde upp till internationella jämförelser. Detta trots att utvärderingsgruppen i sin rapport själva konstaterar på knagglig engelska att "Availability of better quantitative data of the outputs over the assessment period would have undoubtedly improved the Evaluation Panel’s evaluation of research output and excellence, educational integration and renewal and societal impact. We emphasise that the Panel’s evaluation is based almost entirely on the qualitative descriptions of the outputs provided by the universities and the SRAs, themselves." (p. 17) BioCare kritiseras alltså för något som utvärderarna själva inte verkar anse sig ha tillräckligt med underlag för att kritisera. Kritik ges också för att programmet innehåller allt för många forskningsteman och att "improved strategic thinking is needed  to help focus research" (p. 33).

Jag har tittat lite närmare på utvärderingen och underlaget till den och måste säga att jag häpnar över hur detta verkar ha gått till. Det är för det första inte lite som utvärderats, sammanlagt forskning för 5,27 miljarder kronor över fem år. Så det är en ganska viktig process som här bedöms och rapporteras. För det andra anser jag att den panel som lett utredningen, sex extremt välrenommerade personer, inte gjort jobbet enligt uppdraget.

I utvärderingsrapporten betygsätts inte bara de 43 olika programmen inom 20 olika strategiska forskningsområden. Även värduniversitetens insatser för det aktuella området bedöms. Det är enligt regeringsuppdraget och inte mycket att säga om. Men här framgår också att utvärderingen ska göras med avseende på vetenskaplig kvalitet i ett internationellt perspektiv samt utifrån effekter för samhälle och näringsliv. Samverkan med andra lärosäten, forskningsinstitut, näringsliv och samhälle (som om näringslivet inte är en del av samhället) ska särskilt beaktas och koppling till utbildning ska också redovisas (men inte bedömas som jag förstår det). Det som ska utvärderas är: resultat och effekter av lärosätenas insatser inom området med utgångspunkten att resurserna ska möjliggöra långsiktig uppbyggnad.

Notera att uppdraget uteslutande handlar om att utvärdera resultat och effekter i termer av kvalitet och samverkan. Här står inte en rad om att frågor om hur forskningen har planerats och styrts ska utvärderas (det kallas i dessa sammanhang "strategisk styrning"). Ändå är just strategisk styrning den första av fem "kärnfrågor" som utvärderingspanelen identifierat, helt som det verkar på eget initiativ och utan någon grund i regeringsuppdraget förutom uppdraget att utvärdera lärosätets insatser för forskningsområdets utveckling. (OBS! Detta har senare visat sig vara felaktigt. Det är inte panelen som formulerat de fem kärnfrågorna, utan myndighetsgruppen enligt uppgifter från en av projektledarna på Högskoleläcka på Facebook. Tyvärr redovisas processen inte tillräckligt noggrant i själv utvärderingen vilket ledde till min felläsning.) De övriga fyra frågorna är: forskningsinsatsernas kvalitet, resultat och effekter (det egentliga uppdraget blir här en av fem kärnfrågor); strategisk betydelse för samhälle och näringsliv (hur ska strategisk betydelse av en satsning kunna identifieras efter endast fem år varav endast de tre senaste åren varit med fullt utbyggd finansiering?); samverkan mellan universitet och andra aktörer samt koppling med utbildning (som enligt uppdraget inte ska vara en fråga utan en redovisningspunkt).

Just frågan om hur forskningen planerats och styrts sticker alltså ut som en  uppgift utan tydligare förankring i uppdraget. För faktiskt kan lärosätets insatser inom ett strategiskt forskningsområde innebära att välja att inte styra eller planera, utan att överlåta det åt forskarna och på så sätt ge dem självständighet. Jag hade kunnat acceptera utvärderingen om den hade vägt för och emot olika styrformer inklusive ingen styrning alls och dragit väl underbyggda slutsatser om varför vissa insatser hade varit påkallade i vissa sammanhang. Men så ser det inte ut. Närvaron av planering och styrning bedöms alltid som positivt, frånvaro av planering och styrning bedöms aldrig som positivt. Inte någon enda gång har ett lärosäte som givit friare tyglar åt ett strategiskt forskningsområde blivit positivt bedömt för det eller ett som styrt för mycket fått kritik för det. Ju mer planering och styrning som utövas av värduniversitetet, desto bättre bedömning utan undantag.

Hur har det kunnat bli så här frågar man sig förstås. Tja, det är inte svårt att börja misstänka två av panelmedlemmarna för att ha särskilda intressen åt det här hållet. Det handlar om Erik Arnold som byggt upp och idag är styrelseordförande för konsultbolaget Technopolis som är verksamt inom  myndighets- och universitetssfären med att utveckla ledning och styrning. Technopolis äger Faugert & Co med kontor i Stockholm. Den andra är Mary O'Kane som är styrelseordförande för O'Kane Associates i Australien som i mångt och mycket konsultar i samma bransch som Faguert & Co. Både Arnold och O'Kane har inte bara mycket lång och gedigen erfarenhet av organisationsutveckling. De har också egna intressen i att universitet och myndigheter efterfråga deras tjänster. I och med att alltid bedöma att central myndighetsutövning genom planering och styrning är bra för olika projekt ökar de efterfrågan på just de tjänster som de själva tillhandahåller. (OBS igen. Detta resonemang håller inte eftersom det visade sig vara myndighetsgruppen som formulerat kärnfrågorna och sedan rekryterat de sex panelmedlemmarna utifrån det. Hur rekryteringen gått till vet vi dock inte.)

Resultatet har blivit en rekommendation till regeringen som innebär att Lunds universitet fråntas drygt tolv miljoner kronor som fördelas till andra lärosäten där de strategiska forskningsområden nått bättre resultat bland de kvantitativa indikatorerna (som alltså pekades ut som undermåligt utvärderingsunderlag) och värduniversitetens styrningen varit mer påtaglig. Motiveringen lyder "Detta är baserat på att expertpanelen har identifierat brister både i specifika SFO-miljöer och i lärosätenas ledning och stöd till dessa."

Men varför just tolv miljoner kronor? Hur har myndigheterna på grundval av utvärderingen kommit fram till just denna summa och inte tio eller femton miljoner kronor per år? Om detta nämns inte ett ord i något av alla dokument som producerats i sammanhanget. Siffran tycks gripen ur luften.

God förvaltning är transparent och förutsägbar. Så har inte varit fallet när det gäller utvärderingen av strategiska forskningsområden och de rekommendationer till regeringen som följt av den. Utgångspunkterna för utvärderingspanelen borde uteslutande ha grundats i uppdraget. Utvärderingskriterier borde ha varit management-neturala i den meningen att styrning inte bedöms som värdefull i sig utan måste vara påkallad av specifika forsknings- och samverkansbehov.

Min bedömning är glasklar. Underkänt. Rekommendation: Papperskorgen.