Forskningsutvärderad

Institutionen jag arbetar på har återigen blivit forskningsutvärderad. Det är tredje gången jag är med om denna intressanta process. Men det är första gången vid Lunds universitet och det är första gången jag tycker att utvärderingen är dålig, direkt usel faktiskt.

Hela universitets forskning skulle ju egentligen åter ha utvärderats som 2008, men av någon anledning gick uppdraget denna gång till fakulteterna. Min fakultet satt igång med friskt mod och löfte om att resultatet inte skulle påverka forskningsmedelstilldelningen. Nästa steg var att låta institutionerna skriva självvärderingar och föreslå externa sakkunniga granskare. Min institution föreslog en handfull efter den del fotarbete där det bl.a. ingick ett avhopp av en erfaren utvärderare tyvärr. I alla fall fick vi fram några namn, av vilka jag hört talas om en tidigare. Min kolleger gjorde bedömningen att de andra var bra och jag att det namnet jag kände till var en erfaren och bra kollega.

Som utgångspunkt hade de externa granskarna våra självvärderingar från institutionens olika avdelningar liksom en självvärdering för hela institutionen och rejäla travar med publikationer som vi valt ut på grundval av antalet anställda på respektive avdelning. Till detta kom också en fyllig instruktion från fakultetsledningen som de externa bedömarna hade att följa. Nu har en preliminär utvärdering kommit och den är alltså allt annat än bra. Här är inkonsekvenserna regel snarare än undantag och argumenteringen för de olika bedömningarna känns som extremt tillfällig. Mot den bakgrunden kan utvärderingen förstås inte bli rättvis.

Vi som har utvärderats har nu fått en vecka på oss att inkomma med korrigeringar av rena sakfel. Jag skrev ihop tre sidor med kommentarer som rörde faktafel i de externa granskarnas rapport liksom inkonsekvenser och exempel på att bedömarna inte följt anvisningarna från fakultetsledningen. Min favorit gällde kolleger på en avdelning vars ämnesinriktning är unik för Sverige och Skandinavien. Här skriver de externa bedömarna att "Due to the status of being the only section of XXX in Sweden (and Scandinavia) the scholarship is at the forefront of the discipline in Sweden." Kollegerna får vara glada att slutsatsen inte blev att de är sämst...

Först blev jag förstås ledsen, besviken och förbannad. Jag har själv aldrig utvärderat någon institution eller organisation, det får mer framstående kolleger ägna sig åt. Jag har bara bedömt individer som sökande till olika tjänster i Sverige, artiklar i internationell och nationell peer-review samt projekt- och programansökningar i Europa, Skandinavien och Sverige. Ja, sedan har jag förstås bedömt doktorsavhandlingar i tre skandinaviska länder. Jag tar dessa uppdrag på allvar och besinnar att en människa i andra änden gjort så gott denne förmår. När jag har gjort tummen ner har jag vinnlagt mig om att noga motivera detta så att det inte finns några tveksamheter om vad jag ser som avgörande svagheter.

Men när jag efter några dagar nu har lugnat ner mig inser jag att utvärderarnas oförmåga och utvärderingens tillkortakommanden faller tillbaka på oss själva som valt ut dem och föreslagit dem för fakultetsledningen. Jag litade på mina kollegers omdöme när det gällde de namn de föreslog. Och jag litade på det namn jag själv föreslog. Nu har jag i efterhand kollat upp namnen bättre och kan inte se att någon av dem tidigare sysslat med denna typ av övningar, alltså utvärderingar av hela organisationer eller i alla fall annat än artiklar, böcker, projekt och individer. Två är visserligen professorer, men den ena verkar inte ha publicerat sig sedan cirka tio år tillbaka och har det senaste decenniet arbetat utanför universitetsvärlden. Nu är hen återbördad, men verkar ha en del att ta igen. Av samtliga sakkunniga slår inget mitt extremt blygsamma h-index på Scopus och ingen räknar in fler publikationer än jag i samma databas trots att jag inte heller där är extrem på något sätt. Snarare tvärtom.

Dessa mätstickor är inte mycket, jag vet. Man kan ha noll publikationer i Scopus och ändå vara en extremt bra utvärderare. Jag säger bara att min lärdom är, att  nästa gång jag ska granskas, ordentligt kolla upp de namn som föreslås som sakkunniga och som jag av någon anledning inte känner till. Jag tror att den stora skillnaden mot de föregående gångerna den institution jag arbetat på utvärderats är att det då har rört sig om betydligt fler granskare och att varje ämne då har varit hyftsat representerat. Denna gång var utvärderarna mycket färre och varje ämne fick lita till de externa granskarnas omdömen.

Jag har lärt min läxa, att inte lita inte på att folk klarar av saker som de åtar sig. Att kolla att de kan visa upp relevanta färdigheter, inte var och en för sig, men som kollektiv. De som inte varit med om detta förr borde i alla fall kunna lita på att någon annan i gruppen har varit det och att denna kan hjälpa till att organisera arbetet så att någon kolla igenom slutresultatet ordentligt för att ta bort inkonsekvenser konstigheter och rena pinsamheter. För mig har det varit ett missat tillfälle till kritiska och hjälpande sypunkter och kommentarer, förutom att jag känner mig dum förstås, jag borde ha vetat bättre. Synd med tanke på allt arbete jag lagt ner på att skriva en bra självvärdering och alla kolleger jag har tagit in synpunkter från och fått hjälp av. Nu är det bara att lära av felen och minnas lärdomarna till nästa gång, om det blir någon.