Man har bedt mig om at tale om emnet “Evaluering som organisasjonslæring.” Jeg forstår denne titel således: Hvorledes kan evalueringer anvendes til at forandre organisationer gennem processer, hvor den evaluerede organisation anvender evalueringen til at udvikle nye strukturer og processer, der gør organisationen mere egnet til at udføre sine opgaver? Hvis man tvinger nogen til noget, opfattes den forandrede adfærd normalt ikke som et resultat af indlæring. Mit opgivne emne bor derfor blive en diskussion af, hvorledes jeg mener at man kan få organisationer til frivilligt at forbedre sig som et resultat af evaluer-inger, der bibringer organisationer ny forståelse og viden.

Jeg skal med andre ord vise, hvorledes man kan anvende evaluationer til at få organisationer til at ændre sig ad frivillighedens vej. Jeg har ikke meget at sige om dette emne. Det er min opfattelse, at det normalt er meget vanskeligt at ændre organisationer i det hele taget. Det er imidlertid umuligt at ændre organisationer: (1) ved brug af evaluationer der følger den evaluerings- model, der er blevet alminnelig i Norge og en række andre lande, og (2) når det drejer sig om organisationer, hvis virksomhed er forskning og uddannelse.

Konsekvensen af min opfattelse er, at evaluering af forskning og højere uddannelse med den hensigt at skabe organisationsforandring af frivillighedens vej er spild af resurcer og travle personers tid. Ikke desto mindre er evaluering med denne hensigt næsten enerådende ikke alene i Norge, men også i mange andre lande. Faktisk er det meste af den evaluering, der nu foregår, ikke kun værdilos, men skadelig.

Evaluering er skadelig når den legitimerer bestående virksomhed og nuværende fordeling af resurcer uanset virksomhedens værdi for samfunnet eller videnskaben. Denne legitimering er ofte den vigtigste virkning af evaluering af forskning og højere uddannelse i Skandinavien, efter min mening.

Jeg skal nu begrunde denne opfattelse. Jeg vil først skitsere den evaluerings- filosofi som forestiller sig, at evaluering kan føre til organisationsindlæring. Demæst vil jeg skitsere, hvorfor det er vanskeligt at ændre organisationer i almindelighed og umuligt med den fremherskende evalueringsmodel. Jeg vil endelig diskutere nogle omkostninger ved den foreslåede evalueringsmodel.

Den pædagogiske evalueringsmodel

Der skrives en del, på norsk og udenlandsk, om evaluering. Denne litteratur forfattes oftest af forskere som ønsker at formulere teori og filosofi om hvorledes en evaluering bør foregå. Disse forskere er genuine filosoffer og teoretikere, og deres teori har et klart normativt sigte: Man ønsker at formulere den”gode” evalueringsmodel. Der gøres sjældent noget forsøg på direkte eller indirekte at give empirisk støtte for modellen eller dens antagelser, og der gøres ikke brug af den righoldige teoretiske og empiriske litteratur om forskning og videnskab, sociologer, historikere og andre videnskabsforskere har udviklet. Der gøres heller ikke megen brug at den meget store litteratur om organisationer og hvad som skaber forandrings-processer i organisationer. Disse evalueringsforskere hører ofte hjemme i pædagogiske uddannelsesmiljoer, og de er stærk inspirerede af generelle pædagogiske principper. Jeg vil derfor kalde resultat af disse anstrengelser den “pædagogiske evalueringsmodel”.

Jeg skal bruge den igangværende evaluering af norsk sociologi som et, efter min mening, meget typisk eksempel på udformningen af den pædagogiske evalueringsmodel. Jeg er medlem af den eksterne komite for denne evaluering. Da den startede, fik vi instrukser af Utredningsinstituttet, der fremhævede, at vi ikke måtte foretage en “forenklet” rangorden af institutioner og at evalueringsresultater ikke skal have umiddelbare konsekvenser for resurceallokering mellem institutioneme. Vi havde diskussioner med vore arbejdsgivere om dette og forstod at kravet om at

undgå rangorden betyder, at vi ikke skal forsøge at give en egentlig sammenligning mellem institutioner for sammenligning kan alltid sammenfattes i en rangering, om end ikke nødvendigvis i en enkelt dimension. Videre må evalueringen ikke have nogen konsekvenser for hvilke miljøer skal tildeles flere eller færre resurcer.

Den eksterne evalueringen må velge sine verktøy med omhu. Foto: Samfoto.

Det fremhæves i vore instrukser, at evalueringens formål er “læring i et styringsperspektiv”. Der henvises til “Fra Vision til Virke” hvor det hedder, at det største potentiel for evaluering ligger i at stimulere til kritisk selvreflektion og egenudvikling. Det påpeges, at evalueringer kan lægge hovedvægten på kontrol eller på indlæring i en organisation. Vi bliver fortalt, at hovedgevinsten ved en evaluering er at stimulere til læring. Læring i et styringsperspektiv må altså forstås som organisationsforandring, hvor organisationen ad frivillighedens vej forandrer sig som “ejeme” geme ønsker at de forandrer sig.

Teorien bag dette er, at evalueringen skaber organisationsforandring ved at give passende ros og information om organisationens virksomhed. Negative udtalelser og sammenligning med anden lignende virksomhed undgås. Dette kunne nedbryde den pågældende organisations selvtillid og villighed til at lade sig evaluere.

Den pædagogiske model bygger på en individuel pædagogisk teori. Det vigtigste element i denne teori er at barnet motiveres til at lære ved at det bibringes en positiv holdning til læringsprocessen og dens aktører. Selvtillid er meget vigtig, så sammenligninger med andre bør undgås. I stedet bør der tages udgangspunkt i barnets individuelle forudsætninger og færdigheder. Denne teori strider mod den klassiske indlæringsteori, der fremhæver at individet lærer ved at modtager negative og positive sanktioner for sine præstationer. Jeg skal ikke tage stilling til om det er en god læringsmodel for bøm. Spørgsmålet her er, om denne positive pædagogiske teori er anven-delig på organisationer, der driver med forskningsvirksomhed eller højere uddannelse.

Mit svar på dette spørgsmål er, som allerede nevnt, negativt. Modellen strider både mod almindelig teori om organisationer og hvad som forandrer dem, og den strider specielt mod hva vi ved om hvad der forandrer organisationer, der driver med forskning og højere uddannelse.

Det skal bemærkes, at det virker paradoksalt, at man åbenbart mener, at en pædagogisk teori er anvendelig ved evaluering af organisationer i lys af, at hele evalueringsvirksomheden er fremkommet som en videreudvikling af den traditionelle evaluering af forskere og forskningsprodukter. Denne evaluering af personer og produkter et af de definerende kendetegn ved videnskab og højere uddannelse. Den har ikke indlæring som det primære formål. I stedet er det formålet med evalueringen at træffe en beslutning om resurceal- lokering eller lignende--om en person skal have en grad eller et job, om en artikel skal publiceres eller en ansøgning støttes. Dette sker som oftest efter en rangering, og en rangering er alltid forenklet. Det er klart, at disse individuelle evalueringer ofte er negative og ofte nedbryder selvtillid. Alligevel er der, mig bekendt, ingen seriøs forsker, som ville foreslå en anden evaluerings- metodik for personer og forskningsprodukter. Mange vil mene, at man kan lære meget af bedømmelser med konsekvenser for resurceallokering og selvtillid, selv om disse konsekvenser er negative.

Organisationsændringer og deres årsager

Organisationer fødes, udvikles og dør på samme måde som personer. Der er dog vigtige forskelle. Organisationer er, i modsætning til personer, mere tilbøjelige til at dø, jo yngre de er (den katolske kirke er et eksempel). Medens individer kan forandre og udvikle sig som en resultat af forandringer i omgi vel serne som de lærer af og om, har organisationer svært ved at ændre sig. De er blant andet ikke gode til at lære og tilpasse sig forandringer i deres omgivelser. De er ikke gode til at forandre sig, selv om man ikke anvender den pædagogiske evalueringsmodel som model for forandring; men det er specielt vanskeligt med denne model. Dette er muligens i modstrid med tilfældet hos personer.

Der er mange teorier om organisations- forandring. De empirisk bedst underbyggede teorier hævder at organisationer som hovedregel er meget vanskelige at ændre. Dette betyder ikke, at organisationer aldri forandrer sig; men det betyder, at når de forandrer sig, sker det oftest langsomt og kun ved stærkt ydre pres. Visse dimensioner, som størrelse, er mere tilbøjelige til at forandres end andre, som struktur og kultur. Trægheden er altså speciel stor med hensyn til hvorledes opgaver løses og organiseres. Dette betyder at organisationers effektivitet er specielt vanskelig at forandre, og det er denne effektivitet, det ofte er målet for evalueringer at påvirke.

Organisationer dannes i en tilpasning til et miljø og forbliver ofte uforandrede uanset hvorledes disse omgivelser forandrer sig. Dette betyder, at der ofte fremkommer en mistilpasning mellem organisationen og dens omgivelser, en mistilpasning, der medfører organisationens død. Nye organisationer med strukturer og kulturer, der er bedre tilpassede til de forandrede omgivelse dannes i de afdødes organisationers sted. Denne teori for organisations-forandring ved stadig selektion gennem død og fødsel er udviklet i populations- økologien anvendt på organisationer. Der er betydlig empirisk støtte for denne teori og det er en enkel teori: Markedet fjerner de mistilpassede og fremmer de bedre tilpassede. Vi opfatter som regel markedet som et marked for produkter; men disse produkter er repræsentanter for organisationer og når produkteme forsvinder, forsvinder organisationeme også. Et eksempel er, at da transistorer blev afløst af chips, skete det ved, at næsten alle de firmaer, der producerede transistorer, forsvandt. Dette skete ikke fordi transistorproducenterne var uvidende om, hvad der var galt. Problemet var at transistor-producenteme ikke evnede at forandre sig.

Der er selvsagt en stor og vigtig virksomhed i anvendt organisationsteon og konsulentvirksomhed, der prøver at hjælpe organisationer til at forandre sig selv og undgå at blive dræbt af markedet. Men oftest hjælper ingen hjælp, eller forandringen er så radikal at den kan lignes ved død og genfødsel. Konsulentvirksomhed tjener til legitimering af sådanne radikale forandringer og når den er virkningsløs, er den en slags “conspicuous consumption” ligesom megen psykoterapi på det individuelle plan.

Det er klart at dødeligheden som følge af forandrede omgivelser er meget mindre i organisationer som ikke er afhængige af markedet. Denne uafhængighed skyldes at virksomheden er statsejede eller statfinancierede organisationer, som NSB, universiteteme og de fleste forskningsvirksomheder. Dette betyder selvsagt ikke, at disse organisationer er bedre til at tilpasse sig. De er endnu mere vanskelige at forandre fordi den truslen om død er mindre. For at få samfundet til at tro, at de kan forandres, har man opfundet evaluering som en måde at skabe forandring. Det betyder selvsagt ikke at man har fundet en effektiv måde.

Offentligt ejede organisationer er specielt vanskelige at forandre fordi politiske mekanismer må bruges til at skabe forandring. Konsekvenseme af en utilfredsstillende præstation må derfor defineres politisk og dette åbner selvsagt for muligheden for at omgøre en bedømmelse, man ikke kan lide, eller fjeme bedømmelsens legitimitet ved at påstå, at den eller de, som har foretaget bedømmelsen, er ukvalificerede eller styret at de forkerte interesser.

Denne træghed i alle organisationer og specielt i offentligt ejede organisationer gør det vanskeligt at ændre organisationer med nogen midler. Hvis man alligevel skal forsøge sig må der meget skrappe midler til, helst en effektiv trussel om udslettelse. Dette gøres enklest ved at en forskningseller uddannelsesvirksomhed aldri finansieres udover en vis begrænsed årrække. Dette er relativt enkelt med forskningsvirksomhed, hvor tidsbegrænsede bevillinger og konkurrence om fornyelse kan etableres uden større problemer, selv om det er sjældent i Skandinavien. Det er mere kompliceret med højere uddannelsesvirksomhed på grund af de stærke traditioner for statsbetalt autonomi.

De skrappe midler, der er tiltrængte for at skabe organisationsforandring, vil i de fleste tilfælde være ensbetydende med een eller anden form for markesstyring. Dette har omkostninger ved nogle type forskningsvirksomhed, specielt grundforskning, hvor markedet ikke alltid styrer hensigtsmæssigt og ved visse typer uddannelse hvor efterspørgselen ikke er stor men hvor den kulturelle værdi af at bibeholde uddannelsen er betydelig. Desværre er det vanskeligt at finde alternativer til en markedsstyring som giver noget som helst håb om effektivt at kunne forbedre en offentlig financieret virksomhed.

Den pædagogiske evalueringsmodel er klart ikke et effektivt middel. Den fremhæver netop at skrappe midler ikke må anvendes og reel information ikke gives, for eksempel ved rangering. I stedet skal bruges selvevalueringer og beskrivelser der sikrer at organisationernes selvtillid ikke knækkes. Dette garanterer, at der ikke kan forventes forandringer, der vil øge kvaliteten. Det kan selvfølgelig ikke udelukkes at en organisation forandrer sig pa een eller anden måde som et resultat af en evaluering, der følger den pædagogiske evalueringsmodel; men der er intet, der sikrer at forandringen er i en ønskelig retning for samfundet eller videnskaben.

De negative konsekvenser af evaluering

Der er ikke skygge af empirisk bevis for, at den pædagogiske evalueringsmodel kan anvendes til at forbedre forsknings- eller højere uddannelsesvirksomhed. Som lige vist er der heller ingen teoretisk støtte for modellen. Dette betyder, at evalueringsmodellen ikke blot er virkningsløs og et spild af tid og kræfter: Ved at blive betegnet som evaluering, legitimerer denne model al forskning og uddannelse, ogsa darlig virksomhed. Brugen af denne mode fastfryser således tingenes tilstand og er en konserverende og kvalitetsnedbrydende kraft.

Denne legitimerende funktion ville reduceres noget, hvis man i det mindste ikke kaldte den pædagogiske model en evalueringsmodel. Man kunne i stedet kalde den en kvalitetsudviklingsmodel. Dette betyder ikke, at jeg mener metoden er et effektivt middel til kvalitetsudvikling; men den er da i det mindste mindre skadelig, fordi den ikke giver indtryk af at en seriøs evaluering er foregået.

En effektiv evalueringsmodel af offentlig financieret virksomhed er selvsagt vanskelig at etablere. Den må i det mindste bruge effektive og konsekvente sanktioner. Selv med disse konsekvenser er det vanskelig at etablere evalueringer, den fremherskende model. der skaber kvalitetsforbedring. Organisationer er vanskelige at ændre i almindelighed, offentlig financierede er i særdeleshed vanskelige at ændre. Hertil skal jeg tilføje at det er specielt vanskeligt at ændre noget i Skandinavien. Systememe er små og ofte isolerede, således at man ikke anerkender kvalitetsbedømmelser med brug af generelle, intemationale kriterier. Det er ikke tilfældigt, at Janteloven er en dansk-norsk konstruktion. Det er meget ubehageligt, har jeg selv måttet erfare, at sige noget ubehageligt om nogen virksomhed i Skandinavien, fordi sådanne vurderinger bliver personliggjorte her. Derfor siger de fleste ingenting og pædagogmodellen tjener på udmærket vis som begrundelse af denne praksis.

Man måtte tro at en evalueringsvirksomhed, der tjener til at vurdere om befolkningens skatter får en rimelig god anvendelse er et vigtigt offentligt ansvar. Men en evalueringsvirksomhed, der legitimerer dårlig virksomhed er værre en ingenting. Jeg foreslår derfor, at man ophører med at evaluere med brug af den fremherskende model.