Kan man mäta vad som helst?

Frågan har dykt upp i samband med Fokus årliga kommunranking som kritiseras här och här på bloggen politologerna. Fokus redaktör svarar här och sätter ett viktigt ord i centrum: ödmjukhet.

Rankingar och värderingar av stora organisationer som berör många människor blir ofta kontroversiella. Resultat inom organisationer är alltid omstridda. Varför ökade försäljningen? Var det kampanjen, konjunkturen, säljutbildningen, den nya chefen? Eller är det bara mätfel?

I politiska organisationer som kommuner och stater är diskussionen och tolkningarna om detta en grundbult i demokratin.

Handelskammaren genomförde den första systematiska högskolerankingen i Sverige för flera år sedan. Vårt syfte var att få igång en diskussion om kvalitet och fokus på kvalitet. Eftersom vi ansåg att detta mål uppnåtts har vi lagt vår ranking på is. Vi tror att vi åtminstone bidrog till den diskussionen. Rankingen lever ändå vidare eftersom U-rank är en blåkopia på vår.

Vår ranking hade såklart svårigheter. Det går att samla data kring vissa kvantitativa ”inputvariabler”, men inte lika enkelt om resultatvariabler, output. Inom många fält som utbildning är korrelationen dessutom generellt svag mellan hur mycket resurser som stoppas in och vilket resultat man får, kvalitativt. Att man har många forskare har (enligt forskning) visat sig knappast korrelera med hur bra man undervisar, till exempel.

En perfekt mätning inom sociala vetenskaper är såklart omöjlig. Frågan är om det är sunt att ens försöka? Om man förhåller sig ödmjuk inför uppgiften måste svaret ändå vara ja. Och poängen med det är att det ger en diskussion om kvalitet och insatser som är fruktbar. (Vill man teoretisera kan man till exempel luta sig på filosofisk pragmatism som framhåller att all utveckling är responser på störande input som vi tvingas förhålla oss till. Se till exempel How we think av Dewey eller Peirces texter.)

Därför är det bra med kritik av den här typen av mätning och rankning. Inriktning, mätning och tolkning kan och bör utvecklas. Men en ranking av detta slag är såklart inte ägnad för att hypotes-testa en specifik idé.

Så specifikt till politologernas kritik av Fokus.

Politologerna dissekerar Fokus ranking statistiskt och de viktigaste observationerna är kommuner som rankas högt ett år ofta gör det påföljande år och att kommunerna tycks klustra kring tre grupper (hög-medel-låg). Det tycker jag inte är så sensationellt utan konsistensen talar för trovärdighet. Klustringen är i sig värd att fundera mer över. Dessutom: om det är små skillnader mellan kommuner inom dessa kategorier kan det delvis förklara outliers, att vissa nominellt hoppar många steg i rankingspositioner år för år. (Liten förändring ger stora hopp inom gruppen).

Deras STATA-körningar om Fokus ser omedelbart förnuftiga ut. Skall politologerna metodiskt vara riktigt hemma i sin analytiska ansats måste man nog dock köra rankingen en lång följd av år med liknande variabler och kolla variansen. Däri ligger lite av problemet, eftersom – vilket politologerna verkar hålla med om – lämpliga variabler troligen bör utvecklas över tid av olika skäl. (Den som giter kan nog återskapa många av variablerna historiskt i öppna källor).

Det finns många intressanta sätt att utveckla denna ranking och politologernas observation att inkomst såklart har högt förklaringsvärde är ett bra sådant uppslag att beakta, liksom t ex markvärde och olika kompletterande enkäter möjligen kan vara det.

Det finns också all anledning att förhålla sig skeptisk till den eventuella agendan bakom en sådan här ranking och skärskåda vem som gör den. Här tycker jag Fokus framstår som opartisk och mer drivs av nyfikenhet och en vilja att fånga den stora del av samhällsutvecklingen som sker i kommunerna.

Min inställning till Fokus ranking och Handelskammarens tidigare är ungefär som delphi-paneler. I dessa ber man insatta personer talsätta sina uppfattningar om exempelvis framtida fenomen (som nästa års försäljning). Dessa tal motiveras, delas och omformuleras i omgångar i gruppen och leder till ett ”konsensus-medel”. Talet är inte alltid så betydelsefullt rent kvantitativt i sig, men skärper den kvalitativa diskussionen och reflektionen.

Så till frågan: kan man lära sig relevanta saker av Fokus kommunrankning?

Ja.

/PT

En reaktion på “Kan man mäta vad som helst?

  1. Det är väl ändå besynnerligt att fler utrikes födda skulle öka rankingen (om än med med mycket små andelar)?

    Vad är det för ”fundamenta”? Malmö som har ca 40 % utrikes födda drar in 4 miljarder per år i omfördelning…

    ”Andel av kommunens befolkning som är utrikes födda. Högre värde innebär bättre placering.”

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

Följande HTML-taggar och attribut är tillåtna: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>