Bilaga 1

Jämförelse av indikatorerna i 2015 års Mål och budget (S+L+MP) med årsredovisningen (S+L+MP)

Sammanfattning

Det är mycket allvarligt och missledande att indikatorer som finns i Mål och budget och som fullmäktige har tagit beslut om saknas i Årsredovisningen och att andra indikatorer redovisas. Att indikatorerna inte stämmer överens mellan dessa två dokument, innebär att revisorer och fullmäktige inte har något underlag för bedömningen av måluppfyllelse, som är en av de åtta faktorer som ska bedömas i prövningen av ansvarsfrihet.

För 11 mål av 16 kan ingen bedömning av måluppfyllelsen göras beroende på att indikatorerna inte är mätta, ej kan jämföras med tidigare år eller ej kan bedömas. För resterande fem mål är inget mål uppnått, eftersom inte minst hälften av indikatorerna går åt rätt håll.

kommentarer till granskning

Granskningen i sin helhet återfinns i bilaga 2. Nedan redovisas våra kommenterar till granskningen.

Indikatorerna omformuleras i årsredovisningen

Det är vanligt förekommande att indikatorerna har omformulerats i årsredovisningen, vilket gör att det antingen är svårt att bedöma om det är samma indikator eller att indikatorn i årsredovisningen mäter något annat än den som fullmäktige har fattat beslut om i Mål och budget. Detta gäller särskilt olika index. Det bör framgå av Mål och budget-dokumentet vilka indikatorer som ska användas för att mäta måluppfyllelsen och sedan ska samma indikatorer återfinnas i årsredovisningen med resultat av mätningen. Eftersom det är vanligt förekommande med en skillnad när det gäller indikatorerna i Mål och budget jämfört med årsredovisningen, är det viktigt att indikatorerna som fullmäktige fattar beslut om i Mål och budget är tydligt utskrivna och formulerade (och att det inte står bara t.ex. medborgarindex), så att revisorer och fullmäktige kan göra en verklig jämförelse och bedöma måluppfyllelsen på saklig grund.

Skillnad på indikatorerna

Det finns flera exempel på skillnader i formuleringar mellan Mål och budget-dokumentet och Årsredovisningen. Ett sådant exempel är: ”Andelen invånare som upplever att kommunens anställda ger ett bra bemötande” respektive ”Andelen invånare som upplever att kommunens anställda ger dem ett bra eller godtagbart bemötande”. När det finns sådana skillnader mellan Mål och budget och årsredovisningen, undrar man hur indikatorn har varit formulerad de tidigare åren, som finns för jämförelse. Ett annat exempel på skillnad är: ”Andelen elever som uppger att alla behandlas likvärdigt oberoende av kön, sexuell läggning, social eller kulturell bakgrund” och indikatorn i årsredovisningen ”Andelen elever som uppger att de inte blir kränkta eller illa behandlade i skolan”. Vad innebär i skolan? Är det andra elever eller är det lärare? Ett tredje exempel är Mål 4 i Mål och budget 2015: ”Antalet besök och gästnätter i kommunen.” Det är svårt att förstå att antalet besök ska mätas i antalet besök på turistbyrån i årsredovisningen: ”Antalet besök på turistbyrån”. Det är mycket lätt att tro att ”antalet besök” refererar till antalet besök i kommunen över huvud taget.

Indikatorerna uppdateras inte

Vid en jämförelse mellan indikatorerna i Mål och budget och i årsredovisningen kan man konstatera att samma skillnader mellan dokumenten också i flera fall har funnits sedan åtminstone 2014. Det ger ett intryck av att indikatorerna i årsredovisningen har uppdaterats när t.ex. SCB eller Skolverket ändrar vad det är som mäts, men att detta inte uppdateras i Mål och budget.

Uppgifter om vad siffrorna visar saknas

Det saknas ibland uppgifter om vad siffrorna visar; om det är procent, antal eller något annat? Det förekommer även på ett ställe att det finns två olika siffror, men att ingen förklaring ges till vad dessa siffror står för, se mål 6. Det finns en inkonsekvens när det gäller antalet decimaler. Ibland redovisas två decimaler och ibland bara en.

Uppgifter om svarsfrekvens och antal svar saknas

Det saknas genomgående uppgifter om svarsfrekvens och om antal svar. Detta är viktigt för att kunna bedöma undersökningarnas tillförlitlighet och om det är ett litet antal, t.ex. 40, så mäter man inte i procent, eftersom det blir missvisande.

Jämförelser försvåras och dålig översikt

Indikatorerna i Mål och budget och i årsredovisningen redovisas inte i samma ordningsföljd, vilket försvårar översikten och möjligheterna att göra en jämförelse. Detta har säkert också gjort det mycket svårare för revisorerna att bedöma måluppfyllelsen och det blir även mycket svårare för alla som ska läsa och arbeta med dokumenten att se om det saknas indikatorer i redovisningen eller om indikatorerna är annorlunda formulerade. Det senare kan leda till att andra faktorer mäts än vad som står i Mål och budget, vilket ger en missvisande bild av måluppfyllelsen.

Indikatorer mäts inte

Många indikatorer är inte mätta. Detta beror antingen på att de inte mäts varje år och då är de inte lämpliga som indikatorer för de år som de inte mäts eller på att uppgifterna inte kommer förrän efter årsredovisningen ska vara klar. I det senare fallet kan de inte heller fungera som indikatorer för måluppfyllelse, eftersom man inte kan se resultatet när man ska bedöma måluppfyllelsen. Det finns också exempel på att kommunen har tillgång till siffrorna själva, men ändå väntar på resultatet från t.ex. någon myndighet. Ett sådant exempel är antal utbildade förskollärare.

Relevans saknas mellan mål och indikatorer

Överensstämmelsen mellan målet och de indikatorer som ska mäta måluppfyllelsen för målet saknar ibland relevans i högre eller lägre omfattning. Det förekommer t.ex. att indikatorer som inte alls hör hemma under ett mål, t.ex. när företagens nöjdhet blandas in i målet med kommuninvånarnas upplevelse av service och nöjdhet, mål 10. Ett annat problem är att vissa grupper av kommuninvånare helt saknas i indikatorerna. När det gäller Nynäshamnsbornas hälsa, mål 7, saknas t.ex. de äldre, vilket är anmärkningsvärt med tanke på att kommunen har en ovanligt hög andel äldre jämfört med många andra kommuner. När det gäller Mål 13. “Studieresultaten inom kommunens utbildningsverksamhet” saknas indikatorer för NKC:s verksamhet helt, förutom SFI.

Indikatorer som inte mäter det som ska mätas

Det förekommer indikatorer som inte alls mäter det som är tänkt att mätas. Det går t.ex. inte att bedöma om kommunens verksamhet bedrivs på ett jämställt och jämlikt sätt utifrån indikatorer som mäter mäns och kvinnors antal hemtjänsttimmar per vecka. Antalet hemtjänsttimmar utgår från behovet. Fler kvinnor lever längre än män och får förmodligen därför ett ökat behov pga högre ålder. Går resultatet av indikatorn åt rätt håll om antalet hemtjänsttimmar för män ökar eller minskar? Antalet timmar för män har minskat. Hur ska man tolka det ur jämställdhetsperspektiv? Antalet timmar för kvinnor har ökat. Hur ska man tolka det ur jämställdhetsperspektiv? Resultatet av dessa indikatorer kan bara visa antalet hemtjänsttimmar per vecka för män respektive kvinnor och man kan jämföra om det har ökat eller minskat under olika år. Någon annan bedömning kan inte göras för dessa indikatorer.

Felaktig att ha mål som andra är ansvariga för

Det är helt felaktigt och missvisande att ha med indikatorer som t.ex. Södertälje kommun är ansvarig för. Detta gäller Mål 11, där en av indikatorerna handlar om handläggningstid för serveringstillstånd.

Tveksamt med indikatorer som kommunen inte kan påverka

En indikator som t.ex. ”Antalet företag som startar guidade turer med natur- och kulturinriktning” i Mål 9 är minst sagt tveksam, eftersom det inte är något som kommunen kan påverka och det inte ingår i kommunens verksamhet. Dessutom är det synnerligen oklart hur denna indikator kan relateras till mål 9: ”Kommunens natur- och kulturvärden bevaras, förbättras och utvecklas.”

Utbyte av indikator vid 100%

När resultatet av en indikator är 100 %, bör man byta ut den mot något som man kan förbättra. Det gäller t.ex. Mål 3 och 12.

Missvisande bedömningar

Bedömningen av indikatorerna och måluppfyllelsen efter varje mål är i de flesta fall helt missvisande.

För det första måste man ha ett mål angivet i Mål och budget, dvs. det måste finnas en siffra för varje indikator för att kunna bedöma om resultatet av indikatorn uppfyller det mål som har satts upp. Detta saknas för samtliga mål och indikatorer. Att resultatet går åt rätt eller fel håll eller är oförändrat innebär inte att man kan mäta måluppfyllelse.

”Detta skulle kunna jämföras med om man skulle ta ut en trupp till OS i höjdhopp och man inte sätter en gräns för hur högt de ska hoppa som ska få åka till OS. Man kan se att de har hoppat högre än förut (resultatet går åt rätt håll), lägre än förut (resultatet går åt fel håll) eller lika högt som förut (resultatet är oförändrat). Alla hoppar och man mäter hur högt de har hoppat, men man kan inte avgöra vilka som har klarat kvalgränsen, eftersom man inte har satt upp ett mål för hur högt man måste hoppa för att få åka till OS.”

För det andra, är det svårt att se att bedömningen baseras på resultatet av mätningen av indikatorerna. Exempel från Mål 12: ”Den sammanfattande bedömningen görs att indikatorerna är sämre men att måluppfyllelsen går åt rätt håll.” Eftersom det är indikatorerna som mäter måluppfyllelsen, så kan inte den gå åt rätt håll om indikatorernas resultat är sämre. Ett annat exempel är från Mål 15. ”Den samlade bedömningen är att indikatorerna och måluppfyllelsen är på fortsatt en bra nivå men kan bli bättre.” I själva verket går tre indikatorer av sex går åt fel håll, en indikator har ökat med 1 %, dvs. blygsamt åt rätt håll och två mäter någonting helt annat, dvs. skillnaden i antalet hemtjänsttimmar per vecka för män respektive kvinnor och inte jämställdheten mellan män och kvinnor.

Revisorer och fullmäktige saknar underlag för bedömning av ansvarsfrihet.

Jämförelse av indikatorerna i 2015 års budget och årsredovisning - granskning

2016-05-11: Sammanfattning av jämförelse

Sammanfattning: För 11 mål av 16 kan ingen bedömning av måluppfyllelsen göras beroende på att indikatorerna inte är mätta, ej kan jämföras med tidigare år eller ej kan bedömas. För resterande fem mål är inget mål uppnått, eftersom inte minst hälften av indikatorerna går åt rätt håll.