Mjuka fakta och osannolik noggrannhet

I det nya numret av Svenska Statistikfrämjandets tidskrift Qvintensen har jag en artikel om Försäkringskassans beräkningar av fusk och felaktiga utbetalningar i socialförsäkringen. Rubriken på artikeln är "Mjuka fakta och osannolik noggrannhet". Jag har skrivit om ämnet tidigare här på bloggen, men den nya artikeln kan ses som min slutliga kommentar. Den följer även här:

För snart tio år sedan gav den amerikanske sociologen Joel Best ut en utmärkt liten bok, Damned Lies and Statistics (University of California Press, 2001). I boken, ett slags uppdaterad efterföljare till Darrell Huffs 1950-talsklassiker Hur man ljuger med statistik, diskuterar Best hur statistik produceras, brukas och missbrukas av allt från forskare till journalister.

I boken ägnar Joel Best stor omsorg åt att förklara hur felaktiga eller tvivelaktiga sifferuppgifter används och sprids i debatter. Viss statistik kan vara acceptabel från början, men förvrängs och förvrids när den fortplantats genom mediesystemet. Annan statistik är dålig redan från början – ”born bad” som Best uttrycker det. Felaktiga uppgifter lanseras i debatten vid något tillfälle – ofta av en lobbyist eller aktör med intresse i frågan – och sprider sig sedan genom att de citeras i andra medier. Efter hand blir de tagna för givna. Alla ”vet” hur det ligger till, men ingen kan ange hur de vet det eller var uppgifterna ursprungligen kommit ifrån.

Att ange siffror är ofta ett mycket effektivt retoriskt grepp, oavsett hur siffrorna ursprungligen tagits fram. Joel Bests bok innehåller en uppsjö av exempel på mer eller mindre elakartade sifferuppgifter som han sedan, ibland med rena detektivmetoder, spårar tillbaka till deras tvivelaktiga ursprung.

Den svenska debatten om sjukfrånvaron är ett praktexempel på hur statistik kan missuppfattas och missbrukas. I min bok Kampen om sjukfrånvaron (Arkiv förlag, 2010) ger jag ett flertal exempel på hur statistiska uppgifter ryckts ur sina sammanhang, vilket lett till svåra missförstånd och feltolkningar.

Det allvarligaste exemplet är förmodligen själva idén om att Sverige upplevde en ”sjukskrivningsepidemi” under tiden kring millennieskiftet. Mellan 1996 och 2002 fördubblades visserligen sjuktalet (det genomsnittliga antalet utbetalda sjukpenningdagar per sjukförsäkrad). Men en närmare analys av ökningen ger vid handen att det i huvudsak inte var antalet nya sjukskrivningar som ökade, utan längden på sjukskrivningsperioderna; närmare 85 procent av ökningen berodde på längre sjukskrivningstider. Detta noterades av SCB 2004 och har senare bekräftats av Arbetslivsinstitutet och Anna Hedborgs socialförsäkringsutredning.

Märkligt nog tog det lång tid innan det kom fram. Man visste naturligtvis att sjukskrivningstiderna ökat, men inte att detta förklarade så stor del av det ökade sjuktalet. Under tiden spreds bilden av svenskarna som ”Europas mest sjukskrivna folk”, tills denna bild blivit en del av det offentliga medvetandet.

Ett mer aktuellt exempel på tvivelaktig statistik är Försäkringskassans ”mörkertalsberäkningar” av fusk och felaktiga utbetalningar i socialförsäkringssystemet. Dessa beräkningar fick stor uppmärksamhet i våras, då Dagens Nyheter (8/3) publicerade en stort uppslagen nyhet om att hela 16,4 miljarder kronor slarvades eller fuskades bort.

Denna exakta siffra spred sig med blixtens hastighet till andra medier, däribland TT och Sveriges Televisions nyhetsredaktioner. Redan samma dag som den ursprungliga DN-artikeln publicerades gjorde Aktuellt ett stort fördjupande inslag, där programledaren Lennart Persson ställde Försäkringskassans generaldirektör, Adriana Lender, mot väggen. Hur förklarade hon att flera miljarder av skattebetalarnas pengar gick till spillo? Lender svarade att fusk och slarv inte kunde försvaras, men påminde samtidigt om att Försäkringskassans totala utbetalningar låg i storleksordningen 450 miljarder kronor per år. Svinnet utgjorde alltså bara runt 3,5 procent av denna gigantiska summa.

För att spåra bakgrunden till siffran 16,4 miljarder får vi gå några år tillbaka i tiden. I maj 2005, då debatten om ”sjukskrivningsepidemin” fortfarande rasade, tillsatte den dåvarande socialdemokratiska regeringen en utredning, Delegationen mot felaktiga utbetalningar (FUT-delegationen), som skulle studera fenomenet samt uppskatta värdet av de felaktiga utbetalningarna. Den siffra man så småningom kom fram till var 20 miljarder kronor. Omkring 50 procent av denna summa utgjordes enligt delegationen av avsiktliga fel av de försäkrade, alltså fusk. Felen i sjukförsäkringen beräknades till drygt 7 miljarder kronor, varav knappt hälften antogs vara avsiktliga.

20 miljarder kronor är väldig massa pengar, och uppgifterna spreds snabbt vidare i debatten. Vad få visste var att siffran i princip var en ren gissning. Beräkningarna hade tillkommit genom att en handfull experter hade samlats under ett par dagar, för att diskutera och komma fram till en gemensam uppskattning av de felaktiga utbetalningarna. Den metod som användes kallas ”expert elicitation” och är ett arbetssätt som används då det råder stor osäkerhet inom ett område. För att metoden ska ha något värde måste de deltagande experterna ha goda kunskaper och ett bra underlag att utgå ifrån när de gör sina bedömningar.

När de svenska socialförsäkringsexperterna uppskattade felaktigheterna inom sjukförsäkringen hade de emellertid inga vetenskapliga artiklar att utgå ifrån. De utgick från endast tre rapporter, som efter vad jag kan bedöma måste ha varit näst intill oanvändbara i sammanhanget. I praktiken satte man sig alltså ned tillsammans – och gissade. De uppskattningar av svinnet som blev slutresultatet – 7 miljarder kronor för sjukförsäkringen och 20 miljarder kronor för hela socialförsäkringssystemet – var genomsnittet av experternas olika gissningar.

Den borgerliga alliansen, som när FUT-delegationens beräkningar presenterades 2007 hade efterträtt den tidigare S-regeringen, satte omgående upp en målsättning: Försäkringskassan skulle minska de felaktiga utbetalningarna. För att säkerställa detta gav man myndigheten i uppdrag att med jämna mellanrum göra om delegationens beräkningar.

Mot bakgrund av den officiella målsättningen var det knappast förvånande att de beräkningar som presenterades i mars 2010 var lägre än siffran från 2007. Genom att Försäkringskassan angav en så exakt siffra – 16,4 miljarder kronor – gavs uppskattningen ett sken av autenticitet.

Kampen om sjukfrånvaron innehåller bland annat en kritik av FUT-delegationens beräkningar. I boken menar jag att delegationens siffror mer eller mindre var gripna ur luften. Att det förekommer fusk och felaktigheter i socialförsäkringssystemet är förvisso alldeles självklart – att helt eliminera sådant beteende är inte möjligt inom någon försäkring. Men det är mycket vanskligt att sia om hur stort svinnet är.

När det gäller sjukförsäkringen så tyder faktiskt det mesta på att rent fusk är mycket ovanligt. FUT-delegationens beräkningar rimmar illa både med de stickprovsundersökningar som gjorts under tidigare år och med det magra resultatet av de förstärkta fuskkontroller som infördes 2006. Delegationen tog säkerligen, medvetet eller omedvetet, starkt intryck av de föreställningar om överutnyttjande och fusk som dominerade sjukfrånvarodebatten vid den aktuella tiden.

När Försäkringskassans nya beräkningar uppmärksammades i våras kontaktade jag det mediekritiska radioprogrammet Medierna i P1. Resultatet blev ett intressant inslag (”Osannolik noggrannhet om försäkringsfusk”, 15/8) som kan avlyssnas på programmets hemsida. I inslaget försvarade en representant från Försäkringskassan uppskattningarna, men medgav att siffrorna var mycket osäkra. Han angav ”felmarginalen” till 8–24 miljarder kronor. Att detta med all säkerhet inte var vad en statistiker skulle mena med termen felmarginal, utan mer troligt spännvidden på gissningarna, framgick inte.

Jag är generellt tveksam till det meningsfulla i att publicera beräkningar av den typ Försäkringskassan gjort här, men ska det ändå ske måste det framgå av rapporter och pressmaterial hur enormt osäkra beräkningarna är. Joel Best kallar siffror av den typ som exemplifierats av Försäkringskassans beräkningar för ”soft facts”. Detta är en term som inbegriper flera olika källor till dålig statistik, inklusive rena gissningar. ”Soft facts” är ofta dålig grund för statistik, men de är utmärkt ammunition för opinionsbildare och politiska aktörer med egna agendor.

Försäkringskassans siffror användes, föga förvånande, av borgerliga debattörer som ville lyfta fram och kritisera socialförsäkringsfusk, bidragskulturer och dåligt fungerande myndigheter. Debattörer från den rödgröna sidan invände att detta var grovt överdrivna problem och jämförde med ”skattefelet”, alltså de uteblivna skatteintäkterna från svartarbete och andra typer av skattefusk. Skattefelet utgjorde enligt Skatteverkets beräkningar över 130 miljarder kronor år 2007.

Att denna siffra också är en mörkertalsberäkning – och att den dessutom vilar på än mer lösa grunder än Försäkringskassans uppskattningar – är en historia som får anstå till en annan artikel.

Björn Johnson, Malmö högskola