fredag 22 oktober 2010

Mjuka fakta och osannolik noggrannhet

I det nya numret av Svenska Statistikfrämjandets tidskrift Qvintensen har jag en artikel om Försäkringskassans beräkningar av fusk och felaktiga utbetalningar i socialförsäkringen. Rubriken på artikeln är "Mjuka fakta och osannolik noggrannhet". Jag har skrivit om ämnet tidigare här på bloggen, men den nya artikeln kan ses som min slutliga kommentar. Den följer även här:

För snart tio år sedan gav den amerikanske sociologen Joel Best ut en utmärkt liten bok, Damned Lies and Statistics (University of California Press, 2001). I boken, ett slags uppdaterad efterföljare till Darrell Huffs 1950-talsklassiker Hur man ljuger med statistik, diskuterar Best hur statistik produceras, brukas och missbrukas av allt från forskare till journalister.

I boken ägnar Joel Best stor omsorg åt att förklara hur felaktiga eller tvivelaktiga sifferuppgifter används och sprids i debatter. Viss statistik kan vara acceptabel från början, men förvrängs och förvrids när den fortplantats genom mediesystemet. Annan statistik är dålig redan från början – ”born bad” som Best uttrycker det. Felaktiga uppgifter lanseras i debatten vid något tillfälle – ofta av en lobbyist eller aktör med intresse i frågan – och sprider sig sedan genom att de citeras i andra medier. Efter hand blir de tagna för givna. Alla ”vet” hur det ligger till, men ingen kan ange hur de vet det eller var uppgifterna ursprungligen kommit ifrån.

Att ange siffror är ofta ett mycket effektivt retoriskt grepp, oavsett hur siffrorna ursprungligen tagits fram. Joel Bests bok innehåller en uppsjö av exempel på mer eller mindre elakartade sifferuppgifter som han sedan, ibland med rena detektivmetoder, spårar tillbaka till deras tvivelaktiga ursprung.

Den svenska debatten om sjukfrånvaron är ett praktexempel på hur statistik kan missuppfattas och missbrukas. I min bok Kampen om sjukfrånvaron (Arkiv förlag, 2010) ger jag ett flertal exempel på hur statistiska uppgifter ryckts ur sina sammanhang, vilket lett till svåra missförstånd och feltolkningar.

Det allvarligaste exemplet är förmodligen själva idén om att Sverige upplevde en ”sjukskrivningsepidemi” under tiden kring millennieskiftet. Mellan 1996 och 2002 fördubblades visserligen sjuktalet (det genomsnittliga antalet utbetalda sjukpenningdagar per sjukförsäkrad). Men en närmare analys av ökningen ger vid handen att det i huvudsak inte var antalet nya sjukskrivningar som ökade, utan längden på sjukskrivningsperioderna; närmare 85 procent av ökningen berodde på längre sjukskrivningstider. Detta noterades av SCB 2004 och har senare bekräftats av Arbetslivsinstitutet och Anna Hedborgs socialförsäkringsutredning.

Märkligt nog tog det lång tid innan det kom fram. Man visste naturligtvis att sjukskrivningstiderna ökat, men inte att detta förklarade så stor del av det ökade sjuktalet. Under tiden spreds bilden av svenskarna som ”Europas mest sjukskrivna folk”, tills denna bild blivit en del av det offentliga medvetandet.

Ett mer aktuellt exempel på tvivelaktig statistik är Försäkringskassans ”mörkertalsberäkningar” av fusk och felaktiga utbetalningar i socialförsäkringssystemet. Dessa beräkningar fick stor uppmärksamhet i våras, då Dagens Nyheter (8/3) publicerade en stort uppslagen nyhet om att hela 16,4 miljarder kronor slarvades eller fuskades bort.

Denna exakta siffra spred sig med blixtens hastighet till andra medier, däribland TT och Sveriges Televisions nyhetsredaktioner. Redan samma dag som den ursprungliga DN-artikeln publicerades gjorde Aktuellt ett stort fördjupande inslag, där programledaren Lennart Persson ställde Försäkringskassans generaldirektör, Adriana Lender, mot väggen. Hur förklarade hon att flera miljarder av skattebetalarnas pengar gick till spillo? Lender svarade att fusk och slarv inte kunde försvaras, men påminde samtidigt om att Försäkringskassans totala utbetalningar låg i storleksordningen 450 miljarder kronor per år. Svinnet utgjorde alltså bara runt 3,5 procent av denna gigantiska summa.

För att spåra bakgrunden till siffran 16,4 miljarder får vi gå några år tillbaka i tiden. I maj 2005, då debatten om ”sjukskrivningsepidemin” fortfarande rasade, tillsatte den dåvarande socialdemokratiska regeringen en utredning, Delegationen mot felaktiga utbetalningar (FUT-delegationen), som skulle studera fenomenet samt uppskatta värdet av de felaktiga utbetalningarna. Den siffra man så småningom kom fram till var 20 miljarder kronor. Omkring 50 procent av denna summa utgjordes enligt delegationen av avsiktliga fel av de försäkrade, alltså fusk. Felen i sjukförsäkringen beräknades till drygt 7 miljarder kronor, varav knappt hälften antogs vara avsiktliga.

20 miljarder kronor är väldig massa pengar, och uppgifterna spreds snabbt vidare i debatten. Vad få visste var att siffran i princip var en ren gissning. Beräkningarna hade tillkommit genom att en handfull experter hade samlats under ett par dagar, för att diskutera och komma fram till en gemensam uppskattning av de felaktiga utbetalningarna. Den metod som användes kallas ”expert elicitation” och är ett arbetssätt som används då det råder stor osäkerhet inom ett område. För att metoden ska ha något värde måste de deltagande experterna ha goda kunskaper och ett bra underlag att utgå ifrån när de gör sina bedömningar.

När de svenska socialförsäkringsexperterna uppskattade felaktigheterna inom sjukförsäkringen hade de emellertid inga vetenskapliga artiklar att utgå ifrån. De utgick från endast tre rapporter, som efter vad jag kan bedöma måste ha varit näst intill oanvändbara i sammanhanget. I praktiken satte man sig alltså ned tillsammans – och gissade. De uppskattningar av svinnet som blev slutresultatet – 7 miljarder kronor för sjukförsäkringen och 20 miljarder kronor för hela socialförsäkringssystemet – var genomsnittet av experternas olika gissningar.

Den borgerliga alliansen, som när FUT-delegationens beräkningar presenterades 2007 hade efterträtt den tidigare S-regeringen, satte omgående upp en målsättning: Försäkringskassan skulle minska de felaktiga utbetalningarna. För att säkerställa detta gav man myndigheten i uppdrag att med jämna mellanrum göra om delegationens beräkningar.

Mot bakgrund av den officiella målsättningen var det knappast förvånande att de beräkningar som presenterades i mars 2010 var lägre än siffran från 2007. Genom att Försäkringskassan angav en så exakt siffra – 16,4 miljarder kronor – gavs uppskattningen ett sken av autenticitet.

Kampen om sjukfrånvaron innehåller bland annat en kritik av FUT-delegationens beräkningar. I boken menar jag att delegationens siffror mer eller mindre var gripna ur luften. Att det förekommer fusk och felaktigheter i socialförsäkringssystemet är förvisso alldeles självklart – att helt eliminera sådant beteende är inte möjligt inom någon försäkring. Men det är mycket vanskligt att sia om hur stort svinnet är.

När det gäller sjukförsäkringen så tyder faktiskt det mesta på att rent fusk är mycket ovanligt. FUT-delegationens beräkningar rimmar illa både med de stickprovsundersökningar som gjorts under tidigare år och med det magra resultatet av de förstärkta fuskkontroller som infördes 2006. Delegationen tog säkerligen, medvetet eller omedvetet, starkt intryck av de föreställningar om överutnyttjande och fusk som dominerade sjukfrånvarodebatten vid den aktuella tiden.

När Försäkringskassans nya beräkningar uppmärksammades i våras kontaktade jag det mediekritiska radioprogrammet Medierna i P1. Resultatet blev ett intressant inslag (”Osannolik noggrannhet om försäkringsfusk”, 15/8) som kan avlyssnas på programmets hemsida. I inslaget försvarade en representant från Försäkringskassan uppskattningarna, men medgav att siffrorna var mycket osäkra. Han angav ”felmarginalen” till 8–24 miljarder kronor. Att detta med all säkerhet inte var vad en statistiker skulle mena med termen felmarginal, utan mer troligt spännvidden på gissningarna, framgick inte.

Jag är generellt tveksam till det meningsfulla i att publicera beräkningar av den typ Försäkringskassan gjort här, men ska det ändå ske måste det framgå av rapporter och pressmaterial hur enormt osäkra beräkningarna är. Joel Best kallar siffror av den typ som exemplifierats av Försäkringskassans beräkningar för ”soft facts”. Detta är en term som inbegriper flera olika källor till dålig statistik, inklusive rena gissningar. ”Soft facts” är ofta dålig grund för statistik, men de är utmärkt ammunition för opinionsbildare och politiska aktörer med egna agendor.

Försäkringskassans siffror användes, föga förvånande, av borgerliga debattörer som ville lyfta fram och kritisera socialförsäkringsfusk, bidragskulturer och dåligt fungerande myndigheter. Debattörer från den rödgröna sidan invände att detta var grovt överdrivna problem och jämförde med ”skattefelet”, alltså de uteblivna skatteintäkterna från svartarbete och andra typer av skattefusk. Skattefelet utgjorde enligt Skatteverkets beräkningar över 130 miljarder kronor år 2007.

Att denna siffra också är en mörkertalsberäkning – och att den dessutom vilar på än mer lösa grunder än Försäkringskassans uppskattningar – är en historia som får anstå till en annan artikel.

Björn Johnson, Malmö högskola

10 kommentarer:

Stardust sa...

Journalisten Petter Larsson skrev denna utmärkta kritik redan 2007: http://www.aftonbladet.se/kultur/article1270326.ab

Tomas Agdalen sa...

FUT-delegationens uppgifter är i de delar jag kontrollerat dom rena fantasifostren. Metoden att få fram dom under all kritik. Dessutom gled man på definitionen av fusk.

Ett annat exempel på en märklig fuskdebatt är den om att föräldrar fuskar med vabben. Fk upptaäckte att många faktiskt var på jobbet den dagen man anmält sjukt barn. Det blev självklart ett stort rabalder. När man sedan kontrollerade saken visade det sig dels att vabbare anmält fel dag när de fyllde i blanketten, dels att arbetsgivare uppgett fel dag vid Fk:s kontroll. Nästan ingen fusk kunde till slut påvisas. Nu sitter dagispersonalen med en helt meingslös administration till följd av ingenting.

Eva Berglund sa...

Jätteintressant inlägg. Tack!

pippp sa...

Jaha, varför skulle inte längre sjukskrivningsperioder vara ett problem? Du bara konstaterar att 85% av ökningen beror på detta (och är inte en 15% ökning under en period med högkonjuktur, ökande förväntad medellivslängd, förbättrad sjukvård osv anmärkningsvärt i sig?) och tycker sedan att det inte är ett problem.

Är det inte just långtidssjukskrivningarna de borgerliga kritiserade och menade att de användes för att dölja arbetslöshet. En enstaka sjukvecka här och där påverkar ju inte arbetslöshetstalet.

Känns som ditt inlägg är ett kraftfullt slag - i luften.

Stardust sa...

Jag har väl aldrig påstått att längre sjukskrivningsperioden inte var ett problem? Tvärtom, det var ett stort problem, men orsakerna missförstods. Skärskådar man statistiken finns det inte mycket som tyder på att de längre sjukskrivningstiderna berodde på dold arbetslöshet. Det skriver jag utförligt om i min bok, Kampen om sjukfrånvaron.

Den aktuella artikeln ovan handlar dock inte om detta, utan om problem med Försäkringskassans och FUT-delegationens "beräkningar" om fusk och felaktigheter. Den kritiken har inte fått något godtagbart svar från ansvarigt håll. Säg gärna till om du ser några felaktigheter i det jag skriver, pippp.

pippi sa...

Du påstår ju att det är osant att Sverige genomgick en sjukskrivningsepidemi men om läser siffrorna du hänvisar till har just längden på sjukskrivningarna ökat under de refererade perioden. Om det inte är en sjukskrivningsepidemi undrar jag vad ordet epidemi betyder för dig.

Jag tror du snarare lider av historielöshet. Under slutet av 80-talet var sjukfrånvaron 20% eller mer på vissa företag - och det berodde inte på dålig arbetsmiljö - utan på att det inte fanns någon karensdag och att man fick 100% ersättning. Med hänsyn till de kostnader man har för att arbeta (resor, lunch osv) gick man alltså plus på att vara hemma.

När en karensdag och något reducerad sjukersättning infördes gick denna siffra ner kraftigt (om jag mins rätt med 50-75%). Där kan vi tala om stor korttidsfrånvaro. Ingen som är medveten om denna period tror att sjukskrivningsepidemin i slutet på 90-talet handlade om korttidsfrånvaro. Att du misförstod statistiken betyder inte alla andra gjorde det.

Egentligen är det uppenbart: ska man dölja arbetslöshet gör man det genom långtidssjukskrivning inte genom korttidsfrånvaro och där har du alltså helt fel. Tom (S)-representanter medger numera detta, se tex http://www.fokus.se/2010/11/efter-sahlin/

Och svenskarna hade högst sjuktal i Europa så varför var det fel att kalla oss de mest sjukskrivna folket?

Stardust sa...

En epidemi är ju ett sjukdomsutbrott som sprider sig mellan människor. I det här fallet äkade inflödet av nya sjuka mycket marginellt, som jag redan konstaterat.

Jag lider ingalunda av historielöshet, min bok innnehåller en diskussion av sjukfrånvarons och sjukförsäkringens utveckling över tid, inklusive 1980-talets utveckling. Att den höga sjukfrånvaron då enbart skulle ha berott på för höga ersättningar är rena dumheterna, men jag håller med om att man måste ha en rimlig självrisk. Nästan 100-procentig ersättning i en försäkring är definitivt ingen bra idé.

Din minnesbild av vad som hände när man sänkte ersättningarna och återinförde karensdagen är felaktig. Huvuddelen av den minskning av sjuktalet som skedde - och som ingalunda var "50-75 procent" - berodde på att man införde två veckors sjuklöneperiod. Därmed övergick betalningsansvaret för de första två veckornas sjukfrånvaro på arbetsgivarna (vilket de kompenserades för genom minskade arbetsgivaravgifter).

Idén om att ökningen av sjukfrånvaron 1996-2002 berodde på dold arbetslöhet saknar som jag tidigare nämnde stöd, oavsett vad politiker från båda blocken anser. Inflödet från a-kassan till sjukförsäkringen minskade under hela perioden, vilket jag visar i min bok.

Slutligen, när det gäller svenskarna som "Europas mest sjukskrivna folk", så har jag tagit upp det i en artikel i Sydsvenskan. Du hittar den här: http://www.sydsvenskan.se/opinion/aktuellafragor/article627513/Hog-svensk-sjukfranvaro-en-myt.html (observera att det inte är jag som satt rubriken).

Du försöker ge ett kunnigt intryck, min kära Pippi, men egentligen talar du mot bättre vetande.

pippi sa...

Herregud, forskar du på området och har inte bättre koll än så här:

Sjuklöneperioden infördes under andra halvan av 90-talet, förmodligen är det denna proposition det handlar om http://www.riksdagen.se/webbnav/index.aspx?nid=3322&rm=1996/97&bet=SfU9 men sjukfrånvaron gick ner kraftigt under 90-talskriser 91-92 eller så, delvis pga krisen och delvis pga att man införde karensdagar och begränsade ersättningen.

Din kommentar om etymologin bakom epidemi är bara fånig. Aspergervarning på sådant. Det är ett retoriskt grepp journalister och politiker valde att använda. Dessutom är det medicinskt felaktigt: det kan mycket väl uppstå epidemier som inte sprider sig mellan människor (tex fågelinfluensa) eller befintliga sjukdomar där konvalescensen plötsligt blir mycket längre (tex för att det tidigare var obotligt eller för att befintliga enkla behandlingar slutar fungera - antibiotikaresistens - och man nu måste använda sig av mer tidskrävande vård).

Du har fortfarande inte motiverat varför det inte var dpld arbetslöshet bakom långstidsfrånvaron. Som sagt, även inom (S) medger man numera att det var så. Folk som inte klarade konkurrensen på arbetsmarknaden sjukskrevs ett år i taget istället för att hänvisas till Arbetsförmedlingen. Ingenting som du presenterat hittills motsäger den bilden.

Du kan för övrigt återpublicera ditt inlägg i kommentarerna på ekonomistas, tex i http://ekonomistas.se/2008/11/11/vaga-erkanna-att-folk-fuskar/ eller http://ekonomistas.se/2009/09/24/blir-las-en-valfraga/

Vad gäller artikeln i SDS skriver du ju själv:

Nästan hela ökningen av sjukfrånvaron – antalet sjukdagar fördubblades mellan 1996 och 2002 – berodde på längre sjukskrivningsperioder, inte på att fler lät sjukskriva sig.

Och det är ju precis detta som är "dölja arbetslös genom att sjukskriva dem istället". Vidare skriver du

Den höga sjukfrånvaron var alltså en effekt av att människor fick svårare att ta sig tillbaka till arbetslivet efter en sjukskrivning.

Vad har du för grund för det påstående? Var INNEBÄR påståendet att det var svårare att ta sig tillbaka - kan det bero på att de inte längre var konkurrenskraftiga (= ej anställningsbara = arbetlösa)?

Stardust sa...

Min oförskämde vän, ska du skriva sådant på min blogg får du vänligen presentera sig.

Jag förstår inte vad du menar med att jag har dålig koll. Om du kollar in statistiken över sjuktalet så ser du en mycket kraftig minskning när sjuklöneperioden infördes 1992.

När det gäller de arbetslösa så skriver jag så här i min bok, kapitel 10:

"En grundförutsättning för den debatt om överutnyttjande som fördes var att välfärdssystemen kommunicerade med varandra och att flödena mellan de olika försäkringarna – framför allt flödet från a-kassan till sjukförsäkringen – var mycket stora. 2006 kunde Socialförsäkringsutredningen, med tydlig häpnad, konstatera att flödena i själva verket var relativt små. De kunde inte förklara det negativa sambandet mellan arbetslöshet och sjukskrivning.

Socialförsäkringsutredningen visade alltså att flödena från a-kassan till sjukförsäkringen var betydligt mindre än vad man tidigare hade antagit. Dessutom visade man – och detta var ännu mer intressant – att en minskande andel av de nya sjukskrivna hade kommit från arbetslöshet sedan sjukfrånvaron började öka. Andelen arbetslösa i inflödet till sjukförsäkringen hade konsekvent minskat mellan 1996 och 2005. I själva verket hade till och med antalet arbetslösa i inflödet minskat.

Utredningen tolkades dessa observationer som en effekt av den minskade arbetslösheten, vilket förefaller rimligt. Men hur kan inflödet av arbetslösa till sjukförsäkringen minska, samtidigt som andelen arbetslösa bland de sjukskrivna ökar? Hur ska denna paradox förstås?

Det finns två kompletterande förklaringar. Den första har att göra med de dramatiskt förlängda sjukskrivningsperioderna. Som jag nämnde i det förra kapitlet har Anders Wikman visat att ökningen av sjukfrånvaron 1996–2002 till mer än 80 procent kunde förklaras av längre sjukskrivningstider. Detta var än mer markerat för de arbetslösa sjukskrivna: i denna grupp förklarades mer än 100 procent av ökningen av de längre sjukskrivningstiderna.

Ytterligare belägg finns i den skånska studie som jag nämnde ovan. Enligt denna hade anställda och arbetslösa långtidssjukskrivna i genomsnitt lika långa sjukskrivningsperioder 1990–1993, nämligen 198 dagar. Perioden 2001–2002 var de arbetslösa däremot sjukskrivna i genomsnitt nästan 100 dagar längre: 450 dagar mot 358 dagar. Arbetslösa var alltså sjukskrivna under mycket längre perioder än anställda. Detta skulle i och för sig rent teoretiskt kunna bero på ökat överutnyttjande, men det förefaller inte särskilt sannolikt. Mer troligt är att det var ett resultat dels av att arbetslösa befann sig längre bort från arbetsmarknaden, dels av de prioriteringar som gjordes inom rehabiliteringssystemet. Enligt intervjuer som sociologen Daniel Melén genomfört har de arbetslösa sjukskrivna varit mycket lågt prioriterade av Försäkringskassans handläggare under 2000-talet. Enligt Melén var den ökade överrepresentationen alltså delvis en följd av att de arbetslösa fick betydligt svårare än tidigare att ta sig ur ”sjukskrivningssystemet”.

Även den andra delförklaringen till paradoxen har formulerats av Daniel Melén. I sin doktorsavhandling påpekar han att det tagits för givet i debatten att arbetslöshet är något som inträffar före sjukskrivning. Det är förvisso sant att arbetslöshet ibland leder till sjukdom, men sjukskrivning kan också leda till arbetslöshet. Med utgångspunkt i intervjuer och fältstudier argumenterar Melén för att många sjukskrivna förlorar sina anställningar under sjukskrivningen, vilket i så fall kan bidra till att förklara överrepresentationen, trots ett minskande inflöde från arbetslöshet till sjukskrivning.”

Stardust sa...

Läste just om ditt inlägg och inser att du blandat ihop införandet av sjuklönen (14 dagar) - som skedde 1992 - med förlängningen av sjuklöneperioden (till 28 dagar) som trädde i kraft 1/1 1997 och återställdes ett år senare.

Du borde verkligen läsa min bok.