Lögn, förbannad lögn och journalistik

Efter förra veckans avhyvling av hur många använder nationalekonomi blir jag inspirerad att skriva om ett annat ämne som det egentligen inte är något fel på, utom att många som inte har någon koll tror att de behärskar det: statistik.

Jag är ekonom. Jag pluggade på Sveriges kanske mest positivistiskt ladga högskola. Självklart gillar jag statistik. Det är roligt och det är användbart. Det hjälper oss att ifrågasätta våra förutfattade meningar på ett sätt som djupintervjuer aldrig kan göra (även om jag gillar dem också, fast på andra sätt). Jag är nog den enda kreatören i världshistorien som på allvar gillade att göra inskicken till 100Wattaren.

Därför blir jag så himla sur när statistik missbrukas, vilket är alltid och jämt. Framför allt av journalister, vars yrke är att granska. Att man då kan använda sig av källor som man inte är kompetent att bedöma tycker jag är lite läskigt.

För några veckor sedan stormade det ordentligt kring vissa mediers rapportering om en undersökning av sajten Familjeliv, som visade att hälften av alla mammor vill vara hemmafruar. Såhär kunde det till exempel låta då, hos en så vettig nyhetskanal som Rapport. Nu blev det ju i och för sig ett himla debacle kring den här grejen, vilket är bra. Oftast är det ingen som reagerar, och det kan bli så himla fel. For inget låter så myndigt och bra som procentsatser. Det skulle vara utbud och efterfrågan, då.

Inser att det här nog har en väldigt liten målgrupp, men skit samma. Här kommer några förslag på vad man ska man titta efter när man läser en tidningsartikel som använder statistik som källa.

1. Urval. För att siffrorna ska gälla för människor i allmänhet måste de bygga på svar från slumpmässigt utvalda människor, och de får inte ha valt sig sjalva. Att någon själv har valt att svara på en webbenkät innebär att den här principen sätts ur spel på båda de punkterna. Då säger svaren något om dem som har svarat på enkäten, men inte ett skvatt om folk i allmänhet. Till exempel kan man tänka sig att folk som hänger på Familjeliv och väljer att svara på en enkät om hemmafruar är mer intresserade av just det, än folk i allmänhet.

2. Bortfall. Bortfall är de människor man ville skulle svara men som inte gjorde det. Om bortfallet är stort blir det samma problem som om man har valt sig själv.

3. Procent och procentenhet. Ett vanligt sätt att förstärka eller förminska statistiska resultat är att blanda ihop procent och procentenheter. Om antalet personer som har svarat ja på en fråga har ökat från 1 till 2 procent, har det ökat med 100 procent men 1 procentenhet. Vilket resultat man väljer påverkar ju verkligen hur vi uppfattar ökningen.

4. Frågans formulering. För att man ska kunna dra bra slutsatser ska frågan och svaret handla om en enda sak. Det här är nog del vanligaste problemet av alla. Klassiker är att lägga till en mening på svarsalternativet, som i kvällstidningarnas läsarundersökningar. Typ: Tycker du om ost? 1. Ja, framför allt hushållsost x. Nej, det är för fransmän 2. Har aldrig provat. Om jag då tycker om ost, men framför allt Grevé, finns inget alternativ för mig. Det gör resultatet mycket svajigt om man använder det för att berätta hur många procent av de svarande som faktiskt gillar ost.

5. Gradering av svar. Oftast ar enkätsvar graderade på en fem- eller sjugradig skala, från “instämmer inte alls” till “instämmer helt”. När resultaten presenteras är det dock vanligt att man slår ihop flera alternativ till ett för att få mer schvung i pressreleasen. Då kan plotsligt alla som svarat något annat än “instämmer inte alls” benämnas som positiva till ett förslag, vilket de kanske inte alls är.

6. Statistisk signifikans. “Undersökningen visar att rosa hattar har ökat i popularitet under hösten, men resultatet är inte statistiskt signifikant”. En mycket vanlig formulering i tidningsartiklar, som i princip betyder att man inte kan säga något alls om vad undersökningen betyder för någon annan än dem som deltagit, precis som i problem 1 och 2. Hela poängen med statistik är att det ska gå att dra större slutsatser av den, vilket signifikansen säger att vi kan. Är resultatet inte signifikant är det inte särskilt intressant och förtjänar knappast en tidningsartikel. Däremot kan det kanske ligga till grund för en annan undersökning.

Det har var sex av de kanske 100 invändingar man kan ha mot en vanlig statistikbaserad aritkel som man hittar i tidningen. Slutsatsen? Var skeptisk. Var jäkligt skeptisk. Och journalister: läs statistik på universitetet. Så himla värt.

Med det tar vi fredag. Ha en strålande helg!