Loggboken

Väljarundersökningar del 2: Är 6 000 deltagare fyra gånger bättre än 1 500?

2010-06-13

Har under fliken ”Kommentarer” fått en mycket bra fråga ("Student Sara"), nämligen hur det kommer sig att till exempel 9 000, eller ca 6 000 som det nu blev i SCB-undersökningen, utfrågade personer inte ger särskilt mycket mer statistisk kraft jämfört med om vi frågar säg 1 500 individer. Vid ett första påseende verkar det förvisso märkligt, man skulle ju tro 6 000 utfrågade borde vara 4 gånger bättre än att bara ha frågat 1 500.

 

 

Population och sampel

För att reda ut detta måste vi ta utgångspunkt från begreppen ”population” och ”sampel”. I en valundersökning är populationen alla röstberättigade svenskar. Det säger sig självt att det är omöjligt att fråga alla dessa om hur de kan tänkas rösta på valdagen. Det skulle inte vara ekonomiskt möjligt. För att ändå få en uppfattning om partisympatierna så får vi ge oss på att fråga en mindre grupp människor, det vill säga göra ett urval ur populationen. Ett sådant urval kallas för sampel.

 

Vår önskan blir då naturligtvis att samplet skall vara så representativt som möjligt, eller uttryckt på ett annat sätt, det skall påminna om populationen så mycket som möjligt. Det finns lite olika tekniker för att försöka uppnå detta tillstånd: (a) man tar ut slumpmässigt en relativt stor grupp människor till exempel från röstlängden, (b) man använder sig av klustermodeller där man först bestämmer med utgångspunkt från regionala fördelningar, kön, ålder, utbildningsnivå, yrkestillhörighet antal personer och sedan slumpar man ut folk för att fylla dessa kategorier, (c) man kan med utgångspunkt från rådata justera vissa resultat. Denna senare del kan ju vara mycket problematisk om man har fel eller föråldrade modeller vid justering. Opinionsinstituten använder oftast en kombination av dessa metoder.

 

Men hur noga jag än är med urvalsprocessen så kan jag naturligtvis inte vara säker på att just mitt sampel liknar populationen på bästa möjliga sätt. Om vi tänker oss att vi slumpar fram efter samma metod flera sampel ur populationen, säg 100 olika sampel, så kommer vi finna att några av dessa sampel drar mycket åt ett håll och andra drar mycket åt ett helt annat håll, ytterligare andra drar lite mindre åt det ena eller andra hållet, och sedan slutligen finns en större grupp av samplen som återfinns i en slags mitt. Det finns då en stor chans att medelvärdet på alla samplens valprognoser i stort sammanfaller med de sympatier som finns i populationen.

 

 

Standardfelet (SE)

Men hur vet jag då var mitt sampel har hamnat? Är det ett sampel som slumpmässigt hamnat i utkanten av alla de 100 samplens resultat eller ligger det inne i mitten och är därmed sannolikt hyfsat representativ i förhållande till populationen? Ja det kan jag ju inte riktigt veta och dessutom förekommer det ju aldrig så många som 100 valundersökningar. Om det var möjligt att undersöka resultaten från 100 sampel då skulle jag också kunna få reda på hur mycket som mitt sampel skulle skilja sig från medelvärdet taget från samtliga sampel. Den skillnaden kallas för ”the standard error of the mean (SE)”. Ju högre standardfel desto längre bort är jag från genomsnittsvärdet för alla de 100 samplen och därmed också sannolikt från populationens faktiska uppfattningar.

 

Som sagt, det finns inte så många sampel jag kan jämföra med, hur skall jag då veta kvaliteten på just mitt sampel?

 

 

Att beräkna SE på ett enda sampel

Lyckligtvis har smarta matematiker tagit fram en lika enkel som vacker formel, som sedan statistiker har kunnat visa stämmer med verkligheten på ett förvånansvärt bra sätt. Formeln kan beräkna standardfelet på ett enda sampel och ger därmed ett mått på hur samplet skulle kunna tänkas hamna bland massa andra tänkta men inte existerande sampel. Indirekt blir det också ett sannolikhetsmått på hur nära man kan tänkas ligga i förhållande till populationen.

 

Formeln säger att SE är lika med samplets standardavvikelse genom kvadratroten av samplets storlek.

 

Innan vi kör igång med några uträkningar måste jag förklara vad samplets standardavvikelse är för något. Standardavvikelsen är summan av alla kvadrerade avstånd till samplets medelvärde som man sedan tar kvadratroten ur. Vi kanske just nu inte behöver fördjupa oss mer i detta.

 

Så låt oss anta att vi har ett sampel på 100 individer som uttalat sig om något mätbart och att där finns en standardavvikelse på 30 (allt detta är bara siffror som jag valt för enkelhetens skull – det är principen som jag här vill visa). Kvadratroten ur 100 är 10. Dividerar vi 30 med 10 får vi i detta räkneexempel ett SE på 3.

 

Om vi har samma förutsättningar men ökar samplets storlek till 500 minskar standardfelet till 1,34. Det är väsentligt förbättring och vi kan hävda att 500 deltagare är klart bättre än 100.

 

Har vi istället 1000 personer blir SE = 0,95 och vid 1 500 deltagare blir SE = 0,77. Lägg märke till att differensen i avseende på standardfelet hela tiden minskar för varje steg. Det är en anledning till att många opinionsinstitut anser att cirka 1 500 deltagare räcker gott för att pressa ner standardfelet. Vinsterna blir inte så stora om jag fortsätter att öka på mer.

 

Detta kan visas tydligt genom några jämförelser. Från 100 deltagare till 1 500 deltagare sjunker SE med 2,23 enheter i vårt exempel. Om vi beräknar standardfelet för 6 000 deltagare (dvs. ungefär där SCB hamnade) så får vi enligt formeln siffran 0,39. Det innebär att från 100 deltagare till 6 000 deltagare sjunker SE med 2,61 enheter.

 

 

Slutsats

Det innebär således att den förbättring som man får inte är så dramatiskt stor. En sampelstorlek på 1 500 fungerar mycket bra i jämförelse med en sampelstorlek på 6 000 deltagare för att dra generella slutsatser om populationen. Statistiskt sett föreligger i stort samma prognosvärde. Den stora fördelen som dock SCB har genom själva storleken, är att man kan bryta ner det hela i smågrupper och göra analyser över hur det ser ut i olika grupper av befolkningen. Men det är inte det jag har diskuterat.

 

Så vad gäller förmåga att prognostisera valet i landet som helhet kan och bör SCB jämställas med de andra opinionsinstituten. Ett resultat som prediceras av flera opinionsinstitut med cirka 1 000 till 1 500 deltagare har väsentligt större statistisk trovärdighet än ett enda resultat från cirka 6 000 deltagare. Detta har uppenbarligen många journalister inte förstått, med visa undantag såsom Tv 4:s Nyheter och SvD. Fortfarande verkar kvällstidningarna inte riktigt vara med på spåret. Det är bekymmersamt eftersom det är angeläget att massmedier ger allmänheten så sakliga rapporter som möjligt.

 

Men å andra sidan – det kanske inta har så stor betydelse ändå. Det är väl mest siffernörden i mig som blir upprörd. Folk i allmänhet tycks ta alla opinionsundersökningar med en stor nypa salt. Bäst så!

 

Wisdom of the Crowd skulle professor Lennart Sjöberg, min kollega i Stockholm säga.