- Ponderarea datelor atribuie fiecărui respondent o greutate, astfel încât eșantionul să reproducă populația pe caracteristicile cunoscute.
- Ponderile de design compensează probabilitățile inegale de selecție, iar post-stratificarea și raking-ul ajustează eșantionul la structura populației după nonrăspuns.
- Orice ponderare cu ponderi variabile mărește varianța: eșantionul efectiv este mai mic decât numărul de interviuri, iar marja de eroare trebuie recalculată.
- Ponderarea nu transformă un eșantion auto-selectat într-unul reprezentativ; ea corectează bine doar ce este legat de variabilele folosite la ponderare.
- Un raport corect arată baza neponderată, schema de ponderare, intervalul ponderilor și efectul de design.
1. Problema: un eșantion care nu seamănă cu populația
Un sondaj național cu 1.000 de interviuri se încheie, iar tabelul de control arată că femeile sunt 58% din respondenți, deși sunt mai puțin în populația adultă, că tinerii din orașe sunt subreprezentați și că o regiune are de două ori mai multe interviuri decât i-ar reveni. Rezultatele brute descriu acest eșantion, nu populația. Ponderarea datelor este procedura prin care fiecare respondent primește o greutate, astfel încât eșantionul ponderat să reproducă structura populației pe caracteristicile cunoscute.
Ponderarea este o operație tehnică, dar deciziile din spatele ei sunt metodologice și influențează direct cifrele raportate. Un manager sau un finanțator care primește un raport de cercetare cantitativă trebuie să știe dacă datele au fost ponderate, după ce variabile, cu ce efect asupra preciziei și ce nu a putut fi corectat. Acest articol explică trei familii de ponderi, prețul pe care îl plătim pentru ele și limitele lor.
2. Ce este ponderarea datelor și ce poate corecta
Fiecare respondent dintr-un eșantion „reprezintă" un număr de persoane din populație. Într-un eșantion aleatoriu simplu, toți reprezintă același număr, iar media simplă a răspunsurilor estimează media populației: eșantionul se autoponderează. În practică, trei situații rup această egalitate.
- Probabilități inegale de selecție, stabilite prin design. Un grup mic este suprareprezentat intenționat pentru a putea fi analizat separat, sau într-o gospodărie se intervievează o singură persoană, indiferent câți adulți locuiesc acolo.
- Nonrăspunsul. Unele categorii refuză mai des sau sunt mai greu de găsit acasă, iar eșantionul realizat se abate de la cel planificat.
- Acoperirea incompletă a bazei de eșantionare. Lista din care se extrage eșantionul nu conține pe toată lumea: de exemplu, o bază de numere de telefon mobil exclude persoanele fără telefon.
Fiecărei situații îi corespunde un pas de ponderare, iar pașii se aplică în această ordine: întâi ponderile de design, apoi ajustarea pentru nonrăspuns, apoi calibrarea la structura cunoscută a populației.
3. Ponderile de design: probabilități inegale de selecție
Ponderea de design este inversul probabilității de selecție. Dacă o persoană a avut o șansă de 1 la 500 să fie aleasă, ea reprezintă 500 de persoane; dacă a avut o șansă de 1 la 1.000, reprezintă 1.000. Aceste ponderi sunt cunoscute exact din designul eșantionului și nu depind de nicio presupunere.
Două exemple ipotetice arată logica. Primul: un studiu dorește rezultate separate pentru o regiune care reprezintă 10% din populație și îi alocă 20% din interviuri, pentru a avea o bază suficientă. La nivel național, respondenții din regiune primesc o pondere relativă de 10/20 = 0,5, iar cei din restul țării 90/80 = 1,125. Fără această corecție, regiunea ar trage rezultatul național spre propriile valori. Al doilea: în interviurile față în față cu selecția unei singure persoane adulte din gospodărie, un adult care locuiește singur este sigur ales, iar unul dintr-o gospodărie cu trei adulți are o șansă de 1 la 3. Ponderea relativă este 1 pentru primul și 3 pentru al doilea; altfel persoanele care locuiesc singure ar fi suprareprezentate.
Ponderile de design sunt de dorit doar când designul le cere. Un eșantion cu probabilități egale la fiecare element, construit chiar și în mai multe etape, nu are nevoie de ponderi de design, iar aceasta este o calitate, nu o lipsă.
4. Nonrăspunsul și post-stratificarea
După colectare, eșantionul realizat se compară cu structura populației pe variabile cunoscute din surse oficiale: sex, vârstă, regiune, mediu de reședință, uneori nivel de educație. Post-stratificarea împarte eșantionul în celule (de exemplu, femei de 18-29 de ani din mediul urban) și atribuie fiecărei celule o pondere egală cu raportul dintre ponderea ei în populație și ponderea ei în eșantion. O celulă care are 8% din populație și 6% din eșantion primește o pondere de 8/6 = 1,33.
Două condiții decid dacă post-stratificarea este corectă. Prima: criteriile de clasificare trebuie să coincidă între sursa populației și chestionar. Dacă statistica oficială clasifică educația în patru niveluri, iar chestionarul în cinci, sau dacă „mediul urban" este definit diferit, ponderea introduce o eroare în loc să corecteze una. A doua: celulele nu pot fi prea mici. O celulă cu trei respondenți poate primi o pondere de 5 sau 6, iar acești trei oameni ajung să influențeze rezultatul cât 15-18 respondenți obișnuiți. Practica corectă este comasarea celulelor mici înainte de calcul.
5. Raking: când cunoașteți doar distribuțiile marginale
Post-stratificarea cere distribuția comună a variabilelor: câte femei de 18-29 de ani din mediul rural din fiecare regiune există în populație. Adesea această informație nu este disponibilă sau celulele ar fi prea multe pentru mărimea eșantionului. Raking-ul (ajustarea iterativă proporțională) lucrează doar cu distribuțiile marginale: structura pe sex, apoi pe vârstă, apoi pe regiune, apoi pe mediu. Ponderile se ajustează succesiv la fiecare variabilă, iar ciclul se repetă până când toate distribuțiile marginale ale eșantionului coincid cu cele ale populației.
Raking-ul este metoda folosită cel mai des în sondajele naționale de opinie, pentru că permite mai multe variabile de control decât post-stratificarea. Limitele sunt două: nu garantează structura corectă pe combinații de variabile, iar dacă variabilele de control sunt multe și eșantionul mic, unele ponderi devin extreme. De aceea raking-ul se însoțește aproape întotdeauna de plafonarea ponderilor.
6. Prețul ponderării: efectul de design și eșantionul efectiv
Ponderarea reduce distorsiunea, dar crește varianța. Când respondenții au ponderi diferite, unii contează mai mult decât alții, iar informația din eșantion este folosită mai puțin eficient. Pierderea se măsoară prin efectul de design al ponderării, aproximat prin 1 plus pătratul coeficientului de variație al ponderilor. Eșantionul efectiv este numărul de interviuri împărțit la acest efect.
Un exemplu ipotetic: 1.000 de interviuri, ponderi cu un coeficient de variație de 0,5. Efectul de design al ponderării este 1 + 0,25 = 1,25, iar eșantionul efectiv este de 800. Marja de eroare pentru un procent de 50%, la 95% încredere, crește de la aproximativ ±3,1 puncte procentuale la aproximativ ±3,5. Dacă eșantionul este și grupat în localități, efectul de grupare se adaugă peste cel al ponderării, iar eșantionul efectiv scade mai mult.
Plafonarea ponderilor (trimming) limitează ponderile extreme, de exemplu la un multiplu fix al ponderii medii, și reduce varianța cu prețul unei mici distorsiuni. Pragul este o decizie de judecată, care trebuie documentată și testată: rezultatele principale se compară cu și fără plafonare. Dacă diferă mult, problema nu este pragul, ci eșantionul.
| Tip de pondere | Ce corectează | Ce informație cere | Riscul principal |
|---|---|---|---|
| Pondere de design | Probabilități inegale de selecție, stabilite prin design | Probabilitatea de selecție a fiecărui respondent | Pierdere de precizie dacă suprareprezentarea este foarte mare |
| Ajustare pentru nonrăspuns | Diferențe de participare între grupuri | Caracteristici cunoscute și pentru cei care nu au răspuns | Presupune că nonrespondenții seamănă cu respondenții din același grup |
| Post-stratificare | Abateri de structură pe celule | Distribuția comună a variabilelor în populație | Celule mici, ponderi extreme, criterii de clasificare diferite |
| Raking | Abateri pe mai multe distribuții marginale | Distribuțiile marginale ale fiecărei variabile | Nu controlează combinațiile; ponderi extreme fără plafonare |
| Plafonare | Ponderi extreme rezultate din pașii anteriori | Un prag documentat | Distorsiune mică, reintrodusă intenționat |
7. Ce nu poate repara ponderarea
Ponderarea datelor corectează bine doar ce este legat de variabilele de ponderare. Dacă persoanele care refuză interviul diferă de cele care acceptă și în interiorul aceleiași grupe de vârstă, sex și regiune, de exemplu au mai puțină încredere în instituții, nicio pondere demografică nu elimină această diferență. Eșantionul ponderat va avea structura corectă pe vârstă și tot va supraestima încrederea.
A doua limită este mai gravă. Ponderarea unui eșantion probabilist face corecții mici, justificate de teoria eșantionării. Ponderarea unui eșantion auto-selectat, de exemplu respondenții unui link distribuit pe rețelele sociale, face corecții mari, iar dacă ele apropie sau îndepărtează rezultatul de realitate nu mai poate fi demonstrat statistic, ci doar presupus. O structură demografică „corectă" după ponderare nu este o dovadă de reprezentativitate. Același raționament se aplică panelurilor online, discutat în articolul despre sondajul online și paneluri.
A treia limită: ponderarea nu adaugă oameni. Un grup care are doar 15 respondenți în eșantion rămâne cu 15 respondenți, oricât de mare ar fi ponderea lor. Dacă un grup trebuie analizat separat, soluția se află în design, prin suprareprezentare, nu în ponderare. Pentru grupurile foarte greu de atins, articolul despre populații greu accesibile descrie designurile potrivite.
8. Cum se raportează ponderarea datelor
Un raport corect conține o secțiune metodologică cu cinci elemente: variabilele de ponderare și sursa datelor de populație, pașii aplicați și ordinea lor, intervalul ponderilor (minima și maxima) și pragul de plafonare, efectul de design și eșantionul efectiv, marja de eroare calculată pe eșantionul efectiv. În tabele, procentele se prezintă ponderate, iar bazele se prezintă neponderate, pentru că baza neponderată arată câți oameni au răspuns efectiv, deci cât de stabilă este estimarea.
Pentru studiile repetate, schema de ponderare rămâne aceeași de la un val la altul și se actualizează doar când apar date noi de populație, cu efectul schimbării calculat separat. O schimbare a schemei de ponderare între valuri poate produce o „tendință" care nu există în realitate. Ghidul despre cum citești un raport de cercetare arată unde se găsesc aceste informații într-un raport și ce înseamnă absența lor.
În studiile pentru sondaje sociale și politice, ponderarea este aproape întotdeauna necesară. În studiile pe baze de clienți, unde lista este completă și selecția aleatorie, ponderile pot lipsi sau pot fi foarte apropiate de 1. Ambele situații sunt normale; anormală este doar lipsa explicației.
9. Ce ceri agenției
- Schema de ponderare propusă încă din ofertă: ce pași, ce variabile, ce sursă pentru datele de populație.
- Confirmarea că variabilele de ponderare sunt măsurate în chestionar exact cu aceleași categorii ca în sursa oficială.
- Regula pentru celulele mici și pragul de plafonare a ponderilor.
- Efectul de design total și eșantionul efectiv, cu marja de eroare recalculată.
- Bazele neponderate în fiecare tabel și semnalarea grupurilor cu mai puțin de 50-100 de respondenți.
- Compararea rezultatelor principale ponderate și neponderate, cu explicarea diferențelor mari.
- Variabila de pondere livrată în baza de date, cu documentația ei, pentru analize ulterioare.
- Aceeași schemă de ponderare în toate valurile unui studiu repetat.
Ponderarea datelor nu este o tehnică de cosmetizare a rezultatelor și nici o garanție de reprezentativitate. Este o corecție cu un preț cunoscut, care funcționează bine pe un eșantion bine construit și ascunde problemele pe unul prost construit. Discutați-o cu agenția înainte de teren, nu după, iar dacă aveți nevoie de un design de eșantion care să reducă de la început nevoia de corecții mari, echipa noastră de cercetare cantitativă vă poate ajuta.
Vezi și: Cercetare cantitativă Analiză de date și desk research Sondaje sociale și politice Sondajul de opinie publică Cum citești un raport de cercetare Populații greu accesibile
Aveți o decizie de luat?
Spuneți-ne problema, nu metoda. Propunem designul de cercetare potrivit și vă explicăm ce poate și ce nu poate livra.