- Un raport de cercetare se citește de la metodologie, nu de la concluzii: populația, eșantionul, metoda, perioada și ponderarea decid cât valorează restul.
- Marja de eroare se aplică totalului; subgrupurile au marje mai mari, iar diferențele dintre două cifre au o marjă mai mare decât fiecare cifră în parte.
- O diferență există doar dacă este semnificativă statistic; raportul trebuie să o marcheze, iar dacă nu o face, cititorul o verifică.
- Corelația nu este cauzalitate, intenția nu este comportament, „nu știu" este un rezultat, iar procentele se citesc întotdeauna cu baza lor.
- Lectura se încheie cu întoarcerea la decizie: ce opțiune susțin datele, cu ce grad de încredere, și ce rămâne necunoscut.
1. Ordinea de citire: metodologia înainte de concluzii
Majoritatea cititorilor deschid un raport de cercetare la rezumatul executiv, citesc concluziile, răsfoiesc graficele și închid. Este ordinea care produce cele mai multe erori, pentru că acordă încredere cifrelor înainte de a ști cât merită. Ordinea corectă este inversă: întâi capitolul de metodologie, apoi tabelele principale, apoi interpretarea autorilor, și abia la sfârșit rezumatul executiv, citit ca verificare: spune ce spun datele?
Capitolul de metodologie răspunde la șapte întrebări, iar dacă una lipsește, cifrele din raport au o valoare necunoscută până când răspunsul este obținut de la agenție:
- Populația: cine a fost studiat, definit precis, și cine a fost exclus.
- Eșantionul: câți, cum au fost selectați, probabilistic sau nu, din ce bază.
- Metoda: față în față, telefon, online, cu ce consecințe asupra acoperirii.
- Perioada: când s-au colectat datele, și ce s-a întâmplat în acea perioadă.
- Rata de răspuns și structura eșantionului realizat față de populație.
- Ponderarea: pe ce variabile, cu ce surse, în ce interval se situează ponderile.
- Instrumentul: chestionarul integral, în anexă, cu formularea exactă a fiecărei întrebări.
Un raport fără chestionar în anexă nu poate fi citit corect: o cifră de 60% „susținere" înseamnă lucruri diferite în funcție de cum a fost formulată întrebarea, iar fără formulare cititorul nu are cum să știe.
2. Marja de eroare: ce acoperă și ce nu
Marja de eroare din raport, de regulă ±3% pentru un eșantion de 1.000-1.100, descrie precizia estimărilor pe întregul eșantion, la un nivel de încredere de 95%, și doar pentru eroarea de eșantionare. Trei consecințe pe care raportul rareori le explică:
- Subgrupurile au marje mai mari. Un subgrup de 200 de respondenți are o marjă de aproximativ ±7%; unul de 100, de ±10%. Cifra de 42% pentru „tinerii din mediul rural" pe 80 de respondenți se află, de fapt, undeva între 31% și 53%.
- Diferențele au marje mai mari decât cifrele. Dacă 48% dintre femei și 44% dintre bărbați susțin ceva, cu marje de ±4% fiecare, diferența de 4 puncte nu este semnificativă: intervalele se suprapun.
- Marja nu acoperă celelalte erori. Acoperirea incompletă a populației, nonrăspunsul, formularea întrebărilor și dezirabilitatea socială nu sunt în ea, și pot fi mai mari decât ea.
Regula practică: fiecare cifră din raport se citește ca interval, nu ca punct, iar lățimea intervalului depinde de numărul de respondenți pe care se bazează. Pagina de întrebări frecvente explică calculul.
3. Baza procentelor: 60% din cine?
Fiecare procent are o bază: numărul și definiția respondenților din care a fost calculat. „60% ar recomanda produsul" poate însemna 60% din toți respondenții, 60% dintre cei care cunosc produsul, 60% dintre cei care l-au încercat, sau 60% dintre cei care au răspuns la întrebare, iar cele patru cifre descriu populații diferite și pot diferi enorm. Un tabel corect indică baza sub fiecare coloană, în număr absolut. Când baza scade sub 50 de respondenți, cifra se raportează doar ca indicație, iar când scade sub 30, nu se raportează deloc ca procent. Un raport care prezintă procente pe baze de 15 respondenți prezintă anecdote cu zecimale.
4. Diferențe și evoluții: semnificativ sau zgomot
Un raport bun marchează diferențele semnificative statistic, între subgrupuri sau între valuri, cu un simbol sau o notă. Dacă nu o face, cititorul aplică o regulă aproximativă: pe eșantioane de 500 per grup, o diferență sub 6 puncte procentuale este de regulă nesemnificativă; pe 200 per grup, sub 10 puncte; pe 100, sub 14. Evoluțiile între valuri se citesc la fel: o „creștere" de 3 puncte pe un eșantion de 600 este, cel mai probabil, zgomot, iar un raport care o titrează ca tendință a interpretat hazardul.
5. Zece erori de interpretare
| Eroarea | Cum arată | Corecția |
|---|---|---|
| Corelația luată drept cauză | „Clienții care folosesc aplicația sunt mai loiali, deci aplicația crește loialitatea" | Clienții loiali instalează aplicația; direcția nu se știe fără experiment |
| Intenția luată drept comportament | „45% ar cumpăra, deci piața este de 45%" | Intenția declarată se ajustează cu factori de conversie; cumpărarea reală este de câteva ori mai mică |
| Media care ascunde distribuția | „Satisfacția medie este 7,2" | O medie de 7,2 poate fi toți la 7 sau jumătate la 10 și jumătate la 4; se citește distribuția |
| „Nu știu" eliminat | Procentele recalculate doar pe cei cu opinie | „Nu știu" la 30% este un rezultat; eliminarea lui umflă toate celelalte cifre |
| Subgrupul mic cu concluzie mare | „Printre antreprenorii din nord, 70% susțin" | Pe 40 de respondenți, cifra este între 55% și 85%; nu susține nicio concluzie |
| Comparația între metode | Valul online față de valul față în față | Diferența măsoară metoda; nu se compară fără test paralel |
| Întrebarea uitată | Cifra citată fără formularea ei | Se citește chestionarul; formularea schimbă cifra cu zeci de puncte |
| Selecția confirmatoare | Se rețin graficele care susțin opinia inițială | Se citesc întâi tabelele care o contrazic |
| Topul fără bază | „Cel mai important factor este prețul" | Importanța declarată diferă de cea derivată statistic; se verifică analiza driverilor |
| Generalizarea dincolo de populație | Sondaj pe clienți prezentat ca „piața" | Rezultatele descriu populația studiată, nu alta |
6. Citirea unui raport calitativ
Rapoartele de focus grupuri și interviuri se citesc cu alte reguli. Nu conțin procente, iar dacă le conțin, este un semn de alarmă. Concluziile se evaluează după tipare: în câte grupuri sau interviuri apare o temă, la ce categorii, cu ce intensitate. Citatele ilustrează tiparul; nu îl demonstrează. Un raport calitativ bun distinge explicit între ce a apărut consistent și ce a fost spus o singură dată, și formulează rezultatele ca ipoteze de verificat, nu ca fapte stabilite. Cititorul verifică dacă numărul de grupuri și selecția participanților permit tiparele revendicate: trei grupuri omogene permit comparații; un grup nu permite nimic.
7. Graficele: ce ascund axele
Graficele sunt partea raportului cu cea mai mare putere de convingere și cea mai mare putere de distorsiune. Verificări rapide: axa verticală începe de la zero, altfel o diferență de 3 puncte arată ca o prăpastie; scalele sunt aceleași pe graficele comparate; baza și numărul de respondenți sunt indicate; ordinea categoriilor este neutră, nu aleasă pentru efect; și tipul de grafic se potrivește cu datele, procentele dintr-o singură întrebare într-un grafic circular, evoluțiile în linii, comparațiile în bare. Un grafic citit fără tabelul lui este o impresie; tabelul este rezultatul.
8. Întoarcerea la decizie
Lectura unui raport de cercetare se încheie cu trei întrebări, scrise, în această ordine. Ce opțiune susțin datele, dintre cele formulate la începutul studiului, și cu ce grad de încredere: diferență semnificativă, clară, pe eșantion suficient, sau indicație fragilă? Ce rămâne necunoscut, fie pentru că studiul nu a măsurat, fie pentru că a măsurat imprecis, și dacă necunoscutul contează pentru decizie? Și ce ar schimba concluzia: ce ipoteză, dacă s-ar dovedi falsă, ar inversa recomandarea, și cât de sigură este ea? Un raport citit astfel produce o decizie și o listă scurtă de riscuri. Unul citit de la rezumat produce o confirmare.
Dacă decizia nu a fost formulată înainte de studiu, lectura este mai grea, pentru că nu există întrebarea la care raportul să răspundă. Ghidurile Ce tip de cercetare îți rezolvă problema și Cum scrii un brief de cercetare arată cum se previne această situație, iar serviciul de suport decizional transformă raportul în materiale pentru decizie atunci când echipa nu are timp să îl parcurgă integral.
9. Lista de verificare a unui raport
- Metodologia completă: populație, eșantion, metodă, perioadă, rată de răspuns, ponderare, chestionar în anexă.
- Baza indicată sub fiecare tabel și grafic, în număr absolut.
- Marja de eroare pe subgrupuri, nu doar pe total.
- Diferențele semnificative marcate explicit.
- „Nu știu" raportat, nu eliminat.
- Formularea exactă a fiecărei întrebări citate în concluzii.
- Graficele cu axe de la zero și scale comparabile.
- Distincția între constatări, interpretări și recomandări.
- Secțiunea de limite ale studiului, scrisă de autori.
- Răspunsul explicit la întrebarea de cercetare din brief.
Un raport de cercetare bun este construit pentru a fi verificat, nu doar citit. Cititorul care verifică metodologia, bazele și semnificația înainte de a crede concluziile ia decizii mai bune din același raport decât cel care începe de la rezumat, și, în timp, primește rapoarte mai bune, pentru că agențiile scriu pentru cititorii pe care îi au.
Vezi și: Suport decizional Cercetare cantitativă Ce tip de cercetare îți rezolvă problema Cum scrii un brief de cercetare Studiul de notorietate și imagine de brand Întrebări frecvente
Aveți o decizie de luat?
Spuneți-ne problema, nu metoda. Propunem designul de cercetare potrivit și vă explicăm ce poate și ce nu poate livra.