Pretestarea chestionarului: interviul cognitiv, ancheta pilot și ce descoperă fiecare

1. Problema: întrebări clare pentru autori, ambigue pentru respondenți

Un studiu despre serviciile medicale întreabă: „În ultimele 12 luni, ați apelat la medicul de familie?" Echipa care a scris întrebarea se gândea la vizite. O parte dintre respondenți includ un telefon pentru o rețetă, alții nu; unii numără și vizita copilului, alții doar pe ale lor; câțiva vârstnici numără orice contact cu policlinica. Procentul final arată precis, are marjă de eroare și intră în raport. Nu măsoară însă un lucru unic. Pretestarea chestionarului este etapa care descoperă astfel de probleme înainte ca ele să fie multiplicate în 1.000 de interviuri.

Pretestarea nu este un lux al proiectelor mari. Cercetătorii experimentați spun același lucru de decenii: niciun chestionar nu ar trebui folosit pe teren fără testare adecvată, iar chiar și cel mai bine scris instrument se îmbunătățește după testare. Regulile de redactare, descrise în articolul despre construirea chestionarului, reduc erorile, dar nu le elimină, pentru că autorul nu poate citi propriile întrebări cu ochii unui respondent.

2. Ce se poate rupe între întrebare și răspuns

Pentru a răspunde la o întrebare, respondentul parcurge patru pași, de obicei în câteva secunde. Fiecare pas poate eșua independent, iar pretestarea caută eșecuri la fiecare dintre ei.

• Înțelegerea. Ce înseamnă întrebarea și fiecare cuvânt din ea? „Venitul gospodăriei" include pensia bunicii care locuiește cu familia? Remiterile de la rudele din străinătate?
• Reamintirea. Are respondentul informația și și-o poate aminti pentru perioada cerută? Numărul de cumpărături de pâine din ultimul an nu poate fi reamintit, ci doar estimat.
• Judecata. Cum combină respondentul ce își amintește într-un răspuns: numără, estimează, compară cu alții, își ajustează răspunsul după ce consideră acceptabil?
• Raportarea. Se potrivește răspunsul lui cu variantele oferite? Dacă scala nu are varianta potrivită, respondentul alege ceva apropiat, iar informația se pierde.

Un chestionar scris corect din punct de vedere formal poate eșua la oricare dintre acești pași. De aceea pretestarea chestionarului nu se face citind chestionarul, ci observând oameni care îl completează. Problemele de înțelegere sunt cele mai periculoase, pentru că respondentul nu știe că a înțeles altceva: răspunde sigur pe el, iar răspunsul arată perfect valid în baza de date.

3. Pretestarea chestionarului: metodele, de la birou la teren

Pretestarea nu este o singură activitate, ci o succesiune de metode, fiecare bună la altceva. Ordinea lor are o logică: întâi se elimină erorile vizibile la birou, apoi se investighează înțelegerea pe respondenți reali, iar la final se verifică funcționarea în condiții de teren. Sărirea unei etape mută problemele ei în etapa următoare, unde sunt mai greu de diagnosticat.

Revizuirea de către experți

Cercetători care nu au scris chestionarul îl citesc întrebare cu întrebare, cu o listă de verificare: întrebări duble, presupuneri implicite, scale dezechilibrate, salturi logice greșite, durată. Este rapidă și ieftină, dar descoperă doar problemele pe care un expert le poate anticipa, nu pe cele pe care le produc respondenții reali.

Interviul cognitiv

Interviul cognitiv este o discuție individuală, de 45-90 de minute, în care un cercetător instruit aplică chestionarul unui respondent și investighează felul în care acesta ajunge la fiecare răspuns. Se folosesc două tehnici, de regulă combinate:

• Gândirea cu voce tare: respondentul este rugat să spună tot ce îi trece prin minte în timp ce răspunde. Cercetătorul notează ezitările, interpretările și calculele.
• Sondarea verbală: după răspuns, cercetătorul pune întrebări suplimentare. „Ce înțelegeți prin «medic de familie» aici?", „Cum ați ajuns la cifra de 4?", „Puteți spune întrebarea cu propriile cuvinte?", „Cât de sigur sunteți de răspuns?"

Interviul cognitiv este o metodă calitativă: nu caută frecvențe, ci tipuri de probleme. Dacă doi-trei respondenți din opt înțeleg un termen diferit, problema este reală și întrebarea se rescrie. Se lucrează în runde mici, cu corectare între runde. Pregătirea cercetătorului contează la fel ca în interviul în profunzime: sondarea trebuie să fie neutră, fără a sugera interpretarea „corectă".

Ancheta pilot

Ancheta pilot aplică chestionarul aproape final pe un eșantion mic, în condițiile reale ale studiului: aceeași metodă de colectare, aceiași operatori sau operatori similari, același program pe tabletă sau la telefon. Nu mai investighează procesul mental, ci funcționarea: durata reală, salturile logice, întrebările la care mulți refuză sau răspund „nu știu", oboseala de la final, reacțiile la introducere. La finalul interviului, respondenții pot fi informați că a fost un test și întrebați ce li s-a părut neclar sau dificil.

Debriefingul operatorilor

După pilot, operatorii sunt adunați pentru o discuție structurată: unde au trebuit să repete sau să explice întrebări, unde au observat disconfort, ce instrucțiuni au lipsit. Operatorii experimentați percep ușor confuzia și rezistența; cei noi scot la iveală problemele de instruire și de formulare a instrucțiunilor.

4. Pe cine și pe câți testezi

Regula de bază la pretestarea chestionarului: respondenții din test trebuie să provină din aceeași populație ca respondenții studiului, cu aceleași caracteristici relevante, adică familiaritate cu subiectul, nivel de educație, vârstă, limbă, mediu urban sau rural. Testarea unui chestionar destinat populației rurale vârstnice pe colegi de birou din capitală nu testează nimic.

Mărimile sunt mici, dar bine alese. Pentru interviurile cognitive se lucrează de obicei în runde de câteva interviuri, cu diversitate deliberată de profiluri în fiecare rundă, și se continuă până când rundele nu mai produc probleme noi. Pentru ancheta pilot inițială, între 15 și 30 de respondenți sunt de regulă suficienți, mai mulți dacă populația este eterogenă sau dacă pilotul se repetă în mai multe etape. Un studiu cu subgrupuri foarte diferite, de exemplu tineri din orașe și vârstnici din sate, are nevoie ca fiecare subgrup să fie prezent în test.

5. Pretestarea în mai multe limbi

În Republica Moldova, majoritatea studiilor naționale se aplică în română și rusă, iar unele și în alte limbi ale minorităților. Fiecare versiune lingvistică este, de fapt, un instrument separat și se testează separat. Problemele tipice sunt termeni care au conotații diferite în cele două limbi, scale ale căror etichete nu au aceeași intensitate („destul de mulțumit" nu este neapărat echivalentul exact al traducerii sale) și instrucțiuni care devin mai lungi sau mai stângace după traducere.

Practica bună include interviuri cognitive în fiecare limbă, conduse de cercetători nativi, și compararea interpretărilor între versiuni. Dacă respondenții vorbitori de rusă înțeleg o întrebare altfel decât cei vorbitori de română, diferențele din rezultate vor reflecta traducerea, nu realitatea. O echipă multilingvă care lucrează la ambele versiuni de la început reduce aceste riscuri înainte de pretestare.

6. De la constatări la corecturi

Pretestarea chestionarului trebuie să producă o listă documentată, nu doar impresia că testul a mers bine. Constatările se adună într-un tabel întrebare cu întrebare: ce problemă a apărut, la câți respondenți, la ce pas al procesului de răspuns, ce modificare se propune. Unele corecturi sunt mărunte: un cuvânt înlocuit, o perioadă de referință precizată, o variantă de răspuns adăugată. Altele sunt structurale: o întrebare împărțită în două, o secțiune mutată, un filtru nou, o scală schimbată.

După fiecare revizie importantă se face un nou test, pe alți respondenți. Un singur test este minimul absolut; testarea bine făcută are mai multe etape și continuă până când nu mai sunt necesare modificări. Pentru studiile pe tabletă sau la telefon, fiecare versiune corectată a programului se verifică din nou pe toate traseele posibile, inclusiv cu date de test generate automat, pentru a confirma că salturile și validările funcționează. Detalii despre aceste metode găsiți în pagina CAPI și CATI.

În sfârșit, răspunsurile din pilot se codifică și se analizează ca și cum ar fi date reale. Dacă un răspuns nu poate fi legat de niciunul dintre tabelele de analiză planificate, întrebarea este probabil inutilă; dacă un tabel planificat rămâne gol, lipsește o întrebare. Este ultima ocazie de a verifica, ieftin, că instrumentul produce exact informația de care are nevoie decizia.

7. Limite și greșeli frecvente

• Pretestul pe colegi. Oamenii care cunosc proiectul și terminologia lui nu pot detecta neclaritățile.
• Pilotul fără observație. Un pilot online fără întrebări de debriefing arată durata și abandonul, dar nu și cauzele.
• Prea puțin timp în calendar. Pretestarea programată cu o zi înainte de teren nu mai permite nicio corectură serioasă.
• Corecturi netestate. O întrebare rescrisă după pilot este o întrebare nouă, iar întrebările noi trebuie testate.
• Supraîncrederea în pretest. Un pretest bun reduce erorile de măsurare, dar nu garantează validitatea întrebărilor despre comportamente sensibile sau rare și nu înlocuiește un eșantion bine construit.

8. Metodele de pretestare comparate

9. Ce întrebi agenția despre pretestare

• Ce metode de pretestare sunt incluse în ofertă și în ce ordine?
• Câte interviuri cognitive și câte interviuri pilot sunt prevăzute, și cu ce profiluri de respondenți?
• Sunt testate separat versiunile în română și rusă, de cercetători nativi?
• Pilotul folosește aceeași metodă de colectare și același program ca studiul?
• Ce timp este lăsat în calendar între pilot și începutul terenului pentru corecturi?
• Primiți un raport de pretestare cu problemele găsite și modificările făcute?
• Sunt testate din nou întrebările modificate substanțial?
• Datele din pilot sunt verificate față de tabelele de analiză planificate?

Pretestarea chestionarului costă puțin în raport cu întregul studiu și este singura etapă în care erorile de măsurare se pot repara ieftin. Interviul cognitiv arată ce înțeleg oamenii, ancheta pilot arată ce se întâmplă pe teren, iar împreună transformă un chestionar plauzibil într-un instrument de încredere. Dacă pregătiți un sondaj și doriți ca instrumentul să fie testat înainte de lansare, echipa noastră de cercetare cantitativă poate organiza întregul proces, iar diferențele dintre metodele de colectare sunt explicate în articolul despre interviul față în față.

Vezi și: Cercetare cantitativă CAPI și CATI Echipa multilingvă Cum construiești un chestionar Interviul față în față (CAPI) Interviul în profunzime

Echipa Perspicuus · 17 decembrie 2025