Baseline, endline și evaluarea impactului: ce cer finanțatorii

1. Problema: dovada care trebuia pregătită la început

Cea mai frecventă situație din evaluarea programelor este aceasta: programul se apropie de sfârșit, finanțatorul cere dovezi de impact, iar organizația descoperă că nu are cu ce compara. Beneficiarii au fost instruiți, serviciile au fost livrate, materialele distribuite, dar nimeni nu a măsurat, înainte, cât știau, ce credeau și ce făceau oamenii. Evaluarea finală devine atunci o descriere a stării de la sfârșit, cu întrebarea „cum era înainte?" pusă retrospectiv, la care memoria răspunde prost și în favoarea programului.

Studiul baseline este măsurătoarea de referință făcută înainte ca programul să înceapă să acționeze. Studiul endline este aceeași măsurătoare, repetată la sfârșit. Diferența dintre ele este schimbarea. Atribuirea schimbării programului, adică impactul, cere ceva în plus: o estimare a ce s-ar fi întâmplat fără program. Toate trei se proiectează la începutul programului, nu la sfârșit, iar aceasta este singura regulă care nu are excepții.

2. Rezultat, efect, impact: trei cuvinte, trei dovezi

Confuzia dintre al doilea și al treilea rând este sursa celor mai multe rapoarte de evaluare slabe. Dacă vaccinarea a crescut cu 15 puncte în raioanele programului, dar a crescut cu 12 puncte și în raioanele fără program, pentru că între timp a avut loc o campanie națională, impactul programului este de 3 puncte, nu de 15. Fără grup de comparație, raportul ar fi declarat 15 și ar fi fost greșit.

3. Indicatorii: definiți înainte, din cadrul logic

Indicatorii de evaluare se derivă din cadrul logic al programului: pentru fiecare rezultat așteptat, un indicator măsurabil, cu definiție precisă, sursă de date, valoare de referință la baseline și țintă la endline. Un indicator bun se poate măsura identic de două ori, variază în populație, este sensibil la ce face programul și este interpretabil: „procentul de părinți ai copiilor sub 2 ani care au completat schema de vaccinare conform calendarului, verificat pe carnet" este un indicator; „gradul de conștientizare" nu este.

Numărul de indicatori se ține sub control: 10-20 de indicatori de rezultat sunt suficienți pentru majoritatea programelor, iar un chestionar care încearcă să măsoare 80 produce date slabe pe toți. Pentru programele care vizează cunoștințe, atitudini și comportamente, structura studiului KAP este formatul natural al baseline-ului și al endline-ului.

4. Grupul de comparație: cum se estimează „fără program"

Impactul cere un răspuns la întrebarea contrafactuală: ce s-ar fi întâmplat cu beneficiarii dacă programul nu ar fi existat? Întrebarea nu se poate observa direct, dar se poate estima prin designuri de rigoare crescătoare.

• Design experimental. Când programul nu poate acoperi toți cei eligibili simultan, ordinea de intrare se stabilește aleatoriu, iar cei care intră mai târziu formează grupul de comparație pentru prima fază. Este designul cel mai riguros și, când este posibil, cel mai simplu de interpretat.
• Design cvasi-experimental. Se alege un grup neexpus cât mai asemănător cu beneficiarii: localități cu aceleași caracteristici, persoane cu același profil, selectate prin potrivire statistică. Diferența dintre schimbarea la beneficiari și schimbarea la grupul de comparație, numită diferență în diferențe, este estimarea impactului.
• Design cu grup de comparație reflexiv. Fără grup extern; schimbarea se compară cu tendința anterioară a indicatorului, din date administrative sau din valuri anterioare. Este mai slab, dar mai bun decât nimic.
• Doar înainte și după. Fără grup de comparație; arată schimbarea, nu impactul, și raportul trebuie să spună asta explicit.

5. Comparabilitatea: regula „nimic nu se schimbă"

Diferența dintre baseline și endline măsoară programul doar dacă tot restul a rămas identic. În practică, aceasta înseamnă:

• Același instrument, cuvânt cu cuvânt, în aceeași ordine. O întrebare reformulată „pentru claritate" rupe seria. Întrebări noi se adaugă doar la sfârșitul chestionarului.
• Aceeași metodă de colectare: dacă baseline-ul a fost față în față, endline-ul este față în față. Trecerea la telefon pentru economie produce diferențe care nu sunt ale programului.
• Aceeași populație și același design de eșantion, cu aceleași straturi și aceleași reguli de selecție.
• Aceeași perioadă a anului, pentru indicatori sezonieri: venituri agricole, frecventarea școlii, consum.
• Aceiași respondenți, unde este posibil: un design de panel, în care persoanele de la baseline sunt reintervievate la endline, măsoară schimbarea la nivel individual și are o putere statistică mult mai mare. Cere consimțământ pentru recontactare și date de contact păstrate securizat, iar pierderea de respondenți între valuri, de regulă 15-30%, se analizează pentru a verifica dacă cei pierduți diferă de cei rămași.

6. Eșantionul: dimensionat pentru schimbarea așteptată

Un eșantion de baseline nu se dimensionează după marja de eroare la un moment dat, ci după schimbarea minimă detectabilă între valuri. Dacă programul își propune să crească un indicator de la 40% la 50%, eșantionul trebuie să poată detecta o diferență de 10 puncte ca semnificativă, cu putere statistică suficientă, în fiecare grup, intervenție și comparație. Pentru o diferență de 10 puncte, sunt necesari de regulă 350-450 de respondenți per grup per val; pentru 5 puncte, de patru ori mai mulți. Programele care vizează schimbări mici au nevoie de eșantioane mari sau de design de panel, iar cele care promit schimbări mari și le măsoară pe eșantioane mici nu vor putea distinge succesul de zgomot. Ghidul de întrebări frecvente explică principiile de calcul.

7. Componenta calitativă: cum și de ce

Cifrele spun dacă s-a schimbat ceva; nu spun cum a funcționat programul și de ce a funcționat mai bine într-un loc decât în altul. Evaluarea completă include interviuri în profunzime cu implementatori, parteneri și autorități locale, focus grupuri cu beneficiari, și studii de caz în localitățile cu rezultate neobișnuit de bune sau de slabe. Componenta calitativă explică mecanismele, identifică efectele neintenționate, pozitive sau negative, pe care indicatorii nu le-au prevăzut, și produce lecțiile pe care următorul program le poate folosi. Fără ea, evaluarea spune cât; cu ea, spune cât și de ce.

8. Raportul de evaluare: ce conține o evaluare onestă

Un raport de endline prezintă: valorile indicatorilor la baseline și la endline, pe grupul de intervenție și pe cel de comparație, cu intervalele de încredere și cu testele de semnificație; estimarea impactului, cu metoda și cu limitele ei; indicatorii care nu s-au schimbat și indicatorii care s-au schimbat, dar nu pot fi atribuiți programului; explicațiile calitative; efectele neintenționate; și recomandările pentru program și pentru finanțator. Secțiunea despre ce nu s-a schimbat și ce nu se poate atribui nu este o slăbiciune a raportului, ci dovada că poate fi crezut în rest. Finanțatorii experimentați caută această secțiune întâi.

Raportul se livrează însoțit de bazele de date ale ambelor valuri, de instrument și de documentația metodologică, astfel încât o altă echipă să poată reproduce analiza. Pentru prezentarea rezultatelor către consilii, comitete și finanțatori, serviciul de suport decizional transformă raportul în materiale de decizie.

9. Ce ceri agenției, la începutul programului

• Indicatorii derivați din cadrul logic, cu definiții, praguri și surse, aprobați înainte de baseline.
• Designul de evaluare: experimental, cvasi-experimental sau înainte-după, cu motivul și cu limitele declarate.
• Grupul de comparație: cum se alege, cât de asemănător este, cum se verifică asemănarea la baseline.
• Eșantionul dimensionat după schimbarea minimă detectabilă, per grup.
• Protocolul de comparabilitate: instrument, metodă, perioadă, înghețate între valuri.
• Designul de panel, dacă este fezabil, cu consimțământ și cu analiza pierderilor.
• Componenta calitativă și studiile de caz.
• Arhivarea instrumentului, a datelor și a documentației de la baseline, pentru endline-ul de peste doi-trei ani, posibil cu altă echipă.

Evaluarea impactului nu este un raport scris la sfârșit, ci un design decis la început. Baseline-ul este partea de program pe care organizațiile o sar cel mai des și pe care o regretă cel mai sigur. Pentru metoda de colectare a datelor în comunități, vedeți ghidul despre interviul față în față și pagina Sondaje sociale și politice.

Vezi și: Sondaje sociale și politice Suport decizional Studiul KAP Interviul față în față (CAPI) Interviul în profunzime Întrebări frecvente

Echipa Perspicuus · 30 martie 2026