Jak zaplanować badanie ewaluacyjne metodami ilościowymi już na etapie projektowania polityki publicznej? Z jakich danych korzystać? Jakie metody są odpowiednie? Jak prezentować wyniki analiz? Te i inne zagadnienia poruszamy w szczegółach w ramach Studiów Podyplomowych Ewaluacji Polityk Publicznych.
Więcej szczegółów pod linkiem.
Ewaluacja polityk publicznych oparta na dowodach to ważny element procesu wdrażania różnego rodzaju rozwiązań, który przyczyniać się powinien do poprawy ich skuteczności. Proces ewaluacyjny powinien być zaplanowany wraz z projektowaną zmianą lub rozwiązaniem. Planowanie tego procesu nie powinno sprowadzać się do hasła odłożonego na później, ale winno uwzględniać precyzyjnie określony zestaw działań badawczych.
Dowodów w procesie ewaluacji dostarczyć mogą wyniki odpowiednio przygotowanych i przeprowadzonych analiz ilościowych, opartych na danych pochodzących ze sprawozdawczości lub ze specjalnie zrealizowanych w tym celu badań. W procesie przygotowania i analizy danych ilościowych wykorzystywanych w ewaluacji warto zwrócić uwagę na kilka elementów:
- dostępność i jakość danych zastanych pochodzących najczęściej ze sprawozdawczości
Jeśli naszym zadaniem jest zaprojektowanie badania ewaluacyjnego, a na tym etapie nie mamy dostępu do danych ze sprawozdawczości, warto upomnieć się o próbkę danych, aby móc zorientować się co do zakresu danych, ich jakości, kompletności i spójności. Chodzi tu o późniejszą wykonalność zaplanowanych analiz.
- decyzja o realizacji badań ankietowych
W pierwszym kroku warto zastanowić się, jakie dane są dostępne w ramach sprawozdawczości czy już zrealizowanych badań, a jakie ewentualnie można pozyskać w ramach badań ankietowych ad hoc skierowanych do różnych grup. Już na tym etapie warto zadać sobie pytanie, czego brakuje mi w danych zastanych do odpowiedzi na pytania badawcze i jeśli luka jest znacząca, należy podjąć decyzję o realizacji badań ilościowych opartych na próbie reprezentatywnej określonej grupy interesariuszy.
- równoczesne projektowanie badań ankietowych i sposobów ich analizy ilościowej
Mając określone pytania badawcze i zarys dostępnych danych ilościowych (zastane lub projektowane w ramach badań ewaluacyjnych) warto gruntowanie przemyśleć, jakich metod ilościowych chcemy użyć w analizie. Określone metody wymagają określonego typu danych, np. ilościowych ciągłych, porządkowych i nominalnych. Mając wpływ na zakres zbieranych danych, możemy tak zaprojektować pytania w badaniu ilościowym, aby możliwe było zastosowanie bardziej złożonych metod.
Wybrana metoda analizy wymagać może dotarcia do określonych grup, np. w analizach z użyciem PSM (ang. propensity score matching - statystyczny wpływ netto) obok grupy eksperymentalnej, poddanej działaniu danego czynnika (zmiennej) niezbędne jest dobranie grupy kontrolnej o podobnych cechach, na którą analizowany czynnik nie wpływał. Statystyczny efekt netto to wartościowa metoda analiz pozwalająca w sposób jakościowy potwierdzić wpływ określonego narzędzia. To metoda eksperymentalna, którą należy planować już na etapie projektowania danego rozwiązania.
Katalog użytych metod może być szeroki, poczynając od prostych analiz korelacyjnych, poprzez różnego typu modele regresji, segmentacje analizowanych jednostek (np. badanych organizacji, jednostek terytorialnych, itp.), aż po bardziej zaawansowane metody takie, jak wspomniana wyżej metoda statystycznego wpływu netto. Ciekawą metodą, którą można użyć w ewaluacji dla uchwycenia aspektu przestrzennego zróżnicowania zjawisk, jest analiza kartograficzna. To z jednej strony, sposób pozyskiwania informacji (w wyniku analizy stosownych map, na różnych poziomach agregacji terytorialnej), z drugiej – sposób prezentacji danych, często charakteryzujących natężenie występowania określonych zjawisk.
Dr Izabela Grabowska - adiunktka w Instytucie Statystyki i Demografii SGH. Demografka, statystyczka, polityczka społeczna zajmująca się problematyką dotyczącą aktywności różnych grup ludności, jakością ich życia, polityką publiczną skierowaną do osób z niepełnosprawnościami. Ekspertka w wielu projektach dotyczących ewaluacji programów społecznych.
