Rozmowy przy drugiej kawie: ankietyzacja zajęć – główne wyzwania

Prezentacja dotyczyła głównie doświadczeń SGH w tym obszarze, ale była osadzona w szerszym kontekście – problemy takie jak niska zwrotność ankiet dotyczą większości uczelni, gdzie ankietyzacja ma fakultatywny charakter.

Prorektor ds. dydaktyki i studentów SGH dr hab. Krzysztof Kozłowski, prof. SGH, zwrócił uwagę,  że ankietyzacja zajęć jest ciągłym procesem, z którym związane są liczne wyzwania. Wskazał na perspektywę wykładowcy – ankiety mają bowiem służyć wykładowcom w doskonaleniu zajęć, a więc oni są głównymi beneficjentami tego procesu.
Prezentacja autorstwa Andrzeja Żurawskiego, specjalisty Ośrodka Rozwoju Studiów Ekonomicznych (ORSE) zajmującego się bezpośrednio ankietyzacją, oraz dr. hab. Jakuba Brdulaka, prof. SGH, została podzielona na trzy części:

1. Przedstawienie rozwiązań w zakresie ankietyzacji w SGH
2. Dobre praktyki w innych uczelniach – Uniwersytet Jagielloński, Uniwersytet w Białymstoku
3. Główne kontrowersje i wyzwania dotyczące ankietyzacji

Poniższy rysunek prezentuje budowę ankiety do oceny zajęć z perspektywy administratora.

Ankieta wygląda na dość skromną, ale mała liczba pytań jest intencjonalna. Wynika to z faktu, że studenci mogą mieć do wypełnienia po zajęciach nawet do 20 ankiet. Przyjmując, że student wraz z logowaniem do USOS-a potrzebuje ok.  5 minut na jedną ankietę, to przy liczbie 20 ankiet musi przeznaczyć na wypełnianie ok. 100 minut. Tak więc, z tej perspektywy czasochłonność wypełnienia ankiet jest duża.

Taka struktura ankiety została wypracowana w 2018 roku. Prace były realizowane przez zespół, w skład którego wchodzili przedstawiciele nauczycieli akademickich, Centrum Informatycznego oraz Samorządu Studentów. Głównym założeniem tej struktury, jest założenie, że służy ona ocenie zajęć, a nie osób. Od 4 semestrów ankiety realizowane są za pomocą systemu USOS i jest realizowana tylko ta ankieta. Po pracach zespołu w 2018 r. przygotowano również ankietę pogłębioną, która miała być rozsyłana do wybranych zajęć, jednakże ostatecznie nie jest ona obecnie prowadzona, gdyż okazało się, że jest bardzo niska zwrotność wypełniania tej ankiety, a po drugie, jest to kłopotliwe technicznie.

Każdy wykładowca może sprawdzić, jak zostały ocenione jego zajęcia w USOS. Poniższa grafika ukazuje, gdzie są te informacje widoczne.

Źródło: USOS SGH

Zespół pełnomocnika jakości, który realizuje ankietyzację bazuje na następujących założeniach:

• ankieta studencka jest narzędziem komunikacyjnym z wykładowcą,
• dostęp do wyników danego wykładowcy ma (wyłącznie) sam zainteresowany oraz jego bezpośredni przełożony,
• ograniczona użyteczność ankiety studenckiej w formalnej ocenie wykładowcy,
• analityka ocen zajęć opiera się na: informacjach od studentów (ocenie zajęć) oraz analizie rozkładu ocen.

Powyższe analityki publikowane są na stronie SGH w zakładce „Opracowania zespołu pełnomocnika”.

Aktualne dyskusje związane z procesem ankietyzacji zajęć obejmują następujące kwestie:

1. Obligatoryjność ankiet dla studentów – wzrost zwrotności;
2. Termin udostępniania ankiet studentom;
3. Wprowadzenie raportów dla poszczególnych kierunków.

Jeśli chodzi o pierwszy punkt, to generalnie zespół pełnomocnika stoi na stanowisku, że obligatoryjność nie może być wprowadzona, ponieważ od wypełnienia ankiety zależałby proces studiowania – student, który nie wypełniłby ankiety, nie mógłby kontynuować studiów. Jest to niezgodne z misją uczelni, zakładającą, że student powinien być rozliczany z efektów uczenia się, a nie z wypełnienia ankiety.

Odnośnie do terminu dostępności, to są tutaj dwie główne szkoły: pierwsza, która zakłada, że ankiety są dostępne tylko do końca trwania zajęć, a druga, zakładająca dostępność ankiet również w czasie sesji np. do końca danego semestru. W SGH ankiety są dostępne do końca semestru. Zaletą takiego rozwiązania jest większa zwrotność ankiet; wadą jest to, że oceny zajęć czasem są formułowane na podstawie doświadczeń studentów tylko z uczestnictwa w zajęciach, a czasem obejmują również doświadczenia z sesji egzaminacyjnej, które dla części  studentów uznawane są za integralną część procesu kształcenia. Pomimo to ankieta nie zawiera pytań związanych z procesem egzaminacyjnym; ocenie podlega jedynie realizacja zajęć.

Trzeci obszar – pogłębienie analityki, jest ogólnie słusznym kierunkiem, choć głębokość analityki koreluje bezpośrednio z zasobami, w tym także kadrami zespołu pełnomocnika. Jeśli zespół realizujący ankietyzację zostałby powiększony, to oczywiście analityka może być pogłębiana. Obecnie trwają rozmowy z Samorządem Studenckim, aby studenci obecni w Radach Programowych poszczególnych kierunków zajmowali się analityką na poziomie kierunków. Trzeba też tutaj dodać, że w przypadku SGH nie jest to takie proste, bo szereg przedmiotów jest realizowanych na wielu kierunkach. Mamy też do czynienia na studiach licencjackich z tzw. basikiem oraz z lektoratami. W efekcie liczba zajęć bezpośrednio podporządkowanych danemu kierunkowi jest ograniczona.

Po Andrzeju Żurawskim głos zabrał Jakub Brdulak, który przedstawił dobre praktyki w obszarze ankietyzacji na Uniwersytecie Jagiellońskim i na Uniwersytecie w Białymstoku. Na UJ za taką dobrą praktykę uznano Barometr Satysfakcji – pogłębioną ankietę umożliwiającą studentom sygnalizowanie różnych nieprawidłowości. Za pomocą niej studenci oceniają szereg obszarów związanym z procesem studiowania, a nie zajęcia. Zwrotność tej ankiety jest bardzo niska, ale daje ona możliwość władzom uczelni zidentyfikowanie ryzyk, które są następnie wyjaśniane i analizowane. W Uniwersytecie w Białymstoku została zaprezentowana współpraca wydziałowa, gdzie bezpośrednim beneficjentem ankietyzacji jest dziekan wydziału; dzięki danym zebranym w ankietach może lepiej podejmować decyzje.

Ostatnia część prezentacji skoncentrowała się na wyzwaniach związanych z ankietyzacją.

1. Ankiety dobrze się sprawdzają jako narzędzie informujące wykładowcę o odbiorze zajęć przez studentów, dzięki czemu mogą przyczyniać się do poprawy jakości zajęć. Żeby to osiągnąć, niezbędne jest korzystanie z ankiet przez wykładowców.
2. Wypełnienie ankiety to pewien koszt dla studenta – stąd też warto zadbać o to, aby student miał warunki do jej wypełnienia.
3. Kwestia Iluzji Dydaktycznej – istnieje ryzyko, że studenci będą dawać wysokie oceny w ankietach, a wykładowca będzie wystawiać wysokie oceny na koniec zajęć.
4. Ankiety raczej nie mogą pełnić funkcji kontrolnej.
5. Kluczowa wartość ankiet to wspieranie komunikacji na uczelni.

Andrzej Żurawski i Jakub Brdulak w szczególności odnieśli się do tzw. iluzji dydaktycznej. Jak wynika z analizy przygotowanej przez Żurawskiego, korelacja wysokości stawianych ocen oraz wysokich ocen w ankietach nie jest duża. Można, więc przyjąć, że obecnie iluzja dydaktyczna w SGH nie występuje, choć oczywiście takie ryzyko pozostaje.

W części komentarzowej prof. Krzysztof Kozłowski podkreślił znaczenie  procesu ankietyzacji dla SGH oraz to, że właśnie jest to „proces”, a więc mają miejsce ciągłe zmiany w duchu szacunku do elementów stałych. A tym stałym elementem jest np. struktura ankiety.

Ze swej strony Łukasz Krzempek, pełnomocnik samorządu studenckiego ds. jakości kształcenia, wskazał na wolę zaangażowania się w analitykę kierunkową. Podkreślił, że oprócz oczywistej korzyści dla społeczności SGH wynikającej z bardziej szczegółowej analityki danych, będzie też istotna korzyść związana z procesem ankietyzacji – studenci będą szerzej widzieć rezultaty ankietyzacji.

W części dyskusyjnej dr hab. Andżelika Kuźnar, prof. SGH, podniosła następujące kwestie:

1. Czy w przypadku ofert zespołowych przewiduje się możliwość, by kierownik oferty mógł zobaczyć wyniki ankiety dla całego zespołu, np. ćwiczeniowców? Jeśli nie, to dlaczego?
2. Czy w przypadku, gdy jedna osoba prowadzi wszystkie formy zajęciowe w ramach jednego przedmiotu, nie można połączyć ankiet, które ma do wypełnienia student, żeby (1) zmniejszyć liczbę ankiet wypełnianych przez studentów, (2) umożliwić zbiorcze analizowanie wyników?
3. Część studentów zwraca uwagę, że woleliby wypełniać ankiety już po egzaminach (po zakończeniu sesji), argumentując, że chcą m.in. zweryfikować, na ile egzamin jest zgodny z sylabusem.
4. Jak w kontekście nowych przepisów dotyczących ocen pracowników ankiety mają być narzędziem ocen wykładowców? Które pytania mają być brane wówczas pod uwagę? Jak będą agregowane wyniki z różnych ankiet? Jak to się ma do założenia, że student ma nie oceniać wykładowców, a zajęcia?

Jeśli chodzi o odpowiedź na pierwsze pytanie, to obecnie wyniki może zobaczyć przełożony danej osoby. Koordynator ich nie widzi, ale zespół pełnomocnika stoi na stanowisku, że jeśli jest to technicznie możliwe i będzie taka decyzja władz SGH, to koordynator powinien widzieć te oceny, bo będą mu te analizy pomagać w doskonaleniu zajęć.

Odnośnie do drugiej kwestii, to w najbliższym semestrze postaramy się zmniejszyć liczbę ankiet, tak aby jedna ankieta przypadała na jedne zajęcia (w uproszczeniu).

Trzecia kwestia wpisuje się w ramy dyskusji dotyczącej terminów udostępniania ankiet. Obecnie stoimy na stanowisku, że ankiety powinny być dostępne podczas sesji, choć jak wynika z analiz zwrotności ok. 80-85 proc. ankiet jest wypełnianych przed sesją. Kluczowa dla zwrotności jest współpraca wykładowcy – jeśli wykładowca poprosi studentów np. na ostatnich zajęciach o wypełnienie ankiet i da im 5 minut na tę czynność, to zwrotność dochodzi do 100 proc. osób uczestniczących w zajęciach (na podstawie doświadczeń J. Brdulaka). W przypadku, gdy nie ma wyznaczonego czasu na zajęciach do wypełniania ankiet, zwrotność potrafi być bardzo niska.

Ostatnia kwestia leży poza kompetencjami zespołu pełnomocnika jakości. Tak jak już wcześniej podkreślano, ankiety nie były projektowane do oceniania poszczególnych osób, tylko do oceny zajęć, stąd też należy z dużą ostrożnością traktować je jako źródło wiarygodnych danych o danej osobie.

W dyskusji również wzięła udział Izabela Godlewska z Centrum Nauk Języków Obcych, która słusznie podkreśliła, że ankietyzacja może służyć jako pomocnicze źródło wnioskowania o jakości zajęć, ponieważ składa się na nią szereg elementów jakościowych wynikających z relacji studenta z wykładowcą, które nie są mierzone przez tę ankietę. Zespół pełnomocnika w pełni zgadza się z tą tezą, stąd też np. w przypadku szkoły doktorskiej, która też jest objęta ankietyzacją, dodatkowo są prowadzone spotkania fokusowe. Ze względu na niedużą liczbę słuchaczy, jest to możliwe. Realizuje je w SGH dyrektor ORSE dr Jacek Lewicki.

Dyskusja na temat ankietyzacji zajęć jest ciągła. Nie ma tutaj jednego optymalnego rozwiązania. Stąd zapraszamy do niej wszystkich zainteresowanych – zespół do spraw uczelnianego systemu zarządzania jakością pozostaje do Państwa dyspozycji.