Parametryzacja za lata 2017–2021 – zapraszamy do dyskusji
Parametryzacja za lata 2017–2021 wzbudziła dużo emocji w środowisku akademickim. Omówienie wszystkich ważnych zagadnień, pozytywów i negatywów tego procesu to zapewne temat na książkę. Niniejszy artykuł chcielibyśmy poświęcić tylko jednemu, ale niezwykle istotnemu wątkowi – skutkom obecności w Wykazie Czasopism MEiN periodyków publikujących (za duże pieniądze i w hurtowych ilościach) częstokroć niskiej jakości artykuły naukowe. Uważamy bowiem, że przy skutkach tego zjawiska, które bez wahania można nazwać „patologicznymi”, bledną inne niedoskonałości procesu parametryzacji.
Na początek chcielibyśmy wyjaśnić jedną kwestię. Wiemy, że dla niektórych osób samo istnienie listy czasopism i punktowanie publikacji jest kontrowersyjne, zyskało sobie nawet pejoratywny przydomek „punktoza”. Nie podzielamy tego zdania. Uważamy, że polska nauka powinna jak najściślej integrować się z nauką światową, a jedynym sposobem na osiągnięcie tego celu jest uczestniczenie jak najszerszego grona polskich naukowców w światowym obiegu badawczym. Oznacza to prowadzenie badań ze współautorami z zagranicy, prezentowanie ich wyników na dobrych międzynarodowych konferencjach i wreszcie – jako ukoronowanie procesu – opublikowanie wyników w dobrym (najlepiej topowym) czasopiśmie o zasięgu międzynarodowym. Chcemy podkreślić, że nie uważamy, by opisany proces był sztuką dla sztuki. Tak od lat funkcjonuje nauka – bynajmniej nie tylko ekonomia – w krajach zachodnich i (biorąc pod uwagę niewiarygodny wręcz postęp w licznych dziedzinach życia, u którego źródeł bardzo często leżą badania naukowe) jest to droga do sukcesu. Jest to system brutalnie konkurencyjny, ale czy to komuś się podoba, czy nie, z tego wynika jego skuteczność. Czy system ten jest pozbawiony wad? Oczywiście, że nie jest, jednak (jak w słynnym powiedzeniu o demokracji) na razie nie wymyślono niczego lepszego. Wracając do kwestii listy czasopism – jeśli tylko pomaga ona stworzyć bodźce do prowadzenia badań naukowych w konkurencyjnym środowisku międzynarodowym, jesteśmy jej zwolennikami. Uważamy natomiast, że wydawanie pieniędzy podatnika na słabej jakości badania publikowane w czasopismach o znikomym zasięgu jest marnowaniem tych środków finansowych.
Może to przykro zabrzmieć, ale polskie nauki ekonomiczne funkcjonowały do niedawna na marginesie światowego obiegu naukowego (tak, wiemy o Kaleckim). Jeszcze 15 lat temu ekonomistów afiliowanych przy polskich uczelniach, publikujących w czołowych międzynarodowych czasopismach, można było policzyć na palcach jednej ręki. Sytuacja zaczęła się powoli zmieniać na skutek pojawienia się bodźców, takich jak granty NCN czy właśnie punktacja czasopism. Dziś w dobrych i bardzo dobrych periodykach publikuje regularnie już co najmniej kilkadziesiąt osób z polskich uczelni ekonomicznych. To nadal niewiele, ale postęp jest olbrzymi. Widać go choćby po pozycji Polski w rankingu krajów, opracowywanym przez serwis Ideas/Repec. Jeszcze w styczniu 2005 r. plasowaliśmy się na 81. pozycji, pomiędzy Urugwajem a Oklahomą (ranking traktuje stany USA jako oddzielne jednostki; por. https://ideas.repec.org/top/old/0501/top.country.all.html, data dostępu: 14 stycznia 2022 r.). W listopadzie 2021 r. byliśmy na 57. pozycji (między Rumunią a Finlandią). To oczywiście nadal dość nisko, ale postęp jest widoczny (por. https://ideas.repec.org/top/old/2111/top.country.
alldetail.html, data dostępu: 14 stycznia 2022 r.). Również nasza Alma Mater znacząco awansowała w ostatnich latach i obecnie jest sklasyfikowana wśród 5% najwyżej notowanych jednostek naukowych na świecie (por. https://ideas.repec.org/top/top.inst.all.html, data dostępu: 14 stycznia 2022 r.).
Żywimy nadzieję, że tym krótkim wstępem udało nam się, jeśli nawet nie przekonać Czytelnika, że tworzenie bodźców do publikowania wyników badań w dobrych czasopismach istniejących w obiegu międzynarodowym jest ważne, to przynajmniej zaprezentować nasze zdanie w powyższej kwestii. Możemy teraz przejść do zagadnienia, które zmotywowało nas do napisania niniejszego tekstu. Jak już wspomnieliśmy, ministerialnej liście czasopism można wiele zarzucić. Niewątpliwie najnowsze zmiany w punktacji sprawiają, że lista wątpliwości stała się jeszcze dłuższa. Wszystkie te zarzuty bledną jednak przy jednym – obecności na liście czasopism z wysoką lub bardzo wysoką punktacją, które publikują za duże pieniądze tysiące artykułów często wątpliwej jakości. Zjawisko to, ze względu na swoją masowość, całkowicie wypacza bowiem system bodźców, prowadzi do „psucia” nauki, a kosztem obciąża polskiego podatnika.
PROBLEM…
Głównym winowajcą są czasopisma, które publikację artykułów naukowych zamieniły w produkcję masową, kusząc autorów nisko zawieszoną poprzeczką naukową i ekspresowym procesem recenzyjnym (i pobierając za to sowitą opłatę). Samo istnienie takich czasopism nie byłoby może bardzo szkodliwe, gdyby nie to, że niektóre z nich otrzymały bardzo wysoką punktację w wykazie MEiN. Jednymi z najbardziej popularnych w Polsce czasopism tego typu są „Energies” (140 pkt MEiN) i „Sustainability” (100 pkt MEiN), wydawane przez wydawnictwo zarejestrowane w Szwajcarii i znane pod akronimem MDPI (Multidisciplinary Digital Publishing Institute). Wydawnictwu temu jest zarzucane stosowanie w części swoich periodyków praktyk właściwych tzw. wydawcom drapieżnym (predatory publishers), którzy publikują artykuły naukowe w zamian za uiszczenie przez autora opłaty, bez przeprowadzenia rygorystycznego procesu recenzyjnego (M. Ángeles Oviedo-García, Journal Citation Reports and the Definition of a Predatory Journal: The Case of the Multidisciplinary Digital Publishing Institute (MDPI), „Research Evaluation” 2021, No. 30(3), s. 405–419; https://doi.org/10.1093/reseval/rvab020, data dostępu: 14 stycznia 2022 r.). W samym 2021 r. liczba wydań specjalnych w „Energies” i „Sustainability” przekroczyła łącznie 5 tys.! (https://paolocrosetto.wordpress.com/2021/04/12/is-mdpi-a-predatory-publ…, data dostępu: 14 stycznia 2022 r.)
Popularność tych tytułów wśród polskich naukowców rosła w ostatnich latach lawinowo. W roku 2015 w „Energies” zostało opublikowanych 5 artykułów autorów z polską afiliacją, a w 2021 r. już 1914! Na takie przyspieszenie prawdopodobnie miał wpływ kończący się proces ewaluacji uczelni, potencjalnie istotnie zniekształcając jego wyniki. Opublikowanie artykułu w wydawnictwie MDPI kosztuje około 2 tys. CHF. Oznacza to, że za same publikacje w ,,Energies” polski podatnik zapłacił w 2021 r. niemal 4 mln CHF! Poziom naukowy wielu z tych artykułów jest bardzo niski, niedający szans na publikację w renomowanym czasopiśmie o zbliżonej punktacji. Przykładowo, tyle samo punktów co „Energies” mają w aktualnym Wykazie Czasopism MEiN takie uznane tytuły, jak „Journal of International Economics” (tzw. top-field ekonomii międzynarodowej) czy „Journal of Money Credit and Banking” (nr 2 w obszarze ekonomii monetarnej), stosujące rygorystyczny proces recenzyjny, w wyniku którego jest odrzucana znakomita większość nadesłanych prac, a proces wydawniczy trwa niekiedy kilka lat.
Wspomniane dwa czasopisma MDPI nie są odosobnionymi przypadkami, a zapewne skala zjawiska jest dużo większa, niż świadomi są autorzy tego tekstu. Podobny problem występuje np. w „European Research Studies Journal”, który w 2021 r. został usunięty z bazy Scopus z powodu „wątpliwości publikacyjnych”, a któremu ciągle najnowsza lista MEiN przypisuje 100 pkt (publikacjom w czasopiśmie ERSJ jest poświęcony artykuł autorstwa Marka Wrońskiego pt. Jak zapełnić sloty w „Forum Akademickim” 2021, nr 2; https://miesiecznik.forumakademickie.pl/czasopisma/fa-2-2021/jak-zapeln…, data dostępu: 14 stycznia 2022 r.). W tym greckim czasopiśmie zachodzi przedziwne zjawisko: w latach 2020 i 2021 prawie wszystkie publikacje miały przynajmniej jednego autora z Polski. Dokładne policzenie publikacji z polską afiliacją jest czasochłonne, ale w 2021 r. było 12 wydań, z którego każde zawierało około 70–80 artykułów, z czego tylko pojedyncze nie miały polskiej afiliacji. Publikacja w „European Research Studies Journal” jest tańsza niż w MDPI, cena wynosi około 600 EUR. Ofertę ERSJ można zatem uznać za bardzo atrakcyjną, jedynie 6 EUR za punkt MEiN!
Przyznawanie czasopismom stosującym takie praktyki wydawnicze wysokiej punktacji na liście MEiN jest niezmiernie szkodliwe. Stosowanie mocnych zachęt do publikowania w takich periodykach przynosi szkodę nauce, prowadzi bowiem do promocji badań, które częstokroć nie przechodzą rygorystycznego procesu recenzyjnego. Wszyscy wiemy, jak wiele szkody potrafią wyrządzić takie badania w epoce mediów społecznościowych i powszechnych fake newsów. Naukowcy ze swoimi karierami zbudowanymi na dorobku, który nie przechodził rygorystycznego procesu recenzyjnego, wychowują następne pokolenia badaczy, promują doktorantów, recenzują doktoraty, habilitacje i profesury. Ponadto od tego, w jakim stopniu poszczególne uczelnie zachęcają do publikowania w tych czasopismach, może zależeć ewaluacja szkoły wyższej. Biorąc pod uwagę masowość zjawiska, zauważmy, że może ono istotnie zaburzyć ranking uczelni. W skrajnym przypadku dobre uczelnie, które powstrzymają się od zachęcania pracowników do wątpliwych praktyk, mogą spaść nawet poniżej kategorii B+ i zostać pozbawione prawa prowadzenia szkół doktorskich. Co gorsze, za wszystkie opisane zjawiska polski podatnik płaci zagranicznym spółkom dziesiątki milionów złotych.
… I PROPOZYCJA JEGO ROZWIĄZANIA
Opisany problem nie dotyczy jedynie Polski ani jedynie nauk ekonomicznych. Krajowe środowisko naukowe nie jest w stanie samodzielnie i na bieżąco tropić opisanych patologii oraz dostosowywać punktacji wszystkich czasopism funkcjonujących w danej dyscyplinie, nawet jeśli ograniczymy się tylko do tych indeksowanych w bazach Scopus czy Web of Science. Koszty takiego przedsięwzięcia są po prostu za duże, a przewaga liczebna i motywacyjna po stronie osób korzystających z wad systemu jest przygniatająca.
Radykalnym rozwiązaniem tego problemu byłoby postawienie na ścisłą elitarność, czyli uznawanie za istotny dorobek jedynie artykułów opublikowanych w bardzo wąskiej grupie wiodących czasopism. Przykładowo, na topowych amerykańskich uczelniach ekonomicznych tak naprawdę liczą się jedynie publikacje w tzw. top 5 („American Economic Review”, „Econometrica”, „Journal of Political Economics”, „Quarterly Journal of Economics” oraz „Review of Economic Studies”), ewentualnie w kilku czasopismach tzw. top field (np. „Journal of Monetary Economics”, „Journal of International Economics”, „Journal of Econometrics”, „Journal of Economic Theory”). Pomimo wspomnianego postępu polskie środowisko ekonomiczne na takie rozwiązanie oczywiście nie może sobie pozwolić, bo w tego typu czasopismach publikacje autorów z polską afiliacją wciąż należą do rzadkości. Poza tym skrajna elitarność też ma poważne wady, ale to temat na odrębny artykuł.
Na szczęście jest rozwiązanie pośrednie, stosowane w wielu krajach europejskich. Polega ono na skorzystaniu z szerszych, ale ciągle elitarnych list czasopism, jak np. Academic Journal Guide (AJG). Lista ta klasyfikuje czasopisma na 5 kategorii, a w obszarach ekonomii i finansów zawiera łącznie około 550 pozycji (por. metodyka sporządzania listy: https://charteredabs.org/wp-content/uploads/2021/06/Academic_Journal_Gu…, data dostępu: 14 stycznia 2022 r.; najnowsza lista: https://charteredabs.org/academic-journal-guide-2021/, data dostępu: 14 stycznia 2022 r.). Nie ma oczywiście gwarancji, że w tego typu wykazie nigdy nie pojawi się czasopismo stosujące opisane praktyki, ale szansa na to, zwłaszcza otrzymanie wysokiej kategorii, jest nieporównywalnie mniejsza niż w przypadku polskiej listy ministerialnej, na której do dyscypliny „ekonomia i finanse” zostało przypisanych ponad 1800 czasopism. W przeciwieństwie do wykazu MEiN lista AJG znajduje się pod czujnym okiem międzynarodowej społeczności akademickiej.
Uważamy, że lista ministerialna powinna być docelowo zastąpiona takim źródłem zewnętrznym. Jako że próżno szukać tam polskich czasopism (są one w tym momencie zdecydowanie zbyt mało znaczące), powinno się ją rozszerzyć o tytuły wydawane w naszym kraju. Nie kwestionujemy bynajmniej potrzeby uwzględnienia takowych. Polskie czasopisma często odgrywają ważną rolę w rozwoju pracowników stawiających pierwsze kroki w nauce. Te najlepsze powinny zmierzać do znalezienia się na liście AJG. Dopóki tak się jednak nie stanie, dopóty publikowane w nich artykuły powinny być punktowane niżej niż artykuły z najniższej kategorii AJG.
Postulowana przez nas zmiana na poziomie ministerialnym raczej szybko nie nastąpi, zwłaszcza jeśli poruszone w tym artykule problemy wcześniej nie trafią do świadomości polskich ekonomistów, a ich zwalczanie nie stanie się priorytetem władz na najlepszych polskich uczelniach. Biorąc pod uwagę pozycję SGH wśród polskich uczelni ekonomicznych, uważamy, że powinna ona odegrać aktywną i wiodącą rolę w procesie minimalizacji skutków opisanych patologii, stając się przykładem dla innych jednostek. Możliwe działania w tym zakresie są następujące:
- zmiana zasad nagradzania za publikacje i wewnętrznej oceny pracowników, np. na podstawie listy AJG;
- akcja edukacyjna na uczelni, uczulająca pracowników naukowych na opisane problemy i ich szkodliwość dla rozwoju nauki;
- finansowanie ze środków uczelni opłat publikacyjnych wyłącznie w czasopismach z listy AJG;
- zgłoszenie problemu przez władze rektorskie do ministerstwa wraz z propozycją jego rozwiązania oraz informacją o podjętych krokach w ramach uczelni;
- podjęcie wspólnych działań z najważniejszymi uczelniami ekonomicznymi w kraju w celu wypracowania wspólnej strategii przeciwdziałania wspomnianym zjawiskom.
W krótkim okresie działania te mogą się okazać kosztowne dla naszej Alma Mater. Dopóki lista ministerialna dopuszcza patologie, dopóty niekorzystanie z nich będzie stawiać SGH w gorszej pozycji względem uczelni tolerujących takie praktyki i przez to zbierających hurtowo punkty do ewaluacji za wątpliwej jakości publikacje. Uważamy jednak, że SGH jest wystarczająco silna, by zmierzyć się z takimi kosztami dla dobra polskich nauk ekonomicznych w przyszłości. Noblesse oblige!
KRÓTKO NA ZAKOŃCZENIE
Mamy świadomość, że w polskich naukach ekonomicznych nadal następuje proces uczenia się tego, co i gdzie warto publikować. Osoby, które opublikowały artykuły we wspomnianych czasopismach, reagowały na bodźce, a niektórzy autorzy zapewne nie mieli świadomości problemów opisanych w tym opracowaniu. Nie chcemy zatem, by ten tekst miał charakter oskarżycielski, mamy nadzieję, że spełni funkcję edukacyjną i pomoże wypracować lepsze mechanizmy motywacyjne w przyszłości. A co Państwo o tym sądzicie? Zapraszamy do dyskusji.
prof. dr hab. MICHAŁ BRZOZA-BRZEZINA, Katedra Ekonomii Ilościowej, Kolegium Analiz Ekonomicznych SGH;
dr hab. MARCIN KOLASA,
prof. SGH, Katedra Ekonomii Ilościowej, Kolegium Analiz Ekonomicznych SGH;
dr hab. KRZYSZTOF MAKARSKI, prof. SGH, Katedra Ekonomii Ilościowej, Kolegium Analiz Ekonomicznych SGH
