- W opublikowanym wykazie ewaluacji nauki aż 89 proc. ocenionych dyscyplin uzyskało kategorię B+ lub wyższą – wynik, który utrudnia odróżnienie ośrodków wybitnych od przeciętnych.
- Kategoria naukowa decyduje nie tylko o prestiżu, ale o realnych uprawnieniach: statusie uczelni akademickiej, prawie do nadawania stopni doktorskich i wysokości subwencji na badania.
- Projektowana reforma ma opierać się na dwóch filarach – ocenie dyscyplin oraz eksperckiej ocenie potencjału całej instytucji – a okres ewaluacji ma się wydłużyć z czterech do pięciu lat.
- Nakłady na naukę w Polsce wynoszą obecnie 1,09 proc. PKB, co czyni oczekiwanie dogonienia uczelni Ligi Bluszczowej czy Listy Szanghajskiej naiwnym założeniem.
Ogłoszone wyniki ewaluacji dały wielu uczelniom i instytutom naukowym powody do satysfakcji. W mediach społecznościowych pojawiły się gratulacje, okolicznościowe grafiki i informacje o kolejnych kategoriach A oraz A+. Zanim jednak zamienimy ministerialne oceny w medale, warto zadać prostsze, ale znacznie trudniejsze pytanie: co właściwie zostało zmierzone i jak wpłynie to na finansowanie nauki?
Bo system, w którym niemal dziewięć na dziesięć ocen kończy się kategorią co najmniej B+, może świadczyć o potędze polskiej nauki. Może też świadczyć o tym, że termometr utracił skalę.
22 lipca Ministerstwo Nauki i Szkolnictwa Wyższego opublikowało wykaz planowanych kategorii naukowych za lata 2022–2025. Nie są to jeszcze wyniki ostateczne. Decyzje mają zostać wydane do końca lipca, a podmioty będą mogły wystąpić o ponowne rozpatrzenie sprawy.
Ewaluacja to nie ranking
Warto wyjaśnić, czym w ogóle jest ewaluacja, bo w debacie publicznej bywa ona przedstawiana jako ranking uczelni albo ocena poszczególnych naukowców. Nie jest ani jednym, ani drugim.
Oceniana jest działalność naukowa prowadzona w konkretnej dyscyplinie przez konkretny podmiot. Uczelnia może więc uzyskać kategorię A+ w jednej dyscyplinie, A w innej, B+ w kolejnej, a nawet B lub C w jeszcze innej. Ustawa przewiduje pięć kategorii: A+, A, B+, B i C.
Zobacz także: Tytuł profesora pod znakiem zapytania. Takiej sprawy jeszcze nie było
Obowiązkowo ewaluowane są uczelnie akademickie, instytuty Polskiej Akademii Nauk oraz międzynarodowe instytuty naukowe. Uczelnie zawodowe, instytuty badawcze i inne podmioty prowadzące działalność naukową mogą zostać poddane ocenie na swój wniosek. Warunkiem jest prowadzenie działalności w danej dyscyplinie przez odpowiednio liczny zespół badaczy.
Ocena obejmuje trzy kryteria: poziom naukowy lub artystyczny prowadzonej działalności, jej efekty finansowe oraz wpływ działalności naukowej na społeczeństwo i gospodarkę.
W praktyce oznacza to analizowanie publikacji, patentów, projektów, przychodów z działalności badawczej oraz opisów społecznego albo gospodarczego oddziaływania badań.
Kategorie nie są więc wyłącznie honorowymi odznakami. Mają bardzo konkretne konsekwencje.
Uzyskanie co najmniej kategorii B+ w jednej dyscyplinie decyduje o tym, czy uczelnia ma status uczelni akademickiej. Kategoria B+ lub wyższa daje również uprawnienie do nadawania stopni doktora i doktora habilitowanego w danej dyscyplinie. Kategorie wpływają także na możliwość samodzielnego tworzenia kierunków studiów i prowadzenia szkół doktorskich.
Kategoria to nie czek od ministra
Ewaluacja przekłada się także na finansowanie, choć nie tak bezpośrednio, jak czasem się sądzi. Kategoria A+ nie oznacza, że następnego dnia minister przelewa uczelni określoną premię. Jest ona jednym z parametrów uwzględnianych w algorytmie podziału subwencji.
W przypadku publicznych uczelni akademickich środki na kształcenie oraz utrzymanie potencjału badawczego są przekazywane w ramach jednej subwencji. Kategorie naukowe wpływają na jej część badawczą, obok takich czynników jak liczba pracowników prowadzących działalność naukową, liczba doktorantów czy kosztochłonność badań w poszczególnych dyscyplinach.
Oddzielną subwencję na utrzymanie i rozwój potencjału badawczego otrzymują między innymi niepubliczne uczelnie akademickie, instytuty PAN, instytuty badawcze i międzynarodowe instytuty naukowe. W ich przypadku kategorie również są składnikiem algorytmu.
Nie każda instytucja poddana ewaluacji odczuwa jednak ten sam skutek finansowy. Publiczna uczelnia zawodowa może wystąpić o ocenę swojej działalności, ale jej podstawowe finansowanie służy przede wszystkim prowadzeniu kształcenia, a nie utrzymywaniu potencjału badawczego na zasadach właściwych dla uczelni akademickiej. Jeszcze odrębnie finansowane są instytuty Sieci Badawczej Łukasiewicz.
Ewaluacja jest więc jednocześnie systemem oceny, mechanizmem przyznawania uprawnień oraz elementem podziału pieniędzy. To właśnie dlatego jej konstrukcja ma tak duże znaczenie. Błąd w rankingu sportowym może wywołać dyskusję. Błąd w ewaluacji może zdecydować o milionach złotych, prawie do doktoryzowania albo przyszłości całej dyscypliny.
Kiedy niemal wszyscy wygrywają
W opublikowanym wykazie znalazło się 106 kategorii A+, 392 kategorie A i 607 kategorii B+. Kategorie B przyznano w 120 przypadkach, a C tylko w 16. Oznacza to, że 1105 spośród 1241 ocen, czyli około 89 proc., zakończyło się kategorią B+ lub wyższą.
Możemy oczywiście uznać, że niemal cała polska nauka prezentuje poziom pozwalający na samodzielne nadawanie stopni naukowych i kształcenie kolejnych pokoleń badaczy. Tyle że taki obraz trudno pogodzić z udziałem Polski w najbardziej prestiżowych konkursach grantowych, międzynarodowych rankingach, przełomowych odkryciach i globalnym obiegu naukowym.
Nie oznacza to, że dyscypliny z kategorią B+ prowadzą słabe badania albo że ich pracownicy nie zasługują na uznanie. Oznacza natomiast, że system coraz słabiej różnicuje podmioty o wyraźnie odmiennym dorobku, skali oddziaływania i pozycji międzynarodowej.
Naukowiec i popularyzator nauki Tomasz Rożek trafnie zauważył, że mechanizm mający oddzielać ziarna od plew uznał, iż w polskiej nauce mamy w zasadzie same ziarna. Zwrócił też uwagę na inną osobliwość: część osób, które przez lata nie zostawiały na systemie suchej nitki, po ogłoszeniu wyników zaczęła z dumą informować, jak wysoko zostały przez ten sam system ocenione.
Nie ma w tym zresztą wielkiej tajemnicy. Skoro kategorie decydują o pieniądzach, uprawnieniach i prestiżu, uczelnie muszą walczyć o jak najlepszy wynik. Rektor, dziekan lub dyrektor instytutu, który demonstracyjnie zlekceważyłby reguły gry, działałby na szkodę swojej instytucji. Można jednocześnie krytykować zasady rozgrywek i cieszyć się z wygranego meczu.
Problem zaczyna się wtedy, gdy wynik meczu przedstawiamy jako niepodważalny dowód rzeczywistej jakości całej ligi.
Sprawność menedżerów
W środowisku akademickim nie brak też głosów, że obecna ewaluacja mierzy nie tylko jakość badań, ale w ogromnym stopniu sprawność lokalnych menedżerów, umiejętność dostosowania strategii publikacyjnych do ministerialnych reguł oraz jakość przygotowania danych.
Trzeba jednak podkreślić, że ewaluacja nie jest całkowicie oderwana od jakości. Dobre publikacje, wartościowe projekty i realne oddziaływanie nadal mają znaczenie. Jednak pomiędzy działalnością naukową a końcową kategorią powstała rozbudowana warstwa pośrednia: punkty, limity, udziały jednostkowe, przypisania do dyscyplin, selekcja osiągnięć i opisy wpływu.
W rezultacie oceniana jest nie tylko nauka, ale także zdolność organizacji do zarządzania ewaluacją.
Mniej patologii to jeszcze nie dobry system
Podczas czerwcowego briefingu prasowego, który towarzyszył Zgromadzeniu Plenarnemu Konferencji Rektorów Akademickich Szkół Polskich, wiceministra Karolina Zioło-Pużuk, przedstawiając założenia reformy ewaluacji, stwierdziła, że „nowy model zmniejsza wiele patologii, które zbudował stary model".
W komentarzach pod relacją o briefingu Roman Niestrój, emerytowany profesor Uniwersytetu Ekonomicznego w Krakowie, skwitował krótko: „Czyli bez patologii ani rusz". W innych komentarzach, już pod najświeższym wpisem o wynikach ewaluacji, pytano, co właściwie wynika z kolejnej oceny, jakie decyzje zostaną na jej podstawie podjęte i czy rzeczywiście zmieni się finansowanie nauki.
Ta refleksja trafia w ważny punkt. System, który ma jedynie mniej patologii niż poprzedni, nie musi być jeszcze systemem dobrym. Z drugiej strony oczekiwanie modelu całkowicie odpornego na zachowania oportunistyczne byłoby naiwne. Wszędzie tam, gdzie wskaźnik decyduje o pieniądzach i pozycji, ludzie zaczynają nim zarządzać.
Przeczytaj także: Podziękowanie kierowcy to coś więcej niż grzeczność? Tak tłumaczy to psychologia
Gdy miara staje się celem…
Prawo Goodharta mówi, że gdy miara staje się celem, przestaje być dobrą miarą.
W polskiej nauce obserwowaliśmy to w postaci pogoni za punktami, strategicznego przypisywania pracowników do dyscyplin, publikowania pod potrzeby algorytmu i rozbudowy aparatu administracyjnego zajmującego się symulowaniem wyniku.
Projektowany nowy model ma opierać się na dwóch filarach. Pierwszym ma pozostać ocena działalności w dyscyplinach. Drugim ma być ekspercka ocena potencjału całej instytucji, obejmująca między innymi warunki pracy, rozwój kadr, transfer wiedzy, popularyzację nauki i zdolność prowadzenia długofalowej polityki badawczej. Okres ewaluacji miałby zostać wydłużony z czterech do pięciu lat. Sam rządowy projekt wprost wskazuje dziś na nadmierną koncentrację starego modelu na publikacjach, kosztowną optymalizację i działania kadrowe podejmowane pod wynik.
To kierunek wart rozważenia. Nie wolno jednak zakładać, że dodanie oceny eksperckiej automatycznie rozwiąże problem. Patologie punktowe mogą zostać zastąpione patologiami opisowymi: produkowaniem efektownych strategii, mnożeniem dokumentów, inscenizowaniem polityki kadrowej pod wizytację i uzależnianiem wyniku od nieprzejrzystych ocen ekspertów.
Potrzebny prosty i stabilny model
Nowy model będzie lepszy tylko wtedy, gdy stanie się prostszy, stabilniejszy i bardziej przewidywalny. Reguły muszą być znane przed rozpoczęciem okresu podlegającego ocenie, a nie zmieniane w trakcie gry. Dane, metodologia i sposób kalibracji wyników powinny być jawne. Dyscypliny o podobnej skali muszą być rzeczywiście porównywalne. Minister nie może ręcznie korygować obrazu nauki za pomocą doraźnych zmian punktacji albo politycznych decyzji dotyczących wykazów czasopism.
Przede wszystkim zaś system musi umieć rozróżniać doskonałość od poprawności. Jeżeli prawie wszyscy otrzymują ocenę uprawniającą do niemal wszystkiego, kategoria przestaje być informacją. Staje się administracyjnym warunkiem przetrwania.
Sprawdź również: Poszedł na jagody. Znalazł fragment samolotu RAF
Krótka kołdra nie stanie się dłuższa od mierzenia
Nie będę przekonywał, że ewaluacja jest zbędna. Przeciwnie. Nauka finansowana ze środków publicznych musi być oceniana, a społeczeństwo ma prawo wiedzieć, jakie rezultaty przynosi przeznaczanie pieniędzy na badania.
Ewaluacja powinna pomagać rozpoznawać mocne i słabe strony systemu, podejmować decyzje strategiczne, wspierać najlepsze zespoły i umożliwiać rozwój tym, którzy mają potencjał. Nie może jednak służyć przede wszystkim do podtrzymywania zbiorowego samopoczucia, że system działa idealnie.
Trzeba jasno powiedzieć: nawet najlepszy algorytm nie stworzy pieniędzy, których nie ma w systemie. Może jedynie w mniej lub bardziej sprawiedliwy sposób podzielić zbyt krótką kołdrę. Im bardziej niedofinansowana jest nauka, tym bardziej brutalna staje się walka o każdy parametr wpływający na subwencję. W takich warunkach optymalizacja nie jest aberracją. Jest racjonalną strategią przetrwania.
Bez finansowania ani rusz
Dlatego reforma ewaluacji nie może zastępować rozmowy o finansowaniu nauki. Potrzebujemy obu rzeczy: większych i stabilnych nakładów oraz systemu, który rzeczywiście potrafi ocenić, gdzie powstają badania wybitne, gdzie solidne, a gdzie konieczna jest zmiana.
Nie potrzebujemy systemu, w którym bez patologii ani rusz. Potrzebujemy systemu, w którym bez jakości ani rusz. A jakość wymaga finansowania.
Oczekiwanie, że przy nakładach na naukę (wynoszących obecnie 1,09 proc. PKB) polskie uczelnie dogonią uniwersytety z Ligi Bluszczowej i wskoczą na szczyty Listy Szanghajskiej, jest, mówiąc delikatnie, naiwnością i ogromnym nieporozumieniem.
