Robí si ARRA srandu z filozofických fakúlt?

Akademická  rankingová a ratingová  agentúra (ARRA) už desať rokov  oboznamuje  verejnosť so svojím hodnotením kvality slovenských vysokých škôl, resp. ich fakúlt.  Podľa svojich vlastných slov robí každoročné hodnotenia preto, aby poskytla uchádzačom o štúdium rebríčky kvality,  ktoré im majú pomôcť „rozhodnúť sa pre štúdium  na konkrétnej škole/fakulte.“  A taktiež, chce týmito rebríčkami „iniciovať súťaživosť medzi inštitúciami poskytujúcimi vysokoškolské vzdelávanie a tým aj pozitívne zmeny v slovenskom vysokom školstve.“  Problém je v tom, že ARRA sa v prípade hodnotenia filozofických fakúlt dopúšťa takých omylov,  že uchádzačov o štúdium svojimi rebríčkami kvality skôr zavádza a zo súťaživosti medzi fakultami robí skôr frašku.  (29.4.2015 21:43 - doplnené o konkrétne údaje a výpočty - stiahni dokument v pdf)

Písmo: A- | A+
Diskusia  (36)

Na Katedre filozofie Filozofickej fakulte UCM v Trnave vediem doktorandský seminár z vedeckej metódy a kritického myslenia. Minulý semester som navrhol študentom projekt, v ktorom by sme kriticky preanalyzovali hodnotenie publikačnej činnosti filozofických fakúlt, konkrétne výsledky, ktoré ARRA zverejnila vo svojej správe v roku 2014. Do projektu sa zapojili študenti druhého ročníka systematickej filozofie D. Ivanovič, B. Urblíková a L. Gráfová. Zistili sme, že metodológia, ktorú ARRA vytvorila a ktorú roky používa na hodnotenie publikačnej činnosti filozofických fakúlt (ale aj fakúlt právnických, teologických, pedagogických a umeleckých) je nielen netransparentná, ale obsahuje viaceré principiálne metodologické chyby, ktoré vedú až k absurdným výsledkom. Z toho dôvodu prichádzame s návrhom novej metodológie, ktorá okrem toho, že je transparentná, predovšetkým zohľadňuje špecifiká publikačnej kultúry humanitných odborov na filozofických fakultách. Výsledkom je diametrálne iný rebríček filozofických fakúlt podľa ukazovateľa kvality ich publikačnej činnosti, než rebríček, ktorý zostavila ARRA.

SkryťVypnúť reklamu
Článok pokračuje pod video reklamou

Neviem, na základe čoho sa tohtoroční záujemcovia o štúdium na vysokej škole rozhodovali, prípadne sa ešte rozhodujú, keďže termín podania prihlášok na niektoré fakulty je do konca apríla, kam chcú ísť študovať. Predstavme si tohtoročného maturanta, ktorý má záujem študovať na najlepšej slovenskej filozofickej fakulte niektorý z humanitných odborov ako je napr. história, etnológia, filozofia, či cudzie jazyky. Predpokladajme, že celkom logicky tento maturant nazrel do aktuálneho hodnotenia vysokých škôl z dielne ARRA, aby zistil, ktorá filozofická fakulta je na Slovensku najlepšia. Podľa ARRA je odpoveď jednoznačná - dlhodobo najlepšou filozofickou fakultou na Slovensku je Fakulta humanitných a prírodných vied Prešovskej univerzity (FHPV PU). V ARRA rebríčku kvality filozofických fakúlt sa FHPV PU umiestnila na prvom mieste v roku 2014, ako aj v rokoch 2012, 2010, 2008, 2006, kým v rokoch 2013, 2011, 2009 a 2007 bola hodnotená ako druhá najlepšia. Maturantova voľba by preto mala byť jednoduchá – prihlášku by si mal podať na FHPV PU. 

SkryťVypnúť reklamu

Ibaže je tu jeden „drobný“ problém – náš maturant si nevie vybrať, ktorý humanitný smer má na tejto fakulte vlastne študovať. Pretože najlepšia filozofická fakulta na Slovensku mu ponúka možnosť študovať tri prírodovedné odbory (biológiu, ekológiu, geografie v regionálnom rozvoji), jeden pedagogický odbor (vzdelávanie dospelých - andragogiku) a desiatky učiteľských študijných programov (od učiteľstva biológie a fyziky až po učiteľstvo technickej výchovy a výtvarného umenia), ale žiaden humanitný študijný program. Pred rovnakým problémom by stál aj záujemca o doktorandské štúdium v niektorom z humanitných odborov. Najlepšia filozofická fakulta mu ponúka možnosť vybrať si z troch prírodovedných odborov (všeobecná ekológia a ekológia jedinca a populácií, antropológia, regionálna geografia a regionálny rozvoj) a jedného pedagogického odboru (pedagogika), ale žiadneho humanitného.

SkryťVypnúť reklamu

Je naozaj šokujúce ako môže ARRA fakultu, na ktorej viac ako 90% študijných programov tvoria učiteľské kombinácie a ktorá neponúka ani jeden študijný program v oblasti humanitných alebo spoločenských vied, zaraďovať do skupiny filozofických fakúlt a dokonca ju dávať po všetky tie roky za vzor ostatným filozofickým fakultám. Odpoveď je jednoduchá – ide o dôsledok chybnej metodológie, ktorou ARRA hodnotí filozofické fakulty. V prípade „hybridnej“ FHPV PU by ARRA mala hodnotiť zvlášť prírodovednú časť tejto fakulty (Katedra biológie, Katedra ekológie, Katedra fyziky, matematiky a techniky, Katedra geografie a aplikovanej geoinformatiky, Centrum excelentnosti ekológie živočíchov a človeka) v rámci skupiny prírodovedeckých fakúlt a zvlášť pedagogicko-spoločenskú časť fakulty (Ústav pedagogiky, andragogiky a psychológie ) v rámci skupiny pedagogických fakúlt.

SkryťVypnúť reklamu

FHPV PU má zo všetkých filozofických fakúlt najvyššiu hodnotu (100%) v ukazovateli kvality vedy a výskumu, v ostatných štyroch ukazovateľoch (vzdelávanie, atraktivita štúdia, doktorandi, grantová úspešnosť) dosahuje hodnoty výrazne nižšie. Dá sa predpokladať, že je to práve zásluhou ukazovateľa vedy a výskumu, vďaka čomu je táto fakulta na prvom mieste. 

To by samozrejme neznamenalo nič negatívne, práve naopak. Veda a výskum je aj v zahraničných hodnoteniach univerzít kľúčovým parametrom. Problém je v tom, ako ARRA vypočítava tento ukazovateľ. Ide o aritmetický priemer troch čiastkových ukazovateľov, ktoré sa týkajú vedeckých publikácií - priemerný počet vedeckých publikácií na jedného tvorivého pracovníka fakulty, priemerný počet citácií na jedného tvorivého pracovníka fakulty a priemerný počet citácií na jednu publikáciu. Čo sa týka publikačných výstupov filozofických fakúlt, ARRA čerpá vstupné dáta z dvoch databáz - zo slovenského Centrálneho registra evidencie publikačnej činnosti (CREPČ) a medzinárodnej databázy Web of Knowledge, resp. Web of Science (WoK). CREPČ je verejne prístupný a každý si tieto údaje môže skontrolovať. WoK je prístupný za poplatok, ale prostredníctvom univerzitných knižníc alebo Centra vedecko-technických informácií SR (CVTISR)  je možné sa k tejto databáze veľmi ľahko dostať.

Centrálna databáza citácií na Slovensku zatiaľ nie je vytvorená (uvažuje sa o rozšírení databázy CREPČ aj o evidenciu citácií). ARRA čerpá údaje o citáciách v prípade humanitných vied buď z Web of Knowledge alebo z lokálnych databáz vysokých škôl. V oboch prípadoch je to metodologický problém. Po prvé, databáza Web of Knowledge sa historicky orientovala predovšetkým na časopisecké publikácie z prírodovedných a medicínskych odborov. Humanitné odbory a vedecké monografie nie sú v tejto databáze zatiaľ adekvátne zastúpené. Niet preto divu, že citácie prác z humanitných odborov v prípade autorov zo Slovenska sa vyskytujú vo Web of Knowledge veľmi sporadicky, pokiaľ vôbec. Po druhé, citačné dáta z knižníc slovenských vysokých škôl sú zatiaľ nespoľahlivá. Nie je to len kvôli chýbajúcej štandardnej metodike spracovania a neúplnosti, ale aj kvôli tzv. „citačných bratstvám či mafiám“. Ide o fenomén, keď sa „spriatelení“ autori navzájom citujú vo svojich vedeckých prácach len kvôli tomu, aby im narastali počty citácií, bez ohľadu na samotný obsah vedeckej práce.

Vďaka existencií celoslovenskej databázy CREPČ sú preto počty publikácií oveľa spoľahlivejším kritériom. Samozrejme, treba bodovo rozlišovať medzi rôznymi typmi publikácií (kódy kategórií publikácií sa určujú podľa vyhlášky ministertva školstva). Napríklad 3-stranový príspevok v zborníku z domácej konferencie (kategória AFD) predsa nemôže byť hodnotený rovnako ako 300-stranová monografia v angličtine, publikovaná v renomovanom zahraničnom vydavateľstve (kategória AAA). Žiaľ, nie je zrejmé do akej miery a či vôbec ARRA takéto dôležité rozlíšenie vo svojom bodovaní zohľadňuje (už spomínaná netransparentosť). Z dostupných údajov sa dá skôr predpokladať, že nie. Jediné bodové rozlíšenie, ktoré ARRA vo svojej metodológii v správe z r. 2014 uvádza, je viac ako desaťbodové zvýhodnenie „karentov“ (ako sa na Slovensku v akademickom slangu označujú publikácie evidované v americkej databáze Web of Knowledge) oproti ostatným, „nekarentovaným“ publikáciám. V hodnotení z roku 2014 bodové zvýhodnenie karentov bolo 11,6-násobné, v roku 2013 bolo 12,4-násobné (ako k týmto „magickým číslam“ ARRA dospela je záhadou). 

Jedným z cieľov spomínaného doktorandského projektu bolo zistiť, čo sa ukýva za úspechom FHPV PU, ktorá získala za publikácie najväčší počet bodov (33,6) zo všetkých filozofických fakúlt. Za týmto účelom doktorandi zozbierali údaje o počtoch publikácií pre všetky filozofické fakulty na Slovensku z databázy CREPČ za roky 2008-2013 (evidované k novembru 2014). Výhodou je, že databáza CREPČ eviduje všetky typy vedeckých a odborných publikácií, vrátane tých, ktoré boli zaradené do medzinárodnej databázy Web of Knowledge (karenty). 

Ukázalo sa, že za sledované obdobie šiestich rokov FHPV PU eviduje v CREPČ celkovo 122 publikácií najvyššie hodnotenej kategórie karentov, avšak až v 119 prípadoch ide o prírodovedecké publikácie. Podobne je tomu aj v prípade druhej atypickej filozofickej fakulty, Fakulty humanitných vied Žilinskej univerzity (ďalej FHV ŽU), ktorá bola v hodnotení ARRA na prvom mieste v r. 2013. V prípade tejto fakulty je z 33 zaevidovaných karentov až 32 z odboru matematiky, keďže súčasťou tejto filozofickej fakulty je aj katedra matematiky.

Treba povedať, že ARRA o týchto skutočnostiach dobre vie a má za to, že to vybaví stručnou poznámkou pod tabuľkou celkového hodnotenia: „FHPV PU a FHV ŽU sú fakulty zamerané čiastočne aj na prírodné vedy, výsledky ktorých tvoria aj značnú časť ich vedeckého výkonu“. Teraz už vieme, čo si ARRA predstavuje pod termínmi „čiastočne“ a „značná časť“ – v prípade FHPV PU je to 97,5% a v prípade FHV ŽU je to 97%. 

Možno by sa dalo povedať, že univerzity, ktoré majú ambíciu mať aspoň jednu svoju fakultu na prvom či druhom mieste v hodnotení ARRA takto získavajú jednoduchý návod ako to dosiahnuť. Stačí k tomu administratívne rozhodnutie univerzity. V rámci neho sa buď k filozofickej fakulte priradí jedna či dve katedry z oblasti prírodných vied prípadne matematiky alebo sa k prírodovedeckej fakulte priradí aspoň jedno humanitné pracovisko, vďaka čomu sa fakulta môže nazvať „prírodovedno-humanitná“ a ARRA ju bez väčšieho problému zaradí do skupiny filozofických fakúlt. Takéto fakulty svojimi karentovanými publikáciami z prírodných vied budú v bodovaní ARRA vysoko prevyšovať ostatné filozofické fakulty. 

Aby nedošlo k nedorozumeniu. Neviem, aké dôvody viedli Žilinskú univerzitu, že pri transformovaní prírodovedeckej fakulty na fakultu humanitných vied ponechala na fakulte katedru matematiky a nepresunula ju na niektorú zo svojich technických fakúlt, kam by prirodzene patrila. Taktiež neviem, aké boli dôvody, prečo Prešovská univerzita vytvorila hybridnú fakultu prírodných a humanitných vied. Každá verejnoprávna vysoká škola má zvrchované právo zvoliť si takú štruktúru a také fakulty, aké ona uzná za vhodné. Hovorí sa tomu akademická sloboda. V tom problém nevidím. Kde však problém vidím je metodológia, ktorá nie je schopná túto skutočnosť vo svojom hodnotení férovo zohľadniť.

V druhej etape sme sa na doktorandskom seminári dohodli, že nebudeme len kritizovať, ale pokúsime sa navrhnúť novú metodológiu hodnotenia publikačnej činnosti, ktorá by adekvátnejšie reagovala na publikačné zvyklosti v humanitných odboroch. Ako vstupné dáta sme použili z databázy CREPČ tri hlavné kategórie publikácií (A1, B a C), a v rámci nich sme sa sústredili na 9 podkategórií publikačných výstupov. Každej podkategórii sme prisúdili podľa jej vedeckej relevantnosti určitú bodovaciu váhu. Pri určovaní výšky jednotlivých váh sme zohľadňovali bežnú medzinárodnú a domácu akademickú prax v humanitných odboroch, vrátane aktuálnych kritérií komplexnej akreditácie vysokých škôl. Najvačšiu váhu v našej metodike majú zahraničné monografie (bibliografická kategória AAA = 35). Domáce monografie majú menej než polovičnú hodnotu zahraničných monografií (AAB=15). Kapitoly v zahraničných monografiách (ABC=11,6) sú hodnotené rovnako ako články v zahraničných a domácich karentovaných časopisoch (ADC=ADD=11,6), kým kapitoly v domácich monografiách sú hodnotenie oveľa nižšie (ABD=7,5). Pre zaujímavosť, dohromady bolo za obdobie šiestich rokov evidovaných viac ako 28 tisíc publikačných výstupov, z toho 92% v kategórii C.

Tu treba upozorniť, že sa na Slovensku posledné roky rozmohla prax, evidovať monografie v slovenskom jazyku vydané vo vydavateľstve či dokonca len v tlačiarni v niektorom susednom štáte (hlavne v Českej republike a Poľsku), za zahraničné monografie kategórie AAA. My sme takéto monografie v našom hodnotení preklasifikovali (podobne ako to urobila pri terajšom komplexnom hodnotení aj akreditačná komisia) na kategóriu domácich monografií, ktoré majú podstatne nižšiu váhu. A to isté sme urobili aj v prípade kapitol v týchto monografiách. Za medzinárodné monografie (AAA) sme považovali len monografie v cudzom jazyku vydané v zahraničí. Najnižšiu váhu 1 sme priradili kategórii C publikácií v databáze CREPČ, do ktorej patria okrem iného aj zborníky a príspevky do zborníkov z rôznych domácich či zahraničných konferencií, ktoré tvoria síce najpočetnejšiu časť publikačných výstupov, ale ktoré nie sú v akademických kruhoch hodnotené vysoko, pokiaľ vôbec.

 Nasledujúca tabuľka prináša výsledok nášho hodnotenia. Rebríček filozofických fakúlt je zostavený na základe indikátora IQVP, ktorý je aritmetickým priemerom dvoch iných indikátorov: indikátoru IVP a IQP. Indikátor IVP určuje priemerný počet kvalitnejších publikácií (kategória A1+ kategória B) na jedného tvorivého pracovníka fakulty. Počty tvorivých pracovníkom sme určili na základe údajov z Registra zamestnancov na Portáli vysokých škôl. Indikátor IQP určuje akým dielom sú v publikačných výstupoch fakulty zastúpené kvalitnejšie publikácie: (A1+B)/(A1+B+C). V tabuľke je vyjadrená hodnota indikátoru v percentách, relatívne k fakulte s najvyššou hodnotou v danom indikátore, podobne ako to robí vo svojich tabuľkách ARRA. ARRAp je indikátor vyjadrujúci v percentách bodovanie publikačnej činnosti fakúlt relatívne voči najvyššej hodnote (33,6 bodu = 100%) pridelenej FHPV PU podľa údajov v Prílohe ku Správe ARRA za r. 2014. Posledný stĺpec našej tabuľky zobrazuje o koľko percent sa líši naše hodnotenie publikačnej činnosti od hodnotenia, ktoré urobila ARRA. Tak napr. obe trnavské filozofické fakulty sú v ARRA hodnotení publikačnej činnosti hodnotené výrazne nižšie, FF TU o - 37%, FF UCM o - 30%, podobne aj FF KU v Ružomberku o – 30%. Na druhej strane až o 48% v ARRA hodnotení je vyššie ocenená FHPV PU a o 36% FF UPJŠ v Košiciach.

Hodnotenie filozofických fakúlt na základe ich vedeckých publikácií

za obdobie 2008-2013

Poradie

 

Fakulta

IQVP

 

IVP

IQP

ARRAp

 

ARRAp - IQVP

1.

Filozofická fakulta KU, Ružomberok

100

100

100

70

-30

2.

Filozofická fakulta TU, Trnava

97

99

96

60

-37

3.

Filozofická fakulta UMB, Banská Bystrica

73

67

79

66

-7

4.

Filozofická fakulta UCM, Trnava

65

45

85

35

-30

5.

Filozofická fakulta UPJŠ, Košice,

62

43

81

98

36

6.

Filozofická fakulta UKF, Nitra

61

45

77

58

-3

7.

Filozofická fakulta PU, Prešov

59

51

66

79

20

8.

Filozofická fakulta UK, Bratislava

59

43

75

56

-3

9.

Fakulta humanitných a prírodných vied PU, Prešov

52

64

39

100

48

10.

Fakulta humanitných vied ŽU, Žilina

45

27

63

55

10

Vysvetlivky k tabuľke:

ARRAp = normalizované počty bodov za publikačnú činnosť na 1 tvorivého pracovníka (kritérium VV1) podľa ARRA Príloha k ARRA správe z r. 2014, str. 62. Najvyššia hodnota 33,6 bodu pre FHPV PU predstavuje v tejto tabuľke 100%.

IVP = počet publikácií kategórie A1 a B na 1 tvorivého pracovníka (indikátor priemernej intenzity kvalitnejších publ. výstupov)

IQP = podiel publikácií kategórie A1 a B k publikáciám kategórie C (indikátor pomerného zastúpenia kvalitnejších publ. výstupov v súbore všetkých publikácií) 

IQVP = (IVP+IQP)/2

Podľa našej metodiky hodnotenia publikačnej činnosti je najlepšia FF KU v Ružomberku (100%), ktorá dosiahla maximálne hodnoty v oboch indikátoroch IVP a IQP. Tesne za ňou je na druhom mieste FF TU v Trnave (97%). Na treťom mieste je FF UMB v B. Bystrici (73%). Potom nasleduje skupina piatich filozofických fakúlt s veľmi podobnými hodnotami pohybujúcimi sa v úzkom rozmedzí šiestich percent (65-59%). Na spodku rebríčka sa nachádza FHPV PU a FHV ŽU, kde sa umiestnili tieto fakulty na základe publikácií z humanitných vied, potom, čo sme odpočítali ich publikácie z prírodných vied a matematiky. Samozrejme, adekvátne boli znížené počty tvorivých zamestnancov týchto fakúlt o zamestnancov z nehumanitných katedier. Nás samozrejme potešilo, že v tomto hodnotení sa naša Filozofická fakulta UCM so 65% umiestnila na štvrtom mieste v rebríčku, zatiaľ čo podľa hodnotenia ARRA sa umiestnila na poslednom, desiatom mieste.

Hlavným cieľom tohto doktorandského projektu študentov Filozofickej fakulty UCM v Trnave je vyvolať verejnú diskusiu ohľadne hodnotenia kvality slovenských filozofických fakúlt na vecnom základe. Všetky potrebné detaily tejto novej metodológie hodnotenia publikačnej činnosti filozofických fakúlt, vrátane všetkých vstupných dát, prepočtov a medzivýsledkov budú sú k dispozícii na webovej stránke Filozofickej fakulty UCM. Každá filozofická fakulta si takto môže veľmi jednoducho skontrolovať, či údaje použité v hodnotení sú správne a úplné, či nedošlo k omylu pri výpočtoch. Dá sa očakávať, že navrhnutá nová metodológia hodnotenia, predovšetkým otázka priradenia konkrétnych váh jednotlivým kategóriám publikácií, vyvolá v akademickej obci polemiku. Je možné diskutovať o sofistikovanejšej podobe indikátora IQVP. Taktiež si viem predstaviť, že sa napríklad konsenzuálnym spôsobom vytvorí zoznam renomovaných zahraničných vydavateľstiev a vedeckých časopisov pre humanitné vedy, ktoré nie sú evidované vo WoK, ale publikovanie v nich predpokladá značnú kvalitu a ktoré budú mať bodové ohodnotenie porovnateľné s karentami. Ale to úplne najpodstatnejšie je, aby sme konečne začali o týchto veciach vecne diskutovať. 

Peter Sýkora

Peter Sýkora

Bloger 
  • Počet článkov:  1
  •  | 
  • Páči sa:  0x

Pôvodne som sa venoval biomedicínskemu výskumu (odolnosť mikróbov voči antibiotikám). Dnes sa zaoberám dopadom biomedicínskeho výskumu na spoločnosť (bioetika). A tiež sa zaujímam o všetko ostatné (filozofia). Viac o mne na: Zoznam autorových rubrík:  ŠkolstvoVedaBioetika (veda a spoločnosť)NezaradenéSúkromné

Prémioví blogeri

Jiří Ščobák

Jiří Ščobák

727 článkov
Iveta Rall

Iveta Rall

59 článkov
Martina Hilbertová

Martina Hilbertová

47 článkov
Adam Valček

Adam Valček

14 článkov
Lucia Šicková

Lucia Šicková

4 články
Milota Sidorová

Milota Sidorová

5 článkov
SkryťZatvoriť reklamu