Jedním z klíčových prvků navrhované reformy systému výzkumu, vývoje a inovací je myšlenka stanovení způsobu hodnocení výsledků výzkumu a vývoje čistě mechanické přidělení prostředků státního rozpočtu na výzkum a vývoj podle tohoto hodnocení. Myšlenka je to zdánlivě velmi dobrá, bližší pohled však ukáže značnou naivitu tohoto postupu i diletantismu na straně Rady pro výzkum a vývoj, která se za tento návrh staví. Hodnocení výzkumu lze považovat za jednu z Achillových pat návrhu reformy (který v této metafoře bohužel není dvojnožcem).

Jednotný způsob hodnocení výsledků výzkumu a vývoje má výzkumným institucím přiřazovat body odvozené z počtu uznaných publikací, patentů, případně malého počtu kategorií jiného druhu „výsledků“ výzkumu a vývoje. Vlastní mechanismus tohoto hodnocení není přímo součástí návrhu „reformy“, bude však podstatným způsobem určovat její reálné efekty, protože určí rozdělení prostředků ze státního rozpočtu mezi resorty. Konkrétní podobu stávající metodiky lze nalézt na stránkách Rady pro výzkum a vývoj.

V návrhu Reformy systému výzkumu, vývoje a inovací v ČR, jak jej připravila Rada pro výzkum a vývoj, je navrhovaný systém charakterizován těmito slovy: „Správce rozpočtové kapitoly, přes kterou budou prostředky poskytovány, bude mít možnost rozdělení prostředků upravit (obdobně na úrovni organizace) s tím, že výrazné korekce vedoucí k snížení počtu výsledků povedou samozřejmě ke snížení objemu prostředků v dalších letech. Tímto ekonomickým mechanismem budou řešeny i další problémy ve VaV, od vykazování stejných výsledků až po mnohonásobné pracovní úvazky. Resort, který prostředky na VaV rozdělí organizacím podle takových kritérií, která nepovedou k výsledkům, získá v dalším roce (a bude moci rozdělit) méně prostředků. Stejně tak organizace, ve které budou pracovat lidé s řadou dalších úvazků (kteří budou své výsledky vykazovat u jiných organizací) se budou s těmito organizacemi o výsledky dělit (součet výsledků musí být za ČR 100 %) a budou získávat méně prostředků. Aby úpravy na úrovni rozpočtových kapitol směřovaly k posílení kvalitního a excelentního výzkumu, musí vycházet z hodnocení kvality mezinárodně uznávanou a používanou metodikou. Pro výzkumné organizace, zabývající se plně nebo převážně výzkumem, je jím RAE (Research Assessment Exercise) používána ve vybraných zemích EU (Německo, Holandsko, Itálie aj.). Použité metodiky a výsledky hodnocení musí být zveřejněny.“

V připravované Bílé knize terciárního vzdělávání je mechanické představě rozdělování financí striktně na základě „uplatněných výsledků“ věnována pasáž: „Místo výzkumných záměrů, které byly jakousi soutěží projektů s nejasně definovanými hodnotícími kritérii, bude tato část institucionálního financování VaV nahrazena financováním podle výsledků uplatněných v databázi RIV. Mírnou modifikaci vypočtených hodnot bude moci provést poskytovatel dotace, kterým v případě vysokých škol zůstane MŠMT.“

Takto předkládaná koncepce může na první pohled vypadat logicky a schůdně. Fakticky se v ní však skrývá řada podstatných trhlin, které svědčí o lehce naivním, pokud ne přímo diletantském přístupu jejích autorů.

Dvojí metodika

Prvním problémem je uplatnění dvojí metodiky jako podkladu pro rozdělování výzkumných peněz. Rada pro výzkum a vývoj ukládá jednotlivým správcům rozpočtových kapitol užít metodiku známou ze zahraničních hodnocení výzkumu RAE (Research Assesment Excercise). V žádné z uvedených zemí se pro rozdělení financí na této úrovni nepoužilo mechanického propočtu na bázi nějaké státem provozované databáze „uznávaných výsledků“ (v těchto zemích ostatně stát takové databáze ani neprovozuje), nýbrž odborných komisí ustanovených zvlášť pro jednotlivé vědní disciplíny.

Společným jmenovatelem je respektování různosti jednotlivých vědních oborů – v Itálii se jednalo o 20 panelů, z toho 14 specificky oborových. V Německu počítá rozsáhlá metodika sestavená Vědeckou radou s důrazem na oborové hodnocení, které v každém oboru zohledňuje devět rámcových kritérií ve třech dimenzích (výzkum, výchova, transfer poznatků), základem hodnocení jsou oborově specifické profily a sestavování výsledného ratingu pro jednotlivé obory podle rozdílných kritérií. V Británii dovolovala pravidla pro poskytování podkladů pro RAE přidat dokonce jakékoli další informace, které hodnocené pracoviště považovalo za důležité.

V RAE v jakékoli podobě je hlavní důraz v sumárním hodnocení kladen na tzv. peer review, tedy posouzení externími experty, což je prvek, kterému se Rada pro výzkum a vývoj zcela zřetelně snaží vyhnout. Když se má vyrovnat s námitkami, že navrhovaný systém hodnocení užitím jediného kritéria počtu bodů za uznané výsledky je příliš jednoduchý, kontruje (v poznámkách adresovaných Radě vysokých škol) slovy: „Dochází k záměně návrhu na rozdělování institucionálních výdajů na výzkum a vývoj mezi jednotlivé rozpočtové kapitoly na základě objektivních kritérií s hodnocením jednotlivých organizací poskytovatelem a následného přidělení prostředků, které bude možné modifikovat dle podrobnějšího hodnocení organizací.“ V obou úvodem uvedených citátech z příslušných koncepčních materiálů se však tvrdí, že odchylky v metodice poskytování financí na úrovni resortu od metodiky užívané Radou pro rozdělení peněz resortům mohou být jen velmi malé, rozdíl v metodice používané pro RAE a mechanickým rozdělováním financí mezi resorty je však velmi dramatický. Důsledky divergence různých metodik na různých úrovních nechávají Rady pro výzkum a vývoj zcela chladnou – Rada vyřešila algoritmus nahrazující hrubé politické rozhodování o tom, jak velké mají být jednotlivé kapitoly rozpočtu, a to, zda je vůbec v této situaci reálné uplatnit metody RAE na úrovni jednotlivých institucí, se rozhodla nechat na jiných.

Použitý způsob hodnocení vede ke zkreslení

Druhý problém se týká toho, jak ve zvoleném přístupu pojmout hodnocení výsledků výzkumu. Má-li být tento ukazatel určujícím pro rozdělování financí, je podstatné, aby ve své konstrukci neobsahoval systematické deformace užívaného měřítka. Rada pro výzkum a vývoj se zatím může cítit v pozici chytré horákyně – vymyslela koncepci reformy, která na hodnocení výsledků podstatně závisí, u vlastního hodnocení však říká, že se na jeho parametrech pořád ještě pracuje.

V předchozích letech se způsob započítávání „bodů“ za jednotlivé druhy „výsledků“ lišil rok od roku a průběžně se měnil i obsah státem spravované databáze výsledků výzkumu RIV. Jedním z důsledků toho bylo například to, že se užitné nebo průmyslové vzory, u kterých není při zápisu do rejstříku nijak zkoumána původnost, hodnotily v určité době dokonce více, než domácí patenty, které bez prokázání původnosti udělit nelze. Pokud předpokládáme jistou kontinuitu v systému hodnocení, závisí zcela zásadně na impaktním faktoru (IF) z databáze Web of Science (WoS) firmy Thomson Scientific, kromě toho se zde započítavají udělené patenty a hodnotí se i tzv. autorizovaný software, což je speciální (a věcně spíše směšná) kategorie, do které se vejde jakýkoli program, u kterého autor vykáže splnění naprosto formálních podmínek.

Impaktní faktor přebíraný z databáze WoS je zcela automaticky považován za „mezinárodně užívanou metodiku“. Je nepochybné, že v řadě vědních disciplin (zhruba řečeno těch, ve kterých se udílejí Nobelovy ceny) je to ukazatel dopadu obsahu publikací, který má dobrou vypovídací schopnost, obecně je však spoléhání se na jeho využívání způsobem, který používá Rada vlády pro výzkum a vývoj, přístup, který lze označit za přinejmenším velmi naivní. Metodika používaná Radou pro výzkum a vývoj především neužívá přímo IF jednotlivých posuzovaných článků, ale IF časopisů, ve kterých tyto články byly publikovány.

Díky tomu, že obecně neplatí, že IF článku je přesně průměrovém průměrnému IF časopisu, ve kterém vyšel, zavádí se zde výrazná systematická chyba, na kterou upozorňuje řada autorů pracujících v bibliometrii. Rada pro výzkum a vývoj ve svých odpovědích na upozornění na tento problém reagovala poněkud komickým sdělením: „Ohledně impaktního faktoru – již bylo zpracováno a diskutováno několik desítek modelů řešících uvedený aj. problémy, na jejichž přípravě v KHV RVV se aktivně podílí řada zástupců VŠ.“ Konkrétní analýzy vztahu IF mezinárodních publikací a IF jednotlivých článků tuzemských autorů v nich jsou v tomto vyjádření zaměněny poukazem na kolektivní shodu o tom, jaké výsledky výzkumu hodnotit kolika body, a je evidentní, že o bibliometrických vlastnostech užívaných měřítek nemají členové Rady pro výzkum a vývoj žádné ponětí.

Pozoruhodné je, že o nevhodnosti užívání IF časopisů jako měřítka kvality jednotlivých článků v nich se vyjadřuje velmi rezolutně i nesporná autorita v oboru, duchovní otec přístupu užívaného ve WoS společností Thomson Scientific Eugen Garfield. Ve své přednášce z roku 2005 na mezinárodním kongresu k posuzování pomocí „peer review“ k biomedicinským publikacím napsal: „Používání citačních indexů časopisů namísto skutečných citačních indexů článků pro hodnocení jednotlivých autorů je vysoce spornou záležitostí. Grantové agentury a jiné instituce zodpovědné za vědní politiku si často přejí vyhnout se práci, kterou představuje získání skutečných počtů citací pro jednotlivé články a autory. Údajně nemohou mít čerstvě publikované články dostatek času na to, aby byly citovány, takže je lákavé použít impaktní faktor celého časopisu jako náhradní nástroj hodnocení. Mělo by tomu být tak, že již samo přijetí článku k uveřejnění v časopise s vysokým impaktním faktorem je jakýmsi předpokládaným ukazatelem prestiže. Typicky to vypadá tak, že se při posuzování bibliografie posuzovaného autora nahrazují skutečné počty citací jeho prací impaktními faktory časopisů, ve kterých byly publikovány. Impaktní faktor se tak používá k odhadu očekávaného dopadu jednotlivých článků, což je dost pochybné, uvážíme-li známé zkreslení pozorované u většiny časopisů.“ Rada pro výzkum a vývoj se nicméně bez ohledu na tuto dobře známou kritiku rozhodla využívat přesně způsobu, který sám autor těchto parametrů označuje za pochybný.

Publikační zvyklosti se mezi různými vědními disciplinami výrazně liší

Dalším problémem známým a na datech z jiných zemí dobře demonstrovaným problémem je oborová nevyváženost okruhů publikací, které jsou do databáze WoS zahrnuty. Analýza australské scientometričky Lindy Butlerové to ukazuje na srovnání dat o různém zastoupení různých typů publikací v produkci poznatků v různých vědních oborech, které je zobrazeno na následujícím obrázku:



S ohledem na to, že WoS vybírá pouze časopisy a nepracuje se sborníky nebo technickými zprávami, které jsou časté v aplikovaných vědách, vytváří tyto rozdíly pro některé vědní obory efekt „citačního ledovce“, jak to výstižně nazval švédský odborník na citační a publikační analýzu Ulf Sandström z univerzity v Linköpingu, který se věnoval rozsáhlé analýze podkladových materiálů pro hodnocení vědecké produkce v Austrálii. Pro různé obory je "viditelná část" ledovce zahrnutá do WoS dramaticky rozdílná:



Bibliometrická analýza impaktovaných dat společnosti Thomson Scientific nebyla nikdy v ČR zpracována, a Rada vlády pro výzkum a vývoj se spoléhá pouze na naivní pocit univerzální adekvátnosti tohoto nástroje. Do polohy spíše diletantské se pak tento přístup dostává domácím sběrem odborných periodik, které patří do oborů s nejkřiklavějšími nedostatky v databázích WoS, přes webový formulář. Skutečnost, že společnost Thomson Scientific nemá data, která by byla mezioborově použitelná, upozorňuje v zahraničí například editoriál uveřejněný v britském týdeníku specializovaném na vysoké školství Times Higher Education dne 28. února t.r., který rovněž zdůrazňuje potřebu nezávislé analýzy obsahu dat WoS, a podotýká v té souvislosti, že se v případě WoS jedná o jednu konkrétní komerční službu, jejíž (s ohledem na výše citované upozornění Eugena Garfielda navíc značně nekompetentní) užití pro účely hodnocení výzkumu pro účely rozdělování veřejných prostředků může být bez vyřešení řady souvisejících otázek značně problematické.

Hodnocení aplikovaného výzkumu je ještě problematičtější

Ještě problematičtější je navrhované hodnocení výstupů aplikovaného výzkumu přidělováním bodů za přidělené patenty. Rada pro výzkum a vývoj ztotožnila statistiky patentů užívané jako indikátor inovačních aktivit s kvantifikací „výstupů“, která by měla sloužit jako podklad pro následné přidělování prostředků z veřejných zdrojů. Zvolené hodnocení patentů lze přirovnat počítání publikací bez citačního ohlasu. U patentů se hodnotí pouze typ uděleného patentu, nikoli však to, zda je patentovaná myšlenka pro někoho užitečná, nebo zda prodej patentů získal zpět alespoň takové prostředky, které na jeho vývoj, registraci, případně soudní spory o jeho uznání byly vynaloženy. Pro uplatňování patentů bylo zatím vždy voleno časové okno, které je z praktického hladiska málo použitelné, protože zabezpečení skutečně účinné patentové ochrany získáním patentu evropského nebo mezinárodního trvá v řadě případů dobu delší, než v jaké lze patent po skončení projektu vykázat jako výsledek. Nezanedbatelné poplatky za patentové přihlášky budou mimo jiné uznatelným nákladem pro formální krok generující další veřejné peníze.

Skutečnost, že se v mezinárodních statistických přehledech vyhodnocují počty udělených patentů, není totéž, jako užití těchto dat jako podkladu pro přidělování financí a vytvoření z věcného hlediska nijak žádoucích pobídek pro patentování, které není měřeno užitečností patentu, ale jeho schopností generovat další veřejnou podporu.

Paradoxním důsledkem různě stanovených „metrů“ pro měření disciplin ve WoS dobře zastoupených a aplikovaných věd, jejichž publikační výztupy zde tak dobře reprezentovány nejsou, bude značná diskontinuita mezi základním a aplikovaným výzkumem. Upozornění na tento efekt lze nalézt v některých hodnoceních dopadů systému hodnocení uplatňovaného ve Španělsku.

Hodnocení vědy bez zájmu o korektní podklady

Metodologii hodnocení produkce výzkumu a vývoje by samozřejmě bylo možné opravit tak, aby nevykazovala výše uvedené problémy. Smutným faktem ovšem je, že o metodologicky korektní postup nejeví Rada pro výzkum a vývoj žádný zájem. První místopředsedkyně Rady nedávno na upozornění odvětvových problémů sdělila akademickým činovníkům dvou největších našich univerzit: „Princip použitý ve schválených a platných "Metodikách hodnocení výzkumu a vývoje a jejich výsledků", který až nyní zpochybňujete, je výsledkem práce poradních orgánů Rady a všeobecně dosaženého konsensu při aktivní učasti zástupců veřejných vysokých škol. Dovoluji si podotknout, že řada renomovaných odborníků vysoce ocenila vzájemnou konstruktivní spolupráci a dosažený konsensus. Mimo jiné si Rada vysoce cení aktivní účasti přímého zastoupení Vaší univerzity v této komisi.“

Scientometrické hodnocení je z povahy věci odborný problém, jehož řešení musí vycházet ze matematických resp. statistických vlastností posuzovaných souborů dat. Argumentace dosaženým konsensem bez věcné analýzy je popřením elementárních metod založených na evidenci. Pokud analýzy a data (viz např. monografii Henk F. Moed: Citation Analysis in Research Evaluation, Springer 2005, kde jsou také kvantifikovány rozdíly, na které poukazuje výše zmíněná metafora ledovce, jako rozdíly v zahrnutí citací s rozdíly 90 % u dobře zastoupených disciplin vůči 40 % u disciplin reprezentovaných nejhůř) ukazují na velké oborové rozdíly ve vypovídací hodnotě dat WoS pro různé discipliny a tedy na vážné metodologické problémy nebo chyby zvoleného přístupu hodnocení, nelze dost dobře poukazy na ně sprovodit ze světa argumentem, že je na ně upozorňováno „až nyní“ (navíc to není pravda – v komisi námitky byly, ale nevešly se do „všeobecně přijatého konsensu“).

Kdyby Rada vlády pro výzkum a vývoj fungovala s potřebnou kompetencí již před několika staletími, byla by mohla její první místopředsedkyně v duchu stejné logiky namítat Koperníkovi, že se svou heliocentrickou soustavou přišel příliš pozdě poté, co byl Ptolemaiův systém rozpracován jako rozvedení práce respektovaných odborníků ze skupiny Pythagorejců, zejména Philolaose, Heraclida, Hicetase, Ecphantose a dokonce i Aristarchose ze Samosu, a všechny dílčí diskrepance byly vyrešeny zavedením epicyků rhodským astronomem Hipparchem, pričemž se došlo ke vseobecně dosaženému konsensu za aktivní účasti všech vědeckých kapacit té doby i staletí před tím.

Rada vlády pro výzkum a vývoj byla kdysi koncipována jako poradní orgán vlády, který by měl politikům poskytovat potřebnou odbornou expertízu, kterou v oblasti vědy sami nemají. Zdá se bohužel, že odborná kompetence klesá nepřímo úměrně objemu rozhodovacích pravomocí, které si Rada přisvojuje. Pro reformu systému výzkumu, vývoje a inovací u nás to bohužel není ani trochu dobrý vklad.