Kdo úkoluje a hodnotí vědce (ptá se pan Suchánek)

12. 09. 2008 | 18:11
Přečteno 12321 krát
Minulý týden jsem tady obsáhle hovořil o tom, čím se vlastně vědci zabývají, jaká je jejich motivace, a také o tom, proč u nás nemáme skutečné světové špičky sahající po Nobelově ceně.

V diskusi padly opět trefné otázky (opět od pana Suchánka):

„Kdo je vlastně zadavatelem vaší práce? Jak vzniká zadání? Jaká jsou kritéria pro hodnocení "efektivity" vědců? Existuje vůbec někdo, kdo tu práci je schopen relevantně zhodnotit?“


To, co budu dále říkat, se týká mně blízkých přírodovědeckých oborů (biologie, chemie, fyzika), ale do značné míry to platí asi i pro matematiku, ekonomii a sociologii; u humanitních oborů (filosofie, práva, historie) je to asi trochu jiné.

Situace je jednoduchá v případě firemního výzkumu orientovaného jednoznačně na výzkum a vývoj něčeho dříve či později komerčně využitelného. Tam vedení firmy rozhodne, jaký výzkum je v tomto směru potřebný a nadějný a periodicky hodnotí pokrok. Pokud dospěje k závěru, že se to nadějně nevyvíjí, rozhodne, že se práce na daném projektu zastavují a stanoví nějaký jiný cíl. Výzkumníkům se to většinou moc nelíbí, protože je jim líto práce, kterou do projektu vložili a protože si třeba myslí (a leckdy mají pravdu), že rozhodnutí vedení je chybné. Toto omezení „svobody výzkumu“ je většinou oproti akademické sféře kompenzováno lepšími platy.
Je ovšem pravda, že existují i firmy, kde se dělá základní výzkum téměř stejně svobodně, jako v akademické sféře.

Na univerzitách a v neuniverzitním akademickém výzkumu (víceméně základním) panuje mnohem větší svoboda – badatelé si tam mohou dělat téměř „co chtějí“, co sami považují za důležité a co je baví. Musí se ovšem tematicky vejít do mantinelů toho, co se v dané instituci rámcově dělá (na oddělení savčí genetiky by těžko akceptovali návrh projektu zabývajícího se genetikou rostlin), musí o smysluplnosti svého zamýšleného výzkumu přesvědčit vedoucího nebo vědeckou radu dané instituce, musí také prokázat, že má dostatečné předpoklady k úspěšné práci.

V institucích, které mají dostatek vlastních peněz na pokrytí všech nákladů výzkumu, toto stačí (např. americké ústavy patřící pod National Institutes of Health, některé ústavy financované ze soukromých zdrojů jako britský Cancer Research UK).
Ostatní výzkumné instituce (univerzity, neuniverzitní výzkumné instituce typu AV ČR) většinou výzkumným týmům poskytují pouze laboratoře, více či méně základní vybavení, společné servisy, větší či menší část platů, ale na vlastní výzkumné náklady (chemikálie, pomůcky, peníze na cesty na konference, větší či menší část platů) si musí badatelé sehnat peníze z externích zdrojů (zpravidla „granty“ od různých státních, mezinárodních či soukromých institucí). Tam soutěží s větší či menší konkurencí jiných návrhů a o výhře v této soutěži rozhodují komise odborníků, většinou na základě posudků specialistů na danou velmi úzkou problematiku). Netřeba říkat, že zde bývá kámen úrazu – někdy lze pochybovat o objektivnosti a kvalitě posuzovatelů (obvykle se to tak jeví těm, kteří neuspějí, zatímco ti úspěšní jsou s objektivností a odborností komisí a recenzentů spokojeni...).

Většině výzkumných institucí (jako ústavům AV) ty základní „institucionální“ peníze, které dostávají přímo, nestačí na pokrytí nejnutnějších provozních nákladů, a tak vybírají z těch grantů získaných jejich zaměstnanci určité procento jako tzv. „režijní prostředky“, nebo anglicým žargonem „overheady“. U nás to bývá 10-15% z těch grantových peněz, v USA někdy až 80%.

Takže – vrátíme-li se k původní otázce, v akademickém základním výzkumu to „zadání“ vlastně nevzniká shora, ale naopak přicházejí návrhy „zdola“ od vědců samotných a ve více či méně objektivním procesu jsou vybírány ty nejperspektivnější.

Při hodnocení výzkumných projektů (většinou příslušnou odbornou komisí instituce, která rozděluje výzkumné granty) se obvykle nejvíce hledí na to, co už uchazeč dokázal – v jak prestižních časopisech se mu podařilo předchozí práci publikovat. Mohlo by se zdát, že toto diskriminuje mladé lidi, kteří mají svěží myšlenky, ale neměli dosud příležitost něco udělat.
Není tomu tak – ve vědě je dobře zaběhnutý systém postupné vědecké výchovy – doktorand (tedy postgraduální student, který se snaží o získání doktorského titulu) se zpravidla během své experimentální dizertační práce pod vedením svého školitele stane spoluautorem jedné nebo více publikací. Potom jde na několikaletý tzv. postdoktorální pobyt pokud možno do co nejlepší světové laboratoře.
Tam už pracuje poměrně samostatně, ale stále pod vedením a dohledem zkušeného šéfa laboratoře. Když je šikovný (a má aspoň trochu štěstí), stane se opět (spolu)autorem několika kvalitních publikací.

A v této situaci po skončení „postdoku“ se pak může ucházet o vlastí projekt podporovaný nějakou grantovou agenturou. Čím působivější má svůj seznam publikací, tím větší má šanci grant dostat. A pokud je opět úspěšný, má definitivně zaděláno na nadějnou životní vědeckou kariéru. Musí se ale pořád ohánět – žádat o nové granty, prokazovat, že umí formulovat kvalitní projekty a dokládat, že v poměrně nedávné minulosti byl vědecky produktivní a prokazatelně úspěšně řešil předchozí grantové projekty. Někdy je to až trochu kontraproduktivní – i velmi dobří badatelé „ztrácejí“ spoustu času sepisováním grantových projektů a tedy shánění peněz, místo aby se věnovali vlastní vědecké práci. Ale myslím, že celkově u tohoto kompetitivního a „tržního“ systému převládají pozitiva – zabraňuje se tak do značné míry zlenivění a ztrátě produktivity.
A komu se nelíbí být vedoucím skupiny a shánět peníze, může být řadovým členem týmu nebo jít pracovat k nějaké firmě.
Poznamenal bych ještě, že docela velkým problémem je to, že u nás neexistuje žádný dobře definovaný systém zakládání nových skupin (a zanikání starých, málo produktivních) – o tom ale třeba zase jindy...

Jak už jsem řekl, za základní kritérium vědecké efektivnosti se považují publikace v prestižních mezinárodních časopisech. Prestižnost odborných časopisů v zásadě určuje jejich tzv. impaktový faktor (IF), který vyjadřuje, jaký ohlas („citovanost“) má v odborné veřejnosti průměrný článek publikovaný v daném časopisu. Čím prestižnější je nějaký časopis, tím obtížnější je publikovat v něm (je tam velká konkurence velmi kvalitních autorů a vejde se tam pouze omezený počet článků – u těch nejlepších třeba jen jeden z padesáti nabídnutých). V mém oboru mají špičkové časopisy IF přes 20, solidní cca 5-10, slabé pod 2.

Z toho, v jak kvalitních časopisech a jak často daný pracovník nebo tým publikuje, se dají odvozovat různé semikvantitativní „publikační body“ a dá se tedy poměrně snadno srovnávat, kolik takových bodů získali různí pracovníci, týmy nebo ústavy. Pokud třeba někdo za rok měl za rok po jedné publikaci v časopisech s IF 10, 5 a 3, může mít v nejjednodušším takovém kvantitativním bodovacím systému celkem 18 bodů. Pokud jeho kolega ze stejného oboru bude mít dvě publikace v podřadném časopise s IF 1, bude mít jen 2 body.
Je jasné, že se okamžitě vynoří řada otázek – jak se mají hodnotit publikace, na kterých je několik (nebo dokonce mnoho) spoluautorů, jaký podíl na výsledcích mají jednotliví spoluautoři, jestli tam někdo nebyl jen nezaslouženě „připsán“, atd.
Nelze také jednoduše srovnávat mezi obory – špičkový časopis v některém oboru může mít IF 20, v jiném jen 4 (to je dáno např. velikostí oboru, citačními zvyklostmi, atd).
Ale i tyto problémy se dají aspoň trochu „ošetřit“ různými úpravami respektujícími počet autorů, oborové zvláštnosti nebo i to, že v mnoha oborech bývá první autor ten, který udělal nejvíc experimentální práce, zatímco poslední je ten, který projekt vymyslel a vedl. Je ovšem třeba mít na paměti, že tyto snahy objektivně a kvantitativně poměřovat vědeckou produktivitu mají své meze, že je třeba „moudře“ zhodnotit případné výjimky a nesrovnalosti a „úlety“.

Jsem však (na rozdíl od mnoha mých kolegů) přesvědčen, že takovéto snahy alespoň zhruba a v prvním přiblížení měřit vědeckou produktivitu jsou správné a výsledky mohou sloužit jako cenné podklady pro komplexnější a podrobnější zhodnocení. Rozhodně jsou tyto nedokonalé metody lepší než ještě mnohem nedokonalejší subjektivní metody hodnocení („Prof. X.Y. je přece všeobecně znám jako špičkový vědec“ – takový výrok může být výrazně ovlivněn různými mimovědeckými dovednostmi dané „hvězdy“, jako je schopnost dobře (třeba i neopodstatněně) se prezentovat na veřejnosti, „politický“ vliv ve vědecké komunitě, atd.).

Je velmi důležité, aby se jako měřítko produktivity zásadně nepoužíval pouze samotný počet vědeckých publikací (metoda „kus jako kus“), jak tomu bývalo (a leckde snad doposud je). Jedna publikace v časopise o IF 10 totiž v průměru reálně přinese více vědeckých poznatků než 10 publikací v časopise o IF 1. Je zcela zásadní zabránit samoúčelnému „psaní publikací pro publikace“ (nebo „patentů pro patenty“) – toho se nejlépe dosáhne právě tlakem na publikování v hodnotných, vysokoimpaktových časopisech – do nich se totiž díky náročnému recenznímu řízení a velké konkurenci zpravidla (až na výjimky) žádné samoúčelné hlouposti nedostanou.

Ať už máme k takovým přístupům kvantitativního hodnocení vědců jakékoli kritické připomínky, je fakt, že prakticky všichni přírodovědečtí nobelisté z posledních nejméně 20 let by při takovém hodnocení dopadli velmi dobře – existuje tedy jasná korelace mezi takovými metodami hodnocení a „skutečnou kvalitou“, ať už tento výraz znamená cokoli. tato korelace je ovšem statistická a nikoli absolutní.

Je ovšem důležité pamatovat, že tyto „scientometrické“ rozdíly mezi jednotlivými vědci a tými mají smysl pouze pokud jsou poměrně velké. Pokud má někdo těch publikačních bodů 50 a jiný 70, neznamená to nic. Pokud ale je ten rozdíl řádový, jde zřejmě o skutečně výrazný rozdíl v kvalitě a produktivitě.

Dalším podobným kvantitativním kritériem hodnocení je počítání celkového počtu „citací“ (t.j. ohlasů, formalizovaných zmínek v jiných publikacích, které znamenají, že si práce nekdo všiml a byla pro něj více či méně významná), které získají publikace daného badatele za určité období (např. 5 nebo 10 let, popř. za celý život). Takové hodnocení je asi korektnější než hodnocení pouze podle kvality (IF) a počtu publikací, protože ukazuje skutečný význam daného vědce pro výzkumnou komunitu, ne jen očekávaný přínos. nevýhodou ovšem je, že tento přístup informuje jen o více či méně vzdálené minulosti, jelikož zpravidla trvá několik let, než určitá práce získá zasloužený ohlas.
Opět platí, že významné jsou pouze poměrně velké rozdíly v citovanosti srovnávaných vědců (a opět pouze v rámci podobných oborů, protože citační zvyklosti jsou v různých oborech různé).

Důkladnějším způsobem hodnocení je tzv. peer review - tedy hodnocení (zpravidla výzkumných týmů nebo celých ústavů) komisí odborníků, kteří by jednou za několik let (v AV je to jednou za 5 let) měli zhodnotit zevrubně všechny aspekty činnosti hodnoceného týmu nebo instituce a vydat doporučení. Kámen úrazu je samozřejmě v kvalitě těchto komisí a v tom, kdo je jmenuje. Dá se zařídit opravdu přísné hodnocení na slovo vzatými mezinárodními odborníky (takto to funguje ve většině nejvyspělejších západoevropských zemí), nebo se to dá pojmout jako pseudohodnocení „partou kamarádů“, jejichž úkolem je hodnocenou instituci vychválit jako světově špičkovou. I to se může stát... Na případné otázky „jak je tomu u nás“ předem odpovídám - „něco mezi oběma uvedenými extrémy“ - s tím, že se to přece jen čím dál víc přibližuje těm „západním“ standardům.

Takže – kdybych si ušetřil celé to dlouhé povídání, mohl bych panu Suchánkovi stručně odpovědět – vědci (v akademickém výzkumu) se víceméně úkolují i hodnotí (navzájem) sami, a to na mnoha úrovních (posuzování projektů, publikací, periodická institucionální hodnocení). Myslím, že to většinou funguje docela dobře. Také si myslím, že by u nás neškodilo v tom hodnocení trochu přitvrdit a vyvozovat přísnější důsledky.



Blogeři abecedně

A Aktuálně.cz Blog · Atapana Mnislav Zelený B Baar Vladimír · Babka Michael · Balabán Miloš · Bartoníček Radek · Bartošek Jan · Bartošová Ela · Bavlšíková Adéla · Bečková Kateřina · Bednář Vojtěch · Bělobrádek Pavel · Beránek Jan · Berkovcová Jana · Bernard Josef · Berwid-Buquoy Jan · Bielinová Petra · Bína Jiří · Bízková Rut · Blaha Stanislav · Blažek Kamil · Bobek Miroslav · Boehmová Tereza · Brenna Yngvar · Bureš Radim · Bůžek Lukáš · Byčkov Semjon C Cerman Ivo · Cizinsky Ludvik Č Černoušek Štěpán · Česko Chytré · Čipera Erik · Čtenářův blog D David Jiří · Davis Magdalena · Dienstbier Jiří · Dlabajová Martina · Dolejš Jiří · Dostál Ondřej · Dudák Vladislav · Duka Dominik · Duong Nguyen Thi Thuy · Dvořák Jan · Dvořák Petr · Dvořáková Vladimíra E Elfmark František F Fafejtová Klára · Fajt Jiří · Fendrych Martin · Fiala Petr · Fibigerová Markéta · Fischer Pavel G Gálik Stanislav · Gargulák Karel · Geislerová Ester · Girsa Václav · Glanc Tomáš · Goláň Tomáš · Gregorová Markéta · Groman Martin H Hájek Jan · Hála Martin · Halík Tomáš · Hamáček Jan · Hampl Václav · Hamplová Jana · Hapala Jiří · Hasenkopf Pavel · Hastík František · Havel Petr · Heller Šimon · Herman Daniel · Heroldová Martina · Hilšer Marek · Hladík Petr · Hlaváček Petr · Hlubučková Andrea · Hnízdil Jan · Hokovský Radko · Holásková Kamila · Holmerová Iva · Honzák Radkin · Horáková Adéla · Horký Petr · Hořejš Nikola · Hořejší Václav · Hrabálek Alexandr · Hradilková Jana · Hrstka Filip · Hřib Zdeněk · Hubálková Pavla · Hubinger Václav · Hülle Tomáš · Hušek Radek · Hvížďala Karel CH Charanzová Dita · Chlup Radek · Chromý Heřman · Chýla Jiří · Chytil Ondřej J Janda Jakub · Janeček Karel · Janeček Vít · Janečková Tereza · Janyška Petr · Jelínková Michaela Mlíčková · Jourová Věra · Just Jiří · Just Vladimír K Kaláb Tomáš · Kania Ondřej · Karfík Filip · Karlický Josef · Klan Petr · Klepárník  Vít · Klíma Pavel · Klíma Vít · Klimeš David · Klusoň Jan · Kňapová Kateřina · Kocián Antonín · Kohoutová Růžena · Koch Paul Vincent · Kolaja Marcel · Kolářová Marie · Kolínská Petra · Kolovratník Martin · Konrádová Kateřina · Kopeček Lubomír · Kostlán František · Kotišová Miluš · Koudelka Zdeněk · Koutská Petra Schwarz · Kozák Kryštof · Krafl Martin · Krása Václav · Kraus Ivan · Kroupová Johana · Křeček Stanislav · Kubr Milan · Kučera Josef · Kučera Vladimír · Kučerová Karolína · Kuchař Jakub · Kuchař Jaroslav · Kukal Petr · Kupka Martin · Kuras Benjamin · Kutílek Petr · Kužílek Oldřich · Kyselý Ondřej L Laně Tomáš · Linhart Zbyněk · Lipavský Jan · Lipold Jan · Lomová Olga M Máca Roman · Mahdalová Eva · Máchalová Jana · Maláčová Jana · Málková Ivana · Marvanová Hana · Mašát Martin · Měska Jiří · Metelka Ladislav · Michálek Libor · Miller Robert · Minář Mikuláš · Minařík Petr · Mittner Jiří · Moore Markéta · Mrkvička Jan · Müller Zdeněk · Mundier Milan · Münich Daniel N Nacher Patrik · Nachtigallová Mariana Novotná · Návrat Petr · Navrátil Marek · Němec Václav · Nerudová Danuše · Nerušil Josef · Niedermayer Luděk · Nosková Věra · Nouzová Pavlína · Nováčková Jana · Novák Aleš · Novotný Martin · Novotný Vít · Nožička Josef O Obluk Karel · Ocelák Radek · Oláh Michal · Ouhel Tomáš · Oujezdská Marie · Outlý Jan P Pačes Václav · Palik Michal · Paroubek Jiří · Pavel Petr · Pavelka Zdenko · Payne Jan · Payne Petr Pazdera · Pehe Jiří · Peksa Mikuláš · Pelda Zdeněk · Petrák Milán · Petříček Tomáš · Petříčková Iva · Pfeffer Vladimír · Pfeiler Tomáš · Pícha Vladimír · Pilip Ivan · Pitek Daniel · Pixová Michaela · Plaček Jan · Podzimek Jan · Pohled zblízka · Polách Kamil · Polčák Stanislav · Potměšilová Hana · Pražskej blog · Prouza Tomáš R Rabas Přemysl · Rajmon David · Rakušan Vít · Ráž Roman · Redakce Aktuálně.cz  · Reiner Martin · Richterová Olga · Robejšek Petr · Ruščák Andrej · Rydzyk Pavel · Rychlík Jan Ř Řebíková Barbora · Řeháčková Karolína Avivi · Říha Miloš · Řízek Tomáš S Sedlák Martin · Seitlová Jitka · Schneider Ondřej · Schwarzenberg Karel · Sirový Michal · Skalíková Lucie · Skuhrovec Jiří · Sládek Jan · Sláma Bohumil · Slavíček Jan · Slejška Zdeněk · Slimáková Margit · Smoljak David · Smutný Pavel · Sobíšek Pavel · Sokačová Linda · Soukal Josef · Soukup Ondřej · Sportbar · Staněk Antonín · Stanoev Martin · Stehlík Michal · Stehlíková Džamila · Stránský Martin Jan · Strmiska Jan · Stulík David · Svárovský Martin · Svoboda Cyril · Svoboda Jiří · Svoboda Pavel · Sýkora Filip · Syrovátka Jonáš Š Šebek Tomáš · Šefrnová Tereza · Šimáček Martin · Šimková Karolína · Šindelář Pavel · Šípová Adéla · Šlechtová Karla · Šmíd Milan · Šojdrová Michaela · Šoltés Michal · Špalková Veronika Krátká · Špinka Filip · Špok Dalibor · Šteffl Ondřej · Štěpán Martin · Štěpánek Pavel · Štern Ivan · Štern Jan · Štětka Václav · Štrobl Daniel T T. Tereza · Táborský Adam · Tejkalová N. Alice · Telička Pavel · Titěrová Kristýna · Tolasz Radim · Tománek Jan · Tomčiak Boris · Tomek Prokop · Tomský Alexander · Trantina Pavel · Tůma Petr · Turek Jan U Uhl Petr · Urban Jan V Vacková Pavla · Václav Petr · Vaculík Jan · Vácha Marek · Valdrová Jana · Vančurová Martina · Vavruška Dalibor · Věchet Martin Geronimo · Vendlová Veronika · Vhrsti · Vích Tomáš · Vlach Robert · Vodrážka Mirek · Vojtěch Adam · Vojtková Michaela Trtíková · Vostrá Denisa · Výborný Marek · Vyskočil František W Walek Czeslaw · Wichterle Kamil · Wirthová Jitka · Witassek Libor Z Zádrapa Lukáš · Zajíček Zdeněk · Zaorálek Lubomír · Závodský Ondřej · Zelený Milan · Zeman Václav · Zima Tomáš · Zlatuška Jiří · Zouzalík Marek Ž Žák Miroslav · Žák Václav · Žantovský Michael · Žantovský Petr Ostatní Dlouhodobě neaktivní blogy