Citační bratrstva

13. 05. 2012 | 11:55
Přečteno 8133 krát
Sféra výzkumu je velice zajímavý kout našeho světa. Je to kout důležitý pro další rozvoj země, který se neobejde bez výrazné finanční podpory státu, kde posuzování kvality velké části výsledků není možno svěřit neviditelné ruce trhu. A jde také bohužel o kout, který širší veřejnost moc nezajímá a jehož fungování moc nerozumí.

Poslední roky se hodně věnuji problematice hodnocení a financování vědy. Je to fascinující svět, ale obtížně se o něm na všeobecném blogu, jako je tento, poutavě píše. Aby se totiž člověk dostal k jádru nějakého problému či zajímavosti, musí čtenářům vysvětlit nepřebernou řadu často suchých skutečností. A kdo by se tím vším prokousával, že ano? Tato překážka, ale zároveň potřeba o těchto věcech psát, mě vedly k založení paralelního blogu zaměřeného pouze a právě na zajímavosti z oblasti hodnocení a financování vědy. Pokaždé, když tam něco napíší si říkám, zda by to mohlo zajímat i čtenáře Aktualne.cz. Tentokrát jsem se to rozhodl vyzkoušet. Zde je tedy drobně upravený původní text.

Citační bratrstva
O tom, jak obtížné je zhodnotit vědecký výsledek jsem psal před časem zde. I proto se k hodnocení používají bibliometrické nástroje, které odhalují jaký citační ohlas ten který vědecký článek nebo časopis má. Z citačního ohlasu se nepřímo usuzuje na význam, objevnost a přínosnost. Není to samozřejmě žádná sláva, ale lepší něco než nic.

S rozmachem bibliometrie, jako nástroje odhadování kvality vědeckých výsledků, však rostou mezi vědeckou komunitou motivace k účelovému chování. Rozmáhá se totiž účelové sebecitování. Začíná to primitivně tím, že vědci citují sebe sama (sebecitace autorů). Pokračuje to editory vědeckých časopisů, kteří autory článků tlačí, aby citovali starší články v jejich časopise (sebecitace časopisů). Dnes se praktikuje i pokročilá sofistikovanější verze, kdy se bratrstva časopisů citují záměrně a intenzivně navzájem (citační bratrstva). Uměle tak zvyšují citovanost, která se používá jako měřítko vědeckého ohlasu. Jako exemplární dnes rozeberu příklad litevských akademických "ekonomů". Ale podobné chování už nacházíme i u nás v Česku.

Jak to v branži chodí
Než se podíváme na kobylku litevských časopisů, uvedu krátký úvod pro čtenáře neobeznámené s tím, jak to v oboru ekonomie ve světě chodí. Výsledky špičkového akademického výzkum v oborech ekonomie, finance a podnikání se publikují téměř výhradně formou článků v impaktovaných časopisech (v databázi Web of Knowledge firmy Thomson Reuters). Takových časopisů na světě existují více než tři stovky. Mezi nimi existují obrovské rozdíly v renomé, náročnosti a čtenosti. Publikovat článek v cca top-50 časopisech je pro každého vědce obrovským vědeckým úspěchem. Vědci, kteří se kvalitou svého výzkumu do těchto časopisů dokáží prosazovat opakovaně, dostávají na katedrách špičkových světových univerzit definitivy s platy mnoha set tisíc dolarů ročně (miliony korun ročně). A z těch nejlepších, když vydrží publikovat desítky let a navíc objeví něco v oboru převratného, se rekrutuje naprostá většina nositelů Nobelovy ceny za ekonomii.

Renomé, náročnost a čtenost časopisů, jak jsou vnímané akademickou komunitou, korelují s tzv. impakt faktorem časopisu IF. Mezi špičkové renomované časopisy tak například patří:

#1: Quarterly Journal of Economics (IF=5.9),
#2: Review of Economic Studies (IF=3.1)
#3: Journal of European Economic Association (IF=1.7).

Řadí se podle IF na druhé, 15. a 51. místo mezi více než třemi stovkami ekonomických impaktovaných časopisů. Nevím mimochodem o vědci z celého post-komunistického bloku, nejen z ČR, kdo by v uvedených prestižních časopisech v nedávné době dokázal něco publikovat.

Mezi impaktovanými je však i spousta časopisů nenáročných na kvalitu a objevnost publikovaného výzkumu, s velmi nízkou čteností a minimálním mezinárodním citačním ohlasem. V řadě případů jde o národní časopisy zabývající se ryze místními otázkami s malým mezinárodním přesahem. Jejich redakční rady jsou složeny z akademiků lokálních univerzit, které publikují výzkum jinde nepublikovatelný. Výjimky samozřejmě existují, takže pozor na paušalizace.

Pravda o litevském citačním bratrstvu ekonomů
A teď se podívejme do Litvy. Vydávají tam v oboru ekonomie pět pozoruhodných impaktovaných časopisů:

#1: Technological and Economic Development of Economy (IF=5.6;vydává Vilnius Gemidas Tech U)
#2: International Journal of Strategic Property Management (IF=2.6; vydává dtto)
#3: Journal of Business Economics and Management (IF=3.9; vydává dtto)
#4: Transformations in Business & Economics (IF=1.6; vydává Vilnius Univ)
#5: Inzinerine Ekonomika-Engineering Economics (IF=2.2; vydává Kaunas Univ Technol)

Posuzováno slepě podle IF, patří tato pětka litevských výtečníků do světové extratřídy a zastávají na žebříčku vysoké pozice: třetí, 24. 7. 54. a 32. místo.Pravda je však taková, že tyto litevské časopisy jsou mezinárodně bezvýznamné a publikují články vědecké hodnoty často blízké nule. Svět je téměř nečte a mají tam minimální ohlas. Publikovat v nich článek pochybného vědeckého obsahu není obtížné. Pouze se v článku musí objevit hodně citací dalších čtyř litevských časopisů. Právě intenzivním vzájemným citováním pěti litevských časopisů dosahují extrémně vysokých impakt faktorů. Není těžké to odhalit.

Litevské časopisy dosahují vysokých IF extrémně vysokou sebecitovaností: 24%, 40%, 32%, 47%, 62%. To kontrastuje s minimální sebecitovaností skutečně renomovaných časopisů: 3%, 2%, 3%. To ale není zdaleka vše. Sebecitovanost litevských časopisů je ještě vyšší, pokud zahrneme i citace časopisu ze čtyř spřátelených litevských: 67%, 70%, 80%, 90%, 92%. Díky této sebecitační praxi je vypovídací hodnota IF o kvalitě časopisu nulová.

Nesvádějme ale vinu na bibliometrii. Na vině je ten, kdo jí hloupě používá. Existují řada alternativních ukazatelů, které jsou méně náchylné na citační manipulace než je IF. Například tzv. eigenfactor řadí litevské časopisy správně až na pořadí 144, 184, 171, 185, 190. Renomované světové časopisy řadí eigenfactor na místa 4, 6, 15, což skutečně odpovídá jejich reálné kvalitě, ohlasu a renomé.



Dobrý sluha špatný pán
Bibliometrie je tedy dobrý sluha a špatný pán. Odvrhnout jí by bylo stejně nemoudré jako jí bezmezně věřit. S bibliometrií se prostě musí nakládat obezřetně jako s ostrým nožem nebo kyselinou. Proto bibliometrie představuje informační podporu moderních způsobů hodnocení formou peer-review, kterým se proto říká informované peer-review. Bibliometrické informace, se kterými hodnotící komise pracují, však musí odfiltrovat výše uvedené účelové sebecitační praktiky všech tří řádů a vždy se na ně musí podívat lidské oko a lidský rozum.

Kafemlejnková služba
Tento blog ozřejmuje jeden z řady nedostatků kafemlejnku, což je již zavedený, oprávněné poněkud hanlivý neformální název způsobu hodnocení vědeckých výsledků v ČR. Slepé používání IF pro určení bodového, a tedy finančního ohodnocení článku v impaktovaném časopise, vede k řadě absurdních ocenění řady vědecky bezcenných a nevýznamných článků. A kafemlejnkovému hodnocení se již česká akademická komunita pomalu přizpůsobuje. Rozmáhají se účelové sebecitační praktiky, které pozorujeme v Litvě a vědci také začínají své články posílat do časopisů litevského typu.

Přitom články v impaktovaných časopisech představují jediný druh výsledku, jejichž kusy kafemlejnek primitivně nesčítá, ale snaží se pomocí hodnoty IF zohlednit kvalitu. Metodikou je většina bodů v celkovém Hodnocení přidělována právě za tento druh výsledku. Touto skutečností argumentují obhájci kafemlejnku, když jsou konfrontováni s řadou jeho nedokonalostí a absurdností. Citační manipulace však postupně degradují i hodnocení impaktovaných článků.

Smrtící koktejl pro ekonomy
V některých oborech, jako je například ekonomie a další společenské vědy a nejen ty, již degradace IF propukla naplno i v ČR. Například český ekonomický časopis Zemědělská ekonomika to se sebecitovaností přehnal tak, že byl z databáze WoS vyřazen. Přechodně tak nejdříve jeho zařazení zvýšilo počet českých impaktovaných článků v oboru ekonomie o třetinu, aby s jeho pozdějším vyřazením opět o třetinu poklesl [více zde: 1 | 2 ]. Některé domácí ekonomické časopisy, ale nejen tyto, praktikují nepřirozeně vysokou sebecitovanost. Kafemlejnek navíc v oboru ekonomie rozdává za články v impaktovananých časopisech pouze 1/4 bodů. Zbývající 3/4 uděluje ještě zoufalejším způsobem za mnohdy ještě podivnější vědecké výsledky. Pro tento obor je to smrtící koktejl.

Paradoxně s tím u nás již roky nikdo nic nedělá. Na vládní Radu pro řízení výzkumu sice došla v posledních letech řada upozornění a dokonce řada návrhů, jak tento problém alespoň částečně ošetřit, ale nestalo se nic. Řada vysokých škol, které se Metodiky držet nemusí a mohly by její absurdity eliminovat, včetně problémů se slepým používáním impakt faktoru, bodové hodnocení vlády polykají i s navijákem.

Pokud víte o podobných případech citačních praktik ve svých oborech u nás a v zahraničí, neváhejte zde přidat komentář nebo mi napsat.

Blogeři abecedně

A Aktuálně.cz Blog · Atapana Mnislav Zelený B Baar Vladimír · Babka Michael · Balabán Miloš · Bartoníček Radek · Bartošek Jan · Bartošová Ela · Bavlšíková Adéla · Bečková Kateřina · Bednář Vojtěch · Bělobrádek Pavel · Beránek Jan · Berkovcová Jana · Bernard Josef · Berwid-Buquoy Jan · Bielinová Petra · Bína Jiří · Bízková Rut · Blaha Stanislav · Blažek Kamil · Bobek Miroslav · Boehmová Tereza · Brenna Yngvar · Bureš Radim · Bůžek Lukáš · Byčkov Semjon C Cerman Ivo · Cizinsky Ludvik Č Černoušek Štěpán · Česko Chytré · Čipera Erik · Čtenářův blog D David Jiří · Davis Magdalena · Dienstbier Jiří · Dlabajová Martina · Dolejš Jiří · Dostál Ondřej · Dudák Vladislav · Duka Dominik · Duong Nguyen Thi Thuy · Dvořák Jan · Dvořák Petr · Dvořáková Vladimíra E Elfmark František F Fafejtová Klára · Fajt Jiří · Fendrych Martin · Fiala Petr · Fibigerová Markéta · Fischer Pavel G Gálik Stanislav · Gargulák Karel · Geislerová Ester · Girsa Václav · Glanc Tomáš · Goláň Tomáš · Gregorová Markéta · Groman Martin H Hájek Jan · Hála Martin · Halík Tomáš · Hamáček Jan · Hampl Václav · Hamplová Jana · Hapala Jiří · Hasenkopf Pavel · Hastík František · Havel Petr · Heller Šimon · Herman Daniel · Heroldová Martina · Hilšer Marek · Hladík Petr · Hlaváček Petr · Hlubučková Andrea · Hnízdil Jan · Hokovský Radko · Holásková Kamila · Holmerová Iva · Honzák Radkin · Horáková Adéla · Horký Petr · Hořejš Nikola · Hořejší Václav · Hrabálek Alexandr · Hradilková Jana · Hrstka Filip · Hřib Zdeněk · Hubálková Pavla · Hubinger Václav · Hülle Tomáš · Hušek Radek · Hvížďala Karel CH Charanzová Dita · Chlup Radek · Chromý Heřman · Chýla Jiří · Chytil Ondřej J Janda Jakub · Janeček Karel · Janeček Vít · Janečková Tereza · Janyška Petr · Jelínková Michaela Mlíčková · Jourová Věra · Just Jiří · Just Vladimír K Kaláb Tomáš · Kania Ondřej · Karfík Filip · Karlický Josef · Klan Petr · Klepárník  Vít · Klíma Pavel · Klíma Vít · Klimeš David · Klusoň Jan · Kňapová Kateřina · Kocián Antonín · Kohoutová Růžena · Koch Paul Vincent · Kolaja Marcel · Kolářová Marie · Kolínská Petra · Kolovratník Martin · Konrádová Kateřina · Kopeček Lubomír · Kostlán František · Kotišová Miluš · Koudelka Zdeněk · Koutská Petra Schwarz · Kozák Kryštof · Krafl Martin · Krása Václav · Kraus Ivan · Kroupová Johana · Křeček Stanislav · Kubr Milan · Kučera Josef · Kučera Vladimír · Kučerová Karolína · Kuchař Jakub · Kuchař Jaroslav · Kukal Petr · Kupka Martin · Kuras Benjamin · Kutílek Petr · Kužílek Oldřich · Kyselý Ondřej L Laně Tomáš · Linhart Zbyněk · Lipavský Jan · Lipold Jan · Lomová Olga M Máca Roman · Mahdalová Eva · Máchalová Jana · Maláčová Jana · Málková Ivana · Marvanová Hana · Mašát Martin · Měska Jiří · Metelka Ladislav · Michálek Libor · Miller Robert · Minář Mikuláš · Minařík Petr · Mittner Jiří · Moore Markéta · Mrkvička Jan · Müller Zdeněk · Mundier Milan · Münich Daniel N Nacher Patrik · Nachtigallová Mariana Novotná · Návrat Petr · Navrátil Marek · Němec Václav · Nerudová Danuše · Nerušil Josef · Niedermayer Luděk · Nosková Věra · Nouzová Pavlína · Nováčková Jana · Novák Aleš · Novotný Martin · Novotný Vít · Nožička Josef O Obluk Karel · Ocelák Radek · Oláh Michal · Ouhel Tomáš · Oujezdská Marie · Outlý Jan P Pačes Václav · Palik Michal · Paroubek Jiří · Pavel Petr · Pavelka Zdenko · Payne Jan · Payne Petr Pazdera · Pehe Jiří · Peksa Mikuláš · Pelda Zdeněk · Petrák Milán · Petříček Tomáš · Petříčková Iva · Pfeffer Vladimír · Pfeiler Tomáš · Pícha Vladimír · Pilip Ivan · Pitek Daniel · Pixová Michaela · Plaček Jan · Podzimek Jan · Pohled zblízka · Polách Kamil · Polčák Stanislav · Potměšilová Hana · Pražskej blog · Prouza Tomáš R Rabas Přemysl · Rajmon David · Rakušan Vít · Ráž Roman · Redakce Aktuálně.cz  · Reiner Martin · Richterová Olga · Robejšek Petr · Ruščák Andrej · Rydzyk Pavel · Rychlík Jan Ř Řebíková Barbora · Řeháčková Karolína Avivi · Říha Miloš · Řízek Tomáš S Sedlák Martin · Seitlová Jitka · Schneider Ondřej · Schwarzenberg Karel · Sirový Michal · Skalíková Lucie · Skuhrovec Jiří · Sládek Jan · Sláma Bohumil · Slavíček Jan · Slejška Zdeněk · Slimáková Margit · Smoljak David · Smutný Pavel · Sobíšek Pavel · Sokačová Linda · Soukal Josef · Soukup Ondřej · Sportbar · Staněk Antonín · Stanoev Martin · Stehlík Michal · Stehlíková Džamila · Stránský Martin Jan · Strmiska Jan · Stulík David · Svárovský Martin · Svoboda Cyril · Svoboda Jiří · Svoboda Pavel · Sýkora Filip · Syrovátka Jonáš Š Šebek Tomáš · Šefrnová Tereza · Šimáček Martin · Šimková Karolína · Šindelář Pavel · Šípová Adéla · Šlechtová Karla · Šmíd Milan · Šojdrová Michaela · Šoltés Michal · Špalková Veronika Krátká · Špinka Filip · Špok Dalibor · Šteffl Ondřej · Štěpán Martin · Štěpánek Pavel · Štern Ivan · Štern Jan · Štětka Václav · Štrobl Daniel T T. Tereza · Táborský Adam · Tejkalová N. Alice · Telička Pavel · Titěrová Kristýna · Tolasz Radim · Tománek Jan · Tomčiak Boris · Tomek Prokop · Tomský Alexander · Trantina Pavel · Tůma Petr · Turek Jan U Uhl Petr · Urban Jan V Vacková Pavla · Václav Petr · Vaculík Jan · Vácha Marek · Valdrová Jana · Vančurová Martina · Vavruška Dalibor · Věchet Martin Geronimo · Vendlová Veronika · Vhrsti · Vích Tomáš · Vlach Robert · Vodrážka Mirek · Vojtěch Adam · Vojtková Michaela Trtíková · Vostrá Denisa · Výborný Marek · Vyskočil František W Walek Czeslaw · Wichterle Kamil · Wirthová Jitka · Witassek Libor Z Zádrapa Lukáš · Zajíček Zdeněk · Zaorálek Lubomír · Závodský Ondřej · Zelený Milan · Zeman Václav · Zima Tomáš · Zlatuška Jiří · Zouzalík Marek Ž Žák Miroslav · Žák Václav · Žantovský Michael · Žantovský Petr Ostatní Dlouhodobě neaktivní blogy