M. Topčić: Kljukanje guske / IZVOR: AK MedlArt Beograd
Kako je naizgled bezazlen alat za istraživače i bibliotekare izmenio lice nauke i doveo do katastrofe
Piše Nikola Zdravković
Davne 1902. u Hanoju, u tada kolonijalnom Vijetnamu, francuska uprava je odlučila da se reši sveprisutnih pacova u gradu naizgled jednostavnom i pametnom odlukom: daće novčanu nagradu za svaki rep pacova koji se donese kao dokaz da je životinja ubijena. Međutim, iako su siromašni Vijetnamci donosili veliki broj repova, problem nikako nije nestajao i pacova je i dalje bilo svuda. Francuzi su, štaviše, počeli da primećuju neobičnu pojavu: na ulicama Hanoja pojavili su se pacovi bez repova.
Ljudima je bilo ekonomski najisplativije da pacove hvataju i seku im repove, ali da ih ostavljaju u životu. Uostalom, pacovu će rep porasti ponovo, a osim toga, živ pacov može imati i potomstvo, još gomilu drugih pacova koji će takođe imati repove, što je značilo još novca. Ako je nagrada za istrebljivanje pacova zasnovana na donošenju njihovih repova, najbolja ekonomska odluka nije istrebiti, već upravo suprotno, uzgajati pacove.
Ova pojava se naziva „efekat kobre“, jer se nešto slično desilo u kolonijalnoj Indiji kada su britanske vlasti želele da smanje populaciju otrovnih zmija (rezultat su, naravno, bile uzgajivačnice kobri, iz kojih su nesrećne zmije uspevale i da pobegnu).
„Efekat kobre“ kaže da moramo da pazimo šta se zapravo podstiče određenom politikom: veza između namere i mere nije uvek tako jasna kao što se čini. Jedna takva kobra je, zajedno sa neoliberalnim uslovima u kojima se pojavila, izazvala višedecenijski haos u svetskoj nauci.
Po nekim istraživanjima u svetu se godišnje objavi oko dva i po miliona novih naučnih članaka, i to u gotovo 30.000 istraživačkih časopisa koji sprovode recenziju
Po podacima Republičkog zavoda za statistiku (RZS), u Srbiji živi i radi ukupno oko 16.000 istraživača u svim naučnim oblastima, a tokom 2018. godine objavljeno je više od 28.000 naučnih radova, od čega 16.000 u domaćim, a 12.000 u stranim časopisima. To je gotovo 80 istraživačkih članaka dnevno.
Srbija je naravno mali igrač na globalnom nivou: mada je teško napraviti opšte procene, po nekim istraživanjima u svetu se godišnje objavi oko dva i po miliona novih naučnih članaka, i to u gotovo 30.000 istraživačkih časopisa koji sprovode recenziju. Makar po broju potpisnika radova, istraživača ima između 7 i 9 miliona, mada je mali broj njih, tek svaki peti, autor više od jednog objavljenog rada.
Kakve su ovo brojke? Značajan procenat naučne zajednice kaže da je stanje neodrživo – da je pritisak da se objavi nešto, bilo šta, preveliki; da niko nema vremena da prati razvoj ni sopstvene discipline; da hiperprodukcija istraživanja vodi u hiperspecijalizaciju istraživača, koji postaju sve veći eksperti za sve manje saznajne niše; da se pospešuje friziranje podataka; da naučnici, umesto istraživača, postaju administratori i menadžeri; da se razvila čitava siva industrija predatorskih časopisa koji naplaćuju „uslugu“ objavljivanja, i tako dalje.
Međutim, problemi od kojih pati naučna zajednica nisu baš toliko endemski koliko se čini. U osnovi, ovo je priča o novcu, ali u savremenoj nauci problem finansiranja okružuje jedan teško razumljiv činilac: scijentometrija, to jest, merenje naučnog učinka.
Za oca scijentometrije smatra se Judžin Garfild, američki istraživač koji je daleke 1955. godine imao viziju koju je nazvao „citatni indeks“. Zvuči dosadno, ali je, po Garfildu, indeks trebalo da reši jedan fundamentalni problem tadašnje nauke.
Na jednom mestu, drugim rečima, nalazio bi se kontekst gotovo svakog objavljenog naučnog članka. Zvuči korisno – što i jeste – ali Garfild nikako nije mogao da zna kakvog monstruma je smislio
Istraživači su, naime, u to vreme dobrim delom hodali u mraku: u nedostatku iskustva u određenoj oblasti, kako znati da li je neko istraživanje valjano? Umesto štapa i kanapa ličnih iskustava, poznanstava, recenzija, arhivske pretrage, pa uostalom i pukog osećaja, Garfild je pretpostavio sistem inspirisan indeksom sudskih odluka koji je u to vreme bio nezamenljiv tužiocima, advokatima i sudijama u SAD.
Citatni indeks bi, naime, pratio upotrebu članaka i nudio informacije o citiranosti svim istraživačima: mogli biste brzo i jednostavno da proverite da li neki članak koji koristite ima kritike, razrade, odgovore, da li je već citiran kao izvor i koliko puta. Na jednom mestu, drugim rečima, nalazio bi se kontekst gotovo svakog objavljenog naučnog članka. Zvuči korisno – što i jeste – ali Garfild nikako nije mogao da zna kakvog monstruma je smislio.
Od ideje do realizacije nije prošlo mnogo: Garfild je 1960. osnovao Institut za naučne informacije (ISI), koji 1964. objavljuje prvi opšti naučni citatni indeks nimalo uzbudljivog naslova „Indeks naučne citiranosti“. Ovaj indeks postoji i danas.
Naredne godine, ISI predstavlja još jedan proizvod. Kad već imate bazu citiranosti, što ne biste primenili malo jednostavne matematike? Garfild je uzeo jednu brojku – ukupnu citiranost svih članaka u nekom časopisu u prethodne dve godine – i podelio je sa ukupnim brojem objavljenih članaka u istom izdanju i periodu. Rezultat je nazvao „impakt faktor“: prosečna citiranost novih članaka u nekom časopisu.
O kakvim je vrednostima reč? Impakt faktor od 1 uopšte nije zanemarljiv; to je prosečno jedan citat po članku na svake dve godine. Trenutno, nijedan časopis u Srbiji nema impakt faktor veći od 2, a u globalnim okvirima, renomirani Nature i Science se godinama kreću u vrednostima između 30 i 50, a „pretiču“ ih jedino određeni specijalizovani časopisi, uključujući i unikatnog lidera u ovom polju Cancer Journal for Clinicians koji izdaje Američko društvo za rak, a čiji je impakt faktor po podacima za 2018. godinu bio čak 223,68.
Naivno, Garfild je impakt faktor zamislio kao pomoć specijalizovanim bibliotekarima, koji su na godišnjem nivou birali i naručivali akademsku literaturu. Dok je, u pozadini, naučno izdavaštvo prolazilo kroz transformaciju u unosan biznis, impakt faktor imao je sve odlike jedne kobre.
Mere kao što je impakt faktor pokazale su se kao idealne: lako dostupne, brojčane, uporedne i aktuelne, one su prećutno i lako preuzete kako bi se odvojili „uspešni“ od „neuspešnih“
Dve su stvari pomogle impakt faktoru da od jednostavne mere citiranosti postane, kako ga je ocenio jedan istraživački članak pre par godina, „katastrofa“.
Prva je tehnologija: dolazak digitalne ere omogućio je trenutni pristup hipertekstualnim bazama naučnih članaka, što je iz korena promenilo način na koji se istraživači informišu i koriste podatke (grubo poredeći: zamislite koliko se čitanje starih štampanih enciklopedija razlikuje od upotrebe Vikipedije, gde gotovo svaki podatak ima neposredno dostupan izvor). Ali tehnologija sama po sebi nije problem. Problem je kada se u računicu uključi novac.
Kao i sve druge delatnosti koje zavise od javnih ulaganja, kao što su zdravstvo i obrazovanje, nauka je doživela transformaciju u neoliberalizmu. U vremenu u kojem je sve što nije profitabilno permanentno pred stezanjem finansijskog kaiša, potreba da se nauka kvantifikuje i proceni je jača nego ikad. Treba opravdati, uostalom, ono što se kolokvijalno smatra prosto „naukom“, a što je u zvaničnoj terminologiji dobilo naziv „osnovna istraživanja“ – ona koja se ne vrše sa ciljem neke neposredne primene u privredi.
Mere kao što je impakt faktor pokazale su se kao idealne: lako dostupne, brojčane, uporedne i aktuelne, one su prećutno i lako preuzete kako bi se odvojili „uspešni“ od „neuspešnih“. Uz nagrade i priznanja, citiranost i objavljivanje u periodici visokog impakt faktora postali su mera naučnog uspeha, a za univerzitete, institute, države i druge investitore citiranost je postala defakto opravdanje finansijskih ulaganja. Niko više nije siguran kada i kako, ali utakmica je odavno počela.
Možda biste rekli: pa šta? Što ne bismo ocenjivali naučne časopise uz pomoć impakt faktora? Što se oni ne bi takmičili međusobno – zar to ne bi vodilo ka porasti kvaliteta izdavaštva i, uostalom, nauke same?
Uredništvo časopisa PloS Medicine je 2006. u otvorenom editorijalu priznalo da je pregovaralo o svom impakt faktoru koji se kretao između vrednosti 3 i 11
Odgovor je jednostavan: citiranost zapravo nije stvar (samo) kvaliteta. Između ostalog, citiranost i impakt faktor se mogu frizirati. Kao i siromašni Vijetnamci pre više od jednog veka, časopisi su otkrili da malim uredničkim izmenama mogu poboljšati svoj efektivni „rejting“. Malo poznati časopis FASEB je davne 1989. godine ubedio ISI da prestane da koristi njihove apstrakte sa naučnih konferencija u ukupnom broju članaka – bilo ih je mnogo, a retko su se citirali. Rezultat? Preko noći je impakt faktor časopisa FASEB skočio sa 0,24 na čak 18,3.
FASEB je uradio jednostavnu stvar: u računici impakt faktora, oni su samo drastično smanjili delioca (ukupan broj članaka). Mada ne postoje podaci o prisutnosti ovakvih „pregovora“ između časopisa i citatnih baza, javna je tajna da postoje svakakve manipulacije: neki uvode citate u rubrike gde ih ranije nije bilo, drugi smanjuju broj objavljenih članaka, treći proširuju prostor za pregledne članke koji se tradicionalno citiraju više. Uredništvo časopisa PloS Medicine je 2006. u otvorenom editorijalu priznalo da je pregovaralo o svom impakt faktoru koji se kretao između vrednosti 3 i 11.
Koliko smo se već udaljili od impakt faktora kao mere kvaliteta? Ali tu nikako nije kraj.
Pojedini časopisi zahtevaju od svojih autora da u tekstovima koje šalju uključe neki broj citata iz njihovog izdanja – potpuno besmislena mera osim kao metod veštačkog podizanja svoje citiranosti. Ovakva „samocitiranost“ je posebno podmukla, jer ne mora da bude otvorena. Dovoljno je da istraživači misle da ona postoji, jer je malo šta u nauci toliko lako kao dodati par citata u već gotovo istraživanje. Uostalom, možda to bude uticalo na odluku urednika – i oni su pod pritiskom da „optimizuju“ svoje publikacije; i oni se mere.
Dovijaju se i autori. Popularne su pojave maštovitog naziva „citatni karteli“, u kojima se autori otvoreno ili prećutno udružuju u upornom citiranju jedni drugih, što je gotovo kao usluga quid pro quo, a time se diže citiranost svim uključenim stranama. Ali ne treba kriviti autore, kao što ne treba kriviti ni urednike. Svi su bačeni u utakmicu u kojoj su vrednosti iščašene a na koju nikada nisu zapravo pristali. Oni pošteniji samo mogu da se osećaju kao budale kada im skorovi, kada se sve sabere, ispadnu niži.
I u jednoj malenoj Srbiji, impakt faktor se koristi kao dominantan metod ocenjivanja naučnika i njihovih projekata. Istraživači dobijaju bodove prema poziciji časopisa u kojima su objavljivali članke
Nisu problem samo prevare i manipulacije – nezavisna istraživanja su pokazala da standardizovane citatne mere kao što je impakt faktor, kada se koriste kao mera kvaliteta, po svojoj prirodi utiču na način na koji se nauka vrši, objavljuje i čita. Fokus postaje metrika nasuprot saznanju, dolazi do koncentracije izdavačke moći, ali postoje i drugi kontroverzni problemi. Primera radi, u jednom preglednom radu iz 2013. godine, grupa nemačkih i britanskih autora ukazala je da sve više visokorangiranih časopisa ima sve više loših studija, pa čak i sve više prevara. Grubo govoreći, problem je jednostavan: visoka rangiranost i prestiž privlače bombastičnost nauštrb kvaliteta.
Mnogobrojnih mana impakt faktora svesni su, zapravo, i njegovi autori. Firma Clarivate Analytics, koja je danas vlasnik citatne baze koju je pre nekoliko decenija pokrenuo Judžin Garfild, na sajtu svoje publikacije kao jednu od prvih poruka navodi: „Pazite kako koristite impakt faktor.“
„Impakt faktor ne treba da se koristi ako se ne poznaju mnogostruki fenomeni koji mogu uticati na citiranost“, piše Clarivate. „U slučaju akademske evaluacije istraživača, može biti neprikladno koristiti impakt faktor kako bi se procenila očekivana citiranost objavljenog članka.“
Ali džabe. Taj voz je odavno prošao. I u jednoj malenoj Srbiji, impakt faktor se koristi kao dominantan metod ocenjivanja naučnika i njihovih projekata. Istraživači dobijaju bodove prema poziciji časopisa u kojima su objavljivali članke: najbolje je objaviti u top 10 odsto po impakt faktoru, pa u najboljih 30, pa 60. Jednom kad se sve sabere i proračuna gde je ko šta objavio, ti bodovi utiču na svašta.
Prvo i osnovno: na platu. Primanja istraživača u Srbiji koriste ovaj falični metod merenja uspeha kao koeficijent kojim se množi osnovica koja zavisi od zvanja (koeficijent se kreće od 100 do čak 175 odsto). Ocena istraživača ulazi i u evaluaciju projekata, čiji se kvalitet ceni i po kvalitetu autora, što se opet vraća na impakt faktor. Naravno, nije to jedina mera, ali je po pravilu uticajnija od ređih ili manje bodovanih aktivnosti kao što su pisanje monografija, patentiranje ili uređivanje publikacija.
Jedini razlog zašto impakt faktor opstaje u ulozi koja mu nikada nije bila namenjena jeste transparentnost: lakše je opravdati trošak uz pomoć brojki nego samo uz pomoć recenzija i ocena stručnih komisija. Da li ovakav sistem može da se promeni?
Za neke oblasti, kao što su društvene nauke, ali posebno u humanistici, bilo kakva promena liči na svetlo na kraju dugog i mračnog tunela
Na konferenciji Američkog društva za biologiju ćelija u San Francisku 2012. godine neformalno je usvojen jedan ambiciozni dokument: Deklaracija o ocenjivanju istraživanja (DORA) koja je u međuvremenu postala poznata kao Deklaracija iz San Franciska. Od 19 tačaka Deklaracije najvažnija je prva:
„Ne koristite mere časopisa, kao što je impakt faktor, kao surogat za ocenjivanje kvaliteta pojedinačnih istraživačkih članaka, uspeha istraživača, niti za zapošljavanje, napredovanje ili donošenje odluka o finansiranju.“
Deklaraciju je u međuvremenu potpisalo na hiljade naučnika i nekoliko stotina naučnih i javnih institucija širom sveta. U novembru 2019. godine, pet glavnih holandskih organizacija u svetu naučnih istraživanja i finansiranja – od Asocijacije univerziteta do Kraljevske akademije – najavilo je korenite promene u načinu finansiranja i ocenjivanja holandske nauke; između ostalog, svih pet organizacija se obavezalo na poštovanje pravila koja je preporučila DORA. Slična inicijativa je, po svemu sudeći, na pomolu i u Francuskoj.
Kako bi izgledali finansiranje i ocenjivanje nauke da se ne oslanjaju na citatne indekse, iz ovog ugla nemoguće je i pretpostaviti. Vreme pre impakt faktora ne može nam biti vodič: to je i vreme pre današnjeg CERN-a, pre savremenih medicinskih laboratorija, pre tehnologija kao što je CRISPR i, uostalom, pre digitalne revolucije. Za neke oblasti, kao što su društvene nauke, ali posebno u humanistici, u kojima se istraživači već decenijama žale na iščašenja koja je donela savremena scijentometrija, bilo kakva promena liči na svetlo na kraju dugog i mračnog tunela.
Ali ne treba izgubiti iz vida da je kvantifikacija naučnih postignuća išla rame uz rame sa sveprisutnim politikama štednje u eri neoliberalizma, koja je svoje najoštrije izlete imala upravo u zemljama kao što je Srbija, a ne u Holandiji ili Francuskoj. Koliko god ona bila štetna, sada već ozloglašena scijentometrija je našla idealne pobornike u okruženju gde se moraju precizno, brojčano i neutralno oceniti ne samo uspeh, već i smisao i korist jedne tako neisplative delatnosti kao što je nauka.
Da li se možemo rešiti scijentometrije bez promene te neoliberalne svesti?