Scientometria omoară România

Evaluarea periodică a cadrelor didactice este un proces în mod evident necesar pentru a permite comparaţia şi evoluţia profesională a fiecăruia. Numai că felul în care se realizează această evaluare nu face decât să transforme activitatea cadrelor didactice într-o goană după acumularea de puncte, cu ignorarea valorii reale a contribuţiilor proprii sau ale celorlaţi. Evident, e foarte greu de spus ce este această valoare reală şi cum se măsoară ea, după cum e adevărat că sistemele tradiţionale se bazau foarte mult pe reputaţie – criteriu volatil şi lipsit de obiectivitate. Dar evaluarea unei lucrări ştiinţifice după principiile aşa-zis scientometrice, care iau în calcul nu contribuţia ca atare, ci locul unde aceasta e publicată, nu dovedeşte mai multă obiectivitate şi permite apariţia unei corupţii instituţionalizate.

Moda scientometriei a apărut de decenii bune, mai ales în mediul anglo-saxon şi cu deosebire în ştiinţele exacte, acolo unde comunicarea ştiinţifică se realizează îndeosebi prin articole apărute în publicaţii de specialitate. Din momentul în care conţinutul acestor publicaţii a putut fi accesibil on line, prin intermediul bazelor de date care ofereau contra cost posibilitatea de a consulta revistele, s-au pus la punct sisteme care să înregistreze de câte ori un autor este citat şi în ce reviste. Publicarea într-o revistă accesibilă prin intermediul unei baze de date oferă vizibilitate mult mai mare unui autor decât revista tradiţională, pe hârtie, permiţând totodată aplicarea la respectiva contribuţie a aşa-numitului factor de impact, care e ataşat revistei[1]. Cunoaşterea progresează mai bine şi mai repede, reputaţiile ştiinţifice sunt aşezate pe criteriile absolut obiective al citărilor şi ale factorului de impact. Ceea ce e doar aparent, după cum ne arată multiplicarea la nivel internaţional a criticilor acestui tip de evaluare, care pleacă de la locul revistei într-o ierarhie şi nu de la valoarea propriu-zisă a contribuţiei publicate.

Acest sistem a fost introdus şi în România, pentru evaluarea cercetătorilor, dar mai ales a cadrelor didactice, cu o insistenţă specială pe articolele apărute în reviste indexate în baza de date ISI/Thompson-Reuters. Thompson-Reuters este un institut privat american, care a achiziţionat în urmă cu câţiva ani importanta bază de date ISI[2], pe care o gestionează de o manieră foarte eficientă şi profitabilă. Conform site-ului oficial, baza de date indexează peste 16 000 de jurnale ştiinţifice (12 000 dintre publicaţiile cu cel mai înalt factor de impact), din peste 250 de discipline[3]. Profitul se obţine din vânzarea accesului la aceste publicaţii către cei interesaţi. Indexarea publicaţiilor în ISI este făcută după criterii bine precizate, care se referă la regularitatea apariţiei revistei, numărul de exemplare publicate, folosirea limbii engleze cel puţin în rezumate, existenţa unui sistem de peer-review al articolelor. În afara sistemului de peer-review, care presupune ca articolele să fie analizate de specialişti înainte de a fi publicate, toate criteriile indexării sunt de natură strict formală, comercială chiar. Fără a se preciza oficial, politica de indexare a unei noi publicaţii este legată şi de numărul de abonamente la baza de date provenite din ţara în care apare publicaţia care solicită indexarea. Adică o revistă din România, unde numărul de abonamente la baza ISI este relativ mic, are mult mai puţine şanse de indexare decât una din Marea Britanie.

Consecinţa absolutizării criteriului articolelor publicate în reviste indexate ISI este ignorarea brutală a diferenţelor dintre discipline şi arii disciplinare care fac apel la mijloace diferite de comunicare a rezultatelor cercetării. Dacă ştiinţele exacte, o parte a celor inginereşti şi a celor sociale apelează la articole ca formă esenţială de comunicare, domeniile umaniste privilegiază cărţile, iar domeniile IT conferinţele. O evaluare formală, scientometrică, aşa cum e cea bazată pe ISI şi pe factorul de impact privilegiază ştiinţele exacte şi aplicate, iar între acestea chimia, fizica, biologia. Efectul negativ se constată cel mai bine atunci când este vorba de competiţii pentru obţinerea unor granturi de cercetare. Un caz frapant este cel al grilei de evaluare propusă în 2010 de fostul CNCSIS, aplicabilă tuturor cercetătorilor şi universitarilor din toate disciplinele, care permitea doar punctarea articolelor ISI, a brevetelor de invenţie şi a produselor. Când a fost întrebat ce pot face autorii de cărţi, un înalt responsabil CNCSIS a spus să le declare ca produse. Doar că pentru un articol ISI se primeau 20 de puncte, iar pentru o monografie de câteva sute de pagini asimilată cu un produs – numai 2 puncte. In această logică, este evident unde urmau să meargă în integralitatea lor fondurile pentru cercetare.

Cum spuneam, între timp grilele de evaluare au devenit aparent ceva mai nuanţate, pentru umanioare fiind acceptate şi articolele publicate în reviste indexate în ERIH. Doar că această idee generoasă, de a realiza o bază de date europeană care să fie un soi de echivalent al ISI pentru ştiinţele umaniste, pune încă foarte multe probleme, din lipsă de fonduri (nu e susţinută de un institut particular de tipul Thompson-Reuters) și datorită continuei reorganizări[4].

Ce alte probleme ridică evaluarea pe criterii pur scientometrice? Mai întâi citările, factorul aparent absolut obiectiv, pot fi manipulate pentru a ridica factorul de impact al unei reviste. S-a descoperit că mulţi editori le cer autorilor care doresc să publice în revista lor să citeze alte articole apărute în cele două numere precedente, iar mulţi autori folosesc sistemul autocitărilor. Dacă aceste fenomene pot fi uneori descoperite, este mai greu de urmărit sistemul citărilor încrucişate, care presupune că mai mulţi autori se citează în mod sistematic între ei, pentru a mări factorul de impact al fiecăruia (fiindcă există şi un soi de factor de impact individual).

De asemenea, în ştiinţele exacte şi ale naturii  există sistemul publicării de articole semnate de întreaga echipă care a contribuit la realizarea cercetării, ceea ce a condus la o ierarhizare, calitatea de prim autor aducând cele mai multe puncte. Aici există o plajă nesfârşită deschisă negocierii, presiunii, exploatării. O formă benignă este înţelegerea între membrii echipei de a-l trece drept prim autor pe cel care are mai mare nevoie de un punctaj ridicat în acel moment, în vederea promovării sau a dobândirii unui post, şi asta indiferent de rolul pe care l-a avut în realizarea cercetării sau în redactarea articolului. La viitorul articol, ordinea autorilor se schimbă potrivit aceloraşi principii. O formă generalizată este trecerea întregului colectiv al unui laborator între autorii unui articol, chiar dacă unele persoane din respectiva unitate de cercetare nu au participat la acel proiect. La fel de generalizată este trecerea ca prim autor a directorului laboratorului de cercetare, indiferent dacă a contribuit cu ceva sau nu. Din păcate, o practică întâlnită în întreaga lume este semnarea unui articol realizat de un masterand sau doctorand şi de către (uneori doar de către) profesorul coordonator al lucrării de dizertaţie sau de doctorat.

Cum contabilizarea citărilor se face prin motoare de căutare informatizate, conţinutul propriu-zis al citărilor este indiferent. Personal, mă întreb ce se întâmplă atunci când un articol este citat nu pentru că e foarte bun, ci pentru că e foarte prost, alţi cercetători ţinînd să desfiinţeze afirmaţiile făcute acolo. Normal ar fi, după logica scientometrică, să fie luate în calcul toate citările. Or cu cât un articol e mai prost sau plagiat şi mai multă lume îl critică, factorul de impact al acestuia ajunge să fie mai mare. Indicele Hirsh[5], care se aplică şi autorilor individuali, nu doar revistelor, nu ţine seama de contextul în care apare citarea, deci ipoteza de mai sus se confirmă[6].

Dacă se încearcă aplicarea scientometriei la cărţi apar alte probleme. Cărţile apar mult mai rar în format electronic, mai ales după ultimele discuţii relative la drepturile de autor, iar citările care ar putea fi găsite în alte cărţi sunt foarte greu de identificat prin mijloace informatizate. Se pot lua în calcul recenziile apărute în reviste, dar atunci indicele Hirsch poate fi acelaşi sau mai mic pentru o carte, decât pentru un articol[7]. Mai grav, acelaşi cercetător, pentru aceeaşi operă, poate fi evaluat diferit în funcţie de baza de date de la care se porneşte în judecarea operei sale.

În lumea civilizată, problemele puse de absolutizarea evaluărilor formale au făcut de multă vreme obiectul unor critici avizate, instanţele care patronează cercetarea delimitându-se clar de folosirea acestor metode. Academia Franceză de Ştiinţe a recomandat ca indicatorii de tip scientometric să nu fie aplicaţi cercetătorilor individuali, ei fiind relevanţi, eventual, pentru reviste. Evaluarea formală nu trebuie să înlocuiască analiza de conţinut şi nu trebuie să conducă la comparaţii între cercetători din domenii diferite[8]. De asemenea, în Germania, Deutsche Forshungs Gemeinshaft (Fundaţia Germană pentru Ştiinţă) a interzis din 2010 utilizarea criteriilor scientometrice pentru evaluarea cercetătorilor în vederea obţinerii de granturi de cercetare, stagii postdoctorale, promovări[9]. În Marea Britanie, Parlamentul a precizat încă din 2004 că sistemul peer-review trebuie menţinut, dar că evaluările scientometrice, formale, nu sunt valide pentru performanţele individuale ale cercetătorilor[10].

Ce se întâmplă în România, unde modelul anglo-saxon, precum şi cel francez sau cel german au fost invocate în justificarea măsurilor luate în ultimii ani? Ca de obicei, se aplică un model deja eşuat şi criticat în Occident, şi se impune tocmai absolutizarea criteriilor scientometrice. Schizofrenia instituțională prin care, cadrele didactice sunt platite numai pentru predare, dar evaluate și promovate aproape în exclusivitate pentru cercetare, afectează iremediabil calitatea actului didactic, în care nimănui nu-i mai pasă de studenți. Calitatea actului didactic în sine nu se reflectă în indicele Hirsch, deci trebuie ignorată. Ca să cităm un banc din vremea comunismului, în toată această ecuație a evaluărilor scienometrice, pe responsabilii din minister și din comisiile acestuia procesul didactic îi cam încurcă.

Notă: Acest articol reprezintă o parte (ușor adaptată) a unui studiu mai amplu, intitulat Învăţământul: cunoaştere şi comercializare, publicat în „Capitalism si democratie. Principii, structuri, evolutie”, coordonator Alexandru Mamina,  Editura Cetatea de Scaun, Tărgoviște, 2013, p. 153-178. Ideea de a-l republica a fost generată de recenta tentativă a Ministerului Educației de evaluare a activității științifice a cadrelor didactice pe criterii pur cantitative, utilizând o metodologie pusă la punct de CNFIS[11].

[1] Factorul de impact al unei publicaţii ştiinţifice este dat, într-un anumit an, de media dintre citările obţinute de revistă în cei doi ani precedenţi şi numărul de articole publicate în respectiva revistă în perioada de referinţă. În principiu, se referă la numărul mediu de citări per articol. http://thomsonreuters.com/products_services/science/academic/impact_factor/, accesat pe 17.07.2012.

[2] Institute of Scientific Information, întemeiat de Eugene Garfield.

[3] http://thomsonreuters.com/products_services/science/science_products/a-z/web_of_science/, accesat pe 17.07.2012.

[4] Relativ recent, pare să se fi găsit o soluție prin preluarea ERIH de către Norwegian Social Science Data Services (NSD), ceea ce ridică încă problemele de transfer ale bazei de date de la European Science Foundation (ESF) către NSD. http://www.esf.org/hosting-experts/scientific-review-groups/humanities-hum/erih-european-reference-index-for-the-humanities.html, accesat pe 29.03.2015.

[5] În mare, acesta se referă la numărul de citări pe lucrare, aşa încât se poate aplica şi autorilor individuali, nu doar revistelor sau colectivelor. Vezi J.E. Hirsh, An idex to cuantify an individualțs scientific output, în Proceedings of the National Academy of Sciences, vol. 102, nr. 46, 2005, p. 16569-16572, http://www.pnas.org/content/102/46/16569, accesat  pe 17.07.2012.

[6] Am făcut un experiment, căutând pe Google scholar Adolf Hitler, Mein Kampf și au apărut peste 23.000 de rezultate, ceea ce, dacă s-ar converti în factor Hirsch, ar trebui să dea de gândit susținătorilor acestui sistem scientometric, în care vizibilitatea nu are mai nimic de-a face cu calitatea unei contribuții.

[7] Interesant este că factorul Hirsch crește și atunci când recenziile sunt negative, ceea ce va avea repercursiuni asupra raportării critice la operele altora. Când faci o recenzie negativă la cartea unui confrate contribui la creșterea vizibilității acestuia.

[8] http://www.academie-sciences.fr/activite/rapport/avis170111.pdf accesat pe 18.07.2012.

[9]Articolul Quality not quantity, în http://www.dfg.de/en/service/press/press_releases/2010/pressemitteilung_nr_07/index.html

Accesat 17.07.2012.

[10] http://www.publications.parliament.uk/pa/cm200304/cmselect/cmsctech/399/39912.htm accesat pe 17.07.2012.

[11] Informații despre această raportare ca și despre membrii Consiliului Național de Finanțare a Învățământului Superior se pot găsi pe site-ul CNFIS la adresa http://www.cnfis.ro/raportare-ic2015/

Un comentariu

  1. Bravo, pentru acest articol! Straduiti-va sa il faceti cu factor Hirsch cat mai…mare!!!

Lasa un comentariu

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *