De Manuel Durand-Barthez
On connaît l’importance de la
Citation comme filtre d’évaluation des publications universitaires. Elle est
censée contribuer à l’avancement de la carrière d’un chercheur et/ou de
l’équipe à laquelle il appartient. Elle constitue aussi un élément de
l’argumentaire d’un dossier de financement pour le laboratoire concerné. Elle
« devrait être » un indicateur de pertinence et de qualité du contenu
du document cité.
L’ISI occupe une position quasi monopolistique dans le domaine avec le couple Science Citation Index (S.C.I) dès 1961 pour l’évaluation des auteurs, suivi en 1975 par le Journal Citation Reports (J.C.R.) pour celle des revues (http://scientific.thomson.com/products/wos/) .
En 2004, le SCI Sciences exactes et appliquées version On line comprend environ 5900 titres (qui se reportent sur le corpus du JCR), tandis que le SSCI relatif aux Sciences humaines en compte 1700.
Le logiciel "Essential Science Indicators",
conçu spécifiquement par l’ISI pour extraire et analyser les données du Web of
Science propres à une entité, est largement utilisé. En Allemagne fédérale, il
l’est pratiquement partout.
Depuis
environ 2002, dans Nature, des
voix se sont élevées parmi des chercheurs renommés, contre ce monopole.
Notamment Peter Lawrence, du Laboratoire de Biologie moléculaire de Cambridge,
qui n’hésite pas à s’exprimer sur le népotisme croissant qui ronge les comités
de lecture (doi: 10.1038/422259a)
et : David Colquhoun, Dpt. Pharmacology,
University College London (Nature
(423) 479- 29 May 2003)
Erreurs statistiques de comptage (cf. Nature : doi: 10.1038/415101a) , défaut d’acronymes désignant des fédérations d’équipes (cf. JAMA 2002 ; 287, 2772-2774), prise en compte du seul premier auteur jusqu’en 1996 (pour le SCI).
Manque de nuances dans le modèle de calcul de l’Impact Factor du JCR bloqué sur deux ans quelle que soit la discipline, remise à zéro d’un compteur sur un titre de périodique modifié, exigence en pratique d’au moins 5 ans d’existence pour être reconnu, blocage sur la langue, régime identique pour un hebdomadaire et un semestriel, auto-citations, article « phare » dissimulant la horde des médiocres etc… La liste est longue même si l’ISI met en garde sur les nuances d’interprétation.
Quelles
parades ?
D’abord la méthode utilisée par le
Département SHS du CNRS dans son évaluation des périodiques [1] . La méthode, pas le
but ; il s’agissait en effet de « restructurer » le panel des
revues subventionnées dans un sens parfois trop restrictif.
Cet organisme a étalé le délai
d’analyse en fonction des disciplines, allant jusqu’à dix ans. La francophonie
est représentée à 50 % minimum, et l’aura « locale » est assumée
comme telle. Des comités d’évaluation nationale, au sein de chaque discipline,
on déterminé les titres des « revues cœur » jugées indispensables au
travail des chercheurs concernés, servant de base de comptage des citations
pour l’ensemble. Expérience non pérenne puisqu’effectuée une seule fois à ce
jour, mais intéressante dans sa méthode.
On connaît mieux Citebase (www.citebase.org) promu par le couple Brody/Harnad, sur le miroir britannique d’ArXiv (www.arxiv.org). Le modèle s’applique au document pris individuellement. Une analyse graphique met en évidence le nombre de déchargements, le temps de latence entre la publication et les premiers déchargements, les avatars d’un document à travers les citations de ses citations, retrouvant par là sa durée de vie. L’OAI est pleinement et positivement exploité.
Dans le domaine biomédical :
Faculty of 1000 (http://www.facultyof1000.com/)
Un panel de chercheurs « réputés » attribue l’un des trois
indices : 3 « Recommended »
/ 6 « Must read » / 9 « Exceptional ». On fait ensuite la
moyenne des deux indices les plus élevés à laquelle on ajoute un trentième de
la somme des indices. Un commentaire est mis en ligne par le panel, qui
qualifie l’article (découverte, avancée, hypothèse, confirmation, controverse)
et le catégorise.
On mentionnera bien sûr Scholar Google (http://scholar.google.com/) : comptage
brut des citations à partir d’un réservoir de sources non défini. Un algorithme
non déterminé via une interface qui manque de rigueur, mais facile d’accès,
naturellement gratuite, confortable pour des étudiants avancés, inutilisable
dans une perspective d’évaluation « officielle » ou prétendument
sérieuse, avec une mise à jour parfois lente.
Pour conclure, deux innovations dans le domaine des facteurs
d’impact :
- le
facteur h de Jorge E. Hirsch (www.pnas.org/cgi/doi/10.1073/pnas.0507655102).
Dans la relation
entre un nombre total de publications et leurs citations, il fait glisser un
curseur jusqu’à l’obtention d’une coïncidence approximative entre un nombre équivalent
de publications et de citations. A titre d’exemple, l’indice h de P.-G. de
Gennes est de 79 (= environ 79 publications citées au moins 79 fois).
A partir de cette moyenne, Hirsch propose une formule permettant d’établir un nouveau facteur a. Pour ce faire, il calcule le carré de h dont le résultat est, de fait et systématiquement, inférieur au nombre effectif total de citations.
Hirsch utilise h² dans une équation qui s’énonce : Nc,tot = ah² dont le premier membre représente le nombre total de citations. Le facteur a varie généralement entre 3 et 5. Il y associe un indice m portant sur la durée n (représentant un nombre d’années). M résulte de la pente (slope) h versus n. Il établit ensuite une hiérarchie parmi les chercheurs. Exemple : m » 2 (h = 40 après 20 ans d’activité) : « chercheur responsable d’une équipe de haut niveau dans une université très cotée ». Ces qualificatifs varient sur une échelle en fonction des valeurs de m. Les nombreuses nuances induites par ces calculs rendent l’évaluation moins spécieuse que celle de l’ISI.
- le facteur y de Bollen, Rodriguez et Van de Sompel (http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030.pdf): tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». Elles sont inversement corrélées.
Les revues « populaires » sont fréquemment citées par celles qui sont peu prestigieuses ; elles sont dotées d’un Impact Factor ISI très élevé. Les revues « prestigieuses » sont définies de façon strictement inverse par rapport aux « populaires » par leur Weighted PageRank . Ce facteur, désigné par la lettre y dépend donc de l’intensité et de la pertinence avec lesquelles s’appliquent à ces revues les principes de l’algorithme mis en place par Google.
Ainsi le facteur y se définit-il comme le produit de l’I.F.-ISI par le Weighted PageRank. Des états comparatifs « I.F.-ISI » versus « Facteur y » mettent en évidence certains « mouvements d’ascenseur » entre les revues.
Un nouveau modèle pourrait combiner des éléments d’investigation envisagés dans les expériences relatées ci-dessus (CNRS/SHS, Citebase, facteurs h et y) : il constituerait un outil alternatif d’évaluation libre d’accès, mais dont les règles seraient clairement définies, tant au niveau de la couverture qu’à celui des critères d’analyse statistique. Il associerait avec une impartialité optimale les objectifs d’évaluation des sources et des auteurs. Vaste projet sans doute, mais d’une brûlante actualité…
Manuel Durand-Barthez – S.C.D. de l’Univ. Paul Sabatier (Toulouse 3) [email protected]
[1] Sciences de l’Homme et de la Société N°69, mai 2004 ; Sur les détails techniques, voir entre autres : l’ Introduction à cette enquête par Christian Henriot, ibid. p. 7, La Méthodologie de l’enquête. Ibid. pp.53 sqq et les Commentaires sur les résultats de l’enquête. Ibid. p. 55
je sui tout fai dacord avc ce grand monsieur =)
Rédigé par : Solène | 27 mars 2008 à 13:42
En dehors de toute considération sur la valeur à accorder aux indices bibliométriques ...
Je voudrais simplement suggérer ici un moyen simple d'augmenter l'impact des publications françaises.
Il suffit, comme le font de façon naturelle par exemple les italiens et les anglo-saxons, de placer en référence dans ses articles des publications d'autres équipes françaises, c'est-à-dire de ne pas oublier de citer les travaux effectués en France ayant un rapport avec le sujet traité. Il s'agit de développer un comportement de solidarité collective de bon aloi, mais contraire à un certain auto-snobisme français en vigueur.
Rédigé par : Marie | 12 février 2009 à 13:48