C’est en mettant en exergue dans l’un de ses articles cette citation d’Albert Einstein qu’un chercheur en informatique de l’université de Zürich, très critique sur l’utilisation de la bibliométrie pour l’évaluation des individus, s’est involontairement retrouvé indexé comme co-auteur du célèbre physicien dans une grande base de données bibliométriques…
Dans un ouvrage paru aux éditions du Seuil en octobre 2009, Laurent Ségalat, directeur de recherche au CNRS, évoque l’évaluation par les pairs, dans un contexte d’affaiblissement de la science et de dysfonctionnements liés à une bureaucratie croissante…
Depuis plus de 20 ans, la Grande-Bretagne avait mis en oeuvre un système d’évaluation systématique et centralisé de la recherche universitaire, le Research Assessment Exercise (RAE). Il ne s’agissait pas d’une agence comme aujourd’hui l’AERES en France, mais de l’organisation tous les quatre à six ans d’une grande campagne d’évaluation de tous les départements de recherche des universités. Le RAE était mis en place, de façon très « professionnelle », par les financeurs publics (funding bodies)[1] dont les crédits de recherche aux universités étaient ensuite calculés sur la base des résultats du RAE. Ces résultats servaient aussi aux universités à déterminer leur politique. L’évaluation était faite de façon classique et indépendante par des comités d’experts sur le mode de la peer review[2]. Mais cet exercice s’avérait extrêmement lourd, aussi bien pour ceux qui le faisaient que pour les universités qui le subissaient, avec des conséquences limitées en matière de financement de la recherche… Lire la suite
Source : La Grande-Bretagne réévalue sa réforme de l’évaluation / J.-F. Méla, JFM’s Blog, billet posté le 6 octobre 2009.
Lire aussi la réaction de Pierre Dubois sur l’Évaluation à l’anglaise, un billet posté le 14 octobre 2009.
Cet ouvrage, nouvelle acquisition à la bibliothèque de recherche de Spirit (Cote 378 FIX), part d’un travail d’audit du Comité national de la recherche scientifique et tente de résoudre les problèmes inhérents à l’évaluation de la recherche : comment articuler évaluation des chercheurs, évaluation des équipes et stratégie d’établissement ?
Suite aux invitations lancées par la FFPP (et AEPU) aux responsables de 40 revues signataires d’un texte adressé à Mme la présidente de la 16è section CNU le 2 février 2009) et après concertation, le courrier qui suit est adressé aux responsables de l’AERES.
Il s’inscrit dans une démarche et une action plus globale qui vise le soutien et la reconnaissance des revues françaises et francophones de psychologie.
Le présent texte est proposé pour publication à toutes les revues qui acceptent de le soutenir et dont la liste sera actualisée et publiée sur le forum du site de la FFPP… Lire la suite
Source : Fédération française des psychologues et de psychologie, billet posté le 7 octobre 2009
Le mouvement de contestation universitaire a vu se développer une fronde contre l’évaluation ou les critères d’évaluation. La lettre symbole est la lettre « h », indice bibliométrique pour les individus. Cet indice « h » est l’indice de Hirsch (h-index ou facteur h), définit comme tel : Un scientifique a un indice h si h de ses N articles ont chacun au moins h citations… Lire la suite
Source : Le h-index et les champs disciplinaires/ Rachel Gliese, billet posté le 6 octobre 2009 sur le blog Gaïa Universitas
Dans le cadre du séminaire PCEE, qui aura lieu le jeudi 15 octobre 2009 à Sciences Po Bordeaux, Martial Foucault (Université de Montréal), professeur invité à Sciences Po Bordeaux, viendra présenter son article « French Homo Publicus », une passionnante réflexion sur la place occupée par les politistes français dans la discipline au prisme de leurs publications.
Résumé : Mesurer le rayonnement scientifique d’un chercheur, connaître l’influence de ses travaux dans la communauté font généralement partie des outils à la disposition d’évaluateurs institutionnels d’une discipline. Il est fréquent d’y être soumis lors d’étapes de recrutement, de promotion ou encore d’évaluation de projets de recherche. Toutefois, la montée en puissance des outils bibliométriques en sciences sociales soulève un nombre inépuisable de questions liées à la pertinence de telles analyses, aux biais méthodologiques inhérents à leur emploi ou encore l’exploitation politique de leurs résultats. En science politique, de nombreux travaux ont recours aux évaluations bibliométriques. Par exemple, Giles and Garand aux Etats-Unis, Montpetit, Blais et Foucault au Canada ont mis en évidence les déterminants pour un politiste pour être cité par ses collègues. D’autres auteurs s’appuient sur une telle quantification pour établir de classements de départements de science politique. L’objectif de cet article est double. En premier lieu, il propose d’établir un bilan des travaux publiés par l’ensemble des politistes français en activité (chercheurs et enseignants-chercheurs). En deuxième lieu, l’article cherche à évaluer quels sont les facteurs les plus susceptibles d’influencer l’influence de ces travaux. La méthode consiste à estimer le nombre de citations par travail publié selon la base de citations ISI Thomson. Ce travail exploratoire met en évidence l’influence des champs d’étude (sociologie électorale, relations internationales, politiques publiques, …), des méthodes utilisées, la qualité des journaux/revues, du contexte institutionnel de recherche (taille des laboratoires), le statut du publiant, l’âge, le genre…
Plus d’infos sur le site de SPIRIT
Lire aussi à cet effet le billet posté sur ce blog le 24 février 2009
Le débat en cours dans notre profession sur le bien-fondé de divers modes d’évaluation de la recherche a au moins le mérite de faire connaître la grande variété de formes d’évaluation qui existent. Cette variété met en perspective et relativise l’importance accordée par certains aux seuls critères bibliométriques. Sans revenir sur les nombreuses critiques de ces derniers, cette contribution se propose de répliquer des sondages réalisées par Mclean, Blais, Garand et Giles au Canada, aux Etats-Unis et au Royaume-Uni. La réalisation de ce sondage en ligne sur la qualité des revues est actuellement en cours de réalisation. Il met l’accent sur les stratégies de publication, les habitudes de lecture et d’enseignement des participants. Les résultats devraient permettre de comprendre l’utilisation des revues francophones dans la recherche et l’enseignement, ainsi que leur place par rapport aux revues non-francophones… Lire le rapport de Emiliano Grossman
Source : Congrès du soixantenaire de l’AFSP, 2009, Module 2 “Enquêtes” Enquête(s) sur une science politique en devenir
En ces temps de rentrée, j’aimerais revenir sur le sujet agaçant de l’évaluation des universitaires. Je l’ai déjà écrit, il y a peu de professions où l’on soit aussi sévèrement sélectionné et évalué. Tout universitaire l’est à plusieurs reprises au cours de sa carrière, par plusieurs instances différentes : pour obtenir ses diplômes et concours, férocement sélectifs, pour être recruté, pour passer à un grade supérieur, pour progresser dans sa carrière, pour obtenir des congés pour recherche ou des détachements. En outre, la production globale de la recherche universitaire en France est énorme compte tenu des conditions matérielles dans lesquelles elle se réalise et de la pesanteur croissante des obligations administratives accumulées par une administration en délire, qui produit continûment des inventions bureaucratiques… Lire la suite
Source : L’usine à gaz de la réforme universitaire / Pierre Jourde, billet posté sur son blog perso : Confitures de blog, le 21/09/2009
Lire aussi la réaction de Rachel Gliese sur son blog Gaïa Universitas
Comme le montre Florence Audier, les Français ont désigné comme cible d’excellence des revues auxquelles ils n’accèdent pas, sauf réseaux particuliers…
The Evaluation of Research by Scientometric Indicators / Peter Vinkler, Markus Krötzsch, Sebastian Rudolph, Chapman & Hall/CRC, 2009.
“Aimed at academics, academic managers and administrators, professionals in scientometrics, information scientists and science policy makers at all levels. Reviews the principles, methods and indicators of scientometric evaluation of information processes in science and assessment of the publication activity of individuals, teams, institutes and countries. The book provides scientists, science officers, librarians and students with basic and advanced knowledge on evaluative scientometrics. Especially great stress is laid on the methods applicable in practice and on the clarification of quantitative aspects of impact of scientific publications measured by citation indicators”
Source : The Evaluation of Research by Scientometric Indicators / Peter Vinkler, Markus Krötzsch, Sebastian Rudolph, Chapman & Hall/CRC, 2009.
Olivier Bouba Olga, économiste, nous signale dans son blog l’ouvrage de Maya Beauvallet, également économiste et qui nous livre, dans son ouvrage quelques analyses sur les nombreux paradoxes liés à la mise en oeuvre des indicateurs de performance, au sein de multiples organisations… Où l’on voit émerger les effets pervers liés à ces stratégies managériales, notamment dans le monde universitaire… (Baisse de la qualité, erreurs de mesure…)
