Le Data Usage Index (DUI): méthodologie bibliométrique et données factuelles / URFIST Info, 26.01.2012

http://urfistinfo.hypotheses.org/2186

Publicités

Supports d’interventions du Colloque « Evaluation des productions scientifiques en SHS » (CNRS, Paris, 9 et 10 juin 2011)

Suite au colloque sur « l’évaluation des productions scientifiques en SHS » organisé par le CNRS les 09 et 10 juin 2011, les supports  des intervenants sont en ligne…

Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs

Rapport remis le 17 janvier 2011 à Madame la Ministre de l’Enseignement Supérieur et de la Recherche.

En janvier 2011, l’Académie des Sciences a remis à Madame la Ministre de l’Enseignement Supérieur et de la Recherche un rapport intitulé : « Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs ». Par ce rapport, l’Académie a souhaité émettre un certain nombre de recommandations sur l’usage de la bibliométrie, qui peut aider à l’évaluation qualitative des chercheurs, mais moyennant le respect de règles rigoureuses.

Evaluating university research performance using metrics / linda butler and ian mcallister

Abstract

Evaluations of research quality in universities are now widely used in the advanced economies. The UK’s research Assessment Exercise (RAE), which began in 1986, is the most highly developed of these research evaluations. Based on peer review and involving some sixty-nine panels evaluating the research work of more than 50,000 academic staff, the exercise is expensive and time consuming. In this article, we examine the possibility that a quantitative, metrics-based approach can provide a low-cost alternative to expensive, qualitative peer review. To do this, we build on our previous work on political science by extending a metrics-based model to chemistry, using the results of the 2001 RAE. Our results show that no single model will apply across science and non-science disciplines. Any metrics approach to performance evaluation has to use a discipline-specific suite of indicators.

Article de la revue European Political Science (2011) 10, pp. 44–58 sur l’évaluation qualitative pratiquée au Royaume-Uni et les techniques bibliométriques purement quantitatives…

Lire l’article ici

Ike Antkare : I don’t care…!

Jamais entendu parler de Ike Antkare ? Pourtant en 2010 c’était l’un des dix premiers chercheurs en science informatique.

Il figurait même parmi les 100 scientifiques les plus réputés de la planète, devant Albert Einstein ! Sauf que sa renommée, il la doit exclusivement à Cyril Labbé, enseignant-chercheur à l’UJF. Décryptage d’un coup de maître qui cerne les limites de la bibliométrie.

Cyril Labbé, chercheur discret et pudique, est dans l’actualité bien malgré lui. Jamais il n’aurait imaginé que son expérience attiserait ainsi la curiosité des médias, bien au-delà du petit cercle des laboratoires scientifiques. Lui qui a une thèse en informatique et dont les travaux portent sur les bases de données et les flux de données, a voulu tester le système d’évaluation des citations par Google Scholar.
Tout commence par un simple constat. « En quelques années, Internet a révolutionné l’accès à l’information et permis une large diffusion du savoir. On écume plus autant les bibliothèques qu’à l’époque de ma thèse ! Google Scholar est désormais un outil du Net très populaire pour faire des recherches sur des publications scientifiques et repérer facilement les articles qui citent nos travaux. C’est également une base de données qui sert à générer des indices de performances des chercheurs à partir du nombre de citations, le plus connu étant le h-index (un h-index de 10 signifie qu’on a 10 publications citées au moins 10 fois). Au départ j’ai juste remarqué que les citations utilisées provenaient parfois de documents peu pertinents comme des CV, des présentations power point, etc. Ça m’a intrigué. Et comme les indices sont de plus en plus considérés comme des références d’évaluation, j’ai voulu comprendre le processus… Certaines études avaient déjà pointé du doigt des faiblesses dues aux questions d’homonymie, d’accents, de ligatures… J’ai eu envie de pousser le raisonnement plus loin ! »

Un intrus dans le système !

Ainsi naît fin 2009, dans le plus grand secret, le personnage d’Ike Antkare (en clair « I can’t care », je m’en fiche) : il a soutenu une thèse en 2009 intitulée Architecting E-Business Using Psychoacoustic Modalities (thèse de 4,5 pages dont les deux tiers de citations !). Il est de l’International Institute of Technology aux United Slates of Earth. Tous ses articles scientifiques (une centaine se citant les uns les autres) sont parus en 2009. Et dès le printemps 2010, à la faveur d’une carrière express, il obtient un h-index de 94, qui le propulse au rang des plus grands scientifiques du globe, damant le pion à Albert Einstein ! Autant dire que la fiction dépasse la réalité !

Un brin facétieux, Cyril Labbé peut jubiler : il a réussi à créer de toutes pièces un universitaire aux publications incohérentes (à partir d’un générateur de textes aléatoires aux apparences de travaux scientifiques) capables de tromper le système ! D’ailleurs si l’auteur lui-même n’avait pas rendu publique son expérience par un article expliquant dans le détail sa démarche, aurait-on percé à jour le mystérieux Mister Ike ? Pas si sûr. « Il ne s’agit pas forcément de dénoncer la bibliométrie, c’est un élément d’analyse, assure Cyril Labbé. Mister Ike prouve simplement les défaillances existantes et au minimum incite à ne pas se baser uniquement sur Google Scholar pour calculer les indices d’évaluation… » Ingénieuse et audacieuse supercherie en tout cas qui relance le débat sur la bibliométrie et soulève d’autres questions sur la détection de faux textes scientifiques ou la crédibilité des outils de recherche sur le Web. Plus globalement, savoir repérer des contenus pertinents pourrait être un enjeu de société. Des questions qui fascinent notre informaticien. Y aura-t-il un après Ike ? Mystère…

lire la suite…

Cet article est issu du journal interne de l’Université Joseph Fourier, Grenoble

En savoir plus sur Ike ici

La recherche est-elle soluble dans le chiffre ? Contribution au débat sur l’évaluation à la Fondation nationale des sciences politiques / par Denis Constant-Martin (Sciences Po Bordeaux, CEAN)

Dans les débats actuels sur les transformations du paysage de la recherche et de l’enseignement supérieur, la question de l’évaluation est au coeur  de nombreuses controverses. Pour informer ses membres et publics, l’AFSP propose de retrouver  les principales pièces du dossier dont le texte de Denis Constant-Martin (Sciences Po Bordeaux, CEAN) fait partie.

La bibliométrie, usages et limites, par Prisme (PRomotion des Initiatives Sociales en Milieux Educatifs)

L’Observatoire des Sciences et Techniques (OST) est l’organisme qui publie des indicateurs sur la science et la technologie à partir des grandes bases de données qu’elle exploite sur les publications , (Web of Science ) , sur les brevets et sur les programmes européens de recherche .Elle publie un rapport biennal sur ses indicateurs.C’est l’OST qui permet d’estimer la position de la France dans la production scientifique mondiale et qui fournit les indicateurs en ce domaine pour la LOLF ,en matière de publication scientifique et d’impact de ces publications . L’OST a donc de fait introduit la bibliométrie en France et Ghislaine Fillatreau en est une des premières spécialistes…

Lire la suite…

Liens utiles sur les notions de facteurs d’impact et de citations / par Manuel Durand-Barthez

Manuel Durand-Barthez, diplômé de l’École Nationale Supérieure des Sciences de l’Information et Bibliothèques (ENSSIB – 1976), est docteur ès-Lettres.  D’abord conservateur à la Bibliothèque Nationale de France, il se spécialise dès 1982 dans le domaine de l’information scientifique et technique (IST), au CNAM (Paris) puis à Toulouse (UPS) depuis 1986.  Il s’intéresse en outre à la Propriété Industrielle et à la Scientométrie. Il participe à un projet régional de collecte, de diffusion et de valorisation des publications scientifiques. Il est co-responsable de l’Urfist de Paris depuis septembre 2009.  L’Urfist de Paris met sur pied un groupe de travail et de réflexion sur l’évaluation de la recherche à travers, pour l’essentiel, les publications scientifiques. C’est l’aspect documentaire de cette question qui intéressera au premier chef. La spécificité des SHS représente dans ce cadre un aspect à mettre en valeur dans le contexte actuel.

Voici la page de Manuel Durand-Barthez sur laquelle on peut trouver un certain nombre de ressources et liens sur les questions bibliométriques.

JournalBase. Comparer les bases de données scientifiques internationales en sciences humaines et sociales (TGE Adonis)

Au moment où les outils bibliométriques soulèvent maints débats quant à leur application dans le champ des sciences humaines et sociales, cette nouvelle publication, de Michèle Dassa, Christine Kosmopoulos et Denise Pumain, a pour objectif d’alerter sur les contenus de ces bases de données…

Lire la suite…

Accéder à l’article

Le blog d’un thésard à la Sorbonne…

De précieuses références sur la bibliométrie, ainsi que les blogs dédiés (dont celui de l’UMR Spirit !) sont proposés sur le blog de Marc Bertin, doctorant à la Sorbonne.

Lire la suite

Le classement par la réputation : une contribution au débat actuel sur le classement des revues / par Emiliano Grossman

grossmannLe débat en cours dans notre profession sur le bien-fondé de divers modes d’évaluation de la recherche a au moins le mérite de faire connaître la grande variété de formes d’évaluation qui existent. Cette variété met en perspective et relativise l’importance accordée par certains aux seuls critères bibliométriques. Sans revenir sur les nombreuses critiques de ces derniers, cette contribution se propose de répliquer des sondages réalisées par Mclean, Blais, Garand et Giles au Canada, aux Etats-Unis et au Royaume-Uni. La réalisation de ce sondage en ligne sur la qualité des revues est actuellement en cours de réalisation. Il met l’accent sur les stratégies de publication, les habitudes de lecture et d’enseignement des participants. Les résultats devraient permettre de comprendre l’utilisation des revues francophones dans la recherche et l’enseignement, ainsi que leur place par rapport aux revues non-francophones… Lire le rapport de Emiliano Grossman

Source : Congrès du soixantenaire de l’AFSP, 2009, Module 2 « Enquêtes » Enquête(s) sur une science politique en devenir

« L’évaluation et les listes de revues », par F. Audier (La vie des idées 15-09-2009)

Comme le montre Florence Audier, les Français ont désigné comme cible d’excellence des revues auxquelles ils n’accèdent pas, sauf réseaux particuliers…

Lire la suite