Ike Antkare : I don’t care…!

Jamais entendu parler de Ike Antkare ? Pourtant en 2010 c’était l’un des dix premiers chercheurs en science informatique.

Il figurait même parmi les 100 scientifiques les plus réputés de la planète, devant Albert Einstein ! Sauf que sa renommée, il la doit exclusivement à Cyril Labbé, enseignant-chercheur à l’UJF. Décryptage d’un coup de maître qui cerne les limites de la bibliométrie.

Cyril Labbé, chercheur discret et pudique, est dans l’actualité bien malgré lui. Jamais il n’aurait imaginé que son expérience attiserait ainsi la curiosité des médias, bien au-delà du petit cercle des laboratoires scientifiques. Lui qui a une thèse en informatique et dont les travaux portent sur les bases de données et les flux de données, a voulu tester le système d’évaluation des citations par Google Scholar.
Tout commence par un simple constat. « En quelques années, Internet a révolutionné l’accès à l’information et permis une large diffusion du savoir. On écume plus autant les bibliothèques qu’à l’époque de ma thèse ! Google Scholar est désormais un outil du Net très populaire pour faire des recherches sur des publications scientifiques et repérer facilement les articles qui citent nos travaux. C’est également une base de données qui sert à générer des indices de performances des chercheurs à partir du nombre de citations, le plus connu étant le h-index (un h-index de 10 signifie qu’on a 10 publications citées au moins 10 fois). Au départ j’ai juste remarqué que les citations utilisées provenaient parfois de documents peu pertinents comme des CV, des présentations power point, etc. Ça m’a intrigué. Et comme les indices sont de plus en plus considérés comme des références d’évaluation, j’ai voulu comprendre le processus… Certaines études avaient déjà pointé du doigt des faiblesses dues aux questions d’homonymie, d’accents, de ligatures… J’ai eu envie de pousser le raisonnement plus loin ! »

Un intrus dans le système !

Ainsi naît fin 2009, dans le plus grand secret, le personnage d’Ike Antkare (en clair « I can’t care », je m’en fiche) : il a soutenu une thèse en 2009 intitulée Architecting E-Business Using Psychoacoustic Modalities (thèse de 4,5 pages dont les deux tiers de citations !). Il est de l’International Institute of Technology aux United Slates of Earth. Tous ses articles scientifiques (une centaine se citant les uns les autres) sont parus en 2009. Et dès le printemps 2010, à la faveur d’une carrière express, il obtient un h-index de 94, qui le propulse au rang des plus grands scientifiques du globe, damant le pion à Albert Einstein ! Autant dire que la fiction dépasse la réalité !

Un brin facétieux, Cyril Labbé peut jubiler : il a réussi à créer de toutes pièces un universitaire aux publications incohérentes (à partir d’un générateur de textes aléatoires aux apparences de travaux scientifiques) capables de tromper le système ! D’ailleurs si l’auteur lui-même n’avait pas rendu publique son expérience par un article expliquant dans le détail sa démarche, aurait-on percé à jour le mystérieux Mister Ike ? Pas si sûr. « Il ne s’agit pas forcément de dénoncer la bibliométrie, c’est un élément d’analyse, assure Cyril Labbé. Mister Ike prouve simplement les défaillances existantes et au minimum incite à ne pas se baser uniquement sur Google Scholar pour calculer les indices d’évaluation… » Ingénieuse et audacieuse supercherie en tout cas qui relance le débat sur la bibliométrie et soulève d’autres questions sur la détection de faux textes scientifiques ou la crédibilité des outils de recherche sur le Web. Plus globalement, savoir repérer des contenus pertinents pourrait être un enjeu de société. Des questions qui fascinent notre informaticien. Y aura-t-il un après Ike ? Mystère…

lire la suite…

Cet article est issu du journal interne de l’Université Joseph Fourier, Grenoble

En savoir plus sur Ike ici

Publicités

Les 3 activités du chercheur : recherche, socialisation, valorisation / par Julien Pierre

Comment mettre ses travaux de recherche en valeur grâce au web 2.0 ? Quels en sont les apports, les limites ? Comment valoriser la recherche scientifique ?

Voici quelques éléments de réponse à travers ce support de formation dont l’auteur Julien Pierre est doctorant en SIC. Il prépare actuellement une thèse de doctorat en Sciences de l’information et de la Communication (SIC), à Grenoble III, sous la direction de Fabienne Martin-Juchat, intitulée : « Pratiques, usages et enjeux sociopolitiques de l’identité numérique ». Sa formation s’intitulait : « La valorisation des réseaux sociaux dans la recherche scientifique »

Évaluer aussi les enseignants à l’université / Jean-Baptiste Hiriart-Urruty (Pour la science.fr)

La recherche scientifique et ses acteurs font depuis longtemps l’objet d’une évaluation systématique. Il devrait en être de même pour l’enseignement supérieur français.

Source : Évaluer aussi les enseignants à l’université / Jean-Baptiste Hiriart-Urruty, Pour la science.fr, n° 392, juin 2010.

Combien publient les politistes (…) / Fabien Jobard (RFSP, vol. 60, N°1, février 2010)

Chronique professionnelle :

Combien publient les politistes ? La productivité des politistes du CNRS et leurs supports de publication / par Fabien Jobard
Revue Française de Science Politique, vol. 60, n° 1, février 2010.

« Connaître la productivité des chercheurs en sciences sociales est une tâche difficile, et peu s’y sont attelés. Il faut par conséquent donner d’emblée crédit à Bernard Belloc, professeur des universités en économie, conseiller au Président de la république sur les questions d’enseignement supérieur et de recherche, de s’être récemment confronté à l’exercice. Au terme de son estimation, « 30 % » des chercheurs en sciences humaines et sociales ne publient jamais rien dans leur vie. Pas même dans la « Dépêche du Midi »… Lire la suite


CNRS et valorisation des carrières des chercheurs : point de vue

La Direction des ressources humaines du CNRS a publié le 4 janvier 2010 les déclarations de la directrice des ressources humaines, Christine d’Argouges :

Extrait :

Objectif : valorisation des carrières

Christine d’Argouges, directrice des ressources humaines du CNRS, revient sur la politique d’amélioration des carrières engagée depuis trois ans, une des priorités phares de l’année 2010. Elle fait également le point sur quelques autres chantiers… Lire la suite de l’entretien

Lire aussi la réaction du blog « La Science au XXIe siècle : Blog international du Collectif « Indépendance des chercheurs » (France) à cet entretien, dans le billet datant du 4 janvier 2010,  intitulé : « CNRS, universités, LRU et « managérisation » (IV).

Statut et carrière des enseignants chercheurs : assises de la SFSIC

Séminaire sur l’évaluation de la science politique

Dans le prolongement du Module organisé lors du Congrès de Grenoble en septembre 2009 et consacré à la présentation croisée des résultats de trois enquêtes collectives inédites visant à mieux comprendre les pratiques de publication des politistes français, l’AFSP (Association Française de Science Politique) propose un séminaire sur l’évaluation de la science politique permettant d’approfondir les échanges et débats sur les procédures d’évaluation internes à la discipline. Intitulé «Science politique et stratégies de publication. Regards croisés » et organisé le 22 janvier 2010…  suivre le lien pour accéder au programme

Le “Non-publiant” sur Histoires d’Universités, blog du Monde.fr

Le “non-publiant” est un enseignant-chercheur qui, dans cette période d’une évaluation tous azimuts et exacerbée, fait l’objet de toutes les attentions. Traqué par ici, menacé par là, il ne peut plus se cacher. Pourquoi un enseignant-chercheur ne publie-t-il pas ou plus les résultats de ses recherches ?…

Lire la suite…

Annulation d’une procédure d’évaluation des enseignements à l’université Jean Moulin Lyon III (16 novembre 2009) sur le site de Sauvons la Recherche »

À Lyon III, vient d’être annulée une procédure d’évaluation des enseignements que la présidence de l’université entendait mettre en oeuvre et qui violait le principe fondamental d’indépendance des enseignants-chercheurs.

Lire la suite

La Grande-Bretagne réévalue sa réforme de l’évaluation / J.-F. Méla

JFmelaDepuis plus de 20 ans, la Grande-Bretagne avait mis en oeuvre un système d’évaluation systématique et centralisé de la recherche universitaire, le Research Assessment Exercise (RAE). Il ne s’agissait pas d’une agence comme aujourd’hui l’AERES en France, mais de l’organisation tous les quatre à six ans d’une grande campagne d’évaluation de tous les départements de recherche des universités. Le RAE était mis en place, de façon très « professionnelle », par les financeurs publics (funding bodies)[1] dont les crédits de recherche aux universités étaient ensuite calculés sur la base des résultats du RAE. Ces résultats servaient aussi aux universités à déterminer leur politique. L’évaluation était faite de façon classique et indépendante par des comités d’experts sur le mode de la peer review[2]. Mais cet exercice s’avérait extrêmement lourd, aussi bien pour ceux qui le faisaient que pour les universités qui le subissaient, avec des conséquences limitées en matière de financement de la recherche… Lire la suite

Source : La Grande-Bretagne réévalue sa réforme de l’évaluation / J.-F. Méla, JFM’s Blog, billet posté le 6 octobre 2009.

Lire aussi la réaction de Pierre Dubois sur l’Évaluation à l’anglaise, un billet posté le 14 octobre 2009.

L’évaluation des chercheurs en questions 1992-2009 (D. Fixari, J.-C. Moisdon, F. Pallez)

Cet ouvrage, nouvelle acquisition à la bibliothèque de recherche de Spirit (Cote 378 FIX), part d’un travail d’audit du Comité national de la recherche scientifique et tente de résoudre les problèmes inhérents à l’évaluation de la recherche : comment articuler évaluation des chercheurs, évaluation des équipes et stratégie d’établissement ?

En savoir plus

« French Homo Publicus » / Martial Foucault

foucualtDans le cadre du séminaire PCEE, qui aura lieu le jeudi 15 octobre 2009 à Sciences Po Bordeaux, Martial Foucault (Université de Montréal), professeur invité à Sciences Po Bordeaux, viendra présenter son article « French Homo Publicus », une passionnante réflexion sur la place occupée par les politistes français dans la discipline au prisme de leurs publications.

Résumé : Mesurer le rayonnement scientifique d’un chercheur, connaître l’influence de ses travaux dans la communauté font généralement partie des outils à la disposition d’évaluateurs institutionnels d’une discipline. Il est fréquent d’y être soumis lors d’étapes de recrutement, de promotion ou encore d’évaluation de projets de recherche. Toutefois, la montée en puissance des outils bibliométriques en sciences sociales soulève un nombre inépuisable de questions liées à la pertinence de telles analyses, aux biais méthodologiques inhérents à leur emploi ou encore l’exploitation politique de leurs résultats. En science politique, de nombreux travaux ont recours aux évaluations bibliométriques. Par exemple, Giles and Garand aux Etats-Unis, Montpetit, Blais et Foucault au Canada ont mis en évidence les déterminants pour un politiste pour être cité par ses collègues. D’autres auteurs s’appuient sur une telle quantification pour établir de classements de départements de science politique. L’objectif de cet article est double. En premier lieu, il propose d’établir un bilan des travaux publiés par l’ensemble des politistes français en activité (chercheurs et enseignants-chercheurs). En deuxième lieu, l’article cherche à évaluer quels sont les facteurs les plus susceptibles d’influencer l’influence de ces travaux. La méthode consiste à estimer le nombre de citations par travail publié selon la base de citations ISI Thomson. Ce travail exploratoire met en évidence l’influence des champs d’étude (sociologie électorale, relations internationales, politiques publiques, …), des méthodes utilisées, la qualité des journaux/revues, du contexte institutionnel de recherche (taille des laboratoires), le statut du publiant, l’âge, le genre…

Plus d’infos sur le site de SPIRIT

Lire aussi à cet effet le billet posté sur ce  blog le 24 février 2009