Liberté des réseaux socionumériques, contrainte des chercheurs / Yves Gingras, Hermès n° 59, 2011

Numéro 59 de la revue Hermès consacré aux réseaux socionumériques : « Ces réseaux numériques dits sociaux », sommaire de la revue disponible ici.

en exergue, une réflexion d’Yves Gingras sur les réseaux socionumériques et les contraintes d’utilisation par les chercheurs :

Evaluating university research performance using metrics / linda butler and ian mcallister

Abstract

Evaluations of research quality in universities are now widely used in the advanced economies. The UK’s research Assessment Exercise (RAE), which began in 1986, is the most highly developed of these research evaluations. Based on peer review and involving some sixty-nine panels evaluating the research work of more than 50,000 academic staff, the exercise is expensive and time consuming. In this article, we examine the possibility that a quantitative, metrics-based approach can provide a low-cost alternative to expensive, qualitative peer review. To do this, we build on our previous work on political science by extending a metrics-based model to chemistry, using the results of the 2001 RAE. Our results show that no single model will apply across science and non-science disciplines. Any metrics approach to performance evaluation has to use a discipline-specific suite of indicators.

Article de la revue European Political Science (2011) 10, pp. 44–58 sur l’évaluation qualitative pratiquée au Royaume-Uni et les techniques bibliométriques purement quantitatives…

Lire l’article ici

Colloque sur l’évaluation des productions scientifiques en SHS, CNRS 09-10 juin 2011

A partir des résultats de l’étude comparative « JournalBase » réalisée de 2008 à 2010, en partenariat avec plusieurs organismes d’information scientifique, le CNRS organise un colloque sur l’évaluation des productions scientifiques en SHS. Il se tiendra les 9 et 10 juin 2011 à Paris.

Ike Antkare : I don’t care…!

Jamais entendu parler de Ike Antkare ? Pourtant en 2010 c’était l’un des dix premiers chercheurs en science informatique.

Il figurait même parmi les 100 scientifiques les plus réputés de la planète, devant Albert Einstein ! Sauf que sa renommée, il la doit exclusivement à Cyril Labbé, enseignant-chercheur à l’UJF. Décryptage d’un coup de maître qui cerne les limites de la bibliométrie.

Cyril Labbé, chercheur discret et pudique, est dans l’actualité bien malgré lui. Jamais il n’aurait imaginé que son expérience attiserait ainsi la curiosité des médias, bien au-delà du petit cercle des laboratoires scientifiques. Lui qui a une thèse en informatique et dont les travaux portent sur les bases de données et les flux de données, a voulu tester le système d’évaluation des citations par Google Scholar.
Tout commence par un simple constat. « En quelques années, Internet a révolutionné l’accès à l’information et permis une large diffusion du savoir. On écume plus autant les bibliothèques qu’à l’époque de ma thèse ! Google Scholar est désormais un outil du Net très populaire pour faire des recherches sur des publications scientifiques et repérer facilement les articles qui citent nos travaux. C’est également une base de données qui sert à générer des indices de performances des chercheurs à partir du nombre de citations, le plus connu étant le h-index (un h-index de 10 signifie qu’on a 10 publications citées au moins 10 fois). Au départ j’ai juste remarqué que les citations utilisées provenaient parfois de documents peu pertinents comme des CV, des présentations power point, etc. Ça m’a intrigué. Et comme les indices sont de plus en plus considérés comme des références d’évaluation, j’ai voulu comprendre le processus… Certaines études avaient déjà pointé du doigt des faiblesses dues aux questions d’homonymie, d’accents, de ligatures… J’ai eu envie de pousser le raisonnement plus loin ! »

Un intrus dans le système !

Ainsi naît fin 2009, dans le plus grand secret, le personnage d’Ike Antkare (en clair « I can’t care », je m’en fiche) : il a soutenu une thèse en 2009 intitulée Architecting E-Business Using Psychoacoustic Modalities (thèse de 4,5 pages dont les deux tiers de citations !). Il est de l’International Institute of Technology aux United Slates of Earth. Tous ses articles scientifiques (une centaine se citant les uns les autres) sont parus en 2009. Et dès le printemps 2010, à la faveur d’une carrière express, il obtient un h-index de 94, qui le propulse au rang des plus grands scientifiques du globe, damant le pion à Albert Einstein ! Autant dire que la fiction dépasse la réalité !

Un brin facétieux, Cyril Labbé peut jubiler : il a réussi à créer de toutes pièces un universitaire aux publications incohérentes (à partir d’un générateur de textes aléatoires aux apparences de travaux scientifiques) capables de tromper le système ! D’ailleurs si l’auteur lui-même n’avait pas rendu publique son expérience par un article expliquant dans le détail sa démarche, aurait-on percé à jour le mystérieux Mister Ike ? Pas si sûr. « Il ne s’agit pas forcément de dénoncer la bibliométrie, c’est un élément d’analyse, assure Cyril Labbé. Mister Ike prouve simplement les défaillances existantes et au minimum incite à ne pas se baser uniquement sur Google Scholar pour calculer les indices d’évaluation… » Ingénieuse et audacieuse supercherie en tout cas qui relance le débat sur la bibliométrie et soulève d’autres questions sur la détection de faux textes scientifiques ou la crédibilité des outils de recherche sur le Web. Plus globalement, savoir repérer des contenus pertinents pourrait être un enjeu de société. Des questions qui fascinent notre informaticien. Y aura-t-il un après Ike ? Mystère…

lire la suite…

Cet article est issu du journal interne de l’Université Joseph Fourier, Grenoble

En savoir plus sur Ike ici

Les 3 activités du chercheur : recherche, socialisation, valorisation / par Julien Pierre

Comment mettre ses travaux de recherche en valeur grâce au web 2.0 ? Quels en sont les apports, les limites ? Comment valoriser la recherche scientifique ?

Voici quelques éléments de réponse à travers ce support de formation dont l’auteur Julien Pierre est doctorant en SIC. Il prépare actuellement une thèse de doctorat en Sciences de l’information et de la Communication (SIC), à Grenoble III, sous la direction de Fabienne Martin-Juchat, intitulée : « Pratiques, usages et enjeux sociopolitiques de l’identité numérique ». Sa formation s’intitulait : « La valorisation des réseaux sociaux dans la recherche scientifique »