Les effets pervers des palmarès d’universités / Blog de la rédaction du Monde Economie, 11.07.2011

Les effets pervers des palmarès d’universités

Les palmarès d’universités régulièrement publiés dans la presse sont souvent erronés, leur méthodologie est parfois douteuse et ils ont des effets pervers sur les choix des étudiants et le comportement des établissements.

Ce sont les accusations portées par une étude de 85 pages publiée le 17 juin par l’Association européenne des universités (EUA)  (« Global university rankings and their impact », http://www.eua.be/pubs/Global_University_Rankings_and_Their_Impact.pdf),  qui décortique 13 de ces palmarès, dont le fameux « palmarès de Shanghaï » ou encore ceux publiés chaque année par le Times Higher Education ou par US News & World Report.

L’EUA rappelle d’abord que ces palmarès rencontrent un grand succès auprès du public, en raison de leur simplicité, de leur volonté de « faire la transparence » et leur intention affichée de faciliter le choix du « consommateur », mais aussi auprès des décideurs politiques, qui ont tendance à user de ces palmarès pour porter un diagnostic sur l’ensemble du système universitaire d’un pays, et de prôner alors des politiques visant à « améliorer la performance » des universités nationales au sein de ces palmarès…. Lire la suite

Publicités

Supports d’interventions du Colloque « Evaluation des productions scientifiques en SHS » (CNRS, Paris, 9 et 10 juin 2011)

Suite au colloque sur « l’évaluation des productions scientifiques en SHS » organisé par le CNRS les 09 et 10 juin 2011, les supports  des intervenants sont en ligne…

JournalBase, plate-forme bilingue d’interrogation des revues en SHS (http://journalbase.cnrs.fr)/

Construit à partir des données du Web of Science (Thomson Reuters), de Scopus (Elsevier), des listes d’autorité ERIH (Europe) et AERES (France), la version interrogeable de JournalBase offre un service inédit en SHS de recensement des revues et de comparaison de leur référencement dans les bases de données nationales et internationales.

Évaluer aussi les enseignants à l’université / Jean-Baptiste Hiriart-Urruty (Pour la science.fr)

La recherche scientifique et ses acteurs font depuis longtemps l’objet d’une évaluation systématique. Il devrait en être de même pour l’enseignement supérieur français.

Source : Évaluer aussi les enseignants à l’université / Jean-Baptiste Hiriart-Urruty, Pour la science.fr, n° 392, juin 2010.

Évaluer la recherche : y a-t-il une bonne recette ? / Daniel Fixari et Frédérique Pallez (Pour la science.fr)

Les principes généraux mis en place pour évaluer les chercheurs et leurs laboratoires ne sont pas tout. Le diable se cache souvent dans les détails des procédures.

L’évaluation est à la mode dans la sphère publique française, et la recherche scientifique n’échappe pas au mouvement. En fait, cette activité est depuis longtemps évaluée, de multiples manières. Mais des réformes récentes ont modifié substantiellement les procédures jusque-là en vigueur, avec en particulier la création en mars 2007 de l’AERES, l’Agence d’évaluation de la recherche et de l’enseignement supérieur. Les critiques des acteurs concernés, déjà affûtées sur les anciens dispositifs d’évaluation, n’ont pas pour autant été désarmées. L’évaluation de la recherche serait-elle une mission impossible ? N’existe-t-il pas, dans ce domaine, de « bonnes pratiques » ou des principes consensuels ? Quelles sont les principales difficultés rencontrées ?… Lire la suite

Source : Évaluer la recherche : y a-t-il une bonne recette ? / Daniel Fixari et Frédérique Pallez, Pour la science.fr, le magazine référence de l’actualité scientifique, n° 390, avril 2010.

Evaluer la recherche : une convergence des idées et des pratiques en Europe ? / Éditorial de Jean-François Dhainaut (AERES)

Evaluer la recherche : une convergence des idées et des pratiques en Europe ?

Évaluer la recherche s’inscrit dans un projet qui consiste à identifier les moyens les plus adaptés pour structurer la transformation du système d’enseignement supérieur et de recherche. L’entreprise est complexe et les moyens d’y parvenir sont un constant objet de débat dans la plupart des pays.

Les méthodes d’évaluation de la recherche auxquelles il est recouru dans le monde scientifique sont très diverses : à la recherche du meilleur outil, chacun met au point ses propres démarches. On peut toutefois dégager une tendance : le tout bibliométrique ne fait pas l’unanimité.

Les responsables de l’évaluation, notamment en Europe, procèdent à une réorientation et une adaptation de leurs méthodes. C’est en particulier le cas, récent, au Royaume-Uni et, depuis plusieurs années, aux Pays-Bas où l’Association des universités, l’Académie royale des arts et des sciences et l’Organisation de la recherche scientifique ont récemment fait paraître la quatrième édition de leur référentiel pour l’évaluation de la recherche.

Ce qu’on peut tout d’abord retenir du Standard Evaluation Protocol 2009-2015 néerlandais, c’est que la procédure prévoit :… Lire la suite

Source : Éditorial de Jean-François Dhainaut / AERES

Évaluation et rigueur scientifique : appel à témoignages (blog Evaluation Hypothèses)

Évaluation et rigueur scientifique : appel à témoignages – 6 avril 2010

Cet appel est lancé sur le blog « Évaluation de la recherche en SHS« .

Sur une proposition de François Blanchard, amendée par nous (les quatre rédacteurs de ce carnet), nous vous proposons l’appel à témoignages qui suit. Il s’adresse à toutes les disciplines, SHS ou non. Nous vous suggérons de répondre directement en commentant le billet (c’est le plus simple pour tout le monde…). Si toutefois vous vouliez faire une réponse nettement plus longue, vous pouvez l’envoyer à l’un de nous (François compris) : nous promettons une synthèse d’éventuelles contributions reçues par ce biais, dans l’avenir…lire la suite


La recherche ou l’évaluation permanente / N’autre école, n°25, hiver 2010

Le numéro 25 de la revue N’autre école est consacré à l’évaluation: « L’évaluation : du zéro à l’infini« 

« Connaître la pieuvre : d’où vient l’évaluation, notée ou pas, dans l’entreprise et dans l’école. Y répondre : par le refus quand nécessaire, par son double intelligent, sensible et rigoureux dans l’ordinaire des jours. Si notre numéro est copieux, ce n’est pas seulement fonction de l’enjeu, mais parce que les exemples de « contre-évaluation » sont nombreux, et « transférables » comme on dit…« 

A lire particulièrement l’article  intitulé « La recherche ou l’évaluation permanente » signé par Cécile Quantin et Olivier Plantevin, p.46.

Pour feuilleter la revue, c’est ici

L’AERES ou l’évaluation dévoyée / Bertrand Monthubert (http://bertrand.monthubert.net/)

L’Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur (AERES), instance créée par la loi de 2006 sur la recherche, soulève de très nombreuses critiques quant à son fonctionnement. Le bureau du Conseil Scientifique (CS) du CNRS, les présidents des Conseils Scientifiques de Département (CSD) et le bureau de la Conférence des Présidents des sections du Comité National (CPCN), regroupés au sein du C3N, viennent de publier un document très riche : Quelques remarques sur une agence qui fâche: l’AERES. D’emblée, le problème de la finalité de l’évaluation est posé : s’agit-il de « tirer vers le haut l’activité de recherche, et donc conseiller, suggérer, aider les unités », ou bien est-ce « surtout un moyen de discriminer pour affecter des moyens (humains et financiers). Une forme étalonnée, une note leur semble alors utile, quels qu’en soient les effets secondaires néfastes. » … Lire la suite

La recherche est-elle soluble dans le chiffre ? Contribution au débat sur l’évaluation à la Fondation nationale des sciences politiques / par Denis Constant-Martin (Sciences Po Bordeaux, CEAN)

Dans les débats actuels sur les transformations du paysage de la recherche et de l’enseignement supérieur, la question de l’évaluation est au coeur  de nombreuses controverses. Pour informer ses membres et publics, l’AFSP propose de retrouver  les principales pièces du dossier dont le texte de Denis Constant-Martin (Sciences Po Bordeaux, CEAN) fait partie.

Évaluation des enseignants-chercheurs : les ébauches du futur rapport / AMUE.fr

La CPU, la CP-CNU et le MESR se sont accordés sur le contenu du rapport d’activité devant servir de base à l’examen des demandes de promotion des enseignants-chercheurs et à leur évaluation individuelle par leur section du Conseil National des Universités.

Comme le rappelle la CPU dans sa lettre d’information du 21 janvier 2010, le décret fixant les dispositions statutaires applicables aux enseignant-chercheurs du 6 juin 1984, modifié par le décret du 23 avril 2009, prévoit que « chaque enseignant-chercheur devra établir, au moins tous les quatre ans, et chaque fois qu’il sera candidat à une promotion, un rapport mentionnant l’ensemble de ses activités et leur évolution éventuelle ». Dans ce cadre, la Conférence des Présidents d’université, la commission permanente du Conseil nationale des universités et le ministère se sont accordés sur les bases du contenu du rapport d’activité des enseignants-chercheurs… Lire la suite

Source : Article posté le 12 février 2010 sur le site de l’Agence de mutualisation des universités et établissements

Universités américaines : publications en science politique

Une enquête sur les pratiques de publications américaines : « Assessing the Future Landscape of Scholarly Communication: An Exploration of Faculty Values and Needs in Seven Disciplines”,  menée par Diane Harley, Sophia Krzys Acord, Sarah Earl-Novell, Shannon Lawrence, C. Judson King est disponible en ligne.

Le chapitre 8 traite plus particulièrement de la science politique …