Commentaires sur : Pour une évaluation diversifiée et de nouvelles métries

Par : Joachim Schopfel

Joachim Schopfel — Fri, 11 Jun 2010 21:13:53 +0000

(1) « D’ailleurs pourquoi ne pas développer déjà des indicateurs bibliométriques dans ce cadre ? (nombre de citations dans la presse professionnelle, parutions dans la presse professionnelle, etc.) » Pourquoi pas aller plus loin et ajouter « science & société », la vulgarisation et l’engagement citoyen ? Autrement dit, ouvrir les indicateurs aussi à la presse grand public et aux événements ?

(2) « Et puis après tout, peut-être que la situation actuelle : évaluation sur la seule base du nombre de publications et de citations dans un corpus de référence est une situation voulue, une option politique assumée sur ce que doit être la recherche. » Comment intégrer les projets dans ce périmètre, l’obtention de subventions, postes, équipements ?

Par : Olivier Le Deuff

Olivier Le Deuff — Sat, 15 May 2010 14:14:07 +0000

Effectivement, il ne peut y avoir de nouvelles métries sans avoir défini au préalable ce que l’on désirait mesurer. Malgré tout, je pense qu’il ne faut pas nécessairement attendre la décision institutionnelle pour débuter leurs conceptions. Je soulève le fait que ces évaluations existent déjà mais en se basant parfois sur des « on-dit » ou des préjugés.

Par : Pierre Mounier

Pierre Mounier — Sat, 15 May 2010 13:46:18 +0000

Bonjour,

merci pour ce billet très intéressant. Il me semble qu’il repose cependant sur une ambigüité : il appelle formellement à la conception et à l’utilisation de nouvelles métries et dit de manière moins forte qu’il faut aussi s’interroger sur ce que l’on souhaite mesurer. Or, il me semble que cette réflexion précède la conception de nouvelles métries : Qu’attend-on des chercheurs ? quelles sont leurs missions ? C’est d’abord à ces questions qu’il faut répondre avant de penser à mesurer parce que les métries sont des boîtes noires – utiles, comme toute boîte noire pour synthétiser l’information et aller plus vite, mais à la condition qu’il y ait consensus sur ce qu’elles contiennent et la manière dont elles sont fabriquées.

Et puis après tout, peut-être que la situation actuelle : évaluation sur la seule base du nombre de publications et de citations dans un corpus de référence est une situation voulue, une option politique assumée sur ce que doit être la recherche. Dans ce cas encore, ce n’est pas la fabrication de nouvelles métries qui résoudra la situation mais le choix d’autres options en matière de politique de la recherche doit la précéder.

Par : Olivier Le Deuff

Olivier Le Deuff — Fri, 14 May 2010 09:43:45 +0000

Je l’ai proposé à une revue qui a tardé et qui me l’a refusé sans d’ailleurs me donner de précisions. Il n’y a pas eu à mon avis de lecture en double aveugle car je n’ai eu aucun commentaire. Toutes les revues ne jouent pas vraiment le jeu et c’est bien le problème.
Je suis toujours pour une lecture en double aveugle mais il ne faut pas non plus exagérer son importance. La lecture en double aveugle souffre de mécanismes qui sont aussi dangereux : celui de se faire une image de l’auteur. Parfois, les références et les thématiques permettent de deviner qui est l’auteur, si ce n’est pas le cas, il y a aussi le risque de lire l’article en s’imaginant que l’auteur est originellement un philosophe, un professeur de secondaire, etc. Cela signifie qu’à l’instar du cv anonyme, cela n’est pas sans relative hypocrisie voire de lecture de mauvaise foi. De plus, ce genre de processus ne garantit pas nécessairement et même au contraire l’innovation. Je ne crois donc pas que le double aveugle fasse abstraction du contexte mais cherche à l’inverse à l’imaginer et parfois de manière erronée.

Je pense aussi qu’il convient d’écrire en dehors des sphères académiques et que ce travail n’est pas un détail. Il participe de l’opération de traduction-transmission-transposition sans quoi l’écrit scientifique ne serait qu’une gigantesque base d’entreglosage.

Par : RM

RM — Fri, 14 May 2010 09:33:38 +0000

Une question pour mieux comprendre : pourquoi n’avez-vous pas publié votre article en revue ?

Après, Dieu merci, le nombre de citation n’est pas tout. Par exemple, en biologie, les articles les plus cités sont des points sur l’état de l’art : ils sont cités en introduction de tous les articles suivant car sont synthétiques et pratiques mais ne sont pourtant pas d’un immense intérêt scientifique et leur influence dans l’évaluation est dès lors très inférieure à leur poids « médiatique ».

Et ce recul à avoir est d’autant plus important sur internet où la communication est beaucoup plus personnalisée que sur d’autres médias. Il est fréquent qu’un blogueur influent ne fasse que reprendre une information/analyse d’une personne moins connue et c’est alors l’influent qui est cité/retweeté. Le problème des réseaux sociaux, c’est qu’ils sont sociaux et, partant, extrêmement favorables au copinage. Le peer-reviewed en double aveugle demeure un bon moyen de juger la qualité seule d’un travail en faisant abstraction du contexte.

Bref, il me semble que les blogs et réseaux sociaux sont un très bon outil de réflexion, discussion, décantation, information. Mais qu’il arrive un moment où il faut proposer un travail plus profond, qui ne s’adresse pas seulement à quelque personnes proches de nous mais à l’ensemble de la communauté académique, et que cela doit alors passer par une évaluation précise et anonyme.