Pour une évaluation diversifiée et de nouvelles métries

Geo-metrie
Image by Mihr* via Flickr

Je reviens donc comme promis sur les métries et ce à quelques jours de la non-conférence du Thatcamp autour des digital humanities. Il n’y aura pas d’ateliers autour des métries. Je pense qu’il s’agit néanmoins d’un enjeu important tant il y a de nouveaux aspects à évaluer notamment autour du blog.

Parmi ces territoires à évaluer, ceux des rapports du blogueur « scientifique » et de son lectorat. Comment mesurer son influence et notamment ses apports en matière de valorisation de son travail, la manière dont il fait mieux connaitre sa discipline, les formations qu’il dispense, les diplômes dans lesquels il intervient voire la notoriété qu’il apporte à l’université. De la même façon, en quoi il permet de tisser des liens avec le monde professionnel.

De nouveaux indicateurs semblent nécessaires dans ce cadre. Sans vouloir en faire des indicateurs absolus, il pourrait être tout aussi opportun de mesurer la portée de ses travaux dans le monde professionnel. D’ailleurs pourquoi ne pas développer déjà des indicateurs bibliométriques dans ce cadre ? (nombre de citations dans la presse professionnelle, parutions dans la presse professionnelle, etc.)

En ce qui concerne le blog, l’indicateur devrait à l’inverse de Wikio être plutôt composé à partir non pas seulement d’autres blogs mais d’un plus grand nombre de sites web en accordant notamment un plus grand poids aux sites à portée institutionnelle (ministère, signets de bibliothèque, bibliographies thématiques, sites de laboratoires, carnets de recherche, réseau de blogs reconnu comme Culture visuelle, etc.), afin de mettre en place un algorithme de popularité à pondération basée sur l’autorité institutionnelle.

L’idéal serait la production cartographique ou en rosace des travaux d’un chercheur ou d’un laboratoire suivant différents axes. C’est d’ailleurs ces aspects qui intéressent Antoine Blanchard, alias Enro, notamment en faisant référence à l’intérêt des théories l’acteur-réseau. Cela démontre l’importance équivalente entre la production de savoirs et inscriptions de son nom en tant que chercheur ou laboratoire sur des articles, et la traduction c’est-à-dire l’opération de communication et de recherches d’alliés qui permet la diffusion (contagion ?) des idées.

 

En ce qui me concerne, l’article le plus téléchargé sur archivesic est sur la thématique du web 2.0. Il est également un des plus cités. Problème, sa reconnaissance en tant qu’article pose problème puisqu’il n’est paru dans aucune revue. Sa valeur en tant qu’article n’est d’ailleurs pas reconnue notamment par certains membres des autorités institutionnelles. Il est pourtant cité et je croise quelques collègues qui me disent l’avoir pas mal utilisé. Par conséquent, quelle est sa valeur ? En d’autres termes, est-ce la revue qui fait la valeur de l’article où est-ce la suite qu’on lui donne ? Vaut-il mieux être publié dans une revue de rang A et ne pas être cité ou au contraire voir son travail cité et source de divers intérêts. Il convient donc de s’interroger aussi sur une portée de l’économie de la recherche et de ses propres travaux.

Evaluer signifie surtout conférer de la valeur et pas seulement vouloir appliquer un ratio. Nul doute que tous les éléments évoqués ne sont pas tous pleinement calculables mais au moins pouvant être source d’une forme d’évaluation. Il demeure qu’elle est toujours relative. Je partage d’ailleurs le point de vue du message twitter d’ OlivierAuber « tout ce qui est compté (ou pas) traduit le point de vue de ceux qui comptent ». Ce qui nous ramène aussi à Protagoras.

Par conséquent, je prône dès lors de rechercher un maximum de points de vue. En cela, la prise en compte de l’avis des étudiants ne serait pas un luxe en ce qui concerne les enseignants-chercheurs.

Il reste qu’on a toujours besoin d’être évalué par les autres, pour progresser. Evaluer c’est aussi conseiller, ouvrir à d’autres points de vue et méthodes. Pour ma part, les critiques même celles qui sont douteuses voire agaçantes, m’ont toujours fait progresser. Elles sont nécessaires tout comme l’artiste qui doit sortir de son cercle familial. La critique est donc une condition obligatoire à la science.

Il reste que cette critique ne doit pas s’arrêter aux estampillage et accessits qui émaillent les carrières. Il n’a rien de plus pénible que les enseignants qui dotés du capes, de l’agrégation, ou recrutés comme maitres de conférences, estiment qu’ils ont reçu un double 00, le droit d’avoir raison dans leur discipline et dans leur manière de faire et d’enseigner. Le blanc-seing ne doit pas exister.

L’évaluation, c’est une remise en cause ponctuelle, un élément de la faculté à progresser individuellement et collectivement. Attention, toutefois, à ne pas glisser non plus dans le fantasme de la bêta perpétuelle. Il faut donc trouver un juste équilibre entre stabilité et remise en cause, une « métastabilité » simondonnienne en quelque sorte.

Je pense qu’il est temps de commencer à bâtir ces nouveaux indicateurs, ces nouvelles cartographies, ces nouvelles métries : autant scientométries que nétométries. J’invite tous ceux qui veulent me rejoindre dans cette entreprise pour esquisser de nouveaux types de métries afin de pouvoir mettre en place un document de travail afin d’éclaircir ce que je viens d’exposer confusément.

 

Reblog this post [with Zemanta]

5 réflexions au sujet de « Pour une évaluation diversifiée et de nouvelles métries »

  1. Une question pour mieux comprendre : pourquoi n’avez-vous pas publié votre article en revue ?
    Après, Dieu merci, le nombre de citation n’est pas tout. Par exemple, en biologie, les articles les plus cités sont des points sur l’état de l’art : ils sont cités en introduction de tous les articles suivant car sont synthétiques et pratiques mais ne sont pourtant pas d’un immense intérêt scientifique et leur influence dans l’évaluation est dès lors très inférieure à leur poids « médiatique ».
    Et ce recul à avoir est d’autant plus important sur internet où la communication est beaucoup plus personnalisée que sur d’autres médias. Il est fréquent qu’un blogueur influent ne fasse que reprendre une information/analyse d’une personne moins connue et c’est alors l’influent qui est cité/retweeté. Le problème des réseaux sociaux, c’est qu’ils sont sociaux et, partant, extrêmement favorables au copinage. Le peer-reviewed en double aveugle demeure un bon moyen de juger la qualité seule d’un travail en faisant abstraction du contexte.
    Bref, il me semble que les blogs et réseaux sociaux sont un très bon outil de réflexion, discussion, décantation, information. Mais qu’il arrive un moment où il faut proposer un travail plus profond, qui ne s’adresse pas seulement à quelque personnes proches de nous mais à l’ensemble de la communauté académique, et que cela doit alors passer par une évaluation précise et anonyme.

    1. Je l’ai proposé à une revue qui a tardé et qui me l’a refusé sans d’ailleurs me donner de précisions. Il n’y a pas eu à mon avis de lecture en double aveugle car je n’ai eu aucun commentaire. Toutes les revues ne jouent pas vraiment le jeu et c’est bien le problème.
      Je suis toujours pour une lecture en double aveugle mais il ne faut pas non plus exagérer son importance. La lecture en double aveugle souffre de mécanismes qui sont aussi dangereux : celui de se faire une image de l’auteur. Parfois, les références et les thématiques permettent de deviner qui est l’auteur, si ce n’est pas le cas, il y a aussi le risque de lire l’article en s’imaginant que l’auteur est originellement un philosophe, un professeur de secondaire, etc. Cela signifie qu’à l’instar du cv anonyme, cela n’est pas sans relative hypocrisie voire de lecture de mauvaise foi. De plus, ce genre de processus ne garantit pas nécessairement et même au contraire l’innovation. Je ne crois donc pas que le double aveugle fasse abstraction du contexte mais cherche à l’inverse à l’imaginer et parfois de manière erronée.
      Je pense aussi qu’il convient d’écrire en dehors des sphères académiques et que ce travail n’est pas un détail. Il participe de l’opération de traduction-transmission-transposition sans quoi l’écrit scientifique ne serait qu’une gigantesque base d’entreglosage.

  2. Bonjour,
    merci pour ce billet très intéressant. Il me semble qu’il repose cependant sur une ambigüité : il appelle formellement à la conception et à l’utilisation de nouvelles métries et dit de manière moins forte qu’il faut aussi s’interroger sur ce que l’on souhaite mesurer. Or, il me semble que cette réflexion précède la conception de nouvelles métries : Qu’attend-on des chercheurs ? quelles sont leurs missions ? C’est d’abord à ces questions qu’il faut répondre avant de penser à mesurer parce que les métries sont des boîtes noires – utiles, comme toute boîte noire pour synthétiser l’information et aller plus vite, mais à la condition qu’il y ait consensus sur ce qu’elles contiennent et la manière dont elles sont fabriquées.
    Et puis après tout, peut-être que la situation actuelle : évaluation sur la seule base du nombre de publications et de citations dans un corpus de référence est une situation voulue, une option politique assumée sur ce que doit être la recherche. Dans ce cas encore, ce n’est pas la fabrication de nouvelles métries qui résoudra la situation mais le choix d’autres options en matière de politique de la recherche doit la précéder.

    1. Effectivement, il ne peut y avoir de nouvelles métries sans avoir défini au préalable ce que l’on désirait mesurer. Malgré tout, je pense qu’il ne faut pas nécessairement attendre la décision institutionnelle pour débuter leurs conceptions. Je soulève le fait que ces évaluations existent déjà mais en se basant parfois sur des « on-dit » ou des préjugés.

  3. (1) « D’ailleurs pourquoi ne pas développer déjà des indicateurs bibliométriques dans ce cadre ? (nombre de citations dans la presse professionnelle, parutions dans la presse professionnelle, etc.) » Pourquoi pas aller plus loin et ajouter « science & société », la vulgarisation et l’engagement citoyen ? Autrement dit, ouvrir les indicateurs aussi à la presse grand public et aux événements ?
    (2) « Et puis après tout, peut-être que la situation actuelle : évaluation sur la seule base du nombre de publications et de citations dans un corpus de référence est une situation voulue, une option politique assumée sur ce que doit être la recherche. » Comment intégrer les projets dans ce périmètre, l’obtention de subventions, postes, équipements ?

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *