Evaluer ou pas ?

La récente controverse au sujet des évaluations bibliométriques établies par l’Aeres finit par me déranger sur plusieurs points ce qui explique sans doute le fait que je n’ai pas signé la pétition. Le premier point gênant c’est le risque de voir la bibliométrie et la scientométrie comme des méthodes statistiques bêtes et aveugles qui ne seraient pas dignes d’interêt. J’ai la désagréable impression que certains chercheurs découvrent même l’existence de la bibliométrie et de la scientométrie qui sont des secteurs qui intéressent fortement les chercheurs en information communication et également les professionnels de la documentation. Plusieurs ouvrages intéressants sont parus sur le sujet et je mentionne régulièrement ces secteurs et travaux à mes étudiants. Un bon point de réflexion de départ sur le sujet est le numéro (collector?) de Solaris n°2 dont les archives sont toujours en ligne.
Les mesures scientométriques, bibliométriques voire nétométriques sont utiles et intéressantes. Cela ne signifie pas que leurs méthodes ne doivent pas être discutées au contraire puisque c’est au sein des débats que ces domaines peuvent progresser.
De la même manière, la bibliométrie répond à des impératifs professionnels fort utiles d’autant plus  si on leur ajoute une analyse sociale. Je cite ici un extrait de  l’article de Jean Max Noyer extrait du numéro de Solaris qu’il a coordonné et  qui rapelle la définition de la bibliométrie :
« Je rappelle donc brièvement, à partir de la définition de A. Pritchard, ce que l’on entend par « Bibliométrie », à savoir : l’ensemble des méthodes et techniques quantitatives — de type mathématiques / statistiques — susceptibles d’aider à la gestion des bibliothèques et d’une manière très générale des divers organismes ayant à traiter de l’information. Dit d’une autre façon, les outils statistiques utilisés par la Bibliométrie visent avant tout à élaborer des indicateurs concernant les outputs (publications) des diverses pratiques de recherche. Ce qui est visé : la classification, les fréquences et les types de distribution… bref, tout ce qui peut permettre d’aider à définir par exemple de nouvelles stratégies en matière d’acquisition, de mise à jour, de gestion des bibliothèques ou des bases de données. La Bibliométrie engendre donc des indicateurs d’activités qui ne nous renseignent guère sur les pratiques, les usages, les modes de problématisations à partir desquels les dispositifs de la science et de la technique se donnent comme pouvant être pensés, au moins en partie.  »
Il s’agit donc de signaler de suite qu’une évaluation uniquement statistique est insuffisante et qu’il faut donc lui adjoindre d’autres méthodes d’analyses.Je ne suis donc pas opposé à des mesures scientométriques au niveau des chercheurs à condition que toutes les démarches d’évaluation soient prises en compte. Ces démarches font partie de la science et même à un petit niveau en utilisant le logiciel Harzing. Publish or Perish, il est possible d’effectuer quelques mesures notamment pour un thème précis. Il faut toutefois relativiser les résultats car ils sont basés sur Google Scholar qui n’est pas rigoureux.
Je ne suis donc pas non plus de l’avis-que j’ai entendu- que toutes les recherches sont équi-valentes. Il ne s’agit pas de tomber pour autant dans le débat entre le bons et le mauvais chercheur…j’imagine déjà le parallèle avec le sketch des inconnus sur les chasseurs : le bon chercheur il publie mais le mauvais chercheur il publie aussi…)  C’est contraire à l’esprit scientifique qui vise à convaincre soit à priori par les mécanismes de sélection dans les revues avec évaluation par les pairs, soit a posteriori par les citations par les articles d’autres chercheurs. De la même manière, individuellement chaque chercheur sait qu’il a mieux réussi tel ou tel article ou telle communication. De même, certains concepts ou applications connaissent plus de succès et la scientométrie associée à des méthodes telles les co-occurences et les méthodes de Latour et Callon, nous sont utiles pour tenter d’analyser ces processus.
Alors toute démarche d’évaluation n’est pas nécessairement à rejeter. Il est vrai que cela doit se faire de manière la plus transparente possible : il nous faut connaître les règles du jeux à l’inverse du page rank de Google.
Je signalerai déjà sur ce point que selon moi, ces critères doivent être pensés au sein des disciplines mais également de manière inter-disciplinaire.
D’autre part, évaluer ne doit pas sans cesse signifier sanctionner mais conférer de la valeur. C’est tout l’intérêt de l’évaluation et étymologiquement, c’est cette action de conférer de la valeur qui nous intéresse. L’évaluation doit être un processus de valorisation à la fois de l’auteur, de l’article, du laboratoire, de l’université, etc. Evidemment derrière il y a le spectre de la compétition avec ses dérives : le risque du publish or perish, l’augmentation du nombre de publications et de revues ainsi que le choix de privilégier des secteurs permettant d’obtenir de meilleurs indicateurs. Voilà pourquoi, il faut parvenir à une analyse sociale et humaine des résultats.
Il ne s’agit donc pas de refuser tout type d’évaluation mais au contraire d’en créer de nouvelles. Et ce qui doit être évalué est assez large et dépasse les critères du classement de shangai. De même l’évaluation répond à un besoin : celui du regard extérieur et de la critique. Sans les remarques, les critiques et les suggestions, quel intérêt ? L’évaluation prend donc en compte clairement la relation auteur-lecteur et leur co-construction qui nous oblige à ne pas se penser comme un auteur séparé et comme milieu d’idées spontanées.
Une fois de plus, il s’agit aussi de rappeler que le chercheur doit être un communiquant. Un chercheur ou un enseignant-chercheur qui ne produit ni textes ni communications ne peut être considéré comme un chercheur.  Ce travail de communication est à la base de la science en action. En effet qu’importe un travail génialissime si nous n’en avons pas de trace…documentaire.
Or le second point qui me gêne également parfois dans le rejet de l’évaluation, c’est que certains enseignants-chercheurs publient peu ou pas alors qu’ils sont rémunérés pour et que ce refus d’évaluation sous des discours généraux ne cachent que des défenses d’intérêt personnel. J’ai la sensation qu’à vouloir tout refuser en bloc, nous allons finir par avoir une solution qui n’aura pas été négociée et donc améliorée…et qui pèsera  sur les nouveaux recrutés.
Autre point d’importance qu’il faut aussi rappeler, c’est que l’évaluation ne peut provenir uniquement que de la sphère scientifique. Elle vient également selon les domaines, des communautés de professionnels, des usagers, des amateurs éclairés, des citoyens…et des étudiants. Ici, je souligne le fait que je reste convaincu que l’alliance enseignement et recherche est un atout précieux pour ce que nous avons à transmettre aux étudiants et qu’une trop nette division entre enseignants et chercheurs n’est pas profitable. L’évaluation doit donc être à la fois effectuée sous des formes de pairs à pairs mais rien n’interdit de lui adjoindre d’autres moyens d’observation à condition toutefois de ne pas dériver de l’autorité à la popularité.
La question est donc complexe et il nous faut donc penser l’évaluation en prenant en compte également l’e-science, les cyberinfrastructures et toute une série d’éléments possibles. Quel part accorder aux document sur les archives ouvertes ? Que penser notamment des activités de blog scientifique, comment l’évaluer et lui conférer une valeur pour le chercheur surtout quand il s’agit parfois d’heures considérables de travail comme dans le cas d’affordance.info
Alors valorisons la recherche.