Institut des maladies infectieuses et immunitaires : Rapport sur l’engagement des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs des IRSC
Novembre 2016
Messages principaux
Même si les conversations des groupes de discussion ont surtout porté sur les récents changements apportés à l'évaluation par les pairs, la structure de la réforme a aussi été largement abordée. La pilule n'est pas encore tout à fait passée, et il faudra encore du temps pour regagner la confiance du milieu. La réforme a été mise en place pour diminuer le temps consacré à la préparation de demandes de subvention, réduire la charge de travail des évaluateurs et offrir des chances égales à tous, notamment aux nouveaux chercheurs et aux chercheurs interdisciplinaires. Malheureusement, nous sommes encore loin de ces objectifs louables. Le cas des IRSC n'est pas unique. En effet, d'autres organismes de financement sont aux prises avec des défis semblables : assurance de la cohérence des évaluations, recrutement d'évaluateurs qualifiés, fonds limités, difficultés à évaluer la recherche multidisciplinaire.
D'après les membres consultés, l'abolition des évaluations en personne était une erreur. En réinstaurant celles-ci, les IRSC ont pris la bonne décision, et ils ne doivent pas revenir en arrière. Les membres ont reconnu une certaine réceptivité de la part des IRSC, mais à leur avis, l'organisme aurait dû les écouter bien avant. De plus, selon les participants, les chercheurs chevronnés devraient se charger de l'évaluation par les pairs, et les nouveaux chercheurs devraient avoir un statut d'observateur et être encadrés par leurs pairs plus expérimentés. Plusieurs organismes ont mis les évaluations virtuelles à l'essai pour ensuite retourner aux réunions en personne (p. ex. le Medical Research Council). Il a été souligné que, comparativement à l'évaluation virtuelle, l'évaluation en personne garantit l'application de normes plus élevées par les évaluateurs participants. Le retour de la nomination d'agents scientifiques a été très bien accueilli, à l'instar de la participation accrue de chercheurs au processus de sélection.
Les chercheurs en sciences fondamentales (sciences biomédicales et humaines) se sentaient désavantagés comparativement à leurs pairs d'autres domaines, car pour eux, l'application des connaissances et la génération de retombées prennent plus de temps. Dans l'évaluation de la recherche fondamentale, il faudrait réduire l'importance accordée à ces aspects. De plus, d'après certains participants, le Canada et les IRSC doivent rappeler l'importance qu'ils accordent à la production de connaissances et leur intention d'exploiter l'innovation canadienne pour répondre à certains des besoins de santé les plus urgents.
Démarche d'engagement des intervenants
L'Institut des maladies infectieuses et immunitaires a choisi de consulter son milieu au moyen de groupes de discussion. Compte tenu du temps alloué aux consultations et à la rédaction du rapport, nous avons jugé qu'il s'agissait du meilleur moyen de sonder l'opinion de nos chercheurs sur le nouveau programme de recherche libre et le nouveau processus d'évaluation par les pairs des IRSC. Nous avons consulté nos groupes de discussion par l'intermédiaire de WebEx (audio et vidéo). Trois consultations distinctes ont eu lieu, soit le 21 octobre (de 15 h 30 à 17 h 30), le 27 octobre (de 14 h à 16 h) et le 28 octobre (de 15 h à 17 h). Nous avons aussi inclus des commentaires formulés par des membres du milieu dans le cadre du sondage en ligne des IRSC.
Participants
Chacun des trois groupes de discussion était formé de quatre participants, pour un total de douze. Tous les participants étaient des chercheurs actifs travaillant sur des projets cadrant avec le mandat de l'Institut. Nous avons cherché à assurer une représentativité sur les plans de la géographie, du sexe, de l'expertise, du thème de recherche et du stade de carrière ainsi qu'à mobiliser des candidats retenus et non retenus dans les concours récents des programmes de subventions Fondation et Projet. Cependant, en raison de contraintes de temps et de la disponibilité restreinte des participants potentiels, nous n'y sommes pas toujours parvenus. Bon nombre des membres des groupes de discussion ont évalué des demandes dans les programmes Fondation ou Projet. Voici les données démographiques relatives aux douze participants : quatre femmes et huit hommes; six personnes associées au thème de la recherche biomédicale, trois cliniciens-chercheurs, et trois personnes associées au thème de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations; quatre chercheurs œuvrant dans le domaine de l'immunologie, cinq, dans le domaine des maladies infectieuses et trois, dans ces deux domaines. Huit participants étaient situés en Ontario ou au Québec, deux dans l'Ouest canadien et deux dans l'Est canadien. Le présent rapport comprend également les points de vue de six chercheurs anonymes qui ont répondu au sondage en ligne, dont trois chercheurs chevronnés et trois chercheurs en milieu de carrière, tous associés au thème de la recherche biomédicale.
Résumé de la rétroaction des intervenants
- Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?
La réforme a été mise en place pour diminuer le temps consacré à la préparation de demandes de subvention, réduire la charge de travail des évaluateurs et offrir des chances égales à tous, notamment aux nouveaux chercheurs et aux chercheurs interdisciplinaires. Certains ont cru qu'il serait peut-être trop tôt pour répondre à cette question, mais les membres des groupes de discussion ont mentionné que les chercheurs rédigent un nombre sans précédent de demandes de subvention. En raison de l'incertitude qui plane, pour réduire le risque de ne pas obtenir de financement, certains chercheurs ont décidé de présenter des demandes à la fois aux programmes Projet et Fondation. Le faible taux de réussite a aussi entraîné la préparation d'un nombre accru de demandes dans un contexte où leur qualité n'a jamais été aussi élevée. De plus, tous s'entendaient pour dire que le travail associé à l'évaluation par les pairs n'a pas diminué depuis la mise en œuvre de la réforme. Il ne semble pas y avoir d'indicateurs rapidement utilisables pour évaluer la recherche interdisciplinaire, et il est difficile de valider la légitimité de ce type de recherche. Nous devons également tenir compte du fait que trois variables ont été modifiées en même temps : abolition des comités en personne, instauration du processus d'évaluation structurée et lancement des deux types de subventions (Projet et Fondation). Cette façon de faire pourrait avoir compromis le succès global de la mise en œuvre de la réforme.
Par ailleurs, le processus virtuel d'évaluation par les pairs a été décrié de façon quasi unanime et à de nombreux égards. Parmi les problèmes soulevés le plus souvent, mentionnons les lacunes du processus automatisé de sélection, la variation de la qualité des évaluations et la participation insuffisante de certains évaluateurs aux activités de clavardage. Les changements apportés après la réunion du 13 juillet, notamment la réinstauration des évaluations en personne, les processus de sélection et la possibilité de réfutation, sont vus d'un très bon œil, mais certains problèmes ont tout de même été relevés (ils sont énumérés ci-après). On ignore ce que ces changements feront pour la recherche multidisciplinaire; il sera encore difficile de disposer de toute l'expertise sur le contenu dans un comité en personne, à moins que le comité consulte des experts externes par conférence téléphonique. L'ampleur du triage (60 %) avant la réunion en personne est aussi problématique. Bien que les membres des groupes de discussion reconnaissent l'utilité de la rationalisation, ils estiment qu'un mécanisme de maintien des demandes valables devrait être en place.
Le raisonnement justifiant tous ces changements a été remis en question. D'après les membres des groupes de discussion, l'ancien système n'était pas si défaillant; certes, des changements s'imposaient, mais ceux qui ont été mis en œuvre étaient trop radicaux. Jusqu'à maintenant, la réforme des programmes de recherche libre a occasionné une diminution inacceptable de la qualité des évaluations. Des participants croient que les changements ont été apportés pour favoriser la recherche « translationnelle » au détriment de la recherche fondamentale, ce qu'ils considèrent comme un risque pour la réputation du Canada. Selon eux, cette situation est susceptible d'entraîner l'exode de talentueux chercheurs en milieu de carrière et de créer un fossé intergénérationnel dans lequel il y a moins de chercheurs en début de carrière, de membres du personnel hautement qualifiés et de stagiaires, pourtant tous essentiels aux projets d'innovation au Canada. Dans les critères actuels du programme Fondation, 25 % vont à la catégorie leadership. Il se pourrait que cette catégorie ne soit pas associée aux meilleurs chercheurs, mais plutôt aux meilleurs gens d'affaires. De plus, l'aspect application des connaissances (AC) du processus d'évaluation n'est pas facilement applicable à la recherche fondamentale, et il ne devrait donc pas pénaliser les chercheurs de ce domaine.
Avec les taux de réussite actuels et les fonds affectés aux programmes Fondation et Projet, le nombre de chercheurs en santé financés au Canada est insuffisant. Le programme Projet est considéré comme mal adapté à la recherche fondamentale. Les critères d'évaluation du programme Fondation favorisent les chercheurs chevronnés et désavantagent les chercheurs en milieu de carrière. Ce programme est aussi considéré comme un moyen de limiter le financement qu'un chercheur peut obtenir des programmes ouverts des IRSC. On s'interroge au sujet du renouvellement des subventions Fondation et du risque associé au regroupement de tous les projets sous un seul programme. Le calcul de base des subventions Fondation pourrait désavantager les chercheurs titulaires d'une seule subvention (ou de deux petites subventions) des IRSC, et au fil des ans, l'inégalité des versements pourrait être problématique pour les titulaires, étant donné qu'elle pourrait mettre en péril le maintien même de leur programme de recherche. Il a aussi été mentionné que le programme Fondation perpétue l'oligarchie de la « vieille garde ».
- Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?
Malgré les améliorations apportées à la suite de la réunion du 13 juillet, les participants avaient l'impression qu'il y a encore beaucoup à faire pour appuyer et évaluer la recherche allant de la structure atomique de cibles médicamenteuses aux déterminants sociaux de la santé et aux sciences de la mise en œuvre. Les principaux problèmes soulevés par les membres des groupes de discussion concernaient la recherche interdisciplinaire, la place et l'évaluation de la recherche fondamentale, l'équité dans le financement de la recherche fondamentale en sciences humaines, la difficulté de recruter les meilleurs évaluateurs, et enfin, l'inégalité de genre et le financement de chercheurs à tous les stades de carrière. En effet, les résultats des concours récents indiquent que la réforme a désavantagé les chercheurs débutants ou en milieu de carrière et les femmes.
La recherche interdisciplinaire est problématique pour l'évaluation par les pairs, et il n'est pas certain que l'architecture actuelle permettra d'améliorer la situation. Après que le CRSH a délaissé la recherche en santé à la fin des années 2000, les IRSC ont négligé les sciences humaines, et plus particulièrement la recherche fondamentale sur les sciences sociales. Les spécialistes des sciences sociales n'ont pas encore trouvé leur place aux IRSC. Certains participants aux consultations craignaient que les projets autonomes misant sur l'aspect social de la recherche en santé et ne comptant aucun cochercheur des domaines biomédical ou clinique ne soient pas financés. De plus, le CV commun écarte les publications parues il y a plus de cinq ans, même si elles peuvent être encore largement diffusées. Pour satisfaire les exigences en matière de recherche interdisciplinaire, les candidats associés aux thèmes de la recherche biomédicale et de la recherche clinique inscrivent le nom d'un spécialiste des sciences sociales ou d'un éthicien dans leur demande, mais cette pratique n'a souvent qu'une valeur symbolique, les chercheurs-boursiers en sciences humaines étant écartés de la suite du processus. Un processus approfondi d'évaluation par les pairs devrait permettre de déterminer la légitimité de la collaboration interdisciplinaire. Les demandes interdisciplinaires nécessitent des comités ayant toute l'expertise nécessaire pour produire des évaluations justes et cohérentes. Au fond, ce sont l'ampleur et la profondeur de l'expertise des évaluateurs et l'importance qu'ils accordent à la recherche interdisciplinaire qui comptent. Des évaluations en personne prévoyant suffisamment de temps pour des échanges entre les évaluateurs pourraient faciliter le financement de la recherche interdisciplinaire.
Les chercheurs associés à la recherche biomédicale et aux sciences sociales fondamentales ont indiqué qu'une trop grande importance était accordée à la recherche interdisciplinaire et aux retombées directes pour la santé humaine. Dans le dernier concours Projet, les critères d'évaluation étaient très axés sur les retombées pour la santé humaine, un objectif qui n'est pas toujours facilement atteignable pour un projet de recherche biomédicale ou de recherche fondamentale en sciences humaines. Plusieurs projets de recherche fondamentale ne sont ni multidisciplinaires ni interdisciplinaires. Il faut des années pour que les connaissances issues d'un projet en recherche fondamentale soient appliquées, et il a été dit que ces projets n'ont pas eu beaucoup de succès durant le concours en raison d'une progression insuffisante sur le plan translationnel.
Dans l'ensemble, les membres des groupes de discussion croyaient que la réforme actuelle et les modifications apportées après le 13 juillet n'avaient pas eu pour effet de réduire la charge de travail des évaluateurs. Même si certains ont grand espoir que le collège des évaluateurs donnera lieu à des améliorations, tous n'étaient pas de cet avis. Durant le dernier cycle de concours, des critiques ont été formulées sur la qualité des évaluations, notamment sur des problèmes d'incohérence et même sur l'absence de commentaires. On a mentionné qu'il a été difficile de recruter des évaluateurs compétents pour les derniers concours. Les IRSC devraient envisager de recruter des chercheurs en début de carrière tout en garantissant à ces derniers un encadrement adéquat pour qu'ils contribuent au processus d'évaluation. S'ils songent à recruter des évaluateurs internationaux, les IRSC pourraient se heurter à certaines difficultés, comme ils n'offrent aucun incitatif clair. Ils devraient donc envisager d'offrir aux évaluateurs internationaux des incitatifs financiers, comme le font plusieurs autres organismes de financement, ainsi que d'autres mesures de reconnaissance, par exemple du milieu universitaire. D'autres discussions seront nécessaires entre les IRSC et les établissements d'accueil.
- Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs? Comment la réforme des IRSC permet-elle de relever ces défis?
Les défis relatifs à la qualité de l'évaluation par les pairs ne sont pas propres aux IRSC. Les membres des groupes de discussion étaient d'avis que l'étalon de référence dans le domaine est l'évaluation en personne et que les autres organismes qui sont passés à un processus virtuel d'évaluation par les pairs n'ont pas obtenu de bons résultats. Les réunions en personne donnent lieu à des discussions plus constructives et favorisent l'encadrement de la nouvelle génération de pairs évaluateurs. Il a été mentionné que la participation à un comité d'évaluation des demandes de subvention est un privilège et qu'il peut s'agir d'une expérience utile d'apprentissage et de réseautage.
Dans plusieurs cas, l'algorithme initial de jumelage de l'expertise recourant principalement à des mots-clés était inadéquat pour apparier les évaluateurs et les demandes. Axé sur la recherche biomédicale et la recherche clinique, le menu de mots-clés ne tient pas vraiment compte des termes associés aux sciences humaines. On a souvent demandé à de proches collaborateurs, à des gens travaillant dans le même département ou à des non-experts d'évaluer certaines demandes. Bien entendu, les évaluateurs potentiels peuvent refuser en raison de conflits d'intérêts ou d'une expertise insuffisante, mais ces éléments devraient être vérifiés en amont au moyen d'une enquête plus exhaustive que celle qu'on réalise actuellement. Les changements apportés après la réunion du 13 juillet représentent un progrès, et pour être efficace, le collège des évaluateurs doit être doté d'un excellent processus de jumelage. La participation de chercheurs experts (présidents de comité/agents scientifiques) est importante, et ceux-ci devraient valider l'algorithme automatisé de jumelage avant que les demandes soient assignées aux évaluateurs potentiels. Il serait essentiel que les IRSC évaluent et améliorent constamment la capacité de l'algorithme à jumeler l'expertise des évaluateurs aux demandes. Étant donné que le milieu canadien de la recherche est petit, il est souvent difficile de trouver des experts, alors il faut parfois s'en remettre à des généralistes. C'était aussi le cas auparavant. Lorsque l'expertise est variable, il y a souvent divergence dans les commentaires, les évaluations et le classement; c'est pourquoi les réunions en personne sont essentielles. Cette situation oblige le candidat à adapter sa demande à un public élargi de sorte qu'elle puisse être comprise et évaluée par un groupe d'évaluateurs diversifiés.
Malgré la petite taille du milieu de la recherche au pays, les membres des groupes de discussion ont mentionné que les personnes présentant une demande à un concours pour lequel on leur demanderait aussi d'effectuer des évaluations se trouveraient en conflit d'intérêts. Le nombre de demandes de subvention présentées est élevé, alors il faut de nombreux évaluateurs. Les IRSC devront déterminer si le plafonnement du nombre de demandes qu'un candidat peut présenter à un concours fait diminuer le nombre d'évaluateurs nécessaires. Les IRSC pourraient augmenter le nombre d'experts internationaux membres à part entière de comités, mais comme nous l'avons indiqué à la fin de la question 2, le recrutement d'évaluateurs internationaux est difficile. Pour commencer, nous pourrions entrer en contact avec des chercheurs internationaux qui sont cochercheurs principaux dans une demande présentée aux IRSC, ou avec des citoyens canadiens qui travaillent à l'étranger. En plus de la recherche interdisciplinaire, la question des évaluateurs de demandes de subvention comportant des mégadonnées mériterait une analyse plus approfondie. En effet, les grands ensembles de données, les données sur les sciences omiques et les outils bio-informatiques sont maintenant des éléments prépondérants dans un nombre croissant de demandes. Souvent, les experts ne sont pas titulaires d'un poste universitaire et font partie de grandes équipes, et l'expertise nécessaire pour évaluer adéquatement ces demandes fait défaut.
Il a été admis que la qualité des demandes ne cesse d'augmenter, ce qui complique de plus en plus leur classement. Cette situation crée une pression sur les évaluateurs, et ces difficultés demeurent dans le nouveau système. Toutes les demandes qui sont classées au moins en milieu de peloton devraient faire l'objet d'une discussion en personne. Le classement en fonction de l'excellence est une meilleure pratique, et à une époque où le financement est limité, les normes les plus élevées devraient être utilisées. C'est donc dire que la sélection est décisive, mais que la compétence des évaluateurs devrait aussi être continuellement vérifiée. Nous savons tous à quel point l'obtention d'une subvention est déterminante dans la carrière d'un chercheur; il a été suggéré que les IRSC effectuent une analyse afin de s'assurer que des types précis de demandes ou de projets ne reçoivent pas systématiquement des cotes inférieures. En outre, les IRSC pourraient mieux vérifier les chevauchements entre les demandes et les subventions actives d'un même candidat.
- Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?
À sa création, le collège des évaluateurs a été présenté au milieu de la recherche comme l'entité qui veillerait à ce que le système d'évaluation par les pairs favorise la sélection des meilleures demandes tout en demeurant juste, bien géré et transparent. Cependant, une certaine confusion semble entourer l'état réel du collège. Même si ses présidents ont été sélectionnés et nommés, le collège n'est pas encore entré en activité (mais certains répondants croyaient déjà en faire partie, comme on leur avait récemment demandé d'évaluer des demandes). Puisque le collège n'est pas officiellement opérationnel, il est impossible de mesurer son incidence sur le système d'évaluation par les pairs. Le processus de recrutement des évaluateurs n'est pas clair, et certains membres des groupes de discussion s'interrogeaient à ce sujet. Sur une note plus positive, le fait que tous les évaluateurs seront formés et que leur travail sera évalué a été bien accueilli, même si les détails restent à préciser (qui sera responsable? quels sujets seront abordés? qui s'occupera de la formation? quel sera le format?). On a indiqué que le président et l'agent scientifique (AS) auront tous deux un rôle important à jouer dans l'évaluation des évaluateurs. Officieusement, c'était déjà le cas dans le système antérieur, mais l'officialisation du processus est vue d'un bon œil.
Des participants ont mentionné que les IRSC devraient trouver un moyen de changer le point de vue des chercheurs participant à l'évaluation par les pairs pour qu'ils voient cet exercice comme un privilège et non comme un fardeau. L'appartenance au collège devrait être prestigieuse, et elle devrait être considérée par les établissements d'attache comme une contribution significative à la vie universitaire. Les prochaines discussions entre les organismes de financement et les représentants d'universités axées sur la recherche devraient viser à faire évoluer les choses à ce chapitre. Aux États-Unis, les NIH sont parvenus à instiller un sentiment de fierté chez leurs évaluateurs.
Par ailleurs, les réunions en personne sont largement considérées comme un élément essentiel du processus d'évaluation par les pairs, et leur réinstauration après la réunion du 13 juillet était une bonne décision. Elles favorisent la pression des pairs et la responsabilisation, deux éléments qui contribuent à rehausser la qualité des évaluations. De plus, elles facilitent le réseautage, un avantage découlant de la participation à des comités.
Les IRSC doivent en outre bonifier la banque d'évaluateurs qui possèdent de l'expertise sur le contenu et de l'expérience en évaluation par les pairs. Un programme d'échange entre plusieurs organismes internationaux pourrait être bénéfique pour les évaluateurs et les IRSC. Ces derniers pourraient offrir aux chercheurs en début de carrière, aux fins d'intégration, la possibilité de siéger à des comités d'évaluation par les pairs à titre d'observateurs. Ainsi, ces chercheurs se familiariseraient avec le déroulement du processus et prendraient conscience des efforts déployés par les évaluateurs et des compétences nécessaires pour effectuer et défendre une évaluation. Les nouveaux chercheurs pourraient voir comment les chercheurs plus expérimentés préparent leurs demandes de subvention. Pour revenir aux IRSC, ces derniers devraient travailler activement à augmenter la banque d'évaluateurs; le recours à une approche personnelle (p. ex. appels téléphoniques) peut grandement contribuer au recrutement de membres. C'est d'ailleurs une approche qu'ils emploient, et elle leur vaut des félicitations.
Les rôles de président de comité et d'AS sont aussi considérés comme des éléments cruciaux pour assurer la grande qualité du processus d'évaluation par les pairs. Le président anime les discussions et veille à ce que l'opinion de chaque évaluateur soit entendue et respectée. Ensuite, l'AS communique aux candidats, de façon cohérente et exhaustive, les principaux messages issus des discussions. Le président et l'AS devraient aussi attribuer les demandes en fonction de l'expertise en vue d'optimiser la capacité de chaque évaluateur, et affecter le groupe d'évaluateurs approprié à chaque demande. Enfin, le président et l'AS peuvent repérer les évaluateurs qui ne répondent pas aux attentes.
- Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?
Plusieurs organismes de financement du Canada et de l'étranger sont dotés de meilleures pratiques relatives à l'évaluation par les pairs dont peuvent s'inspirer les IRSC, qui auraient intérêt à comparer leur processus existant à ceux d'autres programmes ou organismes canadiens, comme le Programme de bourses postdoctorales Banting ou l'Institut national du cancer du Canada. Par exemple, dans le programme Banting, il y a une première étape de sélection où toutes les demandes sont classées par ordre de rang – celles du quintile le plus élevé sont retenues. Les demandes ayant un écart important entre les cotes font l'objet de discussions entre les membres du comité, ce qui montre la nécessité de discussions en personne durant l'évaluation par les pairs. De son côté, l'Institut national du cancer du Canada, qui compte un nombre restreint de comités d'évaluation, a mis en place un système permettant l'échange de renseignements entre comités afin de financer le plus grand nombre possible de demandes de qualité. Pour leur part, les NIH offrent divers outils aux membres de leurs comités pour faciliter les évaluations : 1) clavardage; 2) appels téléphoniques à des évaluateurs externes si le comité n'a pas l'expertise nécessaire pour évaluer une demande; 3) triage efficace des demandes peu concurrentielles; 4) appels téléphoniques préalables au personnel de programme dans le but d'orienter les évaluateurs; 5) formulaire structuré d'évaluation.
Les critères de l'évaluation par les pairs gagneraient aussi à être améliorés. Par exemple, le formulaire structuré ne permet pas d'évaluer adéquatement les demandes. Il faudrait donner une plus grande latitude aux projets risqués, puisqu'ils changent souvent la donne, et accorder une plus grande importance aux antécédents des candidats et aux retombées de la recherche, sans toutefois privilégier les activités non liées à la recherche. Les IRSC auraient intérêt à comparer le programme de subventions Fondation au Howard Hughes Medical Institute (HHMI).
Les IRSC jouent un rôle de catalyseur pour la recherche. Peu importe le processus en place, ils devraient veiller à ce que des commentaires détaillés soient fournis de façon complètement transparente à tous les candidats, financés ou non. Cette approche est utile pour ceux qui tentent leur chance de nouveau, de même que pour les nouveaux chercheurs, qui sont heureux d'avoir ces indications. Les IRSC devraient, au moyen du processus d'évaluation par les pairs, fournir l'information susceptible de favoriser l'amélioration de projets de recherche et de demandes de subvention subséquents ou encore indiquer clairement que le projet ne tient pas la route. La réinstauration du poste d'agent scientifique devrait contribuer à fournir un résumé général et cohérent des discussions des comités qui mettra en contexte les commentaires des évaluateurs.
Par ailleurs, il semblerait que les IRSC peinent à recruter des chercheurs expérimentés pour leurs comités d'évaluation par les pairs, où ils jouent un rôle essentiel, en partie à titre de mentors. Les IRSC pourraient suivre l'exemple du Conseil européen de la recherche et des NIH, qui obtiennent d'excellents résultats à ce chapitre. Même si des mesures incitatives pourraient s'avérer nécessaires, ce sont la crédibilité et le prestige associés à l'organisme ainsi que la qualité du processus d'évaluation qui semblent accroître la capacité d'attirer et de retenir des évaluateurs chevronnés. Cet aspect a aussi une incidence positive pour les candidats, qui apprécient l'expertise et font confiance au système.
Dans un autre ordre d'idées, les membres des groupes de discussion ont reconnu que les IRSC ont réinstauré la réfutation pour répondre à une demande du milieu, mais on ignore s'il s'agit de la stratégie optimale dans les cas où des demandes ont été refusées. En effet, le processus de réévaluation, ou plus précisément la seconde évaluation d'une demande refusée, n'est toujours pas géré adéquatement par les IRSC. Dans de nombreux cas, les demandes révisées ne semblent pas être prises en compte. Cette situation est en grande partie attribuable au fait que la seconde évaluation est effectuée par un comité différent du premier, souvent d'un point de vue différent, ce qui entraîne un refus. De plus, le temps alloué pour une nouvelle présentation est jugé trop long, ce que les membres des groupes de discussion trouvent contre-productif. Un processus rapide offrant une courte période pour la présentation d'une réfutation existe déjà à l'étranger (Australie) et a été suggéré comme une option pour les demandes se situant dans la zone grise. Ce processus pourrait contribuer à financer d'autres bonnes demandes qui ne nécessitaient que quelques renseignements supplémentaires sans pour autant retarder l'échéancier. Les IRSC pourraient utiliser des formulaires en ligne ou des vidéoconférences à l'étape de réfutation afin de diminuer les coûts et le nombre de demandes présentées à nouveau.
- Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?
Un thème récurrent issu des réponses à cette question est la satisfaction des candidats et la confiance dans le processus et le système des IRSC. Pour atteindre ces objectifs, il faut améliorer les communications directes avec les chercheurs tout au long du processus de demande de subvention, effectuer des sondages postdécision fiables et réaliser des suivis. Il se peut alors qu'un candidat non financé ait l'impression que sa demande a été traitée de façon équitable, qu'il a reçu l'information et la rétroaction pertinentes de la part des IRSC durant le processus de demande, et qu'il fasse donc confiance au système. La satisfaction mesurée chez les candidats non financés est clairement un indicateur très utile d'acceptabilité de l'évaluation par les pairs. En outre, l'augmentation du degré de confiance permettrait d'accroître la participation du milieu au processus d'évaluation.
Des indicateurs quantitatifs ont été utilisés pour mesurer la qualité et l'incidence de la recherche, particulièrement dans les domaines biomédical et clinique, et cette pratique devrait se poursuivre. Cependant, les membres des groupes de discussion ont souligné de nombreuses nuances devant être apportées aux indicateurs afin d'ajuster notre point de vue sur la recherche au Canada et ajouté que des analyses qualitatives étaient nécessaires. En effet, bien que les facteurs d'impact et les indices de citations puissent convenir dans certains domaines de recherche, il est nécessaire d'explorer l'utilité des livres, des recueils, des colloques, de la dissémination par de nouveaux médias, de l'engagement public et communautaire, des changements aux politiques ou d'autres types de retombées. Les retombées de la recherche varient d'un domaine à l'autre. Par exemple, la recherche appliquée et la recherche translationnelle peuvent générer des retombées par l'établissement de nouvelles politiques, lignes directrices ou pratiques cliniques. La portée du mandat des IRSC complique la comparaison des retombées, vu la grande variabilité entre les domaines et thèmes de recherche. Plusieurs suggestions ont été formulées concernant la création de nouveaux indices pour évaluer les résultats, mais les avis à ce sujet étaient partagés, en partie en raison de la diversité des intervenants de la recherche.
Parmi les autres aspects devant être pris en considération, mentionnons les fonds octroyés aux chercheurs au Canada comparativement à d'autres pays. Il semblerait que les chercheurs canadiens ont une productivité très élevée par rapport à chaque dollar investi. Les extrants de recherche pourraient aussi dépendre d'autres facteurs, dont le profil démographique, le stade de carrière et le genre, qui doivent être pris en compte dans l'établissement d'indicateurs de qualité aux fins d'évaluation équitable.
Certains membres des groupes de discussion ont reconnu qu'une évaluation internationale indépendante du système d'évaluation par les pairs était une bonne idée. Le cadre d'évaluation présenté dans le rapport final 2012 (Évaluation du Programme ouvert de subventions de fonctionnement) comporte des indicateurs pertinents qui devraient être envisagés (création de connaissances, conception et exécution du programme, application des connaissances et développement de la capacité). Cependant, certains indicateurs pourraient ne pas bien convenir à la science fondamentale. Plus particulièrement, dans l'évaluation de l'application des connaissances, l'accent devrait davantage être mis sur la qualité du processus d'évaluation et le financement des meilleurs projets de recherche que sur les gains à court terme.
La réforme devrait elle-même faire l'objet d'une évaluation, et un système de mesure permettant l'évaluation préréforme et postréforme devrait être mis au point. De plus, l'incidence des nouveaux programmes de financement doit être mesurée, et des correctifs doivent être apportés au besoin. Tant le programme Fondation que le programme Projet devraient être évalués, et il faudrait déterminer si le regroupement de subventions a bel et bien pour effet d'augmenter le nombre de recherches fructueuses. Les IRSC devraient recueillir des données qui leur permettraient d'évaluer l'incidence des nouveaux programmes sur divers indicateurs. Le nombre de chercheurs en début de carrière, de chercheurs en milieu de carrière et de chercheuses financés, les disciplines financées et non financées, le temps consacré à la préparation de demandes de subvention, le temps consacré à leur évaluation, le nombre de laboratoires de recherche financés par les IRSC, le nombre de stagiaires financés et le nombre d'emplois créés ou perdus à la suite de la réforme sont tous des indicateurs qui pourraient servir à comparer les périodes préréforme et postréforme.
- Date de modification :