Vérification des commentaires destinés aux candidats

Table des matières


Résumé

Introduction

Le rapport de vérification interne sur les commentaires destinés aux candidats fait partie du Plan de vérification fondé sur les risques pour 2012-2015, approuvé par le conseil d'administration des Instituts de recherche en santé du Canada (IRSC).

Les Instituts de recherche en santé du Canada

Les Instituts de recherche en santé du Canada sont l'organisme fédéral responsable du financement de la recherche en santé au Canada. Fondés en juin 2000 en vertu de la Loi sur les Instituts de recherche en santé du Canada, les IRSC rendent des comptes au Parlement par l'intermédiaire de la ministre de la Santé. Ils ont pour mandat « d'exceller, selon les normes internationales reconnues d'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada ». Les IRSC se composent de 13 instituts virtuels – chacun étant dirigé par un directeur scientifique appuyé par le conseil consultatif de l'institut – qui rassemblent tous les partenaires dans le processus de recherche – à savoir ceux qui subventionnent la recherche, ceux qui la réalisent et ceux qui en utilisent les résultats – pour échanger des idées et se concentrer sur les besoins des Canadiens : une bonne santé et les moyens de prévenir et de combattre les maladies. Chaque institut appuie un large éventail de recherches dans des domaines qui lui sont propres et, en consultation avec ses intervenants, établit les priorités de recherche dans ces domaines. Les IRSC financent plus de 14 000 chercheurs et stagiaires dans des universités, des hôpitaux d'enseignement et d'autres organismes de santé et centres de recherche au Canada et à l'étranger.

Commentaires destinés aux candidats

Les IRSC ont adopté un processus d'évaluation par les pairs qui fait appel à des comités d'experts qui évaluent les demandes selon un ensemble de critères et de facteurs afin de déterminer quels projets seront financés. Les demandes sont assignées à deux évaluateurs ou plus qui évaluent la demande et préparent des rapports à titre d'évaluateurs internes avant la réunion du comité. Pendant cette réunion, les pairs discutent des demandes et conviennent d'une note commune. Chaque comité a son agent scientifique, un observateur neutre qui fait la synthèse des discussions. Celui-ci n'attribue pas de note aux demandes.

Dans le cadre du processus d'évaluation par les pairs, les candidats reçoivent des commentaires des deux évaluateurs internes et de l'agent scientifique. Les IRSC apportent actuellement des changements à leurs programmes ouverts de subvention de fonctionnement (POSF) et aux processus d'évaluation par les pairs connexes, et cette vérification a pour but de les aider à ce chapitre.

Risques examinés

Cette vérification traite du risque que les commentaires fournis aux candidats ne reflètent pas les critères établis par les IRSC et qu'ils ne soient pas une synthèse fidèle des discussions du comité au sujet de leur demande. Ce risque s'inscrit dans l'élément « gérance » – « Le régime de contrôle du ministère ou de l'organisme (actif, fonds, effectifs, services, etc.) est intégré et efficace, et tous les employés comprennent bien ses principes sous-jacents » – et dans l'élément Apprentissage, innovation et gestion du changement – « Le ministère ou l'organisme applique une gestion innovatrice et transformatrice, favorisent l'apprentissage au sein de l'organisation, valorisent les connaissances organisationnelles et tirent des leçons de leur rendement » du Cadre de responsabilisation de gestion du Conseil du Trésor.

Objectif

L'objectif de la vérification était d'évaluer la qualité des commentaires que reçoivent les candidats en fonction des critères d'évaluation établis par les IRSC, ainsi que l'évaluations de base du niveau d'adhésion des pairs évaluateurs à ces critères.

Portée

La vérification a porté sur les notes des comités d'évaluation par les pairs et des agents scientifiques relatives à des demandes soumises dans le cadre du POSF de mars 2012 (des renseignements sur l'échantillon sont fournis à l'annexe B). Seules les demandes de subvention de recherche ont été examinées. Les subventions de dissémination, les bourses de formation, les bourses salariales et les autres possibilités de financement ont été exclues. La vérification ne portait pas non plus sur l'exactitude des évaluations en elles-mêmes, ni sur les conflits d'intérêts, la pertinence de l'évaluateur, les décisions relatives au financement, les mentions particulières et les cotes.

Opinion générale des vérificateurs

La vérification a permis de conclure que les commentaires destinés aux candidats présentent des problèmes modestes; certaines faiblesses ont été relevées au niveau des mesures de contrôle, mais le risque couru est limité, car la probabilité ou la conséquence du risque est faible.

Énoncé de conformité

J'estime, en tant que dirigeant de la vérification, que le nombre et la pertinence des procédures de vérification suivies et des éléments probants recueillis attestent l'exactitude de l'opinion exprimée dans le présent rapport. La vérification des commentaires destinés aux candidats a été effectuée conformément à la Politique sur la vérification interne et aux normes professionnelles connexes du gouvernement du Canada. Elle respecte les Normes relatives à la vérification interne au sein du gouvernement du Canada, comme le montrent les résultats d'un programme d'assurance et d'amélioration de la qualité.

Résumé des forces

Durant la vérification, les forces suivantes ont été observées quant aux commentaires destinés aux candidats :

Résumé des possibilités d'amélioration

La direction devrait toutefois se pencher sur les éléments suivants :

Les vérificateurs remercient la direction et le personnel pour leur coopération dans la réalisation de cette vérification.

David Peckham
Dirigeant principal de la vérification
Instituts de recherche en santé du Canada

La direction souscrit aux conclusions de la présente vérification.

Jennifer O'Donoughue
Directrice Exécutive – Implémentation des Réformes
Instituts de recherche en santé du Canada

Rapport détaillé

Méthodologie, critères et conclusion

La vérification des commentaires destinés aux candidats a été effectuée conformément à la Politique sur la vérification interne du gouvernement du Canada. Voici quelques-unes des techniques de vérification utilisées :

Les contrôles sont réputés adéquats lorsqu'ils sont suffisants pour réduire au minimum les risques de ne pas atteindre les objectifs. Les critères détaillés et les conclusions sont présentés à l'annexe A du présent rapport.

La vérification s'est déroulée entre novembre 2012 et avril 2013.

Observations, recommandations et plan d'action de la direction

Le tableau ci-dessous présente les observations et les recommandations qui découlent de la vérification, ainsi que le plan d'action de la direction pour corriger les faiblesses relevées

Observations Recommandations Plan d'action de la direction

1. Les membres des comités d'évaluation par les pairs ne fournissent pas toujours des commentaires pertinents et complets en raison de la forme des documents actuels.

Les directives relatives à l'évaluation par les pairs suggèrent aux évaluateurs de limiter leurs commentaires à trois pages. Dans cette limite, ils doivent aborder cinq critères généraux comportant chacun 20 facteurs (p. ex. la clarté de la question de recherche et la faisabilité de la recherche). En outre, plusieurs autres facteurs régissent la forme de l'évaluation générale (p. ex. des commentaires constructifs et des remarques sur le budget). Ces exigences concurrentes à satisfaire dans un nombre de pages limité et le grand nombre de critères et de facteurs à considérer peuvent faire en sorte que les évaluateurs ne soient pas en mesure d'y répondre en totalité. De plus, on a remarqué que les notes des évaluateurs comprenaient souvent un résumé détaillé de la demande devant servir aux discussions pendant la réunion du comité plutôt que des critiques ou des suggestions concises concernant la demande.

Bien qu'il ne soit pas raisonnable de s'attendre à ce que chaque évaluateur fasse des commentaires détaillés sur tous les aspects de la demande et sur tous les facteurs (et certains de ceux-ci ne seront peut-être pas pertinents), l'équipe de vérification croit avoir décelé une difficulté systématique chez la majorité des évaluateurs à faire des commentaires sur certains critères et facteurs (les sections portant sur l'originalité, l'environnement et l'impact de la recherche étaient celles qui causaient le plus de problèmes).

Une minorité d'évaluateurs ont intégré les critères et les facteurs d'évaluation dans leur évaluation sous la forme de rubriques, et écrivaient parfois la mention « sans commentaire ». Dans les évaluations des autres évaluateurs, il était impossible de savoir si l'absence de commentaire signifiait que l'évaluateur n'avait tout simplement pas pris en considération un critère ou un facteur ou qu'il considérait qu'il n'y avait pas de problème à mentionner ni d'élément à améliorer.

Le nombre de critères que les agents scientifiques doivent prendre en considération est moins élevé que pour les pairs évaluateurs, mais ils font face aux mêmes difficultés en ce qui a trait à l'espace limité qui leur est alloué (une page) pour faire la synthèse des discussions.

Dans le cadre de la mise en œuvre des nouveaux programmes ouverts, les IRSC se penchent sur un nouveau processus d'évaluation par les pairs, plus particulièrement sur l'élaboration d'une évaluation structurée. Pour ce type d'évaluation, les évaluateurs devront attribuer une cote à la demande et fournir des commentaires sur les forces et les faiblesses pour chacun des critères établis.

Risque et répercussions

Sans commentaires complets et précis des évaluateurs, les candidats pourraient ne pas savoir pourquoi leur demande n'a pas reçu une cote élevée. Ils ne sauraient donc pas ce qu'ils doivent améliorer dans leurs demandes subséquentes. Cette situation pourrait s'avérer frustrante pour le candidat et pour l'évaluateur, et empêcher le premier de s'améliorer et de voir son projet retenu (voir l'observation 3 sur les demandes présentées de nouveau). Pour les demandes qui reçoivent des fonds, le processus d'évaluation par les pairs est une occasion de recevoir des suggestions d'autres experts sur des points à améliorer. Cette capacité (ou occasion) pourrait disparaître.

1a) On doit fournir aux pairs évaluateurs un modèle leur permettant de structurer leur évaluation. Ce modèle doit contenir des sections portant sur chaque critère et chaque facteur selon lesquels les demandes sont évaluées.

1a) Responsabilité Directrice Exécutive – Implémentation des Réformes

Action

D'accord. Si l'utilisation d'une évaluation structurée s'avère une réussite dans le cadre des projets pilotes de la réforme, les IRSC mettront en œuvre un processus d'évaluation structurée pour l'ensemble des programmes ouverts. Les IRSC étudieront aussi la pertinence de mettre en œuvre une évaluation structurée pour leurs autres programmes.

Date d'achèvement prévue

En cours pour tous les projets pilotes de la réforme.

Si les projets pilotes sont concluants, les modifications seront mises en œuvre pour tous les programmes ouverts d'ici septembre 2017.

1b) Des instructions et des exemples doivent inciter les évaluateurs à fournir des commentaires concis et pertinents pour chaque critère et facteur. Une exigence explicite à déclarer « sans commentaire » devrait être intégrée au besoin.

1b) Responsabilité Directrice Exécutive – Implémentation des Réformes

Action

D'accord. Par la mise en place d'un collège des évaluateurs, les IRSC étudieront une stratégie de formation pour soutenir les évaluateurs. Cette stratégie comprendrait des instructions complètes à leur intention ainsi que des exemples d'excellentes évaluations rédigées par des évaluateurs des IRSC. De plus, en ce qui a trait aux projets pilotes qui seront lancés au cours des deux prochaines années et qui permettront de vérifier, entre autres, l'efficacité du processus d'évaluation par les pairs proposé, l'équipe de formation des IRSC étudiera des façons de soutenir les pairs évaluateurs au cours de la transition en préparant du matériel de formation pertinent.

Grâce à la mise en œuvre du nouveau processus d'évaluation, les évaluateurs auront l'obligation de commenter chaque critère de sélection.

Date d'achèvement prévue

Septembre 2017 (pour les programmes ouverts)

1c) On doit fournir aux agents scientifiques un modèle ou un autre outil pour structurer leur synthèse des discussions1.

1c) Responsabilité Directrice Exécutive – Implémentation des Réformes

Action

D'accord. Les IRSC analyseront les exigences auxquelles doivent se conformer les agents scientifiques et détermineront quel est le meilleur outil à utiliser, notamment un modèle structuré, pour les notes des agents scientifiques.

Date d'achèvement prévue

Septembre 2017 (pour les programmes ouverts)

1d) La documentation d'orientation et les communications destinées aux membres des comités d'évaluation par les pairs devraient inciter les évaluateurs à émettre des commentaires par rapport à tout critère ou facteur que les évaluateurs oublient systématiquement2.

1d) Responsabilité Directrice Exécutive – Implémentation des Réformes

Action

D'accord. En plus d'étudier un modèle d'évaluation structurée, comme il est décrit au point 1a dans le cadre du processus d'évaluation par les pairs, les IRSC sont en train de mettre au point un programme de formation pour s'assurer que les évaluateurs sont en mesure de fournir des évaluations de grande qualité.

Date d'achèvement prévue

Septembre 2017 (pour les programmes ouverts)

Selon les instructions à l'intention des agents scientifiques, « [l]'explication sur les réductions dans le budget et/ou dans la durée. L'absence de justification des compressions budgétaires ou de la réduction de la durée est injuste à l'égard des candidats et est souvent à l'origine de plaintes sur le processus d'examen ». En plus des contraintes budgétaires recommandées à l'étape de la demande, les IRSC imposent habituellement une réduction budgétaire généraleadditionnelle sur les budgets de toutes les demandes retenues dans le cadre du programme ouvert de subventions de fonctionnement. Malgré l'importance de cet élément dans l'évaluation, la moitié environ des évaluateurs et des agents scientifiques n'ont pas commenté les budgets de façon explicite.

Risque et répercussions

Il est essentiel d'expliciter les rajustements budgétaires afin d'assurer l'impartialité et l'intégrité de cette partie controversée et critique du processus d'évaluation par les pairs, où l'expertise et le jugement de ces derniers sont irremplaçables.Ne pas le faire pourrait miner la crédibilité du processus d'évaluation, aliéner et frustrer les candidats et faire augmenter le nombre de plaintes reçues par le personnel et la haute direction des IRSC.

1e) Les notes des pairs évaluateurs et des agents scientifiques doivent comprendre des commentaires obligatoires sur les budgets, même si aucune réduction n'est faite.

1e) Responsabilité

Directrice Exécutive – Implémentation des Réformes

Action

D'accord. Si les évaluateurs ou les membres d'un comité recommandent une réduction budgétaire, alors il est entendu qu'ils devront faire des commentaires à ce sujet. Dans la foulée de la mise en œuvre des nouveaux programmes ouverts, les IRSC mettent à l'essai un nouveau processus d'évaluation structurée dans lequel il sera obligatoire de faire des commentaires sur le budget si les évaluateurs proposent une réduction. Dans le cadre de ce projet pilote, l'utilisation d'une case à cocher ou d'un autre mécanisme pour confirmer que le budget a été évalué et qu'aucun changement n'est proposé sera étudiée.

Dans son étude du modèle structuré pour les notes des agents scientifiques expliqué au point 1c, les IRSC étudieront des outils qui pourraient comprendre une section qui porterait sur le budget, afin de rappeler aux présidents et aux agents scientifiques qu'il s'agit là d'un renseignement important qui doit être intégré dans les notes si le comité recommande une réduction budgétaire.

Date d'achèvement prévue

Septembre 2017 (pour les programmes ouverts)

2. Il n'existe pas de processus systématique et continu d'amélioration et de surveillance de l'évaluation par les pairs.

Cette vérification interne est la première initiative visant à évaluer systématiquement les évaluations réalisées par les pairs par rapport aux critères et aux facteurs, afin de s'assurer que les pairs évaluateurs assument leurs responsabilités de façon adéquate. La vérification montre qu'il est possible d'analyser la pertinence d'une évaluation par les pairs en ce qui a trait au respect des critères et facteurs d'évaluation des IRSC et de déterminer les points à améliorer. En plus d'orienter le processus d'évaluation par les pairs, les renseignements obtenus devraient appuyer les aspects de l'évaluation par les pairs de la réforme en cours.

Le processus d'évaluation par les pairs est un volet fondamental du processus de subvention, dont l'intégrité doit être étroitement surveillée et, au besoin, améliorée. À l'heure actuelle, un tel processus n'existe pas.

Risque et répercussions Sans processus systématique et continu d'amélioration, les efforts pour surveiller et améliorer l'évaluation par les pairs sont ponctuels ou fondés sur l'intuition plutôt que sur la collecte de données méthodique.

2a) À l'aide des outils et des résultats de la vérification comme point de départ, un processus d'amélioration et de surveillance continu et systématique devrait être mis en œuvre.

 

2a) Responsabilité

Directrice Exécutive – Implémentation des Réformes

Action

D'accord. Grâce à la mise en place d'un collège des évaluateurs, les IRSC étudieront la possibilité d'ajouter un processus continu d'évaluation de la qualité et de surveillance visant tous les évaluateurs membres dudit collège.

Date d'achèvement prévue

Septembre 2016

Les candidats sont des acteurs clés du processus d'évaluation par les pairs, en plus d'être les principaux concernés par les résultats. Malgré cela, l'opinion des candidats n'est pas sollicitée à cette fin ni aux fins d'évaluation des commentaires qu'ils reçoivent. L'avis des candidats est reçu de façon non systématique sous la forme de commentaires (habituellement des critiques) sur le classement de leur demande ou les commentaires sur celle-ci pendant les réunions de comité.

Risque et répercussions

Le risque de ne pas communiquer avec les candidats est minime; il est plutôt question ici de rater une occasion d'obtenir systématiquement des commentaires d'un groupe d'acteurs clés et bien placés pour fournir des commentaires et des suggestions. La réception non systématique de commentaires fait en sorte que les décisions concernant les critères et le processus sont systématiquement ignorées, ou qu'on réagit de manière exagérée à un petit nombre limité de commentaires non représentatifs.

2b) Le processus d'amélioration de l'évaluation par les pairs devrait comporter un mécanisme visant à obtenir systématiquement l'avis des candidats3.

2b) Responsabilité

Directeur exécutif, Mise en œuvre des réformes

Action

D'accord. Dans le cadre du processus de concours pilote, les candidats sont interrogés pour obtenir leur rétroaction sur le processus d'évaluation par les pairs (notamment sur les commentaires des évaluateurs). Selon les résultats du projet pilote, les IRSC étudieront la possibilité de continuer à interroger les candidats systématiquement par l'entremise du collège des évaluateurs (mentionné au point 2a). Si cela s'avère utile, les IRSC devraient explorer la possibilité d'interroger aussi les candidats qui soumettent des demandes dans le cadre d'autres programmes que les programmes ouverts.

Date d'achèvement prévue

Septembre 2017 (pour les programmes ouverts)

3. Les instructions à l'intention des comités d'évaluation par les pairs concernant le fait d'encourager ou de dissuader un candidat de présenter de nouveau une demande fournies dans le manuel des agents scientifiques ne sont pas cohérentes avec le comportement des agents scientifiques ni avec les instructions données pendant les réunions de comité.

Selon les instructions à l'intention des agents scientifiques les « notes des agents scientifiques doivent inclure […] une recommandation visant à encourager ou à dissuader le candidat de présenter de nouveau une demande ». Malgré ce mandat clair de guider les candidats sur la pertinence de présenter de nouveau une demande, très peu de notes d'agents scientifiques pour des demandes non touchées par la rationalisation4 contiennent un message clair à cet effet.

Une demande touchée par la rationalisation ne contiendra jamais de telles instructions à l'intention des candidats, puisque ce type de demande ne fait pas l'objet de discussions pendant les délibérations de comité. Les candidats reçoivent plutôt un message standard qui mentionne simplement que la demande a fait l'objet de la rationalisation. Dans ces cas, il n'est pas possible pour le comité d'encourager ou de dissuader un candidat de présenter de nouveau une demande.

Risque et répercussions Ce manque de constance génère de la confusion en ce qui a trait au rôle d'un comité d'explicitement encourager ou dissuader un candidat de présenter de nouveau une demande. Elle fait en sorte qu'il est peu probable que différents comités d'évaluation traitent des demandes présentées de nouveau de la même façon.

3a) Les instructions aux comités, fournies oralement ou par écrit, devraient être modifiées pour transmettre un message cohérent sur la présentation à nouveau d'une demande.

3a) Responsabilité

Directrice Exécutive – Implémentation des Réformes

Action

D'accord. Les IRSC étudieront leurs exigences et détermineront s'il est approprié de demander à un comité de formuler une recommandation concernant la pertinence de présenter de nouveau une demande. Si cette exigence est maintenue, les IRSC étudieront les instructions données aux comités d'évaluation par les pairs pour s'assurer que cette exigence est reflétée dans les notes de l'agent scientifique.

Date d'achèvement prévue

Septembre 2017 (pour les programmes ouverts)

3b) Les commentaires structurés recommandés dans l'observation 1 devraient comprendre une option explicite pour préciser la position du comité, qu'elle soit positive, négative ou neutre, concernant la possibilité de présenter de nouveau une demande.

3b) Responsabilité

Directrice Exécutive – Implémentation des Réformes

Action

D'accord. Si l'exigence est maintenue, les IRSC détermineront si l'ajout d'une case à cocher dans le modèle de notes des agents scientifiques décrit au point 1c ajoute de la valeur aux notes des agents scientifiques dans les programmes ouverts actuels.

Date d'achèvement prévue

Septembre 2017 (pour les programmes ouverts)

Annexe A

Critères de vérification

Dans le cadre de cette vérification, les définitions suivantes ont été suivies pour revoir l'évaluation par les pairs et les notes des agents scientifiques.

Conclusion par rapport aux critères de vérification Définition des opinions
Bon contrôle Bonne gestion, aucune faiblesse importante relevée ou améliorations mineures seulement.
Problèmes modestes Le contrôle comporte des lacunes, mais le risque couru est limité, car la probabilité ou la conséquence du risque est faible.
Importantes améliorations requises Le contrôle comporte des lacunes qui, individuellement ou cumulativement, présentent un risque potentiel important.

La conclusion générale tient compte du degré cumulatif d'exposition au risque par rapport aux observations issues de la vérification dans le contexte des critères énoncés ci-dessus.

Conclusion générale

La vérification a permis de conclure que les commentaires destinés aux candidats posent des problèmes modestes, mais que le risque couru est limité, car la probabilité ou la conséquence du risque est faible.

Critères et facteurs Qualité globale5 Conclusion
Notes des pairs évaluateurs

1. Approche de recherche

Moyenne Problèmes modestes
  • Clarté des questions de recherche
Faible
  • Exhaustivité de l'évaluation de la littérature et pertinence pour le modèle d'étude ou le plan de recherche
Faible
  • Clarté de la justification de l'approche et de la méthode de recherche
Faible
  • Pertinence du plan de recherche
Élevée
  • Pertinence des méthodes de recherche
Moyenne
  • Faisabilité de l'approche de recherche (y compris le recrutement de sujets, l'échéancier du projet et les données préliminaires, le cas échéant)
Moyenne
  • Prévision des difficultés risquant de survenir durant la recherche et plans pour les gérer
Moyenne

2. Originalité de la proposition

Faible Problèmes modestes
  • Potentiel de création de nouvelles connaissances
Faible
  • Originalité de la recherche proposée relativement aux hypothèses avancées et aux questions de recherche abordées, à la nouvelle technologie/méthodologie et/ou aux nouvelles applications de la technologie/méthodologie actuelle.
Faible

3. Caractéristiques du candidat

Moyenne Problèmes modestes
  • Compétences des candidats, y compris leur formation, leur expérience et leur indépendance (par rapport à leur cheminement de carrière).
Moyenne
  • Expérience des candidats dans le domaine de recherche proposé et avec la méthodologie proposée.
Moyenne
  • Expertise des candidats, d'après leur productivité scientifique des cinq dernières années (publications, ouvrages, subventions obtenues, etc.). On doit tenir compte de la productivité dans le contexte des normes du domaine de recherche, de l'expérience du candidat et du financement de recherche total du candidat.
Faible
  • Capacité des candidats de disséminer avec succès et de façon appropriée les résultats de la recherche, comme le démontrent leurs activités d'application des connaissances (publications, présentations aux conférences, séances d'information, rencontres avec des médias, etc.).
Faible
  • Capacité de l'équipe de candidats (s'il y a plus d'un candidat) de mener la recherche proposée, en ce qui a trait au potentiel synergique des membres et à la façon dont leur expertise se complète.
Faible

4. Environnement de recherche

Faible Problèmes modestes
  • Disponibilité et accessibilité du personnel, des installations et de l'infrastructure nécessaires pour mener la recherche.
Faible
  • Environnement propice à la réalisation de la recherche proposée.
Faible
  • Environnement de recherche (milieu, projet et mentors) propice à la formation du personnel (le cas échéant).
Faible

5. Impact de la recherche

Faible Problèmes modestes
  • La proposition de recherche porte sur une lacune ou un besoin important dans le domaine de la santé ou du système de soins de santé.
Faible
  • Possibilité de participer de façon importante à l'amélioration de l'état de santé de la population canadienne et de la population mondiale, et/ou au développement de produits et de services de santé plus efficaces.
Faible
  • Caractère approprié et adéquat du plan proposé pour la dissémination et l'échange de connaissances.
Faible

6. Format du rapport

Élevée Problèmes modestes
  • L'évaluateur a fourni un résumé de la proposition.
Moyenne
  • L'évaluateur a fourni des commentaires constructifs.
Élevée
  • L'évaluateur a utilisé un ton professionnel dans ses commentaires.
Élevée
  • L'évaluateur a commenté la pertinence du budget.
Moyenne
  • L'évaluateur n'a pas inclus d'information inappropriée.
Élevée
Notes de l'agent scientifique

7. Les notes de l'agent scientifique devraient inclure :

Moyenne Problèmes modestes
  • Les principales forces et faiblesses de la demande;
Moyenne
  • Les facteurs et les questions qui ont eu le plus grand impact sur l'évaluation, en fonction des critères d'évaluation de la possibilité de financement;
Élevée
  • Les aspects des discussions du comité dont ne fait pas mention le rapport écrit des évaluateurs internes;
Faible6
  • Une recommandation visant à encourager ou à dissuader le candidat de présenter de nouveau une demande, ou des suggestions pour améliorer la demande afin de la soumettre de nouveau, le cas échéant.
Faible7
  • Commentaires constructifs à l'intention du candidat
Moyenne
  • L'explication sur les réductions dans le budget et/ou dans la durée. L'absence de justification des compressions budgétaires ou de la réduction de la durée est injuste à l'égard des candidats et est souvent à l'origine de plaintes sur le processus d'évaluation.
Faible
  • Notes concises, organisées et claires.
Élevée
  • Ton objectif et neutre.
Élevée
  • Aucune information inappropriée.
Élevée
  • La résolution des désaccords entre les évaluateurs
S.o.8

Annexe B

Caractéristiques de l'échantillon

La vérification a consisté en l'examen de documents d'évaluation par les pairs de 125 demandes présentées en français et en anglais. Ces documents comprenaient deux évaluations à domicile par demande, 250 rapports d'évaluation par les pairs et 125 ensembles de notes d'agents scientifiques. Les 125 demandes ont été choisies au hasard parmi toutes celles reçues dans le cadre du concours de subventions de fonctionnement de mars 2012, réparties dans les groupes suivants :

Thème de recherche Financé Non financé Rationalisé
1 – Recherche biomédicale 10 12 10
2 – Recherche clinique 10 10 10
3 – Recherche sur les systèmes de santé 10 10 10
4 – Recherche sur les déterminants sociaux, culturels ou environnementaux de la santé 11 10 12
Totaux 41 42 42

L'évaluation des demandes individuelles a été menée par l'équipe de vérification. Chaque critère et facteur a été jugé selon une échelle à trois échelons fondés sur la qualité des commentaires de l'évaluateur pour chacun (0 = aucun commentaire; 1 = commentaires minimaux; 2 = commentaires rigoureux ou complets). Les pourcentages des évaluations par les pairs ont été calculés en additionnant les notes totales pour un critère ou facteur donné pour toutes les demandes, puis en le divisant pour la note maximale possible de 500 (deux évaluations par demande, avec une note possible maximale de deux par critère ou facteur pour chacune des 125 demandes). Comme aucune des 42 demandes ayant fait l'objet d'une rationalisation ne comprenait des notes d'agent scientifiques, le pourcentage de ces notes a été calculé sur une note maximale de 166 (un ensemble de notes d'agent scientifique par demande, avec une note maximale possible de deux par critère ou facteur pour chacune des 83 demandes concernées).

Données détaillées

Vous trouverez ci-dessous des données illustrant les résultats de la vérification pour l'ensemble des catégories, par thème et par population.

Rapports d'évaluation par les pairs

Vous trouverez dans le tableau ci-dessous la note générale pour les cinq critères. Chaque critère est subdivisé en 2 à 7 facteurs (voir l'annexe A, groupes de critères 1 à 5; les facteurs ont tous été analysés lors de la vérification, mais ils ne figurent pas dans le tableau ci-dessous).

Bien que les tableaux soient intitulés Qualité des évaluations par les pairs, par critères et Qualité des évaluations par les pairs, par format de rapport, comme il est précisé dans la portée de la vérification, l'évaluation ne porte pas sur le mérite scientifique ni sur la justesse des évaluations individuelles. Elle vise strictement la quantité d'information et l'étendue de chaque évaluation selon les critères et facteurs mentionnés dans le Guide d'évaluation par les pairs des IRSC pour les demandes de subvention. La vérification interne n'a pas la prétention, ni le mandat, de juger le mérite scientifique d'une demande ou d'une évaluation par un pair.

Bien que les thèmes de recherche ne soient pas semblables, en général, les différences entre les thèmes sont raisonnables. En aucun moment, les thèmes ne se trouvaient dans des catégories complètement distinctes (p. ex. la qualité dans le thème 1 avait été jugée faible alors que dans le thème 4, elle avait été jugée élevée) et, en fin de compte, les quatre thèmes tombaient dans le même groupe de qualité générale pour chaque critère.

Figure 1 : Qualité des évaluations par les pairs par critère

Description détaillée de la figure 1

Caractéristiques du format des rapports

Le tableau ci-dessous montre la note générale concernant le format du rapport d'évaluation, constitué de cinq sous-critères (voir l'annexe A, groupe 6 des critères).

Figure 2 : Qualité des évaluations par les pairs par format de rapport

Description détaillée de la figure 2

Notes des agents scientifiques

Le tableau ci-dessous montre la note générale concernant la qualité des notes des agents scientifiques basée sur 6 critères et 4 commentaires sur la structure de ces notes (voir l'annexe A, groupe de critères 7). Deux éléments ont été retirés de l'analyse et traités séparément sous le tableau.

Figure 3 : Qualité des notes des agents scientifiques

Description détaillée de la figure 3

Recommandation visant à encourager ou à dissuader un candidat de présenter de nouveau une demande

Étant donné certains problèmes liés à la notation, les pratiques différentes des comités d'évaluation par les pairs et la nature codifiée des recommandations visant à encourager ou à dissuader un candidat de présenter de nouveau une demande, l'interprétation de l'analyse du quatrième critère (« recommandation visant à encourager ou à dissuader le candidat de présenter de nouveau une demande, et suggestions pour améliorer la demande afin de la soumettre de nouveau, le cas échéant ») n'est pas comprise dans le tableau. Ces enjeux sont traités dans les recommandations et le plan d'action de la direction à l'observation 3.

Désaccord parmi les pairs évaluateurs

Le dixième critère qui concerne les notes contenant des justifications pour la résolution des désaccords entre les pairs évaluateurs n'est pas pris en compte dans ce tableau étant donné qu'il y a eu désaccord entre les évaluateurs dans seulement trois cas. Les notes des agents scientifiques résumaient clairement et adéquatement les raisons du désaccord.

Notes en bas de page

Note en bas de page 1

Pendant la vérification, on a noté que certains agents scientifiques ajoutent des tableaux et des échelles de cotation qui communiquent avec concision la qualité de la demande selon chaque critère. Bien que ce ne soit pas une exigence, l'ajout d'une échelle de ce type dans des modèles d'évaluation par les pairs pourrait faciliter le processus de commentaires.

1

Note en bas de page 2

Si les évaluateurs n'améliorent pas de façon constante la qualité de leurs commentaires pour un critère en particulier et qu'aucun commentaire de la part des candidats ne laisse croire que le critère est utile ou pertinent, il faudrait étudier la possibilité de le supprimer.

Bien qu'il existe certaines différences entre les thèmes de recherche en ce qui a trait à la qualité de l'évaluation en fonction de certains critères (voir l'annexe B), la recommandation d'émettre des commentaires pour les critères qui sont continuellement oubliés pourrait permettre d'éliminer les faiblesses sans autre intervention. Cependant, le mécanisme d'amélioration continu (voir l'observation 2) doit tenir compte du fait que des écarts ont toujours existé entre les thèmes et que ce renseignement devrait être intégré dans les analyses subséquentes.

2

Note en bas de page 3

Il faudrait bien expliquer la différence entre la qualité de l'évaluation par les pairs de la demande (p. ex. la quantité de renseignements et de raisons fournis par l'évaluateur) et la décision sur le financement qui en découle. Une évaluation de grande qualité pourrait exposer en détail les raisons pour lesquelles un projet ne devrait pas être financé. Elle recevrait donc une note élevée en ce qui concerne la qualité de l'évaluation, même si la proposition, elle, recevait une note très faible et n'était pas financée.

3

Note en bas de page 4

La « rationalisation » est le processus d'élimination des demandes non concurrentielles selon les notes initiales des évaluateurs afin de maximiser le temps alloué à l'examen des demandes concurrentiellees pendant les réunions d'évaluation par les pairs.

4

Note en bas de page 5

Les cotes sont fondées sur les notes attribuées à chaque critère ou facteur, exprimées en pourcentage. « Faible » signifie que les critères ont obtenu une note globale de 50 % ou moins du total possible, « moyenne », une note globale de 51 à 79 %, et « élevée », une note globale de 80 à 100 %. Une note faible indique que la plupart ou la totalité des évaluateurs n'ont pas fait explicitement mention du critère ou qu'ils ont fourni une évaluation non pertinente (p. ex. des commentaires brefs ou superficiels). Une note élevée indique que des commentaires détaillés ont été fournis pour ce critère.

Veuillez noter qu'étant donné les limites de la vérification, ces conclusions sur la qualité générale ne reflètent pas de pondération liée à la pertinence de chaque sous-facteur.

5

Note en bas de page 6

Les rapports individuels qui accordent une cote élevée pour ce critère comprennent des renseignements ou des commentaires additionnels qui ne se trouvent pas dans les rapports d'évaluation par les pairs individuels. Cependant, comme les notes des agents scientifiques qui ne comprennent pas de tels commentaires pourraient indiquer une absence de discussion ou une lacune dans un document, il est impossible de vérifier ce qui est approprié après le fait. Bien qu'une cote « faible » soit attribuée, il y a une forte possibilité que cette cote soit artificiellement faible étant donné la nature de certaines discussions de comité et de certaines demandes.

6

Note en bas de page 7

Voir les notes de l'agent scientifique à l'annexe B.

7

Note en bas de page 8

État donné le nombre insuffisant d'évaluations de demandes dans lesquelles il y a eu désaccord, aucune analyse n'a été possible. Voir les notes de l'agent scientifique à l'annexe B.

8

Date de modification :