Statégie d'évaluation et sources d'information

Évaluation à mi-parcours de l'Initiative de recherche stratégique sur la capacité d'intervention en cas de pandémie

[ Table des matières ]

2.1 Thèmes et questions d'évaluation

Le tableau 3 présente la liste des questions et des thèmes sur lesquels porte la présente évaluation, et qui a été validée par le comité directeur de l'évaluation à mi-parcours de l'IRSCIP. Comme il s'agissait d'une évaluation à mi-parcours, toutes les questions avaient un caractère formatif visant à mettre en lumière les possibilités d'améliorations et les solutions de rechange éventuelles.

[ Tableau 3 : Thèmes et questions d'évaluation ]

2.2 Sources d'information

Voici les moyens et les sources d'information utilisés pour répondre aux questions d'évaluation. L'annexe 2 présente un tableau synthèse des moyens et des sources d'information et des indicateurs associés à chacune des questions d'évaluation.

Examen de la documentation sur la structure et l'exécution du programme : Les documents relatifs à la structure et à l'exécution du programme ont été examinés systématiquement dans le but d'obtenir des renseignements relatifs aux questions d'évaluation et au modèle logique du programme. Voici la liste des documents examinés :

  • la documentation concernant la stratégie du gouvernement du Canada sur la grippe aviaire et la capacité d'intervention en cas de pandémie et sur l'IRSCIP, notamment les rapports de planification et de consultation qui ont inspiré la structure du programme;
  • les procès-verbaux et les comptes rendus de décisions des réunions du groupe de travail;
  • les notes prises lors des séances d'examen par les pairs, lorsqu'elles étaient disponibles.

L'annexe 3 présente la liste des documents examinés.

Examen des données administratives sur les extrants du programme : L'IMII a fourni des bases de données administratives renfermant des données sur les candidats, les demandes et les résultats de toutes les possibilités de financement offertes à ce jour dans le cadre de l'IRSCIP. Ces données en format Excel ont été transférées dans le logiciel SPSS afin d'en extraire des indicateurs sur la participation au programme et les résultats des possibilités de financement.

Entrevues avec des intervenants clés : Les entrevues réalisées auprès de 22 intervenants de l'IRSCIP ont constitué l'une des principales sources de renseignements pour l'évaluation. Ces intervenants clés, choisis par les consultants en collaboration avec l'IMII et avec l'apport du comité directeur de l'évaluation, étaient notamment des partenaires et des participants qui ont contribué à la conception, à la mise en oeuvre et au financement du programme, ainsi que des chercheurs et des pairs examinateurs. Bien qu'aucun intervenant n'ait refusé de participer au processus, quatre personnes n'ont pas répondu à l'invitation ou n'ont pu être jointes. Le tableau 4 présente le nombre d'entrevues réalisées par catégorie.

[ Tableau 4 : Entrevues réalisées ]

Sept répondants ont été interviewés en personne lors de la Rencontre canadienne sur la capacité d'intervention en cas de pandémie : Des découvertes aux premières lignes, qui s'est tenue à Winnipeg du 6 au 8 novembre 2008; les autres entrevues ont été réalisées par téléphone de décembre 2008 à mars 2009. Le déroulement des entrevues, menées en anglais ou en français et d'une durée de 20 à 90 minutes, s'inspirait d'un guide semi-structuré (annexe 4) qui permettait d'aborder l'ensemble des thèmes et des questions d'évaluation énumérés ci-dessus. La majorité des entrevues ont été enregistrées. L'analyse est fondée principalement sur les notes prises lors des entrevues, mais les enregistrements ont également été consultés pour assurer l'exactitude des renseignements.

Sondage auprès des chercheurs : non-candidats, candidats retenus et candidats non retenus. Les sources d'information comprenaient également un bref sondage en ligne mené auprès du milieu de la recherche de l'IRSCIP. Parmi les répondants figuraient des chercheurs principaux désignés (CPD), des chercheurs principaux et des co-candidats ayant présenté une demande – retenue ou non – dans le cadre d'une possibilité de financement de l'IRSCIP. Dans le cas des chercheurs principaux et des co-candidats, seules les personnes admissibles à un financement des IRSC en tant que chercheur principal désigné ont été approchées; les stagiaires et les personnes travaillant dans des établissements non admissibles ont donc été exclus. D'autres répondants étaient des chercheurs qui n'ont présenté aucune demande dans le cadre de l'IRSCIP même si leurs travaux concernaient la capacité d'intervention en cas de pandémie. Ce groupe de répondants comprenait notamment des chercheurs principaux désignés ayant reçu des subventions des IRSC au cours des huit dernières années et dont les demandes (mots clés, titre du projet, titre de la possibilité de financement ou résumé du projet) montraient un lien possible entre la grippe ou la grippe pandémique et leurs travaux1. L'IMII a fourni aux consultants des listes de chercheurs en format Excel qui comprenaient les champs suivants : rôle (chercheur principal désigné, co-chercheur ou co-candidat), numéro de référence de financement, nom de famille, prénom, langue de correspondance, établissement principal actuel et adresse électronique principale. Les consultants ont ensuite fusionné ces listes pour obtenir une liste de chercheurs définitive.

Le sondage a permis d'obtenir des renseignements sur certaines questions d'évaluation (voir annexe 4). Il a été adapté en fonction des quatre catégories de répondants : chaque chercheur a donc répondu à la version correspondant le mieux à son rôle dans le programme2. Avant l'envoi officiel, les versions anglaise et française du sondage ont été testées auprès de deux chercheurs de l'IMII oeuvrant dans le domaine des pandémies, et une modification mineure a été apportée.

Les consultants ont envoyé une invitation aux répondants potentiels par courriel; le message comprenait un en-tête indiquant clairement que l'invitation était envoyée au nom de l'IMII. Chaque invitation comprenait également une adresse URL unique donnant accès au sondage, en anglais ou en français, d'une durée d'environ 15 minutes. Deux rappels ont également été envoyés à une semaine d'intervalle. Le sondage a été accessible pour une période de trois semaines en février 2009.

Des 486 chercheurs contactés, 157 ont répondu au sondage. Dix-sept adresses électroniques n'étaient plus valides, quatre personnes n'étaient pas disponibles et deux ont répondu qu'elles n'étaient pas suffisamment informées pour répondre. Le taux de réponse a donc été de 34 %. Le tableau 5 présente le nombre d'invitations envoyées et le nombre de réponses reçues pour chacune des catégories. Comme on pouvait s'y attendre, le meilleur taux de réponse a été obtenu chez les candidats financés, particulièrement chez les chercheurs principaux désignés.

[ Tableau 5 : Nombre d'invitations et de réponses par catégorie de chercheur ]

Le tableau 6 résume les caractéristiques des répondants au sondage. Ces données montrent que l'échantillon de répondants était représentatif des différentes disciplines et des différents milieux de la recherche sur la grippe, car on ne relève aucune absence frappante dans les différentes catégories.

[ Tableau 6 : Caractéristiques des répondants (n = 157) ]

En ce qui concerne la répartition des chercheurs dans les différents domaines de recherche prioritaires de l'IRSCIP, une majorité de candidats ont indiqué que leur travail touchait la prévention et le traitement (61 %) et les vaccins et l'immunisation (52 %) (62 répondants ont coché les deux catégories). Par ailleurs, 39 % des répondants s'intéressaient aux questions éthiques, juridiques ou sociales, tandis que 35 % étudiaient la biologie du virus et les diagnostics.

2.3 Analyses

Les données de l'évaluation ont été analysées à l'aide de techniques quantitatives et qualitatives normalisées. Les résultats du sondage ont été sauvegardés sur un serveur sécurisé, puis transférés dans SPSS. Ces résultats ont fait l'objet d'analyses descriptives : comparaison des non-candidats, des candidats retenus et des candidats non retenus, puis comparaison des domaines de recherche entre eux. Les données qualitatives obtenues dans le cadre des entrevues avec des intervenants clés, combinées aux résultats de l'examen de la documentation, ont été analysées à l'aide de méthodes matricielles : les catégories de répondants ont été croisées avec les questions d'évaluation, les données des entrevues ont été entrées dans des tableaux de synthèse, puis on a relevé les tendances visibles dans les rangées et les colonnes, ainsi que d'une rangée ou d'une colonne à une autre.

Il est à noter que sur les 157 personnes ayant répondu au sondage, 135 (86 %) avaient entendu parler de l'IRSCIP. Le questionnaire était conçu de façon à ce que seules les personnes qui avaient entendu parler de l'IRSCIP répondent aux questions sur les caractéristiques de ce programme. Les personnes qui n'avaient pas entendu parler de l'IRSCIP – parmi lesquelles se trouvaient certains chercheurs qui avaient pourtant présenté une demande dans le cadre de ce programme – devaient uniquement répondre à des questions d'ordre général sur le financement de la recherche stratégique et fournir des renseignements généraux. Ainsi, la majorité des données du sondage proviennent de répondants qui connaissent l'IRSCIP. De plus, dans la présentation des résultats, les réponses de type « Je ne sais pas » ne sont pas comptées dans le total. Ainsi, les pourcentages exprimés reflètent les réponses des personnes qui étaient suffisamment informées pour répondre à la question posée. Dans la majorité des cas, les réponses de type « Je ne sais pas » représentent moins de 5 % du total des réponses et auraient donc eu une faible incidence sur les résultats. Toutefois, certaines questions affichent un taux élevé de réponses de ce type. Ces exceptions sont mentionnées dans le texte.

[ section suivante ]


  1. Afin d'évaluer dans quelle mesure le bassin de candidats aux programmes des IRSC était représentatif de la population de chercheurs ciblée, on l'a comparé aux listes de chercheurs de la Colombie-Britannique et du Québec accessibles dans le Répertoire interprovincial des chercheurs. Sur les 20 chercheurs trouvés à l'aide des mots clés « grippe » et « pandémie », deux ne se trouvaient pas dans la liste de candidats à l'IRSCIP ou à d'autres programmes des IRSC. Ces résultats montrent que la liste des IRSC, bien qu'incomplète, représente dans une mesure raisonnable la population visée.
  2. Les répondants dont plusieurs demandes avaient été retenues, certaines à titre de chercheur principal désigné et d'autres à titre de co-chercheur ou de co-candidat, ont répondu à la version pour les chercheurs principaux désignés. Les répondants dont une demande avait été retenue alors qu'une autre avait été rejetée ont répondu à la version pour les candidats retenus.
Date de modification :