Mission de consultation de la Vérification interne : Système de rapport sur la recherche (SRR)

Table des matières

Résumé
Rapport détaillé
- Méthodologie et critères
- Observations, recommandations et plan d'action de la direction
Annexe A – Critères et conclusions
Annexe B – Résultats du sondage

Résumé

Introduction

La mission de consultation du SRR faisait partie du Plan annuel de vérification fondé sur les risques 2012–2013 approuvé par le conseil d'administration (CA) des Instituts de recherche en santé du Canada (IRSC). Ce projet avait été initialement conçu comme une mission d'assurance, mais on l'a ultérieurement classifié comme une mission de consultation à la recommandation du comité de vérification et du dirigeant principal de la vérification.

Les Instituts de recherche en santé du Canada

Les Instituts de recherche en santé du Canada sont l'organisme fédéral responsable du financement de la recherche en santé au Canada. Créés en juin 2000 en vertu de la Loi sur les Instituts de recherche en santé du Canada, les IRSC rendent des comptes au Parlement par l'intermédiaire de la ministre de la Santé. Ils ont pour mandat d'« exceller, selon les normes internationales reconnues de l'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada ». Les IRSC se composent de 13 instituts virtuels – chacun étant dirigé par un directeur scientifique appuyé par le conseil consultatif de l'institut – qui rassemblent tous les partenaires dans le processus de recherche – à savoir ceux qui subventionnent la recherche, ceux qui la réalisent et ceux qui en utilisent les résultats – pour échanger des idées et se concentrer sur les besoins des Canadiens : une bonne santé et les moyens de prévenir et de combattre les maladies. Les IRSC financent plus de 14 000 chercheurs et stagiaires dans des universités, des hôpitaux d'enseignement et d'autres organismes de santé et centres de recherche au Canada et à l'étranger.

Système de rapport sur la recherche

Le Système de rapport sur la recherche (SRR) est un outil Web de préparation de rapports de fin de subvention sur les extrants de la recherche (rapports électroniques finaux), conçu pour démontrer l'utilisation des fonds par les chercheurs et la valeur de ces fonds. Les chercheurs sont maintenant tenus de remplir leur rapport électronique final à l'aide du SRR, hébergé dans RechercheNet, à l'intérieur d'un certain délai à partir de la date d'autorisation d'utilisation des fonds. La création d'un système de rapport de fin de subvention a été recommandée à la fois par le Secrétariat du Conseil du Trésor et le Comité d'examen international dans son rapport de 2006. Le SRR a été inauguré en mars 2011, et la première date limite de présentation de rapport pour certains programmes était en octobre 2012.

Risques examinés

Cette mission de consultation couvre les risques potentiels suivants, que la direction a désignés comme déterminants pour le succès du SRR : structures de gouvernance et de reddition de comptes inefficaces; mauvaise qualité et inaccessibilité des données (y compris insuffisance des mesures de contrôle de l'intégrité, de la disponibilité et de la confidentialité des données); fardeau potentiel pour le personnel et les chercheurs; et risques associés à la sécurité générale du système. Ces risques s'inscrivent dans l'élément « gérance » – « Le régime de contrôle ministériel (actif, fonds, effectifs, services, etc.) est intégré et efficace, et tous les employés comprennent bien ses principes sous-jacents » – « gestion des risques » – « L'équipe de la haute direction définit clairement le contexte ministériel et les pratiques de gestion proactive des risques organisationnels et stratégiques. » – « résultats et rendement »–« De l'information pertinente sur les résultats (interne, service et programme) est recueillie et sert au ministère à prendre des décisions; le rapport au public est équilibré, transparent et facile à comprendre » – et « apprentissage, innovation et gestion du changement » – « Le ministère ou l'organisme applique une gestion innovatrice et transformatrice, favorisent l'apprentissage au sein de l'organisation, valorisent les connaissances organisationnelles et tirent des leçons de leur rendement. » – du Cadre de responsabilisation de gestion (CRG) du Secrétariat du Conseil du Trésor

Objectif

Bien que le projet fasse partie du Plan de vérification fondé sur les risques et qu'il avait été initialement réalisé comme mission d'assurance, sa portée et ses objectifs ont été élargis, et le rôle du vérificateur responsable est devenu plus consultatif. Ainsi, le DPV et le comité de vérification sont d'avis que le projet se définit davantage comme une mission de consultation, telle que décrite à la section 3.4 de la Politique sur la vérification interne. Ceci permet au DPV, dans son rôle de directeur, Rendement et responsabilisation, chargé de l'unité Planification, rapports, mesures et données, de compléter le travail effectué de manière synergique.

L'objectif de la mission de consultation consistait à aviser la direction sur l'efficacité et la qualité des processus clés (gouvernance, qualité des données, fardeau pour les chercheurs et le personnel et sécurité de la TI) qui régissent la mise en œuvre et l'utilisation du SRR et préservent la confidentialité, l'intégrité et la disponibilité de l'information. Pour remplir cette fonction consultative supplémentaire, le vérificateur responsable a assisté aux réunions du groupe consultatif du SRR et a offert des suggestions pour soutenir le développement du système pendant tout le travail de terrain.

Portée

Cette mission de consultation a couvert le fonctionnement du SRR, y compris les cinq aspects suivants désignés par la direction : gouvernance, qualité des données, fardeau pour les chercheurs, fardeau pour le personnel, et sécurité de la TI.

Critères

Les critères utilisés pour évaluer les objectifs ont été établis par le personnel de la Vérification interne, de concert avec le chef, Services stratégiques, et le gestionnaire, Planification, rapports, mesures et données.

Opinion générale

La mission de consultation a conclu que les aspects suivants du Système de rapport sur la recherche nécessitent d'importantes améliorations.

Énoncé de conformité

Bien qu'il ne s'agisse pas d'une vérification, cette mission de consultation a été menée de manière généralement conforme à la Politique sur la vérification interne du gouvernement fédéral et aux Normes relatives à la vérification interne au sein du gouvernement du Canada. La fonction de vérification interne a fourni des conseils durant et après la mission, mais n'a assumé aucune responsabilité de gestion.

Divulgation d'une atteinte à l'indépendance et à l'objectivité

Le DPV est aussi directeur, Rendement et responsabilisation, un rôle qui l'oblige à utiliser et à gérer le SRR au quotidien et à faire partie de l'organe de gouvernance du SRR. Cela comporte une atteinte potentielle à l'indépendance et à l'objectivité (Norme 1100 de l'IIA). Le DPV a vérifié l'exactitude des données du rapport dans le cadre du processus d'assurance de la qualité et d'approbation, mais n'a pas demandé ou exigé de modification au contenu des recommandations ou du plan d'action de la direction.

Résumé des forces

Réussites clés du SRR :

Le rapport électronique final et les questions contenues dans le SRR ont fait l'objet d'une consultation vaste et rigoureuse auprès des intervenants internes et externes, qui visait à valider le contenu et à s'assurer que les employés soient au courant de l'existence du rapport et de son potentiel de communication d'information;
À la suite d'une recommandation faite durant le projet, la gouvernance du SRR a été clarifiée, un groupe de travail a été créé pour régler les questions urgentes, et on travaille à clarifier les rôles et les responsabilités;
Le SRR a été mis en œuvre et amélioré à l'intérieur d'un cadre de gestion de projet solide;
Il existe un processus de suivi auprès des chercheurs à qui on a accordé une nouvelle subvention et qui n'ont pas rempli leur rapport à la date limite préétablie;
Il existe un processus pour exempter les chercheurs du SRR, sous réserve des approbations nécessaires;
Un sondage auprès des chercheurs a révélé que la plupart ne trouvent pas le rapport trop fastidieux à remplir;
L'architecte de l'information des IRSC travaille à définir et à documenter l'architecture technique et l'architecture d'information appuyant le SRR, mais ce processus restait à compléter au moment de la préparation du présent rapport;
Depuis le lancement du projet, une évaluation de la vulnérabilité a conclu que le système est pourvu de mécanismes de contrôle adéquats et qu'il ne requiert pas d'évaluation détaillée de la menace et du risque;
Depuis le lancement du projet, le régime de gestion du rendement des IRSC a été approuvé, et le SRR a été évalué dans le contexte du régime;
Depuis le lancement du projet, l'organe de gouvernance a examiné les questions ouvertes du rapport électronique final et les espaces pour le texte, et a décidé d'en retirer plusieurs afin de simplifier le rapport et son examen.

Résumé des possibilités d'amélioration

Aspects du SRR nécessitant l'attention de la direction :

Il faut préciser la raison d'être du SRR et mieux la communiquer aux intervenants internes et externes;
Il n'existe pas de système comparable pour faire le suivi des résultats pour les titulaires de bourses, qui accaparent une part importante des ressources financières et administratives des IRSC et constituent un volet fondamental de leur mandat de base;
Le SRR est dépourvu d'un rapport électronique final simplifié, complémentaire et/ou adaptable permettant de suivre efficacement les résultats des subventions autres que les subventions de fonctionnement;
Le SRR s'est transformé en processus de gestion du changement, mais il n'existe pas encore de régime officiel d'amélioration continue et de communication;
Il n'existe pas encore de processus officiel pour accéder aux données, avec des lignes directrices indiquant qui peut accéder à quel type de données;
Les chercheurs ne reçoivent pas d'instructions pour produire des rapports de grande qualité, ni d'exemples de tels rapports;
Il n'existe pas d'outil automatisé de vérification des données, et aucun examen de la qualité et de l'intégrité des données n'est effectué;
Il n'existe pas de méthode systématique de collecte de la rétroaction des intervenants internes et externes sur le SRR;
Les définitions/limites des données n'ont pas été établies.

Les vérificateurs remercient les employés et la direction pour leur coopération sans réserve dans la réalisation de cette mission de consultation.

David Peckham
Dirigeant principal de la vérification
Instituts de recherche en santé du Canada

La direction souscrit aux conclusions du présent rapport.

Jane E. Aubin
Chef des affaires scientifiques et vice-présidente, Recherche et application des connaissances
Instituts de recherche en santé du Canada

Rapport détaillé

Méthodologie et critères

La vérification du Système de rapport sur la recherche des IRSC a été effectuée conformément à la Politique sur la vérification interne du gouvernement du Canada. Voici quelques-unes des techniques de vérification utilisées :

entrevues avec la direction et le personnel des IRSC;
sondages auprès des chercheurs financés par les IRSC ayant fourni un rapport électronique final;
examen des procès-verbaux de réunions, de la documentation relative à la conception du système, de politiques et d'autres documents pertinents;
examen du SRR, de ses questions et des données recueillies.

Les contrôles sont réputés adéquats lorsqu'ils sont suffisants pour réduire au minimum les risques de ne pas atteindre les objectifs. Les critères détaillés et les conclusions sont présentés à l'annexe A.

Les critères d'évaluation de l'objectif ont été établis par le personnel de la Vérification interne de concert avec le chef, Services stratégiques, et le gestionnaire, Planification, rapports, mesures et données.

Le projet s'est déroulé en deux phases entre mai 2012 et septembre 2013.

Observations, recommandations et plan d'action de la direction

Le tableau ci-dessous présente les observations et les recommandations qui découlent de la vérification, ainsi que le plan d'action de la direction pour corriger les faiblesses du SRR relevées.

Observation	Recommandations	Plan d'action de la direction
1. Il faut préciser la raison d'être, le contenu, l'adaptabilité et l'utilisation du SRR.
L'historique de la gouvernance du SRR est compliqué, et on ne peut dire clairement qui en est responsable. Lors de la création du système, les ébauches et les modifications ont été soumises aux commentaires et à l'approbation de plusieurs comités des IRSC. De plus, la gestion et la structure hiérarchique de l'équipe responsable de la conception du SRR ont changé à maintes reprises durant la création du système. Les efforts visant à ce que le SRR réponde à plusieurs besoins à la fois aux IRSC ont abouti à un rapport électronique final trop long, qui n'est pas optimisé pour répondre à un besoin principal de manière efficiente. Bien que la nature de l'information recueillie puisse être utile à de nombreux secteurs des IRSC (dont l'information sur le rendement, la conception des occasions et des mécanismes de financement de la recherche, la communication ainsi que l'application des connaissances), elle ne répond pas de façon optimale à des besoins ou à des utilisateurs uniques. Cette question a été désignée comme prioritaire pendant le déroulement du projet, et le processus de gouvernance a été clarifié : le comité de la haute direction a été désigné comme responsable du système, et la chef des Affaires scientifiques/vice-président, Recherche et application des connaissances, a été désignée comme championne. De plus, un groupe de travail de directeurs a été créé durant le projet pour résoudre les questions opérationnelles associées à la mise en œuvre du SRR.^{Note en bas de page 1} Risque et répercussions Le manque de clarté de la raison d'être peut aboutir à des questions sous-optimales qui, en tentant de répondre à plusieurs besoins en même temps, ne réussissent à bien répondre à aucun besoin principal. Le manque de clarté peut aussi avoir pour effet d'augmenter le nombre de questions et d'imposer un fardeau disproportionné aux chercheurs tenus de remplir le rapport électronique final.	1a) La raison d'être principale du SRR devrait être établie et clairement définie.	1a) Responsabilité Chef des affaires scientifiques Action D'accord. La raison d'être du SRR a été documentée. De l'information sur le SRR sera ajoutée aux sites Intranet et Internet des IRSC, et on fournira plus de détails dans les courriels de rappel envoyés aux détenteurs de subvention devant remplir un rapport de fin de subvention. Date d'achèvement prévue Septembre 2014
À la suite de l'examen des questions contenues dans le présent SRR, le groupe de travail a conclu que plusieurs définitions étaient vagues ou désuètes et que plusieurs questions n'avaient pas d'interprétation claire. Risque et répercussions L'utilisation de définitions et de questions désuètes, confuses ou vagues peut faire en sorte que les données soient utilisées de manière inappropriée ou interprétée de manière divergente.	1b) Une terminologie cohérente et actuelle avec des définitions et des interprétations des questions du SRR devraient être accessibles dans le système et en faire clairement partie.	1b) Responsabilité Chef des affaires scientifiques Action D'accord. Une analyse sera réalisée en vue de la création d'une liste de questions fréquemment posées par les chercheurs concernant les définitions et les interprétations des questions du SRR, et des réponses types à ces questions seront préparées. Ce document sera mis à la disposition des chercheurs au moyen d'un hyperlien inclus dans les courriels de rappel. La faisabilité d'intégrer les changements recommandés au système sera évaluée. Date d'achèvement prévue Décembre 2014
Tout au long du processus de demande et de diffusion des données, il n'est pas indiqué que le rapport électronique final contient des données déclarées par les chercheurs, qui n'ont pas été vérifiées de manière indépendante ou soumises à un contrôle de la qualité. Risque et répercussions L'ignorance du fait que les données proviennent des chercheurs eux-mêmes risque de faire interpréter l'information contenue dans les rapports finaux comme des statistiques ou des opinions officielles des IRSC.	1c) Une mise en garde sur les limites des données (le fait qu'elles proviennent des chercheurs, les problèmes liés aux définitions et aux clarifications) devrait accompagner en tout temps les données demandées ou téléchargées du système.	1c) Responsabilité Directeur, Rendement et Responsabilisation Action D'accord. On préparera un message d'avertissement type décrivant les sources des données du SRR (c.-à-d. les chercheurs eux-mêmes) et les utilisations acceptables des données. Cet avertissement accompagnera toutes les demandes de données du SRR et tous les articles citant les données du SRR. Date d'achèvement prévue Septembre 2014
Le SRR contient un fort volume de données texte en format ouvert qui n'est soumis à aucune révision et qui n'est pas utilisé par les IRSC dans la prise de décisions ou la production de rapports. La version actuelle du rapport électronique final peut contenir 25 000 caractères de texte en format ouvert. Une riche source potentielle de données qualitatives, les réponses libres représentent néanmoins le type d'information le plus laborieux à fournir pour les chercheurs et à analyser pour le personnel des IRSC. Une analyse comparable de données texte en format ouvert aux IRSC révèle qu'il s'agit d'un processus fastidieux que l'on n'a pas réussi à automatiser. Plusieurs groupes non engagés dans l'examen actuel du SRR ont exprimé le souhait d'obtenir des données texte en format ouvert, mais on ne peut affirmer que le besoin et l'utilisation de données de ce genre justifient le fardeau qu'implique leur collecte, leur stockage et leur analyse. À la date de publication du présent rapport, le groupe de travail du SRR avait analysé la pertinence de chaque question ouverte et avait recommandé d'en réduire le nombre. Risque et répercussions Faute de plan pour les analyser, les données texte en format ouvert sont un pur fardeau pour les chercheurs, le personnel et l'infrastructure de TI des IRSC.	1d) Les questions ouvertes devraient être examinées en fonction des utilisations du SRR, pour déterminer si la collecte d'un si grand volume de texte est justifiée et ne représente pas un fardeau excessif pour les chercheurs ou le personnel des IRSC en comparaison des avantages à en tirer.^{Note en bas de page 2}	1d) Responsabilité Chef des affaires scientifiques Action D'accord. Au terme d'un examen des questions du SRR, il a été recommandé de créer une version simplifiée qui permettrait d'éliminer et/ou d'abréger une bonne partie du contenu en données texte en format ouvert. Un plan de transition au nouveau modèle de rapport a été établi. Date d'achèvement prévue Février 2015
Le SSR s'intéresse aux résultats des subventions (financement accordé aux titulaires de subvention pour effectuer une recherche) mais non aux titulaires de bourse (financement accordé sous forme de salaire ou d'allocation de formation). Il n'existe pas de système comparable au SRR pour surveiller les résultats et les activités des titulaires de bourses de formation, qui soutiennent des étudiants dans l'obtention d'un diplôme, ou de bourses salariales, qui couvrent les coûts d'un poste de chercheur indépendant dans un établissement. Récipiendaires directs de fonds investis dans des possibilités de financement individuelles, ces personnes pourront plus tard demander des subventions ou des bourses, ou ne pas en demander. Dans une de ses catégories d' « extrants », le SRR couvre le nombre d'étudiants et de boursiers (et non pas de chercheurs indépendants) rattaché à chaque subvention, mais cette information est de nature générale et rapportée sous forme de total, et n'offre pas la possibilité de surveiller des noms et des diplômes particuliers. Cela le rend peu utile pour surveiller la carrière de certaines personnes et l'impact que les fonds des IRSC y ont exercé. De plus, cela tient compte seulement des stagiaires indirectement associés aux investissements des IRSC, plutôt que des récipiendaires directs. Risque et répercussions Les bourses salariales et de formation représentent une modeste part du budget total des IRSC, mais elles soutiennent directement des milliers de stagiaires et de chercheurs chaque année. Cela en fait un volet crucial du mandat des IRSC et de leurs investissements stratégiques dans le développement des capacités de recherche. En l'absence d'un système comme le SRR, ou de modules séparés pour suivre la carrière et les résultats du financement des récipiendaires de bourses, le processus de collecte de données visant à analyser ces programmes et à en faire rapport sera désordonné et fastidieux.	1e) Il faudrait concevoir une méthode pour suivre la formation et/ou la carrière des récipiendaires de bourses. Deux éléments importants à prendre en compte dans ce système : moyen de différencier les individus; moyen d'encourager les récipiendaires à remplir le rapport électronique final même s'ils n'ont pas l'intention de faire d'autres demandes de financement aux IRSC.	1e) Responsabilité Directeur, Rendement et Responsabilisation Action D'accord. Une méthode permettant de suivre les récipiendaires de bourses et les stagiaires financés par les subventions des IRSC sera conçue. Pour le moment, un mécanisme de sondage séparé est utilisé pour recueillir cette information. On examinera s'il est possible d'utiliser le SRR ou de concevoir un autre mécanisme, en harmonie avec le processus de réforme en cours. Date d'achèvement prévue Sondage à court terme : terminé Sondage à long terme : décembre 2016
Le SRR est conçu pour cerner les résultats des fonds investis dans le principal programme de financement de la recherche des IRSC, le Programme ouvert de subventions de fonctionnement. Il s'agit généralement de subventions pluriannuelles d'un montant élevé qui visent à stimuler la recherche fondamentale et à produire de nouvelles connaissances. Cependant, les IRSC possèdent divers programmes non ouverts qui se prêtent mal au SRR : Bourses de dissémination, visant à financer des réunions ou d'autres véhicules de dissémination de la recherche; Programmes d'application des connaissances, axés sur la création de nouveaux médicaments, vaccins ou brevets ou de nouvelles interventions; Subventions pour lettre d'intention, servant à financer la préparation de demandes pour des projets complexes ou à grande échelle dans le cadre de programmes à budget élevé; Subventions transitoires, utilisées pour que des installations de recherche prometteuses puissent continuer de fonctionner en dépit d'un financement inadéquat; Programmes stratégiques comportant des exigences inhabituelles en matière de rapports. Tous ces programmes se caractérisent par leurs extrants mal cernés dans le SRR, ou par leur rapport électronique final démesurément fastidieux compte tenu de leur raison d'être. Depuis juin 2013, les processus de mise en œuvre des possibilités de financement exigent que ces possibilités assorties d'objectifs stratégiques particuliers ou de résultats attendus propres à chaque programme documentent ces éléments distinctifs. Pour la production de rapports, ces programmes sont limités à trois options : Faire remplir le rapport électronique final détaillé par les chercheurs financés; Demander d'être exempté du rapport de fin de subvention^{Note en bas de page 3} Faire remplir une version modifiée du rapport électronique final (voir recommandation 1f). Le rapport électronique final actuel ou sa version modifiée proposée ne sont actuellement pas soumis à un examen de leur pertinence par rapport à ces programmes, dans le but de relever les lacunes, les questions ou les définitions mal ciblées et/ou les questions répétitives ou inutiles. Risque et répercussions En plus d'être inefficace et inefficient, l'utilisation du rapport électronique final de base pour cerner les extrants de programmes inhabituels est frustrante à la fois pour les chercheurs et le personnel des IRSC. Cela dit, le fait d'exempter ces programmes de tout rapport signifie que des millions de dollars en subventions seront exclus du régime redditionnel des IRSC. De plus, il est possible que ces programmes couvrent des aspects importants du mandat des IRSC qui devraient être cernés par un genre de rapport électronique final créé sur mesure. Dans un cas comme dans l'autre, cela risque de fausser les rapports et de les rendre non représentatifs de la réalité. En omettant de définir un plan de rapport à l'avance, on risque de financer un programme dont le succès ne peut être mesuré ou évalué. Si on omet de définir une réponse à l'avance et on se fie à la mémoire organisationnelle, la justification derrière le plan de rapport du programme risque de se perdre complètement si la personne responsable de la création du programme quitte les IRSC.	1f) Il devrait exister un processus pour cerner les extrants propres à des programmes particuliers. Les extrants de ces programmes non cernés par le SRR devraient être documentés dans le cadre du processus de préparation des possibilités de financement, afin qu'il soit possible d'en faire rapport ultérieurement.	1f) Responsabilité Chef des affaires scientifiques Action D'accord. Les rapports électroniques finaux devront contenir une série de questions de base du SRR applicables à tous les programmes. On examine actuellement la faisabilité d'une approche modulaire pour le SRR. Cela permettrait aux programmes d'avoir l'option d'ajouter des questions au rapport. Si le SRR s'avère inefficace pour cerner les extrants propres à chaque programme, d'autres solutions seront explorées. La documentation des extrants propres à chaque programme fera partie de la conception des programmes. Date d'achèvement prévue Analyse de faisabilité : mars 2015
2. Le système parent qui héberge le SRR n'a pas été soumis à une vérification détaillée de la sécurité depuis 2004.
Le SRR est un sous-système du portail Web RechercheNet, lequel constitue la principale interface entre les IRSC et le milieu de la recherche, et dont les utilisations ont augmenté depuis sa création.^{Note en bas de page 4} Au niveau opérationnel, RechercheNet est utilisé pour recevoir et traiter des demandes, gérer plusieurs étapes du processus d'évaluation par les pairs et communiquer les résultats des possibilités de financement après approbation. Le module du SRR servira aussi à alimenter en données l'infrastructure de rapport sur le rendement des IRSC et les rapports annuels au Parlement, ce qui signifie que le système jouera un rôle crucial dans l'exécution des obligations redditionnelles des IRSC. En 2007, à la suite d'une évaluation des facteurs relatifs à la vie privée, il a été recommandé de mettre à jour l'évaluation de la menace et des risques (EMR) pour RechercheNet, mais cela reste encore à faire. De plus, RechercheNet a été hébergé par TPSGC à l'extérieur des locaux des IRSC entre 2008 et 2012, avant de retourner aux IRSC en novembre 2012. Ce nouvel emplacement pourrait impliquer de nouveaux risques. RechercheNet n'a fait l'objet d'aucune EMR ou autre évaluation détaillée de la sécurité depuis 2004, et ce malgré les changements majeurs qui y ont été apportés et l'importance acquise par RechercheNet pour les opérations et la production des rapports des IRSC. RechercheNet est actuellement soumis à une évaluation de la vulnérabilité (EV) qui devrait être terminée avant la fin de 2013–2014. Risque et répercussions Sans une EMR pour cerner de manière proactive les risques pour le système, la confidentialité, l'intégrité et la disponibilité de l'information stockée et transmise par RechercheNet et le SRR ne peuvent être garanties, ce qui pourrait empêcher les IRSC de remplir leur mandat et d'afficher des résultats.	2a) RechercheNet devrait être soumis à une EMR ou à une autre évaluation détaillée de la sécurité englobant la composante SRR du système. La direction devrait donner suite de manière officielle à tout problème cerné par l'EMR.	2a) Responsabilité Dirigeante principale de l'information Action D'accord. En mars 2014, à la suite d'une évaluation de la vulnérabilité de RechercheNet (le système parent du SRR) couvrant les risques pour la sécurité, on a conclu que les risques étaient limités. À la lumière des résultats de l'évaluation de la vulnérabilité, une EMR détaillée n'est pas jugée nécessaire. Date d'achèvement prévue Achevé
3. Le processus d'examen du SRR a lieu avant l'approbation des cadres de mesure du rendement (CMR) des IRSC.
Les CMR des IRSC ont été soumis à l'approbation du Conseil du Trésor en octobre 2013. Bien qu'un des rôles majeurs proposé du SRR soit d'alimenter en données l'infrastructure de mesure du rendement des IRSC, les documents n'ont pas été achevés ni approuvés. On passe actuellement en revue les questions du SRR dans le but de créer une nouvelle version du rapport électronique final, mais il faudra peut-être y apporter d'autres changements si de nouveaux besoins en information sont définis dans la version finale approuvée des CMR. Risque et répercussions En l'absence de CMR définis et finalisés, il est impossible de déterminer si l'information recueillie par le SRR correspond vraiment aux besoins des CMR.	3a) Il faudrait examiner le SRR à la lumière des CMR approuvés, et le mettre à jour pour s'assurer qu'il répond adéquatement aux besoins des CMR.	3a) Responsabilité Directeur, Rendement et Responsabilisation Action D'accord. La concordance de l'approche de simplification du SRR avec le régime de gestion du rendement a été évaluée. Date d'achèvement prévue Achevé
4. Le SRR doit évoluer vers une approche de gestion du changement.
La mise sur pied du SRR a nécessité un long processus de consultation avec de nombreux intervenants internes et externes, et s'est déroulée à l'intérieur d'un cadre de gestion de projet qui a permis de mieux documenter la création et la mise à jour du système et d'y ajouter de la rigueur. Le SRR a été activé en mars 2011, et une série de dates limites ont été fixées en octobre 2012 pour la collecte de rapports électroniques finaux sur les huit dernières années d'investissement dans la recherche en santé. Puisque le SRR est maintenant opérationnel, un cadre de gestion de projet n'est plus de mise. Depuis la conception et l'activation du SRR, les IRSC ont apporté des changements importants à leur structure organisationnelle, à leur haute direction, au financement des subventions et aux rapports sur les subventions. Tandis que de nouvelles personnes interviennent dans la conception et la gestion du SRR, on propose des changements importants qui auront pour effet de modifier significativement les versions futures du rapport électronique final et de perturber la répartition des rapports électroniques finaux individuels dans des cohortes particulières. Les changements aux questions et aux structures de données produiront des versions radicalement différentes du rapport électronique final et des données recueillies; de plus, pour pouvoir comparer les versions, il faudra tenir à jour de nombreuses versions et faire de nombreuses distinctions dans les rapports (voir aussi l'observation 8b concernant le dictionnaire des données du SRR). Risque et répercussions En l'absence d'un processus officiel de gestion du changement où les décisions sont documentées, des changements au SRR pourront être apportés sans que la justification ne soit documentée.^{Note en bas de page 5} Les changements aux questions ou à la structure des données ont pour effet de créer des différences dans les versions du rapport électronique final, les années de collecte des données et les cohortes de chercheurs, ce qui se répercute sur l'efficience de la collecte, du nettoyage et du stockage des données, et limite considérablement les possibilités de comparaison entre les années et les possibilités de financement.	4a) Le cadre de gestion de projet actuel du SRR devrait évoluer vers une structure de gestion/gouvernance permanente tout aussi rigoureuse, assurant la documentation des motifs des décisions et la préservation de la mémoire organisationnelle.	4a) Responsabilité Chef des affaires scientifiques Action D'accord. Depuis que le SRR est passé de projet de TI à système opérationnel, tous les changements qui y ont été effectués, et qui y seront effectués à l'avenir sont soumis à un processus officiel de demande de changement, qui documente la justification des changements. Une structure de gouvernance du SRR sera officiellement établie en tant que sous-comité du comité élargi de la haute direction (CEHD). Date d'achèvement prévue Septembre 2014
4b) Le processus de modification du SRR devrait comporter les mesures suivantes pour maximiser la comparabilité des cohortes de rapports : respecter des périodes de « constance » de plusieurs années, où tout changement important à la structure des données et aux questions sera gardé en réserve; établir et documenter un processus de gestion des différences entre les possibilités de financement, les années de financement, les fins de subvention et les cohortes de rapport.	4b) Responsabilité Directeur, Rendement et Responsabilisation Action Un ensemble de données de base sera établi afin que les données du SRR restent comparables au fil du temps. Date d'achèvement prévue Septembre 2014
5. Il n'existe pas de processus de demande de données du SRR, et il reste à déterminer qui aura accès aux données.
La première date limite pour les rapports du SRR était en octobre 2012, et les IRSC ont accumulé près de 2 000 rapports électroniques finaux depuis ce temps. Malgré cette quantité de rapports, les demandes d'accès aux données, et les possibilités de les utiliser, ont été limitées par l'ignorance des moyens d'y accéder et le manque de clarté de ces moyens. Même si le fait de ne pas diffuser les données ne pose pas de risque comme tel, l'existence d'une telle mine d'information pourrait fournir à de nombreuses personnes l'occasion de découvrir des problèmes, des améliorations à apporter, des résultats très importants ou des synergies potentielles, ou encore des utilisations inattendues pour les données. Cette information pourrait également être utile pour guider le processus actuel de refonte du rapport électronique final, abordé aux observations 1 et 4. Il n'existe pas de lignes directrices pour déterminer qui peut avoir accès aux rapports individuels ou à des groupes de données recueillies par le SRR. L'accès aux rapports individuels et à des groupes de données par les employés des IRSC ne devrait pas poser de problème, mais on ne sait trop si les instituts, les établissements de recherche, d'autres chercheurs et le grand public auront accès aux données, ni quelle forme d'accès ils auront. Bien que plusieurs politiques et avis transmis aux chercheurs concernant le SRR laissent entendre que l'information pourra être diffusée au public, cette possibilité n'est pas mentionnée explicitement. Les demandes d'information des chercheurs et les résultats d'un sondage systématique (voir annexe B) ont révélé les craintes des chercheurs au sujet de l'accessibilité de renseignements exclusifs (p. ex. certains résultats de recherche comportent des éléments de propriété intellectuelle partagés ou mis au point par l'industrie) ou de résultats de recherche non encore publiés par le public, le gouvernement ou des pairs, et au sujet de l'impact que l'accès à cette information pourrait avoir sur leur carrière. En outre, l'importante quantité de données texte en format ouvert recueillie avec chaque rapport électronique final n'est soumise à aucune restriction ou révision, ce qui fait courir le risque que des renseignements personnels ou confidentiels gênants soient diffusés au public (voir recommandation 1d). Bien que la protection des renseignements personnels ou confidentiels suscite des craintes justifiables, il existe de nombreuses utilisations potentielles pour les données du SRR dans les milieux scientifiques ou gouvernementaux, dont pourraient profiter divers intervenants de l'extérieur des IRSC. La publication de ces données permettrait aussi aux IRSC de remplir leur devoir de transparence et leurs obligations redditionnelles sur l'utilisation des fonds publics, et offrirait une source d'information sur les résultats de la recherche au grand public. Le SRR stocke actuellement une série de réponses de chercheurs ayant déjà soumis leur rapport électronique final, et ces chercheurs ne sont pas nécessairement motivés à les réviser. Il faudrait une stratégie différente pour ces rapports afin d'atténuer le risque associé à la diffusion publique (le cas échéant), étant donné que ces chercheurs n'ont pas été informés de cette possibilité avant d'avoir soumis leur rapport. Risque et répercussions Le fait qu'on ne sache pas clairement qui peut accéder aux données du SRR entrave l'accès, la diffusion et la redistribution des résultats, et empêche les chercheurs d'adapter leurs réponses à un auditoire particulier ou de limiter l'information potentiellement problématique. Si les chercheurs commencent à s'inquiéter de l'accessibilité des résultats du SRR et de l'absence de filtre, ils pourront fournir des réponses incomplètes ou inexactes. Bien que les chercheurs aient donné le feu vert à l'utilisation de l'information contenue dans le SRR, les documents de consentement ne semblent pas indiquer clairement « cette information sera rendue publique ». Le sondage de la Vérification interne auprès des chercheurs a révélé qu'au moins certains d'entre eux seraient surpris d'une telle tournure, et que plusieurs auraient fourni des réponses différentes s'ils avaient su qui était l'auditoire potentiel. La publication de l'information du SRR (le cas échéant) pourrait soulever une controverse parmi certains chercheurs. Même si, techniquement, les IRSC ont raison de dire que les chercheurs ont été informés de la possibilité que leurs données soient communiquées au public ou à d'autres groupes, la diffusion de l'information sans un consentement explicite risque d'aliéner un des groupes d'intervenants externes les plus importants pour les IRSC. Cela dit, en ne publiant pas les données, on renonce à une multitude d'utilisations possibles pour cette mine d'information.	5a) Il faudrait établir un processus et des lignes directrices applicables aux demandes de données du SRR et à la publication des données, qui couvriraient des questions comme la protection, le format, la confidentialité et la redistribution des données. Ces lignes directrices devraient aborder : l'accès par le personnel l'accès par des personnes autres que les membres du personnel ^{Note en bas de page 6} l'accès aux rapports des chercheurs l'accès aux réponses en format ouvert les restrictions applicables à la redistribution, s'il y a lieu	5b) Responsabilité Directeur, Rendement et Responsabilisation Action D'accord. L'examen de la protection des renseignements personnels abordé au point 5a) comportera une analyse du consentement des chercheurs, dont les résultats seront communiqués comme recommandé. Date d'achèvement prévue Décembre 2015
5b) Tout dépendant des mesures prises en réponse à la recommandation 5a, il faudrait faire une analyse de ce qui constitue le consentement d'un chercheur, et en communiquer adéquatement les résultats.	5b) Responsabilité Directeur, Rendement et Responsabilisation Action D'accord. L'examen de la protection des renseignements personnels abordé au point 5a) comportera une analyse du consentement des chercheurs, dont les résultats seront communiqués comme recommandé. Date d'achèvement prévue Décembre 2015
6. Il n'existe pas de processus ou de conseils à suivre par les chercheurs pour fournir des données exactes et de grande qualité dans leurs réponses.
Les données recueillies par le SRR sont fournies par les chercheurs eux-mêmes et se répartissent en plusieurs types (numériques, alphabétiques, texte en format ouvert et fermé). Il n'existe aucun système automatisé pour vérifier l'exactitude des réponses sous forme de données numériques et en format ouvert, et aucun examen n'est effectué pour garantir que les données sont exactes, complètes et pertinentes. Un tel examen (en particulier pour les réponses sous forme de données texte en format ouvert) représenterait un fardeau important estimé à 0,5–1 ETP par année à l'interne, sans garantie d'amélioration de la qualité des données. De plus, des chercheurs ont admis dans un sondage (voir annexe B) que la longueur du rapport électronique final et les erreurs techniques dans le système les avaient incités à fournir les réponses les plus rapides ou faciles, plutôt que les meilleures ou les plus exactes. Ce problème est accentué par le manque de formation, de mesures incitatives et d'exemples de réponse pour s'assurer que les données correspondent aux besoins des IRSC. Risque et répercussions En l'absence de mécanisme d'orientation, d'aide ou de contrôle de la qualité, les données recueillies par les IRSC risquent d'être inexactes, et les chercheurs risquent de fournir des réponses sous-optimales.	6a) Il faudrait guider les chercheurs pour les aider à fournir des réponses de grande qualité^{Note en bas de page 7}	6a) Responsabilité Chef des affaires scientifiques Action D'accord. Le groupe de travail du SRR préparera les réponses à une liste de questions fréquemment posées par les chercheurs, afin de les guider dans la formulation de réponses de grande qualité aux questions du SRR. Le Guide des subventions et bourses sera mis à jour pour que la politique sur les rapports de fin de subvention fasse mention de la nécessité de fournir des réponses de grande qualité.
6b) Lorsqu'il est possible de le faire, on devrait intégrer au système des contrôles automatisés de la qualité des réponses sous forme de données numériques en format fermé, et permettre au système de corriger ou de signaler les réponses posant problème.	6b) Responsabilité Chef des affaires scientifiques Action D'accord. Le groupe de la gestion du changement réexaminera les procédures opérationnelles du SRR, en consultant le groupe des systèmes au besoin. Ce groupe présentera une analyse et un plan au groupe de travail du SRR, aux fins de discussion et d'approbation. Date d'achèvement prévue Avril 2015
7. Il n'existe pas de processus systématique pour recueillir la rétroaction des employés, des chercheurs et d'autres intervenants sur les définitions et les questions contenues dans le SRR et les données amassées par le système.
Le SRR a été conçu à partir d'un vaste processus de consultation auprès d'intervenants internes et externes. Après l'inauguration du système, au moment de remplir leur rapport électronique final, les chercheurs ont reçu une adresse courriel pour les « demandes d'information concernant le SRR », à utiliser pour obtenir des précisions sur n'importe quel aspect du système. On s'en sert maintenant comme adresse universelle pour échanger avec les chercheurs sur différents sujets, y compris les problèmes techniques, les définitions et l'appréciation générale du système. Les demandes d'information sont divisées entre les questions techniques et opérationnelles et sont prises en charge par deux spécialistes différents. Des chercheurs frustrés ont aussi transmis leurs commentaires sur le système (généralement sous forme de critiques) directement au président ou à la vice-présidente à la Recherche. Un sondage systématique auprès des chercheurs ayant rempli un rapport électronique final laisse présumer que ces critiques viennent d'une minorité de chercheurs; la plupart n'ont pas trouvé le système difficile à utiliser. Risque et répercussions En l'absence d'un processus en bonne et due forme pour recueillir la rétroaction des chercheurs sur le SRR, l'inventaire des difficultés techniques, des définitions problématiques et d'autres commentaires des intervenants externes ne sera pas effectué de manière systématique. L'occasion de cerner et de surveiller systématiquement les améliorations au système sera perdue. De plus, en l'absence d'un mécanisme de rétroaction adéquat, il est probable que les chercheurs continuent de s'adresser directement à la haute direction et au président, ce qui risque de donner une image déformée du SRR.	7a) Il faudrait concevoir une méthode de collecte systématique et rapide de la rétroaction des chercheurs sur le SRR. Ce processus de rétroaction externe devrait permettre aux IRSC de cerner les problèmes ponctuels du système ainsi que les problèmes à plus long terme qui pourraient guider les futures mises à jour du système. La rétroaction devrait être sollicitée peu après la réception du rapport électronique final.^{Note en bas de page 8}	7a) Responsabilité Chef des affaires scientifiques Action D'accord. On mettra au point une approche systématique pour recueillir la rétroaction des intervenants internes et externes et y répondre. Date d'achèvement prévue Décembre 2015
Dans le cadre du processus d'élaboration du SRR, les parties internes pouvaient donner leur avis sur les questions et définitions utilisées et suggérer des précisions. Cependant, depuis que le système est opérationnel, et en particulier depuis qu'il a commencé à amasser des données réelles, aucun processus de consultation d'une rigueur comparable n'a eu lieu pour déterminer de manière systématique si les utilisateurs des données comprennent les définitions utilisées, les données recueillies et leurs limites. Il existe bien une adresse courriel pour les demandes d'information relatives au SRR, mais elle ne sert pas à recueillir les commentaires des employés. Risque et répercussions En l'absence d'un processus systématique pour vérifier si les employés des IRSC comprennent les limites du SRR, la compréhension ou l'interprétation des données par les employés risque de devenir systématiquement erronée.	7b) Il faudrait établir une méthode de collecte systématique de la rétroaction des employés des IRSC sur les définitions, la structure des données et les limites du SRR.^{Note en bas de page 9}	7b) Responsabilité Chef des affaires scientifiques Action D'accord. On donnera suite à ce point en même temps que le point 7a). Date d'achèvement prévue Décembre 2015
8. L'architecture technologique et l'architecture d'information du SRR n'ont pas été documentées.
L'architecture intégrée est nécessaire pour optimiser, à la grandeur de l'organisme, les processus (manuels et automatisations) souvent dispersés dont on a hérité, pour en faire un environnement intégré à la fois réceptif au changement et utile à la mise en œuvre de la stratégie opérationnelle. Au confluent de la technologie de l'information et de la gestion de l'information, l'architecture d'information est nécessaire pour s'assurer que la technologie de l'information fournit les données voulues avec exactitude et rapidité dans un format utile. Les risques et avantages de l'architecture d'information ne sont pas uniques au SRR, mais le système est utilisé comme projet pilote et comme système source qui englobera éventuellement toute l'architecture de TI et de GI des IRSC. En raison de mouvements de personnel et de priorités concurrentes, le livre de codes du SRR (aussi appelé dictionnaire des données) n'est pas encore finalisé. Élément essentiel de toute base de données, le livre-code fournit de l'information cruciale sur la signification des valeurs attribuées aux données dans la base de données, ainsi que les métadonnées, les valeurs par défaut, la programmation, l'information sur le rendement/paramètres, les rôles et privilèges associés aux comptes et d'autres renseignements généraux sur la base de données et les données en général. Il est particulièrement utile lorsque les données sont compliquées ou en cas de mouvements de personnel. Au moment de la préparation du présent rapport, le livre-code du SRR était examiné dans le cadre de l'ensemble du projet d'architecture intégrée des IRSC. Risque et répercussions Sans architecture d'information, le SRR risque de produire des rapports fragmentés et de fonctionner de manière moins efficiente, et les mises à jour risquent de devenir plus compliquées et dispendieuses, sans pour autant répondre aux besoins des IRSC en général ou des principaux intervenants du SRR. En omettant de mettre à jour le livre-code, on s'assure pratiquement de perdre une partie de la mémoire organisationnelle et de produire des rapports limités. L'absence d'un registre aussi important des changements apportés avec le temps engendre une dépendance à l'égard de la mémoire organisationnelle; le personnel chargé d'extraire les données doit avoir une connaissance intime des données et mettre à jour manuellement tous les extraits, ce qui ajoute au délai et au coût de traitement des demandes de données.	8a) L'architecte de l'information des IRSC devrait continuer de documenter l'architecture technologique et l'architecture d'information du SRR.	8a) Responsabilité Dirigeante principale de l'information Action D'accord. Les IRSC ont mis au point une approche organisationnelle à l'égard de l'architecture intégrée en décembre 2013. Le processus de fin de subvention sera donc abordé selon cette approche. Date d'achèvement prévue Mars 2015
8b) Le dictionnaire des données du SRR devrait être mis et tenu à jour dans le cadre du projet d'architecture d'information.	8b) Responsabilité Dirigeante principale de l'information Action D'accord. Le groupe des systèmes (TI) a mis à jour le dictionnaire des données au quatrième trimestre de 2013–2014, et a créé un processus et/ou un calendrier pour tenir le dictionnaire à jour. Date d'achèvement prévue Achevé

Observation

Recommandations

Plan d'action de la direction

1. Il faut préciser la raison d'être, le contenu, l'adaptabilité et l'utilisation du SRR.

L'historique de la gouvernance du SRR est compliqué, et on ne peut dire clairement qui en est responsable. Lors de la création du système, les ébauches et les modifications ont été soumises aux commentaires et à l'approbation de plusieurs comités des IRSC. De plus, la gestion et la structure hiérarchique de l'équipe responsable de la conception du SRR ont changé à maintes reprises durant la création du système. Les efforts visant à ce que le SRR réponde à plusieurs besoins à la fois aux IRSC ont abouti à un rapport électronique final trop long, qui n'est pas optimisé pour répondre à un besoin principal de manière efficiente. Bien que la nature de l'information recueillie puisse être utile à de nombreux secteurs des IRSC (dont l'information sur le rendement, la conception des occasions et des mécanismes de financement de la recherche, la communication ainsi que l'application des connaissances), elle ne répond pas de façon optimale à des besoins ou à des utilisateurs uniques.

Cette question a été désignée comme prioritaire pendant le déroulement du projet, et le processus de gouvernance a été clarifié : le comité de la haute direction a été désigné comme responsable du système, et la chef des Affaires scientifiques/vice-président, Recherche et application des connaissances, a été désignée comme championne. De plus, un groupe de travail de directeurs a été créé durant le projet pour résoudre les questions opérationnelles associées à la mise en œuvre du SRR.^{Note en bas de page 1}

Risque et répercussions

Le manque de clarté de la raison d'être peut aboutir à des questions sous-optimales qui, en tentant de répondre à plusieurs besoins en même temps, ne réussissent à bien répondre à aucun besoin principal. Le manque de clarté peut aussi avoir pour effet d'augmenter le nombre de questions et d'imposer un fardeau disproportionné aux chercheurs tenus de remplir le rapport électronique final.

1a) La raison d'être principale du SRR devrait être établie et clairement définie.

1a) Responsabilité
Chef des affaires scientifiques

Action
D'accord.

La raison d'être du SRR a été documentée. De l'information sur le SRR sera ajoutée aux sites Intranet et Internet des IRSC, et on fournira plus de détails dans les courriels de rappel envoyés aux détenteurs de subvention devant remplir un rapport de fin de subvention.

Date d'achèvement prévue
Septembre 2014

À la suite de l'examen des questions contenues dans le présent SRR, le groupe de travail a conclu que plusieurs définitions étaient vagues ou désuètes et que plusieurs questions n'avaient pas d'interprétation claire.

Risque et répercussions

L'utilisation de définitions et de questions désuètes, confuses ou vagues peut faire en sorte que les données soient utilisées de manière inappropriée ou interprétée de manière divergente.

1b) Une terminologie cohérente et actuelle avec des définitions et des interprétations des questions du SRR devraient être accessibles dans le système et en faire clairement partie.

1b) Responsabilité
Chef des affaires scientifiques

Action
D'accord.

Une analyse sera réalisée en vue de la création d'une liste de questions fréquemment posées par les chercheurs concernant les définitions et les interprétations des questions du SRR, et des réponses types à ces questions seront préparées.

Ce document sera mis à la disposition des chercheurs au moyen d'un hyperlien inclus dans les courriels de rappel.

La faisabilité d'intégrer les changements recommandés au système sera évaluée.

Date d'achèvement prévue
Décembre 2014

Tout au long du processus de demande et de diffusion des données, il n'est pas indiqué que le rapport électronique final contient des données déclarées par les chercheurs, qui n'ont pas été vérifiées de manière indépendante ou soumises à un contrôle de la qualité.

Risque et répercussions

L'ignorance du fait que les données proviennent des chercheurs eux-mêmes risque de faire interpréter l'information contenue dans les rapports finaux comme des statistiques ou des opinions officielles des IRSC.

1c) Une mise en garde sur les limites des données (le fait qu'elles proviennent des chercheurs, les problèmes liés aux définitions et aux clarifications) devrait accompagner en tout temps les données demandées ou téléchargées du système.

1c) Responsabilité
Directeur, Rendement et Responsabilisation

Action
D'accord.

On préparera un message d'avertissement type décrivant les sources des données du SRR (c.-à-d. les chercheurs eux-mêmes) et les utilisations acceptables des données. Cet avertissement accompagnera toutes les demandes de données du SRR et tous les articles citant les données du SRR.

Date d'achèvement prévue
Septembre 2014

Le SRR contient un fort volume de données texte en format ouvert qui n'est soumis à aucune révision et qui n'est pas utilisé par les IRSC dans la prise de décisions ou la production de rapports. La version actuelle du rapport électronique final peut contenir 25 000 caractères de texte en format ouvert. Une riche source potentielle de données qualitatives, les réponses libres représentent néanmoins le type d'information le plus laborieux à fournir pour les chercheurs et à analyser pour le personnel des IRSC. Une analyse comparable de données texte en format ouvert aux IRSC révèle qu'il s'agit d'un processus fastidieux que l'on n'a pas réussi à automatiser. Plusieurs groupes non engagés dans l'examen actuel du SRR ont exprimé le souhait d'obtenir des données texte en format ouvert, mais on ne peut affirmer que le besoin et l'utilisation de données de ce genre justifient le fardeau qu'implique leur collecte, leur stockage et leur analyse. À la date de publication du présent rapport, le groupe de travail du SRR avait analysé la pertinence de chaque question ouverte et avait recommandé d'en réduire le nombre.

Risque et répercussions

Faute de plan pour les analyser, les données texte en format ouvert sont un pur fardeau pour les chercheurs, le personnel et l'infrastructure de TI des IRSC.

1d) Les questions ouvertes devraient être examinées en fonction des utilisations du SRR, pour déterminer si la collecte d'un si grand volume de texte est justifiée et ne représente pas un fardeau excessif pour les chercheurs ou le personnel des IRSC en comparaison des avantages à en tirer.^{Note en bas de page 2}

1d) Responsabilité
Chef des affaires scientifiques

Action
D'accord.

Au terme d'un examen des questions du SRR, il a été recommandé de créer une version simplifiée qui permettrait d'éliminer et/ou d'abréger une bonne partie du contenu en données texte en format ouvert. Un plan de transition au nouveau modèle de rapport a été établi.

Date d'achèvement prévue
Février 2015

Le SSR s'intéresse aux résultats des subventions (financement accordé aux titulaires de subvention pour effectuer une recherche) mais non aux titulaires de bourse (financement accordé sous forme de salaire ou d'allocation de formation). Il n'existe pas de système comparable au SRR pour surveiller les résultats et les activités des titulaires de bourses de formation, qui soutiennent des étudiants dans l'obtention d'un diplôme, ou de bourses salariales, qui couvrent les coûts d'un poste de chercheur indépendant dans un établissement. Récipiendaires directs de fonds investis dans des possibilités de financement individuelles, ces personnes pourront plus tard demander des subventions ou des bourses, ou ne pas en demander. Dans une de ses catégories d' « extrants », le SRR couvre le nombre d'étudiants et de boursiers (et non pas de chercheurs indépendants) rattaché à chaque subvention, mais cette information est de nature générale et rapportée sous forme de total, et n'offre pas la possibilité de surveiller des noms et des diplômes particuliers. Cela le rend peu utile pour surveiller la carrière de certaines personnes et l'impact que les fonds des IRSC y ont exercé. De plus, cela tient compte seulement des stagiaires indirectement associés aux investissements des IRSC, plutôt que des récipiendaires directs.

Risque et répercussions

Les bourses salariales et de formation représentent une modeste part du budget total des IRSC, mais elles soutiennent directement des milliers de stagiaires et de chercheurs chaque année. Cela en fait un volet crucial du mandat des IRSC et de leurs investissements stratégiques dans le développement des capacités de recherche. En l'absence d'un système comme le SRR, ou de modules séparés pour suivre la carrière et les résultats du financement des récipiendaires de bourses, le processus de collecte de données visant à analyser ces programmes et à en faire rapport sera désordonné et fastidieux.

1e) Il faudrait concevoir une méthode pour suivre la formation et/ou la carrière des récipiendaires de bourses.

Deux éléments importants à prendre en compte dans ce système :

moyen de différencier les individus;
moyen d'encourager les récipiendaires à remplir le rapport électronique final même s'ils n'ont pas l'intention de faire d'autres demandes de financement aux IRSC.

1e) Responsabilité
Directeur, Rendement et Responsabilisation

Action
D'accord.

Une méthode permettant de suivre les récipiendaires de bourses et les stagiaires financés par les subventions des IRSC sera conçue. Pour le moment, un mécanisme de sondage séparé est utilisé pour recueillir cette information.

On examinera s'il est possible d'utiliser le SRR ou de concevoir un autre mécanisme, en harmonie avec le processus de réforme en cours.

Date d'achèvement prévue
Sondage à court terme : terminé Sondage à long terme : décembre 2016

Le SRR est conçu pour cerner les résultats des fonds investis dans le principal programme de financement de la recherche des IRSC, le Programme ouvert de subventions de fonctionnement. Il s'agit généralement de subventions pluriannuelles d'un montant élevé qui visent à stimuler la recherche fondamentale et à produire de nouvelles connaissances. Cependant, les IRSC possèdent divers programmes non ouverts qui se prêtent mal au SRR :

Bourses de dissémination, visant à financer des réunions ou d'autres véhicules de dissémination de la recherche;
Programmes d'application des connaissances, axés sur la création de nouveaux médicaments, vaccins ou brevets ou de nouvelles interventions;
Subventions pour lettre d'intention, servant à financer la préparation de demandes pour des projets complexes ou à grande échelle dans le cadre de programmes à budget élevé;
Subventions transitoires, utilisées pour que des installations de recherche prometteuses puissent continuer de fonctionner en dépit d'un financement inadéquat;
Programmes stratégiques comportant des exigences inhabituelles en matière de rapports.

Tous ces programmes se caractérisent par leurs extrants mal cernés dans le SRR, ou par leur rapport électronique final démesurément fastidieux compte tenu de leur raison d'être. Depuis juin 2013, les processus de mise en œuvre des possibilités de financement exigent que ces possibilités assorties d'objectifs stratégiques particuliers ou de résultats attendus propres à chaque programme documentent ces éléments distinctifs. Pour la production de rapports, ces programmes sont limités à trois options :

Faire remplir le rapport électronique final détaillé par les chercheurs financés;
Demander d'être exempté du rapport de fin de subvention^{Note en bas de page 3}
Faire remplir une version modifiée du rapport électronique final (voir recommandation 1f).

Le rapport électronique final actuel ou sa version modifiée proposée ne sont actuellement pas soumis à un examen de leur pertinence par rapport à ces programmes, dans le but de relever les lacunes, les questions ou les définitions mal ciblées et/ou les questions répétitives ou inutiles.

Risque et répercussions

En plus d'être inefficace et inefficient, l'utilisation du rapport électronique final de base pour cerner les extrants de programmes inhabituels est frustrante à la fois pour les chercheurs et le personnel des IRSC. Cela dit, le fait d'exempter ces programmes de tout rapport signifie que des millions de dollars en subventions seront exclus du régime redditionnel des IRSC. De plus, il est possible que ces programmes couvrent des aspects importants du mandat des IRSC qui devraient être cernés par un genre de rapport électronique final créé sur mesure. Dans un cas comme dans l'autre, cela risque de fausser les rapports et de les rendre non représentatifs de la réalité.

En omettant de définir un plan de rapport à l'avance, on risque de financer un programme dont le succès ne peut être mesuré ou évalué. Si on omet de définir une réponse à l'avance et on se fie à la mémoire organisationnelle, la justification derrière le plan de rapport du programme risque de se perdre complètement si la personne responsable de la création du programme quitte les IRSC.

1f) Il devrait exister un processus pour cerner les extrants propres à des programmes particuliers. Les extrants de ces programmes non cernés par le SRR devraient être documentés dans le cadre du processus de préparation des possibilités de financement, afin qu'il soit possible d'en faire rapport ultérieurement.

1f) Responsabilité
Chef des affaires scientifiques

Action
D'accord.

Les rapports électroniques finaux devront contenir une série de questions de base du SRR applicables à tous les programmes. On examine actuellement la faisabilité d'une approche modulaire pour le SRR. Cela permettrait aux programmes d'avoir l'option d'ajouter des questions au rapport. Si le SRR s'avère inefficace pour cerner les extrants propres à chaque programme, d'autres solutions seront explorées.

La documentation des extrants propres à chaque programme fera partie de la conception des programmes.

Date d'achèvement prévue
Analyse de faisabilité : mars 2015

2. Le système parent qui héberge le SRR n'a pas été soumis à une vérification détaillée de la sécurité depuis 2004.

Le SRR est un sous-système du portail Web RechercheNet, lequel constitue la principale interface entre les IRSC et le milieu de la recherche, et dont les utilisations ont augmenté depuis sa création.^{Note en bas de page 4} Au niveau opérationnel, RechercheNet est utilisé pour recevoir et traiter des demandes, gérer plusieurs étapes du processus d'évaluation par les pairs et communiquer les résultats des possibilités de financement après approbation. Le module du SRR servira aussi à alimenter en données l'infrastructure de rapport sur le rendement des IRSC et les rapports annuels au Parlement, ce qui signifie que le système jouera un rôle crucial dans l'exécution des obligations redditionnelles des IRSC. En 2007, à la suite d'une évaluation des facteurs relatifs à la vie privée, il a été recommandé de mettre à jour l'évaluation de la menace et des risques (EMR) pour RechercheNet, mais cela reste encore à faire. De plus, RechercheNet a été hébergé par TPSGC à l'extérieur des locaux des IRSC entre 2008 et 2012, avant de retourner aux IRSC en novembre 2012. Ce nouvel emplacement pourrait impliquer de nouveaux risques.

RechercheNet n'a fait l'objet d'aucune EMR ou autre évaluation détaillée de la sécurité depuis 2004, et ce malgré les changements majeurs qui y ont été apportés et l'importance acquise par RechercheNet pour les opérations et la production des rapports des IRSC. RechercheNet est actuellement soumis à une évaluation de la vulnérabilité (EV) qui devrait être terminée avant la fin de 2013–2014.

Risque et répercussions

Sans une EMR pour cerner de manière proactive les risques pour le système, la confidentialité, l'intégrité et la disponibilité de l'information stockée et transmise par RechercheNet et le SRR ne peuvent être garanties, ce qui pourrait empêcher les IRSC de remplir leur mandat et d'afficher des résultats.

2a) RechercheNet devrait être soumis à une EMR ou à une autre évaluation détaillée de la sécurité englobant la composante SRR du système. La direction devrait donner suite de manière officielle à tout problème cerné par l'EMR.

2a) Responsabilité
Dirigeante principale de l'information

Action
D'accord.

En mars 2014, à la suite d'une évaluation de la vulnérabilité de RechercheNet (le système parent du SRR) couvrant les risques pour la sécurité, on a conclu que les risques étaient limités. À la lumière des résultats de l'évaluation de la vulnérabilité, une EMR détaillée n'est pas jugée nécessaire.

Date d'achèvement prévue
Achevé

3. Le processus d'examen du SRR a lieu avant l'approbation des cadres de mesure du rendement (CMR) des IRSC.

Les CMR des IRSC ont été soumis à l'approbation du Conseil du Trésor en octobre 2013. Bien qu'un des rôles majeurs proposé du SRR soit d'alimenter en données l'infrastructure de mesure du rendement des IRSC, les documents n'ont pas été achevés ni approuvés. On passe actuellement en revue les questions du SRR dans le but de créer une nouvelle version du rapport électronique final, mais il faudra peut-être y apporter d'autres changements si de nouveaux besoins en information sont définis dans la version finale approuvée des CMR.

Risque et répercussions

En l'absence de CMR définis et finalisés, il est impossible de déterminer si l'information recueillie par le SRR correspond vraiment aux besoins des CMR.

3a) Il faudrait examiner le SRR à la lumière des CMR approuvés, et le mettre à jour pour s'assurer qu'il répond adéquatement aux besoins des CMR.

3a) Responsabilité
Directeur, Rendement et Responsabilisation

Action
D'accord.

La concordance de l'approche de simplification du SRR avec le régime de gestion du rendement a été évaluée.

Date d'achèvement prévue
Achevé

4. Le SRR doit évoluer vers une approche de gestion du changement.

La mise sur pied du SRR a nécessité un long processus de consultation avec de nombreux intervenants internes et externes, et s'est déroulée à l'intérieur d'un cadre de gestion de projet qui a permis de mieux documenter la création et la mise à jour du système et d'y ajouter de la rigueur. Le SRR a été activé en mars 2011, et une série de dates limites ont été fixées en octobre 2012 pour la collecte de rapports électroniques finaux sur les huit dernières années d'investissement dans la recherche en santé. Puisque le SRR est maintenant opérationnel, un cadre de gestion de projet n'est plus de mise.

Depuis la conception et l'activation du SRR, les IRSC ont apporté des changements importants à leur structure organisationnelle, à leur haute direction, au financement des subventions et aux rapports sur les subventions. Tandis que de nouvelles personnes interviennent dans la conception et la gestion du SRR, on propose des changements importants qui auront pour effet de modifier significativement les versions futures du rapport électronique final et de perturber la répartition des rapports électroniques finaux individuels dans des cohortes particulières. Les changements aux questions et aux structures de données produiront des versions radicalement différentes du rapport électronique final et des données recueillies; de plus, pour pouvoir comparer les versions, il faudra tenir à jour de nombreuses versions et faire de nombreuses distinctions dans les rapports (voir aussi l'observation 8b concernant le dictionnaire des données du SRR).

Risque et répercussions

En l'absence d'un processus officiel de gestion du changement où les décisions sont documentées, des changements au SRR pourront être apportés sans que la justification ne soit documentée.^{Note en bas de page 5}

Les changements aux questions ou à la structure des données ont pour effet de créer des différences dans les versions du rapport électronique final, les années de collecte des données et les cohortes de chercheurs, ce qui se répercute sur l'efficience de la collecte, du nettoyage et du stockage des données, et limite considérablement les possibilités de comparaison entre les années et les possibilités de financement.

4a) Le cadre de gestion de projet actuel du SRR devrait évoluer vers une structure de gestion/gouvernance permanente tout aussi rigoureuse, assurant la documentation des motifs des décisions et la préservation de la mémoire organisationnelle.

4a) Responsabilité
Chef des affaires scientifiques

Action
D'accord.

Depuis que le SRR est passé de projet de TI à système opérationnel, tous les changements qui y ont été effectués, et qui y seront effectués à l'avenir sont soumis à un processus officiel de demande de changement, qui documente la justification des changements.

Une structure de gouvernance du SRR sera officiellement établie en tant que sous-comité du comité élargi de la haute direction (CEHD).

Date d'achèvement prévue
Septembre 2014

4b) Le processus de modification du SRR devrait comporter les mesures suivantes pour maximiser la comparabilité des cohortes de rapports :

respecter des périodes de « constance » de plusieurs années, où tout changement important à la structure des données et aux questions sera gardé en réserve;
établir et documenter un processus de gestion des différences entre les possibilités de financement, les années de financement, les fins de subvention et les cohortes de rapport.

4b) Responsabilité
Directeur, Rendement et Responsabilisation

Action
Un ensemble de données de base sera établi afin que les données du SRR restent comparables au fil du temps.

Date d'achèvement prévue
Septembre 2014

5. Il n'existe pas de processus de demande de données du SRR, et il reste à déterminer qui aura accès aux données.

La première date limite pour les rapports du SRR était en octobre 2012, et les IRSC ont accumulé près de 2 000 rapports électroniques finaux depuis ce temps. Malgré cette quantité de rapports, les demandes d'accès aux données, et les possibilités de les utiliser, ont été limitées par l'ignorance des moyens d'y accéder et le manque de clarté de ces moyens. Même si le fait de ne pas diffuser les données ne pose pas de risque comme tel, l'existence d'une telle mine d'information pourrait fournir à de nombreuses personnes l'occasion de découvrir des problèmes, des améliorations à apporter, des résultats très importants ou des synergies potentielles, ou encore des utilisations inattendues pour les données. Cette information pourrait également être utile pour guider le processus actuel de refonte du rapport électronique final, abordé aux observations 1 et 4.

Il n'existe pas de lignes directrices pour déterminer qui peut avoir accès aux rapports individuels ou à des groupes de données recueillies par le SRR. L'accès aux rapports individuels et à des groupes de données par les employés des IRSC ne devrait pas poser de problème, mais on ne sait trop si les instituts, les établissements de recherche, d'autres chercheurs et le grand public auront accès aux données, ni quelle forme d'accès ils auront. Bien que plusieurs politiques et avis transmis aux chercheurs concernant le SRR laissent entendre que l'information pourra être diffusée au public, cette possibilité n'est pas mentionnée explicitement. Les demandes d'information des chercheurs et les résultats d'un sondage systématique (voir annexe B) ont révélé les craintes des chercheurs au sujet de l'accessibilité de renseignements exclusifs (p. ex. certains résultats de recherche comportent des éléments de propriété intellectuelle partagés ou mis au point par l'industrie) ou de résultats de recherche non encore publiés par le public, le gouvernement ou des pairs, et au sujet de l'impact que l'accès à cette information pourrait avoir sur leur carrière. En outre, l'importante quantité de données texte en format ouvert recueillie avec chaque rapport électronique final n'est soumise à aucune restriction ou révision, ce qui fait courir le risque que des renseignements personnels ou confidentiels gênants soient diffusés au public (voir recommandation 1d).

Bien que la protection des renseignements personnels ou confidentiels suscite des craintes justifiables, il existe de nombreuses utilisations potentielles pour les données du SRR dans les milieux scientifiques ou gouvernementaux, dont pourraient profiter divers intervenants de l'extérieur des IRSC. La publication de ces données permettrait aussi aux IRSC de remplir leur devoir de transparence et leurs obligations redditionnelles sur l'utilisation des fonds publics, et offrirait une source d'information sur les résultats de la recherche au grand public. Le SRR stocke actuellement une série de réponses de chercheurs ayant déjà soumis leur rapport électronique final, et ces chercheurs ne sont pas nécessairement motivés à les réviser. Il faudrait une stratégie différente pour ces rapports afin d'atténuer le risque associé à la diffusion publique (le cas échéant), étant donné que ces chercheurs n'ont pas été informés de cette possibilité avant d'avoir soumis leur rapport.

Risque et répercussions

Le fait qu'on ne sache pas clairement qui peut accéder aux données du SRR entrave l'accès, la diffusion et la redistribution des résultats, et empêche les chercheurs d'adapter leurs réponses à un auditoire particulier ou de limiter l'information potentiellement problématique. Si les chercheurs commencent à s'inquiéter de l'accessibilité des résultats du SRR et de l'absence de filtre, ils pourront fournir des réponses incomplètes ou inexactes.

Bien que les chercheurs aient donné le feu vert à l'utilisation de l'information contenue dans le SRR, les documents de consentement ne semblent pas indiquer clairement « cette information sera rendue publique ». Le sondage de la Vérification interne auprès des chercheurs a révélé qu'au moins certains d'entre eux seraient surpris d'une telle tournure, et que plusieurs auraient fourni des réponses différentes s'ils avaient su qui était l'auditoire potentiel. La publication de l'information du SRR (le cas échéant) pourrait soulever une controverse parmi certains chercheurs. Même si, techniquement, les IRSC ont raison de dire que les chercheurs ont été informés de la possibilité que leurs données soient communiquées au public ou à d'autres groupes, la diffusion de l'information sans un consentement explicite risque d'aliéner un des groupes d'intervenants externes les plus importants pour les IRSC.

Cela dit, en ne publiant pas les données, on renonce à une multitude d'utilisations possibles pour cette mine d'information.

5a) Il faudrait établir un processus et des lignes directrices applicables aux demandes de données du SRR et à la publication des données, qui couvriraient des questions comme la protection, le format, la confidentialité et la redistribution des données.

Ces lignes directrices devraient aborder :

l'accès par le personnel
l'accès par des personnes autres que les membres du personnel ^{Note en bas de page 6}
l'accès aux rapports des chercheurs
l'accès aux réponses en format ouvert
les restrictions applicables à la redistribution, s'il y a lieu

5b) Responsabilité
Directeur, Rendement et Responsabilisation

Action
D'accord.

L'examen de la protection des renseignements personnels abordé au point 5a) comportera une analyse du consentement des chercheurs, dont les résultats seront communiqués comme recommandé.

Date d'achèvement prévue

Décembre 2015

5b) Tout dépendant des mesures prises en réponse à la recommandation 5a, il faudrait faire une analyse de ce qui constitue le consentement d'un chercheur, et en communiquer adéquatement les résultats.

5b) Responsabilité
Directeur, Rendement et Responsabilisation

Action
D'accord.

L'examen de la protection des renseignements personnels abordé au point 5a) comportera une analyse du consentement des chercheurs, dont les résultats seront communiqués comme recommandé.

Date d'achèvement prévue
Décembre 2015

6. Il n'existe pas de processus ou de conseils à suivre par les chercheurs pour fournir des données exactes et de grande qualité dans leurs réponses.

Les données recueillies par le SRR sont fournies par les chercheurs eux-mêmes et se répartissent en plusieurs types (numériques, alphabétiques, texte en format ouvert et fermé). Il n'existe aucun système automatisé pour vérifier l'exactitude des réponses sous forme de données numériques et en format ouvert, et aucun examen n'est effectué pour garantir que les données sont exactes, complètes et pertinentes. Un tel examen (en particulier pour les réponses sous forme de données texte en format ouvert) représenterait un fardeau important estimé à 0,5–1 ETP par année à l'interne, sans garantie d'amélioration de la qualité des données. De plus, des chercheurs ont admis dans un sondage (voir annexe B) que la longueur du rapport électronique final et les erreurs techniques dans le système les avaient incités à fournir les réponses les plus rapides ou faciles, plutôt que les meilleures ou les plus exactes. Ce problème est accentué par le manque de formation, de mesures incitatives et d'exemples de réponse pour s'assurer que les données correspondent aux besoins des IRSC.

Risque et répercussions

En l'absence de mécanisme d'orientation, d'aide ou de contrôle de la qualité, les données recueillies par les IRSC risquent d'être inexactes, et les chercheurs risquent de fournir des réponses sous-optimales.

6a) Il faudrait guider les chercheurs pour les aider à fournir des réponses de grande qualité^{Note en bas de page 7}

6a) Responsabilité
Chef des affaires scientifiques

Action
D'accord.

Le groupe de travail du SRR préparera les réponses à une liste de questions fréquemment posées par les chercheurs, afin de les guider dans la formulation de réponses de grande qualité aux questions du SRR. Le Guide des subventions et bourses sera mis à jour pour que la politique sur les rapports de fin de subvention fasse mention de la nécessité de fournir des réponses de grande qualité.

6b) Lorsqu'il est possible de le faire, on devrait intégrer au système des contrôles automatisés de la qualité des réponses sous forme de données numériques en format fermé, et permettre au système de corriger ou de signaler les réponses posant problème.

6b) Responsabilité
Chef des affaires scientifiques

Action
D'accord.

Le groupe de la gestion du changement réexaminera les procédures opérationnelles du SRR, en consultant le groupe des systèmes au besoin. Ce groupe présentera une analyse et un plan au groupe de travail du SRR, aux fins de discussion et d'approbation.

Date d'achèvement prévue
Avril 2015

7. Il n'existe pas de processus systématique pour recueillir la rétroaction des employés, des chercheurs et d'autres intervenants sur les définitions et les questions contenues dans le SRR et les données amassées par le système.

Le SRR a été conçu à partir d'un vaste processus de consultation auprès d'intervenants internes et externes. Après l'inauguration du système, au moment de remplir leur rapport électronique final, les chercheurs ont reçu une adresse courriel pour les « demandes d'information concernant le SRR », à utiliser pour obtenir des précisions sur n'importe quel aspect du système. On s'en sert maintenant comme adresse universelle pour échanger avec les chercheurs sur différents sujets, y compris les problèmes techniques, les définitions et l'appréciation générale du système. Les demandes d'information sont divisées entre les questions techniques et opérationnelles et sont prises en charge par deux spécialistes différents.

Des chercheurs frustrés ont aussi transmis leurs commentaires sur le système (généralement sous forme de critiques) directement au président ou à la vice-présidente à la Recherche. Un sondage systématique auprès des chercheurs ayant rempli un rapport électronique final laisse présumer que ces critiques viennent d'une minorité de chercheurs; la plupart n'ont pas trouvé le système difficile à utiliser.

Risque et répercussions

En l'absence d'un processus en bonne et due forme pour recueillir la rétroaction des chercheurs sur le SRR, l'inventaire des difficultés techniques, des définitions problématiques et d'autres commentaires des intervenants externes ne sera pas effectué de manière systématique. L'occasion de cerner et de surveiller systématiquement les améliorations au système sera perdue.

De plus, en l'absence d'un mécanisme de rétroaction adéquat, il est probable que les chercheurs continuent de s'adresser directement à la haute direction et au président, ce qui risque de donner une image déformée du SRR.

7a) Il faudrait concevoir une méthode de collecte systématique et rapide de la rétroaction des chercheurs sur le SRR. Ce processus de rétroaction externe devrait permettre aux IRSC de cerner les problèmes ponctuels du système ainsi que les problèmes à plus long terme qui pourraient guider les futures mises à jour du système. La rétroaction devrait être sollicitée peu après la réception du rapport électronique final.^{Note en bas de page 8}

7a) Responsabilité
Chef des affaires scientifiques

Action
D'accord.

On mettra au point une approche systématique pour recueillir la rétroaction des intervenants internes et externes et y répondre.

Date d'achèvement prévue
Décembre 2015

Dans le cadre du processus d'élaboration du SRR, les parties internes pouvaient donner leur avis sur les questions et définitions utilisées et suggérer des précisions. Cependant, depuis que le système est opérationnel, et en particulier depuis qu'il a commencé à amasser des données réelles, aucun processus de consultation d'une rigueur comparable n'a eu lieu pour déterminer de manière systématique si les utilisateurs des données comprennent les définitions utilisées, les données recueillies et leurs limites. Il existe bien une adresse courriel pour les demandes d'information relatives au SRR, mais elle ne sert pas à recueillir les commentaires des employés.

Risque et répercussions

En l'absence d'un processus systématique pour vérifier si les employés des IRSC comprennent les limites du SRR, la compréhension ou l'interprétation des données par les employés risque de devenir systématiquement erronée.

7b) Il faudrait établir une méthode de collecte systématique de la rétroaction des employés des IRSC sur les définitions, la structure des données et les limites du SRR.^{Note en bas de page 9}

7b) Responsabilité
Chef des affaires scientifiques

Action
D'accord.

On donnera suite à ce point en même temps que le point 7a).

Date d'achèvement prévue
Décembre 2015

8. L'architecture technologique et l'architecture d'information du SRR n'ont pas été documentées.

L'architecture intégrée est nécessaire pour optimiser, à la grandeur de l'organisme, les processus (manuels et automatisations) souvent dispersés dont on a hérité, pour en faire un environnement intégré à la fois réceptif au changement et utile à la mise en œuvre de la stratégie opérationnelle. Au confluent de la technologie de l'information et de la gestion de l'information, l'architecture d'information est nécessaire pour s'assurer que la technologie de l'information fournit les données voulues avec exactitude et rapidité dans un format utile. Les risques et avantages de l'architecture d'information ne sont pas uniques au SRR, mais le système est utilisé comme projet pilote et comme système source qui englobera éventuellement toute l'architecture de TI et de GI des IRSC.

En raison de mouvements de personnel et de priorités concurrentes, le livre de codes du SRR (aussi appelé dictionnaire des données) n'est pas encore finalisé. Élément essentiel de toute base de données, le livre-code fournit de l'information cruciale sur la signification des valeurs attribuées aux données dans la base de données, ainsi que les métadonnées, les valeurs par défaut, la programmation, l'information sur le rendement/paramètres, les rôles et privilèges associés aux comptes et d'autres renseignements généraux sur la base de données et les données en général. Il est particulièrement utile lorsque les données sont compliquées ou en cas de mouvements de personnel. Au moment de la préparation du présent rapport, le livre-code du SRR était examiné dans le cadre de l'ensemble du projet d'architecture intégrée des IRSC.

Risque et répercussions

Sans architecture d'information, le SRR risque de produire des rapports fragmentés et de fonctionner de manière moins efficiente, et les mises à jour risquent de devenir plus compliquées et dispendieuses, sans pour autant répondre aux besoins des IRSC en général ou des principaux intervenants du SRR.

En omettant de mettre à jour le livre-code, on s'assure pratiquement de perdre une partie de la mémoire organisationnelle et de produire des rapports limités. L'absence d'un registre aussi important des changements apportés avec le temps engendre une dépendance à l'égard de la mémoire organisationnelle; le personnel chargé d'extraire les données doit avoir une connaissance intime des données et mettre à jour manuellement tous les extraits, ce qui ajoute au délai et au coût de traitement des demandes de données.

8a) L'architecte de l'information des IRSC devrait continuer de documenter l'architecture technologique et l'architecture d'information du SRR.

8a) Responsabilité
Dirigeante principale de l'information

Action
D'accord.

Les IRSC ont mis au point une approche organisationnelle à l'égard de l'architecture intégrée en décembre 2013. Le processus de fin de subvention sera donc abordé selon cette approche.

Date d'achèvement prévue
Mars 2015

8b) Le dictionnaire des données du SRR devrait être mis et tenu à jour dans le cadre du projet d'architecture d'information.

8b) Responsabilité
Dirigeante principale de l'information

Action
D'accord.

Le groupe des systèmes (TI) a mis à jour le dictionnaire des données au quatrième trimestre de 2013–2014, et a créé un processus et/ou un calendrier pour tenir le dictionnaire à jour.

Date d'achèvement prévue
Achevé

Annexe A – Critères et conclusions

Les définitions ci-dessous sont utilisées dans la vérification pour évaluer le cadre de contrôle interne.

Conclusion par rapport aux critères	Définition des opinions
Bon contrôle	Bonne gestion, aucune faiblesse importante relevée ou améliorations mineures seulement.
Problèmes modestes	Le contrôle comporte des lacunes, mais le risque couru est limité, car la probabilité ou la conséquence du risque est faible.
Importantes améliorations requises	Le contrôle comporte des lacunes qui, individuellement ou cumulativement, présentent un risque potentiel important.

Conclusion générale

La conclusion de la mission de consultation est que le Système de rapport sur la recherche nécessite des améliorations importantes.

Critères	Observation	Conclusions
1. Le SRR comporte un processus de gouvernance clair et des pouvoirs décisionnels définis.	Observation 1a)	Importantes améliorations requises
2. Un modèle d'accès aux données a été défini.	Observations 1d), 5a) et 5b)	Importantes améliorations requises
3. Le SRR recueille de l'information différente de celle des autres sondages des IRSC.	Observation 1e)	Problèmes modestes
4. Les données sont soumises à un contrôle de la qualité avant d'être publiées.	Observations 1b), 1c), 6a) et 6b)	Importantes améliorations requises
5. Les exigences en matière de rapports associées aux cadres de mesures du rendement des IRSC sont couvertes par les questions du SRR.	Observations 1f), 1g) et 3a)	Problèmes modestes
6. Le SRR est pourvu d'un mécanisme de collecte de la rétroaction des intervenants internes sur le système et les questions.	Observation 7b)	Problèmes modestes
7. Le SRR est pourvu d'un mécanisme de collecte de la rétroaction des intervenants externes sur le système et les questions.	Observation 7a)	Problèmes modestes
8. Il existe un mécanisme pour modifier le SRR en fonction de la rétroaction reçue sur le système et les questions.	Observations 4a), 4b) et 8b)	Problèmes modestes
9. Il existe un processus pour surveiller les dates limites et la réception des rapports individuels.	Recommandations mineures, lettre adressée à la direction	Bon contrôle
10. Il existe un processus pour demander des données du SRR.	Observation 5a)	Importantes améliorations requises
11. Les exigences relatives aux rapports sont documentées.	Reporté à 1, 2 et 5	S.O.
12. L'architecture technologique et l'architecture d'information au service de la production des rapports sont documentées.	Observation 8a)	Problèmes modestes
13. Le SRR a été soumis aux examens de sécurité appropriés, et les recommandations qui en ont découlé ont été appliquées.	Observation 2a)	Importantes améliorations requises

Annexe B – Résultats du sondage

Caractéristiques de l'échantillon

Dans le cadre du projet, la Vérification interne a sondé 817 chercheurs ayant rempli au moins un rapport électronique final, parmi lesquels 294 ont soumis une réponse complète (taux de réponse = 36 %). Un résumé des résultats figure ci-dessous. À moins d'indication contraire, les différences entre les thèmes de recherche étaient négligeables.

Thème de recherche	%
Recherche biomédicale	70
Recherche clinique	8
Recherche sur les systèmes de santé	8
Recherche sur les déterminants sociaux, culturels ou environnementaux de la santé	12
Indécis/Ne sais pas	1

Aspects techniques

	Le rapport électronique final était facile à utiliser	Le soutien technique reçu a été utile	Le soutien reçu pour les aspects liés au contenu a été utile
Entièrement d'accord	13 %	3 %	2 %
D'accord	52 %	9 %	6 %
En désaccord	24 %	3 %	4 %
Entièrement en désaccord	10 %	3 %	3 %
Sans objet	1 %	82 %	85 %

Temps requis pour remplir le rapport électronique final

Typiquement, le rapport électronique final pouvait être rempli en deux heures, mais une longue liste de cas aberrants a augmenté le temps moyen jusqu'à neuf heures.

Temps requis pour remplir (heures)	# de rechercheurs
1	16
2	69
3	39
4	29
5	29
6	15
7	1
8	16
10	22
12	8
15	12
16	3
20	7
24	5
25	3
30	4
35	3
40	8
48	1
50	2
80	1
120	1

Diffusion du rapport électronique final

La plupart des chercheurs ne sont pas intéressés par le contenu du rapport électronique final des autres chercheurs, et s'inquiètent peu de communiquer des résultats à d'autres chercheurs, des établissements de recherche ou le grand public. Parmi les sections du rapport électronique final, les résultats de recherche des autres chercheurs ont suscité le plus d'intérêt; c'est-à-dire qu'un peu moins de la moitié des chercheurs ont exprimé un certain intérêt (toutefois, plusieurs ont indiqué qu'ils étaient plus susceptibles de consulter directement la littérature revue par des pairs). Les chercheurs ont montré le moins d'intérêt pour l'information sur le financement, la participation des intervenants et les groupes informés des résultats des autres chercheurs.

Autres rapports finaux

Moins de 10 % des répondants ont déclaré avoir dû remplir le même rapport ou un rapport similaire pour la même subvention; une analyse des résultats a révélé que les chercheurs parlaient surtout de rapports associés à d'autres subventions, et non à la même subvention. À la lumière des résultats du sondage, la frustration des chercheurs concernant les rapports à remplir deux fois ne semble pas un problème systématique.

Réponses sous forme de texte en format ouvert

227 répondants ont fourni des réponses sous forme de texte en format ouvert à au moins une des trois questions suivantes :

Selon vous, quelles améliorations techniques ou ajouts devrions-nous envisager pour les futures éditions du rapport électronique final?
Qu'auriez-vous d'autre à dire sur l'accès au rapport électronique final?
Qu'auriez-vous d'autre à dire/suggérer sur le rapport électronique final?

Les réponses ont été classifiées en fonction de leur contenu, et non des questions auxquelles elles se rattachaient. Quatre grandes catégories ont été établies : accès, critiques, caractéristiques du rapport et problèmes techniques. Toutes les réponses se sont retrouvées dans au moins une catégorie.

Accès aux résultats

Les thèmes les plus pertinents ressortis en lien avec l'accès aux résultats ont été que les rapports devraient être entièrement accessibles, mais qu'ils ont besoin de contexte. Des répondants ont exprimé des préoccupations quant à la capacité des auditoires (grand public, élus, bureaucrates) d'interpréter les résultats, et quant à la possibilité que les rapports électroniques finaux remplacent les articles dans les revues à comité de lecture, ou qu'ils aient un impact sur la propriété intellectuelle. Un nombre modeste de répondants (uniquement des chercheurs biomédicaux) ont dit craindre la publicité que pourrait attirer leur recherche sur des animaux. Certains répondants ont dit vouloir être informés de l'auditoire potentiel avant de soumettre leur rapport électronique final, notamment pour pouvoir adapter leurs réponses à cet auditoire. D'autres répondants ont exprimé leur désintérêt à l'égard des rapports électroniques finaux des autres, généralement parce qu'ils répètent ce qui se trouve dans la littérature soumise à l'évaluation par les pairs. Par ailleurs, une minorité de répondants ont dit craindre que les résultats soient utilisés pour remettre en question le financement en cours ou futur.

Critiques à l'égard du rapport électronique final

Beaucoup de commentaires négatifs ont été exprimés sur divers aspects du rapport électronique final. La critique de loin la plus fréquente a été que le rapport était trop long. D'autres réserves ont été exprimées par rapport à la répétitivité et à l'imprécision des questions; à la raison d'être et à l'utilité du SRR (considéré par certains comme un exercice purement bureaucratique ou politique); et à la piètre qualité des instructions fournies par les IRSC. Certains répondants ont dit croire que leur rapport électronique final ne serait ni lu, ni utilisé, et qu'il ne pourrait être interprété. Une minorité de répondants ont déclaré que le rapport n'avait pas couvert leurs résultats de recherche.

Caractéristiques des rapports électroniques finaux

Dans l'ensemble, le commentaire le plus commun au sujet du rapport électronique final a porté sur la nécessité de l'adapter aux différents types de subventions. En particulier, certains répondants ont indiqué que le rapport était trop axé sur l'application des connaissances, et d'autres ont déclaré être désavantagés par leur spécialisation en recherche fondamentale. Un faible nombre de répondants a soutenu l'existence du rapport électronique final pour sa contribution à la reddition de comptes et à l'accessibilité des résultats de la recherche pour le public.

Problèmes techniques

La plainte de nature technique la plus fréquente a porté sur la méthode singulière et laborieuse d'entrer les données, principalement les articles publiés. Des répondants ont suggéré d'utiliser les outils de citation (c.-à-d. identificateurs d'objet numérique ou numéros d'identification Pubmed) ou les systèmes (CV commun des IRSC) existants pour accélérer l'entrée de données. Certains ont déploré que le sondage visant à recueillir leur rétroaction soit venu trop longtemps après leur rapport de fin de subvention.

Notes en bas de page

Notes en bas de page 1

Il est à noter que pour réaliser les objectifs de ce projet, le personnel de la Vérification interne a participé à ce groupe de travail, et ses observations sont notées dans tout le rapport.

Notes en bas de page 2

Les changements apportés aux questions ouvertes devraient être indiqués dans la publication de la version modifiée du rapport électronique final et dans les discussions du CEHD et d'autres comités de gestion sur les changements.

Notes en bas de page 3

Toute exemption de l'obligation de produire un rapport final doit s'appuyer sur un motif approuvé par la vice-présidente associée, Recherche et application des connaissances, et le directeur, Rendement et responsabilisation. Les motifs d'exemption couvrent la nature des activités financées (p. ex. voyage pour participer à une conférence), le montant extrêmement faible de la subvention, ou l'obligation de produire un autre type de rapport électronique final (dans le cas de programmes de financement conjoint).

Notes en bas de page 4

Le présent examen porte sur le SRR, mais puisque le SRR est une composante de RechercheNet, sa sécurité ne peut être évaluée que dans le cadre de la sécurité globale de RechercheNet.

Notes en bas de page 5

Même si le besoin de documenter les décisions prises peut sembler peu important, les efforts de l'organe de gouvernance actuel pour discuter des modifications apportées au rapport électronique final ont été entravés par le manque d'information contextuelle et justificative entourant les questions et la structure des données actuelles.

Notes en bas de page 6

Si on décide de rendre les données du SRR accessibles à des personnes autres que les employés des IRSC, les chercheurs devraient en être explicitement informés au début de la période de financement et dans le cadre du processus de rappel, lorsque le SRR doit être rempli. Si on décide de diffuser les rapports actuellement stockés, il faudrait adopter une stratégie d'atténuation des risques séparée, dont voici des exemples :

Bloquer la diffusion des rapports existants
Soumettre chaque rapport électronique final à l'examen d'un employé des IRSC
Faire revoir et signer chaque rapport électronique final par son auteur

Notes en bas de page 7

Le processus de rétroaction abordé au point 7a) pourrait servir à mieux guider les chercheurs.

Notes en bas de page 8

Le processus de rétroaction pourrait aussi servir à examiner et à améliorer la façon dont les chercheurs sont guidés, comme indiqué au point 6a).

Notes en bas de page 9

Il incombe au responsable du système de déterminer si ce processus de rétroaction interne devrait servir à cerner les besoins en données ou les problèmes.

Date de modification :: 2014-11-04

Sélection de la langue

Recherche et menus

Recherche

Mission de consultation de la Vérification interne : Système de rapport sur la recherche (SRR)

Table des matières

Résumé

Introduction

Les Instituts de recherche en santé du Canada

Système de rapport sur la recherche

Risques examinés

Objectif

Portée

Critères

Opinion générale

Énoncé de conformité

Divulgation d'une atteinte à l'indépendance et à l'objectivité

Résumé des forces

Résumé des possibilités d'amélioration

Rapport détaillé

Méthodologie et critères

Observations, recommandations et plan d'action de la direction

Annexe A – Critères et conclusions

Conclusion générale

Annexe B – Résultats du sondage

Caractéristiques de l'échantillon

Aspects techniques

Temps requis pour remplir le rapport électronique final

Figure 1 : Temps requis pour remplir le rapport électronique final – Au total (compte)

Diffusion du rapport électronique final

Autres rapports finaux

Réponses sous forme de texte en format ouvert

Accès aux résultats

Critiques à l'égard du rapport électronique final

Caractéristiques des rapports électroniques finaux

Problèmes techniques

Notes en bas de page

Temps requis pour remplir (heures)	# de rechercheurs
1	16
2	69
3	39
4	29
5	29
6	15
7	1
8	16
10	22
12	8
15	12
16	3
20	7
24	5
25	3
30	4
35	3
40	8
48	1
50	2
80	1
120	1

Temps requis pour remplir (heures)	# de rechercheurs
1	16
2	69
3	39
4	29
5	29
6	15
7	1
8	16
10	22
12	8
15	12
16	3
20	7
24	5
25	3
30	4
35	3
40	8
48	1
50	2
80	1
120	1

Temps requis pour remplir (heures)	# de rechercheurs
1	16
2	69
3	39
4	29
5	29
6	15
7	1
8	16
10	22
12	8
15	12
16	3
20	7
24	5
25	3
30	4
35	3
40	8
48	1
50	2
80	1
120	1