Archivé - Audit du Rapport ministériel sur le rendement de 2012-2013

Avril 2014

Contenu archivé

L'information dont il est indiqué qu'elle est archivée est fournie à des fins de référence, de recherche ou de tenue de documents. Elle n'est pas assujettie aux normes Web du gouvernement du Canada et elle n'a pas été modifiée ou mise à jour depuis son archivage. Pour obtenir cette information dans un autre format, veuillez communiquer avec nous.

1.0 Introduction

La Politique sur la structure de la gestion, des ressources et des résultats (Politique sur la SGRR) du Conseil du Trésor réitère l'engagement du gouvernement fédéral à renforcer sa façon de gérer les dépenses publiques et d'en rendre compte. Étant donné que la prise de décisions, en particulier au gouvernement fédéral, est éclairée par un certain nombre de facteurs complexes, la Politique sur la SGRR vise à assurer une compréhension commune de la nature des programmes. La politique définit les buts de ces programmes ainsi que les meilleures mesures pour en évaluer la réussite et les résultats.

L'Agence des services frontaliers du Canada (l'ASFC ou l'Agence) adopte les concepts de la SGRR et a établi une architecture d'alignement des programmes (AAP) et un cadre de mesure du rendement (CMR) comme structure de base pour le Rapport sur les plans et les priorités (RPP) et le Rapport ministériel sur le rendement (RMR). L'AAP et le CMR fournissent des renseignements objectifs qui servent à aider l'Agence dans l'affectation et la réaffectation des ressources nécessaires afin d'obtenir des résultats optimaux pour les Canadiens.

Le Rapport sur les plans et les prioritésNote de bas de page 1 (RPP) comporte les plans de dépenses respectifs de chaque ministère et organisme (à l'exception des sociétés d'État). Il fournit des renseignements plus détaillés sur une période de trois ans concernant les principales priorités de l'organisation selon son ou ses résultats stratégiques, ses programmes et ses résultats prévus ou escomptés, tels qu'ils sont définis dans l'AAP et le CMR. Le RPP est déposé au Parlement au plus tard le 31 mars.

Le Rapport ministériel sur le rendementNote de bas de page 2 (RMR) désigne un compte rendu que présentent les ministères et les organismes concernant les résultats qu'ils ont atteints par rapport aux attentes énoncées dans le RPP. Le RMR, qui porte sur le plus récent exercice achevé, est déposé au Parlement à l'automne.

Le RPP et le RMR sont déposés par le président du Conseil du Trésor au nom des ministres responsables des ministères et organismes qui dépendent des crédits votés et qui sont désignés aux annexes I, I.1 et II de la Loi sur la gestion des finances publiques.

2.0 Importance de l'audit

Le RPP et le RMR jouent un rôle important dans les processus de planification et de gestion des ressources du gouvernement du CanadaNote de bas de page 3. Ces rapports fournissent un mécanisme par lequel les ministres rendent compte au Parlement. Chaque ministre est responsable des rapports qu'il produit et peut être tenu de répondre à des questions sur le contenu ou la présentation.

Le RMR annuel est un document de responsabilisation externe et interne. Le RMR est un mécanisme qui permet à l'Agence d'évaluer son rendement au cours de l'exercice précédent relatif à la prestation de ses résultats stratégiques, de ses résultats attendus et des cibles de rendement, conformément aux engagements énoncés dans le RPP. Les résultats des programmes de l'Agence sont évalués en fonction d'indicateurs de rendement sélectionnés, qui sont énoncés dans le CMR. Ainsi, si les indicateurs de rendement ne sont pas appropriés et si les résultats présentés dans le RMR annuel ne reflètent pas les données recueillies par l'Agence, le RMR risque de ne pas appuyer la haute direction de l'ASFC dans sa prise de décisions et sa responsabilisation relative aux programmes et aux activités de l'Agence. 

L'audit avait pour objectif de donner l'assurance que l'Agence possède les processus et les contrôles pour s'assurer que les indicateurs de rendement sont bien sélectionnés et que les résultats de rendement présentés dans le RMR de 2012-2013 reflètent les données recueillies par l'Agence.

3.0 Énoncé de conformité

Le présent audit est conforme aux Normes relatives à la vérification interne au sein du gouvernement du Canada, comme en témoignent les résultats du programme d'assurance et d'amélioration de la qualité. La stratégie et les méthodes d'audit respectent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institut des auditeurs internes et les Normes relatives à la vérification interne au sein du gouvernement du Canada, comme le veut la Politique sur la vérification interne du Conseil du Trésor.

4.0 Opinion de l'audit

L'Agence avait des processus officiel et officieux pour appuyer la sélection des indicateurs de rendement et la déclaration des résultats de rendement dans son RMR de 2012-2013. Cependant, l'audit a révélé des lacunes dans la conception des contrôles pour les deux processus, ce qui se traduit par un risque moyennement élevé d'exposition à l'Agence. 

5.0 Principales constatations

L'Agence ne possède pas de cadre de gouvernance des données énonçant les politiques, les rôles, les processus, les normes, les responsabilités, les mesures et les activités pour gérer les données à l'appui du processus du RMR.

L'Agence avait des processus officiels et officieux pour appuyer la sélection des indicateurs de rendement et la déclaration des résultats de rendement dans son RMR de 2012-2013. Cependant, aucun des processus n'était assez bien consigné par écrit pour faire en sorte que tous les intervenants comprennent bien les exigences, les rôles et les responsabilités, ainsi que les échéances pour l'examen et la remise en question des indicateurs sélectionnés dans le cadre de l'AAP/le CMR et des données produites pour le RMR de 2012-2013. De plus, le chef de la fonction d'évaluation de l'Agence n'a pas été consulté pour l'AAP et le CMR de 2012-2013 comme l'exigent les politiques du Conseil du Trésor sur la SGRR et l'évaluation. 

Les grands rôles, responsabilités et responsabilisation des directions générales des programmes, des opérations et des services intégrés de l'Agence en matière de mesure et de gestion du rendement ont été définis et consignés par écrit. Il faut toutefois fournir davantage de clarté et d'orientation aux intervenants clés à un niveau plus détaillé afin de réduire le risque de confusion et de chevauchement.

Le RMR de l'Agence de 2012-2013 ne comprend pas de données sur le rendement pour deux des 14 indicateurs de rendement. De plus, le Rapport n'avait pas d'indicateur pour mesurer le rendement de l'un de ses sept programmes (soit la Gestion du commerce et des revenus). L'audit a également révélé qu'il n'y a pas de procédure normalisée sur papier pour les 11 autres indicateurs de rendement du RMR. Les données du RMR de 2012-2013 ont été produites à l'aide de protocoles officieux, non consignés par écrit, pour extraire les données et faire des calculs manuels. Tous les résultats dans le RMR ont été examinés et remis en question de façon informelle par les directions générales des opérations, des programmes et des services intégrés.    

Étant donné qu'aucune procédure de production des données n'a été élaborée expressément pour le RMR, des indicateurs de rendement et des protocoles officieux ont été utilisés pour obtenir les données du RMR de 2012-2013, et l'équipe d'audit n'a pas réussi à répéter les processus de production des données pour reproduire l'information sur le rendement présentée dans le RMR de 2012-2013. Par conséquent, l'ASFC n'a pas réussi à prouver que les résultats de rendement présentés dans le RMR de 2012-2013 reflètent les données recueillies par l'Agence.

L'absence d'un cadre de gouvernance des données pour l'ensemble de l'organisation, de processus clairs pour la sélection des indicateurs et l'établissement de rapports sur le rendement, de procédures normalisées pour la production de données et la documentation de justification des données sur le rendement expose l'Agence au risque que les résultats dans le RMR soient insuffisants et inadéquats pour la prise de décisions, l'établissement des priorités, la production de rapports sur la responsabilisation et la comparabilité des données d'un exercice à l'autre.

6.0 Résumé des recommandations

L'audit a donné lieu à trois recommandations :  

  • Élaborer et mettre en œuvre un cadre de gouvernance de données d'entreprise pour favoriser la saisie, l'extraction et le suivi uniformes des données qui répondent aux besoins des rapports ministériels sur le rendement de l'Agence.
  • Définir et consigner par écrit les rôles, les responsabilités et les responsabilisations de tous les intervenants clés à l'appui des processus de sélection des indicateurs de rendement et d'établissement de rapports ministériels sur le rendement.
  • Coordonner l'élaboration de procédures de production des données, par ceux qui en sont responsables, pour tous les indicateurs de rendement inclus dans le Cadre de mesure du rendement; et consigner par écrit le processus de validation pour tous les résultats sur le rendement inclus dans le Rapport ministériel sur le rendement. 

7.0 Réponse de la direction

La Direction générale des services intégrés (DGSI) souscrit aux recommandations du présent audit. La DGSI collaborera avec les intervenants clés afin de renforcer l'orientation, la compréhension et les contrôles sur la gouvernance et les responsabilisations du Rapport sur les plans et les priorités (RPP) et du Rapport ministériel sur le rendement (RMR) ainsi que sur les processus et procédures opérationnels. Le travail qui sera accompli par la DGSI vise à assurer : 1) des prises de décisions éclairées en ce qui a trait au choix des indicateurs de rendement clés pour le RPP et le RMR et 2) l'intégrité des processus utilisés pour le RPP et le RMR. Ce plan d'action sera mis en place en collaboration avec les directions générales des programmes et des opérations. Ces éléments combinés constitueront la base d'un cadre de gouvernance solide qui servira à diriger et à gérer le travail relatif au RPP et au RMR au cours du prochain cycle. Le développement de la structure de gouvernance et de responsabilisation sera entrepris pour assurer l'observation de la politique de l'ASFC sur la gestion de l'information et lui servir de complément.

Les mesures comprendront le renforcement de la gouvernance du RPP et du RMR en misant sur le comité directeur des directeurs généraux de la SGRR, en mettant en œuvre la politique de l'ASFC sur la mesure du rendement, en documentant et en communiquant le processus opérationnel du RPP et du RMR et les procédures normales d'exploitation et les outils s'y rapportant. La mise en place de ces mesures sera complétée d'ici décembre 2014. 

8.0 Constatations de l'audit

8.1 Gouvernance des données

Critères d'audit :

  • L'Agence a des processus et des contrôles de gouvernance pour favoriser une production uniforme de données qui répondent aux besoins du RMR.
  • L'Agence a des contrôles de suivi adéquats pour assurer l'intégrité des données et pour prendre des mesures correctives au besoin.

8.1.1 Cadre de gouvernance des données

Selon le Data Governance Institute, «  la gouvernance des données est un système de droits et de responsabilités en matière de décision pour les processus liés à l'information, mis en œuvre selon des modèles faisant l'objet d'un accord qui indiquent qui peut prendre des mesures, quelles sont ces mesures, à l'aide de quelle information ces mesures peuvent être prises, et quand, dans quelles circonstances et à l'aide de quelles méthodes ces mesures peuvent être prises »Note de bas de page 4

De même, le groupe Gartner Research, une source de l'industrie faisant autorité, définit la gouvernance de l'information comme étant «  la précision des droits en matière de décision et d'un cadre de responsabilisation pour assurer un comportement approprié lors de l'évaluation, de la création, du stockage, de l'utilisation, de l'archivage et de l'élimination de l'information. Elle comprend les processus, les rôles et les politiques, les normes et les paramètres qui assurent une utilisation efficace et efficiente de l'information permettant à une organisation d'atteindre ses objectifs »Note de bas de page 5.

Un cadre de gouvernance des données devrait donc englober les politiques, les rôles, les processus, les normes, les responsabilités, les définitions, les paramètres et les activités nécessaires afin de créer une vision uniforme des données organisationnelles dans l'ensemble de l'organisation pour :

  • Favoriser la communication de renseignements;
  • Améliorer la qualité des données utilisées pour prendre des décisions et rehausser la fiabilité des données et le niveau de confiance en celles-ci;
  • Rendre l'information accessible, compréhensible et réutilisable;
  • Réduire les coûts et les chevauchements;
  • Améliorer la sécurité des données et la protection des renseignements personnelsNote de bas de page 6.

Dans une organisation comme l'ASFC, qui recueille de grandes quantités de données provenant de divers endroits pour les entrer dans de nombreux systèmes, le fait d'avoir un cadre de gouvernance des données est important afin de veiller à ce que des contrôles et des processus soient en place pour favoriser la saisie, l'extraction et le suivi uniformes de données qui répondent aux besoins des rapports ministériels sur le rendement de l'Agence.

L'audit a révélé que, reconnaissant le besoin d'une gouvernance des données, trois directions au sein de l'Agence ont exploré diverses initiatives relatives à la gouvernance des données. Cependant, il n'existe pas de cadre de gouvernance des données pour l'ensemble de l'organisation afin d'assurer une vision commune et une gestion uniforme des données recueillies dans l'ensemble de l'Agence, à l'appui du RMR.

En février 2013, la Direction de la gouvernance et de la responsabilité organisationnelles (DGRO) de la Direction générale des services intégrés a lancé le Projet de l'intégrité des données sur le rendement qui vise à améliorer l'intégrité des données de mesure du rendement dans l'ensemble de l'Agence. Ce projet poursuit l'élaboration d'un cadre d'assurance de la qualité des données (p. ex. examiner les sources de données et les méthodes de collecte des données, créer des contrôles d'intégrité dans le cycle de gestion des données, instituer une procédure d'évaluation de l'intégrité des données, etc.), afin d'uniformiser et de rationaliser l'approche globale de l'Agence relative à la gestion des données de mesure du rendement.

En avril 2013, la Direction de l'architecture d'entreprise et gestion de l'information, au sein de la Direction générale de l'information, des sciences et de la technologie, a produit un document stratégique provisoire, intitulé Gouvernance des données d'entreprise selon lequel il faudrait gérer les données comme un bien.

En juillet 2013, la Direction de l'évaluation stratégique des risques et de la modernisation (DESRM), au sein de la Direction générale des programmes, a présenté le document Aperçu stratégique au Comité exécutif. Selon le document, la collecte des données et l'accès aux données, l'intégrité et l'analyse des données, la description du rendement et la gouvernance représentent des défis stratégiques clés en ce qui a trait à la déclaration et à l'analyse du rendement de programmes. En novembre 2013, la DESRM a rédigé un plan d'action sur le rendement de programmes et l'a présenté au Comité des programmes et des politiques stratégiques en décembre 2013. Un comité directeur et un groupe de travail à l'appui ont été mis sur pied afin de surveiller l'élaboration et la mise en œuvre du plan d'action sur le rendement de programmes.

De plus, l'Agence a indiqué que «  l'intégrité de l'information » constitue l'un des 20 principaux risques de l'entreprise qui doivent être atténués jusqu'à un niveau acceptable pour l'Agence. Dans le Profil de risque de l'entreprise de 2013 de l'ASFC, l'Agence a défini un bon nombre de risques et les a regroupés en fonction de diverses vulnérabilités internes, y compris la qualité des données, la fonction de remise en question, la gestion de l'information, les systèmes ainsi que les politiques, les normes et la structure. 

Même si les initiatives susmentionnées constituent des éléments très importants d'un cadre de gouvernance des données, elles n'ont pas été entreprises dans un esprit de collaboration pour promouvoir l'élaboration d'une compréhension uniforme des rôles, des processus, des normes, des responsabilités, des définitions, des paramètres et des activités liées à la gestion des données dans l'ensemble de l'organisation, à l'appui du RMR.

8.1.2 Suivi de la qualité des données

Sans une compréhension uniforme des exigences en matière de gestion des données dans l'ensemble de l'Agence, l'ASFC n'a pas de contrôles clairement définis pour assurer la qualité et l'uniformité de ses données liées au RMR. Les intervenants clés ne surveillent donc pas la qualité des données de façon structurée et systématique aux fins du RMR. 

Les entrevues menées indiquent que le suivi de la qualité des données a été intégré de façon informelle aux divers processus de déclaration du rendement comme le RMR et le Sommaire du rendement de l'Agence (SRA). On convient généralement qu'il incombe à la Direction générale des opérations d'entrer les données dans les systèmes et qu'il lui revient donc de s'assurer que les données sont entrées correctement. Tous les secteurs de programmeNote de bas de page 7 soulignent qu'ils procèdent à une analyse des tendances et des écarts relativement aux données extraites des systèmes grâce à un processus informel d'examen et de remise en question. 

L'audit a révélé que les rôles, les responsabilités et la responsabilisation, vis-à-vis la propriété et la gestion des données, n'étaient pas clairement définis et bien consignés par écrit. De plus, il n'y a pas de politique ni de lignes directrices sur la surveillance de la qualité des données pour clarifier les processus, les rôles et les responsabilités afin d'assurer une certaine uniformité à l'égard de la surveillance de la qualité des données liées au RMR.  

Recommandation 1 :

La vice-présidente de la Direction générale des services intégrés devrait élaborer et mettre en œuvre un cadre de gouvernance des données d'entreprise pour favoriser la saisie, l'extraction et le suivi uniformes des données qui répondent aux besoins des rapports ministériels sur le rendement de l'Agence.

Réponse de la direction Date d'achèvement
La Direction générale des services intégrés (DGSI) souscrit à la recommandation. Un cadre de gouvernance sera développé pour assurer l'uniformité dans la saisie, l'extraction et la surveillance des données qui servent à produire le RPP et le RMR de l'Agence. septembre 2014

8.2 Sélection et déclaration des données sur le rendement

Critères d'audit :

  • L'Agence a des processus et des contrôles adéquats en place pour veiller à ce que les indicateurs et les mesures du rendement pour le RMR (harmonisé avec le RPP) soient bien élaborés, sélectionnés et examinés de façon périodique et mis à jour au besoin.
  • Les rôles, les responsabilités et la responsabilisation des intervenants clés ont été clairement définis et communiqués.
  • L'Agence a des processus d'examen, de remise en question et d'approbation appropriés pour valider la qualité des données sur le rendement déclarées dans le RMR.

8.2.1 Fondement de la structure de rapports

L'AAP constitue un répertoire structuré des programmes de l'Agence. Elle vise à regrouper les programmes de façon hiérarchique afin d'établir des liens logiques entre les programmes et la façon dont les résultats escomptés de chaque programme contribuent à atteindre le résultat stratégique et à réaliser le mandat de l'Agence. Le CMR établit les résultats escomptés pour chaque programme ainsi que les indicateurs de rendement à utiliser pour évaluer les résultats obtenus par rapport aux résultats escomptés. Il décrit essentiellement le processus systématique et continu de collecte et d'analyse de données pour produire un rapport sur le rendement en fonction de l'AAP. Le CMR comporte des indicateurs de rendement au niveau de programmes et au niveau inférieur de programmes. L'AAP et le CMR doivent être présentés chaque année au Conseil du Trésor à des fins d'examen et d'approbation.

L'Agence utilise l'AAP et le CMR approuvés, comme fondement de sa structure de rapports, pour annuellement planifier son RPP et, en fonction de celui-ci, établir le rapport sur le rendement obtenu au cours de l'exercice précédent dans son RMR. Selon le RMR de 2012-2013, l'Agence avait sept programmes structurés pour appuyer la réalisation de son mandat et son résultat stratégiqueNote de bas de page 8. L'ASFC a présenté un rapport sur le rendement de ses sept programmes en utilisant 14 indicateurs de rendement au niveau de programmes, élaborés et sélectionnés dans le cadre de l'AAP et du CMR de 2012-2013Note de bas de page 9.

L'audit a révélé que la DGRO avait consigné par écrit une partie du processus de l'AAP et du CMR grâce à son chemin critique. Cependant, le chemin critique est un document organisationnel et n'est pas suffisamment détaillé pour répondre aux besoins de tous les intervenants. Le processus permet aux secteurs de programme de l'ASFC de choisir des indicateurs annuels; mais aucun document général ne donne de directives ou d'orientation sur le processus, les rôles, les responsabilités, la responsabilisation et les échéances pour la sélection des indicateurs à tous les niveaux de l'Agence. L'audit a relevé une certaine confusion relative aux rôles, aux responsabilités, aux attentes et aux échéances importants. 

L'Agence produit trimestriellement un Sommaire du rendement de l'Agence (SRA) pour mesurer près de 60 indicateurs de rendement, à un niveau inférieur de programmes, dans le cadre de l'AAP et du CMR approuvés. Le SRA est un sommaire du rapport interne sur le rendement du programme et inclut une combinaison de graphiques, de données et d'analyses. L'audit a révélé que l'Agence utilise les mêmes données pour le SRA et le RMR, ce qui confère une certaine efficacité au processus.

Étant donné que l'AAP et le CMR sont très importants pour les rapports de responsabilisation externes (p. ex. RMR) et internes (p. ex. SRA) de l'Agence, le chef de la fonction d'évaluation de l'Agence devrait être consulté sur le cadre de mesure du rendement (CMR) intégré dans l'AAP de l'Agence, comme l'exigent les politiques du Conseil du Trésor sur la SGRR et sur l'évaluation.

L'audit a révélé que la DGRO n'a pas sollicité ou obtenu de conseils auprès du chef de la fonction d'évaluation de l'Agence pour l'AAP et le CMR de 2012-2013. Durant l'audit, la DGRO a appris cette exigence et a obtenu des conseils auprès du chef de la fonction d'évaluation pour l'AAP et le CMR de 2014-2015. La DGRO doit continuer à obtenir des conseils auprès de la fonction d'évaluation pour les prochains AAP/CMR.

8.2.2 Rôles, responsabilités et la responsabilisation

L'audit a révélé que les rôles, les responsabilités et la responsabilisationNote de bas de page 10 des directions générales des programmes, des opérations et des services intégrés pour la mesure et la gestion du rendement ont été définis et consignés par écrit. Il faut cependant offrir davantage de clarté et d'orientation aux intervenants clés à un niveau plus détaillé pour réduire le risque de confusion et de chevauchement.

Le Secrétariat du Conseil du Trésor du Canada (SCT) amorce le processus pour le RMR en envoyant une lettre d'appel. Au sein de l'Agence, le processus de RMR est dirigé et coordonné par la DGRO. Pour réaliser ce processus, la DGRO a établi des échéances clés et le processus d'approbation dans un document intitulé « Chemin critique ». Lors de la réception de la lettre d'appel du SCT, la DGRO demande aux secteurs de programme de produire les données sur le rendement requises pour le RMR. Dans la Direction générale des programmes, la demande est coordonnée par la DESRM.

Selon le secteur de programme, le destinataire de la lettre d'appel, la façon dont l'information est communiquée et la source des données diffèrent. Les entrevues et les revues effectuées ont révélé que certains secteurs de programme ont la capacité de produire leurs propres données de rendement pour le RMR, mais que d'autres secteurs n'ont pas cette capacité et doivent donc compter sur l'Unité des rapports sur le rendement (URR) de la Direction générale des opérations pour produire leurs données sur le rendement.

Selon le processus informel existant, tous les secteurs de programme examinent, remettent en question et approuvent les données sur le rendement de leurs programmes respectifs avant de les envoyer à la DGRO. Au sein de la Direction générale des programmes, les secteurs de programme doivent envoyer les données sur le rendement par l'entremise de la DESRM, qui examine et remet en question les données reçues sur le rendement. Lorsque tout semble correct, la DESRM envoie les données sur le rendement à la DGRO pour examen et remise en question avant l'inclusion des données dans le RMR.

Dans l'ensemble, les personnes interrogées sur les rôles de la DGRO et de la DESRM ont indiqué une certaine confusion à propos des rôles et des responsabilités de chaque direction et du chevauchement perçu des efforts entre les deux. Ce chevauchement ajoutait une étape supplémentaire aux processus de sélection des indicateurs de rendement et d'élaboration du RMR. Les secteurs de programme avaient donc moins de temps pour élaborer, extraire, examiner, remettre en question et approuver leurs indicateurs de rendement et les données pour le RMR. Même si les deux directions ont le mandat d'offrir une coordination horizontale (la DGRO au niveau de l'organisation et la DESRM au niveau de la Direction générale des programmes), aucune description détaillée de leurs rôles respectifs en ce qui a trait au processus pour la production des indicateurs pour le RMR n'a encore été élaborée et communiquée.

Puisque les rôles, les responsabilités et la responsabilisation de chaque intervenant clé ne sont pas clairement définis (par exemple la DGRO, la DESRM, les secteurs de programme et l'URR), les processus de sélection des indicateurs de rendement et d'élaboration du RMR risquent d'être inefficaces et inefficients au sein de l'Agence.

8.2.3 Examen et remise en question des résultats sur le rendement

L'examen, la remise en question et l'approbation appropriés des données sur le rendement incluses dans le RMR sont essentiels pour assurer la fiabilité des données sur le rendement déclarées. Des politiques, des directives et des lignes directrices claires contribuent à faire en sorte que la qualité des résultats sur le rendement dans le RMR soit examinée de manière uniforme.

Comme pour les processus de l'AAP et du CMR, l'audit a révélé que la DGRO a mis par écrit certains processus clés de remise en question et d'approbation dans le cadre de son chemin critique. Cependant, le chemin critique n'est pas suffisamment détaillé pour répondre aux besoins de tous les intervenants. Les secteurs de programme et l'URR ont donc élaboré leurs propres processus informels pour examiner, remettre en question et approuver les résultats sur le rendement du RMR.

Le processus d'examen et de remise en question utilisé au sein des secteurs de programme et de l'URR a été décrit et compris de la même façon par les personnes interrogées et les participants à la revue. Le processus est fondé sur l'analyse des tendances, sur l'expertise en la matière relative aux données ou sur une double extraction des données, mais il n'est pas formellement défini et ni consigné par écrit. De plus, aucun document ne donne de directives ou d'orientation sur le processus d'examen et de remise en question, sur les échéances et sur les rôles, les responsabilités et la responsabilisation à tous les niveaux de l'Agence. L'audit a également révélé une certaine confusion quant aux rôles de la DGRO et de la DESRM en ce qui concerne l'examen et la remise en question, et quant aux exigences relatives à la remise en question et à l'approbation des résultats sur le rendement produits pour le RMR. Sans une orientation claire, les résultats sur le rendement présentés par l'Agence dans le RMR risquent de manquer d'uniformité ou d'être inappropriés.

Recommandation 2 :

La vice-présidente de la Direction générale des services intégrés, avec la collaboration des directions générales des programmes et des opérations, devrait clairement définir et consigner par écrit les rôles, les responsabilités et la responsabilisation pour tous les intervenants clés afin d'appuyer les processus de sélection des indicateurs de rendement et d'établissement de rapports ministériels sur le rendement.

Réponse de la direction Date d'achèvement
La Direction générale des services intégrés (DGSI) souscrit à la recommandation. La DGSI tiendra compte des résultats de cet examen en ce qui a trait au besoin de clarté des rôles, des responsabilités et de la responsabilisation concernant la gestion des mesures de rendement de l'Agence en finalisant l'ébauche de la politique sur les mesures de rendement de l'Agence. Cette politique définit et documente clairement les rôles, les responsabilités et la responsabilisation à tous les niveaux de l'Agence et elle fournit de l'orientation sur la mesure du rendement afin d'appuyer l'observation de l'Agence à l'égard de la Politique sur la structure de la gestion, des ressources et des résultats (Politique sur la SGRR) du Conseil du Trésor et d'autres instruments de politique connexes. septembre 2014

8.3 Intégrité des données sur le rendement

Critère d'audit :

  • Des contrôles et des processus sont en place pour veiller à ce que les résultats sur le rendement présentés dans le RMR de 2012-2013 reflètent les données recueillies par l'Agence et à ce qu'ils soient corroborés par de l'information fondée sur des données probantes.

L'Agence a sept programmes structurés pour appuyer la réalisation de son mandat et de son résultat stratégique. Dans le RMR de 2012-2013, l'ASFC a présenté un rapport sur le rendement de ses sept programmes en utilisant 14 indicateurs de rendement au niveau de programmes, élaborés et sélectionnés dans le cadre de l'AAP et du CMR de 2012-2013Note de bas de page 11.

Le RMR de l'Agence de 2012-2013 ne comprend pas de résultats sur le rendement pour deux des 14 indicateurs de rendement : pour le programme « Évaluation des risques », le pourcentage des menaces ayant entraîné un résultat, et pour le programme « Partenariats sûrs et fiables », le pourcentage du total des passages qui sont des négociants dignes de confiance. Le RMR indiquait que la situation était causée par des contraintes liées aux systèmes.

De plus, le RMR de 2012-2013 n'avait aucun indicateur de rendement pour mesurer le rendement de l'un de ses sept programmes, soit le programme « Gestion du commerce et des revenus ». Le résultat escompté de ce programme est que « les droits et les taxes dus au gouvernement du Canada soient perçus conformément aux politiques sur le commerce »Note de bas de page 12. Au lieu de présenter le rendement comparativement à ce résultat escompté, l'Agence a présenté le total des droits et des taxes perçus en 2012-2013, soit 25,6 milliards de dollars.

L'Agence a mesuré le rendement des 11 autres indicateurs de rendement et l'a déclaré dans le RMR de 2012-2013. On s'attendait à ce que ces données soient produites à l'aide de procédures normalisées et consignées par écrit. L'audit a révélé qu'aucune procédure n'avait été élaborée sur papier pour les 11 indicateurs de rendement. Les résultats dans le RMR de 2012-2013 ont été produits en utilisant des protocoles informels, non consignés par écrit, pour extraire les données et faire des calculs manuels. Tous les résultats du RMR ont été examinés et remis en question par les secteurs de programme, l'URR, la DESRM et la DGRO.  

Les personnes interrogées affirmaient constamment que les données produites pour le RMR étaient les meilleures données disponibles au sein de l'Agence, compte tenu des contraintes des systèmes. Cependant, en raison du manque de procédures pour la production de données pour le RMR de 2012-2013 et en raison de l'utilisation de protocoles informels, il est donc impossible de répéter les processus de production de données afin de reproduire l'information sur le rendement présentée dans le RMR de 2012-2013.

Enfin, l'Agence n'a pas consigné par écrit la justification des résultats sur le rendement produits pour le RMR de 2012-2013. Sans justification consignée, l'Agence ne pouvait pas démontrer que l'information sur le rendement présentée dans le RMR de 2012-2013 était appropriée et qu'elle reflétait les données saisies dans les systèmes de l'Agence.

L'absence de procédures normalisées pour la production de résultats, ainsi que l'absence de données justificatives consignées, expose l'Agence au risque que les résultats dans le RMR soient insuffisants ou inadéquats pour la prise de décisions, l'établissement des priorités, l'établissement de rapports sur la responsabilisation et la comparabilité des données d'un exercice à l'autre.

Recommandation 3 :

La vice-présidente de la Direction générale des services intégrés devrait :

  • Coordonner l'élaboration de procédures de production des données, par ceux qui en sont responsables, pour tous les indicateurs de rendement inclus dans le Cadre de mesure du rendement;
  • Consigner par écrit le processus de validation pour tous les résultats sur le rendement inclus dans le Rapport ministériel sur le rendement. 
Réponse de la direction Date d'achèvement

La Direction générale des services intégrés (DGSI) souscrit à cette recommandation. La DGSI va donner suite à la constatation de l'audit quant à l'absence de procédures normalisées pour la collecte, l'extraction, l'analyse de données sur la mesure du rendement pour la production du RPP et du RMR, par la mise sur pied d'un groupe de travail au niveau des directeurs (à l'échelle de l'Agence) qui surveillera l'élaboration de procédures normales d'exploitation (PNE) et d'outils de support appropriés.

octobre 2014

Annexe A – À propos de l'audit

Objectifs et étendue

L'audit avait pour objectif de donner l'assurance que l'Agence possède les processus et les contrôles nécessaires pour veiller à ce que les indicateurs de rendement soient bien sélectionnés et que les résultats de rendement présentés dans le Rapport ministériel sur le rendement de 2012-2013 reflètent les données recueillies par l'Agence.

L'audit a examiné les processus et les contrôles en place pour veiller à ce que les indicateurs de rendement soient bien sélectionnés et que les résultats en matière de rendement présentés dans le Rapport ministériel sur le rendement de 2012-2013 reflètent les données recueillies par l'Agence. 

L'audit n'a pas fourni d'assurance relativement à la pertinence des indicateurs de rendement présentés dans le Rapport ministériel sur le rendement de 2012-2013 (à savoir si les «  bonnes » choses sont mesurées). En outre, l'audit n'a pas examiné si le Cadre de mesure du rendement de l'Agence est mis en œuvre correctement. Enfin, il n'a pas examiné l'information financière présentée dans le RMR de 2012-2013, publiée dans le cadre des Comptes publics.

Évaluation des risques

L'évaluation des risques menée au cours de la phase de planification a permis de cerner un risque important : si les processus et les contrôles de l'Agence ne fonctionnent pas comme prévu pour assurer la qualité des données sur le rendement présentées dans le RMR, l'Agence pourrait ne pas démontrer, de façon pertinente et fiable, au Parlement et au public qu'elle remplit son mandat.

Stratégie et méthodes

La stratégie suivante a été utilisée pour réaliser la phase d'examen de l'audit :

  • Examiner la législation, les politiques, les procédures, les lignes directrices, les rapports, l'information sur le rendement et tous les autres documents pertinents;
  • Examiner le processus servant à établir et à sélectionner les mesures du rendement pour les rapports sur la responsabilisation;
  • Évaluer les contrôles et les processus d'assurance de la qualité pour s'assurer que de l'information appropriée, normalisée et de qualité est fournie pour les rapports de responsabilisation au public;
  • Examiner les procédures normales d'exploitation existantes afin de produire des données uniformes pour le RMR;
  • Sélectionner des données sur le rendement présentées dans le RMR de 2012-2013 pour en faire une revue détaillée;
  • Mener des entrevues approfondies avec divers intervenants des directions générales des services intégrés, des programmes et des opérations.

Critères d'audit

Compte tenu des constatations préliminaires découlant de la phase de planification, les critères suivants ont été choisis :

Secteurs d'intérêt Critères d'audit
1. Gouvernance des données
  • 1.1 L'Agence a des processus et des contrôles de gouvernance en place pour favoriser une production uniforme de données qui répondent aux besoins du RMR.
  • 1.2 L'Agence a des contrôles de suivi adéquats pour assurer l'intégrité des données et prendre des mesures correctives au besoin.
2. Sélection et déclaration des données sur le rendement
  • 2.1 L'Agence a des processus et des contrôles adéquats en place pour veiller à ce que les indicateurs et les mesures du rendement pour le RMR (harmonisé avec le RPP) soient bien élaborés, sélectionnés et examinés de façon périodique et mis à jour au besoin.
  • 2.2 Les rôles, les responsabilités et la responsabilisation des intervenants clés ont été clairement définis et communiqués.
  • 2.3 L'Agence a des processus d'examen, de remise en question et d'approbation appropriés pour valider la qualité des données sur le rendement déclarées dans le RMR.
3. Intégrité des données sur le rendement
  • 3.1 Des contrôles et des processus sont en place pour veiller à ce que les résultats sur le rendement présentés dans le RMR de 2012-2013 reflètent les données recueillies par l'Agence et à ce qu'ils soient corroborés par de l'information fondée sur des données probantes.

Annexe B – Sigles

Agence ou ASFC
Agence des services frontaliers du Canada
AAP
Architecture d'alignement des programmes
CMR
Cadre de mesure du rendement
DGRO
Direction de la gouvernance et de la responsabilité organisationnelles (Direction générale des services intégrés)
DESRM
Direction de l'évaluation stratégique des risques et de la modernisation (Direction générale des programmes)
PRE
Profil de risque de l'entreprise
RMR
Rapport ministériel sur le rendement
RPP
Rapport sur les plans et les priorités
SCT
Secrétariat du Conseil du Trésor du Canada
SGRR
Structure de la gestion, des ressources et des résultats
SRA
Sommaire du rendement de l'Agence
URR
Unité des rapports sur le rendement (Direction générale des opérations)

Notes de bas de page

Note de bas de page 1

SCT (2013) Gestion des dépenses, RPP, http://www.tbs-sct.gc.ca/rpp/index-fra.asp

Retour à la référence de la note de bas de page 1

Note de bas de page 2

SCT (2013) Gestion des dépenses, RMR, http://www.tbs-sct.gc.ca/dpr-rmr/index-fra.asp

Retour à la référence de la note de bas de page 2

Note de bas de page 3

SCT, Guide pour la préparation de la Partie III du Budget des dépenses de 2012-2013 : Rapport ministériel sur le rendement de 2012-2013, Introduction, paragraphe 3, page 1.

Retour à la référence de la note de bas de page 3

Note de bas de page 4

Data Governance Institute, http://www.datagovernance.com/adg_data_governance_definition.html

Retour à la référence de la note de bas de page 4

Note de bas de page 5

Gartner Research, Glossaire sur la TI, http://www.gartner.com/it-glossary/information-governance

Retour à la référence de la note de bas de page 5

Note de bas de page 6

ASFC (2013) Ébauche, Gouvernance des données d'entreprise : document stratégique

Retour à la référence de la note de bas de page 6

Note de bas de page 7

Par « secteurs de programme » on entend les des directions ayant les rôles, les responsabilités et la responsabilisation pour la conception, la planification, le suivi et l'établissement des rapports des programmes de l'ASFC. La Direction générale des programmes compte quatre secteurs de programme : (1) Direction du programme d'exécution de la loi et du renseignement, (2) Direction des programmes avant l'arrivée à la frontière, (3) Direction des programmes frontaliers, (4) Direction des programmes après le passage de la frontière. Afin de simplifier le présent rapport, on entend aussi par « secteur de programme » la Direction des recours de la Direction générale des services intégrés.

Retour à la référence de la note de bas de page 7

Note de bas de page 8

Les sept programmes de l'ASFC sont : (1) Évaluation des risques, (2) Partenariats sûrs et fiables, (3) Détermination de l'admissibilité, (4) Enquêtes criminelles, (5) Exécution de la loi en matière d'immigration, (6) Recours et (7) Gestion des revenus et de la politique commerciale. Ces programmes, combinés à leurs sous-programmes respectifs, composent l'Architecture des activités de programme de l'ASFC (AAP) (pour de plus amples renseignements sur l'AAP, consulter le RMR de l'ASFC de 2012-2013).

Retour à la référence de la note de bas de page 8

Note de bas de page 9

L'Agence a 14 indicateurs de rendement au niveau des programmes pour mesurer et rendre compte du rendement dans le RMR de 2012-2013. L'Agence a de nombreux autres indicateurs de rendement, à un niveau inférieur, pour mesurer le rendement de ses sous- ou sous-sous-programmes. Ensemble, ces indicateurs de rendement forment le CMR de l'Agence.

Retour à la référence de la note de bas de page 9

Note de bas de page 910

La responsabilité s'entend du devoir d'exécuter certaines tâches, et la responsabilisation s'entend du devoir de rendre des comptes quant à ses responsabilités (source : BCG, 2011, Critères de vérification liés au Cadre de responsabilisation de gestion).

Retour à la référence de la note de bas de page 10

Note de bas de page 11

L'Agence a 14 indicateurs de rendement au niveau des programmes pour mesurer et rendre compte du rendement dans le RMR de 2012-2013. L'Agence a de nombreux autres indicateurs de rendement, à un niveau inférieur, pour mesurer le rendement de ses sous- ou sous-sous-programmes. Ensemble, ces indicateurs de rendement forment le CMR de l'Agence.

Retour à la référence de la note de bas de page 11

Note de bas de page 12

Rapport ministériel sur le rendement de l'ASFC de 2012-2013

Retour à la référence de la note de bas de page 12

Date modified: