Audit de la fonctionnalité du SAP Projet AU1307

TABLE DES MATIÈRES

• SOMMAIRE
  • Contexte
  • Objectifs de l’audit
  • Portée
  • Points forts
  • Domaines à améliorer
  • Conclusion de l’audit interne et opinion
  • Énoncé de conformité
• INTRODUCTION
  • Contexte
  • Objectif de l’audit
  • Risques pour le Ministère
  • Portée et méthode
  • Critères d’audit
• CONSTATATIONS ET RECOMMANDATIONS
  • Rapports
  • Sécurité et accès
  • Formation
  • Gestion de l’accord sur les niveaux de service
• ANNEXE A – CRITÈRES D’AUDIT

SOMMAIRE

CONTEXTE

Ressources naturelles Canada (RNCan) a réalisé de multiples examens du logiciel financier précédent et déterminé qu’il ne répondait plus à ses besoins. Il a réalisé une analyse de rentabilisation qui a recommandé le remplacement du système financier par le système SAP. De plus, il devait devenir un partenaire du système SAP actuel d’Agriculture et Agroalimentaire Canada (AAC). En 2009, le projet Felix a été lancé en vue de mettre en œuvre le nouveau système SAP à RNCan, ce qui a été fait en 2011.

En 2011, un audit du système en développement a été réalisé pour la première phase de la mise en œuvre du SAP. Il a été déterminé que le projet se déroulait selon l’échéancier et le budget prévus, mais qu’il restait des difficultés à régler, notamment les questions relatives aux rapports et à la formation.

La mission d’audit a été approuvée dans le cadre du Plan de vérification axé sur les risques (PVAR) 2012-2015 de RNCan.

OBJECTIFS DE L’AUDIT

L’objectif global de l’audit était de donner une certitude quant à la capacité du système financier SAP de répondre aux principaux besoins opérationnels. Plus précisément, il visait à évaluer si :

• les rapports standard et personnalisés produits par le SAP répondent aux besoins opérationnels et sont facilement accessibles;
• les processus et mesures de contrôle liés à la sécurité du SAP pour les rôles d’utilisateur actuels sont efficaces;
• la formation SAP actuellement offerte aux utilisateurs de RNCan répond aux besoins des utilisateurs établis;
• RNCan assure la surveillance et la gestion adéquates de l’accord sur les niveaux de service et les accords sur les niveaux opérationnels.

PORTÉE

L’audit porte sur la fonctionnalité du SAP pendant la période du 1^er avril 2011 au 31 mars 2013. La gestion et la surveillance de l’accord sur les niveaux de service et des accords sur les niveaux opérationnels connexes conclus entre RNCan et AAC font partie de l’audit.

Les domaines qui relèvent d’AAC en vertu de l’accord sur les niveaux de service daté du 7 février 2011, qui définit le partenariat avec RNCan en matière de prestation de services, sont exclus de l’audit. Cet accord définit les responsabilités d’AAC liées à la prestation de services relatifs au Système intégré des finances et du matériel (SIFM), aux systèmes de projet et au soutien informatique. En outre, les mesures de contrôle des applications et les mesures de contrôle informatique général ont aussi été exclues de l’audit.

La méthode d’audit est basée sur les lignes directrices du Conseil du Trésor pour l’audit interne et les normes définies par l’Institut des vérificateurs internes (IVI).

POINTS FORTS

L’audit a permis de cerner quelques pratiques exemplaires liées au système SAP et aux opérations connexes qui sont actuellement utilisées à RNCan, notamment les suivantes :

• les mesures de contrôle de la sécurité SAP liées à la séparation automatique des rapports sur les tâches et à la surveillance périodique des rôles d’utilisateur;
• l’atteinte des buts de formation initiaux et la production constante de rapports sur les statistiques de formation à l’intention de la direction;
• l’accord sur les niveaux de service et les accords sur les niveaux opérationnels conclus entre RNCan et AAC qui décrivent de façon générale les rôles et les responsabilités.

DOMAINES À AMÉLIORER

Les résultats de l’audit indiquent qu’il y a des domaines à améliorer dans chaque champ d’enquête visé initialement par l’audit :

• les rapports standard et personnalisés actuellement produits par le SAP ne répondent pas à de nombreux besoins opérationnels; en conséquence, les données du SAP sont exportées vers d’autres outils, p. ex. Microsoft Excel, aux fins de la production de rapports significatifs;
• RNCan ne peut déterminer si la formation sur le SAP actuellement offerte à ses employés répond aux besoins des utilisateurs établis, parce que l’efficacité de la formation n’est pas évaluée;
• l’accord sur les niveaux de service et les accords sur les niveaux opérationnels ne contiennent pas de renseignements détaillés sur la prestation des principaux services.

CONCLUSION DE L’AUDIT INTERNE ET OPINION

La Direction de l’audit peut donner une certitude raisonnable quant à la surveillance et à la gestion adéquates de l’accord sur les niveaux de service et des accords sur les niveaux opérationnels par RNCan, ainsi qu’à l’efficacité attendue des fonctions du SAP liées à la sécurité des rôles d’utilisateur actuels, p. ex. la séparation automatique des rapports sur les tâches et la surveillance périodique. Cependant, la production de rapports et la formation comportent des lacunes.

Selon moi, il existe pour RNCan des possibilités d’améliorer les activités liées à la production de rapports et à la formation et d’intégrer d’importants indicateurs de rendement supplémentaires dans les futurs accords sur les niveaux de service associés au système SAP de RNCan.

ÉNONCÉ DE CONFORMITÉ

Selon mon jugement professionnel en tant que dirigeant principal de la vérification, l’audit est conforme aux normes d’audit interne du gouvernement du Canada, tel qu’appuyé par les résultats du programme interne de l’assurance de la qualité et de l’amélioration.

Christian Asselin, CPA, CA, CMA, CFE
Dirigeant principal de la vérification

INTRODUCTION

CONTEXTE

En 2002, Ressources naturelles Canada (RNCan) a entrepris le Projet d’information de gestion intégrée, dont la conclusion était que le système de gestion financière utilisé au Ministère – le Système financier du gouvernement (SFG) – ne répondait plus aux besoins en matière d’information de gestion. En 2008, dans le cadre de l’Initiative de renouvellement des systèmes financiers (IRSF), RNCan a réexaminé sa stratégie de renouvellement de ses systèmes. L’analyse de rentabilisation issue de l’IRSF recommandait de remplacer le SFG par le SAP en établissant un partenariat avec Agriculture et Agroalimentaire Canada (AAC). Dans le cadre de ce partenariat, AAC, l’Agence canadienne d’inspection des aliments (ACIA) et RNCan utilisent le même système, le SAP, actuellement exploité par AAC, ainsi que des processus de soutien opérationnel communs. La haute direction de RNCan et d’AAC a approuvé en 2009 l’analyse de rentabilisation subséquente. RNCan a lancé le projet Felix pour commencer la mise en œuvre du SAP le 20 août 2009, ce qui a mené au lancement officiel du système le 4 avril 2011. Au moment de l’audit, le système SAP était en service depuis deux ans, dont un exercice complet.

Dans l’analyse de rentabilisation sur le SAP, RNCan soulignait que la mise en œuvre d’un nouveau système financier selon l’échéancier et le budget prévus n’était qu’un volet du projet de renouvellement. Il entreprenait une initiative plus importante, le renouvellement des processus opérationnels, qui devait mener aux huit (8) améliorations opérationnelles explicites suivantes^{Note de bas de page 1} :

1. la mise en place d’un cadre ministériel et d’une trousse d’outils connexe pour la planification et la gestion des projets;
2. la capacité d’appuyer un audit basé sur les mesures de contrôle des états financiers ministériels;
3. la capacité d’établir le coût des initiatives de projet;
4. la capacité d’exécuter le processus de facturation basé sur les coûts pour les services à recouvrement des coûts (avec la piste d’audit connexe);
5. la capacité d’inscrire les coûts des services internes de façon à ce que les gestionnaires de programme puissent conserver l’historique complet des coûts d’exécution des projets ou des programmes;
6. la capacité pour les gestionnaires de services de conserver l’historique complet des coûts et de la facturation pour les principales unités de services;
7. la mise en place d’un outil de planification et de prévision dans l’ensemble du Ministère;
8. l’enregistrement et la déclaration en temps réel des engagements financiers et de la disponibilité des fonds.

Un audit de système en cours de développement^{Note de bas de page 2} a été réalisé pour la première phase du projet pendant la période de décembre 2010 à avril 2011. Cet audit indique que le projet Felix a été réalisé selon l’échéancier et le budget prévus, tel qu’il était décrit dans le plan original. Cependant, plusieurs défis ont été cernés après la mise en œuvre, p. ex. l’amélioration des rapports, de la formation et des capacités du système global.

Ces défis étaient dus en partie à la portée limitée du plan directeur du projet, qui ne traitait pas de domaines tels que l’examen après la mise en œuvre, les leçons apprises et le transfert officiel des connaissances, parce que l’équipe chargée de la mise en œuvre n’était plus en place après le lancement officiel, c.-à-d. à la date de mise en service^{Note de bas de page 3}.

Le fonctionnement efficace du système SAP après sa mise en œuvre demeure une priorité ministérielle, parce que cet outil de planification des ressources de l’organisation (PRO) appuie tous les secteurs et services internes de RNCan et a des retombées sur eux.

OBJECTIF DE L’AUDIT

L’objectif global de l’audit était de donner une certitude raisonnable quant à la capacité du système financier SAP de répondre aux principaux besoins opérationnels. L’audit a évalué plus particulièrement si :

• les rapports standard et personnalisés produits par le SAP répondent aux besoins des utilisateurs et sont facilement accessibles;
• les processus et les mesures de contrôle liés à la sécurité du SAP pour les rôles d’utilisateur actuels sont efficaces;
• la formation sur le SAP actuellement offerte aux utilisateurs de RNCan répond aux besoins des utilisateurs établis;
• RNCan surveille et gère adéquatement l’accord sur les niveaux de service et les accords sur les niveaux opérationnels.

RISQUES POUR LE MINISTÈRE

Dans le Plan de vérification axé sur les risques de 2012-2015, qui a été approuvé par le sous-ministre, le présent audit est considéré comme une priorité ministérielle pour les raisons suivantes :

• il y a un risque que la fonction de production de rapports du SAP ne réponde pas aux besoins ministériels et opérationnels liés au processus décisionnel;
• il y a un risque que les fonctions du système ne soient pas suffisamment exploitées pour répondre aux besoins opérationnels.

En plus de ces risques qui ont été initialement cernés dans le Plan de vérification axé sur les risques, les risques supplémentaires suivants ont été repérés dans le cadre de l’audit :

• l’absence de rapports standard obligatoires pourrait encourager l’utilisation de méthodes parallèles non autorisées et inexactes pour la collecte et l’analyse des données;
• l’application des rôles d’utilisateur pourrait nuire à la séparation appropriée des tâches, retarder le déroulement du travail, entraîner des coûts pour RNCan et mener à un manque d’efficacité;
• la méthode de formation pourrait réduire la capacité des utilisateurs de s’adapter efficacement aux exigences opérationnelles changeantes;
• l’échange de l’information pourrait être insuffisant pour favoriser un environnement opérationnel souple et pleinement intégré;
• le cadre de contrôle de gestion (CCG) du Ministère pourrait ne pas répondre adéquatement aux besoins en matière de services internes, p. ex. la gestion de l’accord sur les niveaux de service et des accords sur les niveaux opérationnels;
• il pourrait manquer à RNCan un processus convenable pour la gestion des changements ou un plan directeur adéquatement intégré pour s’adapter à toutes les demandes de changement approuvées conformément au cadre de gestion connexe.

PORTÉE ET MÉTHODE

L’audit a porté sur la fonctionnalité du SAP pendant la période du 1^er avril 2011 au 31 mars 2013. Elle a englobé l’accord sur les niveaux de service et les accords sur les niveaux opérationnels connexes conclus entre RNCan et AAC dans la mesure où RNCan gère et surveille ces accords.

L’audit ne portait pas sur les domaines dont AAC est responsable en vertu de l’accord sur les niveaux de service daté du 7 février 2011, qui définit le partenariat de services établi avec RNCan. Cet accord décrit les responsabilités d’AAC en matière de prestation de services liés au Système intégré des finances et du matériel (SIFM), aux systèmes de projet et au soutien du système. Les mesures de contrôle des applications et les mesures de contrôle informatique général étaient également exclues de l’audit.

La planification et la réalisation de l’audit ont été basées sur des normes professionnelles pour assurer la pertinence des constatations et des conclusions de l’audit et leur conformité aux données collectées. Le processus d’audit interne a comporté trois grandes phases – planification, réalisation et rapport – dont chacune a fait l’objet d’un examen d’assurance de qualité par des pairs.

La méthode d’audit a consisté à examiner l’objectif énoncé en fonction des critères d’audit qui ont été élaborés pendant la phase de la planification. Les observations, les évaluations et les conclusions ont été élaborées à l’aide d’un programme d’examen d’audit détaillé.

La méthode d’audit est basée sur les lignes directrices du Conseil du Trésor qui concernent l’audit interne, ainsi que sur les normes de l’Institut des vérificateurs internes (IVI). Elle a consisté à réaliser notamment les tâches suivantes :

1. un examen de la documentation pertinente, notamment l’accord sur les niveaux de service et les accords sur les niveaux opérationnels qui étaient en place au moment de l’audit, ainsi que des documents connexes;
2. des entrevues avec les utilisateurs du SAP, des groupes de discussion, des gestionnaires et certains intervenants;
3. un examen du processus de formation sur le SAP et des cours électroniques sur le SAP de niveau débutant;
4. des feuilles de contrôle pour collecter et analyser les résultats des entrevues réalisées auprès des utilisateurs du SAP;
5. un examen d’audit basé sur un échantillonnage discrétionnaire des rapports et des outils de formation produits par les utilisateurs.

CRITÈRES D’AUDIT

Les critères visent à orienter la réalisation de l’audit et constituent le fondement de l’élaboration des activités de l’audit. La conclusion globale et le rapport d’audit sont basés sur ces critères.

Voici les critères d’audit spécifiques qui ont été élaborés :

1. les rapports standard et personnalisés produits par le SAP répondent aux besoins des utilisateurs et sont facilement accessibles;
2. les processus et les mesures de contrôle liés à la sécurité du SAP pour les rôles d’utilisateur actuels sont efficaces;
3. la formation sur le SAP actuellement offerte aux utilisateurs de RNCan répond aux besoins des utilisateurs établis;
4. RNCan gère et surveille adéquatement l’accord sur les niveaux de service et les accords sur les niveaux opérationnels.

Voir l’annexe A pour consulter les sous-critères liés à chaque critère.

CONSTATATIONS ET RECOMMANDATIONS

RAPPORTS

Constatation sommaire

Les employés sont en train de s’adapter à l’utilisation et à l’application des fonctions du SAP, mais les utilisateurs continuent de trouver des solutions en dehors de ce système pour répondre à leurs besoins en matière de production de rapports, parce qu’il n’y a pas de rapport standard obligatoire.

Observations connexes

Mise en œuvre du SAP

Le SAP est un logiciel de planification des ressources de l’organisation (PRO). Ce type de logiciel facilite le suivi du déroulement des opérations dans les diverses unités opérationnelles et réduit les coûts opérationnels du suivi manuel et l’éventuel doublement des données attribuable à l’utilisation de systèmes individuels et disparates^{Note de bas de page 4}. L’utilisation d’un système de PRO représente une pratique exemplaire pour les activités organisationnelles.

En vue d’améliorer les processus opérationnels, notamment l’efficacité, la production de rapports et la prise de décisions, il y a deux ans, RNCan a mis en œuvre un système de PRO, le SAP. Sa stratégie était d’adopter, plutôt que d’adapter (c.-à-d. personnaliser) l’application SAP^{Note de bas de page 5}, parce qu’il partageait et partage toujours cette application avec AAC. C’est pourquoi les processus opérationnels de RNCan peuvent être modifiés dans le cadre du partenariat dirigé par AAC.

L’un des principaux objectifs opérationnels de la mise en œuvre du SAP est l’enregistrement et la déclaration en temps réel des engagements financiers et des fonds disponibles^{Note de bas de page 6}, afin d’améliorer l’aide à la décision et l’utilisation du personnel. Au moment de l’audit, cet objectif ne semblait pas avoir été atteint. Il n’y a pas de rapports sur la satisfaction des utilisateurs, ni de mécanismes officiels pour donner suite aux lacunes en matière de rapports cernées par les utilisateurs.

Complexité du SAP

Les gestionnaires trouvent que l’utilisation du SAP est complexe et nécessite beaucoup de temps. C’est pourquoi certains ne l’ont pas utilisé à sa pleine capacité, particulièrement pour faire des prévisions et gérer des projets. Ils estiment qu’il est difficile de naviguer dans le système et qu’il manque de rapports personnalisés.

Les résultats des entrevues réalisées auprès des utilisateurs et l’analyse des données collectées pendant l’audit confirment que l’utilisation fréquente du SAP permet aux utilisateurs de mieux comprendre et connaître les rapports produits par ce système. Certains gestionnaires ont souligné qu’ils demandent souvent au personnel administratif de produire les rapports, parce qu’ils ont de la difficulté à utiliser cette fonction et qu’ils ne l’utilisent pas régulièrement. L’équipe d’audit a observé que certains conseillers financiers sectoriels (CFS) n’utilisaient pas le SAP et déléguaient leur rôle à du personnel subalterne. Les entrevues réalisées auprès de cadres supérieurs confirment que la production de certains rapports requis pour prendre des décisions et de rapports ministériels est déléguée à d’autres employés.

Utilisation des applications locales

Le SAP tient une base de données réelles et ne bloque jamais les données, à moins que l’utilisateur n’entreprenne un processus complexe qui peut être difficile à maîtriser. Pour produire les rapports périodiques de gestion financière dans le format prévu et exigé par la direction, les utilisateurs exportent les rapports SAP vers des classeurs Excel à des fins de manipulation. Pendant la phase d’exécution, l’équipe d’audit a obtenu un échantillon des rapports Excel produits par divers utilisateurs, qui a confirmé l’utilisation généralisée des rapports Excel plutôt que des rapports SAP. Elle a observé que l’utilisation des rapports Excel plutôt que des rapports SAP n’a aucun effet sur l’exactitude des données du SAP. Cependant, les rapports Excel ne sont pas utilisés seulement pour produire des rapports financiers ponctuels, mais aussi pour répondre aux besoins opérationnels. Ainsi, dans le cadre du projet Felix, le module des systèmes de projet du SAP a été mis en œuvre pour aider les gestionnaires de RNCan à gérer leurs projets. Cependant, les gestionnaires de projet ont créé des séries de données distinctes dans les classeurs Excel pour surveiller les projets plutôt que d’utiliser les résultats du module des systèmes de projet.

De même, l’équipe d’audit a constaté que les rapports Excel sont également utilisés pour faire des prévisions. Même si l’une des huit (8) principales améliorations opérationnelles explicites prévues par RNCan consistait à créer un outil ministériel de planification et de prévision^{Note de bas de page 7}, le SAP n’offre pas actuellement d’outil de prévision. Pour compenser cette lacune, les unités opérationnelles entrent dans des tableaux Excel leurs plans, budgets, dépenses, engagements et soldes disponibles à des fins de suivi et de production de rapports (y compris leur contribution aux prévisions de la Direction). En outre, elles utilisent les données du SAP pour remplir manuellement les tableaux Excel.

Lorsque les rapports SAP sont disponibles, certains utilisateurs ne savent pas comment extraire les données ou choisir d’autres sources de données pour utiliser cette information aux fins des rapports de gestion. À l’échelle ministérielle, ces rapports pourraient ne pas être entièrement fidèles aux données du SAP. Les responsables des processus opérationnels de RNCan ont les mêmes préoccupations et ont cerné deux grandes priorités^{Note de bas de page 8} pour réduire les difficultés que représente la production de rapports pour les utilisateurs : l’amélioration des capacités en matière de prévisions et l’utilisation d’un dépôt de données. Les partenaires sont d’accord avec ces futures priorités^{Note de bas de page 9}, et le centre d’excellence d’AAC (CE-AAC) considère toujours la création d’un dépôt de données comme une grande priorité pour 2013-2014^{Note de bas de page 10}.

RISQUES ET CONSÉQUENCES

Les applications locales, par exemple les classeurs Excel, peuvent représenter un risque important si elles sont utilisées pour produire les rapports ministériels et prendre les décisions. Si elles sont considérées comme essentielles pour répondre aux besoins opérationnels, leurs risques inhérents devraient être évalués pour assurer leur conformité aux politiques, procédures et lignes directrices ministérielles. De plus, l’utilisation des applications locales conjointement avec le SAP a diverses retombées : utilisation inefficace des ressources, temps alloué, doublement des efforts, incompatibilité ministérielle et fardeau opérationnel accru pour les utilisateurs.

RECOMMANDATION

1. Le Secteur de la gestion et des services intégrés (SGSI) devrait fournir des modèles de rapport standard obligatoires pour répondre aux besoins opérationnels cernés et satisfaire aux exigences ministérielles en matière de production de rapports, afin d’assurer l’uniformité et l’exactitude des pratiques de production de rapports utilisées dans tous les secteurs.

RÉPONSE DE LA DIRECTION, PLAN D’ACTION ET ÉCHÉANCIER

La direction accepte cette recommandation.

• Le directeur exécutif du Bureau des services partagés (DE-BSP) et le directeur général de la Direction de la gestion financière (DG-DGF) rencontreront un sous-ministre adjoint (SMA) responsable de proif du Bureau des services grammes et son personnel de soutien pour discuter des problèmes liés à la production de rapports SAP, afin de déterminer les améliorations appropriées à faire aux procédures, aux rapports ou aux initiatives de formation ou de sensibilisation.

Échéancier : Décembre 2013

• Le directeur général de la Direction du dirigeant principal de l’information (DG-DDPI), le DE-BSP et le DG-DGF cerneront également tous les autres besoins opérationnels et exigences ministérielles en matière de rapports, afin de régler les problèmes liés à la production de rapports dans le SAP ou de déterminer si d’autres initiatives de formation ou de sensibilisation sont requises.
   
• Les responsables des processus opérationnels cerneront les besoins opérationnels et détermineront comment les capacités du SAP en matière de production de rapports répondent à ces besoins.

Échéancier : Janvier 2014

• Les responsables des processus opérationnels consulteront au besoin les principaux intervenants pour déterminer si des besoins opérationnels ont été négligés et si les capacités du SAP en matière de production de rapports sont inadéquates.

Échéancier : Mars 2014

• Si des écarts importants existent entre les besoins opérationnels et les capacités du SAP en matière de production de rapports, un plan officiel sera élaboré pour les combler. Le plan sera élaboré en collaboration avec les intervenants et pourrait proposer des solutions qui sont intégrées ou non au SAP.

Échéancier : Mars 2014

SÉCURITÉ ET ACCÈS

Constatation sommaire

Pour que la séparation des tâches soit appropriée, il existe une procédure pour surveiller et valider l’attribution des rôles SAP aux utilisateurs.

Observations connexes

Gestion de la sécurité et des rôles

Dans le SAP, la responsabilité est partagée : RNCan demande l’accès et le CE-AAC l’accorde. Pour obtenir un accès d’utilisateur, la formation doit être approuvée par le gestionnaire responsable et le responsable du processus opérationnel de RNCan. La plupart des aspects techniques de la sécurité sont contrôlés par le système et relèvent de la responsabilité du CE-AAC. Dans cette optique, RNCan est un « client » et ne maîtrise que le début du processus. Au moment de l’audit, il n’y avait aucune procédure officielle en place, notamment pour la documentation et les approbations requises.

Dans le SAP, les droits d’accès sont basés sur un ensemble de rôles standard. Les tâches opérationnelles peuvent nécessiter de créer un ou plusieurs rôles standard pour obtenir un profil qui donne un accès suffisant aux données et permet la production de rapports. Le SAP peut évaluer les combinaisons de rôles, détecter les conflits liés à la séparation des tâches et produire un rapport lorsque cette situation arrive.

C’est pourquoi les rôles qui sont demandés par les gestionnaires sont toujours examinés par RNCan aux fins de la détection des éventuels conflits, même avant qu’une demande de formation ne soit envoyée au CE-AAC. Si une question liée à la compatibilité des rôles est soulevée, la demande est retournée au gestionnaire. Si un gestionnaire peut démontrer qu’une combinaison de rôles est nécessaire, le Comité des responsables des processus opérationnels (CRPO) peut approuver cette exception.

Séparation des tâches

Le BSP de RNCan, qui est responsable de l’administration de la sécurité du SAP, a accès au rapport sur la séparation des tâches qui décrit les rôles incompatibles. L’équipe d’audit a constaté que ce rapport est très peu connu à l’extérieur du BSP. Cependant, lorsqu’il y a une possibilité de séparation inappropriée des tâches, le BSP reçoit un rapport produit par le système et communique cette information au gestionnaire approprié. Ce gestionnaire doit alors analyser et expliquer les tâches conflictuelles à la satisfaction des membres du CRPO. Si le CRPO est d’accord, cette exception est autorisée, et la direction accepte, au cas par cas, le risque d’une séparation conflictuelle des tâches. Au moment de l’audit, le BSP effectuait aussi – à l’échelle de l’entité – la surveillance de l’accès des utilisateurs en envoyant périodiquement des lettres à tous les gestionnaires pour leur demander d’examiner et de confirmer les droits d’accès de leurs employés.

De plus, RNCan a élaboré la « Liste de vérification de départ » qui doit être utilisée quand un employé quitte le Ministère. L’équipe d’audit a aussi découvert que l’accès est bloqué automatiquement quand un compte est inactif pendant 90 jours ou manuellement si le BSP reçoit un avis lui indiquant qu’un poste est vacant. Cependant, il n’y avait aucun processus en place pour cesser immédiatement l’accès aux rôles SAP lorsqu’un employé change de poste au sein du Ministère. Il y a donc une possibilité que les employés qui changent de poste souvent accumulent des rôles pour accéder au SAP qui ne correspondent pas aux véritables exigences de leur poste. L’équipe d’audit a constaté que RNCan était au courant de ces questions et que la direction prenait des mesures pour les régler.

RISQUES ET CONSÉQUENCES

Les rôles d’utilisateur SAP sont contrôlés dans le système par le BSP-SGSI, et toutes les exceptions nécessitent une approbation officielle. La plupart des employés ont un rôle standard dans le système, et la gestion des rôles est en général transparente pour les gestionnaires et les employés. Grâce à la gestion des rôles, l’accès des employés qui quittent le Ministère est annulé. Comme il en a été question dans la section précédente, de nouvelles mesures de contrôle sont planifiées pour les employés qui changent de poste au sein du Ministère.

RECOMMANDATION

Aucune recommandation n’est présentée.

FORMATION

Constatation sommaire

RNCan a atteint l’objectif initial d’offrir une formation sur le SAP aux employés et aux gestionnaires. Cependant, après deux (2) ans de fonctionnement, les besoins en formation ont changé. Il n’existe pas à RNCan de stratégie officielle pour traiter de l’évolution des besoins en formation des utilisateurs du SAP. Il en résulte que les employés de RNCan n’utilisent pas le SAP à sa pleine capacité pour réduire leurs tâches quotidiennes et améliorer le processus décisionnel.

Observations connexes

Selon les modalités de l’accord sur les niveaux de service, le CE-AAC offre la formation de base sur le SAP sans faire de facturation directe. Il est clair que cette formation est une condition préalable pour avoir accès au SAP. Selon l’accord sur les niveaux opérationnels, la formation de base sur le SAP doit être offerte par un instructeur, en ligne, par vidéoconférence et par un formateur individuel. Selon l’accord sur les niveaux de service, le CE-AAC doit faire périodiquement un examen des utilisateurs.

Évolution des besoins en formation

Au moment de l’audit, le SAP était en service depuis plus de deux (2) ans, et la courbe d’apprentissage des utilisateurs du SAP semblait se stabiliser. La plupart des gestionnaires et des employés qui ont répondu aux questions des entrevues conviennent que la formation initiale et la formation subséquente plus officielle donnée par le CE-AAC avaient de façon générale aidé les utilisateurs à répondre à leurs besoins opérationnels.

La formation initiale est en grande partie terminée, mais la nouvelle formation spécialisée requise n’a pas encore été offerte. Les utilisateurs experts, par exemple, ont reçu une formation ciblée très limitée. Dans le plan directeur du projet Felix, il est indiqué que ces « grands utilisateurs » devraient avoir des retombées sur la gestion du changement – particulièrement dans le domaine de la production de rapports : « Ce nouveau processus nécessitera des initiatives de formation pour les super utilisateurs et les grands utilisateurs »^{Note de bas de page 11}. Même si le concept des « grands utilisateurs » n’a pas officiellement été mis en œuvre à RNCan, il est évident que certains employés sont considérés comme des « grands utilisateurs » non officiels. Le seul cours de formation mentionné dans le Catalogue des cours sur le SAP est un cours facultatif de trois jours donné par le CE-AAC (SAP013^{Note de bas de page 12}), qui porte sur l’outil de prévision des salaires du SAP destiné aux grands utilisateurs.

En conséquence, les gestionnaires et les utilisateurs sont laissés à eux-mêmes pour acquérir des compétences supplémentaires liées au SAP. Un secteur, par exemple, a engagé à contrat un fournisseur externe pour donner une formation supplémentaire qui répondait à ses besoins. L’équipe de gestion de ce secteur a indiqué que les employés considèrent cette formation comme efficace et utile.

Autres moyens d’échanger l’information

Habituellement, l’information concernant les opérations et les rapports SAP est transmise aux utilisateurs SAP par les bulletins du CE-AAC ou les bulletins de gestion financière du BSP^{Note de bas de page 13}. De façon générale, les utilisateurs connaissent ces bulletins, mais 82 p. 100 des utilisateurs interrogés comptaient sur d’autres sources pour avoir de l’information sur les fonctions et rapports SAP, notamment l’encadrement pair-à-pair à l’aide de courriels, la documentation non officielle qui donne des lignes directrices et la consultation des grands utilisateurs opérationnels SAP. Les utilisateurs considèrent ces moyens comme efficaces au sein de leur équipe, mais les communications étaient rarement transmises en dehors de l’équipe et de la communauté du personnel administratif.

L’équipe d’audit a examiné, au nombre des autres moyens d’échange d’information, plusieurs lignes directrices produites par des utilisateurs pour expliquer comment télécharger les données SAP dans une feuille de travail Excel en vue de produire des rapports. Ces instructions ont confirmé le besoin de savoir comment télécharger et manipuler les données SAP dans une autre application, ce qui confirme la constatation précédente à l’effet que le SAP ne répond pas actuellement aux besoins opérationnels des utilisateurs en matière de production de rapports.

Nombre limité de statistiques sur la formation

Les rapports trimestriels présentés au Comité de gestion du partenariat SAP (CGPS) contiennent des renseignements sur le nombre de titulaires, de participants, d’absents et d’annulations, ainsi qu’un sommaire des évaluations reçues. L’équipe d’audit a découvert que le CE-AAC a présenté au Comité directeur du partenariat SAP (CDPS) et au CGPS des statistiques sur l’efficacité de chaque organisation^{Note de bas de page 14} (c.-à-d. le nombre d’employés qui ont reçu une formation par période, les ressources utilisées pour offrir la formation, etc.). Cependant, au moment de l’audit, les mises à jour opérationnelles du CE-AAC ne contenaient aucune évaluation qualitative, p. ex. les sommaires des évaluations des cours, qui auraient permis de commenter l’efficacité de la formation.

Les procès-verbaux du CGPS n’indiquent pas si RNCan a fait un suivi pour obtenir les évaluations qualitatives, et l’équipe d’audit n’a pas trouvé de demande formulée par la direction de RNCan à l’intention du CE-AAC pour obtenir des commentaires sur l’efficacité de la formation. De tels rapports auraient permis d’évaluer la satisfaction des utilisateurs, notamment l’applicabilité aux exigences du poste, l’utilisation du temps et l’opportunité de l’offre. Ainsi, les statistiques sur la formation offerte selon le niveau des employés est utile à la direction pour évaluer l’efficacité de la formation. Une analyse de la formation suivie par les utilisateurs de RNCan réalisée dans le cadre de l’audit indique que les gestionnaires ont représenté 21 p. 100 des participants au cours de formation sur le SAP et les employés autres que les membres de la direction, 79 p. 100.

Pendant les entrevues, les utilisateurs ont exprimé de l’insatisfaction à l’égard de la formation de base sur le SAP, soulignant qu’elle n’était pas suffisamment approfondie et qu’elle limitait leur capacité à utiliser efficacement la fonction de production de rapports. Les résultats de l’audit indiquent que la qualité de la formation sur le SAP était grandement dépendante de l’expertise du formateur, que le cours durait souvent trop longtemps (p. ex. trois jours pour la formation sur les systèmes de projet) et que le contenu du cours était trop général. Dans l’ensemble, les participants pensent que la formation sur le SAP a été donnée par des instructeurs qui connaissent les modules SAP, mais peu les activités de RNCan. Un gestionnaire a souligné qu’à la fin des cours, aucun essai n’était fait pour valider la capacité de l’utilisateur à appliquer les compétences acquises. Au moment de l’audit, le calendrier des cours de base sur le SAP était déjà établi, et si la formation en ligne n’était pas disponible, les nouveaux employés ne pouvaient pas suivre leur formation en temps opportun, ce qui les empêchait d’accéder au système et de répondre aux besoins opérationnels.

RISQUES ET CONSÉQUENCES

Prendre conscience que les besoins en formation changent est une composante fondamentale de la gestion du changement organisationnel. Sans cette prise de conscience, il y a un risque que les utilisateurs ne soient pas adéquatement préparés à répondre aux besoins opérationnels changeants et à ce qu’ils ne tirent pas pleinement parti des cours de base actuels sur le SAP.

RECOMMANDATION

2. Le Secteur de la gestion et des services intégrés (SGSI) devrait collaborer avec les partenaires ou envisager d’élaborer des programmes de formation internes pour offrir une formation sur les procédures opérationnelles et systémiques qui ne sont pas traitées dans les programmes de formation de base actuellement offerts. Des rapports de suivi qui prévoient des mécanismes et des mesures pour évaluer l’efficacité de la formation devraient être régulièrement communiqués à la haute direction.

RÉPONSE DE LA DIRECTION, PLAN D’ACTION ET ÉCHÉANCIER

La direction accepte cette recommandation.

La formation sur le SAP fait partie du programme régulier de la structure de gouvernance du SAP (Comité directeur des sous-ministres adjoints (SMA) pour le partenariat du SAP, Comité des directeurs généraux (DG) pour la gestion du partenariat du SAP, Comité des directeurs de Ressources naturelles Canada (RNCan) responsables des processus opérationnels et réunions de travail SAP des partenaires et de RNCan). RNCan considère l’apprentissage électronique (une composante de la formation) comme l’une de ses cinq grandes priorités de 2014 pour le SAP, et il s’y attaquera dans le cadre du partenariat sur le SAP.

Cette structure de gouvernance est déjà en place.

Le directeur, Finances et Approvisionnement a recommandé au centre d’excellence de modifier les questionnaires remplis par les utilisateurs à la fin de chaque cours sur le SAP, afin de répondre aux besoins de la haute direction en matière de rapports de suivi.

Échéancier : Mars 2014

Chaque ministère est responsable de répondre aux besoins en formation sur les activités. L’Unité de la formation axée sur les activités du SGSI a récemment élaboré un nouveau cours sur les rapports à l’intention des gestionnaires et du personnel administratif. De plus, elle est en train d’élaborer un cours sur le cycle de l’approvisionnement au paiement, qui sera offert en octobre 2013. Enfin, elle examinera de bout en bout d’autres processus opérationnels importants pour déterminer si d’autres cours sur les processus opérationnels sont requis.

Responsable : Directeur exécutif associé, Bureau des services partagés, Secteur de la gestion et des services intégrés

Échéancier : Juin 2014

Le SGSI élaborera des questionnaires auxquels répondront les utilisateurs à la fin de chaque cours sur les processus opérationnels, afin de répondre aux besoins de la haute direction en matière de rapports de suivi.

Responsable : Directeur exécutif associé, Bureau des services partagés, Secteur de la gestion et des services intégrés

Échéancier : Juin 2014

GESTION DE L’ACCORD SUR LES NIVEAUX DE SERVICE

Constatation sommaire

L’accord sur les niveaux de service et les accords sur les niveaux opérationnels ont été établis entre RNCan et AAC, ils sont documentés et ils décrivent les responsabilités et rôles généraux. Lorsqu’il négocie ses accords avec AAC, RNCan devrait détailler plus précisément son rôle dans les divers domaines et énoncer clairement les exigences en matière de surveillance de la prestation des principaux services à l’aide d’indicateurs de rendement clés.

Observations connexes

Les annexes de l’accord sur les niveaux de service (accords sur les niveaux opérationnels) contiennent de la documentation sur les processus qui traite des sujets de façon adéquate et suffisante. En général, RNCan utilise les processus existants d’AAC et quand une demande de gestion de changement, de gestion de version ou de formation est faite, AAC gère le processus d’intervention et donne suite à la demande. Dans l’ensemble, l’examen de la documentation n’a permis de trouver aucun énoncé de rendement spécifique.

Surveillance et rapports

Les normes pour l’accord sur les niveaux de service et l’accord sur les niveaux opérationnels sont générales, et les gestionnaires de RNCan ne savent pas d’où viennent les normes de service, ni comment elles ont été élaborées. Le CE-AAC exige des rapports trimestriels sur des mesures quantitatives, p. ex. le volume de la formation, les appels au bureau d’aide, les délais de réponse, les priorités de l’exercice en matière de développement, les demandes de changement et les ressources de RNCan au CE-AAC. L’équipe d’audit a découvert que les rapports ne sont précis que lorsque les normes de service sont explicites. Ainsi, l’accord sur les niveaux de service indique qu’AAC doit envoyer un accusé de réception aux clients dans 90 p. 100 des cas mentionnés dans l’accord.

Les données suivantes indiquent qu’AAC a respecté cette norme de service pour RNCan dans 95 p. 100 des cas. Un accusé de réception a été envoyé par le centre TI conformément à la norme sur les niveaux de service : AAC = 85 p. 100; ACIA = 65 p. 100; RNCan = 95 p. 100^{Note de bas de page 15}. Des commentaires non officiels ont été collectés à RNCan (surveillance du bureau d’aide, évaluations des cours), et des rapports d’activités occasionnels ont été remis au CRPO et aux comités du partenariat.

Cependant, les travaux réalisés dans le cadre de l’audit révèlent que le CGPS n’a pas demandé de rapports sur l’efficacité, p. ex. le rendement global du système et l’évaluation de la satisfaction des utilisateurs, et qu’aucune documentation officielle n’appuie la gestion de l’accord sur les niveaux de service, la surveillance et la production de rapports à l’échelle du Ministère.

Renouvellement de l’accord

Selon les discussions présentées dans les procès-verbaux du CGPS sur la mise à jour de l’accord sur les niveaux de service actuel qui a expiré le 31 mars 2013, RNCan est plus déterminé à demander des renseignements supplémentaires sur l’accord sur les niveaux de service et la gestion interne, et les partenaires demandent d’ajouter une clause sur les audits des partenaires et d’accroître la durée de l’accord sur les niveaux de service (cinq ans) et d’y ajouter les coûts variables de la surveillance^{Note de bas de page 16}. Les membres du CRPO interrogés ont admis qu’il est encore difficile de trouver des mesures convenables pour la prestation des services.

De plus, l’équipe d’audit a découvert que des secteurs de responsabilité sont attribués à AAC, mais que les responsabilités de RNCan ne sont pas claires. Ainsi, la reprise après sinistre du centre de données utilisé pour le SAP relève d’AAC. Mais il serait normal que RNCan ait aussi un rôle à jouer si un tel sinistre se produisait. Les attentes d’AAC à l’égard du rôle de RNCan devraient aussi être clairement indiquées dans le nouvel accord sur les niveaux de service, et les rôles de chacun devraient être harmonisés.

RISQUES ET CONSÉQUENCES

À titre de membre relativement nouveau du CGPS, RNCan s’est surtout concentré sur l’apprentissage; la mise en place de mécanismes efficaces pour surveiller et gérer les niveaux de service n’a pas été une priorité jusqu’à maintenant. C’est pourquoi il manque d’information sur laquelle baser la surveillance des normes de service prévue dans l’accord sur les niveaux de service et la négociation des changements à la prestation des services. Il y a un risque que les futurs accords sur les niveaux de service ne répondent pas adéquatement aux besoins de RNCan en matière de mise en service.

RECOMMANDATIONS

3. Le Secteur de la gestion et des services intégrés (SGSI) devrait, au nom de Ressources naturelles Canada (RNCan), tirer parti du processus actuel de renouvellement de l’accord sur les niveaux de service et des accords sur les niveaux opérationnels pour clarifier les responsabilités de RNCan et d’Agriculture et agroalimentaire Canada (AAC). L’accord révisé devrait prévoir un nouveau mécanisme pour la surveillance de la prestation des principaux services à l’aide d’indicateurs de rendement clés.

4. Le SGSI devrait inscrire les questions liées au SAP à tous les ordres du jour des réunions du Comité consultatif des clients du Bureau des services partagés (BSP), afin de cerner les besoins des utilisateurs et d’y répondre.

RÉPONSE DE LA DIRECTION, PLAN D’ACTION ET ÉCHÉANCIER

3. La direction accepte cette recommandation.

Pendant le renouvellement de l’accord sur les niveaux de service, le DG-DGF, le DPI et le DE-BSP sont responsables de déterminer les mécanismes de surveillance de la prestation des principaux services à l’aide d’indicateurs de rendement clés.

Échéancier : Le renouvellement de l’accord sur les niveaux de service et des accords sur les niveaux opérationnels doit être terminé au plus tard le 31 décembre 2013.

4. La direction accepte cette recommandation.

Le SGSI commencera à inscrire les questions liées au SAP aux ordres du jour des réunions du Comité consultatif des clients du BSP.

Responsable : Directeur exécutif, Secteur de la gestion et des services intégrés

ANNEXE A – CRITÈRES D’AUDIT

Le rendement réel a été évalué en fonction des critères d’audit. Cette évaluation a abouti à une constatation favorable ou à la détermination d’un domaine à améliorer.

Critères d’audit utilisés pour réaliser l’audit

Sous-objectifs de l’audit	Critères d’audit
Sous-objectif 1 : Les rapports standard et personnalisés produits par le SAP répondent aux besoins des utilisateurs et sont facilement accessibles.	1.1 L’information du SAP liée aux rapports est présentée et distribuée dans un format et selon un échéancier qui satisfont aux exigences en matière de rapports et qui permettent aux utilisateurs d’assumer leurs responsabilités. (BCGNote de bas de page 17 : GR-18 – Gestion et rapports; OCTINote de bas de page 18 : PS-11 – Gestion des données) 1.2 Les commentaires des utilisateurs et d’autres intervenants servent à assurer la pertinence des rapports SAP et leur alignement sur les besoins des utilisateurs, ainsi qu’à cerner des possibilités d’amélioration. (BCG : SC-2 – Satisfaction des clients; OCTI : PS-8 – Prestation et soutien)
Sous-objectif 2 : Les processus et les mesures de contrôle liés à la sécurité du SAP pour les rôles d’utilisateur actuels sont efficaces.	2.1 RNCan a mis en œuvre des processus et des mesures de contrôle liés à la sécurité des utilisateurs du SAP pour garantir l’accessibilité, l’utilisation et la mise à jour appropriée des données et assurer que les utilisateurs peuvent assumer efficacement leurs responsabilités. (BCG : GR-23 – Gestion et technologie de l’information générale; OCTI : PS-5 – Prestation et soutien)
Sous-objectif 3 : La formation SAP actuellement offerte aux utilisateurs de RNCan satisfait aux exigences des utilisateurs établis.	3.1 RNCan offre à ses employés la formation, les outils, les ressources et l’information liés au SAP dont ils ont besoin pour assumer leurs responsabilités. (BCG : PE-4 – Personnes); OCTI PS-7 – Prestation et soutien) 3.2 Il existe un processus de communication et d’échange de l’information qui appuie la diffusion efficace et ciblée de l’information sur le SAP pertinente et fiable aux personnes qui en ont besoin. (BCG : PE-4 – Personnes); OCTI : PS-7 – Prestation et soutien)
Sous-objectif 4 : RNCan gère et surveille adéquatement les accords sur les niveaux de service et les accords sur les niveaux opérationnels.	4.1 La direction a mis en place un mécanisme efficace pour surveiller et gérer le respect des engagements liés aux niveaux de service précisés dans l’accord sur les niveaux de service et les  accords sur les niveaux opérationnels connexes. (BCG : RR-3 – Résultats et rendement); OCTI : SE-2 – Surveillance et évaluation)