Comment les évaluations sont réalisées à RNCan

Évaluations - ppt  (720 kb)

But

• Fournir de l’information sur la façon de planifier, établir le coût et diriger des évaluations lorsque celles-ci sont incluses dans le plan quinquennal d’évaluation du Ministère.

Le cycle des rapports d’évaluation

[version textuelle - Le cycle des rapports d’évaluation]

Examen de l’évaluation

• Les études d’évaluation sont préparées sur les bases suivantes :
  • les profils de programme (p. ex. objectifs; modèles logiques; organisation et gouvernance; dépenses; évaluation de l’information sur le rendement);
  • la calibration de l’évaluation basée sur des critères de risque, dans le cadre du plan quinquennal général;
    • (c’est-à-dire renouvellement de programme; importance relative; contexte et besoin; visibilité; pratiques et structure de gestion; complexité des politiques et de l’exécution; mesure du rendement; évaluation antérieure et conclusions de l’évaluation);
  • les points à évaluer (la politique du SCT détermine les points à évaluer génériques et ceux-ci peuvent être complétés par d’autres points à évaluer déterminés par le Programme);
  • un plan initial quant à la façon d’exécuter l’évaluation (c’est-à-dire méthodes à suivre et niveaux d’effort; stratégies de passation de marchés; calendrier d’exécution; coûts estimatifs).
• Les études d’évaluation sont établies selon l’expérience et le jugement professionnel.

Considérations de portée/coûts

• D’après l’étude d’évaluation, la portée et les coûts sont établis en tenant compte des éléments suivants;
  • Normes minimums de la politique du SCT et des « sources de données » requises (p. ex. documents; entrevues; données administratives; résultats d’enquêtes; études de cas; groupes de consultation).
  • Évaluation des risques internes de la DES selon d’autres méthodes favorisant la qualité, la rigueur et la richesse de l’évaluation.
    • Niveau suffisant de preuve à recueillir pour permettre de tirer des conclusions touchant chaque programme (en particulier les programmes de S et C).
    • Il y a de nombreux facteurs de risque (page précédente) et autres considérations, p. ex. :
      • nombre de programmes, disponibilité des données, évaluations antérieures;
      • suffisamment de répondants pour assurer un compte rendu complet;
      • des entrevues en personne sont toujours préférables à des entrevues par téléphone;
      • les enquêtes fournissent une information moins approfondie provenant de nombreuses personnes;
      • les études de cas apportent des connaissances approfondies sur un projet et sur la façon dont les projets aident à atteindre les objectifs du programme.
• Nécessité de la passation de marchés.

Passation de marchés

• On peut recourir à des entrepreneurs au sein de l’équipe d’évaluation dans les circonstances suivantes :
  • Le besoin d’une expertise en la matière;
  • Considérations de capacité interne et choix du moment;
  • Le besoin de l’engagement d’une tierce partie (non RNCan).
• L’optimisation des ressources (combinaison optimale des ressources internes et externes) est déterminée par les éléments suivants :
  • La disponibilité de personnel interne pour répondre aux exigences;
  • Le processus d’approvisionnement concurrentiel conçu pour obtenir la meilleure valeur pour l’État.
• L’équipe d’évaluation dispose d’une entente d’approvisionnement avec neuf cabinets d’évaluation* en vertu d’un processus concurrentiel de qualification du cabinet et des entrepreneurs.
  • Selon le mandat, une demande de proposition est envoyée à au moins 4 cabinets.
  • La passation de marché prend au moins 3 mois depuis de l’énoncé de travail jusqu’au marché signé.
• Les réponses à la demande de proposition offrent des suggestions quant à la modification de l’énoncé de travail et à ce que la société est prête à faire en fonction du budget disponible.
• Si un expert en la matière est requis, l’équipe d’évaluation conclut un marché directement avec l’expert pour l’intégrer à l’équipe (p. ex. expertise nucléaire).

* KPMG; Science Metrix; PMN; PRA; Goss Gilroy;TDV Global; Boulton; Baastel; CPM.

Mandat

• Le mandat découle de l’étude d’évaluation et de l’analyse de la portée et des coûts.
• Le mandat doit être approuvé par le Comité d’évaluation.
• Le mandat comprend :
  • aperçu de l’entité évaluée;
  • enjeux et points à évaluer;
  • méthodes (p. ex. entrevues, enquêtes) à suivre;
  • méthode de passation de marchés (c’est-à-dire interne, sous-traitance ou hybride);
  • calendriers d’exécution;
  • ressources requises (p. ex. coûts contractuels estimatifs);
  • gouvernance (p. ex. groupes de travail du programme et agents d’évaluation).

Travail sur le terrain

• Les évaluateurs travaillent sur plusieurs projets simultanément.
• Le travail sur le terrain soulève de nombreux défis :
• le travail sur le terrain exige l’apport de programmes;
  • les coordonnées concernant les enquêtes et les répondants ne sont pas toujours facilement disponibles;
  • les entrepreneurs ont beaucoup de difficulté à gérer les retards involontaires;
  • le travail est touché par des variables saisonnières; p. ex. les répondants ne sont pas disponibles en été; les entrepreneurs et les responsables des programmes sont très occupés à l’approche du 31 mars.
•  Des rapports techniques sont généralement produits pour chaque méthode (p. ex. entrevues). Toute l’information est analysée par point à évaluer.
• Des conclusions préliminaires sont présentées aux responsables des programmes pour confirmer les conclusions et solliciter toute information supplémentaire.

Rapport et recommandations

• Les conclusions préliminaires servent à mettre en évidence et à valider les enjeux importants découlant de la preuve recueillie et à fournir une base pour le plan du rapport.
• Le rapport est rédigé et les recommandations sont établies d’après les conclusions.
• Le rapport provisoire est examiné en détail par les responsables du Programme et des discussions sont entamées au sujet des recommandations (découlent-elles des conclusions; sont-elles logiques; peuvent-elles être mises en œuvre).
• La longueur de l’évaluation dépend de la complexité du sujet (p. ex. un seul ou de nombreux programmes) et de la nécessité de présenter une preuve.
• Les réponses de la direction et le plan d’action sont rédigés par les responsables des programmes et l’approbation du SMA est requise.

Approbation et affichage des rapports

• Le CEM informe le sous-ministre (SM) du rapport et des réponses de la direction et des plans d’action. Le SM doit approuver.
• Les rapports approuvés par le SM sont transmis au SCT et leur qualité peut être vérifiée durant l’examen annuel de l’évaluation du CGR.
• La politique d’évaluation exige des rapports d’évaluation complets et approuvés de concert avec les réponses de la direction et les plans d’action qui doivent être affichés dans les deux langues officielles le temps qui convient (c’est-à-dire 90 jours).
• Les rapports sont examinés par le secrétariat de l’AIPRP et Communications.
• Au besoin, Communications et les responsables des programmes préparent des info-capsules.

Réponses de la direction et suivi

• Les SMA sont responsables de la mise en œuvre des plans d’action pour chaque recommandation.
• La Division de l’évaluation et les secteurs assurent le suivi de la mise en œuvre des plans d’action et tiennent le CEM au courant.
•  Le CEM détermine si les réponses de la direction ont été mises en œuvre de façon satisfaisante et le moment où le dossier peut être fermé.
• L’activité ou le programme sont réexaminés dans le cadre du plan d’évaluation dans le cycle d’évaluation suivant.

Qu’est-ce que l’évaluation ajoute?

• Responsabilisation (rapports affichés et introduction dans les RMR)
• Intégration stratégique dans la prise de décision et l’élaboration de programmes (p. ex. aide à l’élaboration de modèles logiques et de stratégies de mesure du rendement)
  • y compris l’information pour les MC et les présentations au CT
• Perspectives neutres et méthodes de collecte de données supplémentaires
• Preuve pour les examens internes (examens stratégiques/DORS, etc.)
• Changement rectificatif, commençant avant que l’évaluation se termine
• Suivi des recommandations

Conclusions

• Nous espérons que cette présentation a permis de mieux comprendre la façon de planifier, établir le coût et diriger des évaluations.
• Des questions? Envoyez-les à dvinette@nrcan.gc.ca