Évaluation du Programme d’écologisation des pâtes et papiers (sous-activité 2.1.5 de l’AAP)

Table des matières

Acronymes

AFMTC
Alternative Fuels Mixture Tax Credit (crédit d’impôt américain pour les mélanges de carburant de remplacement)
SMA
Sous-ministre adjoint
BDC
Banque de développement du Canada
AC
Accord de contribution
PQA
Programme sur la qualité de l’air
ACEE
Agence canadienne d’évaluation environnementale
SCF
Service canadien des forêts
MAECI
Ministère des Affaires étrangères et du Commerce international du Canada
DG
Directeur général
SM
Sous-ministre
RMR
Rapport ministériel sur le rendement
EE
Évaluation environnementale
CCE
Comité consultatif de l’évaluation
PAE
Plan d’action économique
EC
Environnement Canada
EIE
Énoncé des incidences environnementales
FAO
Organisation des Nations Unies pour l’alimentation et l’agriculture
PPRA
Programme de paiements relatifs au revenu agricole
APFC
Association des produits forestiers du Canada
ETP
Équivalent temps plein
PIB
Produit intérieur brut
GC
Gouvernement du Canada
ITIF
Investissements dans la transformation de l’industrie forestière
PE
Protocole d’entente
RNCan
Ressources naturelles Canada
F et E
Fonctionnement et entretien
AAP
Architecture d’activités de programme
PEPP
Programme d’écologisation des pâtes et papiers
R et D
Recherche et développement
CVAR
Cadre de vérification axé sur les risques
CGRR
Cadre de gestion et de responsabilisation axé sur les résultats
RCI
Rendement du capital investi
ISAD
Initiative stratégique pour l’aérospatiale et la défense
ABR
Accord sur le bois d’œuvre résineux
DES
Division de l’évaluation stratégique
SCT
Secrétariat du Conseil du Trésor du Canada
CEPT
Comité d’examen des paiements de transfert
 

Sommaire exécutif

Introduction

Le Programme d’écologisation des pâtes et papiers (PEPP) a été établi par le gouvernement du Canada (GC) et mis en œuvre par le Service canadien des forêts (SCF) de Ressources naturelles Canada (RNCan). Il avait pour objectif d’améliorer le rendement environnemental de l’industrie canadienne des pâtes et papiers en contribuant à assurer la durabilité environnementale et, par conséquent, à la durabilité commerciale. Le Programme a aidé les compagnies de pâtes et papiers canadiennes à réaliser des investissements en immobilisations qui améliorent le rendement environnemental de l’installation en offrant un crédit de 0,16 dollar par litre de liqueur noire produit dans les usines entre le 1er janvier et le 31 décembre 2009 ou jusqu’à ce que le plafond de 1,0 milliard de dollars de crédits totaux ait été atteint, selon la première éventualité. Les modalités du Programme ont expiré officiellement le 31 mars 2012, dernier jour pour que les entreprises tirent profit des crédits qui leur étaient accordés.

Portée et objectifs de l’évaluation

L’évaluation avait pour but d’évaluer les enjeux et de communiquer les résultats touchant la pertinence et le rendement du PEPP et de formuler des recommandations au besoin. L’évaluation couvrait la période s’étendant de 2008-2009 à 2011-2012 et comprenait 975,5 millions de dollars pour des dépenses. Compte tenu du fait que le Programme a pris fin le 31 mars 2012, l’évaluation visait également à dresser une évaluation critique des facteurs responsables du succès du Programme de même qu’à cerner les pratiques exemplaires et les leçons apprises qui peuvent être utiles à d’autres initiatives au sein de RNCan.

L’évaluation abordait les cinq enjeux centraux de l’évaluation définis par le Secrétariat du Conseil du Trésor dans la Directive sur la fonction d’évaluation, en vigueur depuis avril 2009. En matière de pertinence, les points à évaluer sont les suivants : besoin continu du programme, alignement avec les priorités gouvernementales et alignement avec les rôles et responsabilités du gouvernement fédéral. En matière de rendement, les points à évaluer sont les suivants : réalisation des résultats attendus et démonstration d’efficacité et d’économie.

L’évaluation a été conçue de manière à tirer profit de diverses sources de données afin de garantir que les sources de données combinées engendrent une analyse approfondie et complète. Les quatre méthodes employées pour collecter et analyser les données étaient les suivantes : 1) un examen de documents, de dossiers et de données, 2) des entrevues avec les intervenants (36), 3) un sondage en ligne auprès des participants financés par le projet (N = 115) et 4) trois études de cas sur la planification, la gestion et l’exécution du Programme.

Constatations de l’évaluation

Pertinence

Besoin continu du programme : Le Programme abordait des besoins démontrables dans un environnement de marché mondial en pleine effervescence en donnant accès à des fonds d’immobilisations destinés à des projets qui améliorent le rendement environnemental de l’industrie des pâtes et papiers et renforcent par conséquent la viabilité économique à une époque où l’accès aux capitaux est fortement limité. L’évaluation a révélé qu’au cours des années précédant la mise en œuvre du Programme, les compagnies avaient une capacité limitée d’effectuer des mises à niveau environnementales essentielles en raison du déclin des recettes de l’industrie, de la récession économique mondiale et d’autres pressions compétitives.

Alignement avec les priorités gouvernementales : Le PEPP était conforme à la fois aux priorités du gouvernement fédéral et aux objectifs stratégiques de RNCan. Au cours de la période couverte par l’évaluation, les priorités fédérales démontraient une résolution à développer l’industrie forestière, comme le reflètent les discours du Trône, le Programme sur la qualité de l’air (PQA) et le Plan d’action économique (PAE). Le PEPP était également aligné avec les buts de RNCan tels que définis dans l’Architecture des activités du programme (AAP) (de 2009 à 2012) de l’Objectif stratégique #2 – Responsabilité environnementale.

Alignement avec les rôles et responsabilités du gouvernement fédéral : L’évaluation a révélé que le Programme était très bien aligné avec les rôles et responsabilités du gouvernement fédéral, en particulier les enjeux touchant le commerce international, dont le GC a clairement la responsabilité constitutionnelle. Le gouvernement fédéral a joué un rôle légitime, approprié et nécessaire dans la protection des intérêts du marché canadien en créant un programme de pâtes et papiers ciblé faisant la promotion de la durabilité du secteur forestier. On a déterminé que les accords de contribution (AC) étaient un mécanisme approprié pour verser les fonds du PEPP et tenir les bénéficiaires de l’industrie responsables des résultats environnementaux.

Rendement

Réalisation des résultats attendus : Les données ont montré que le PEPP a réalisé en grande partie ses résultats attendus. On a fait participer toutes les usines de pâtes et papiers admissibles (24 compagnies au total) grâce à des efforts de diffusion ciblés, et 96 p. 100 des propositions ont été financées (N = 102). Le Programme présentait en outre un dossier volumineux et bien organisé d’activités de diffusion couvrant l’ensemble de son cycle de vie, par exemple des présentations, des ateliers, des webinaires, des communiqués de presse officiels et/ou des événements médiatiques de même que la diffusion de lignes directrices et de renseignements clairs sur le site Web du SCF.

Le PEPP a dépassé ses objectifs en matière d’économie et de production d’énergie :

  • On a réalisé des économies d’énergie de 8,4 million de gigajoules par an (GJ/an), soit le double de l’objectif de 4,2 million de gigajoules.
  • On a produit quelque 2,9 millions de mégawattheures par an (MWh/an) d’énergie, soit environ 0,8 million de mégawattheures ou 36 p. 100 de plus que l’objectif de 2,1 millions de mégawattheures.

En outre, des améliorations environnementales ont été notées en ce qui concerne les émissions atmosphériques, la consommation d’eau et les déchets chimiques.

L’évaluation a révélé que le PEPP a contribué à assurer la durabilité environnementale de l’industrie des pâtes et papiers. Par exemple, les projets du PEPP ont collectivement contribué à réduire la consommation de pétrole lourd de l’industrie de 135 millions de litres par an. Cela représente jusqu’à 45 p. 100 de la consommation totale de l’industrie canadienne des pâtes et papiers (qui est d’environ 300 millions de litres par an).Note de bas de page 1Le Programme a également eu des impacts commerciaux positifs pour les compagnies participantes, puisque les sommes engendrées ou économisées par les usines participantes constituaient des recettes nettes après quatre ans. Pour l’industrie dans son ensemble, l’investissement unique de 1 milliard de dollars a été entièrement récupéré après quatre ans avec un rendement annuel total (pour tous les projets combinés) sur le capital investi (RCI) d’environ 320 millions de dollars (soit 26 p. 100 de l’investissement initial).Note de bas de page 2 L’évaluation a confirmé de manière indépendante les constatations du Rapport sur les résultats internes du PEPP avec de légères différences s’expliquant par la période couverte par les renseignements disponibles.

Puisque les bénéfices issus des investissements en immobilisations s’accumulent généralement à long terme, on s’attend à ce que ces améliorations se poursuivent dans l’avenir. En fait, dans une question ouverte, certains cadres de l’industrie interviewés ont indiqué que le PEPP a suscité de l’intérêt à achever d’autres projets visant à améliorer le rendement environnemental. En outre, lorsqu’on leur a demandé de nommer des facteurs ayant contribué à assurer la durabilité environnementale et commerciale à long terme de leur organisme dans une autre question ouverte, 7 p. 100 des répondants au sondage ont nommé le PEPP en particulier.

L’évaluation a cerné de nombreux facilitateurs ayant permis la réalisation des résultats du programme, y compris une volonté politique claire et un soutien des niveaux supérieurs, une expertise interne variée et un modèle de financement à 100 p. 100 fondé sur l’admissibilité et faisant preuve de souplesse en ce qui concerne le lieu de l’investissement. Les versements rétroactifs étaient également permis afin de refléter les réalités économiques de l’industrie et de respecter les échéanciers condensés du Programme.

Le principal défi en matière d’exécution des projets était toutefois le court délai du Programme pour la mise en candidature et la mise en œuvre des projets. La longueur du processus d’examen des projets (y compris les évaluations environnementales) était perçue comme un défi secondaire.

On a observé deux résultats inattendus positifs principaux découlant de ce Programme : 1) renforcement de la capacité interne au SCF et 2) établissement de relations entre le SCF et les intervenants de l’industrie des pâtes et papiers. En outre, des preuves tirées des documents et des sondages ont montré des signes de bénéfices auxiliaires comme la création d’emplois et une compétitivité accrue.

Démonstration d’efficacité et d’économie : Le Programme a géré efficacement ses ressources et ses activités. Plusieurs procédures de gestion et d’opération judicieuses — y compris l’emploi de protocoles d’entente (PE), d’accords de contribution (AC) pour projets multiples et une stratégie de dotation simplifiée — ont contribué à assurer une utilisation efficace et économique des ressources allouées. Les dépenses prévues étaient conformes aux dépenses réelles et les coûts d’exploitation du programme (en pourcentage du financement réel total du programme) ont atteint une moyenne de 2,5 p. 100.Note de bas de page 3 Le rapport des coûts d’exploitation, la taille de l’effectif et les normes de service du PEPP étaient comparables à ceux d’initiatives semblables (p. ex. l’Initiative stratégique pour l’aérospatiale et la défense d’Industrie Canada et le Programme de paiements relatifs au revenu agricole d’Agriculture et Agroalimentaire Canada).

Même si le calendrier du Programme a été rigoureusement respecté, 70 p. 100 des répondants au sondage ayant répondu à une question ouverte ont fait remarquer que le temps limité pour la mise en œuvre des projets a entraîné des difficultés accrues, en particulier pour les projets approuvés au cours des dernières années du Programme. Toutefois, à la fin du Programme, les échéanciers avaient été respectés et l’industrie et les autres intervenants avaient apporté une contribution de plus de 250 millions de dollars aux projets du PEPP, totalisant des investissements directs de 1,2 milliard de dollars.Note de bas de page 4

Les intervenants externes ont laissé entendre que des améliorations administratives étaient possibles sous forme de modèles de rapports plus clairs et d’une plus grande souplesse à l’égard du versement des fonds. Le manque de ressources à temps plein ou de budget alloué aux activités du Programme après le 31 mars 2012 signifiait que des ressources devaient être détournées d’ailleurs au Ministère pour mener les activités de clôture.

Des renseignements sur le rendement sont recueillis et utilisés depuis la mise en œuvre du Programme. Les mesures du rendement du Programme ont notamment été utilisées pour contribuer aux rapports ministériels sur le rendement et à la création du Rapport sur les résultats du Programme. Toutefois, l’évaluation a révélé un manque de clarté entourant la manière dont les données rapportées par les promoteurs de projets après le Programme seront utilisées, soit pour des rapports futurs ou pour fournir des renseignements sur les résultats et impacts à plus long terme du Programme.

Les données issues des entrevues et du sondage indiquent que sans le financement du PEPP, environ la moitié des projets auraient eu peu de chances de se réaliser et les avantages pour l’environnement associés au Programme ne se seraient pas matérialisés. Les projets qui auraient été exécutés sans le financement du PEPP auraient probablement été exécutés sur une période plus longue ou auraient eu une portée réduite, et il est possible que les avantages pour l’environnement ne puissent pas être réalisés pendant la période couverte par l’évaluation.

L’évaluation a permis de cerner, d’après les entrevues, les documents et les études de cas, quatre leçons apprises que RNCan devrait prendre en compte lors de l’élaboration d’initiatives d’envergure et de portée semblables.

  1. Les nouveaux programmes ont l’avantage d’avoir la souplesse nécessaire pour tirer parti des forces existantes et pour éviter les pratiques anciennes ou dépassées qui engendrent des contraintes.
  2. Une combinaison de facteurs et de besoins externes et d’une forte volonté politique peut favoriser la création et la mise en œuvre d’un Programme.
  3. L’exécution d’un programme est facilitée par a) des rôles clairement définis dans une structure de gouvernance en comité ou en équipe et b) la possibilité de consulter les intervenants pendant les premières étapes de la planification.
  4. Les principales décisions de gestion et d’exploitation influent clairement sur l’efficacité du programme.

Conclusions et recommandations

L’évaluation a conclu que le PEPP était pertinent et comblait un besoin démontrable du public canadien et de l’industrie des pâtes et papiers. En outre, les objectifs du PEPP étaient conformes aux priorités gouvernementales de même qu’à l’objectif stratégique ministériel de la Responsabilité environnementale. Il y avait un rôle clair pour le gouvernement fédéral dans ce type de programme.

L’évaluation a également conclu que les résultats attendus du PEPP ont été réalisés et que de grands progrès ont été accomplis à l’égard de la durabilité environnementale à plus long terme de l’industrie des pâtes et papiers. On a également produit des impacts commerciaux positifs. Le PEPP a en outre clairement amélioré le renforcement de la capacité et l’établissement de relations pour les intervenants internes et externes.

En fonction de ces constatations, on formule les cinq recommandations suivantes :

Recommandation 1 : Tirant parti des liens établis grâce au PEPP, le SCF doit continuer d’améliorer sa compréhension des activités de l’industrie et entretenir de solides relations de travail avec ses intervenants de l’industrie.

Recommandation 2 : RNCan (et le SCF) doit continuer de miser sur les pratiques exemplaires et les éléments uniques issus de la conception du PEPP afin de tirer parti de la capacité naissante du Ministère d’exécuter efficacement une grande initiative axée sur l’industrie.

Recommandation 3 : Pour mieux profiter de l’utilité de la collecte des données après le projet, le SCF doit envisager d’établir un moyen officiel de compiler et de communiquer les résultats à plus long terme du PEPP.

Recommandation 4 : RNCan doit envisager de documenter les coûts du cycle de vie du PEPP et autres répercussions pour le SCF , afin d’éclairer les activités futures de conception et d’évaluation des risques des programmes de subvention et contribution.

Recommandation 5 : Le SCF doit étudier la possibilité de saisir des données socioéconomiques importantes et de les communiquer aux Canadiens dans le cadre de programmes futurs axés sur l’industrie ayant une portée nationale et une grande importance.

Tableau des recommandations, des réponses de la direction et du plan d’action
Recommandation Réponse de la direction et plan d’action Responsable (date cible)
1. Tirant parti des liens établis grâce au PEPP, le SCF doit continuer d’améliorer sa compréhension des activités de l’industrie et entretenir de solides relations de travail avec ses intervenants de l’industrie. Le SCF est d’accord avec la recommandation et continuera de travailler directement avec les intervenants de l’industrie en exécutant les initiatives existantes en matière de politiques et de programme et, en particulier, grâce aux interactions existantes du programme Investissements dans la transformation de l’industrie forestière (ITIF). Le SCF s’efforcera de maintenir une capacité de base pour appuyer les efforts soutenus d’engagement à l’égard d’une meilleure compréhension des activités de l’industrie et du maintien des relations établies. SMA – SCF (permanent)
2. Le SCF doit continuer de miser sur les pratiques exemplaires et les éléments uniques issus de la conception du PPEPP afin de tirer parti de la capacité naissante du Ministère d’exécuter efficacement une grande initiative axée sur l’industrie. Le SCF est d’accord avec la recommandation. En 2012, le PEPP a préparé un document sur les leçons apprises en ce qui concerne l’élaboration et l’exécution du Programme. Le Programme a sollicité une rétroaction sur ce rapport de la part de différents intervenants au sein de RNCan. Le document est disponible pour distribution dans les deux langues officielles et peut être trouvé sur le wiki de RNCan (http://wiki.nrcan.gc.ca/index.php/Pulp_and_Paper_Green_Transformation_Pr...). SMA – SCF (permanent)
3. Pour mieux profiter de l’utilité de la collecte de données après le projet, le SCF doit envisager d’établir un moyen officiel de compiler et de communiquer les résultats à plus long terme du PEPP. Le SCF est d’accord avec la recommandation et propose de communiquer les résultats après le projet à l’interne au moyen d’une « fiche signalétique » de 2 pages. L’intention originale était d’achever et de diffuser ce document pour le printemps 2013. On pourrait utiliser des chiffres combinés pour communiquer les résultats après le programme à l’externe. Un ensemble de chiffres pourrait être utilisé pour rendre compte des résultats après programme à l’externe. Toutefois, on a déterminé que les données reçues après le projet pour la période se terminant le 31 mars 2013 ne permettent pas une évaluation exacte des avantages pour l’environnement à long terme réalisés par le Programme, puisque les dates d’achèvement des projets étaient variées et que tous les projets n’ont pas communiqué les gains réels réalisés au cours d’une année civile complète.

Les employés du SCF auxquels les responsabilités de fermeture du PEPP ont été confiées intégreront ce projet dans un plan officiel d’utilisation des données reçues, y compris le rapport après le projet du 31 mars 2014, afin de mettre à jour ces renseignements sous la forme d’une « fiche signalétique sur le rendement du PEPP » concise, publiée auprès des intervenants de RNCan et des intervenants externes au besoin.
SMA – SCF (septembre 2014)
4. RNCan doit envisager de documenter les coûts du cycle de vie du PEPP et autres répercussions pour le SCF de la fermeture du PEPP, afin d’éclairer les activités futures de conception et d’évaluation des risques des programmes de subvention et contribution. Le SCF est d’accord avec la recommandation et propose de tirer parti du rapport existant du PEPP sur les leçons apprises pour diffuser les renseignements sur les responsabilités de fermeture et les impacts du programme. Ces renseignements comprennent les coûts administratifs du programme, le temps et le salaire des employés, les interactions continues avec les intervenants et les exigences en matière de surveillance fondées sur l’expérience des employés du SCF/PEPP entre avril 2012 et juillet 2013. En outre, l’analyse réalisée serait disponible pour aider à éclairer la conception de programmes futurs au sein du SCF et du Ministère. SMA – SCF (janvier 2014)
5. Le SCF doit étudier la possibilité de saisir des données socioéconomiques importantes et de les communiquer aux Canadiens dans le cadre de programmes futurs axés sur l’industrie ayant une portée nationale et une grande importance. Le SCF est d’accord avec la recommandation et propose d’étudier systématiquement la possibilité de recueillir de manière obligatoire des données socioéconomiques importantes et de les communiquer aux Canadiens, le cas échéant, lors de la conception de programmes de financement futurs axés sur l’industrie. L’importance du fardeau sera proportionnelle à l’importance du programme.

Durant tout le PEPP, des indicateurs de rendement qualitatif liés aux paramètres socioéconomiques étaient un élément de rapport recommandé (pas obligatoire) du Guide de mesure du rendement distribué aux promoteurs.

En plus de rendre des comptes sur les indicateurs de rendement quantitatif, les promoteurs sont encouragés à rendre des comptes qualitatifs (anecdotiques) sur tout gain supplémentaire découlant d’un projet financé par le PEPP. Cela pourrait inclure les gains directs et indirects d’un projet exécuté sur place aussi bien que dans la communauté locale.

Le Programme ne souhaitait pas imposer une charge excessive sur le bénéficiaire en rendant obligatoire la prestation de données ne relevant pas du mandat du Programme, conformément à l’AAP 2.1.5 – Responsabilité environnementale de RNCan, même si on l’encourageait dans les rapports environnementaux après le projet. Le fardeau redditionnel a été étudié attentivement lors de la rédaction du Guide de mesure du rendement et des modèles afin de garantir le meilleur alignement possible avec la Directive sur les paiements de transfert du SCT – Annexe B : Éléments de base de la conception : 12. Les obligations administratives des demandeurs et des bénéficiaires, et une stratégie visant à s’assurer que ces obligations ne représentent pas plus que ce qui est nécessaire pour répondre aux exigences du Ministère en matière de contrôle, de reddition de comptes et de transparence.
SMA – SCF (permanent)

1.0 Introduction

Ce rapport présente les constatations, les conclusions et les recommandations de l’évaluation du Programme d’écologisation des pâtes et papiers (PEPP).

Le PEPP a été établi par le gouvernement du Canada (GC) et mis en œuvre par le Service canadien des forêts (SCF) de Ressources naturelles Canada (RNCan). Son principal objectif était d’améliorer le rendement environnemental de l’industrie canadienne des pâtes et papiers en offrant des incitatifs particuliers pour améliorer l’efficacité énergétique industrielle et améliorer la production d’énergie renouvelable. Dans l’Architecture des activités de programme (AAP) de RNCan, ce Programme représentait récemment la sous-activité 2.1.5 sous l’objectif stratégique Responsabilité environnementale.

L’évaluation couvre la période s’étendant de l’exercice financier 2008-2009 à l’exercice 2011-2012 et comprend toutes les activités du PEPP, totalisant 975,5 millions de dollars de dépenses. Puisque le programme s’est terminé le 31 mars 2012, la présente évaluation vise également à évaluer les facteurs sous-jacents de la réussite du Programme, de même qu’à cerner les pratiques exemplaires et les leçons apprises pouvant être utiles à d’autres initiatives de RNCan. L’évaluation a été menée conformément à la Politique sur l’évaluation de 2009 du Conseil du Trésor et au Plan d’évaluation stratégique du Ministère (2012-2013 à 2016-2017).

La conception et les constatations de l’évaluation ont également été éclairées par la rétroaction d’un Comité consultatif de l’évaluation (CCE) composé de représentants du Programme et de l’industrie. Les constatations issues de multiples sources de données ont été intégrées, ce qui a engendré des constatations préliminaires qui ont ensuite été présentées au CCE aux fins de validation.

2.0 Contexte et profil du Programme

2.1 Contexte

Au Canada, le secteur forestierNote de bas de page 5 apporte une contribution d’environ 1,9 p. 100 au produit intérieur brut (PIB) national, avec des recettes annuelles de 57,1 milliards de dollars. En valeur, le Canada est le plus important exportateur de sciage résineux, de papier journal et de pâte de bois du monde, les États-Unis étant le plus gros acheteur des produits forestiers canadiens. Dans le secteur forestier, le secteur de la fabrication de pâtes et papiers a apporté une contribution de 8,5 milliards de dollars au PIB du Canada en 2011 et représentait environ 18 p. 100 de la consommation énergétique industrielle nationale.Note de bas de page 6

Entre 2003 et 2013, le secteur des pâtes et papiers a connu un important déclin économique. Les perspectives actuelles en matière de rétablissement de l’industrie sont mitigées. La demande de certains produits conventionnels comme la pâte de résineux blanchie se maintient alors que les perspectives sont moins positives pour d’autres produits, comme le papier journal et le papier de bureau, car les supports électroniques forcent un déclin de la consommation par habitant.Note de bas de page 7

Le secteur des pâtes et papiers fait également partie des plus grands producteurs d’énergie renouvelable du Canada, principalement grâce à une grande production de déchets de bois pouvant servir de combustible.Note de bas de page 8 Ces déchets comprennent la liqueur noire, un sous-produit des processus de fabrication de pâte chimique brûlé de façon régulière, à la fois pour récupérer les produits chimiques de réduction en pâte aux fins de réutilisation et pour produire de l’énergie et de la chaleur renouvelables.Note de bas de page 9

Les investissements en immobilisations visant à améliorer le rendement environnemental de l’industrie ont été retardés par la situation économique à laquelle l’industrie est confrontée. Parce que le processus de fabrication de pâtes et papiers est énergivore, les améliorations à l’efficacité énergétique et les augmentations de la production d’énergie renouvelable ont le potentiel de produire d’importants gains environnementaux par une réduction de la consommation d’énergie et des émissions atmosphériques et par l’amélioration du traitement des effluents aqueux. C’est dans ce contexte que le gouvernement du Canada (GC) a créé le PEPP afin d’appuyer les investissements en immobilisations dans les usines canadiennes de pâtes et papiers contribuant à la durabilité environnementale, et donc commerciale, de l’industrie.Note de bas de page 10

2.2 Mandat et intervenants

Figure 1 : Répartition des projets du PEPP

Figure 1 : Répartition des projets du PEPP

Source : Adapté du Rapport sur les résultats du Programme d’écologisation des pâtes et papiers

Version textuelle

Figure 1 : Répartition des projets du PEPP

Les endroits où les projets du PEPP sont réalisés sont représentés à l’aide de points verts répartis sur une carte du Canada. Les projets sont implantés dans huit provinces: Colombie-Britannique, Alberta, Saskatchewan, Manitoba, Ontario, Québec, Nouveau Brunswick, and Nouvelle Écosse. Selon cette carte, les projets sont concentrés en Colombie Britannique et au Québec ou New Brunswick.

 

L’objectif du Programme d’écologisation des pâtes et papiers (PEPP) était d’améliorer le rendement environnemental de l’industrie canadienne des pâtes et papiers, contribuant ainsi à la durabilité environnementale et donc commerciale de l’industrie.Note de bas de page 11 De manière plus précise, le Programme aidait les usines canadiennes de pâtes et papiers à réaliser des investissements en immobilisations qui améliorent le rendement environnemental de l’installation, en offrant un crédit de 0,16 dollar le litre pour la liqueur noire produite dans les usines entre le 1er janvier et le 31 décembre 2009, jusqu’à concurrence d’un plafond de 1,0 milliard de dollars en crédits totaux versés, selon la première éventualité.Note de bas de page 12

Le Programme était ouvert à toute entreprise possédant des usines au Canada exécutant des activités de traitement chimique produisant de la liqueur noire.Note de bas de page 13 Les résultats attendus étaient une meilleure efficacité énergétique, une production accrue d’énergie renouvelable, un rendement environnemental amélioré et des investissements en technologie et innovation afin de contribuer à assurer une industrie des pâtes et papiers durable du point de vue environnemental et commercial.Note de bas de page 14

Vingt-quatre compagnies représentant 38 usines de pâtes et papiers de partout au Canada étaient admissibles aux crédits en vertu du Programme (Figure 1). D’après les soumissions approuvées, on accordait un solde créditeur aux entreprises, et elles avaient jusqu’au 31 mars 2012 (date de clôture officielle du Programme) pour retirer des fonds de leur solde pour financer les projets d’immobilisations approuvés.Note de bas de page 15

Les intervenants directs de ce Programme étaient les Canadiens, l’industrie des pâtes et papiers, les bénéficiaires du financement du PEPP et les communautés (y compris les communautés autochtones) dans lesquelles les projets étaient situés.

2.3 Gouvernance et administration

Du point de vue administratif, le PEPP relevait de la responsabilité du sous-ministre adjoint (SMA) du SCF et faisait partie de la Direction de la politique, de l’économie et de l’industrie du SCF à RNCan. Le Programme était mené par un directeur général alors que les activités quotidiennes étaient supervisées par un directeur de programme et un gestionnaire de programme. Après l’expiration des modalités du Programme en mars 2012, un petit nombre d’employés (2 à 4) de la Direction a été chargé de responsabilités à temps partiel et/ou à titre intérimaire pour les activités de clôture restantes, comme la collecte des rapports finaux.

Les autorisations particulières du PEPP sont la Loi sur le Ministère des Ressources naturelles, L.C. 1994, ch.41, article 5) et la Loi sur l’efficacité énergétique, L.C., 1992, ch.36, article 21 d). La législation applicable pour le versement des paiements est la Loi sur la gestion des finances publiques (LGFP) fédérale, et les paiements devaient être effectués conformément à la Politique sur les paiements de transfert du Conseil du Trésor.

2.4 Activités, exécution et organisation

Aux termes du PEPP, la liqueur noire était définie comme incluant tous les sous-produits liquides des processus de fabrication de pâte chimique ayant une valeur calorique positive et brûlé dans des chaudières de récupération aux fins de production d’énergie.Note de bas de page 16 Les entreprises avaient jusqu’au 31 mars 2012 pour utiliser les crédits alloués pour la liqueur noire afin de financer les projets d’immobilisations approuvés. Les crédits gagnés dans une installation de pâtes et papiers pouvaient être dépensés sur des projets admissibles dans une autre installation appartenant à la même compagnie.Note de bas de page 17 Les crédits étaient accordés selon le principe du « premier produit, premier crédité ».Note de bas de page 18

Les bénéficiaires du financement devaient fournir des rapports de progression et des rapports financiers réguliers de même que des rapports annuels plus détaillés.Note de bas de page 19 Les bénéficiaires du PEPP devaient également indiquer toutes les sources de financement connexes et présenter un Énoncé des incidences environnementales (EIE) dans le cadre du processus d’évaluation environnementale afin de fournir des renseignements sur l’incidence environnementale générale du projet.

Tous les projets ont été présélectionnés par RNCan, en consultation avec des experts externes comme ceux d’Environnement Canada (EC), afin de garantir qu’ils respectent les exigences du Programme en matière d’amélioration du rendement environnemental (y compris une efficacité énergétique améliorée ou une production d’énergie renouvelable accrue). Des examens ont été réalisés à diverses étapes, entre autres la présentation de la proposition, la faisabilité technique, le risque présenté par le projet, la conformité aux modalités du PEPP et aux engagements du Canada en matière de commerce international, l’évaluation environnementale et la consultation des Autochtones.Note de bas de page 20 Enfin, les promoteurs devaient également présenter des rapports de progression trimestriels, produire un rapport final complet et fournir un rapport sur les avantages pour l’environnement avant le projet, à la conclusion du projet, un an après et deux ans après la date de fin du projet. Les activités de clôture après la date de fin du Programme comprenaient la collecte et l’examen de ces rapports, les vérifications techniques et financières restantes et/ou les modifications, ajustements et activités en préparation à la présente évaluation. La Figure 2 illustre les principaux jalons de l’échéancier du Programme.

Figure 2 Dates importantes du Programme

Figure 2 Dates importantes du Programme

Source : Adapté du Rapport sur les résultats du Programme d’écologisation des pâtes et papiers.

 
Version textuelle

Figure 2 Dates importantes du Programme

La figure 2 présente les dates importantes du PEPP pour chaque année pour la période de 2009 à 2013.

Juin 2009: Annonce du programme

Août 2009 : Publication du Guide du demandeur

Septembre 2009 : Date limite d’inscription au programme

Septembre et octobre 2009 : Calcul des crédits

Octobre 2009 : Octroi des crédits

Octobre 2009 à septembre 2011 :
Présentation et examen des propositions par le PEPP
Début de la mise en œuvre des projets

Septembre 2011 : Derniers projets présentés

31 mars 2012 : Date de fin du programme

2012-2013 : Phase de clôture

Source : Données fournies par les Finances et l’administration, Direction de la politique, de l’économie et de l’industrie

 

2.5 Financement et ressources

Les ressources du PEPP ont été allouées sur trois exercices financiers, de 2009-2010 à 2011-2012 inclusivement. La majorité des ressources a été consommée au cours des deux dernières années, au cours desquelles la majeure partie du travail d’évaluation et de mise en œuvre des projets a été exécutée. Les dépenses réelles du Programme représentaient 97,6 p. 100 du pouvoir de dépenser autorisé de 1 milliard de dollars. Les ressources prévues et réelles du PEPP sont présentées dans le Tableau 1. Remarquez que le budget du Programme ne s’étendait pas à 2012-2013. Les ressources nécessaires aux activités du Programme en 2013-2014 proviennent d’autres fonds ministériels.

Tableau 1 Dépenses prévues et réelles du PEPP, 2009-2010 à 2011-2012

 

 

2009-2010 (en millions $) 2010-2011 (en millions $) 2011-2012 (en millions $) 2009-2012 (en millions $)
Prévues Réelles Prévues Réelles Prévues Réelles Prévues Réelles
Salaires* 0,6 0,4 1,2 1,0 1,2 0,8 3,0 2,2
F et E 4,1 3,2 11,3 10,1 10,1 8,8 25,5 22,1
S et C 48,7 48,7 402,1 388,5 519,6 513,9 970,5 951,2
Total** 53,4 52,4 414,6 399,7 530,9 523,5 999,0 975,5

Remarques : * ne comprend ni le logement, ni le régime d’avantages sociaux des employés
** les chiffres sont arrondis au million près; il se pourrait que la somme ne soit pas exacte en raison de l’arrondissement

Source : Données fournies par les Finances et l’administration, Direction de la politique, de l’économie et de l’industrie

On a apporté un soin particulier à l’approche en matière de dotation du PEPP. L’embauche était fondée sur l’acquisition de compétences précises pour des tâches définies, afin de garantir qu’un éventail complet d’expertise était à la disposition du Programme dans l’échéancier condensé. Le Programme comptait une moyenne générale de 16 équivalents temps plein (ETP) par exercice financier. Les postes avaient différentes périodes d’affectation (p. ex. contractuel, nommé pour une durée déterminée, échange de cadres). On a employé des contrats de service et des protocoles d’entente pour avoir accès à une expertise et des compétences externes dans les domaines de l’évaluation environnementale, de la vérification technique et d’autres services (p. ex. traduction).

L’administration centrale du Programme se trouvait à RNCan à Ottawa (Ontario). Même s’il n’y avait pas de bureaux régionaux, les employés du PEPP se rendaient dans les usines pour effectuer des visites sur place au besoin. En outre, deux ateliers régionaux ont été organisés au profit des promoteurs (à Montréal et Vancouver) à l’étape des demandes de projet.

2.6 Modèle logique du PEPP

La théorie du Programme et le modèle logique du PEPP (tels que présentés à la Figure 3 ci-après) sont une version raffinée du modèle logique présenté à l’origine dans le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) du Programme.Note de bas de page 21 Les raffinements ont été apportés pour illustrer plus clairement les intrants et les résultats du Programme et pour aider à cerner les indicateurs pour l’évaluation. Ces révisions ont été éclairées par la Vérification du PEPP,Note de bas de page 22 le Rapport sur les résultats du PEPPNote de bas de page 23 et les membres du CCE. Le modèle logique est présenté en fonction des catégories suivantes, numérotées de 0 à 6 :

0. Influences/facteurs externes : De nombreux facteurs externes jugés pertinents pour la conception du PEPP sont décrits dans les cases 0.1 à 0.4. Ces facteurs comprennent notamment un accent accru sur les pratiques durables sur le plan de l’environnement et sur les pressions compétitives comme la récession économique de 2008. Ces facteurs se reflétaient également dans le contexte stratégique du moment (p. ex. le Programme sur la qualité de l’air et le Plan d’action économique).

1. Ressources : Les cases 1.1 à 1.7 détaillent les intrants des intervenants du Ministère et de l’industrie. Cela comprend les dépenses en personnel et en fonctionnement et entretien (F et E) de même que les contributions de financement fournies aux projets (cases 1.1 à 1.3), les investissements en immobilisations des promoteurs eux-mêmes et d’autres sources (1.4) ainsi que divers processus de gestion et soutiens techniques ou administratifs (voir les cases 1.5 à 1.7).

2. Activités : Toutes les activités de programme, y compris l’établissement de lignes directrices, la détermination de l’admissibilité de l’entreprise, le calcul des crédits pour la liqueur noire, l’examen des propositions et les plans de communication, sont décrites dans les cases 2.1 à 2.8.

3. Extrants : Les extrants décrits dans les cases 3.1 à 3.6, comme les guides, les accords de contribution signés, les rapports sur le rendement des projets et toutes les pièces de correspondance ou de documentation afférentes, sont liées aux activités du Programme sur le plan conceptuel.

4. Résultats immédiats : On s’attend à ce que les résultats immédiats soient produits à court terme. Ils comprennent les investissements en immobilisations accrus dans les usines admissibles (case 4.1), de même que la sensibilisation et l’engagement des intervenants, menant à la participation et au soutien des promoteurs en ce qui concerne le Programme (case 4.5). Les projets approuvés devaient être achevés avant le 31 mars 2012, et étaient conçus de manière à inclure la mise en œuvre : i) de contrôles améliorés des émissions, des déchets et de la pollution de même que de la consommation d’eau (case 4.2), ii) de processus visant à améliorer l’efficacité énergétique (case 4.3), et/ou iii) de processus visant à améliorer la production d’énergie renouvelable (case 4.4).

5. Résultats intermédiaires : Les cases 5.1 à 5.5 présentent les résultats attendus du Programme après la mise en œuvre des projets. Cela comprend des émissions atmosphériques réduites (case 5.1), des incidences réduites sur l’eau et les terres (case 5.2), des réductions de coûts découlant des investissements en environnement (case 5.3), de nouveaux flux de rentrées (case 5.2) de même que divers avantages socioéconomiques (p. ex. emplois, communauté, esthétique; case 5.5).

6. Résultats à long terme : La case 6.1 présente le résultat ultime du PEPP, soit que l’on s’attendait à ce que les investissements en innovation et en technologie aient un effet transformateur en contribuant à assurer à long terme une industrie des pâtes et papiers durable du point de vue environnemental au Canada, améliorant ainsi la durabilité commerciale de l’industrie.

Figure 3 Modèle logique du PEPP

Figure 3 Modèle logique du PEPP

Source : Adapté du modèle logique du Cadre horizontal de gestion et de responsabilisation axé sur les résultats du PEPP. Les révisions ont été éclairées par la vérification du PEPP, le Rapport sur les résultats et les membres du CCE.

 
Version textuelle

Figure 3 Modèle logique du PEPP

Le modèle logique présente la théorie du programme PEPP sous forme de diagramme. Il illustre les liens entre les éléments du programme : activités, extrants (livrables tangibles), résultats immédiats, résultats intermédiaires et résultats à long terme ou finaux, qui sont présentés en rangées. Ce modèle logique comprend également une rangée pour les ressources et une autre qui décrit les facteurs importants d’ordre interne et externe qui influencent le développement et la conception du programme.

Chaque rangée est numérotée. Ce modèle logique ne comprend ni lignes ni flèches reliant les éléments de programme (activités, etc.) étant donné qu’il n’y a pas de correspondance unique entre les éléments. Par exemple, plusieurs activités peuvent contribuer à un seul extrant. Ces liens sont indiqués à l’aide de boucles de rétroaction.

Chaque rangée est numérotée de 0 à 6 and son contenu est numéroté et titré comme suit :

0. Influences et facteurs externes

L’élément “Influences et facteurs externes” contient les facteurs importants d’ordre interne et externe qui influencent le développement et la conception du PEPP.

Il y a quatre “Influences et facteurs externes” majeurs dans la strate 0:

0.1 Pressions compétitives accrues dans le secteur mondial des pâtes et papiers.
0.2 Récession économique (contraintes en immobilisations limitant les investissements visant à améliorer les installations).
0.3 Accent accru sur les pratiques durables du point de vue environnemental et améliorations des possibilités en la matière (p. ex. marchés du carbone).
0.4 Contexte stratégique (p. ex. Programme sur la qualité de l’air, Plan d’action économique)

1. Ressources

La strate “Ressources” montre les sept types d’intrants investis dans le programme. Ceux-ci incluent non seulement ceux fournis par RNCan, tel que personnel, fonctionnement et entretien (F & E) et contributions fournies pour le projet (cases 1.1 à 1.3), mais aussi les investissements en capital fournis par les promoteurs eux-mêmes et ceux qui proviennent d’autres sources (1.4). De la même façon, les autres intrants incluent diverses formes de processus de gouvernance et de gestion, ainsi que des soutiens techniques et administratifs qui ont servi à la conception et à l’implantation du programme au sein de RNCan (cases 1.5 et 1.6). On y trouve aussi la supervision du programme et les processus de gestion fournis par les promoteurs de projet. (C.-à-d., industrie, case 1.7).

Les sept types d’intrant sont:

1.1 Personnel Salaires et régime d’avantages sociaux des employés (RASE)
1.2 Fonctionnement et entretien (F et E)
1.3 Subventions et contributions (S et C)
1.4 Investissements, ressources et installations de l’industrie (promoteur ou autre)
1.5 Processus de gouvernance et de gestion du gouvernement
1.6 Soutien technique et administratif (y compris les comités indépendants)
1.7 Processus de supervision et de gestion des projets de l’industrie

2. Activités

L’élément “Activités” du modèle logique du PEPP comprend six domaines importants:

2.1 Établir les lignes directrices et les processus du Programme.
2.2 Déterminer l’admissibilité, calculer et administrer les crédits pour la liqueur noire.
2.3 Examiner les propositions de projet (examens techniques, évaluations environnementales et consultations autochtones).
2.4 Préparer l’accord de contribution (examens d’expert, élaboration, négociation et finalisation de l’AC).
2.5 Surveillance (référence et après) et vérification du projet.
2.6 Diffusion et communication auprès des intervenants.

3. Extrants

Dans un modèle logique, les extrants sont les résultats tangibles des activités. Il y a six extrants qui correspondent à peu près aux activités portant le même numéro :

3.1 Procédures, guides et comités.
3.2 Base de données de compagnies admissibles et de crédits pour la liqueur noire.
3.3 Évaluations environnementales et examens de projet.
3.4 Accords de contribution signés et paiements de transfert.
3.5 Données sur le rendement, vérifications de programme et de projets et rapports.
3.6 Annonces, ateliers, correspondance et documentation.

4. Résultats immédiats

La section portant sur les résultats immédiats du modèle logique montre les résultats à court terme des activités et des extrants du programme. Le sens du mot « court » étant relatif, il peut varier d’un programme à un autre (par exemple, le court terme survient avant le moyen terme qui précède le long terme). En général, le court terme va de trois à cinq ans, le long terme de 10 ans ou plus et le moyen terme de cinq à dix ans.

Il y a cinq résultats immédiats dans le modèle logique du PEPP :

4.1 Investissements en immobilisations accrus et ciblés (projets industriels dans les installations de pâtes et papiers).
4.2 Mise en œuvre de contrôles pour les émissions, les déchets, la pollution et la consommation d’eau.
4.3 Mise en œuvre de processus pour améliorer l’efficacité énergétique.
4.4 Mise en œuvre de processus pour améliorer la production d’énergie renouvelable.
4.5 Sensibilisation et engagement des intervenants.

5. Résultats intermédiaires

Dans la période intermédiaire, une fois que l’investissement en capital ait été fait et les projets implantés, le PEPP appuyait les améliorations qui devaient contribuer de manière directe ou indirecte aux résultats dans cinq domaines qui sont :

5.1 Émissions atmosphériques réduites (gaz à effet de serre, SO2, SRT, particules).
5.2 Incidences réduites sur l’eau et les terres.
5.3 Réductions des coûts découlant des investissements en environnement (économies de combustibles fossiles et d’électricité et autres économies).
5.4 Nouveaux flux de rentrées découlant des investissements en environnement (ventes d’électricité, marchés du carbone, nouveaux produits).
5.5 Avantages socioéconomiques (emplois, communauté et esthétique).

À remarquer que l’évaluation des résultats intermédiaires doit tenir compte du fait que tous les projets ne produisent pas nécessairement tous les résultats.

6. Résultats à long terme

Le résultat à long terme escompté du PEPP est que les investissements en innovation et technologie aient un effet transformateur, comme indiqué ci-dessous :

6.1 Industrie des pâtes et papiers durable sur le plan de l’environnement au Canada, donnant lieu à une industrie plus durable du point de vue commercial.

Boucle de rétroaction

Une boucle de rétroaction relie les « Influences et facteurs externes » (strate 0) aux « Ressources » (strate 1) utilisés par le PEPP. Une seconde boucle de rétroaction relie les Extrants (strate 3) et les Résultats intermédiaires (strate 4). Une plus grande boucle de rétroaction relie les deux premières boucles pour faire ressortir le flux itératif du programme à travers les différentes strates.

Source : Adapté du modèle logique du Cadre horizontal de gestion et de responsabilisation axé sur les résultats du PEPP. Les révisions ont été éclairées par la vérification du PEPP, le Rapport sur les résultats et les membres du CCE.

 

3.0 Objectifs, portée et méthodologie de l’évaluation

3.1 Objectifs et portée

L’évaluation avait pour objet d’évaluer les questions touchant la pertinence et le rendement du PEPP et de formuler des recommandations au besoin. Toutes les étapes de la présente évaluation ont été conçues dans le but de produire un rapport d’évaluation final répondant à la Politique sur l’évaluation du Conseil du Trésor de même qu’aux directives et aux normes afférentes.Note de bas de page 24

L’évaluation couvrait la période s’étendant de 2008-2009 à 2011-2012 et comprenait toutes les activités du PEPP, qui représentent environ 1 milliard de dollars de dépenses. Étant donné que le PEPP s’est achevé le 31 mars 2012, cette évaluation visait également à évaluer les facteurs sous-jacents de la réussite du Programme, de même qu’à cerner les pratiques exemplaires et les leçons apprises pouvant être utiles à d’autres initiatives de RNCan. L’objectif était que les résultats de l’évaluation puissent éclairer efficacement les décisions futures et l’élaboration de programmes dans le contexte de défis ou d’initiatives semblables.

La présente évaluation aborde les cinq enjeux d’évaluation centraux définis par le Secrétariat du Conseil du Trésor dans la Directive sur la fonction d’évaluation, en vigueur depuis avril 2009 :

Pertinence du PEPP :

  • Besoin continu du Programme,
  • Alignement avec les priorités gouvernementales,
  • Alignement avec les rôles et responsabilités du gouvernement fédéral.

Rendement (efficacité, efficience et économie) du PEPP :

  • Réalisation des résultats attendus,
  • Démonstration d’efficience et d’économie.

3.2 Méthodes

L’approche d’évaluation pour ce projet a été élaborée en consultation avec le Comité consultatif de l’évaluation (CCE). Elle a été conçue pour tirer parti de diverses sources de données afin de garantir que les éléments de preuve combinés engendraient une analyse approfondie et complète. Une matrice de collecte de données a été employée pour établir une interliaison entre les questions d’évaluation et les indicateurs de rendement, les méthodes de collecte de données et les sources de données associées, ce qui permettait la triangulation et la comparaison des données pour chaque question pendant l’analyse. Cette pratique aide à garantir la production d’un rapport d’évaluation fondé, défendable et utile.

L’approche de l’évaluation comportait trois phases principales :

  1. La phase de la conception, qui comprenait l’élaboration de la méthodologie et des outils. Ceux-ci étaient validés dans un atelier avec le CCE.
  2. La phase du travail d’évaluation sur le terrain et de l’analyse technique, qui comprend toutes les activités de collecte de données et l’analyse préliminaire des données par méthode.
  3. La phase d’intégration et de reddition de comptes, qui englobe l’intégration et l’analyse des données dans toutes les méthodes ayant mené à la production du présent rapport d’évaluation.

Quatre méthodes ont été employées pour collecter et analyser les données. Le Tableau 2 présente des détails supplémentaires sur chaque méthode de collecte des données :

  1. Examen de documents, de dossiers et de données,
  2. 30 entrevues,
  3. Sondage en ligne auprès des participants au projet financé,
  4. Trois études de cas sur la planification, la gestion et l’exécution du Programme.
Tableau 2 Aperçu des méthodes de collecte des données de l’évaluation
Méthode de collecte des données Détails
1. Examen de documents, de dossiers et de données Un examen de quelque 500 documents, articles de documentation secondaire, dossiers et données du Programme, y compris :
  • Littérature grise sur l’industrie des pâtes et papiers et sur le contexte du Programme.
  • Renseignements nationaux sur les émissions et la consommation énergétique de l’industrie.
  • Documents ministériels (plans stratégiques, rapports annuels, vérifications, etc.).
  • Documents du Programme (bases de données financières ou administratives, surveillance du rendement, extrants de communication, etc.).
2. Entrevues auprès des intervenants (internes et externes) Nombre total d’entrevues................................................... 30
  • Internes (direction et personnel de RNCan et du Programme) ......... 10
  • Externes (PDG/VP de l’industrie, représentants d’entreprise au niveau du projet, représentants provinciaux, associations communautaires)......... 20
3. Sondage sur le Web Sondage en ligne auprès de participants au projet financés
  • 20 questions au total
  • Population totale du sondage (N) ....................................... 115
  • Nombre de réponses (n) .......................................... 56
  • Taux de réponse (†)....................................... 48,7  %
  • Marge d’erreur (‡) ............................................... 9,4 %
4. Études de cas sur la gestion et l’exécution Études de cas............................................................... 3
  • On a examiné le PEPP et deux autres programmes :
    1. Industrie Canada : Initiative stratégique pour l’aérospatiale et la défense (ISAD)
    2. Agriculture et Agroalimentaire Canada : Programme de paiements relatifs au revenu agricole (PPRA)
  • Entrevues (3 chacune pour l’ISAD et le PPRA)................................. 6
  • Examen de quelque 60 documents et dossiers pour les 3 programmes.

Remarques : † Taux de réponses valides = Nombre de sondages remplis divisés par l’échantillon valide, ce qui exclut les répondants potentiels impossibles à joindre; ‡ Calculé en fonction d’une répartition des réponses de 50 p. 100 (c.-à-d. 50 p. 100 oui/50 p. 100 non); niveau de confiance de 95 p. 100 (19 fois sur 20).

3.3 Défis et limites de l’évaluation et stratégies d’atténuation

On aborde ci-après les limites touchant les données et les défis rencontrés pendant la présente évaluation, de même que les stratégies d’atténuation adoptées pour les contrer. Généralement, les défis étaient prévus tôt dans le processus et les stratégies d’atténuation afférentes étaient intégrées de manière proactive dans la conception de l’évaluation. En gros, l’évaluation a été conçue pour utiliser de multiples éléments de preuve pour répondre à chaque question d’évaluation. Les constatations étaient alors validées au moyen de sources différentes. On a cerné des limites précises touchant les données, dont certaines étaient liées à la portée du projet d’évaluation. La quantité de données sur le Programme disponible, le niveau élevé de participation des répondants identifiés et la triangulation des constatations ont tous contribué à minimiser les effets de ces limites sur les résultats de l’évaluation.

3.3.1 Défis

Conception de l’évaluation : La présente évaluation devait relever un défi particulier du fait qu’elle n’éclairerait pas l’orientation ou le renouvellement du Programme puisque le PEPP était terminé. Par conséquent, l’évaluation cherchait à obtenir des renseignements sur les éléments de la conception du Programme a) ayant facilité la mise en œuvre d’une initiative à grande échelle répondant à un besoin pressant, b) ayant été livrés en un court délai et c) susceptibles d’être utiles si une initiative comparable était lancée à l’avenir. En outre, même si l’évaluation a été conçue pour évaluer la pertinence et le rendement, on a mis davantage l’accent sur la collecte de renseignements sur le rendement, en particulier sur les éléments de la conception et de la planification du Programme qui avaient une incidence sur les résultats. Cela a garanti que les recommandations étaient utiles au SCF et à RNCan pour l’avenir.

Collecte de données : Les défis habituels en matière d’évaluation se sont révélés pendant toute l’étape de la collecte des données. On compte parmi ces défis le niveau d’effort requis pour rassembler et aborder les commentaires de multiples membres du CCE sur les outils de collecte des données, l’établissement du calendrier d’entrevue pendant la période des vacances hivernales, la priorisation de la mine de données sur le Programme fournies pour l’évaluation pendant que les données étaient mises à jour en temps réel et la recherche d’initiatives appropriées pour l’étude de cas et l’obtention de leur participation. Des communications régulières entre l’équipe d’évaluation, la DES et les membres du CCE au besoin ont permis de régler tous les problèmes rapidement.

Pour les études de cas en particulier, il est important de remarquer que puisque seulement deux autres initiatives ont été examinées, cela a limité la capacité de tirer des conclusions d’un éventail de contextes plus large. Toutefois, même ces deux initiatives constituent une source de données précieuse pour examiner la gestion et l’exécution de programmes à grande échelle axés sur l’industrie. Puisque le PEPP était unique du fait de son contexte politique, de sa grande importance, de sa portée nationale et de son accent sectoriel ciblé, la méthode de l’étude de cas n’a pas cherché à réaliser des comparaisons directes avec d’autres programmes. Les études de cas ne servent dont pas d’exercice d’étalonnage. Les constatations qui traitent du PEPP et des deux autres initiatives doivent être interprétées dans le but de mettre en perspective les constatations sur la gestion et l’exécution du PEPP et de cerner les pratiques exemplaires et les leçons apprises susceptibles d’être utiles à d’autres initiatives de RNCan.

Attribution : Il est difficile d’attribuer des résultats environnementaux pancanadiens (p. ex. des réductions des émissions de GES) à un seul projet ou programme puisqu’il est possible que des projets ou processus complémentaires influent sur les résultats. À cet égard, l’atténuation s’appuie sur la théorie du changement du Programme pour mettre l’accent sur la contribution du Programme et des projets plutôt que d’attribuer directement au Programme des résultats environnementaux pancanadiens.

3.3.2 Limites touchant les données

Sondage : Compte tenu de la petite population sondée et de la diversité des questions du sondage, il était possible que les répondants ciblés ne soient pas en mesure de répondre avec exactitude à certaines questions de sondage. En fait, les questions posées allaient de renseignements administratifs et financiers aux résultats des projets et à d’autres données sur les résultats. Par conséquent, quelques représentants de l’industrie ont signalé à l’équipe d’évaluation que plus d’une personne dans leur organisme avait répondu au sondage en fonction de leur domaine d’expertise respectif. Néanmoins, les analyses croisées du sondage (par type de projet et par région) suivaient de près les résultats en matière de rendement notés par d’autres sources de données et validaient ainsi dans une certaine mesure les résultats du sondage.

Possibilité de biais : Dès que les points de vue et les expériences des intervenants sont des sources de données importantes dans une collecte de données axée sur la consultation, il y a possibilité de biais. Dans le cas de l’évaluation du PEPP, le Programme était terminé et un Rapport sur les résultats avait déjà été distribué lorsque les données d’évaluation ont été collectées. Il était possible que les personnes interviewées se contentent de répéter l’opinion courante sur le Programme circulant depuis la fermeture de celui-ci ou cherchent à mettre l’accent sur ses caractéristiques et résultats positifs, ce qui exigeait des mesures d’atténuation. De la même manière, les perspectives des représentants de l’industrie interviewés et sondés peuvent avoir été influencées par l’importance des fonds fournis à l’industrie et être motivées par les possibilités de financement futures. En utilisant de multiples éléments de preuve, les renseignements et points de vue qualitatifs étaient équilibrés par des données quantitatives sur les résultats du Programme et la possibilité de conclusions partiales était minimisée.

Études de cas : Compte tenu de la portée de l’évaluation, du nombre restreint d’études de cas sur la gestion et l’exécution (c.-à-d. le nombre d’initiatives différentes examinées) que l’on a pu réaliser a limité la capacité de l’évaluation de mettre pleinement en perspective les constatations du PEPP et de refléter le vaste éventail et la complexité des pratiques dans la communauté fédérale. En outre, des consultations directes auprès des bénéficiaires et des intervenants externes auraient donné une perspective plus équilibrée sur les modèles de gestion et d’exécution utilisés par les initiatives (c.-à-d. l’Initiative stratégique pour l’aérospatiale et la défense [ISAD] et le Programme de paiements relatifs au revenu agricole [PPRA]). Toutefois, comme on l’a déjà mentionné, les études de cas ont confirmé à l’intérieur de la portée du projet les leçons apprises et documentées du PEPP par le SCF et ont cerné des pratiques supplémentaires intéressantes pour la communauté fédérale.

4.0 Constatations de l’évaluation

4.1 Pertinence

4.1.1 Besoin continu du Programme (enjeu 1)

Question : Le PEPP répondait-il à des besoins démontrables?

Oui. Le PEPP donnait accès à un financement d’immobilisations destiné à des projets améliorant le rendement environnemental de l’industrie et, par conséquent, renforçant la viabilité économique à un moment où l’industrie éprouvait de grandes difficultés à demeurer mondialement concurrentielle.

Tous les éléments de preuve ont confirmé que les années précédant la mise en œuvre du Programme faisaient partie des plus difficiles de l’histoire récente pour l’industrie canadienne des pâtes et papiers. Les recettes nettes du sous-secteur canadien de la fabrication de papier ont diminué entre 1998 et 2007Note de bas de page 25 et, par la suite, les compagnies canadiennes ont été particulièrement durement touchées par la récession économique mondiale de 2008, comme le montre une augmentation de 355 p. 100 des pertes nettes.Note de bas de page 26 Les pertes du secteur ont été en majorité attribuées à un déclin de la demande de papier journal, à l’arrivée de nouveaux concurrents peu coûteux comme le Brésil et l’Indonésie, de même qu’à la volatilité des monnaies et du coût des intrants.Note de bas de page 27 Le resserrement des marchés de crédit signifiait que les compagnies avaient un accès limité au financement requis pour apporter des améliorations essentielles à l’équipement vieillissant et pour aborder les préoccupations croissantes au sujet de l’environnement.

Ces points de vue étaient partagés par les intervenants de l’industrie. Par exemple, 75 p. 100 des répondants au sondage d’évaluation convenaient de l’existence d’un besoin important d’amélioration de la durabilité environnementale de leur organisme au moment du lancement du PEPP. En outre, presque tous les répondants au sondage convenaient de l’existence d’un besoin important d’améliorer la compétitivité économique des installations de leur organisme au moyen d’investissements en immobilisations axées sur l’environnement à cette époque (Figure 4).

En plus de ces facteurs contextuels, un crédit d’impôt américain a engendré une distorsion du marché dans l’industrie nord-américaine des pâtes et papiers. Comme le décrit le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) du Programme :

En 2008, les producteurs de pâtes américains ont découvert une faille dans l’Alternative Fuels Mixture Tax Credit (AFMTC) leur permettant de demander un crédit d’impôt remboursable de 0,50 $ US par gallon pour la production d’un mélange de diesel et de liqueur noire. Les paiements versés en vertu de ce Programme étaient estimés entre 7 et 9 milliards de dollars américains au 31 décembre 2009, date à laquelle le Programme expirait. [traduction]

Un document de planification interne du PEPP indiquait qu’à long terme, le crédit d’impôt américain « permettrait aux producteurs américains de reconstituer suffisamment de capitaux pour investir dans des améliorations de la machinerie susceptibles de modifier de façon permanente l’équilibre concurrentiel en Amérique du Nord. » [traduction]Note de bas de page 28

Figure 4 Perception des représentants de l’industrie quant au degré auquel le PEPP répondait aux besoins de leur organisme

Figure 4 Perception des représentants de l’industrie quant au degré auquel le PEPP répondait aux besoins de leur organisme

Source : Données du sondage auprès des représentants de projets de l’industrie du PEPP (n=55 répondants)

 
Version textuelle

Figure 4 Perception des représentants de l’industrie quant au degré auquel le PEPP répondait aux besoins de leur organisme

La figure 4 montre le pourcentage de répondants au sondage (N=55) qui sont d’accord (en combinant D’accord et Fortement d’accord) avec les quatre questions qui apparaissent ci-dessous :

  1. Le PEPP, tel que mis en œuvre, répondait aux besoins de mon organisme
  2. Il existait un important besoin d’améliorer la compétitivité économique des installations de mon organisme au moyen d’investissements en immobilisations axés sur l’environnement.
  3. Il existait un important besoin d’améliorer la durabilité environnementale de mon organisme.
  4. Les objectifs susmentionnés du PEPP étaient bien alignés avec les besoins de mon organisme.

Source : Données du sondage auprès des représentants de projets de l’industrie du PEPP (n=55 répondants)

 

Compte tenu de ces facteurs, le PEPP a clairement comblé les besoins les plus pressants de l’industrie des pâtes et papiers en offrant un accès rapide à un financement d’immobilisations destiné à des investissements axés sur l’environnement. La durabilité environnementale aiderait donc les compagnies canadiennes à rester concurrentielles au niveau mondial à une époque à laquelle l’industrie connaît de graves difficultés.

Maintenant que le Programme est terminé, l’industrie cherche à satisfaire ses besoins futurs. Par exemple, l’Association des produits forestiers du Canada (APFC) a déclaré que ses membres se préparent à renouveler leur main-d’œuvre, à améliorer de 35 p. 100 l’empreinte environnementale du secteur et à générer 20 milliards de dollars supplémentaires en activité économique grâce aux innovations et au développement des marchés.Note de bas de page 29 Les données issues des entrevues et du sondage confirment ce point de vue, puisque les intervenants ont indiqué qu’ils visaient à combler ce besoin de transformation au moyen de leurs propres ressources internes (p. ex. en revendant de l’électricité au réseau, en continuant à travailler sur les économies internes) et en cherchant des possibilités de financement continu au niveau des gouvernements fédéral et provinciaux.

4.1.2 Alignement avec les priorités gouvernementales (enjeu 2)

Question : Le PEPP était-il conforme aux priorités du gouvernement et aux objectifs stratégiques de RNCan?

Oui, les résultats attendus du PEPP étaient clairement alignés avec les priorités fédérales et les objectifs stratégiques de RNCan pendant toute la période couverte par l’évaluation.

Les priorités fédérales pendant la période couverte par l’évaluation (c.-à-d. discours du Trône de 2008 à 2011) faisaient constamment état d’un engagement à développer l’industrie forestière.Note de bas de page 30 Cet engagement se reflétait dans l’objectif principal du PEPP consistant à appuyer les investissements en immobilisations écologiques dans les usines canadiennes de pâtes et papiers qui contribuent à la durabilité environnementale, et donc commerciale, de l’industrie. De plus, le Programme sur la qualité de l’air (PQA) du gouvernement, en cours depuis 2008, est une approche nationale visant à réduire les émissions de polluants atmosphériques et de gaz à effet de serre, et il appuie les investissements visant à réduire les émissions industrielles.Note de bas de page 31 Dans ce contexte, les principaux résultats attendus du Programme (c.-à-d. une meilleure efficacité énergétique, la production d’énergie renouvelable et le rendement environnemental) appuient clairement le PQA.

Le Plan d’action économique (PAE) du gouvernement fédéral appuyait également les investissements visant l’innovation et la diversification dans le secteur forestier. Cela comprenait plus de 200 millions de dollars (issus des budgets de 2009 et 2011) pour l’innovation forestière et le développement des marchés.Note de bas de page 32 Même si le PEPP ne faisait pas officiellement partie du PAE, on s’attendait à ce qu’il encourage les investissements en innovation et en technologie forestières. En outre, le PEPP a été mis en œuvre sur deux ans, ce qui correspondait à l’échéancier du PAE. Il est donc clair que la conception du Programme a été influencée par les objectifs généraux du PAE et les suivait de près.

En ce qui concerne les objectifs ministériels, les personnes interviewées à l’interne ont convenu que le PEPP était aligné avec les buts de RNCan tels qu’énoncés dans l’Architecture des activités de programme (AAP) de l’époque sous l’Objectif stratégique #2, Responsabilité environnementale. Ce résultat indique que le Canada est un chef de file mondial en matière de responsabilité environnementale sur le plan de la mise en valeur et de l’utilisation des ressources naturelles. De la même manière, le CGRR du Programme remarque que le Programme s’aligne sur le mandat plus général de RNCan de « renforcer le développement et l’utilisation responsables des ressources naturelles du Canada et la compétitivité des produits tirés des ressources naturelles du pays. »Note de bas de page 33 Enfin, les buts du Programme reflétaient également la mission du SCF consistant à « promouvoir la durabilité des forêts et un secteur forestier concurrentiel pour améliorer la qualité de vie des Canadiens. » [traduction]Note de bas de page 34

4.1.3 Alignement avec les rôles et responsabilités du gouvernement fédéral (enjeu 3)

Question : Existait-il un rôle légitime, approprié et nécessaire pour le gouvernement fédéral dans le Programme?

Oui. En ce qui concerne les questions de commerce international, le GC a une responsabilité constitutionnelle claire et donc un rôle légitime à jouer dans la protection des intérêts du marché canadien. On a déterminé que les accords de contribution étaient un mécanisme approprié pour tenir les bénéficiaires industriels responsables des résultats environnementaux. En outre, dans le contexte de la sérieuse distorsion du marché à une époque d’accès réduit au crédit à l’échelle mondiale, le Programme était nécessaire pour amener une amélioration du rendement environnemental.

Il est manifeste que le gouvernement fédéral a pris des mesures légitimes et appropriées aux niveaux national et international pour mettre en œuvre un Programme ciblé sur les pâtes et papiers faisant la promotion de la durabilité du secteur forestier.

Au moment de la conception du Programme, les intervenants de l’industrie – représentés par l’APFC – demandaient une intervention fédérale pour appuyer l’écologisation, assurer l’accès au crédit et contrer les subventions américaines.Note de bas de page 35 Il existait en outre amplement de preuves documentairesNote de bas de page 36 (p. ex. notes sur la période de questions, notes du Comité du Programme) montrant que le GC était au courant de la possibilité d’un déséquilibre compétitif dans le secteur des pâtes et papiers en raison de l’Alternative Fuels Mixture Tax Credit (AFMTC) américain. Puisque le gouvernement fédéral avait compétence sur les enjeux d’accès aux marchés nationaux et internationaux selon la Loi sur le Ministère des Ressources naturellesNote de bas de page 37, il a publiquement, ainsi que dans les milieux diplomatiques, exprimé son désaccord avec le crédit d’impôt.

On reconnaissait que toute mesure canadienne devait respecter les modalités de l’Accord sur le bois d’œuvre résineux (ABR). À ce titre, le Ministère des Affaires étrangères et du Commerce international (MAECI) a conseillé à RNCan de mettre l’accent sur les aspects environnementaux comme un élément clé de tout Programme ou tout effort de soutien prévu.Note de bas de page 38 RNCan a confirmé qu’il travaillerait avec l’industrie pour étudier les options, puis le PEPP a été annoncé en juin 2009.Note de bas de page 39

Les preuves issues des entrevues et des documents indiquaient également que l’utilisation d’accords de contribution, qui obligeaient par contrat les bénéficiaires du PEPP à atteindre des objectifs environnementaux, était supérieure au modèle du crédit d’impôt américainNote de bas de page 40 et appropriée au rôle du GC, surtout en tenant compte des modalités de l’Accord sur le bois d’œuvre résineux. Chaque AC obligeait les compagnies canadiennes à n’utiliser les fonds qu’aux fins convenues, alors que le modèle américain n’imposait aucune condition au financement.Note de bas de page 41 Le PEPP a été décrit comme une « politique gouvernementale intelligente » parce qu’il avait été conçu pour offrir de plus grands avantages pour l’environnement. Note de bas de page 42

Enfin, les preuves issues des entrevues, des documents et des études de cas ont confirmé que même si plusieurs programmes touchant l’industrie forestière ont été opérationnalisés en même temps que le PEPP, aucun ne visait de façon spécifique les producteurs de pâtes, ne présentait les mêmes objectifs environnementaux et n’avait la même importance que le PEPP.Note de bas de page 43 En outre, la phase de stimulation du PAE du Canada a été lancée en janvier 2009 et destinait de gros investissements à divers autres secteurs industriels, dont l’automobile, l’agriculture, l’exploration minérale et l’infrastructure.Note de bas de page 44 À cet égard, certains intervenants externes ont indiqué que la réaction du gouvernement fédéral dans le secteur des pâtes et papiers était « presque trop tard » compte tenu de la pression exercée sur l’industrie et des fonds de relance alloués à certains autres secteurs plus tôt la même année. En se fondant sur le sentiment d’urgence entourant la mise en œuvre du Programme, les personnes interviewées à l’externe ont laissé entendre que le gouvernement fédéral devrait viser à jouer un rôle plus analytique et proactif afin d’appuyer constamment une industrie durable, plutôt que de réagir après coup lorsque l’accès aux capitaux était devenu un problème urgent.

4.2 Rendement

4.2.1 Production des résultats attendus (enjeu 4)

Question : À quel point le PEPP a-t-il produit les résultats attendus?

Les résultats attendus du PEPP ont en grande partie été réalisés et on a fait participer toutes les usines de pâtes et papiers admissibles en déployant des efforts de sensibilisation ciblés. Les objectifs environnementaux du Programme ont été atteints ou dépassés en ce qui concerne les économies d’énergie et la production d’électricité renouvelable, et d’autres améliorations (p. ex. réductions des émissions, de la consommation d’eau, des rejets de produits chimiques) ont aussi été documentées. Même si divers facteurs facilitants internes ont contribué à cette réalisation, le court échéancier du Programme présentait un défi pour la mise en œuvre des projets et l’exécution du Programme. Enfin, le PEPP semblait avoir contribué à la durabilité environnementale et commerciale à long terme de l’industrie des pâtes et papiers.

Les résultats attendus du PEPP ont été en grande partie réalisés. Les preuves à l’appui sont présentées sous les sous-titres suivants.

Participation de l’industrie : Dans l’ensemble, 24 compagnies ont reçu des crédits en vertu du PEPP pour la production de liqueur noire dans 38 usines de partout au Canada.Note de bas de page 45 Cela représentait l’ensemble du bassin d’usines admissibles (c.-à-d. les usines canadiennes ayant produit de la liqueur noire entre le 1er janvier et le 31 décembre 2009).Note de bas de page 46 Sur les 102 propositions reçues, 98 projets ont été financés (96 p. 100). Le Programme a également traité 71 demandes de modification pour des raisons comme un changement dans l’échéancier du projet, au nom du bénéficiaire ou de la compagnie ou à la portée du projet.Note de bas de page 47 La répartition des projets suivait généralement la répartition des usines chimiques au Canada, la majorité des projets étant situés en Colombie-Britannique, au Québec et au Nouveau-Brunswick. La valeur totale des projets était la plus élevée en Colombie-Britannique, en Alberta et au Québec (voir la Figure 5). La contribution moyenne du PEPP par projet était de 9,7 millions de dollars.

Les données issues des entrevues et du sondage ont indiqué que les projets étaient en majorité déjà définis par les compagnies avant l’annonce du PEPP; en d’autres termes, les projets en étaient à une étape préliminaire ou de planification, mais la mise en œuvre ne pouvait se poursuivre que si des ressources financières étaient disponibles.Note de bas de page 48 Cela confirmait un besoin reconnu par l’industrie pour ces projets et a accéléré par la suite la sélection et la mise en œuvre des projets une fois le Programme officiellement annoncé.

Figure 5 Répartition et valeur des projets financés par le PEPP

Figure 5 Répartition et valeur des projets financés par le PEPP

Source : Compilé par Science-Metrix à partir de données du Programme : Valeurs finales et personnes-ressources des projets du PEPP (octobre 2012)

 
Version textuelle

Figure 5 Répartition et valeur des projets financés par le PEPP

La figure 5 est un graphique en barres qui montre la distribution et la valeur approximative du PEPP- Projets financés. Les provinces sont listées de gauche à droite par ordre croissant de la valeur des projets; les montants sont illustrés, non présentés, mais la série varie de zéro à 400 et 500 millions de dollars.

  1. Au total, 28 projets d’une valeur approximative d’un peu plus de 400 millions de dollars ont été réalisés en Colombie Britannique.
  2. Au total, 7 projets ont été réalisés en Alberta pour presque 200 millions de dollars.
  3. Au total, 22 projets d’une valeur approximative de 135 millions de dollars ont été réalisés au Québec.
  4. Au total, 18 projets d’une valeur approximative de 95 millions de dollars ont été réalisés au Nouveau-Brunswick.
  5. Au total, 11 projets d’une valeur approximative de 75 millions de dollars ont été réalisés en Ontario.
  6. Au total, 3 projets d’une valeur approximative de 30 millions de dollars ont été réalisés en Nouvelle-Écosse.
  7. Au total, 8 projets d’une valeur approximative de 15 million dollars ont été réalisés au Manitoba.
  8. Un projet a été réalisé en Saskatchewan d’une valeur approximative de plusieurs millions dollars.

Source : Compilé par Science-Metrix à partir de données du Programme : Valeurs finales et personnes-ressources des projets du PEPP (octobre 2012)

 

Sensibilisation ciblée : Le Programme avait un dossier volumineux et bien organisé d’activités de sensibilisation couvrant l’ensemble de son cycle de vie. Par exemple, il y avait des preuves documentaires claires de présentations réalisées à l’intention d’associations commerciales et de recherche pour améliorer la sensibilisation de l’industrie (p. ex. APFCNote de bas de page 49, ATPPCNote de bas de page 50, conférences PacwestNote de bas de page 51), d’autres Ministères du gouvernement fédéral et des gouvernements provinciaux pour coordonner les conseils (p. ex. Environnement CanadaNote de bas de page 52, Ministères provinciaux de l’EnvironnementNote de bas de page 53), des intervenants internes pour que les processus administratifs répondent aux besoins du ProgrammeNote de bas de page 54 (p. ex. Comité d’examen des paiements de transfert de RNCanNote de bas de page 55) ainsi que d’auditoires internationaux pour promouvoir la durabilité environnementale (p. ex. Commission européenne des forêts de la FAO).Note de bas de page 56 En 2009, le Programme a organisé plusieurs ateliers et webinairesNote de bas de page 57 pour orienter les promoteurs dans les diverses étapes de la présentation et de la mise en œuvre des projets (p. ex. expliquer les échéanciersNote de bas de page 58, l’admissibilité des projets, le processus d’évaluation environnementale (EE)Note de bas de page 59 et les rapports sur la mesure du rendement).Note de bas de page 60 Ces séances étaient complétées par des renseignements sur le site Web du SCF et par la diffusion de lignes directrices claires comme le Guide du demandeur et le Guide de mesure du rendement du PEPP.Note de bas de page 61 En août 2010, le Programme a envoyé une série de lettres aux compagnies dont l’allocation de crédit pour la liqueur noire avait été approuvée, mais qui n’avaient pas encore transmis de proposition de projet officielle. On encourageait les compagnies à présenter une proposition de projet et on leur rappelait l’échéance du 30 septembre.Note de bas de page 62 Enfin, il y a eu pour presque tous les 98 projets une sensibilisation du grand public sous la forme de communiqués de presse et/ou d’événements médiatiques officiels.Note de bas de page 63

Résultats environnementaux :

Les résultats les plus importants réalisés touchaient les économies d’énergie (c.-à-d. près du double de l’objectif initial du PEPP) et la production d’énergie électrique renouvelable (c.-à-d. dépassant l’objectif initial du PEPP de 36 p. 100). En outre, on s’attendait à ce que les économies d’énergie découlant des projets du PEPP réduisent les émissions de GES des usines de quelque 543 000 tonnes par an.Note de bas de page 64 En plus de ces paramètres, des données ont été collectées sur plusieurs autres objectifs environnementaux avant, pendant et après le projet.Note de bas de page 65 Des améliorations quantitativesNote de bas de page 66 pour ces objectifs ont également été mentionnées par les personnes interviewées et documentées dans les rapports finaux des projets et dans le Rapport sur les résultats officiels du Programme.Note de bas de page 67

Tableau 3 Principaux résultats environnementaux attendus et produits du PEPP
Résultats Objectif (1) Réalisé (2) % de l’objectif réalisé
Économies d’énergie (GJ/an) 4 230 000 8 415 141 199 %
Énergie renouvelable (3) (MWh/an) 2 100 000 2 863 708 136 %

Source : (1) Architecture des activités de programme de RNCan/Grille de mesure du rendement 2011-2012 modèle d’élaboration de l’AAP-CMR du PEPP (sous-activité 2.1.6); (2) Données internes du Programme (rapport récapitulatif des gains du PEPP, octobre 2012 et fichier de feuille de calcul Excel intitulé Figures Feb 1_compressed; (3) Comprend l’électricité renouvelable (on a obtenu 1,66 MWh/an) et l’énergie thermique renouvelable (on a obtenu 1,23 MWh/an)

Facteurs facilitants et obstacles : Dans toutes les sources de données, on a cerné plusieurs facteurs ayant facilité la réalisation des résultats du Programme. Les plus importants étaient les suivants.

  1. Volonté politique claire et appui des niveaux supérieurs – Les personnes interviewées à l’interne et à l’externe ont fait remarquer que le soutien des intervenants de niveau supérieur au gouvernement comme dans l’industrie était un moteur important pour la mise en œuvre rapide d’un Programme visant spécifiquement le secteur des pâtes de bois. Des exemples documentés de pièces de correspondance liées au PEPP et adressées au sous-ministre adjoint (SMA), au sous-ministre (SM) et au ministre indiquaient un engagement clair à ces niveaux.
  2. Expertise variée à l’interne – Il était évident que la direction du Programme reconnaissait l’importance et la nécessité de faire participer un éventail varié d’experts pour faciliter une exécution compétente et sans accrocs du Programme. En utilisant des détachements et des experts-conseils et en tirant parti du Programme Échanges Canada, le PEPP a été doté de gens qui s’y connaissent bien en génie des pâtes et papiers, en consultation des Autochtones, en évaluation environnementale, en subventions et contributions, ainsi qu’en analyse stratégique.
  3. Un modèle de financement à 100 p. 100 axé sur l’admissibilité et souple en ce qui concerne le lieu de l’investissement – Puisque le calcul de la liqueur noire a été établi avant le lancement du Programme, les compagnies savaient exactement à combien de financement elles étaient admissibles et n’étaient pas obligées de « compléter » avec des fonds de contrepartie. La planification des projets a donc été entreprise alors que les ressources financières étaient pratiquement déjà obtenues (à condition que les projets respectent les critères du Programme en matière d’amélioration du rendement environnemental). En outre, la souplesse de pouvoir dépenser les crédits gagnés dans n’importe quelle installation au Canada appartenant à la même compagnie a autorisé des investissements appuyant l’orientation commerciale stratégique de la compagnie. Par conséquent, le financement du PEPP a capté l’intérêt de l’industrie, éliminé la nécessité de dépenser des ressources pour négocier le montant du financement et optimisé les possibilités de contribution à la durabilité environnementale et commerciale de chaque compagnie.

Le plus important défi cerné par toutes les sources de données était le court échéancier de demande et de mise en œuvre des projets. Les personnes interviewées ont indiqué deux problèmes principaux. D’abord, la demande accrue sur une courte période a créé des goulots d’étranglement en ce qui concerne la disponibilité d’équipement, de fournisseurs, de gens de métier au cours des saisons de construction. Ensuite, cela a poussé les compagnies à « choisir la solution de facile » (c.-à-d. de mettre en œuvre les projets les plus simples plutôt que les projets plus risqués susceptibles d’être plus rentables). Certaines personnes interviewées à l’externe ont également laissé entendre qu’un échéancier plus long aurait peut-être encouragé des projets plus transformateurs, même si elles comprenaient qu’il était clair dès le départ qu’aucune prolongation de projet ne serait accordée.

Au sujet de la durée du Programme, 70 p. 100 des répondants au sondage ayant répondu à une question ouverte ont fait remarquer que le temps limité pour la mise en œuvre des projets avait engendré des difficultés supplémentaires, surtout pour les projets approuvés au cours des dernières années du Programme. Cela a parfois entraîné une augmentation des risques liés à la mise en œuvre ou une diminution de la qualité du projet. Par exemple, des coûts supplémentaires se sont ajoutés, moins d’essais préliminaires ont été réalisés et/ou les projets ont parfois été mis en œuvre dans des conditions saisonnières défavorables.

Les preuves documentaires indiquaient que la direction du PEPP était consciente de ces préoccupations des intervenants de l’industrie et on a préparé une justification pour la prolongation du Programme (soit qu’une prolongation permettrait des investissements plus transformateurs, permettrait d’obtenir plus de fonds et permettrait de composer avec les retards des fournisseurs). Le Programme n’a toutefois pas été prolongé.

Un défi secondaire en matière de mise en œuvre du projet, cité par les personnes interviewées et les répondants au sondage et noté dans la documentation, était la longueur du processus d’examen du projet (y compris les évaluations environnementales). Le fait que les projets devaient passer une EE (avec laquelle la plupart des promoteurs avaient peu d’expérience) et que les accords de contribution devaient passer une série d’examens (c.-à-d. juridique, CEPT même pour des modifications mineures) était perçu comme un fardeau. Toutefois, ces processus étaient aussi généralement perçus comme nécessaires et on estimait généralement qu’ils n’étaient pas insurmontables et qu’ils ne nuisaient pas de manière importante à la réussite du projet. Les mesures d’atténuation (comme les ateliers susmentionnés expliquant le processus d’EE) ont aidé à réduire le fardeau pour les intervenants de l’industrie.

Résultats à plus long terme : Pour estimer l’incidence du PEPP sur la durabilité commerciale à plus long terme du secteur des pâtes et papiers, une analyse des facteurs contribuant au rendement du capital investi (RCI) général a été réalisée par l’entreprise Science-Metrix. L’analyse a révélé que le Programme a clairement apporté une contribution considérable à la durabilité commerciale des compagnies participantes puisque les sommes engendrées ou économisées par les usines participantes constituaient des recettes nettes après quatre ans. On a toutefois noté une grande variabilité entre les projets du PEPP, puisque le RCI variait de -1 p. 100 à 1 339 p. 100 de la valeur originale de l’investissement sur une base annuelle. Pour l’industrie dans son ensemble, l’investissement unique de 1 milliard de dollars a été entièrement récupéré après quatre ans avec un RCI annuel total (pour tous les projets combinés) d’environ 320 millions de dollars (soit 26 p. 100 de l’investissement initial).Note de bas de page 68>

En ce qui concerne la durabilité environnementale, l’équipe d’évaluation a réalisé une analyse factorielle à caractère exploratoireNote de bas de page 69 mettant en relation diverses caractéristiques des projets (p. ex. type de projet, emplacement géographique de l’usine, taille de l’usine fondée sur le nombre d’employés, niveau d’investissement) par rapport aux avantages pour l’environnement rapportés. Deux résultats principaux se sont dégagés de l’analyse. Il faut souligner qu’il y a eu un grand manque de régularité d’association dans l’ensemble de données; ces résultats doivent donc être interprétés comme des indications.Note de bas de page 70

  1. Les projets engendrant ce que nous appelons des « économies de pétrole » réduisaient généralement leurs émissions de GES et produisaient de l’énergie thermique renouvelable. Les projets ayant eu le meilleur rendement à cet égard sont ceux touchant les chaudières dans la fourchette d’investissement moyen (entre 13 et 37 millions de dollars), habituellement dans le Canada atlantique. Puisque ces projets touchant les chaudières étaient conformes aux réductions des émissions de GES, il était probable que des améliorations à ce type de technologie soient susceptibles de produire de tels résultats à l’avenir.Note de bas de page 71 En outre, pour l’industrie dans son ensemble, on a déterminé que les projets du PEPP on collectivement contribué à réduire la consommation de pétrole lourd de 135 millions de litres par an. Cela représentait jusqu’à 45 p. 100 de la consommation totale de l’industrie canadienne des pâtes et papiers (qui est d’environ 300 millions de litres par an).Note de bas de page 72 Puisqu’il y avait une association modérée entre ce résultat et la réduction des émissions de GES, on pouvait sans crainte déduire que le Programme semblait avoir eu une incidence importante sur la durabilité environnementale de l’industrie des pâtes et papiers.
  2. Les projets comportant de plus gros investissements (c.-à-d. entre 37 et 108 millions de dollars) produisaient plus souvent de l’énergie électrique renouvelable et présentaient un meilleur RCI ($/an). Les projets ayant le meilleur rendement à cet égard étaient ceux touchant les turbines et chaudières à turbine (habituellement situés en Colombie-Britannique et dans les Prairies). Mis à part le fait que l’on s’attendait quelque peu à ce que les plus gros investissements présentent un meilleur RCI ($/an) en raison de leur envergure, on pourrait également expliquer ce phénomène par le fait que la production d’énergie électrique renouvelable (par comparaison avec la production d’énergie thermique) est un moyen plus efficace de produire des recettes en exportant ce sous-produit vers le réseau. Même si ces types de projets ne présentaient pas nécessairement un plus important RCI individuel en pourcentage de l’investissement initial, leur rendement potentiel dans l’absolu était plus grand. Cela devrait profiter à l’industrie pendant les années à venir, une fois l’investissement initial intégralement recouvré.

Remarque : Compte tenu de la taille relativement petite de l’échantillon et de la représentation inégale des types de projet, les énoncés susmentionnés doivent être étudiés avec prudence. En outre, on doit remarquer que ces constatations s’appuient sur des associations faibles à modérées entre les variables. De ce fait, elles doivent être perçues comme des hypothèses plutôt que des certitudes.

Question : Y a-t-il eu des résultats inattendus (positifs ou négatifs)?

Oui, deux résultats inattendus positifs principaux ont été constatés : un renforcement de la capacité interne du SCT et l’établissement de relations entre le SCF et les intervenants de l’industrie des pâtes et papiers.

Deux résultats inattendus positifs principaux ont été constatés dans toutes les sources de données – le renforcement de la capacité et l’établissement de relations. Ces résultats sont abordés plus en détail ci-après. En outre, les données issues des documents du Programme et du sondage laissaient entrevoir des gains accessoires comme la création d’emplois et une compétitivité accrue (voir la Figure 6).

Figure 6 Perception par les représentants de l’industrie des résultats indirects ou inattendus constatés découlant du ou des projets du PEPP

Figure 6 Perception par les représentants de l’industrie des résultats indirects ou inattendus constatés découlant du ou des projets du PEPP

Source : Sondage auprès des représentants des projets de l’industrie du PEPP (n = 53 répondants)

 
Version textuelle

Figure 6 Perception par les représentants de l’industrie des résultats indirects ou inattendus constatés découlant du ou des projets du PEPP

Les réponses réparties dans 10 catégories sont présentées dans un diagramme à barres horizontales allant du pourcentage le plus élevé à celui le plus faible

  1. Compétitivité accrue : 58%
  2. Meilleur engagement des intervenants et meilleures relations avec eux : 43%
  3. Réaction convenable ou améliorée aux exigences réglementaires: 32%
  4. Création de nouvelles possibilités pour d’autres projets environnementaux: 30%
  5. Élaboration ou révision des normes et procédures internes: 28%
  6. Avantages esthétiques: 26%
  7. Création de nouvelles possibilités d’affaires: 25%
  8. Amélioration de la santé et de la sécurité des travailleurs et de la communauté: 25%
  9. Technologie, produit ou service nouveau ou amélioré (pas dans le plan original): 11%
  10. Emploi accru: 9%

Source : Sondage auprès des représentants des projets de l’industrie du PEPP (n = 53 répondants)

 

Renforcement de la capacité : Le PEPP s’est traduit par une nouvelle capacité pour le SCF de concevoir et d’exécuter avec efficacité une grande initiative axée sur l’industrie. Par exemple, les données issues des documents et des entrevues ont indiqué que le PEPP a aidé à jeter les bases du programme Investissements dans la transformation de l’industrie forestière (ITIF) de RNCan.

L’ITIF a été annoncé dans le Budget 2010 et se poursuivra jusqu’en mars 2014. Il offre 100 millions de dollars pour encourager la prochaine étape de la transformation des usines :

Appuyer l’étude et la commercialisation de technologies de pointe qui offriront de nouvelles applications et de nouveaux produits pour les compagnies forestières, maintenant que l’équipement éconergétique dont on avait si grand besoin est en place, afin de ramener les installations de pâtes et papiers à un niveau concurrentiel.Note de bas de page 73 [traduction]

Le processus de demande et le Guide du demandeur de l’ITIF ont tiré profit des outils créés pour le PEPP, puisque les propositions présélectionnées par l’ITIF doivent subir une évaluation du risque financier et présenter un énoncé des incidences environnementales, conformément au modèle du PEPP. Le Guide indique que (comme pour le PEPP) l’ITIF peut exécuter un processus de consultation autochtone pour les projets au besoin. Les exigences redditionnelles trimestrielles, annuelles et finales des projets sont décrites dans le Guide.Note de bas de page 74 Les données issues des entrevues et d’un examen des documents laissent croire que le SCF a donc adopté les processus créés pour le PEPP dans un autre programme visant une communauté d’intervenants semblable.

Les intervenants industriels ont également fait l’expérience d’une augmentation de la capacité puisque les personnes interviewées à l’externe ont fait remarquer que les processus du PEPP les avaient aidés à acquérir des connaissances sur la manière de présenter une demande dans le cadre d’un programme de financement fédéral. Dans certains cas, ces connaissances ont effectivement été mises à profit pour demander un financement de l’ITIF.

Établissement de relations : La plupart des personnes interviewées dans tous les groupes ont fait remarquer qu’au cours du PEPP, les voies de communication se sont considérablement ouvertes. Beaucoup de gens ont indiqué qu’avant le Programme, l’interaction directe entre les exploitations industrielles particulières et le SCF était très limitée. En conséquence des contacts réguliers entre les promoteurs et les intervenants du gouvernement pendant ce Programme, les deux parties ont eu le sentiment qu’une relation plus solide s’était développée et avait permis de mieux comprendre les processus et les besoins de l’autre. Comme l’indique le Rapport sur les résultats du PEPP et par un peu moins de la moitié (43 p. 100) des répondants au sondage et par 40 p. 100 des personnes interviewées à l’externe au niveau du projet, un exercice semblable d’établissement de relations a également été exécuté entre les usines et les communautés avoisinantes.

4.2.2 Démonstration d’efficience et d’économie (enjeu 5)

Question : Le Programme est-il le moyen le plus économique et le plus efficient de produire les extrants et d’obtenir les résultats visés?

Le Programme a géré efficacement ses ressources avec l’aide de plusieurs procédures de gestion et d’exploitation judicieuses. Les dépenses budgétées correspondaient aux dépenses réelles alors que l’industrie et d’autres intervenants ont apporté une contribution de plus de 250 millions de dollars aux projets du PEPP, totalisant 1,2 milliard de dollars en investissements directs. En outre, le rapport des coûts d’exploitation sur les coûts totaux du programme, la taille de l’effectif et les normes de service du PEPP étaient comparables à ceux d’initiatives semblables.

Toutefois, les intervenants externes ont mentionné des possibilités d’améliorations administratives en ce qui concerne des modèles de rapports plus clairs et une plus grande souplesse dans le versement du financement. Enfin, le manque de ressources à temps plein ou de budget au Programme après la date de clôture de celui-ci signifiait que des ressources devaient être détournées d’ailleurs au Ministère pour exécuter les activités de clôture.

Les données indiquaient que le Programme avait géré efficacement ses ressources et ses activités. Par exemple, les dépenses prévues correspondaient aux dépenses réelles (voir le Tableau 1 à la section 2.5) et les projets ont obtenu plus de 250 millions de dollars (voir la Figure 7) auprès des promoteurs et d’autres sources (comme les fonds provinciaux)Note de bas de page 75. Cela représentait plus de 20 p. 100 des contributions du PEPP. Les coûts d’exploitation réels du Programme (en pourcentage du financement réel total du Programme) étaient de moins de 7 p. 100 au départ et ont diminué chaque année par la suite.Note de bas de page 76 Examinée dans le contexte de l’étude de cas, cette situation était comparable à celle du programme ISAD d’Industrie Canada, qui a réduit son rapport de 13,8 à 4,2 p. 100 en trois ans.Note de bas de page 77

Les études de cas ont également indiqué que le PEPP avait un effectif relativement petit (16 ETP en moyenne) par comparaison avec les deux autres programmes (60 employés ou plus pour les programmes de > 800 millions de dollars) et que ses activités ont été exécutées dans le cadre d’un échéancier semblable aux deux autres programmes. Par exemple, on a estimé que le temps moyen écoulé entre la proposition initiale au PEPP et la signature de l’accord de contribution était de 14 semaines, et respectait les normes de services établies par le Programme (9 à 16 semaines). Note de bas de page 78 Par comparaison, le programme ISAD atteignait une moyenne de 25,2 semaines entre le début de l’étape de la diligence raisonnable et l’obtention de la signature d’approbation du Ministère sur les AC (avec une norme de service de 24 semaines),Note de bas de page 79 alors que le programme d’ITIF a réussi à traiter ses paiements (aucun accord de contribution à signer) en 6 semaines.Note de bas de page 80 Ces renseignements n’ont pas été fournis aux fins d’étalonnage mais plutôt pour montrer que les activités du PEPP ont été réalisées avec des ressources humaines comparativement limitées et dans un échéancier qui correspondait à l’éventail d’autres grandes initiatives axées sur l’industrie.

Figure 7 Contributions aux projets du PEPP (en millions $)Note de bas de page 81a

Figure 7 Contributions aux projets du PEPP (en millions $)

* « Autre » comprend les programmes de financement des gouvernementaux provinciaux et autres, les ressources en nature et les sources de financement non précisées.

Source : Données de programme : Fonds obtenus (octobre 2012)

 
Version textuelle

Figure 7 Contributions aux projets du PEPP (en millions $)Note de bas de page 81b

Donnateur Montant (millions de dollars) %
PEPP 949.2 78%
Promoteur 204.0 17%
Autre:* 56.9 5%
Total: 1,210.1 100%

* « Autre » comprend les programmes de financement des gouvernementaux provinciaux et autres, les ressources en nature et les sources de financement non précisées.

Source : Données de programme : Fonds obtenus (octobre 2012)

 

En ce qui concerne l’administration efficiente des activités du programme (voir le Modèle logique de la section 2 pour obtenir des exemples), les répondants au sondage avaient une perception généralement positive du processus de demande du PEPP et étaient satisfaits de la rétroaction et des conseils fournis par le personnel du PEPP (93 p. 100), de la rapidité de versement du financement (80 p. 100), et de la clarté du Guide du demandeur (78 p. 100). Néanmoins, lorsque interrogés sur les possibilités d’améliorations administratives, environ un tiers des répondants ont laissé entendre que les modèles de rapports sur le rendement étaient difficiles à utiliser et pourraient être mieux alignés avec des modèles industriels courants (et donc familiers), comme ceux utilisés pour les rapports provinciaux. Un autre tiers des répondants a indiqué que l’on pourrait envisager d’instaurer des calendriers de facturation plus souples et/ou un système électronique de présentation des demandes de remboursement pour les initiatives futures. Cela a également été confirmé par les données issues des entrevues.

Procédures de gestion et d’exploitation : L’évaluation a révélé que des procédures de gestion et d’exploitation judicieuses avaient contribué à assurer une utilisation efficace et économique des ressources allouées. Plusieurs exemples sont dignes de mention.

L’utilisation de Protocoles d’entente (PE) a permis de réaliser des économies en accélérant ou en facilitant des procédures administratives longues par ailleurs (en voici des exemples).

  1. Le soutien technique du PEPP a été confié par le SCF à la Division de la foresterie, de l’agriculture et de l’aquaculture d’Environnement Canada (EC). Les tâches d’EC comprenaient la vérification de la production de liqueur noire, les examens techniques des projets, la validation de la conception technique et des estimations des coûts de même que la reddition de comptes mensuels au SCF. L’accord durait du 21 septembre 2009 au 31 mars 2010 et visait un total de 0,5 ETP (ingénieur et ingénieur principal).Note de bas de page 82
  2. Des PE ont été signés avec le Bureau des services partagés (BSP) de RNCan pour le traitement prioritaire des subventions et contributions dans les exercices financiers 2010-2011 et 2011-2012. Ces PE payaient les services d’un ETP et établissaient des normes de services pour le traitement d’un nombre défini de demandes de remboursement reçues par jour. Cela a permis d’éviter de retarder les projets en raison de demandes de remboursement non traitées.Note de bas de page 83
  3. Un PE a été signé avec la Banque de développement du Canada (BDC) afin d’obtenir de l’aide pour évaluer la viabilité financière des demandeurs dont le financement par le PEPP avait été préapprouvé. Il exigeait que la BDC élabore un outil de Rapport d’évaluation des risques que RNCan pouvait utiliser pour déterminer s’il était prudent de verser des fonds d’avance au demandeur.Note de bas de page 84 En outre, il a permis au Programme d’affecter les ressources de manière proactive au besoin et/ou d’intervenir rapidement dans les cas à risque plus élevé.

La négociation d’accords de contribution (AC) pour projets multiples représentait une bonne utilisation de ressources limitées. Le processus d’élaboration des AC exige beaucoup de ressources et il y a beaucoup de chevauchement entre les AC signés avec un promoteur commun. Par conséquent, le PEPP a choisi d’utiliser des « AC pour projets multiples », aux termes desquels un AC était signé pour une série de projets avec le même promoteur. Cette approche a réduit les ressources requises par le promoteur aussi bien que par le Programme pour élaborer les AC. En outre, le temps requis pour traiter les modifications a été réduit puisque le financement déjà approuvé pouvait être déplacé d’un projet à l’autre au moyen d’une seule modification, ce qui a par la suite réduit le fardeau imposé aux promoteurs et à RNCan et donc amélioré l’efficience du Programme.Note de bas de page 85

Les modalités de l’AC du PEPP permettaient des paiements rétroactifs. En moyenne, le temps écoulé entre la présentation de la proposition et la signature de l’AC était de 13 semaines. Les fonds alloués auraient été perdus s’il n’avait pas été possible de comptabiliser rétroactivement les coûts du projet encourus pendant la période entre l’approbation du projet et la signature officielle de l’AC.Note de bas de page 86 En outre, la direction du Programme a pris rapidement la décision (juin 2010) d’élargir sa définition des « coûts encourus » de manière à assurer une meilleure correspondance entre les ressources et les mouvements de trésorerie des promoteurs et à minimiser le nombre de compagnies demandant des paiements d’avance.Note de bas de page 87

Une stratégie de dotation simplifiée était nécessaire pour embaucher des ressources humaines dans le cadre d’un échéancier fini en tenant compte du fait que le Programme avait une date de fin définie. L’emploi de détachements, d’experts-conseils et de travailleurs à contrat a non seulement contribué à diversifier les compétences, mais a également permis une utilisation efficiente de ressources à court terme.Note de bas de page 88 Les documents indiquaient qu’on avait recruté au total 21 personnes sur une période de trois ans pour exécuter le programme. À la clôture du Programme, tous ces employés sauf trois (deux employés nommés pour une période indéterminée et un employé nommé pour une période déterminée) ont été placés au sein du SCF et dans d’autres secteurs du Ministère ou sont retournés dans le secteur privé.Note de bas de page 89 Les ressources restantes ont été affectées aux activités de clôture du Programme jusqu’en septembre 2012.

Clôture du Programme : Les activités de clôture comprenaient les vérifications financières des compagnies exigeant des experts-conseils externes, de même que plusieurs activités de vérification technique, d’examen de rapport final, et de traitement des demandes de remboursement des projets devant être exécutées par les employés du SCF.Note de bas de page 90 En ce qui concerne la planification de la fin du Programme, il y avait des indices que des discussions ont eu lieu sur la clôture du Programme, mais aucun indice qu’on ait convenu d’un plan clair d’élimination progressive. Parce que les modalités du PEPP ont expiré officiellement le 31 mars 2012, aucun fonds dédié n’était documenté dans la planification budgétaire pour 2012-2013, même si l’on s’attendait à conclure les activités dans la première moitié de cet exercice, et des employés étaient affectés à l’exécution de ces activités jusqu’en septembre 2012.

On a demandé au sous-ministre (SM) que les fonds des excédents d’exploitation de 2011-2012 du PEPP soient directement reportés à 2012-2013 et affectés au financement des activités de clôture et de diligence raisonnable finale du Programme. Au total, ces coûts étaient estimés à 565 000 $, ± 50 000 $. Cela comprenait quelque 150 000 $ de salaires et d’avantages sociaux et 415 000 $ de coûts d’exploitation, en majorité associés aux vérifications des projets.Note de bas de page 91 Toutefois, il est clair que les besoins de financement de toute exigence en matière d’exécution du PEPP après le 31 mars 2012 ont été comblés au moyen des fonds d’exploitation discrétionnaires disponibles du SCF.

Question : Les renseignements sur le rendement sont-ils recueillis et utilisés de manière constante?

Oui, il y avait des preuves claires que des mesures détaillées sur le rendement du Programme étaient prises dès la création du Programme et continueraient d’être prises après la clôture du Programme. À ce jour, ces renseignements ont été utilisés pour contribuer aux rapports ministériels sur le rendement aussi bien que pour préparer le Rapport sur les résultats du Programme. Toutefois, on n’a trouvé aucun indice permettant de savoir comment l’information devant être fournie par le projet « après les travaux » de deux ans de l’industrie serait utilisée pour éclairer les impacts à plus long terme du Programme.

Mesure du rendement : Au niveau du Programme, les modèles de collecte des données et les processus de reddition de comptes étaient bien organisés et documentés du début à la fin du Programme, par exemple : le formulaire de demande initial pour établir l’admissibilité du promoteur,Note de bas de page 92 les modèles de feuilles de calcul Excel pour quantifier la production de liqueur noire en fonction de la documentation technique établieNote de bas de page 93 de même que l’élaboration d’une procédure en cinq étapes pour la vérification des crédits calculés pour la liqueur noire.Note de bas de page 94 Le Programme a par la suite produit et distribué un Guide de mesure du rendement pour permettre aux promoteurs « de soumettre des rapports précis et uniformes sur les gains environnementaux et les autres gains découlant du financement du programme. »Note de bas de page 95 Un Modèle de déclaration des avantages pour l’environnement chromocodé a également été distribué de manière à ce que les promoteurs puissent rapporter des données avant, pendant et après le projet. Les mesures obligatoires (fondées sur la proposition de projet) comprenaient :

  • émissions atmosphériques
  • évacuation des eaux
  • efficacité énergétique
  • énergie thermique renouvelable
  • énergie électrique renouvelable
  • autres avantages pour l’environnement
  • production annuelle,
  • projet en fonction et conforme aux spécifications (oui/non).

Les données quantitatives considérables sur la réalisation des résultats, présentées à la section 4.2.1, laissent croire que la stratégie de collecte des données permettait de collecter des données suffisantes pour une analyse subséquente.

Reddition de comptes et collecte de données permanente : Malgré le processus de surveillance du rendement complet, l’évaluation a révélé un manque de clarté entourant l’utilisation continue des données aux fins de reddition de comptes ou de prise de décisions futures. Le Guide de mesure du rendement stipulait que les résultats sur les indicateurs quantitatifs de rendement « doivent être soumis au plus tard le 31 mars de chacune des deux années civiles qui suivent la fin du projet ». Toutefois, les données issues des entrevues internes ont indiqué que ce type de rapport après la fin du projet pouvait ne pas être essentiel puisqu’après le 31 mars 2012, aucune ressource n’était affectée à l’analyse des données recueillies et on n’a trouvé aucune preuve documentée d’un plan du SCF pour l’utilisation future de ces renseignements.Note de bas de page 96 Cela était lié à la question de la clôture du Programme, abordée dans la section qui précède.

En outre, le Programme n’avait pas été conçu pour saisir systématiquement des données susceptibles d’éclairer les gains accessoires ou les autres résultats du PEPP. Plus particulièrement, les bénéficiaires du financement du PEPP ne devaient rendre des comptes que sur les indicateurs environnementaux définis dans leurs objectifs de projet initiaux, conformément à l’objectif exprimé du Programme. On n’exigeait pas de rapports sur les autres gains, même s’ils étaient constatés. Les rapports recommandés (mais facultatifs) comprenaient la santé et la sécurité, la création d’emploi, le perfectionnement des compétences professionnelles, les relations avec la communauté et les Autochtones, et les autres avantages socioéconomiques. Par conséquent, même si des données quantitatives claires étaient constamment recueillies, il est possible qu’il y ait eu beaucoup plus de données disponibles, mais non rapportées. En ce qui concerne la grande importance du PEPP, cela représentait une occasion manquée d’obtenir des renseignements fiables pour mieux comprendre l’incidence des interventions gouvernementales à grande échelle dans des circonstances particulières. Ces renseignements pourraient aider à orienter les décisions futures du Ministère ou du GC dans ces situations, de même que fournir les données sur les coûts-avantages et l’efficacité nécessaires pour améliorer le processus décisionnel.

Question : À quel point les résultats mesurés peuvent-ils être attribués au PEPP?

Les résultats au niveau national n’étaient pas expressément abordés dans la présente évaluation parce qu’il ne s’était pas écoulé suffisamment de temps pour saisir les impacts à plus long terme. Au niveau des projets, toutefois, il était probable qu’environ la moitié des projets n’auraient pas été exécutés sans le financement du PEPP. Ceux qui auraient été exécutés auraient probablement été réalisés en fonction d’un échéancier plus long ou d’une portée réduite.

Pour répondre à cette question, on a demandé aux répondants au sondage de même qu’aux personnes interviewées de discuter de la probabilité de l’exécution de leurs projets en l’absence du PEPP. Trente et un pour cent des répondants au sondage ont indiqué « pas du tout » alors que 26 p. 100 ont indiqué que la probabilité était inférieure à 50 p. 100. Selon ces répondants, les répercussions probables de l’abandon de ces projets comprenaient des coûts de production et d’énergie accrus (66 p. 100), des mises à pied et des fermetures possibles (29 p. 100) et des impacts négatifs sur l’environnement (22 p. 100). De la même manière, moins de la moitié des personnes interviewées à l’externe estimaient que les projets auraient été exécutés sans le financement du PEPP puisque la plupart des compagnies ne disposaient tout simplement pas des capitaux nécessaires pour s’attaquer à de gros projets.

Par conséquent, l’évaluation a conclu que sans le financement du PEPP, il était probable qu’environ la moitié des projets n’aurait pas été mis en œuvre. S’ils avaient été mis en œuvre, cela aurait probablement été en fonction d’un échéancier plus long ou d’une portée réduite, et les avantages pour l’environnement n’auraient pas été réalisés pendant la période du Programme (et de l’évaluation).

Même s’il n’est pas encore possible de mesurer les résultats à long terme et de les attribuer au PEPP, les données issues des entrevues et du sondage indiquent que les améliorations se poursuivront. Trois des quatre cadres d’entreprise interviewés ont déclaré avoir des projets en cours qui découlent du PEPP et le quatrième a dit que la compagnie était dans une meilleure situation économique pour envisager des projets permanents. En outre, deux autres personnes interviewées à l’externe ont déclaré que le PEPP avait jeté les bases de programmes comme l’ITIF, donnant à l’industrie le « changement de pas » nécessaire pour promouvoir les innovations et les sources de revenus diversifiées qui autorisent une durabilité à plus long terme. Cinq des dix personnes interviewées à l’externe ont mentionné des projets permanents découlant des projets du PEPP. D’après les données issues du sondage, les répondants de l’industrie ont indiqué qu’après que les projets financés par le PEPP ont pris fin, l’accent mis sur la réduction de la consommation énergétique (14 p. 100) a été maintenu et 7 p. 100 d’entre eux ont signalé un désir d’améliorer d’autres installations et équipements lorsqu’on leur a demandé quelle était la contribution du financement du PEPP à la durabilité environnementale et commerciale à plus long terme.

Question : Dans l’ensemble, y a-t-il des pratiques exemplaires et des leçons apprises dont RNCan doit tenir compte dans l’élaboration d’initiatives d’envergure et de portée semblables?

Oui, en s’appuyant sur les « leçons apprises » complètes cernées au moyen des entrevues à l’interne et des documents, l’évaluation souligne quatre pratiques exemplaires à prendre en compte pour les programmes futurs, comme on l’a constaté dans les études de cas réalisées sur deux initiatives fédérales d’envergure et de portée semblables.

Les entrevues réalisées à l’interne et les preuves documentaires ont révélé plusieurs leçons apprises du point de vue du Programme. Combiner ces renseignements avec les données recueillies sur les initiatives ISAD et PPRA (examinées dans les études de cas) a permis de cerner quatre pratiques exemplaires que RNCan doit prendre en compte dans l’élaboration des initiatives futures.

Tirer parti des forces existantes et éviter les vieilles contraintes : L’ISAD et le PPRA étaient tous deux fondés sur des programmes antérieurs de leur Ministère respectif. Chaque programme a profité d’un soutien fédéral continu, des grandes connaissances institutionnelles acquises au fil du temps et de relations clairement établies avec le public cible du programme. Toutefois, pour ces deux programmes, la réutilisation de certains processus ou outils est devenue une contrainte (p. ex. l’ISAD a conservé les politiques contraignantes en matière de PI de son prédécesseur alors que pour le PPRA, la réutilisation d’une ancienne base de données a posé des problèmes pour le système de traitement des paiements).

Par contre, puisque le PEPP n’était pas confiné par une structure déjà établie, il avait la souplesse nécessaire pour offrir une réponse rapide aux intervenants et pour utiliser des outils non conventionnels (p. ex. AC pour projets multiples). En outre, les personnes interviewées ont fait remarquer que les processus mis au point pour le PEPP (p. ex. le Guide d’évaluation) ont été modifiés par le SCF pour être utilisés dans le programme ITIF, profitant ainsi de la capacité acquise dans le cadre du PEPP.

La combinaison de facteurs externes et d’une forte volonté politique peut favoriser la création d’un programme : Il était évident qu’une combinaison de facteurs externes avait fortement influé sur la création des trois programmes. Les plus importants de ces facteurs étaient un groupe de pression industriel puissant (ISAD, PEPP), une chute rapide des marchés nationaux et internationaux (PEPP, PPRA) et un gouvernement disposé à satisfaire les besoins au moyen d’un financement ciblé (ISAD, PPRA, PEPP). De la même manière, les trois programmes étaient appuyés par des cadres supérieurs engagés. Ainsi, il semble qu’une disposition politique manifeste à mettre en œuvre chaque programme soit un élément facilitateur.

L’exécution du programme est facilitée par a) des rôles clairement définis dans une structure de gouvernance axée sur un comité ou une équipe et b) la possibilité de consulter les intervenants à l’étape de la planification : Pour l’ISAD aussi bien que pour le PEPP, les politiques fédérales sur les AC imposaient une certaine structure de gouvernance fondée sur un comité. Cette structure était généralement composée d’un groupe financier, d’un groupe d’entreprise et d’une série de plus petits groupes (p. ex. examen des demandes de remboursement, gestion des risques, opérations, communications, TI) chargés de l’exécution du programme. Le PPRA était lui aussi organisé de façon semblable, avec des groupes fonctionnels clés relevant d’un comité central. Des communications régulières et des rôles clairement définis dans cette structure ont autorisé un processus de collaboration et un fonctionnement interne sans accrocs pour les trois programmes.

En outre, pour le PPRA et le PEPP, on s’est consciemment efforcé à l’étape de la planification de consulter les principaux intervenants internes et externes (c.-à-d. ceux qui exécuteraient le programme et ceux considérés comme son bénéficiaire). Une discussion immédiate a permis de cerner clairement les besoins des bénéficiaires et de déterminer les meilleurs mécanismes et meilleures structures d’exécution pour combler ces besoins.

Les principales décisions de gestion et d’exploitation influent clairement sur l’efficacité du programme : Pour les trois programmes, certains processus décisionnels importants, ou leur absence, avaient une incidence positive ou négative sur l’efficience et la rentabilité. Par exemple, on a déterminé que le temps de traitement des demandes et des demandes de remboursement était grandement amélioré par les éléments suivants :

  1. Une stratégie complète de sensibilisation des bénéficiaires visés – le PEPP et le PPRA ont réussi à cibler et à joindre la quasi-totalité du secteur pertinent; par contre, l’ISAD avait au départ une stratégie de sensibilisation pauvre, ce qui s’est traduit par un faible taux d’adoption du programme.
  2. L’utilisation de normes de service – le PEPP et l’ISAD avaient mis en place des normes de service claires facilitant le traitement efficace des demandes et des demandes de remboursement. Même si le PPRA n’utilisait pas de normes de service, les deux programmes ayant succédé au PPRA ont reconnu qu’il s’agissait d’une faiblesse et ont dès lors mis en œuvre les normes de services.

On a déterminé que les trois programmes avaient tiré parti de la capacité interne et externe existante (c.-à-d. connaissances, aptitudes, compétences). Cela a eu pour effet de simplifier les processus, d’améliorer l’expertise à l’interne et de faciliter un cycle d’amélioration itératif au fil du temps.

Les stratégies de surveillance du rendement du PEPP et de l’ISAD étaient bien définies, comportaient des indicateurs et des objectifs clairs et exigeaient des rapports réguliers des bénéficiaires. En outre, il y avait des mécanismes clairs pour rendre des comptes à l’interne au niveau ministériel. Cela a permis aux deux programmes de créer un « rapport sur les résultats » ou un document sur les « points saillants » annuel de sorte que les impacts pouvaient être mesurés et communiqués aux intervenants. Par contre, on a trouvé peu d’indices d’une stratégie claire de surveillance du rendement pour le PPRA. Tout en admettant que ce programme n’avait jamais été conçu pour être une contribution remboursable, il était néanmoins difficile de déterminer rapidement son impact plusieurs années plus tard.

L’absence d’un plan concret de clôture du programme était évidente dans le cas du PEPP et du PPRA. Pour ces deux programmes, cela signifiait que des ressources (humaines et financières) devaient être détournées d’autres secteurs de l’organisme pour apporter les modifications finales aux paiements ou pour recueillir les données finales. Pour le PPRA en particulier, cela a empêché la résolution rapide des appels après la clôture du programme. Toutefois, cela a également représenté une possibilité d’amélioration puisque les programmes ayant suivi le PPRA ont mis en œuvre une procédure distincte pour composer avec les appels interjetés après la clôture du programme. Dans le cas de l’ISAD, le programme n’est pas terminé et, comme les deux autres programmes, ne dispose d’aucun plan de clôture défini. Compte tenu de l’expérience du PEPP et du PPRA, les initiatives futures doivent chercher à mettre en œuvre un plan clair et cohérent de clôture du programme.

5.0 Conclusions et recommandations

Pertinence : L’évaluation a révélé que le PEPP répondait aux besoins du public canadien et de l’industrie des pâtes et papiers dans un environnement de marché mondial en pleine effervescence – d’abord en appuyant des améliorations environnementales et énergétiques ciblées et quantifiables, et ensuite en maintenant la viabilité économique du secteur pendant une période de financement d’immobilisations restreint et de concurrence internationale.

Les objectifs du PEPP étaient conformes aux priorités gouvernementales de même qu’à l’objectif stratégique ministériel de la Responsabilité environnementale. L’évaluation a également révélé qu’il existait un rôle clair pour le gouvernement fédéral dans ce type de programme, compte tenu des avantages environnementaux plus généraux pour les Canadiens et du fait que le PEPP était exécuté en parallèle avec d’autres initiatives de financement ciblé similaires visant à stimuler la capacité dans d’autres secteurs industriels clés.

Rendement : L’évaluation a conclu que les résultats attendus du PEPP ont clairement été réalisés et que de bons progrès ont été accomplis à l’égard de la durabilité environnementale et commerciale à plus long terme de l’industrie des pâtes et papiers. Même si le court délai de deux ans pour la mise en œuvre des projets a présenté des défis pour le Programme comme pour l’industrie, la réussite a été facilitée par de nombreuses décisions clés prises aux étapes de la planification et de l’exécution (p. ex. modèle de financement non concurrentiel, stratégie de sensibilisation ciblée, diversité de l’expertise interne). En outre, le PEPP s’est clairement traduit par une amélioration du renforcement de la capacité et de l’établissement de relations pour les intervenants internes et externes.

Recommandation 1 : Tirant parti des liens établis grâce au PEPP, le SCF doit continuer d’améliorer sa compréhension des activités de l’industrie et entretenir de solides relations de travail avec ses intervenants de l’industrie. Beaucoup de gens ont mentionné qu’avant le Programme, l’interaction directe entre les compagnies et le SCF était très limitée. En conséquence des contacts réguliers et des interactions personnelles entre les promoteurs et les représentants du Programme, les deux parties ont indiqué qu’une relation plus solide et plus familière avait été forgée. Le principal résultat de cette relation améliorée était que les besoins étaient mieux compris des deux côtés et que les processus du Programme étaient mieux conçus. Le SCF pourrait encourager des moyens de tirer parti de ces liens officieux avec l’industrie et chercher des occasions de collaboration permanente. Cela pourrait favoriser des communications plus efficientes et efficaces, aidant ainsi à éclairer la conception des programmes futurs.

L’évaluation a conclu que les activités du PEPP avaient été exécutées de manière efficiente et rentable, comme d’autres initiatives fédérales d’envergure et de portée comparables. Les processus de surveillance et de communication du rendement ont permis de mesurer de façon détaillée les résultats à ce jour. La rentabilité de ce Programme a été en grande partie attribuée à plusieurs procédures de gestion et d’exploitation uniques (p. ex. utilisation de PE, accords de contribution pour projets multiples et processus de dotation simplifiés). En outre, en comparant le PEPP avec des initiatives comparables, l’évaluation a permis de cerner plusieurs pratiques exemplaires (comme la consultation rapide des intervenants et la structure de gouvernance en équipe) ayant permis l’exécution efficiente du Programme.

Recommandation 2 : RNCan (et le SCF) doit continuer de miser sur les pratiques exemplaires et les éléments uniques issus de la conception du PEPP afin de tirer parti de la capacité naissante du Ministère d’exécuter efficacement une grande initiative axée sur l’industrie. La réussite du PEPP repose sur des facteurs facilitants uniques comme le soutien de la haute direction et la consultation des intervenants dès le début de l’étape de la planification, un modèle de financement souple axé sur l’admissibilité, une utilisation créative des PE, la possibilité de paiements rétroactifs et bien d’autres facteurs. Tout en reconnaissant que RNCan a déjà tiré parti de certains éléments du PEPP dans son programme ITIF, maintenir l’accent sur la gestion de l’information et la diffusion des connaissances – surtout en ce qui concerne les leçons apprises et les pratiques exemplaires – garantirait que la mémoire ministérielle est entretenue et utilisée pour éclairer la conception des programmes futurs.

Sans tenir compte des rapports sur le rendement produits à ce jour, la manière dont les données recueillies un et deux ans après le projet (tel que stipulé dans le Programme) seront analysées, communiquées ou utilisées dans les processus décisionnels futurs du SCF ne sont pas claires, surtout en tenant compte du contexte de clôture du Programme.

Recommandation 3 : Pour mieux profiter de l’utilité de la collecte des données après le projet, le SCF doit envisager d’établir un moyen officiel de compiler et de communiquer les résultats à plus long terme du PEPP. Il y a à la fois un besoin démontré (du point de vue des citoyens canadiens) et une attente (du point de vue des intervenants de l’industrie) à l’égard de la mise à jour du Rapport sur les résultats du Programme une fois tous les rapports après le projet reçus. Une telle mise à jour fournirait une preuve de l’incidence transformatrice réelle du PEPP sur la durabilité environnementale et commerciale à plus long terme de l’industrie des pâtes et papiers. Un plan officiel confirmerait également la justification et l’utilité des exigences obligatoires de communication de données liées aux accords de contribution des projets.

Compte tenu des recommandations 2 et 3 susmentionnées, il serait prudent pour RNCan de s’assurer que lors de la conception des programmes futurs, on envisage de préparer des plans clairement définis de clôture du programme, y compris l’affectation de ressources aux activités de clôture. En outre, à la lumière des pratiques exemplaires cernées dans la présente évaluation (p. ex. éviter les anciennes contraintes, documenter les décisions influant sur l’efficacité du programme), il serait utile d’examiner toute leçon apprise découlant des travaux de clôture du PEPP en cours. Afin de documenter les leçons apprises, il existe dans le contexte de ce programme une possibilité d’en apprendre davantage sur les effets de l’absence d’un plan de clôture du programme.

Recommandation 4 : RNCan doit envisager de documenter les coûts du cycle de vie du PEPP et autres répercussions pour le SCF, afin d’éclairer les activités futures de conception et d’évaluation des risques des programmes de subvention et contribution. Un tel exercice pourrait tirer parti des forces existantes et générer des améliorations continues.

Enfin, les bénéficiaires du PEPP étaient tenus de rendre des comptes sur des indicateurs environnementaux particuliers définis dans les propositions de projet. La communication des autres avantages (p. ex. santé et sécurité des travailleurs, création d’emplois, perfectionnement des compétences, relations avec les communautés et les Autochtones) était recommandée, mais facultative. L’évaluation a révélé que certains de ces gains accessoires (p. ex. création d’emplois) ont effectivement été constatés, mais n’ont pas pu être quantifiés de manière concluante. À cet égard, l’évaluation reconnaît que la décision prise à la création du Programme de ne pas inclure les indicateurs socioéconomiques dans le système de rapports sur le rendement des projets était fondée sur de saines pratiques de gestion de programme. L’objectif central du Programme était environnemental, pas socioéconomique, et une communication facultative réduisait le fardeau redditionnel pour l’industrie. Toutefois, du point de vue du public canadien, le contexte économique, la portée nationale, la grande importance et l’utilisation ponctuelle des fonds publics pour appuyer l’industrie des pâtes et papiers pourraient certainement constituer une décision de politique publique unique. À ce titre, on a manqué une occasion de capter des données socioéconomiques, d’en tirer des leçons et de rendre des comptes aux Canadiens et à la communauté fédérale.

Recommandation 5 : Le SCF doit étudier la possibilité de saisir des données socioéconomiques importantes et de les communiquer aux Canadiens dans le cadre de programmes futurs axés sur l’industrie ayant une portée nationale et une grande importance. Les programmes futurs de RNCan visant à apporter un soutien rapide à l’industrie ou mis en œuvre dans un contexte économique unique devraient envisager d’imposer la communication des principaux avantages socioéconomiques afin de quantifier la valeur du Programme pour les Canadiens. En outre, la collecte de ces renseignements présenterait un avantage pour le Ministère lui-même du fait que ces données pourraient servir à élaborer des modèles prévisionnels ou de nouveaux indicateurs d’innovation et de transformation, continuant de ce fait à éclairer et à optimiser la conception des programmes.