(JO du 31 août 2000)
Le Premier ministre à Mesdames et Messieurs les ministres et secrétaires d'Etat (pour information) et à Madame et Messieurs les préfets de régions, Mesdames et Messieurs les préfets de département.
Les modalités selon lesquelles les actions menées dans le cadre des contrats de plan et des contrats de ville pouvaient faire l'objet d'une évaluation ont été définies par une circulaire du 9 décembre 1993. L'expérience acquise depuis lors et la réforme de la procédure d'évaluation des politiques publiques résultant du décret du 18 novembre 1998 me conduisent à redéfinir et compléter ces modalités, en prenant en compte les procédures communautaires et infrarégionales.
Tel est l'objet de la présente circulaire, qui abroge la circulaire du 9 décembre 1993.
Les contrats de plan, les contrats de ville, d'agglomération et de pays, ainsi que les contrats conclus avec les parcs naturels régionaux sont désormais les vecteurs de l'action publique menée conjointement par l'Etat et les collectivités territoriales. Dès lors qu'elles sont inscrites dans un contrat de plan Etat-région, vous pourrez donc inclure dans votre programme d'évaluation les procédures liées aux projets de territoire institués par la loi n° 99-533 du 25 juin 1999 d'orientation pour l'aménagement et le développement durable du territoire.
L'objet de l'évaluation est de mesurer l'adéquation de chaque composante d'un programme aux objectifs affichés. En effet, si les contrats ne sont pas évaluables dans leur globalité, les programmes qui les composent ont leur propre cohérence interne et répondent chacun à une situation particulière. Aussi l'évaluation peut-elle concerner un programme pris isolément, ou plusieurs simultanément, dans la mesure où ils visent à atteindre un même objectif. Elle ne saurait être exhaustive et il appartient aux cocontractants de définir conjointement les programmes qui seront soumis à évaluation.
Vous veillerez toutefois à ce que les priorités définies par les circulaires du 11 mai 1999 et du 27 août 1999 de la ministre de l'aménagement du territoire et de l'environnement, à savoir l'emploi, la solidarité et le développement durable, ainsi que l'impact sur l'effet de serre, soient prises en compte dans le choix des programmes soumis à l'évaluation. Enfin, même si les programmes communautaires font l'objet, pour leur part, d'une évaluation systématique, il est souhaitable que les programmes importants des contrats de plan qui sont cofinancés par les fonds structurels figurent parmi ceux retenus pour l'évaluation.
J'attire également votre attention sur l'intérêt de veiller à une bonne articulation entre cette procédure et l'évaluation triennale des politiques régionales de formation conduite par le comité de coordination des programmes régionaux de la formation professionnelle et de l'apprentissage en application de l'article 53 de la loi n° 93-1313 du 20 décembre 1993.
L'évaluation doit être conduite en bonne intelligence avec l'ensemble des décideurs, afin de leur permettre d'apprécier les effets des actions engagées au regard des objectifs qu'ils se sont donnés. Vous insisterez, dans ce but, sur l'insertion dans les programmes d'indicateurs permettant la mise en uvre de réalisation, responsabilités, indicateurs de performance. L'organisation de l'évaluation ainsi que la liste des premières évaluations envisagées doivent figurer dans le document contractuel.
L'évaluation doit être engagée suffisamment tôt pour que ses conclusions puissent être prises en compte, en particulier pour procéder aux aménagements des contrats qui apparaîtraient nécessaires lors de leur révision en 2003.
Par ailleurs, afin de contribuer à une meilleure efficacité des programmes, elle doit, dans la mesure du possible, être concomitante à la mise en oeuvre des actions engagées.
A cet égard, l'évaluation se distingue du contrôle de gestion. Elle ne doit être réalisée a posteriori que faute d'autre possibilité, et toujours avec l'objectif de disposer rapidement de conclusion opérationnelles.
Elle pourra toutefois être précédée d'études de faisabilité ou de l'établissement d'indicateurs pertinents.
Enfin, dans certaines hypothèses, l'évaluation est susceptible d'être réalisée a priori . Ainsi en va-t-il pour les programmes cofinancés par les fonds structurels, les règlements communautaires imposant un mode d'évaluation qui s'inspire de la procédure des études d'impact, telle qu'elle a été définie par ma circulaire du 26 janvier 1998.
Au besoin, il est possible de mobiliser la mission d'expertise économique et financière (MEEF) placée auprès du trésorier-payeur général de région.
2.1. Le comité de pilotage
Le dispositif à mettre en place en région s'organise autour d'un comité de pilotage et d'instances techniques.
Une section spécialisée de la conférence régionale d'aménagement et de développement du territoire (CRADT), instaurée par la loi du 25 juin 1999 d'orientation pour l'aménagement et le développement durable du territoire, assure les fonctions de comité de pilotage des évaluations des contrats de plan.
En sont membres de droit le représentant de l'Etat et le président du conseil régional, qui participent à la CRADT, ainsi que le trésorier-payeur général. Les élus des collectivités concernées non membres de la conférence y participent lorsque sont examinées des évaluations qui les concernent.
Il convient également d'assurer la participation au comité de pilotage de personnalités qui, sans être membres de la conférence régionale, pourront utilement donner un avis sur la conduite des opérations d'évaluation et les suites susceptibles d'être données à ses conclusions. Il s'agira d'experts choisis d'un commun accord, d'un membre du conseil économique et social régional désigné par cet organisme et des chefs des administrations déconcentrées concernées, notamment le directeur régional de l'Institut national de la statistique et des études économiques (INSEE).
La conférence est tenue informée des évaluations décidées par la section et, si cette dernière l'estime souhaitable, des résultats de celles-ci.
La section demande aux contractants de préciser quels sont les éléments constitutifs de chaque programme qui devront constituer les références quantitatives et qualitatives pour l'évaluation, telles qu'elles seront explicitées dans le cahier des charges de l'évaluation. Elle choisit les programmes à soumettre à l'évaluation et, pour chacun d'entre eux, définit la nature de l'évaluation à mettre en uvre. Elle arrête la composition de l'instance technique qui devra conduire les travaux d'évaluation ainsi que, sur proposition de l'instance technique ci-dessous définie, le cahier des charges du projet d'évaluation. Elle recueille les conclusions de l'évaluation, décide des modalités de leur publication et peut proposer les suites opérations à donner à l'évaluation.
2.2. L'instance technique
Une instance technique spécifique, comprenant notamment des fonctionnaires et des experts spécialisés dans le domaine retenu, devra être constituée pour chaque programme ou groupe de programmes à évaluer. Un membre du conseil économique et social régional, désigné par son président, pourra opportunément y participer.
Cette instance a pour but d'offrir au maître d'ouvrage l'appui technique nécessaire pour lui permettre d'apprécier dans quelle mesure les conditions de mise en oeuvre du programme sont de nature à assurer l'efficacité des actions engagées et la maîtrise des coûts, en prenant également en compte leur effets indirects.
Elle propose au comité de pilotage un cahier des charges du projet d'évaluation, faisant notamment apparaître les méthodes préconisées, conduit les travaux d'évaluation et présente ses conclusions dans un rapport également soumis au comité de pilotage.
Le Commissariat général du Plan mettra à votre disposition les moyens financiers nécessaires et vous apporterez les concours techniques et méthodologiques que vous pourriez souhaiter.
3.1. Programmation et financement
Dans chaque région, le montant consacré par l'Etat à l'évaluation des actions du contrat de plan Etat-région 2000-2006 s'élèvera à six dix millièmes du montant de la contribution de l'Etat à ce contrat. Il s'agit de crédits auprès des préfets de région, ordonnateurs délégués des dépenses d'évaluation.
Le principe du financement à parité avec les collectivités territoriales devra toutefois, dans la mesure du possible, être maintenu pour les collectivités concernées par les programmes évalués sur la durée du contrat.
Afin d'encourager une programmation régulière des projets d'évaluation, 75 % des crédits affectés à chaque région seront délégués directement, en début d'année, aux préfets des régions qui auront défini une programmation préalable de leurs évaluations. Celle-ci devra autant que possible être glissante et porter sur plusieurs années. Vous adresserez donc au Commissariat général du Plan, en début d'année, la liste des opérations correspondant à la tranche annuelle de programme d'évaluation retenu, assortie d'une estimation financière, dans la limite de la quote-part de crédits affectée à l'évaluation (6 % des crédits contractualisés).
Avant l'engagement de la deuxième tranche de crédits de l'année ou la délégation de crédits de l'année suivante, vous transmettrez en outre pour avis à l'instance nationale dévaluation les projets de cahiers des charges correspondant à chaque opération décidée.
Dans le cas où il ne s'avérerait pas possible de commencer immédiatement ce travail de programmation, la procédure d'engagement des crédits restera identique à la procédure actuelle ; les crédits seront délégués après examen par l'instance nationale d'évaluation des contrats de plan Etat-région du cahier des charges transmis par le comité régional d'évaluation.
Une réserve de 25 % de l'enveloppe totale destinée au financement de l'évaluation des programmes réalisés dans le cadre des contrats de plan Etats-région sera constituée pour être affectée au niveau national, puis déléguée aux préfets de région pour financer les missions d'appui méthodologique (évaluations existantes, missions d'experts, études de faisabilité), apporter un financement complémentaire aux évaluations conjointes à plusieurs régions volontaires, décidées sur la base d'un cahier des charges commun, opérer des péréquations en faveur des régions qui effectuent un effort plus important, ou financer le solde des évaluations programmées.
3.2. Une aide accrue au montage et à la réalisation des évaluations
L'expérience de la précédente génération de contrats de plan et de ville a montré que, sans porter atteinte aux principes de décentralisation et de déconcentration, il pouvait être utile de fournir aux régions et aux services déconcentrés de l'Etat des outils d'aide à l'évaluation, allant au-delà du guide de l'évaluation qu'avait élaboré le Conseil scientifique de l'évaluation et qui a été largement diffusé.
A cet effet, le Commissariat général du Plan, qui recevra l'ensemble des évaluations réalisées dans les régions, vous fera parvenir des informations détaillées sur les évaluations réalisées dans l'ensemble des régions, sur leur qualité, sur leurs thèmes, sur les méthodologies utilisées et sur leurs résultats. Vous les transmettrez à vos partenaires engagés dans des opérations contractuelles. Un bilan des évaluations réalisées au cours de la précédente période sera également diffusé avant la fin de l'année 2000.
Des guides d'aide à la rédaction des cahiers des charges, à caractère strictement indicatif, seront élaborés sur la base des travaux déjà menés dans les régions. Les ministères devront en outre faire parvenir aux services déconcentrés une liste des indicateurs pertinents à prendre en compte dans leur domaine d'activité.
La possibilité sera ouverte de financer, sur l'enveloppe des crédits d'évaluation des contrats de plan, des études de faisabilité qui pourront être réalisées avant de procéder à l'élaboration d'un cahier des charges. Ces études pourront porter sur des domaines peu abordés jusqu'à présent (investissements routiers, développement durable, politique d'éducation et de formation, par exemple). Elles permettront de mieux éclairer les choix de l'Etat et de la région lors de la définition des programmes d'évaluation.
Les études portant sur l'éducation et la formation contribueront par ailleurs à la mise au point et au développement des cahiers régionaux sur la formation professionnelle. Le comité de coordination des programmes régionaux de la formation professionnelle et de l'apprentissage mettra à la disposition du Commissariat général du Plan les travaux d'évaluation réalisés et, notamment, les portraits statistiques régionaux sur la formation et l'insertion des jeunes.
Enfin, le Commissariat général du Plan pourra, pour des missions de courte durée, proposer que soient désignés des experts pour apporter des aides méthodologiques ponctuelles, notamment lors de l'élaboration des cahiers des charges. les crédits correspondants vous seront alors délégués.
Un point régulier sera organisé sur l'avancée des travaux sur le plan national comme en région par le Commissariat général du Plan, qui veillera aussi à développer les échanges d'expériences dans le cadre de réunions régulières.
3.3. La construction d'une grille d'indicateurs destinés à aider à la programmation des évaluations
La construction d'indicateurs permettra d'aider à la sélection et à la programmation des évaluations ultérieures ainsi qu'à la préparation des études de faisabilité et des cahiers des charges d'évaluation. Elle contribuera également à un meilleur pilotage de la procédure de gestion et d'exécution des contrats de plan. Des indicateurs d'alerte seront sélectionnés par le comité de pilotage et validés par les services de l'Etat et de la région.
La définition de ces indicateurs prendra en compte les données collectées dans le cadre des programmes communautaires d'évaluation existants et les données régionales collectées par l'INSEE.
Cette approche doit permettre, tout à la fois, d'apporter un soutien aux régions qui se sont jusqu'ici peu engagées dans le travail d'évaluation, et d'améliorer l'appui méthodologique mis à la disposition des collectivités qui sont plus familiarisées avec la procédure. Elle assurera également une meilleure articulation de l'évaluation des contrats de plan Etat-région et des programmes communautaires. Enfin, elle pourra conduire les régions à envisager d'évaluer des domaines jusqu'à présent peu explorés.
Une instance nationale est chargée d'examiner les différents projets d'évaluation proposés par les sections spécialisées des CRADT. Elle formulera les recommandation d'ordre technique ou méthodologique qui lui apparaîtront nécessaires eu regard notamment des principes de pluralisme des points de vue, d'indépendance et de transparence qui doivent présider à toute évaluation. Elle a un rôle central à jouer pour mutualiser les pratiques et développer les transferts d'expérience, diffuser la culture d'évaluation et les informations concernant les actions entreprises sur l'ensemble du territoire.
4.1. La composition de l'instance nationale
Présidée par le commissaire au Plan, qui en assure aussi le secrétariat, l'instance nationale est composée :
- de représentants des administrations de l'Etat concernées (Délégation à l'aménagement du territoire et à l'action régionale ; délégation interministérielle à la ville ; direction générale de l'administration du ministère de l'intérieur et direction générale des collectivités locales ; direction des affaires économiques, sociales et culturelles du secrétariat d'Etat à l'outre-mer ; direction du budget; direction générale de la comptabilité publique ; délégation interministérielle à la réforme de l'Etat);
- d'un membre désigné par le Conseil national de l'évaluation et d'un membre désigné par le Conseil national d'aménagement et de développement du territoire;
- de deux universitaires désignés par le commissaire au Plan.
Elle associera en tant que de besoin à ses travaux les ministères techniques, ainsi que le secrétariat général de la mer, si le projet examiné concerne une activité maritime ou le littoral.
4.2. Le rôle et le fonctionnement de l'instance nationale
L'instance nationale exerce les attributions suivantes :
Elle examine les projets d'évaluation (cahiers des charges) proposés par les sections spécialisées des CRADT et formule les recommandations d'ordre technique ou méthodologique susceptibles d'enrichir ces projets;
Elle propose au Commissariat général du Plan de procéder aux délégations des crédits demandés par les préfets de région dans le cadre de la procédure définie au paragraphe 3.1;
Elle élabore des guides de référence méthodologique et des grilles communes, à partir des cahiers des charges qui lui ont été transmis et des évaluations réalisées, en liaison avec les administrations concernées;
Elle reçoit communication des suites données aux évaluations et formules, le cas échéant, les commentaires qu'elles appellent.
4.3. La composition des dossiers présentés à l'instance nationale
Les projets d'évaluation présentés doivent comporter au minimum la description du programme évalué, de ses objectifs, de ses enjeux sociaux et économiques, la définition des objectifs de l'évaluation et des études envisagées, la description des méthodes employées, le calendrier des travaux d'évaluation, le coût du projet et les moyens de financement. La composition d'un dossier type est présentée en annexe.
En outre, afin d'éclairer ses avis et de lui permettre d'élaborer les références méthodologiques nécessaires, l'instance nationale est rendue destinataires par les préfets de région, non seulement des travaux d'évaluation conduits dans le cadre des procédures de contrats de plan, de contrats de ville, d'agglomération et de pays, et des contrats conclus avec les parcs naturels régionaux, mais aussi de celles qui concernent les programmes communautaires et les politiques régionales de formation.
L'instance nationale rend ses avis et formule ses recommandations dans les deux mois qui suivent la réception des projets correspondants.
Si les régions sont libres de déterminer les suites concrètes qu'elles entendent donner aux travaux conduits dans le cadre de chaque évaluation, il vous appartient d'en tirer les enseignements en ce qui concerne l'Etat. Vous les porterez à ma connaissance, par l'intermédiaire du commissaire au Plan, dans les trois mois suivant l'achèvement de l'évaluation concernée.
Par ailleurs, comme je vous l'ai indiqué dans ma circulaire du 31 juillet 1998, une synthèse du suivi et des évaluations sera réalisée, d'abord, à l'issue des quatre premières années du contrat, puis en fin de contrat. Elle incombera, au niveau régional, au préfet de région. Une synthèse nationale sera faite par le Commissariat général du Plan, la Délégation interministérielle à l'aménagement du territoire et à l'action régionale, la délégation interministérielle à la ville et le secrétariat d'Etat à l'outre-mer. Cette synthèse fera l'objet, après avis du Conseil national d'aménagement et de développement du territoire, d'un rapport du Gouvernement au Parlement qui sera transmis au Conseil économique et social.
Dans cette perspective, je vous demande de ma transmettre, avant le 31 décembre 2003, une note de synthèse portant sur les résultats et des conclusions des travaux d'évaluation, enrichis le cas échéant des données de suivi que vous jugerez utile de me communiquer. De manière générale, les rapports d'évaluation doivent être conçus comme un élément déterminant permettant de réorienter progressivement la stratégie du contrat de plan dans votre région, de redéfinir les objectifs à partir d'une analyse des effets et de développer ou d'abandonner les programmes mis en place dans le cadre des contrats de plan en fonction de leurs résultats. En effet, si les crédits globaux alloués à chaque contrat de plan ne peuvent être modifiés en cours de contrat, des redéploiements significatifs pourront être engagés sur la base des évaluations réalisées.
L'expérience acquise en matière d'évaluation des contrats de plan Etat-région entre 1994 et 1999 montre qu'il est souhaitable de mieux articuler l'évaluation interministérielle des politiques publiques, les évaluations des politiques contractualisées mais aussi les évaluations communautaires, en excluant dans un premier temps, pour des raisons de priorité, les évaluations conduites par les ministères et les grands établissements publics.
6.1. L'articulation avec la procédure interministérielle d'évaluation
Il convient de faire bénéficier plus systématiquement les régions des retombées des enseignements méthodologiques tirés des évaluations interministérielles engagées à partir des propositions faites par le Conseil national de l'évaluation. Dans ce but, des réunions seront régulièrement organisées par le Commissariat général du Plan, en tant que secrétaire du Conseil national de l'évaluation, pour informer les régions du contenu de ces programmes d'évaluation. Des membres désignés par le Conseil national de développement et d'aménagement du territoire pourront y assister.
Le Conseil national de l'évaluation sera régulièrement tenu informé de l'Etat d'avancement des évaluations des procédures contractuelles. L'instance nationale d'évaluation des contrats de plan Etat-région pourra le consulter sur les questions méthodologiques relatives à la conduite des évaluations envisagées ou entreprises.
6.2. L'articulation des évaluations des contrats de plan Etat-région entre elles
Au-delà de l'effort de diffusion des méthodes suivies par les différentes régions, il est utile qu'une même politique publique fasse l'objet d'évaluations simultanées sur plusieurs points du territoire. Une telle démarche peut être engagée, soit à l'initiative d'un ministère, de la délégation à l'aménagement du territoire et à l'action régionale ou du Commissariat général du Plan, soit pour faire suite à une demande émanant des régions.
Les régions volontaires pour entrer dans le dispositif seront associées à l'élaboration d'un cahier des charges commun, arrêté par l'instance nationale d'évaluation, après avis, le cas échéant, du Conseil national de l'évaluation. Une enveloppe spécifique de crédits destinés à apporter un financement complémentaire à ces évaluations sera mise en réserve ainsi qu'il a été prévu à la section 3.
6.3. L'articulation avec les évaluations communautaires
La procédure d'évaluation des programmes communautaires se distingue de celle suivie pour l'évaluation des contrats de plan, en raison de son caractère systématique, de son approche globale et de l'importance donnée à l'évaluation ex ante .
Les deux procédures se rejoignent toutefois sur certains points. C'est, en particulier, l'accent qui est mis sur le suivi et la définition d'indicateurs, l'existence d'une évaluation à mi-parcours et le recours à des évaluations thématiques approfondies.
C'est pourquoi il convient que les programmes importants des contrats de plan qui sont cofinancés par les fonds structurels figurent parmi ceux retenus pour l'évaluation. A cet effet, il sera possible, au sein d'une instance spécifique, composée notamment de représentants du comité de suivi des documents uniques de programmation et des membres de la section spécialisée de la CRADT, de disposer d'un budget prévisionnel comme d'un cahier des charges pour partie communs.
Annexe : Dossier type pour un projet d'évaluation d'un programme financé dans le cadre d'un contrat de plan Etat-Région, d'un contrat de ville, d'un contrat d'agglomération, d'un contrat de pays ou d'un contrat conclu avec un parc naturel régional
Ce dossier est destiné à vous aider à formaliser les demandes d'évaluation des programmes financés dans le cadre d'un contrat de plan Etat-région, d'un contrat de ville, d'un contrat d'agglomération, d'un contrat de pays ou d'un contrat conclu avec un parc naturel régional. il distingue deux types d'informations, celles relatives au programme et celles relatives à l'action d'évaluation.
1. Eléments relatifs au programme à évaluer
Le projet indiquera, dans la mesure du possible, les éléments suivants relatifs au programme à évaluer :
1.1. Description sommaire du programme;
1.2. Contexte du programme : historique, intérêt économique, financier, social, culturel ou géographique, place au sein du contrat de plan, de ville, d'agglomération ou de pays (programme prioritaire, alternatif, pilote ou expérimental);
1.3. Objectifs à cour, moyen ou long terme, qu'il conviendra de hiérarchiser;
1.4. Champ d'application : secteurs, populations, institutions et autres partenaires visés;
1.5. Acteurs impliqués par le programme : décideurs (institutions internationales ou européennes, Etat, collectivités territoriales, secteur public, privé ou associatif) et destinataires (types de bénéficiaires ou groupes d'agents, directs, indirects);
1.6. Moyens humains, financiers, techniques, juridiques, administratifs;
1.7. Résultats attendus, tant qualitatifs que quantitatifs, accompagnés du choix des indicateurs pertinent;
1.8. Bilan sur les données du programme, existantes ou à créer (fiabilité, disponibilité, périmètre, périodicité, source).
2. Eléments relatifs à l'évaluation
Le projet indique également les éléments relatifs à l'évaluation elle-même :
2.1. Origine du projet d'évaluation : commanditaires (comité de pilotage, ensemble de régions);
2.2. Type d'évaluation : évaluation a priori avant décision de financement ou de mise en uvre, évaluation concomitante, évaluation a posteriori des résultats et des effets;
2.3. Opportunité ou nécessité de l'évaluation : court exposé des motifs (motivation des initiateurs du projet d'évaluation, enjeux et utilisation escomptée de l'évaluation);
2.4. Objectifs de l'évaluation :
- Mise en évidence des relations de causalité entre la mise en oeuvre du programme et les résultats ou les effets du programme;
- Mesure de l'efficacité du programme (conformité des effets propres du programme à ses objectifs);
- Mesure de l'efficience du programme (bonne utilisation des ressources financières mobilisées, adéquation des résultats du programme aux sommes dépensées);
- Analyse du rôle des partenaires concernés par le programme;
- Facteurs de réussite ou d'échec du programme;
2.5. Champ de l'évaluation : tout ou partie du programme à évaluer;
2.6. Méthodes de l'évaluation : méthodes statistiques (analyses de séries temporelles, tests sur échantillons, analyses de variance), méthodes modélisées avec groupes témoins avec et sans application du programme, méthodes coûts-bénéfices, analyses multicritères, études monographiques, analyses de données et constructions de typologie, échantillons, enquêtes par vague avec suivi, enquêtes sociologiques, analyses ethnographiques, etc. Le choix de la méthode, qui doit être discutée par le comité de pilotage et faire l'objet d'un échange avec le prestataire, est fonction du type de programme à évaluer;
2.7. Dispositif de l'évaluation : qualité des chargés d'évaluation (services d'études publics, laboratoires universitaires, consultants privés), présidence et composition de l'instance d'évaluation chargée de rédiger le rapport;
2.8. Budget et échéancier : montant des études avec devis détaillé, répartition des montants par cofinanceurs, date de remise des études à l'instance dévaluation;
2.9. Après remise du rapport de l'instance d'évaluation (rapport accompagné des études sur la base desquelles il a été rédigé), doivent être décidés la diffusion et, le cas échéant, le type de publication.
Vous pourrez également, en tant que de besoin, ajouter les éléments d'appréciation et les observations que vous jugerez nécessaires.
