(BO du MEEDAT n° 2008/11du 15 juin 2008)


NOR : DEVO0810872C

Références :
- Loi n° 2006-1772 du 30 décembre 2006 sur l’eau et les milieux aquatiques ;
- Articles L. 2224-5, D. 2224-5, annexes V et VI du code général des collectivités territoriales ;
- Décret 2007-675 du 2 mai 2007 pris pour l’application de l’article L. 2224-5 et modifiant les annexes V et VI du code général des collectivités territoriales ;
- Arrêté du 2 mai 2007 relatif aux rapports annuels sur le prix et la qualité des services publics d’eau potable et d’assainissement ;
- Avis de la mission interministérielle de l’eau en date du 19 octobre 2007.

Pièces jointes :

Annexes :

Annexe I. – Eléments de contexte international et national relatif aux indicateurs de performance ;>
Annexe II. – Mise en œuvre du dispositif ;
Annexe III. – Liste des fiches ;
Annexe IV. – Glossaire ;
Annexe V. – Note relative au degré de confiance des indicateurs.

Messieurs les préfets de département (pour exécution) ; Messieurs les préfets de région ; ministère chargé de l’intérieur ; ministère chargé de l’agriculture ; ministère chargé de la santé ; ministère chargé de l’outre-mer ; D 4E ; DE (SDATDCP, SDMAGE & SDDEAGF) DGAFAI/SDAJ ; IFEN ; offices de l’eau DOM ; DIREN ; DRASS ; agences de l’eau ; ONEMA (pour information).

Le ministre d’Etat, ministre de l’écologie, du développement et de l’aménagement durables ;

La ministre de l’intérieur, de l’outre-mer et des collectivités territoriales ;

La ministre de la santé, de la jeunesse et des sports,

À Mesdames et Messieurs les préfets de département,

Le rapport annuel du maire est un élément clé dans la mise en œuvre locale de la transparence et des principes de gouvernance des services d’eau et d’assainissement. L’article L. 2224-5 du code général des collectivités territoriales établit que les autorités organisatrices du service public de l’eau et de l’assainissement sont tenues de présenter annuellement un rapport sur le prix et la qualité de ces services. A ce jour, ce rapport n’est pas encore disponible pour toutes les collectivités organisatrices des services.

La Cour des comptes avait souligné dans son rapport public sur les services publics d’eau et d’assainissement de décembre 2003, la nécessité d’intégrer dans le rapport des collectivités sur le prix et la qualité des services des indicateurs de performance afin d’améliorer l’accès des usagers à l’information et de contribuer à faire progresser la qualité de ces services.

Le décret n° 2007-675 et l’arrêté du 2 mai 2007 pris pour l’application de l’article L. 2224-5 et modifiant les annexes V et VI du code général des collectivités territoriales identifient des indicateurs de performance et les éléments à fournir en fonction de la taille des services. Ces indicateurs permettent en outre aux services qui le souhaitent de s’inscrire dans une stratégie de développement durable.

Les éléments de contexte concernant la mise en place des indicateurs de performance sont rappelés en annexe I. La mise en œuvre de ces indicateurs, présentée en annexe II, contribuera par ailleurs à la construction par l’Office national de l’eau et des milieux aquatiques (ONEMA) d’un système d’information concernant les services publics d’eau potable et d’assainissement en application des articles L. 213-1 et L. 213-2 du code de l’environnement. Ce système d’information s’appuie sur une consolidation nationale des indicateurs de performance afin d’offrir aux collectivités un outil de pilotage pour la gestion de leurs services et de répondre à une forte demande sociale de transparence.

En application de l’article D. 2224-5, les maires des communes de plus de 3 500 habitants doivent remettre ce rapport au préfet de département pour information. En conséquence, pour que ce rapport soit réalisé dans les meilleures conditions, nous vous demandons de rappeler cette obligation aux collectivités organisatrices des services en les informant de la modification du contenu réglementaire du rapport annuel sur le prix et la qualité des services.

Afin de renforcer l’accès à l’information sur les modalités d’établissement du rapport, nous vous demandons de signaler à l’ensemble des collectivités de votre département que le site d’aide aux collectivités www.eaudanslaville.fr leur fournit les précisions techniques pour la mise en œuvre des indicateurs. Quelques indicateurs relatifs à la qualité des eaux destinées à la consommation humaine et à l’assainissement pourront respectivement être obtenus auprès de la direction départementale des affaires sanitaires et sociales (des outils d’extraction d’information à partir de la base de données nationale SISE-Eaux seront élaborés à ce titre) et du service de police de l’eau.

La définition et la mise en œuvre des indicateurs de performance complète les outils mis à disposition des collectivités locales organisatrices des services pour expliquer aux usagers le contenu du service et mettre au regard du prix la qualité du service, tant du point de vue de l’usager que de l’environnement. En mettant en évidence les enjeux futurs pour le service, cette explication ne peut que faciliter la réalisation des investissements aujourd’hui nécessaires notamment dans la protection des captages et l’épuration des eaux usées, en application des engagements européens.

Pour le ministre et par délégation,
Le directeur de l’eau
P. BERTEAUD

Pour la ministre et par délégation,
Le directeur général des collectivités locales
E. JOSSA

Pour la ministre et par délégation,
Le directeur général de la santé
D. HOUSSIN

Annexe I : Eléments de contexte

1. Une nécessité d’évaluation de la performance reconnue au plan européen, venant renforcer le dispositif français d’une organisation décentralisée des services

Au plan européen, l’évaluation de la performance des services publics d’eau et d’assainissement est d’ores et déjà engagée dans de nombreux pays, sur l’initiative des services (Allemagne, villes d’Europe du Nord) ou des États (Pays-Bas, Royaume-Uni) qui, à la différence de la France, n’avaient pas d’obligation réglementaire de publication de rapports d’activité ou de consultation des usagers. Elle répond aux travaux engagés par la Commission européenne sur les services d’intérêt général, le Livre vert (1) et le Livre blanc (2) publiés par la Commission soulignant que l’évaluation de la performance des services et l’information des usagers constituent des principes communs auxquels répondent ces services d’intérêt général.

Les travaux engagés au plan européen nous invitent en conséquence à poursuivre la modernisation des dispositifs de gouvernance des services publics d’eau et d’assainissement, fondée sur une compétence décentralisée des communes, sur l’information des usagers par le rapport sur le prix et la qualité des services et, pour les services les plus importants, sur les commissions consultatives des services publics locaux associant des représentants d’usagers du service et des élus.

Ces principes de gouvernance ont été présentés par la France au forum mondial de l’eau de mars 2006 à Mexico et ont guidé les travaux de l’" International Organization for Standardization " pour la définition d’une norme ISO relative aux services publics d’eau et d’assainissement dont l’adoption est prévue en 2008.

Le dispositif français est maintenant complété par l’introduction d’indicateurs de performance dans le rapport annuel sur le prix et la qualité de services, indicateurs définis à l’échelon national et s’appliquant à toutes les collectivités quel que soit leur mode de gestion.

(1) COM (2003) 270 du 21 mai 2003.
(2) COM (2004) 374 du 12 mai 2004.

2. Une définition d’indicateurs résultant de travaux réalisés par les collectivités organisatrices et les gestionnaires sous l’égide du ministère de l’écologie, du développement et de l’aménagement durables

La " Charte des services publics locaux ", mise au point par l’Institut de la gestion déléguée (IGD) et signée le 16 janvier 2002 par l’Association des maires de France (AMF), l’Assemblée des départements de France (ADF) et l’Association des régions de France (ARF), fixe des principes généraux d’évaluation de l’action publique par la définition d’indicateurs de performance.

Le rapport de la Cour des comptes de décembre 2003 sur la gestion des services publics d’eau et d’assainissement recommandait pour la mise en place d’indicateurs de performance que soit défini un référentiel relatif à la qualité de la gestion des services, reconnu par les partenaires de la gestion des services d’eau et d’assainissement.

Des travaux ont été réalisés pour la définition d’indicateurs de performance tant au plan international (travaux de l’Association internationale des entreprises d’eau, norme ISO/TC 224 citée supra) que national (norme AFNOR P15P sur la définition des indicateurs de performance, travaux de la Fédération professionnelle des entreprises de l’eau rendant compte des indicateurs de performance dans les rapports du délégataire, travaux de la Fédération nationale des collectivités concédantes et régies).

Une mission d’inspection conjointe du Conseil général du génie rural, des eaux et forêts, du Conseil général des ponts et chaussées et de l’Inspection générale de l’environnement a effectué une synthèse des travaux et proposé une liste d’indicateurs.

En application de ces travaux, la concertation avec des représentants des opérateurs, privés et publics, et des représentants d’élus a permis d’identifier un ensemble d’indicateurs pertinents. Un groupe de travail réunissant des producteurs de données en régie et en délégation a précisé leur définition et les méthodes nécessaires à leur utilisation, en partenariat avec le ministère de l’écologie, du développement et de l’aménagement durables.

Annexe II : Mise en œuvre du dispositif

1. Définition des indicateurs

La description détaillée des indicateurs de caractérisation des services et des indicateurs de performance est fournie dans une série de fiches techniques où figure le mode opératoire à suivre pour les calculer. Une méthode d’évaluation des volumes d’eau non comptés est également donnée. Chaque fiche indique la finalité, la définition, le mode de calcul et la façon dont on interprète les indicateurs ; elle donne aussi des recommandations pour la maîtrise de la qualité des données et pour permettre une comparaison inter annuelle et inter-services. La liste des fiches détaillées est fournie à l’annexe III.

Par ailleurs, sont également précisés :
- les termes utilisés dans les fiches détaillées (annexe IV) ;
- l’évaluation du degré de confiance des indicateurs et les bonnes pratiques d’interprétation (annexe V).

Afin de faciliter la mise en œuvre des indicateurs, le site www.eaudanslaville.fr rassemble les informations relatives aux fiches descriptives. Il permettra de recueillir les expériences engagées et de diffuser les informations nécessaires à la mise en œuvre.

2. Mise en œuvre des indicateurs de performance

Le premier rapport est à établir en 2009 au titre de l’année 2008. L’acquisition des données correspondantes devra être engagée à partir du 1er janvier 2008.

Début 2009, les collectivités pourront s’adresser :

1. Aux directions départementales des affaires sanitaires et sociales (DDASS) pour les données relatives aux indicateurs suivants :
Données relatives à la qualité des eaux distribuées définies par l’article D. 1321-103 du code de la santé publique et taux de conformité des prélèvements microbiologiques sur les eaux distribuées réalisés au titre du contrôle sanitaire par rapport aux limites de qualité (fiche P101.1) ;
Données relatives à la qualité des eaux distribuées définies par l’article D. 1321-103 du code de la santé publique et taux de conformité des prélèvements physico-chimiques sur les eaux distribuées réalisés au titre du contrôle sanitaire par rapport aux limites de qualité (fiche P102.1).

2. Aux services de police des eaux pour les données relatives aux indicateurs suivants :
Conformité de la collecte des effluents, des équipements des stations d’épuration et de la performance des ouvrages d’épuration aux prescriptions définies en application du décret 94-469 du 3 juin 1994 modifié (fiches P203.3, P204.3, P205.3).
Les données relatives aux autres indicateurs sont produites par la collectivité responsable du service en liaison avec l’opérateur.

3. Mise en place d’un système d’information sur les services d’eau et d’assainissement

La loi n° 2006-1772 du 30 décembre 2006 sur l’eau et les milieux aquatiques porte création de l’Office national de l’eau et des milieux aquatiques et lui confie la mise en place d’un système d’information sur les services d’eau et d’assainissement.

Dans cet objectif, il est envisagé de créer un serveur dédié sur l’Internet qui permettra de faciliter la saisie des informations et l’édition d’une fiche récapitulative des indicateurs devant figurer dans le rapport.

En 2007, l’étude du système permettant de réaliser cet objectif est engagée afin d’envisager une mise en œuvre en 2008 pour l’appui à la réalisation des rapports en 2009.

Annexe III

Code fiche

Rapport du maire – décret et arrêté du 2 mai 2007

Liste récapitulative des indicateurs de performance

 

Service public d’eau potable

Indicateurs descriptifs des services

D. 101.0 Estimation du nombre d’habitants desservis
D. 102.0 Prix TTC du service au m3 pour 120 m3
D. 151.0 Délai maximal d’ouverture des branchements pour les nouveaux abonnés défini par le service
 

Indicateurs de performance

P101.1 Taux de conformité des prélèvements sur les eaux distribuées réalisés au titre du contrôle sanitaire par rapport aux limites de qualité pour ce qui concerne la microbiologie
P102.1 Taux de conformité des prélèvements sur les eaux distribuées réalisés au titre du contrôle sanitaire par rapport aux limites de qualité pour ce qui concerne les paramètres physico-chimiques
P103.2 Indice de connaissance et de gestion patrimoniale des réseaux d’eau potable
P104.3 Rendement du réseau de distribution
P105.3 Indice linéaire des volumes non comptés
P106.3 Indice linéaire de pertes en réseau
P107.2 Taux moyen de renouvellement des réseaux d’eau potable
P108.3 Indice d’avancement de la protection de la ressource en eau
P109.0 Montant des abandons de créances ou des versements à un fonds de solidarité
P151.1 Taux d’occurrence des interruptions de service non programmées
P152.1 Taux de respect du délai maximal d’ouverture des branchements pour les nouveaux abonnés
P153.2 Durée d’extinction de la dette de la collectivité
P154.0 Taux d’impayés sur les factures d’eau de l’année précédente
P155.1 Taux de réclamations
 

Service public de l’assainissement collectif

Indicateurs descriptifs des services

D. 201.0 Estimation du nombre d’habitants desservis par un réseau de collecte des eaux usées, unitaire ou séparatif
D. 202.0 Nombre d’autorisations de déversement d’effluents d’établissements industriels au réseau de collecte des eaux usées
D. 203.0 Quantité de boues issues des ouvrages d’épuration
D. 204.0 Prix TTC du service au m3 pour 120 m3
 

Indicateurs de performance

P201.1 Taux de desserte par des réseaux de collecte des eaux usées
P202.2 Indice de connaissance et de gestion patrimoniale des réseaux de collecte des eaux usées
P203.3 Conformité de la collecte des effluents aux prescriptions définies en application du décret 94-469 du 3 juin 1994 modifié par le décret du 2 mai 2006
P204.3 Conformité des équipements d’épuration aux prescriptions définies en application du décret 94-469 du 3 juin 1994 modifié par le décret du 2 mai 2006
P205.3 Conformité de la performance des ouvrages d’épuration aux prescriptions définies en application du décret 94-469 du 3 juin 1994 modifié par le décret du 2 mai 2006
P206.3 Taux de boues issues des ouvrages d’épuration évacuées selon des filières conformes à la réglementation
P207.0 Montant des abandons de créances ou des versements à un fonds de solidarité
P251.1 Taux de débordement des effluents dans les locaux des usagers
P252.2 Nombre de points du réseau de collecte nécessitant des interventions fréquentes de curage par 100 km de réseau
P253.2 Taux moyen de renouvellement des réseaux de collecte des eaux usées
P254.3 Conformité des performances des équipements d’épuration au regard des prescriptions de l’acte individuel pris en application de la police de l’eau
P255.3 Indice de connaissance des rejets au milieu naturel par les réseaux de collecte des eaux usées
P256.2 Durée d’extinction de la dette de la collectivité
P257.0 Taux d’impayés sur les factures d’eau de l’année précédente
P258.1 Taux de réclamations
 

Service public de l’assainissement non collectif

Indicateurs descriptifs des services

D. 301.0 Evaluation du nombre d’habitants desservis par le service public de l’assainissement non collectif
D. 302.0 Indice de mise en œuvre de l’assainissement non collectif
 

Indicateurs de performance

P301.3 Taux de conformité des dispositifs d’assainissement non collectif

Annexe IV - Glossaire : définitions des termes utilisés dans les fiches sur les indicateurs de performance

Au sens des fiches de définition des indicateurs de performance :

1. Parties prenantes

Autorité organisatrice :
Personne publique (commune, EPCI, syndicat mixte...) ayant la responsabilité de l’organisation du service public d’eau ou d’assainissement, qui désigne et contrôle son opérateur.

Opérateur (ou exploitant ou gestionnaire ou service gestionnaire)
Service ou organisme dépendant de l’autorité organisatrice (cas de la gestion internalisée) ou autre organisme (cas de la gestion externalisée) désigné par l’autorité organisatrice, pour assurer tout ou partie des tâches de gestion du service public de l’eau ou de l’assainissement (1).

Habitant :
Personne domiciliée de manière permanente ou temporaire (habitant saisonnier) sur le territoire d’une collectivité.

Habitant desservi :
Personne domiciliée de manière permanente ou temporaire sur le territoire d’une collectivité dans une zone où elle est soit raccordée soit raccordable aux installations du service public d’eau ou d’assainissement collectif, soit non raccordée avec dérogation. Dans le cas de l’assainissement non collectif, il s’agit d’une personne domiciliée sur une zone délimitée comme étant une zone couverte par un service d’assainissement non collectif.

Abonné (ou client) :
Personne physique ou morale ayant souscrit un abonnement auprès de l’opérateur du service public de l’eau ou de l’assainissement (2). L’abonné est par définition desservi par l’opérateur. Il peut être titulaire de plusieurs abonnements, sur le même service, en des lieux géographiques distincts. Les abonnés peuvent être des particuliers, des syndicats de copropriété, des collectivités pour les besoins municipaux, des entreprises (services, industries), des agriculteurs (irrigation) etc.

L’abonné perd sa qualité d’abonné lorsque le service est stoppé, quelle que soit sa situation vis-à-vis de la facturation (il n’est plus desservi, mais son compte peut ne pas encore être soldé).

Abonné domestique ou assimilé :
Les abonnés domestiques ou assimilés sont les abonnés qui sont redevables à l’agence de l’eau au titre de la pollution domestique. Pour ces abonnés, les redevances sont perçues par l’organisme chargé de l’encaissement des factures émises pour la fourniture du service puis reversées à l’agence de l’eau.

Abonnement :
L’abonnement désigne le contrat qui lie l’abonné à l’opérateur pour la prestation du service de l’eau ou de l’assainissement conformément au règlement du service (3). Il y a un abonnement pour chaque point d’accès au service (point de livraison d’eau potable ou de collecte des effluents qui dessert l’abonné, ou installation d’assainissement autonome).

(1) Inspiré de la norme NF P 15-900-1 de juillet 2000 : Services publics locaux. Lignes directrices pour les activités de service de l’alimentation en eau potable et dans l’assainissement. Partie 1 : Service à l’usager – Définition 18.
(2) Inspiré de la norme NF P15-900-1 (définitions 33 et 34)
(3) Norme NF P15-900-1 (définition 8)

2. Service, missions du service, réclamation

2.1. Service

Service :
Au sens du présent document, on entend par " service " le périmètre confié par l’autorité organisatrice à un opérateur unique. Les missions assurées peuvent être pour un service d’eau potable la production, le transfert et la distribution et pour un service d’assainissement la collecte, le transport, la dépollution et, le cas échéant, l’assainissement non collectif. A ces missions s’ajoute en général la gestion des abonnés.

2.2. Missions du service de l’eau

Mission de production :
La mission de production consiste à assurer la mise à disposition d’eau potable en tête de réseau de distribution après avoir effectué les traitements requis. Elle peut comprendre ou non le captage, l’adduction de l’eau brute, le pompage en sortie d’usine. La conduite de transfert jusqu’au réservoir situé en dehors des limites de l’usine et ce même réservoir font partie de la distribution.

Mission de transfert :
La mission de transfert consiste à assurer le transport de l’eau potable depuis la sortie de l’usine de production jusqu’à des points de livraison de ventes en gros. Il n’y a pas d’abonnés directement desservis.

Mission de distribution :
La mission de distribution consiste à acheminer l'eau potable pour la mettre à disposition des abonnés de toute nature. Cette mission peut inclure une mission de transfert.

2.3. Missions du service de l’assainissement collectif

Mission de dépollution :
La mission de dépollution consiste à assurer le traitement des eaux usées et unitaires en vue de leur rejet au milieu naturel dans le respect de la réglementation. Elle peut comprendre ou non le pompage en sortie d’usine et le rejet lui-même. Les ouvrages situés à l’amont de l’entrée de l’usine de dépollution et de son by-pass font partie de la mission de transport.

Mission de transport :
La mission de transport consiste à assurer le transport des eaux usées et unitaires depuis l’aval des canalisations de collecte jusqu’à des usines de dépollution ou à des points de livraison à un autre service. Il n’y a pas d’abonnés directement desservis.

Mission de collecte :
La mission de collecte consiste à collecter les eaux usées et unitaires au droit des branchements des abonnés et à les acheminer jusqu’aux réseaux de transport ou aux usines de dépollution. Cette mission peut inclure une mission de transport.

2.4. Réclamation

Réclamation :
Toute expression de mécontentement adressée à un organisme, concernant ses produits ou le processus même de traitement des réclamations, duquel une réponse ou une solution est explicitement ou implicitement attendue (1).

3. Définitions techniques

3.1 Service de l’eau

Réseau de desserte :
Ensemble des équipements publics (canalisations et ouvrages annexes) acheminant de manière gravitaire ou sous pression l’eau potable issue des unités de potabilisation jusqu’aux points de raccordement des branchements des abonnés ou des appareils publics (tels que les bornes incendie, d’arrosage, de nettoyage...) et jusqu’aux points de livraison d’eau en gros. Il est constitué de réservoirs, d’équipements hydrauliques, de conduites de transfert, de conduites de distribution mais ne comprend pas les branchements (2).

Réseau de distribution :
Le réseau de distribution est constitué du réseau de desserte défini ci-dessus et des conduites de branchements (3).

Volume produit (4) :
Le volume produit est le volume issu des ouvrages de production du service pour être introduit dans le réseau de distribution. Les volumes de service de l’unité de production ne sont pas comptés dans le volume produit.

Volume acheté en gros (ou acheté à d’autres services d’eau potable) ;
Le volume acheté en gros est le volume d’eau potable en provenance d’un service d’eau extérieur. Il est strictement égal au volume importé (5).

Volume vendu en gros (ou vendu à d’autres services d’eau potable) ;
Le volume vendu en gros est le volume d’eau potable livré à un service d’eau extérieur. Il est strictement égal au volume exporté

(1) Définition 3.2 de la norme ISO 10002 : 2004 de juillet 2004. Management de la qualité. Satisfaction La mission de distribution consiste à acheminer l’eau potable pour la mettre à disposition des abonnés de toute nature. Cette mission peut inclure une mission de transfert des clients. Lignes directrices pour le traitement des réclamations dans les organismes.
(2) Le " réseau de desserte " est équivalent au " réseau de distribution " sans les branchements défini par l’ASTEE dans la revue Techniques Sciences Méthodes n° 4 bis – 90 avril 1990 : Rendement des réseaux d’eau potable – Définition des termes utilisés.
(3) Il s’agit donc de la même définition que celle de l’ASTEE dans la revue Techniques Sciences Méthodes n° 4 bis – 90 avril 1990 : Rendement des réseaux d’eau potable – Définition des termes utilisés.
(4) Définition de l’ASTEE. Techniques Sciences Méthodes n° 4 bis – 90 d’avril 1990 : Rendement des réseaux d’eau potable – Définition des termes utilisés.
(5) Le volume importé et le volume exporté sont également définis par l’ASTEE.

Volume mis en distribution (1)
Le volume mis en distribution est la somme du volume produit et du volume acheté en gros (importé) diminué du volume vendu en gros (exporté).

Volume comptabilisé (1) :
Le volume comptabilisé résulte des relevés des appareils de comptage des abonnés.

Volume de service du réseau (1) :
Le volume de service du réseau est le volume utilisé pour l’exploitation du réseau de distribution.

Volume consommateurs sans comptage (1) :
Le volume consommateurs sans comptage est le volume utilisé sans comptage par des usagers connus, avec autorisation.

Volume consommé autorisé :
Le volume consommé autorisé est, sur le périmètre du service, la somme du volume comptabilisé, du volume consommateurs sans comptage et du volume de service du réseau.

Prélèvement (2) :
Un prélèvement correspond à l’opération permettant de constituer un ou plusieurs échantillons cohérents (un échantillon par laboratoire) à un instant donné (ou durant une période donnée) et à un endroit donné (1 prélèvement = n échantillons pour n laboratoires).

Echantillon (3) :
Un échantillon est la fraction d’un prélèvement qui est envoyé à un laboratoire afin d’en effectuer des analyses. Il peut être constitué de plusieurs flacons (1 échantillon = n flacons pour faire p analyses sur q paramètres).

3.2. Service de l’eau : correspondance des définitions avec la terminologie de l’IWA

L’International Water Association (IWA) présente dans son document " Performance Indicators for Water Supply Services – Operations & Maintenance Specialist Group " un tableau permettant de faire un bilan des volumes d’eau sur un service. La correspondance entre la terminologie de l’IWA et celle de ASTEE (reprise en grande partie au § 3.1) figure dans le tableau suivant, qui est le bilan des volumes tel que vu par l’IWA :

tableau

(1) Il s’agit donc de la même définition que celle de l’ASTEE dans la revue Techniques Sciences Méthodes no 4 bis – 90 avril 1990 : Rendement des réseaux d’eau potable – Définition des termes utilisés.
(2) Ces définitions correspondent aux définitions du SANDRE : Echanges DDASS – Distributeurs Version 0.4 du 7 février 2006
(3) Le volume importé et le volume exporté sont également définis par l’ASTEE

On a les égalités suivantes :

Volume consommé autorisé IWA = volume consommé autorisé (défini dans le présent document) + volume vendu en gros (exporté).

Volume consommé total = volume consommé autorisé IWA + volume détourné + volume défaut de comptage.

3.3. Service de l’assainissement collectif

3.3.1. Termes communs à l’ensemble des fiches assainissement collectif

Réseau de collecte des eaux usée :
Ensemble des équipements publics (canalisations et ouvrages annexes) acheminant de manière gravitaire ou sous pression les eaux usées et unitaires issues des abonnés, du domaine public ou d’autres services de collecte jusqu’aux unités de dépollution. Il est constitué de la partie publique des branchements, des canalisations de collecte, des canalisations de transport, des ouvrages et équipements hydrauliques (1).

Station d’épuration (ou usine de dépollution) :
Ensemble des installations chargées de traiter les eaux collectées par le réseau de collecte des eaux usées avant rejet au milieu naturel et dans le respect de la réglementation (appelée aussi usine de traitement, STEP)

3.3.2. Termes spécifiques à la fiche P251.1

" Taux de débordement des effluents dans les locaux des usagers. " (2)

Inondation :
L’eau pluviale ne peut être évacuée par le réseau car les bouches d’engouffrement sont obstruées totalement ou partiellement (le réseau en lui-même n’est pas saturé) ; en période de crue de cours d’eau, l’eau inonde la chaussée suite à un défaut d’étanchéité des déversoirs d’orage.

Débordement :
L’eau n’est pas évacuée par le réseau soit par manque de capacité hydraulique (y compris pompage, notamment en période de crue), soit suite à une obstruction partielle ou totale de canalisations de collecte ou de transport (les ouvrages d’engouffrement ne sont pas en cause).

Infiltrations :
L’eau s’infiltre dans les locaux des usagers par le sol ou les murs en sous-sol.

Refoulement :
Retour d’eau du réseau public vers les locaux de l’usager par l’intermédiaire de son branchement. Cela se produit lorsque le branchement n’est pas équipé d’un dispositif anti-refoulement (clapet, pompage) et que la pression (ou niveau d’eau) est élevée dans le réseau public.

Annexe V - Degré de confiance pour les indicateurs de performance : Degré de fiabilité du processus de production et écart significatif (3)

(1) Il est courant de parler de " réseau de collecte hors branchements " pour ne désigner que les canalisations de collecte, de transport et les ouvrages et équipements hydrauliques.
(2) Ces définitions ne s'entendent que dans le contexte de la fiche P251.1
(3) Fiche établie à partir des travaux des producteurs de données (groupe FP2E, FNCCR) de Ernst & Young sur la base de la méthode développée par l'International Water

Association

L’utilisation des indicateurs de performance ne peut se faire de manière pertinente que si les utilisateurs sont avertis du degré de confiance qu’ils peuvent accorder aux résultats. Dans son ouvrage " Performance Indicators for Water Supply Services – Operations & Maintenance Specialist Group ", l’International Water Association (IWA) propose une méthode basée sur la détermination d’un degré de fiabilité et d’un niveau de précision.

L’objet du présent document est de présenter une approche similaire basée sur :

1. Une méthode de détermination du degré de fiabilité de la production de chaque indicateur, méthode inspirée de celle de l’IWA ;
2. La notion d’écart significatif, qui permet de concilier d’une part le besoin de conclure au vu des résultats obtenus et d’autre part d’éviter des conclusions erronées.

Cette nécessaire prudence ne remet pas en cause la pertinence des indicateurs mais vise à identifier les processus peu fiables d’obtention des indicateurs, afin de conduire le producteur de données à améliorer cette fiabilité, en se posant les bonnes questions, et aboutir à des conclusions plus pertinentes.

En conclusion, les bonnes pratiques et les principes de prudence à retenir dans l’utilisation des résultats des indicateurs de performance sont les suivants :

Pour le producteur de données :
Pour chaque indicateur, le producteur de données évalue le degré de fiabilité du processus de production de l’indicateur. Il s’efforce d’améliorer ce processus afin de garantir un certain niveau de rigueur et une traçabilité. Il s’autoévalue chaque année pour en suivre les améliorations.

Pour toute utilisation des résultats :
Par principe, toute comparaison, tout calcul d’écart ne peut se faire que sur des indicateurs pour lesquels le processus de production des résultats est jugé fiable ou très fiable.

Si tel est le cas, une analyse ne peut être déclenchée que si les écarts sont significatifs.

Par convention, l’écart significatif est fixé à 2 % pour un même service sur plusieurs exercices, et à 5 % pour plusieurs services sur un même exercice. Si l’écart est supérieur à ces valeurs, l’analyse des tendances est déclenchée. A l’inverse, on ne peut rien conclure si un indicateur varie de moins de 2 % d’une année à l’autre, ou si la différence entre deux services est inférieure à 5 %.

La comparaison permet de conclure à des tendances mais ne permet pas de quantifier des écarts de manière définitive.

1. Détermination du degré de fiabilité de la production de chaque indicateur

1.1. Objectif de la démarche

La méthode est mise en place afin d’évaluer la fiabilité de la production des indicateurs de performance. On ne vise pas la fiabilité du résultat en tant que valeur numérique mais la fiabilité du processus qui permet d’obtenir ce résultat.

Cette notion de fiabilité, issue des travaux de l’IWA, est utilisée ici pour stimuler les efforts de rigueur et de traçabilité des collectivités et des entreprises, en définissant des niveaux pour positionner les processus de production des indicateurs. Cette approche permet également d’en suivre l’amélioration dans le temps.

Il s’agit d’une méthode d’auto évaluation de la fiabilité, pour permettre à tout service de procéder à sa propre évaluation. Elle est avant tout une incitation à la rigueur et au progrès (un service fera des efforts pour progresser d’une classe de fiabilité).

Cette méthode ne renseigne pas directement sur les résultats. En effet, ce n’est pas le résultat lui-même qui est jugé fiable, mais le processus de production de ce résultat. L’obtention de ce résultat tient compte des écarts liés à la latitude d’interprétation des définitions et du manque de précision des mesures physiques. L’attribution d’une classe de fiabilité A ou B à un processus de production d’un indicateur ne donne donc pas une indication bien définie sur la précision du résultat et ne permet pas une utilisation aveugle des chiffres. A contrario, un processus de production d’un indicateur classé C incitera à se méfier encore plus des valeurs obtenues et toute comparaison avec d’autres années ou d’autres services sera sans intérêt, voire dangereuse.

Les tentatives d’interprétation des résultats des indicateurs de performance ne devront se faire que sur des services dont le processus de production de ces indicateurs est de classe A ou B.

Il s’agit d’un préalable avant toute tentative de comparaison entre exercices successifs pour un même service ou entre plusieurs services sur un même exercice. Aucun calcul d’écarts et aucune analyse sur ces écarts ne devront être conduits sur des services dont le processus de production des indicateurs n’est pas classé A ou B.

1.2. Principe de détermination du degré de fiabilité

Le producteur de données doit se positionner dans une grille d’évaluation organisée autour de 3 classes de fiabilité et de 4 critères. Les 3 classes de fiabilité sont :

- A pour " très fiable " ;
- B pour " fiable " ;
- C pour " peu fiable ".

Les critères couvrent l’ensemble du processus de calcul des indicateurs, depuis la mesure sur le terrain ou la prise d’information des données de base jusqu’au résultat du calcul de l’indicateur.

Cette méthode concerne aussi bien les données issues de mesures physiques (telles que les volumes, les analyses de qualité d’eau...) que les autres données (telles que le nombre de réclamations, de débordements...).

Afin de conserver une approche pragmatique et utilisable, l’évaluation de la fiabilité se fait globalement au niveau de l’indicateur, en fonction de la façon dont des données qui rentrent dans sa composition sont collectées et traitées, et non pas au niveau de chaque donnée individuelle.

Pour un indicateur considéré, la démarche est la suivante :

1. Le producteur de données se positionne entre les classes A et C pour chacun des critères retenus ;
2. Le processus est classé B si tous les critères sont au moins de classe B, il est classé A si tous les critères sont de classe A, il est classé C autrement.

Ainsi, cette méthode permet d’associer à chaque indicateur un degré de fiabilité du processus de production, qui doit être utilisé pour aider à l’interprétation des résultats.

On trouvera aux annexes 1 et 2 le détail des critères et la grille d’autoévaluation avec les 3 classes de fiabilité.

2. Ecart significatif

Avoir des processus fiables de production des indicateurs n’est pas suffisant pour s’autoriser à comparer sans discernement les résultats obtenus par différents services ou par un même service sur plusieurs exercices.

En effet, en détaillant le processus d’élaboration d’un indicateur, on voit que les écarts entre les résultats obtenus et la réalité proviennent de la subjectivité des définitions, du manque de fiabilité et du manque de précision :

1. Les définitions des indicateurs, après avoir essayé de les préciser pour lever les ambiguïtés, comportent encore une part inévitable d’imprécision et d’interprétation ;
2. Le processus de production des indicateurs mis en place par les collectivités et les entreprises est plus ou moins fiable ;
3. Le manque de précision des mesures physiques est inhérent à toute mesure.

Par le jeu cumulé de ces écarts, les chiffres se trouvent souvent loin de ce qui est acceptable pour pouvoir en tirer des conclusions sérieuses et utilisables, ce que les retours de terrain viendront certainement démontrer dans les années à venir. Des valeurs d’indicateurs proches ne sont ainsi pas nécessairement significativement différentes et retirent toute pertinence à une comparaison (1).

Pour un même service, rien ne prouve que l’erreur sera toujours dans le même sens d’une année sur l’autre, et la rigueur conduit à refuser des conclusions bâties sur la persistance d’erreurs systématiques. Quand il s’agit de comparer des services entre eux, les écarts sont potentiellement encore plus importants, et cette rigueur est d’autant plus nécessaire.

Mais tout le monde demande instinctivement des conclusions. En toute rigueur, le processus ne permet pas de répondre naturellement à ces attentes, toutefois on peut définir des règles pour éviter les conclusions trop erronées.

Deux solutions sont possibles :

- soit chercher à déterminer les vraies caractéristiques de l’incertitude sur le chiffre obtenu, en analysant tout le processus de production de ce chiffre (2). Mais cette entreprise de vérité apparaît trop complexe, et nécessite de plus un consensus scientifique sur tous les détails de calcul. Il paraît ainsi inenvisageable de rechercher cette "vérité" par des calculs d'incertitudes ;
- la seule alternative est donc la recherche d’un accord conventionnel : tout le monde sait que les calculs ne sont pas exacts et que les conclusions seront parfois injustes, mais accepte de jouer le jeu par décision conventionnelle. La règle consiste à dire qu’il serait absurde de conclure à un écart significatif au-dessous d’un certain écart conventionnel. Cet écart conventionnel est choisi :
- inférieur à l’écart significatif réel que l’on peut supposer (qui est souvent supérieur à 20 % !) ;
- selon un ordre de grandeur psychologique (pas trop grand pour ne pas décourager) ;
- le plus possible sécurisant (donc suffisamment grand), sans être inacceptable par des tiers ;
- selon des modalités simples et de bon sens.

Il est considéré par convention qu’un écart est significatif si les chiffres de deux services diffèrent de plus de 5 % et si deux chiffres d’un même service au cours du temps diffèrent de plus de 2 % (3).

Ce sont les seuils de déclenchement de l’analyse. Si un écart est jugé significatif, on conclura sur une tendance, sans quantifier. Dans tous les cas, chacun se doit de garder à l’esprit l’objectif initial des indicateurs : se mettre en position de réflexion.

(1) Ainsi, quand on compare un ratio de 79 % à un ratio de 81 %, cela ne consiste pas à dire " la comparaison de ces chiffres doit être faite avec prudence, mais quand même, elle veut bien dire quelque chose " : on ne sait absolument pas laquelle des deux situations est supérieure à l’autre, et il faut donc s’interdire de conclure dans un sens ou dans l’autre.
(2) Théoriquement, on pourrait trouver qu’il y a 5 % de chances qu’un chiffre soit inférieur à 75, 15 % de chances qu’il soit entre 75 et 77, 30 % de chances qu’il soit entre 77 et 79, etc. On pourrait aussi montrer que le chiffre " 81 " a 55 % de chances d’être réellement supérieur au " 79 ".
(3) Pour un service, un indicateur prend une valeur X l’année N et Y l’année N+1. Par convention, on considère que l’écart au cours du temps est significatif si (Y-X)/X est supérieur à 2 % en valeur absolue.

Pour deux services, l’année N, un indicateur prend la valeur X dans un service et la valeur Z dans l’autre. Par convention, l’écart est considéré comme significatif si (Z-X)/Z est supérieur à 5 % si Z > X ou si (X-Z)/X est supérieur à 5 % si X > Z.

Annexe I - Règle et critères retenus

Les tableaux ci-après précisent :

- la règle permettant d’attribuer un niveau de fiabilité en fonction du niveau de respect des 4 critères ;
- pour chaque critère les éléments clés permettant de différencier les classes de fiabilité.

La définition des classes de fiabilité de chaque critère figure en annexe II.

Tableau 1 - Règle d’attribution de la classe de fiabilité de production d’un indicateur
Classe de fiabilité

A

B

C

Règle 100 % des critères applicables sont de classe A 100 % des critères applicables sont au moins de classe B Un critère (ou plus) applicable est de classe C

Tableau 2 - Critères d’évaluation du processus de production d’un indicateur

Critère Eléments clés (cf. détail par niveau de fiabilité en annexe II)
1. Procédures et méthodes de calcul Existence d’un ensemble cohérent de documents écrits, référencés, accessibles et diffusés décrivant les définitions, les méthodes de calcul ainsi que les rôles et responsabilités en matière de collecte, de calcul et contrôles (notion de procédure).
2. Traçabilité Existence d’une base de données de référence ou de supports papiers partagés et accessibles.
3. Contrôles et validation Contrôles des données Validation de l’indicateur par l’encadrement
4. Métrologie (mesures physiques), le cas échéant Suivi des meilleures pratiques (a)

Importance des estimations effectuées (seuil d’un tiers)

(a) Suivi des meilleures pratiques (métrologie) : mesure validée par les autorités de contrôles, ou conforme aux prescriptions réglementaires lorsqu’il en existe (exemple : compteurs d’eau froide), ou réalisée par un laboratoire accrédité lorsque ce dispositif existe. Pour les autres cas, les mesures sont effectuées par du personnel qualifié et habilité, suivant une procédure écrite et avec du matériel dont les performances métrologiques sont périodiquement vérifiées.

Pour les indicateurs ne faisant intervenir aucune donnée issue de mesures physiques, le critère n° 4 (métrologie) ne s’applique pas.

L’auto évaluation doit être représentative de l’ensemble de l’exercice auquel sont rattachées les valeurs des indicateurs de performance. Les modifications significatives effectuées en cours d’exercice susceptibles de modifier l’auto évaluation seront prises en compte lorsqu’elles seront rétroactivement appliquées sur la quasi-totalité de l’exercice (exemple : définition ou contrôle des indicateurs).

Note sur l’articulation de l’évaluation entre l’indicateur et les données le composant :

La fiabilité s’apprécie de manière globale sur le processus d’élaboration de l’indicateur. Toutefois, lorsque l’indicateur est calculé à partir de données provenant de processus distincts (exemple : numérateur et dénominateur de l’indice linéaire des volumes non comptés), le niveau de fiabilité associé à chaque critère (exemple : contrôles, procédures, etc.) est le plus petit des niveaux obtenus par chaque processus de production de données. Exemple, pour l’indice linéraire des volumes non comptés, pour chacun des critères, le niveau de fiabilité sera le plus petit du niveau de fiabilité obtenu entre le processus de mesure des volumes non comptés et le processus de mesure des longueurs de réseaux.

Annexe II - Grille d’auto évaluation du degré de fiabilité de la production d’un indicateur

La grille d’auto évaluation détaillée dans le tableau ci-dessous repose sur 4 critères d’évaluation et 3 classes de fiabilité.

Critère/classe

A

B

C

1. Procédures et méthodes de

calcul

Il existe un ensemble cohérent de documents écrits, référencés, accessibles et diffusés décrivant les définitions (définition de l’indicateur et de chacune des données qui contribue à son calcul), les méthodes de calcul ainsi que les rôles et responsabilités en matière de collecte, de calcul et de contrôles (notion de

procédure).

Il existe des documents écrits décrivant les définitions, les méthodes de calcul ainsi que les rôles et responsabilités en matière de collecte, de calcul et de contrôles sans être systématiquement cohérents, référencés, accessibles et diffusés (exemple : courriel, note de service, compte rendu...). Les documents ne décrivent pas l’ensemble des définitions, méthodes de calcul et responsabilités (ou autre).
2. Traçabilité L’indicateur et les données sont chacun tracés dans une base de données de référence du

service, servant à toutes les utilisations et accessibles à plusieurs personnes.

L’indicateur et toutes les données sont tracés sur des supports référencés (papiers ou base de

données). Certains supports ne peuvent être accessibles qu’à une seule personne.

L’indicateur et les données ne sont pas tous tracés sur un support de référence (ou autres cas).
3. Contrôles et validation L’indicateur est validé formellement à minima annuellement par une personne de l’encadrement. Les données sont enregistrées et contrôlées dans un délai raisonnable (sous un mois pour des activités quotidiennes ou avant la campagne suivante pour des activités périodiques) à compter du constat de l’événement (exemple : PV de réception ou d’analyse). Le contrôle peut consister en des tests automatiques ou manuels effectués par une personne (tests de vraisemblance, analyses statistiques, etc.). L’indicateur est validé formellement annuellement par une personne de l’encadrement. Les données sont contrôlées lors du calcul de l’indicateur, par des tests automatiques ou par une personne (test de vraisemblance, analyses statistiques, etc.). L’indicateur n’est pas formellement validé par l’encadrement ou les données ne font pas l’objet de contrôles lors de leur acquisition ou du calcul de l’indicateur (ou autres cas).
4. Métrologie (le cas échéant) Les mesures suivent les meilleures pratiques (a) et ne font pas l’objet d’estimation significative (moins de 5 % du total annuel de la donnée considérée). Les mesures suivent les meilleures pratiques (a). Les estimations sont supérieures à 5 % mais restent inférieures à un tiers du total annuel de la donnée considérée. Absence de suivi des meilleures pratiques (a) ou estimations très significatives (supérieures à un tiers du total annuel de la donnée considérée).
(a) Suivi des meilleures pratiques (métrologie) : mesure validée par les autorités de contrôles, ou conforme aux prescriptions réglementaires lorsqu’il en existe (exemple : compteurs d’eau froide), ou réalisée par un laboratoire accrédité lorsque ce dispositif existe. Pour les autres cas, les mesures sont effectuées par du personnel qualifié et habilité, suivant une procédure écrite et avec du matériel dont les performances métrologiques sont périodiquement vérifiées.

Pour les indicateurs ne faisant intervenir aucune donnée issue de mesures physiques, le critère n° 4 (métrologie) ne s’applique pas.

Autres versions

A propos du document

Type
Circulaire
Date de signature
Date de publication