Le code des bonnes pratiques

Pour que les utilisateurs aient une perception claire de la qualité des productions statistiques, il convient de les informer. En France, bien avant la promulgation du Code de bonnes pratiques de la statistique européenne, la qualité de la production statistique a été une préoccupation permanente du service statistique public français. Le Code a toutefois fait émerger le souci de mieux informer l'utilisateur sur la qualité des statistiques produites : l'Insee et les services statistiques publics diffusent un volume d'informations croissant sur la qualité des résultats statistiques.

Le Code de bonnes pratiques de la statistique européenne s'applique stricto sensu aux statistiques à vocation européenne, c'est-à-dire celles établies à destination d'Eurostat et de la Banque centrale européenne. Le Conseil national de l'information statistique (CNIS) a préconisé néanmoins d'étendre son application à toute la statistique publique, y compris la production à seul usage national. L'Insee et les services statistiques publics se mettent donc progressivement en conformité avec le Code pour toute leur production statistique. Les études réalisées par l'Insee ou par des organismes publics répondent à une logique différente et ne sont pas actuellement concernées.

Le choix stratégique de la conformité au Code de bonnes pratiques est l'occasion de présenter les dispositifs existants par référence à un cadre reconnu. Dans un contexte mondialisé, des règles reconnues internationalement visant à garantir la qualité des statistiques ont progressivement émergé. En 1994, la commission statistique de l'ONU a adopté les principes fondamentaux de la statistique officielle qu'elle considère comme un élément indispensable pour une société démocratique : les instituts de statistiques doivent travailler sur la base de préoccupations professionnelles incluant des principes scientifiques et déontologiques. Le Fonds monétaire international (FMI) et l'Organisation de coopération économique internationale (OCDE) ont également émis des recommandations en matière de qualité statistique. En 2005, la Commission européenne a promulgué le Code de bonnes pratiques de la statistique européenne. Ce code a été révisé en 2011 et complété par un cadre d'assurance qualité qui décline des méthodes pour chacun des indicateurs des principes 4 et 7 à 15. Le Code européen, s'il s'inspire des travaux antérieurs, est plus détaillé et concret. Il se réfère notamment au management de la qualité selon le modèle dit EFQM (European Foundation for Quality Management).

Politique de révision - annonce d'erreurs

La politique de révision du SSM Défense définit les révisions comme « Tout changement de valeur d’une statistique déjà diffusée. Elles recouvrent les modifications de données, régulières ou exceptionnelles, souvent inhérentes à certaines productions statistiques (indices, comptes nationaux, etc.). Les révisions interviennent lorsque les données en entrée sont modifiées ou complétées après leur première diffusion. Elles peuvent également être occasionnées par des changements de concepts, de nomenclatures ou de méthodes et peuvent résulter de causes variées. Les refontes peuvent être l’occasion d’intégrer plusieurs sources de révision en même temps (changement de méthodologie, changement de base, etc.). Les révisions ne comprennent pas les corrections d’erreurs de production, qui font l’objet d’un traitement spécifique adapté à la nature et à l’ampleur de la correction. »

Tous les supports de diffusion peuvent être concernés par une erreur : publication électronique (y compris base de données et visualisation des données), article du site Internet, de même que les fichiers détail (mis à disposition en interne ou destinés aux chercheurs).

Le champ d’application retenu ici n’inclut pas :

• La révision. Celle-ci induit, comme une erreur, la modification de données/informations déjà publiées mais s’en distingue par :
  • sa planification (une révision est prévue, annoncée à l’avance ; une erreur est inattendue) ;
  • son origine (une révision est due à la prise en compte d’une version améliorée de données sources ou à une modification méthodologique ; une erreur résulte d’un « accident » dans le processus de production ou de diffusion).
• L’incertitude statistique (erreur aléatoire - liée au fait de sonder une partie de la population étudiée seulement) inhérente à tout processus de production statistique, ainsi que les biais de mesure (erreur de couverture, erreur due à la non-réponse, etc.) ne relèvent pas de la présente politique.

En résumé, une erreur est un phénomène qui se corrige en appliquant le processus de production prévu ou en l’adaptant à la marge.

Une erreur est considérée comme :

• majeure si elle modifie de façon non triviale et potentiellement spécieuse l’interprétation des données ou des informations diffusées et présente des conséquences (estimées) significatives pour les utilisateurs ;
•  mineure dans les autres cas.

Les conséquences de l’erreur ne peuvent pas être parfaitement évaluées ex-ante. Elles sont approchées par la combinaison :

• du type d’indicateur touché et de sa sensibilité dans l’analyse économique ou sociale ;
• des usages connus des données concernées et des conséquences anticipées de l’erreur qui en découlent ;
• de la visibilité des données concernées (comme proxy de leur degré de diffusion) ;
• de l’ancienneté de l’erreur au moment de sa découverte.

Le type de l’erreur (mineure/majeure) détermine le traitement de l’erreur ainsi que la communication relative à cette erreur.

Conformément au code européen de bonnes pratiques, les erreurs sont corrigées dans les meilleurs délais, si possible simultanément sur l’ensemble des supports concernés (cf. 1.1).

Du point de vue des utilisateurs, les corrections présentent un gain, mais peuvent également présenter un coût (coût d’intégration des données, de reprise de leurs traitements et analyses). Les avantages et inconvénients doivent être mis en balance, de façon à limiter le nombre et la fréquence de rediffusion de données et informations déjà publiées.

Ainsi, deux principes sont retenus :

• une erreur majeure fait l’objet d’une nouvelle diffusion dans les meilleurs délais ;
• une erreur mineure peut être corrigée sans délai si la balance avantages/inconvénients est bénéfique pour l’utilisateur.   Dans   le   cas   contraire, un   certain   délai   peut   être   envisagé   pour   intégrer   la   correction, notamment si celle-ci peut intervenir à l’occasion d’une nouvelle diffusion de données (dans le cas de données diffusées fréquemment) ou si la charge de production courante nécessite de différer la prise en charge de la correction, de façon à minimiser le risque de retard dans la mise à disposition des estimations suivantes. À condition que l’écart entre la valeur diffusée d’un indicateur et sa valeur correctement estimée soit non significatif, une erreur mineure peut exceptionnellement ne pas être corrigée.

Lorsque leur correction nécessite un délai, les erreurs majeures sont signalées, dès que possible, en amont de leur correction :

• à un endroit bien visible sur les supports concernés et, dans certains cas, à tout autre emplacement susceptible d’attirer l’attention du public ;
• par un message ad hoc destiné aux utilisateurs connus des données (notamment aux abonnés dans le cas d’une erreur sur une publication et dans certains cas aux médias), transmis par les canaux habituels de diffusion.

Le signalement de l’erreur comporte :

• la description précise de l’erreur ;
• la date à laquelle la correction sera effectuée (ou a minima un délai maximal) ;
• l’origine de l’erreur (lorsqu’elle a pu être identifiée) ;
• son impact potentiel (lorsqu’il a pu être évalué) : ordre de grandeur, conséquence sur le message transmis, etc. ;
• les supports éventuels donnant des informations plus précises sur l’erreur.

Dans le cas où le risque de confusion pour l’utilisateur reste non négligeable malgré ces signalements, les informations incorrectes peuvent être en outre retirées du site Internet jusqu’à leur correction.

Les erreurs mineures ne sont pas signalées en amont de leur correction.

Lors de la correction d’une erreur, qu’elle soit majeure ou mineure :

• les informations erronées sont remplacées par leur version corrigée et sont définitivement supprimées sauf suivi particulier ;
• la version corrigée est accompagnée d’une mention de la correction, sauf dans le cas d’erreurs de forme ;
• par ailleurs, dans le cas de la correction des erreurs majeures uniquement, les utilisateurs connus (tels que décrits au 3.1) en sont informés, selon les modalités décrites au 3.1.

La mention de la correction suit les trois principes suivants :

1. Elle indique :
   • la date à laquelle la correction a été effectuée ;
   • l’ampleur de la correction ;
   • pour les erreurs majeures, l’explication de l’erreur (origine) et de la correction effectuée.
2. Elle est placée à l’endroit de l’erreur ou à proximité immédiate selon les possibilités (bases de données notamment). Pour les erreurs majeures, elle est en outre portée à un endroit bien visible sur le support (par exemple, avertissement sur la page de présentation pour une publication électronique) et éventuellement à tout autre emplacement susceptible d’attirer l’attention.
3. Elle est, dans la mesure du possible, pérenne. C’est le cas, en particulier, pour les publications.

Toutes les erreurs majeures, ainsi que leur résolution, sont documentées (nature, origine, correction effectuée) et archivées de façon centralisée.

Le recensement des erreurs majeures vise à :

• améliorer en continu les données sources, les processus et la qualité des résultats obtenus ;
• renseigner les utilisateurs sur les corrections effectuées, et plus généralement sur la qualité des statistiques.

Les erreurs mineures ne font pas l’objet d’une documentation.

Le secret statistique et la protection des données

Le respect de la vie privée ou du secret des affaires des fournisseurs de données (ménages, entreprises, administrations et autres répondants), la confidentialité des informations qu'ils communiquent et l'utilisation de celles-ci à des fins strictement statistiques sont absolument garantis.

Les fonctionnaires et agents de l'État sont soumis aux règles législatives et réglementaires sur le secret professionnel et l'obligation de réserve : ces règles s'appliquent à tous les dossiers et informations dont ils ont connaissance dans leur travail. Comme tous les fonctionnaires, les statisticiens des services publics sont soumis à ces obligations. Des règles spécifiques aux collectes statistiques sont définies par la loi n°51-711 du 7 juin 1951 : le secret statistique protège la vie privée et les intérêts économiques. De surcroît, le législateur a prévu des textes particuliers pour les données à caractère personnel par la loi n° 78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés.

Depuis septembre 2007, tous les fonctionnaires, au moment de leur première prise de fonction dans un service statistique, signent un formulaire par lequel ils reconnaissent avoir été informés que la loi leur impose le respect du secret statistique. Le formulaire pour les non-fonctionnaires (agents contractuels, enquêteurs, vacataires) est intégré dans le contrat d'embauche qui les lie à l'autorité statistique. De plus, en 2010, tous les agents du service statistique public embauchés avant 2007 ont signé un engagement de confidentialité.

Des sanctions sont prévues pour toute violation délibérée du secret statistique.

Le code pénal (article 226-13) prévoit une peine qui peut atteindre une année de prison et jusqu'à 15 000 euros d'amende pour toute violation du secret statistique. Les sanctions peuvent être plus lourdes en cas de non-respect de la loi de 1978 relative à l'informatique, aux fichiers et aux libertés.

Des lignes directrices et des instructions sont données au personnel concernant la protection du secret statistique lors des processus de production et de diffusion. Les règles de confidentialité sont portées à la connaissance du public

Un guide décrivant les règles et les bonnes pratiques en matière de respect du secret statistique est à disposition des producteurs : ceux-ci sont responsables de la protection des données.

L'Insee applique des règles strictes dans la diffusion des données pour rendre impossible toute identification des unités statistiques (personnes, ménages, entreprises...). Les données publiées à partir des enquêtes ou du recensement de la population ne permettent aucune identification, ni directe ni indirecte, des répondants. Pour les données relatives aux entreprises, aucun résultat n'est publié s'il concerne moins de trois entreprises ou établissements, ni lorsqu'une seule entreprise ou un seul établissement contribue à plus de 85 % de ce résultat.

Des dispositions matérielles, techniques et organisationnelles sont prises en vue de garantir la sécurité et l'intégrité des bases de données statistiques

Il existe à l'Insee une unité chargée de la sécurité des traitements informatiques et les consignes de protection physique et technique sont solides. Les modalités d'application de ces consignes font l'objet d'un examen annuel dans tous les établissements. Cet examen donne lieu à un rapport permettant de prendre les mesures correctrices éventuellement jugées nécessaires.

Un cahier des règles et standards de sécurité informatique est rédigé, à usage interne, et mis à jour régulièrement. Des protocoles stricts s'appliquent aux utilisateurs extérieurs ayant accès aux micro-données statistiques à des fins de recherche.

Dans les limites strictement définies par la loi sur l'obligation, la coordination et le secret en matière de statistiques et par la loi relative à l'informatique, aux fichiers et aux libertés, les besoins particuliers de spécialistes ont conduit à la mise en place d'un processus d'accès à des données détaillées ou à des données individuelles.

La Commission nationale de l'informatique et des libertés (Cnil) exerce son contrôle sur la diffusion des données relatives aux données à caractère personnel.

La loi n° 51-711 du 7 juin 1951 sur l'obligation, la coordination et le secret en matière de statistiques prévoit un délai de 25 ans d'interdiction de communication pour les renseignements individuels d'ordre économique ou financier et de 75 ans (ou 25 ans après le décès de la personne concernée) pour les renseignements individuels relatifs aux faits et comportements d'ordre privé. Après ces délais, les données tombent dans le domaine public.

Avant l'expiration de ces délais, c'est le Comité du secret statistique qui est chargé de veiller au strict respect de la confidentialité des données individuelles. Un avis du Comité du secret statistique suivi d'une décision de l'administration des archives rend toutefois possible l'accès à des données individuelles : des conventions sont alors signées avec les chercheurs ou des organismes habilités et, dans ce cas, les obligations légales du secret statistique s'appliquent aussi aux chercheurs. Les renseignements individuels relatifs à la vie personnelle et familiale ne peuvent être communiqués qu'à des fins de statistique publique ou de recherche scientifique ou historique.

Règles de diffusion des publications statistiques

Conformément au principe d'impartialité et d'objectivité du code de bonnes pratiques de la statistique européenne, le service statistique public français (SSP) s'est engagé à annoncer à l'avance les dates et heures de parution des statistiques les plus importantes et à donner accès aux publications des indicateurs statistiques à tous les utilisateurs au même moment et dans les mêmes conditions.