Document généré le 6 mai 2020 19:00
Sociologie et sociétés
Tout ce qui compte ne peut être compté
La (non-) fabrication d’un indicateur de sécurité dans le
contrôle aérien
Not Everything that Counts Can be Counted
The (un) Making an Indicator of Safety in Air Traffic Control
Christine Fassert
La statistique en action
Statistics in Action
Volume 43, numéro 2, automne 2011
URI : https://id.erudit.org/iderudit/1008246ar
DOI : https://doi.org/10.7202/1008246ar
Aller au sommaire du numéro
Éditeur(s)
Les Presses de l’Université de Montréal
Résumé de l'article
Sur la scène statistique, les indicateurs occupent désormais une place de choix,
et lorsque leur ambition est de mesurer des aspects par nature intangibles, ils
font souvent l’objet d’âpres discussions. L’histoire et les déboires de
l’élaboration, sur le plan européen, d’un indicateur de sécurité dans un
domaine à risque (le contrôle de la navigation aérienne) montrent les
difficultés épistémiques (que peut-on mesurer ou quantifier ?) et politiques (à
quelles conditions peut-on rendre des chiffres publics ?) liées à un objectif (la
sécurité aérienne) qui est la raison d’être des organismes de contrôle de la
navigation aérienne. Dans la lignée de la sociologie de la statistique d’Alain
Desrosières, nous analysons cette histoire de recherche d’accord sur les
conventions, qui devient celle d’une renonciation à quantifier (tout ce qui
compte ne peut être compté…) et nous proposons ainsi d’ouvrir une histoire
des échecs, du renoncement, et de la résistance à la quantification.
ISSN
0038-030X (imprimé)
1492-1375 (numérique)
Découvrir la revue
Citer cet article
Fassert, C. (2011). Tout ce qui compte ne peut être compté : la (non-) fabrication
d’un indicateur de sécurité dans le contrôle aérien. Sociologie et sociétés, 43 (2),
249–271. https://doi.org/10.7202/1008246ar
Tous droits réservés © Les Presses de l’Université de Montréal, 2012
Ce document est protégé par la loi sur le droit d’auteur. L’utilisation des
services d’Érudit (y compris la reproduction) est assujettie à sa politique
d’utilisation que vous pouvez consulter en ligne.
https://apropos.erudit.org/fr/usagers/politique-dutilisation/
Cet article est diffusé et préservé par Érudit.
Érudit est un consortium interuniversitaire sans but lucratif composé de
l’Université de Montréal, l’Université Laval et l’Université du Québec à
Montréal. Il a pour mission la promotion et la valorisation de la recherche.
https://www.erudit.org/fr/
Tout ce qui compte
ne peut être compté
La (non-) fabrication d’un indicateur de sécurité
dans le contrôle aérien
christine fassert
CETCOPRA
Université Paris 1 Sorbonne
17, rue de la Sorbonne
75005 Paris
Courriel : christine.fassert@wanadoo.fr
Ce qui compte ne peut pas toujours être compté,
et ce qui peut être compté ne compte pas forcément.
Albert Einstein
introduction
Récemment entrés sur la scène statistique, les indicateurs sont rapidement devenus des
outils centraux de l’action politique. Une fois créé, il est d’ailleurs courant qu’un indicateur « devienne la chose elle-même » (Desrosières, 1993). Il devient « une convention
durable non imposée » (Gadrey et Jany Catrice, 2004). Mais auparavant, il aura parfois
été nécessaire, pour les différents acteurs chargés de cette élaboration, de débattre
longuement, voire de renoncer à mesurer l’entité abstraite que l’on vise à saisir… Ce
moment où des institutions différentes mettent en débat une notion centrale pour leur
fonctionnement est rarement saisi, bien qu’il permette d’appréhender tous les enjeux
de la quantification1, enjeux qui sont parfois cruciaux si les chiffres sont destinés à être
rendus publics.
1.
Lorsqu’il s’agit d’une entité abstraite, Desrosières nous invite en toute rigueur de terme à parler
de quantification plutôt que de mesure. La notion de mesure renvoie trop aux sciences de la nature pour
Sociologie et sociétés, vol. xliii, no 2, automne 2011, p. 249-272
250
sociologie et sociétés • vol. xliii. 2
À travers l’histoire des tentatives d’élaboration d’un indicateur de sécurité des
services de contrôle de la navigation aérienne, nous aborderons plusieurs questions
liées à la production de chiffres. Les enjeux de la mesure et de la quantification sont
des enjeux épistémiques : chercher à mesurer une entité abstraite implique souvent
dans le même temps de définir l’objet que l’on veut mesurer. L’exemple le plus emblématique est celui du PIB, considéré comme un indicateur de richesse, désormais très
controversé. La construction d’un indicateur renvoie en effet aussi bien à des questions
techniques, sur les modalités de recueil des données, de pondération de facteurs, qu’à
des questions politiques, mais aussi philosophiques, morales. Idéalement, le choix des
diverses variables qui composent un indicateur et le choix de leur pondération doivent
être avant tout l’enjeu de débats publics sur « ce qu’il faut compter et ce qui compte le
plus » (Gadrey et Jany Catrice, 2004 : 21). Ainsi, l’histoire de l’élaboration d’un indicateur est aussi le reflet de configurations institutionnelles, du jeu des acteurs et de leurs
stratégies.
Lazarsfeld (1958) a proposé, dans un texte fondateur consacré à l’opérationnalisation des concepts sociologiques, la description de différentes étapes du processus de
« fabrication » d’un indicateur : traduction du concept en ses différentes dimensions,
décomposition de ces dimensions en variables dont certaines seront retenues à titre
d’indicateur, et enfin agrégation des différents indicateurs en un indice synthétique.
C’est ce dernier seulement qui « exprime », en l’opérationnalisant, le concept que l’on
cherche à appréhender.
Mais la rigueur de cette démarche, élaborée, rappelons-le, dans un contexte scientifique de vérification de concepts sociologiques, est très éloignée de ce qui peut être
observé dans l’élaboration des indicateurs telle qu’elle se pratique couramment dans
le monde industriel comme dans les sphères étatiques. Une littérature critique dénonce
à juste titre une tendance générale qui, en lieu et place d’un processus d’élaboration
d’indicateurs rigoureux et prudent, se borne le plus souvent à réduire une qualité
complexe à ce qui peut en être mesuré facilement (à l’une de ses dimensions si l’on
reprend la terminologie de Lazarsfeld). Ce pis-aller n’est pas toujours dénué de
cynisme. Comme le dénonce vigoureusement O’Neill (2002 : 55) : « Même ceux qui
conçoivent les indicateurs savent qu’ils sont au mieux (souligné par elle) des substituts
pour les objectifs réels. Personne, après tout, ne pense sérieusement que le nombre d’examens réussis est la seule preuve d’un bon enseignement ou que les taux de crimes élucidés
sont la seule preuve d’un bon système policier. »
Cependant, si de telles critiques font désormais partie du paysage des indicateurs,
les cas plus radicaux de résistance à la mesure et de renoncement à la quantification
ne sont pas légion. Les réflexions proposées ici abordent la question de la quantifica-
lesquelles l’objet existe dans la nature, antérieurement à sa mesure (la hauteur de la tour Eiffel). La quantification permet de parler des cas où l’indicateur est le « porte-parole d’une chose muette et hors de portée »,
une fiction utile pour reprendre les expressions qui sont les siennes.
Tout ce qui compte ne peut être compté
251
tion de la sécurité aérienne à partir d’une enquête de type ethnographique2 menée dans
un groupe d’échange rassemblant plusieurs États européens. À partir de l’analyse des
échanges et de l’évolution des jeux d’acteurs, sont abordées ensuite des réflexions plus
générales sur la mesure ou quantification de toute qualité abstraite, et sur les conditions qui peuvent mener à renoncer à cette mesure.
le contexte de l’enquête
Le contrôle de la navigation aérienne3
Chaque jour, des avions décollent et atterrissent, survolent de longues distances, non
pas tels des oiseaux, mais en suivant des routes aériennes car ils sont guidés par des
systèmes de radionavigation au sol, ou des systèmes satellites. Si des processus dits
« stratégiques » permettent de limiter a priori l’encombrement du ciel, un processus
tactique reste nécessaire pour assurer « l’ordonnancement sûr et efficace des avions ».
Les contrôleurs de la navigation aérienne assurent ce travail, à l’aide d’un système
technique complexe qui associe le suivi radar de chaque avion et des informations dites
« plan de vol » qui décrivent la trajectoire prévue de l’avion. Si l’espace aérien est
découpé selon les frontières nationales, des règles de sécurité internationale imposent
des séparations minimales entre les avions4. La mise en œuvre et le suivi constant de
cette séparation réglementaire sont assurés par un travail complexe d’analyse des
situations et d’anticipation des trajectoires des avions.
Le ciel unique européen
Depuis sa naissance, le contrôle de la navigation aérienne est assuré par des organismes
étatiques fournissant pour chaque pays les fonctions de contrôle de la navigation
aérienne (les fournisseurs de contrôle de la navigation aérienne, ou les États dans la
suite de ce texte). À la fin des années 1990 et au début des années 2000, l’Union européenne prend l’initiative de la création d’un ciel unique européen, visant à harmoniser,
puis dans un second temps à rassembler les différents systèmes nationaux. Cependant,
la première étape consiste à mettre en place quelques directives et notamment la séparation entre des « fournisseurs de service de contrôle de la navigation aérienne » et des
« autorités indépendantes », chargées de leur surveillance. L’agence EUROCONTROL
joue un rôle important dans ce contexte. Elle a en effet été mandatée pour l’établissement d’un cadre réglementaire en matière de sécurité. Plusieurs directives sont émises,
dont l’une, consacrée à la sécurité, stipule que « que les informations pertinentes en
2. Ces carnets sont issus d’un travail de thèse : C. Fassert. « La transparence dans les organisations
à risque. Une approche ethnographique dans le contrôle de la navigation aérienne ». Thèse de doctorat de
sociologie, 2009.
3.
Cette introduction au domaine de notre enquête donnera des rudiments d’informations sur le
contrôle aérien, strictement limités à ce qui est nécessaire pour comprendre la suite de ce travail.
4. Normes qui sont de 5 milles (nq) de séparation horizontale et 1000 pieds de séparation verticale
pour les zones dites de contrôle en-route en Europe.
252
sociologie et sociétés • vol. xliii. 2
matière de sécurité sont communiquées, collectées, stockées, protégées et diffusées. L’objectif
exclusif des comptes rendus d’événements est la prévention des accidents et incidents et non
la détermination de fautes ou de responsabilités5. »
L’agence est également chargée du suivi de la mise en œuvre de ces réglementations européennes dans les différents États membres, et elle joue de facto le rôle du
régulateur européen, en attendant la mise en place complète de l’EASA (Agence
Européenne de la Sécurité Aérienne).
Une nouvelle réglementation : des incidents plus visibles
Un des règlements européens rend obligatoire la notification des incidents par les
organismes nationaux. Il s’agit de mettre en œuvre des « systèmes harmonisés de notification et d’analyse des événements » (qui) « apporteront une visibilité plus systématique
sur les événements liés à la sécurité et à leurs causes6 », ce qui permettra, in fine, d’améliorer la sécurité des vols.
Ce règlement promeut la visibilité des incidents qui se produisent à l’extérieur des
organisations opérationnelles et l’harmonisation des modalités de recueil et d’analyse.
En effet, l’agence EUROCONTROL est consciente de différences importantes selon les
pays, et elle entend également organiser les modalités d’une transparence sur les incidents, dans un cadre européen qui exige une mise en commun de l’information sur la
sécurité aérienne. Quelques caractéristiques de l’incident doivent être ici rappelées.
Un accident peut se décrire (de façon simplifiée) comme un évènement qui
entraîne un décès (ou un blessé grave) ou un dégât structurel de l’aéronef. Un incident
est défini quant à lui de façon très large comme un « événement, autre qu’un accident,
lié à l’utilisation d’un aéronef, qui compromet ou pourrait compromettre la sécurité de
l’exploitation7 ». Les principaux types d’incidents dont nous parlerons ici sont les « pertes
de séparation » entre les avions, c’est-à-dire l’enfreinte des normes de séparation :
l’accident redouté dans ce cas est la collision en vol.
Il faut noter enfin que l’incident de type perte de séparation est par nature peu
visible en dehors du binôme de contrôleurs « responsables » de cet incident. Certes, les
contrôleurs disposent en effet, dans la majorité des centres de contrôle, d’un outil
d’alarme qui se déclenche lorsque la norme de séparation a été enfreinte. Cette alarme
peut être vue, dans certains cas, par les autres contrôleurs de la salle de contrôle. Mais
cet incident ne sera connu en dehors de la salle de contrôle que dans le cas où il sera
déclaré (notifié selon le vocabulaire en vigueur) par les contrôleurs au service chargés
de la sécurité. Notons enfin qu’il existe des systèmes de détection automatique qui
permettent d’enregistrer systématiquement les pertes de séparation et de transmettre
ces données, en dehors de la salle de contrôle, à un service national de surveillance de
5.
Exigence EUROCONTROL ESARR 2. Notification et analyse des évènements liés à la sécurité
dans le domaine de l’ATM ». 03-11-00, Statut : version autorisée, Classe : diffusion générale.
6. Ibid.
7.
Voir l’annexe 13 de l’OACI pour une description complète des notions d’accident et d’incident.
Tout ce qui compte ne peut être compté
253
la sécurité par exemple ; cependant, peu de pays en Europe sont équipés de tels
systèmes. Retenons pour l’essentiel une « opacité structurelle » des incidents au sein
du monde du contrôle aérien, élément d’importance dans le contexte de demande
de « transparence » par les autorités de sécurité aérienne européennes, contexte que
nous allons maintenant exposer.
Les acteurs institutionnels
Dans le cadre de cette élaboration réglementaire, deux acteurs institutionnels vont
jouer un rôle majeur au sein de l’agence EUROCONTROL :
La Commission d’examen des performances, dont le mandat est d’établir un système
indépendant d’examen des performances couvrant tous les aspects du contrôle de la
navigation aérienne. Un de ses principaux rôles consiste à préparer des rapports
annuels de performance des organisations de contrôle de la navigation aérienne, rapports qui sont rendus publics, ainsi que d’élaborer des recommandations adressées à
la commission permanente d’EUROCONTROL. Quatre domaines sont ainsi évalués :
la sécurité, les retards, l’efficacité économique et le rendement des vols.
La Commission d’examen de la sécurité se focalise quant à elle uniquement sur la
sécurité des vols, notamment à travers la mise en place d’un groupe d’amélioration de
la sécurité. Il s’agit d’un groupe d’échange sur les problèmes de sécurité dont le mandat principal est d’aider à la mise en place de la réglementation sur la déclaration
d’incidents. Les membres de ce groupe sont, en règle générale les responsables nationaux de la sécurité de chaque pays représenté.
une ethnographie des débats
Notre approche
Dans le cadre d’un travail de thèse8, nous avons eu l’opportunité d’assister aux réunions de ce groupe d’amélioration de la sécurité. Cette possibilité s’est révélée une
occasion privilégiée d’assister à des débats sur les enjeux proprement sociaux de l’usage
de statistiques, puisqu’il s’agissait notamment, pour les experts nationaux, de communiquer des données quantifiées sur la sécurité aérienne. Cette immersion (suivi des
débats au cours des réunions, qui se sont succédé sur une période de trois années,
nombreux entretiens avec les différents acteurs…) a été consignée dans des carnets
ethnographiques qui retranscrivent de façon très précise les nombreux échanges entre
les différents acteurs nationaux et les responsables de l’agence EUROCONTROL animant ces débats.
8. C. Fassert. « La transparence dans les organisations à risque. Une approche ethnographique dans
le contrôle de la navigation aérienne ». Thèse de doctorat de sociologie, 2009.
254
sociologie et sociétés • vol. xliii. 2
Les temps du débat
À partir du matériau ethnographique rassemblé, trois « temps forts » ont été extraits
dans ce qui suit. Cette structure permet de rendre plus lisible la succession de différentes étapes alors que les experts de la sécurité aérienne ainsi réunis sont invités à communiquer sur les incidents survenus dans leur espace aérien, et notamment à fournir
des chiffres précis sur ces incidents. Nous proposons, pour chaque extrait du matériau
ethnographique (une retranscription détaillée des discussions) quelques pistes de
lecture volontairement centrées sur les travaux de Desrosières. En effet, les concepts
proposés par Desrosières articulent les arguments cognitifs et politiques de la statistique. Ces deux questionnements sont souvent abordés de façon disjointe. Dans notre
étude empirique, on verra que se conjuguent inextricablement des questions liées à la
difficulté et sans doute à une impossibilité de mesurer une qualité abstraite (la sécurité
aérienne) et des questions plus politiques liées à la publicisation des indicateurs. Dans
ce qui suit, nous avons fait le choix de nous centrer sur quelques notions de la sociologie des conventions, avec l’objectif de donner à voir avant tout l’évolution de cadres
de pensée au sein d’un collectif, et l’émergence d’une compréhension commune.
Temps 1 : des chiffres « sensibles »
Un flottement certain…
Les premières réunions des responsables de la sécurité de chaque pays se caractérisent
par un certain flottement. Force est de constater que le mandat de ces réunions d’experts n’est pas défini de façon très précise : selon l’agence, il s’agit d’encourager la
diffusion d’informations concernant les incidents, ce qui devrait permettre à la
Commission d’examen des performances d’avoir une meilleure vision des problèmes
liés à la sécurité dans les différents pays d’Europe, de dégager des tendances, de prendre des mesures. Cependant, la tonalité générale des réunions est celle d’une certaine
réserve de la part des participants, encore peu nombreux. Invités à parler de leurs
problèmes de sécurité aérienne, les responsables de la sécurité restent le plus souvent
très généraux. Ils insistent par exemple sur la mise en place de processus qualité, sur
des réorganisations internes permettant la mise en place d’un système de gestion de la
sécurité, qui est l’objet d’une autre réglementation de l’agence.
Ces réunions sont aussi l’occasion pour les organisateurs d’expliquer la mise en
place des bilans de sécurité annuels, que devront désormais fournir les États. Un système d’informations est fourni gratuitement aux États afin de faciliter la communication des données. Il « suffit » ainsi aux différents fournisseurs de services de contrôle
aérien de consolider les incidents déclarés par les différents centres de contrôle aérien
et de les transmettre. Ce bilan comprend le nombre d’incidents annuels, leur catégorisation en types d’incidents, et les causes identifiées.
Une réglementation de l’OACI (Organisation de l’aviation civile internationale)
rend obligatoire la notification des incidents, mais cette réglementation reste très inégalement appliquée. De nombreuses raisons peuvent expliquer cette absence de décla-
Tout ce qui compte ne peut être compté
255
ration d’un incident par les contrôleurs aériens. D’abord parce que les processus de
retour d’expérience (permettant d’identifier les incidents, puis, à partir de leur analyse,
d’en identifier les causes et de prendre les mesures nécessaires) sont faibles ou inexistants dans la majorité des États. En outre, dans certains pays, les contrôleurs ne sont
guère encouragés à notifier un incident dans lequel ils seraient impliqués. Ils risquent
en effet la perte de leur « licence » de contrôleur (une sorte de mise à pied plus ou
moins longue) et, dans certains cas, leur mise en examen pour faute professionnelle,
même dans les cas où ils n’ont commis qu’une banale erreur.
Durant les premières réunions, plusieurs participants vont déclarer qu’ils n’ont
« très peu » ou « aucun » incident. Dans une enquête menée dans différents centres de
contrôle aérien9 (Fassert, 2001) lors de cette première période, nous rencontrons une
certaine défiance. Ainsi, lors d’un entretien avec le responsable de la sécurité d’un pays
de l’est de l’Europe, « que dire de notre sécurité ? je dirais… elle est absolue, d’ailleurs
nous n’avons aucun incident 10 ».
Deux représentants, le représentant Français et celui du Royaume-Uni, se montrent dès les premières réunions plus enclins à communiquer leurs problèmes de
sécurité opérationnelle et ils expliquent leurs processus de retour d’expérience. Ils
communiquent oralement quelques chiffres et donnent des éléments d’analyse des
principaux problèmes liés à la sécurité, identifiés sur la base de l’examen de ces
incidents.
Des chiffres confidentiels ou publics ?
Pendant ce temps, la Commission de revue des performances a entrepris l’élaboration
d’un rapport annuel des performances du contrôle de la navigation aérienne en
Europe. Il s’agit notamment de publier et de suivre des indicateurs clefs de performance. S’il est relativement aisé de présenter des données concernant trois de ces
indicateurs (les retards, l’efficacité économique et le rendement des vols), l’exercice est
visiblement plus difficile pour ce qui concerne la sécurité. Des demandes d’abord
informelles, ensuite plus pressantes sont adressées à la Commission d’examen de la
sécurité, et au responsable du groupe d’amélioration de la sécurité, censé être détenteur d’informations pertinentes… Il lui est notamment demandé de communiquer le
nombre d’incidents fourni par chaque État. Ce dernier est embarrassé et évoque la
confidentialité assurée aux participants quant aux informations échangées durant ces
réunions. La tonalité générale du premier rapport publié par la Commission d’examen
des performances sur le thème de la sécurité est indubitablement critique, avec une
référence explicite à l’absence de transparence de la part des fournisseurs de service de
contrôle aérien. Ainsi, la première page du rapport, qui présente des graphiques et des
tableaux de synthèse pour tous les domaines, affiche à la rubrique « sécurité » un gros
9.
C. Fassert. La transparence en questions. Mémoire de DEA de philosophie mention sociologie.
10.
Ibid.
2001.
256
sociologie et sociétés • vol. xliii. 2
point d’interrogation, avec la mention : « en l’absence d’indicateurs essentiels de sécurité,
la tendance n’a pas pu être déterminée11 ». Mais cette absence de transparence est également reprochée à la commission d’examen de la sécurité, qui entend assurer aux
États cette confidentialité des données transmises. Le rapport martèle : « La Commission
d’examen des performances considère que l’état d’application des normes par les États
devrait « relever du domaine public, et ne pas être couvert par un quelconque principe de
confidentialité12. »
Ainsi, on retrouve au sein de la même organisation EUROCONTROL deux instances dont les objectifs sont sensiblement différents et se révèlent même incompatibles pendant une courte période. Pour la Commission d’examen de la sécurité, il s’agit
à travers la création du groupe d’amélioration de la sécurité d’améliorer les échanges
au niveau européen et de préparer la mise en place d’une réglementation visant à
synthétiser, au niveau européen, les principaux problèmes de sécurité. Pour la
Commission d’examen des performances, il s’agit de rendre compte au public des
« performances » des systèmes de contrôle aérien, la sécurité étant considérée comme
l’une de ces dimensions jugées a priori aussi mesurables que le sont, par exemple, les
coûts économiques de chaque fournisseur de services ou les retards des vols qui lui
sont imputables. Cette tension au sein de l’agence participera notamment à la difficulté
d’atteindre une interprétation instituée, à partir de laquelle la communication de
données sensibles est plus facile pour les représentants des différents États.
Un Indicateur implicite
Que peut-on dire, à ce premier stade, du lien entre le nombre d’incidents et la sécurité ? Il nous semble qu’un lien s’établit initialement très naturellement et implicitement entre le nombre d’incidents et la sécurité. Ce lien est frappé du sceau de
l’évidence, et il s’établit sans que jamais ne soit formulée explicitement l’équation : les
organisations sûres sont celles qui ont peu d’incidents. Nous verrons plus loin que,
pour certains experts, cette équation ne tient pas.
Que peut-on dire de l’indicateur qui se dessine ici ? Nous proposons la notion
d’« indicateur implicite ». Le nombre d’incidents étant une donnée (à peu près) disponible, il est « capté » par un ensemble d’acteurs comme une mesure de la sécurité,
comme si le nombre d’incidents ne pouvait pas « ne pas dire » quelque chose sur la
sécurité d’un fournisseur de contrôle de la navigation aérienne. Comme nous allons
le voir maintenant, ce lien va être déconstruit. Il ne s’agit donc, pour nos protagonistes,
ni d’oublier ni de dénoncer le caractère « discutable », il s’agit d’abord de l’identifier
comme tel, ce qui n’est pas possible tant que la catégorie « incidents » (des incidents,
rappelons-le, que l’on collecte) reste une catégorie « naturelle ».
11. PRR 6. Évaluation de la gestion de la circulation aérienne en Europe au cours de l’année 2002.
Examen des performances. Commission d’examen des performances. Juillet 2003. Copyright
EUROCONTROL (p. 7).
12. Ibid. p. 26.
Tout ce qui compte ne peut être compté
257
Au début de la mise en place de la réunion du groupe amélioration de la sécurité,
l’idée selon laquelle un faible nombre d’incidents est le signe d’un bon niveau de sécurité prévaut largement. Il n’existe cependant pas de formulation explicite d’un lien
entre nombre d’incidents et sécurité, ni de la part de l’agence EUROCONTROL
lorsqu’elle réclame ces chiffres, ni de la part des fournisseurs de services de contrôle
aérien. En fait, la notion d’interprétation n’est même pas convoquée, car la lecture des
chiffres n’est pas l’objet d’un questionnement.
Rien ne vient attester non plus, cependant, l’existence d’une compréhension unifiée et univoque du nombre d’incidents au sein de la petite communauté des responsables de la sécurité. Des entretiens menés dans le cadre d’une enquête parallèle dans
plusieurs centres de contrôle montrent effectivement que certains responsables de la
sécurité sont persuadés qu’un faible nombre d’incidents est la preuve d’une « bonne
sécurité » vis-à-vis de l’extérieur, et notamment de l’agence. Mais il existe aussi des
visions plus averties. Ainsi, très vite, le représentant français, lorsqu’il expose ses chiffres, rappelle en préambule les modalités qui sont mises en place en France, notamment l’existence d’un outil de détection automatique des pertes de séparation dans
tous les centres de contrôle français. Il se montre relativement confiant que ses chiffres
élevés ne lui seront pas reprochés. « Celui qui me dit : « Moi je n’ai que 10 ou 12 incidents
par an «, alors je lui réponds : « Non, mais attendez… nous on a OPERA (note : l’outil de
détection automatique), on a fait des formations pour que les contrôleurs notifient leurs
incidents… il ne faut pas mélanger des choux et des carottes, bon j’espère qu’à
EUROCONTROL, ils le savent « … »
Temps 2 : des chiffres « énormes »
« Jouer la transparence »
Dans la succession des réunions, il existe des moments clefs, qui marquent de nouvelles étapes. L’épisode relaté dans ce qui suit est l’un de ces moments particuliers, à
partir duquel va émerger, certes de façon encore fragile, une nouvelle compréhension
du nombre d’incidents, et de leur relation avec la sécurité.
Lors de cette nouvelle réunion du Groupe européen d’amélioration de la sécurité, le ton
adopté par l’organisateur est d’emblée directif. Il demande explicitement aux différents
représentants nationaux de communiquer chacun à leur tour leurs problèmes majeurs de
sécurité. Le tour de table commence et les interventions seront pour le moins variées. Le
représentant tchèque se lance dans une très longue description de diverses réorganisations
internes à l’aviation civile de son pays peu en lien avec la question posée… Au bout d’une
trentaine de minutes, bruissements et soupirs dans la salle…, l’organisateur de la réunion
a du mal à cacher son agacement. Au terme de cet exposé, il précise pour les orateurs
suivants qu’il s’agit d’être concis et surtout de se « concentrer sur les aspects sécurité utiles
à communiquer aux autres membres de la réunion ». Le ton est un peu sec et on comprend
clairement à qui s’adresse la leçon.
Le responsable de la sécurité danois explique avec satisfaction comment grâce à
l’abrogation d’une loi particulièrement punitive pour les contrôleurs ayant généré
258
sociologie et sociétés • vol. xliii. 2
un incident, les notifications volontaires sont passées d’une quantité proche de zéro à
plusieurs dizaines en une seule année. Son exemple est considéré comme très intéressant,
emblématique des problèmes juridiques qui sont un frein à la notification des incidents.
Cependant, les autres intervenants sont peu diserts, et se contentent souvent de généralités
sur la mise en place de leur système de gestion de la sécurité.
Deux exceptions de taille cependant. Les représentants anglais et français, qui
communiquent tous deux avec une certaine prodigalité leurs incidents. Les chiffres
sont donnés et ils sont « énormes » : de l’ordre de plusieurs dizaines de milliers alors que
certains participants avouent à grand-peine quelques incidents, au plus une centaine. De
toute évidence, ces deux participants ont choisi de « jouer » la transparence.
Le bilan anglais est nourri et détaillé. Chiffres, causes, remèdes, tout y est. Le représentant
du fournisseur de service de contrôle et le représentant de l’autorité de régulation
s’expriment chacun à leur tour, cas unique de double représentation dans cette réunion.
Le représentant français distribue à tous les participants son bilan annuel de sécurité,
un rapport très détaillé sur l’ensemble des incidents (airproxs déclarés par les pilotes,
mais aussi incidents automatiquement enregistrés par le système OPERA) ainsi qu’une
analyse des causes. Il en présente une rapide synthèse : ce bilan évoque de vrais problèmes
de sécurité, qui n’ont pas été évoqués par d’autres participants. Bien que le bilan soit en
français, et par conséquent compréhensible par une partie seulement des participants, ce
geste est tout de même salué dans la salle par quelques murmures de surprise et d’intérêt.
Un des représentants anglais exprime sa grande satisfaction, et promet de lire le rapport.
L’organisateur de la réunion remercie chaleureusement et de façon très appuyée « la
France » et glisse une formule permettant de saluer l’exemplarité de cette attitude, unique
pour l’instant au sein du groupe.
Une clef de lecture des chiffres
Cette réunion, marquée par des attitudes affirmées des Anglais et encore plus des
Français, va accuser une rupture. Dans la réunion qui va suivre cet épisode, les différents responsables de la sécurité communiqueront avec beaucoup plus de clarté leurs
chiffres. Entre cette réunion et la suivante, relatée ci-dessous, les responsables de la
sécurité auront d’autres occasions de se rencontrer et d’échanger car ils travaillent en
parallèle sur une définition de la méthode d’évaluation de la gravité des incidents dans
des « ateliers ». EUROCONTROL a en effet établi que les méthodes utilisées varient
d’un pays à l’autre, qu’elles sont plus ou moins formalisées. Une petite expérimentation a montré qu’un même incident n’était pas classé dans la même catégorie de gravité selon les responsables de la sécurité. La France et le Royaume-Uni ont des visions
sensiblement différentes et chacun défend sa méthode avec pugnacité.
Mais ces deux « grands » fournisseurs de service de contrôle aérien, ces deux
« grands » pays, par ailleurs un peu frères ennemis lorsqu’il s’agit de se mettre d’accord
sur une méthode d’évaluation de la gravité des incidents, sont ici parfaitement
congruents dans la communication des incidents et ont visiblement choisi de « jouer »
la transparence, et d’assumer des chiffres « énormes ». La portée symbolique est
Tout ce qui compte ne peut être compté
259
grande, dans la mesure où ceci va permettre à EUROCONTROL de donner implicitement les clefs de lecture qui seront désormais les siennes quant au nombre d’incidents. L’accueil favorable des exposés des représentants français et anglais, les
félicitations au représentant français pour ses quelque cent pages d’analyse d’incidents
distribuées sont des messages clairs de la part du chairman du groupe. Il est désormais
bien plus clair qu’un nombre élevé d’incidents est lu comme signe de transparence et
non de performances médiocres en sécurité aérienne. En miroir, désormais, un faible
nombre d’incidents ne sera jamais lu autrement que comme une quasi-preuve d’opacité de la part du pays en ce qui a trait aux incidents survenus dans son espace aérien,
bien que, pour des raisons de diplomatie, un tel jugement ne soit jamais émis explicitement au cours des réunions.
Temps 3 : des chiffres « construits »
Les données sur les données
Entre cette réunion et la suivante, des ateliers vont permettre de continuer à travailler
sur la méthode d’évaluation de la gravité des incidents. Pour apprécier l’ampleur de ce
qui s’est produit pendant cette réunion, il faut cependant attendre la réunion suivante,
quelques mois plus tard, comme on va le lire dans l’extrait suivant :
La réunion du « groupe d’amélioration de la sécurité » qui suit marque une rupture.
Le responsable de la réunion a décidé de remettre à plus tard les discussions épineuses
et complexes de l’harmonisation des méthodes d’évaluation des incidents. Cet aspect
est désormais délégué à un atelier séparé pour tenter de valider, une dernière fois, une
méthode commune.
En revanche, un temps important est prévu pour le tour de table sur les aspects
sécurité. L’agenda précise sans ambages : « Vous êtes censés couvrir tous les thèmes, et
répondre aux questions suivantes : quelles causes ? Quelles solutions utilisez-vous et
voulez-vous partager ? » Le ton un peu directif n’échappe à personne. Plus question de
grommeler quelques vagues chiffres, ou pire, de se lancer dans la description formelle de
l’organigramme d’un système de gestion de la sécurité, pour éviter le difficile sujet. Voilà
nos représentants sommés, de façon désormais explicite, de faire preuve d’un peu plus de
transparence à l’égard de leurs homologues européens.
Chacun va se prêter de façon plus ou moins diserte à cet exercice. Les chiffres (annuels)
sont presque toujours communiqués et restent extraordinairement variés, même si on les
rapporte bien sûr au trafic surveillé, c’est-à-dire au nombre de « mouvements » (décollages,
atterrissages, survols), lui-même très variable d’un État à l’autre. Le représentant tchèque
déclare cinq incidents, ce qui fait aussitôt bondir mon voisin, le représentant français :
un chiffre aussi bas témoigne d’une opacité quasi complète… Je lui rappelle qu’à la
réunion précédente, seulement six mois auparavant, la même personne n’avait donné ni
chiffre, ni aucune information sur les incidents. Elle avait terriblement agacé le chairman
d’EUROCONTROL et une grande partie de l’assistance en se lançant dans une description
particulièrement détaillée et laborieuse de l’organigramme de son système de gestion de la
sécurité, sans fournir bien sûr la moindre information sur ses incidents ou ses problèmes
liés à la sécurité en général. « Avouer » cinq incidents est peut-être un bon début…
260
sociologie et sociétés • vol. xliii. 2
L’Autriche déclare 289 notifications, dont 22 pertes de séparation. Certains incidents sont
dus à la structure de l’espace aérien, avec un mélange de vols IFR et VFR13 dans certaines
zones. La redéfinition de l’espace qui permettrait de protéger davantage les IFR se heurte
au lobby des pilotes privés, très puissant. Il n’y a pas d’incidents de turbulence de sillage
et pas de péril aviaire, mais, ajoute-t-il : « Il n’est pas exigé de notifier ce type d’incidents dans
nos procédures. »
La Grèce vient pour la première fois à cette réunion, elle déclare « environ 46 incidents » ; la
Finlande : 500 notifications obligatoires, et 630 volontaires ; le Danemark : environ 400. Le
représentant hongrois vient pour la première fois également. Il déclare 5 ou 6 incidents,
mais ajoute aussitôt que ce nombre concerne bien les incidents déclarés. Le représentant
slovaque mentionne en préambule que son système de gestion de la sécurité est récent et
qu’il est « fier de déclarer 9 notifications en 2003 ». Il en avait 125 en 2002, et il explique cette
différence par la baisse du trafic… Les Allemands ne donnent pas de chiffres globaux mais
déclarent 126 incursions de piste. Le pilote représentant l’European Cockpit Association14
insiste : « Et les pertes de séparation, vous en avez combien ? » « Plutôt beaucoup », répond
l’allemand… la salle rit et on n’insiste pas. Le centre de Maastricht : 210 notifications.
Son représentant explique à propos des alarmes TCAS15 : il y a, depuis le 11 septembre
2001, beaucoup plus d’avions militaires s’approchant de vols civils « à vérifier »… ceux-ci
déclenchent des TCAS et certaines compagnies se plaignent que « ça n’arrête pas de
sonner ! ». Il faut donc interpréter prudemment cette soudaine augmentation des alertes
TCAS. Skyguide (Suisse) : 63 pertes de séparation. À propos de la catégorie « pénétration
d’espace aérien », il précise aussitôt : « on en a de plus en plus parce qu’on a de plus en plus
de notifications volontaires ».
Le représentant français déclare ses 18000 évènements sécurité dont 660 analysés en
profondeur. Il a fait l’effort de retravailler sa catégorisation pour la mettre en adéquation
avec la typologie d’incidents proposée par EUROCONTROL. Ce qui lui a demandé
un travail colossal de « traduction » à propos duquel il a de nombreuses questions. Il
interpelle le responsable d’EUROCONTROL animant la réunion : « Où mettez-vous les
TCAS ? Dans les « pertes de séparation « ? … « ah, nous avons une catégorie à part entière ! »
Le reproche (une alerte TCAS est plus qu’une simple perte de séparation et mérite
sans doute d’être singularisée) est à peine voilé16. Il détaille ses différents chiffres en
suivant scrupuleusement, pour l’essentiel, la typologie d’EUROCONTROL, en émettant
parfois des réserves sur la « réalité » du chiffre communiqué : « Peu de CFIT17, je veux dire
notifiés. » Enfin, il tient visiblement à bien mentionner un sous-ensemble des pertes de
13. Respectivement « Vol à vue » (Visual flight rules) et « vol aux instruments » (Instruments flight
rules).
14. European Cockpit Association : association des organisations professionnelles des pilotes.
15. Traffic Avoidance Collision System : système anti-collision embarqué, dernier recours lorsque la
séparation assurée par le contrôle a échoué.
16. Notons que « traduire » une alerte TCAS dans laquelle le pilote n’a pas obéi à son TCAS RA en
simple « perte de séparation » limite le retour d’expérience possible (en termes de mesures correctives par
exemple). C’est un souci que le représentant Français posera de cette façon : « Comment étaient catégorisés
les incidents « Überlingen style » avant Überlingen ? »
17. CFIT = Control flight into terrain. Collision d’un avion avec le sol au cours de laquelle l’équipage
maîtrisait l’avion sans avoir conscience du risque de collision : c’est le cas de l’erreur de navigation qui
amène à percuter le relief ou l’eau sans perte de contrôle de l’appareil.
Tout ce qui compte ne peut être compté
261
séparation dont il a déjà regretté le caractère trop peu différencié. À ce sujet, la mention
de 5 « Überlingen style18 » (avec un pilote ne suivant pas son avis de résolution TCAS)
provoque un émoi certain dans la salle. Il insiste sur le caractère très préoccupant de cette
catégorie d’incidents : on n’a visiblement pas appris d’un accident.
Le Portugal déclare 12 pertes de séparation, les Italiens, 110.
Le représentant anglais fait un rapport à part, très détaillé, et fait état de son
impressionnante base de données. Les incidents sont classés par catégories, les analyses
commentées et argumentées, les mitigations actions et les remedial actions décrites. « Can
you explain why you are much better than the rest of the world ? » demande, un tant soit
peu lyrique, l’animateur EUROCONTROL au représentant anglais, tout en embrassant
la salle du regard…
Le représentant français à côté de moi se plonge dans ses papiers et fait quelques
calculs : « Tiens, avec les Anglais, rapportés aux mouvements, on a des chiffres à peu
près similaires… remarque, c’est normal, on a les mêmes outils, le même niveau de
développement… » Je note qu’il ne dit pas : « On a le même niveau de sécurité. »
La réunion qui vient d’être relatée introduit bien une rupture dans la dynamique
des relations qui s’étaient instaurées entre les acteurs. C’est la première réunion durant
laquelle les chiffres sont communiqués par tous les participants. Pendant celle-ci, on
remarque une absence de commentaires sur la « signification » du nombre d’incidents
en relation avec la sécurité, mais il est patent qu’un nombre élevé d’incidents n’est pas
l’indicateur d’un niveau faible de sécurité. Les responsables de la sécurité parlent
davantage des problèmes de sécurité, et se détachent des aspects quantitatifs pour
s’intéresser aux types, aux catégories d’incidents. Ils construisent des classes d’équivalence à partir des évènements singuliers que sont les incidents (Desrosières, 2008 : 43).
Ils racontent également des « histoires » d’incidents ou de quasi-incidents qui rendent
concrets et vivants les risques dans leurs organisations.
Mais il faut surtout noter que les participants révèlent spontanément les « mécanismes de constitution des chiffres » (Dodier, 1993). Les chiffres sont donnés, mais ils
sont accompagnés (certes, sobrement, comme on peut le lire dans les verbatims cités
dans le carnet qui vient d’être exposé) d’éléments explicatifs. Quelques éléments de
discours sont à souligner : les chiffres « très faibles » sont assortis par exemple d’explications qui montrent que le responsable de la sécurité n’est pas dupe : les incidents ne
sont pas tous déclarés par les contrôleurs. Pour les chiffres qui sont, à l’autre extrême,
« énormes », les dizaines de milliers déclarés par la France et le Royaume-Uni, les
représentants rappellent l’existence de systèmes qui enregistrent automatiquement la
perte de séparation19 entre aéronefs. Enfin, une augmentation d’incidents dans une
18. Accident en juillet 2002 à Überlingen. L’avis de résolution TCAS n’a pas été suivi par un des
pilotes, rendant inopérant le système anti-collision.
19. Il faut noter, sans entrer trop dans la technicité du domaine, qu’une perte de séparation entre
aéronefs enregistrée automatiquement par le système n’est pas obligatoirement un incident. Il se peut, par
exemple, que le contrôleur ait déjà donné l’instruction permettant de séparer les avions, mais il existe un
temps de latence durant lequel les pilotes retrouvent une séparation adéquate. Le système « enregistre » la
262
sociologie et sociétés • vol. xliii. 2
catégorie peut s’expliquer par une augmentation de la notification volontaire des
incidents par les contrôleurs (davantage sensibilisés et coopératifs).
Les étapes du « renoncement » à quantifier
À partir de ces trois « temps forts » des débats, nous proposons dans ce qui suit de
discuter plus précisément des différentes étapes qui ont amené les responsables de la
sécurité, mais aussi les représentants de l’agence réglementaire EUROCONTROL, à
renoncer à une mesure de la sécurité, et comment l’importance initialement accordée
aux chiffres (nombre d’incidents) s’efface devant d’autres échanges, davantage porteurs de sens pour des experts de la sécurité aérienne.
De l’indiscutable au discutable
Desrosières a proposé une formule qui résume bien la question transversale à l’élaboration de statistiques, à la communication de chiffres en général : discuter sur les statistiques, c’est « discuter l’indiscutable » (Desrosières, 1993). La statistique est à la fois
transitoirement indiscutable (si on veut pouvoir en faire un objet de référence dans un
débat public : on parle d’indicateurs de chômage, de pauvreté, de qualité de vie, etc.)
et elle est aussi discutable (car il arrive toujours un moment où les mécanismes de
constitution des chiffres vont être attaqués, discutés, et parfois dénoncés). Ce double
statut de « référence » et de « débat », défend Desrosières, est au cœur de toute discussion des statistiques au sein de l’espace public.
Le mouvement observé ici est, en quelque sorte, inversé : on est passé d’un « indiscutable » à un « discutable ». Et ce, notamment parce que l’on se trouve au sein d’un
groupe restreint (des experts en sécurité dans un univers technique) et non pas sur la
place publique. Les responsables de la sécurité deviennent constructivistes et, bien
qu’ils continuent à parler de la collecte d’incidents, ils discutent désormais de la catégorie même d’incidents (qui recouvre des évènements différents selon les pays) et du
nombre d’incidents (en donnant des éléments expliquant les variations observées). Le
nombre d’incidents n’est plus un indicateur implicite de la sécurité puisque les « metadonnées » permettant d’obtenir ces chiffres sont désormais globalement comprises et
communiquées.
Une lecture commune mais encore fragile
Une compréhension commune émerge peu à peu : ne déclarer aucun incident n’est
pas le signe d’un bon niveau de sécurité, les organisations les plus développées sur le
plan de la gestion de la sécurité vont présenter proportionnellement davantage d’incidents que celles qui sont plus opaques, ou aveugles quant à leurs risques. Cependant
perte de séparation même si celle-ci n’a duré que quelques secondes. C’est pourquoi les analystes examinent
ensuite les enregistrements au cas par cas.
Tout ce qui compte ne peut être compté
263
cette nouvelle lecture n’est pas davantage « instituée » par l’agence EUROCONTROL,
ce qui la rend encore fragile. Examinons un moment de la réunion suivante.
Le représentant belge est l’un des premiers à communiquer ses chiffres : forte augmentation
des incidents cette année en comparaison de l’an passé : « Nous sommes passés de 65 à
210 incidents. » On entend aussitôt dans la salle de nombreux murmures et soupirs de
désapprobation, et même un « hou… » ponctué de rires. Le représentant s’indigne : « Alors
là vous me décevez, vous réagissez comme des managers. Si on a plus d’incidents, c’est bon
signe, c’est parce qu’on a mis en place une campagne de sensibilisation sur les incursions de
piste, et plus généralement que l’on a encouragé les contrôleurs à faire du retour d’expérience,
donc à notifier davantage. » Cette fois-ci, murmures d’approbation dans la salle, on se
« souvient » qu’une augmentation du nombre d’incidents n’est pas interprétable comme
une dégradation de la sécurité, d’autres explications sont possibles. Le ton sera donné,
et les chiffres annoncés ensuite ne feront plus l’objet de réactions intempestives. Les
problèmes de sécurité seront abordés sans détour par une majorité de participants.
D’autres réunions et ateliers se sont succédé. À propos de ces chiffres, du nombre
d’incidents, les discussions ont mis au jour peu à peu de nouveaux mécanismes de
construction des chiffres, allant du plus local au plus général. Au fur et à mesure des
réunions, et de l’enquête qui est menée en parallèle dans plusieurs centres de contrôle
aérien (Fassert, 2009), la liste de tous les paramètres qui peuvent faire varier le nombre
d’incidents semble s’allonger sans cesse. Ainsi, dans un centre de contrôle aérien,
l’arrivée d’un nouveau chef de service chargé de l’analyse des incidents, davantage
apprécié que son prédécesseur, a entraîné une augmentation significative de la notification volontaire d’incidents et par conséquent une augmentation du nombre d’incidents… La sensibilisation à de nouveaux risques opérationnels entraîne elle aussi une
notification d’incidents qui n’étaient pas notifiés auparavant. Ainsi, une large campagne de sensibilisation au risque d’incursions de piste menée à l’initiative de l’agence
EUROCONTROL (affiches dans les salles de contrôle, briefings d’équipes de contrôleurs, auprès des pilotes, etc.) a été suivie d’une augmentation soudaine et significative
du nombre de déclarations d’incursions de piste, donc d’incidents. Dans certains
aérodromes, la campagne a permis la prise de conscience de ce risque, dans d’autres
endroits, elle a relancé l’intérêt des contrôleurs, et leur notification de ce type d’incidents.
Mesurer un non-évènement ?
Mesurer (ou quantifier) la sécurité des opérations de contrôle aérien sur la base du
nombre d’incidents a été rapidement abandonné. La question d’un indicateur plus
synthétique, la recherche d’éléments plus stables (comme les Airproxs, notifiés par les
pilotes) ont été également explorées. Mais l’idée d’élaborer un indicateur de sécurité a
finalement été abandonnée. Peu après le terme de cette enquête, un responsable de la
sécurité résume clairement la difficulté de mesurer cette notion.
« La littérature aéronautique propose, pour le terme de « sécurité », différentes
définitions. Une description souvent lue est « absence de risque excessif «. Ce qui
264
sociologie et sociétés • vol. xliii. 2
appelle forcément la définition du mot « excessif « Qu’est-ce qui est « normal »,
« modéré » ou « acceptable » et à partir de quand peut-on parler d’« excessif » ? La difficulté réside dans le fait que la sécurité est un terme absolu, pour ainsi dire un nonévénement, une absence de fait. Or, l’époque actuelle exige des données mesurables.
Des « Key performance indicators (KPI) » ont pour vocation de nous donner une valeur,
de permettre de constater quelque chose de tangible, surtout autour de tendances.
Ainsi peut-on dire qu’on recherche le KPI d’un non-événement20. »
Dans ce cadre, le nombre d’incidents notifiés (on ne parle pas ici du nombre total
d’incidents, incluant par exemple les enregistrements automatiques des pertes de
séparation) peut présenter une signification qui a un lien avec la sécurité, qui peut être
clarifié en rendant explicite un certain modèle normatif de ce qu’est la sécurité. « Le
nombre de comptes rendus déposés ne représente en soi qu’une indication chiffrée. Si ce
nombre augmente, on ne peut pourtant l’interpréter directement comme une meilleure
sécurité, c’est uniquement l’indice d’une meilleure « culture de compte rendu », qui à son
tour pourra faire la part belle à une “learning culture”, deux préalables essentiels à l’intensification de la “safety culture”. » Le nombre d’incidents déclarés est ici le témoin
d’une dynamique organisationnelle au sein de laquelle les contrôleurs ont à cœur de
participer au processus de retour d’expérience, ce qui contribue à l’instauration d’une
culture de sécurité.
Quelques années plus tard, on s’éloigne encore davantage de la référence au nombre de comptes rendus d’incidents, qui devient un élément, parmi bien d’autres,
témoignant de l’existence de procédures de retour d’expérience. Ainsi, dans le rapport
de la Commission d’examen des performances 201021, deux indicateurs de sécurité
sont mentionnés : le nombre d’accidents dont la définition est univoque22 (il n’y en a
eu aucun en 2010), et surtout le niveau de maturité en matière de sécurité du fournisseur de services de contrôle et de son instance de régulation nationale. Il s’agit d’un
indicateur composite, qui reprend un ensemble de critères liés essentiellement à la
gestion de la sécurité23. Il s’agit clairement de mesurer des moyens plus que des résul-
20. Jürg Schmid, Head of Safety Management, Skyguide, novembre 2006, Dossier 13.
21. Rapport d’examen des performances. Synthèse. Evaluation de la gestion de la circulation
aérienne en Europe au cours de l’année civile 2009. Commission d’examen des performances.
EUROCONTROL. Mai 2010.
22. À noter que le nombre d’accidents aériens dus au contrôle aérien étant extrêmement faible, il a
toujours été considéré que le nombre d’accidents passés n’était pas prédictif d’un nombre futur, et qu’il ne
« quantifiait » par conséquent aucunement la sécurité. La Commission est donc subrepticement passée d’une
ambition initiale de « quantifier » la sécurité comme état potentiel d’une organisation à ne « pas avoir
d’accident (un non-évènement) à une ambition plus modeste : constater que l’année passée n’a pas connu
d’accident aérien.
23. On retrouve par exemple les éléments de base suivants : « La performance en matière de sécurité
est connue, sur la base d’un système actif de surveillance utilisant des indicateurs de sécurité appropriés, tels
les événements touchant à la sécurité, ainsi que des processus de surveillance proactifs, audits, enquêtes,
inspections, etc. » Et encore : « Il existe pour la gestion de la sécurité un système formel, possédant une
structure de gestion claire, avec des responsabilités et obligations de reddition de comptes définies sans
ambiguïté. » OACI, Vol. 63, n° 6, 2008.
Tout ce qui compte ne peut être compté
265
tats. À noter que le rapport ne mentionne pas le niveau de maturité atteint par chaque
fournisseur de service de contrôle aérien, mais qu’il mentionne des objectifs à l’échelon européen : « porter le niveau de maturité des cadres de sécurité des fournisseurs de
contrôle aérien et des instances nationales de réglementation à 70 % au minimum dans
chaque État d’ici la fin 2008 ».
les usages sociaux de l’indicateur dans les organisations « à risques »
À partir de cette enquête, il est possible de revenir sur deux questions d’ordre plus
général.
Instituer une interprétation
La première concerne les mécanismes de partage ou d’institution de l’interprétation
de chiffres. On peut opérer une différence entre des chiffres dont l’interprétation est
d’emblée partagée, parce qu’ils offrent une lecture univoque, et d’autres types de chiffres dont l’interprétation, plus délicate, doit être instituée. L’exemple relaté du nombre
d’incidents permet de réfléchir au jeu des acteurs impliqués dans la compréhension et
la publicisation des chiffres.
Plusieurs étapes se succèdent, dont une première durant laquelle un chiffre (le
nombre d’incidents) est considéré comme un indicateur implicite d’une qualité (la
sécurité) : implicite parce que ne faisant l’objet d’aucune explicitation ou délibération
préalable. Cet « allant de soi », ce « bon sens » sont toutefois remis en question. Il faut
noter le rôle de deux États (la France et le Royaume-Uni) qui vont donner le la : en
communiquant des chiffres très élevés, ils introduisent une nouvelle norme (il est
« bon » d’avoir des incidents) avec laquelle les autres fournisseurs de services de
contrôle devront désormais composer. Cependant, et paradoxalement, le problème de
l’interprétation des chiffres n’est pas explicitement posé. Les chiffres, durant la période
qui suit la remise en question de la compréhension initiale, s’inscrivent dans cette zone
grise où cohabitent au sein d’un groupe des visions plus ou moins averties, parce que
plus ou moins conscientes du conventionnalisme de la mesure. Une vision avertie
conclut que le nombre d’incidents ne dit rien sur la sécurité, mais dit en revanche
beaucoup sur les mécanismes techniques et sociaux qui permettent d’identifier les
incidents. À ce titre, un nombre élevé d’incidents témoigne d’abord de l’existence,
dans ces organisations, d’une gestion de la sécurité explicite et sophistiquée, comprenant, notamment, la mise en place d’outils de détection automatique de pertes de
séparation entre aéronefs.
Cependant, cette vision ne sera pas explicitée oralement par le responsable de la
réunion par exemple, et encore moins écrite par EUROCONTROL. Il faut noter enfin
la fragilité de cette nouvelle interprétation, avec l’exemple d’un représentant qui est
chahuté lors de la communication de l’augmentation du nombre de ses incidents, alors
qu’il croyait pouvoir désormais compter sur une lecture tout à fait différente. Le nombre d’incidents comme indicateur potentiel de la sécurité reste en effet pendant une
période délicate dans un entre-deux : il est déconstruit d’une certaine manière dès lors
266
sociologie et sociétés • vol. xliii. 2
que deux grands fournisseurs ne peuvent pas être taxés de présenter un niveau de
sécurité médiocre, alors que d’autres états à la « réputation » moins établie présentent
peu d’incidents ; cependant, l’annonce d’une augmentation du nombre d’incidents
provoque tout de même une bruyante réprobation dans le petit groupe.
Il s’agit bien d’instituer une interprétation, le terme fort est ici employé à dessein,
car les enjeux de l’interprétation sont importants. En effet, les responsables de la sécurité se situent dans la perspective d’une publicisation des chiffres dans les rapports de
la Commission d’examen de la performance d’EUROCONTROL. Les enjeux au
moment de cette enquête sont à la fois des enjeux de réputation (avec la perspective
toujours redoutée d’un journaliste s’emparant de ces chiffres et en tirant des conclusions discutables sur le mauvais niveau de sécurité aérienne de tel ou tel pays) et des
enjeux politiques : le « ciel unique européen » prôné par la Commission européenne
fait planer la perspective de fournisseurs de services privatisés qui pourraient à terme
se regrouper, se concurrencer, etc.
Cependant, instituer trop clairement une lecture équivaudrait, pour le chairman du
groupe d’amélioration de la sécurité, à clairement accuser certains participants d’opacité,
ou de faible développement de leur système de gestion de la sécurité, ce qui est peu compatible avec le minimum de diplomatie requis dans le cadre européen. En outre, ce groupe
se donne pour objectif d’améliorer les échanges entre des responsables de la sécurité qui,
pour la plupart, connaissent grâce à ce groupe la première occasion d’échanger avec leurs
homologues européens. La collecte de chiffres, même si elle fait partie de la mise en place
de la réglementation, n’est qu’une partie marginale de ce mandat. En revanche, la mise en
commun de problèmes de sécurité implique que se construise un climat de confiance. Une
certaine rhétorique de la confidentialité mise en avant par le chairman permet que se mette
en place après quelques atermoiements l’instauration d’échanges ouverts, abordant les
risques vécus au quotidien sans langue de bois.
Il existe cependant un paradoxe de taille. De façon bien sûr involontaire,
EUROCONTROL va maintenir l’idée que communiquer le nombre de ses incidents
n’est pas anodin, que les chiffres ne sont pas dénués de sens. La « rhétorique » de la
confidentialité affirmée par la Commission d’examen de la sécurité reste en effet très
présente, avec notamment l’absence d’identification des fournisseurs de service dans
les comptes rendus de réunion.
Au sein d’une même organisation, deux entités poursuivent des objectifs opposés.
La Commission d’examen des performances souhaite obtenir le nombre d’incidents
par pays. La Commission d’examen de la sécurité entend pour sa part maintenir
l’engagement de confidentialité pris auprès des participants au groupe d’amélioration
de la sécurité. Le chairman de ce dernier groupe choisit alors d’agréger les données par
zone géographique regroupant plusieurs pays avant de les transmettre à la Commission
d’examen des performances. Des moyennes sur des données avec des variances (au
sens statistique) très grandes se traduisent alors par de nouveaux chiffres qui n’ont
vraiment plus aucun sens. Cependant, refuser de transmettre les chiffres tels qu’ils sont
à la Commission d’examen des performances au motif d’assurer la confidentialité des
Tout ce qui compte ne peut être compté
267
performances en sécurité des différents pays, n’est-ce pas laisser croire que ces chiffres
pourraient « vouloir signifier » quelque chose quant à la sécurité ? En effet, si les chiffres
ne signifient véritablement rien en dehors de leur contexte, en dehors des mécanismes
de constitution, pourquoi les dissimuler en opérant une sommation entre plusieurs
pays ? Proposer d’agréger les données, afin de dissimuler celles de chaque fournisseur,
transmet involontairement le message que les données initiales ont un sens… L’agence
EUROCONTROL semble par conséquent à la fois adhérer à l’idée que les chiffres ne
signifient rien de clair sur la performance en sécurité des fournisseurs de services de
contrôle aérien, et en même temps, répondre à la pression des quelques fournisseurs
de services de contrôle aérien qui s’inquiètent de la façon dont les chiffres sont lus. À
ce moment des débats, les messages contradictoires de l’agence sont donc peu lisibles
et font miroir aux prises de conscience très variables de ces aspects conventionnels
dans la constitution des données.
Pourquoi et à quelles conditions renoncer à la quantification ?
La seconde question qui émerge de cette enquête concerne le rôle « créateur » de la
statistique (Desrosières, 1998) : dans cette perspective, l’indicateur devient « la chose
elle-même », ce qui a pour effet de « créer la réalité ». Comme nous l’avons vu, la sécurité
du contrôle aérien ne se met pas, quant à elle, à exister comme nouvel objet. Le nombre
d’incidents peine fortement à devenir l’indicateur de sécurité, et nos responsables de
la sécurité deviennent au fil des réunions, à des degrés divers, de plus en plus conscients
de ce qui joue sur la constitution du chiffre (nombre d’incidents) obtenu. Le choix
final consistera à se contenter de mesurer la maturité du processus de gestion de la
sécurité, et reconnaîtra explicitement l’impossibilité de mesurer la sécurité. La statistique échoue donc parfois à « créer la réalité » : la sécurité du contrôle aérien semble à
ce stade être demeurée une « chose muette et hors de portée » sans qu’un indicateur n’en
devienne le « représentant », le « porte-parole », ou la « fiction utile ».
La sécurité aérienne, ce « non-évènement », est certes bien peu tangible. Cependant,
notre société moderne n’a pas renoncé à mesurer d’autres entités, pour le moins aussi
abstraites et intangibles, comme le bien-être ou même le bonheur. Il est vrai qu’il existe
une tradition critique de ce type de quantification. Par exemple, à propos de l’Indicateur de développement humain créé par le PNUD, Supiot ironise : « Selon cet indicateur, les Norvégiens sont les gens les plus heureux de la terre » (Supiot, 2006 : 25). Au
sein des organisations, l’enjeu de la quantification est particulièrement palpable,
comme l’ont montré Power et sa « société de l’audit ». Dans une veine particulièrement
polémiste et revigorante, nous l’avons vu dans l’introduction, O’Neill stigmatise des
indicateurs « choisis pour leur facilité de mesure et de contrôle plutôt que parce qu’ils
mesurent la qualité de la performance avec précision ». Tout en admettant la légitimité
de l’obligation de rendre des comptes (elle parle d’« accountability »24), O’Neill dénonce
24. Notion très difficile à traduire. L’accountability est littéralement : « le fait de rendre des comptes ».
L’OCDE le définit comme l’« obligation de rendre compte de façon claire et impartiale sur les résultats et la
268
sociologie et sociétés • vol. xliii. 2
le recours grandissant à la quantification, souvent liée à « des formes d’« accountability »
fausses ou qui provoquent des distorsions au sein des organisations25 » (O’Neill, 2002 : 25).
Renoncer à quantifier « ce qui ne peut être compté » n’est donc pas si facile. Quelles
sont les conditions qui amènent alors à cet abandon ? On peut faire l’hypothèse, dans
le cas de l’indicateur de sécurité du contrôle aérien, qu’il s’agit d’abord de raisons
intrinsèques, épistémiques. Ainsi, une étude menée quelques années après cette
enquête dans le domaine nucléaire nous a permis d’entendre un discours remarquablement congruent, à savoir qu’il n’était pas possible de mesurer la sécurité, et surtout
pas en se basant sur le nombre d’incidents. « Les incidents ne sont jamais un indicateur
de résultat. Ce serait inciter à ne pas être transparents. Arriver à zéro serait mal vu par les
autorités de contrôle », explique par exemple un responsable dans une centrale nucléaire
française. Mais il nous semble que les raisons qui poussent à la résistance à la quantification tiennent aussi à l’existence d’une communauté qui se sent suffisamment
légitime pour défendre son point de vue, et à la possibilité de solutions de rechange
facilement disponibles (ici la possibilité de définir un indicateur de maturité de la
gestion de la sécurité) qui permettent de trouver une solution honorable. Il existe
cependant d’autres facteurs, dont la dimension plus spéculative ne se laisse pas saisir
facilement. Ainsi, au-delà de ces configurations organisationnelles, il faut sans doute
convoquer des dimensions proprement symboliques : l’imaginaire de l’aéronautique
(Gras, 2001) ne bénéficie-t-il pas, dans le public, d’un potentiel de confiance, ce qui
lui permet de résister, dans une certaine mesure, à l’emprise des dimensions chiffrables
de l’auditabilité26 (Power, 2005) ? Il serait ainsi possible de résister à la tyrannie de la
transparence (Strathern, 2000), mais les conditions générales de cette résistance sont
encore à élucider.
conclusion
L’élaboration et l’usage des indicateurs s’insèrent dans des dispositifs de contrôle institutionnels au sein desquels ils constituent des enjeux de pouvoir, mais aussi de sens.
Une approche ethnographique nous a permis d’examiner au plus près les tentatives
d’élaboration d’un indicateur de sécurité et cette immersion nous a permis de comprendre finement les débats et les enjeux qui étaient liés à ce travail de mise en visibilité
d’une valeur centrale pour ces organisations, car la mission principale d’un fournisseur
de services de contrôle de la navigation aérienne est bien d’assurer la sécurité des vols.
Il n’est donc pas anodin qu’une autorité réglementaire renonce à quantifier ce qui
constitue la raison d’être de ces organisations qu’elle « régule ».
performance, au regard du mandat et/ou des objectifs fixés ». Le Vocabulaire européen des philosophies donne
des précisions importantes : account peut être employé au sens de « compter » (de l’argent) mais aussi de
« rendre compte » et de « rendre des comptes ». Le day of account désigne d’ailleurs le jugement dernier.
25. O’Neill, O. (2002), « A question of trust : The BBC Reith Lectures 2002 », Cambridge University
Press.
26. On parle d’« auditability » en anglais : la capacité d’être « auditable », ici traduite de façon littérale,
néologisme peu élégant, mais fidèle à la notion en anglais.
Tout ce qui compte ne peut être compté
269
Une particularité de notre enquête est de relater un cas de renoncement à la quantification, alors même que la quantification initiale semblait « aller de soi » : les acteurs
avaient à leur disposition un indicateur implicite de la sécurité à travers le nombre
d’incidents. Les cas de renoncement à la quantification et l’examen précis des étapes
de cet abandon nous paraissent porteurs d’enseignement. Peut-on repérer dans
d’autres enquêtes empiriques examinant des cas de résistance ou d’échec de la quantification, au-delà des dimensions épistémiques, des configurations d’acteurs, des types
d’institutions ou encore des dimensions politiques spécifiques ? Quelle place doit-on
accorder à des explications macroscopiques qui prennent appui sur des concepts tels
que la confiance, ou la légitimité des institutions en présence ? À partir de cette
enquête, un dialogue pourrait s’ouvrir avec d’autres histoires d’échec, de renoncement, de résistance à la quantification, histoires qui sont partie prenante d’une sociologie des usages de la statistique.
résumé
Sur la scène statistique, les indicateurs occupent désormais une place de choix, et lorsque leur
ambition est de mesurer des aspects par nature intangibles, ils font souvent l’objet d’âpres
discussions. L’histoire et les déboires de l’élaboration, sur le plan européen, d’un indicateur
de sécurité dans un domaine à risque (le contrôle de la navigation aérienne) montrent les
difficultés épistémiques (que peut-on mesurer ou quantifier ?) et politiques (à quelles conditions
peut-on rendre des chiffres publics ?) liées à un objectif (la sécurité aérienne) qui est la raison
d’être des organismes de contrôle de la navigation aérienne. Dans la lignée de la sociologie de
la statistique d’Alain Desrosières, nous analysons cette histoire de recherche d’accord sur les
conventions, qui devient celle d’une renonciation à quantifier (tout ce qui compte ne peut être
compté…) et nous proposons ainsi d’ouvrir une histoire des échecs, du renoncement, et de la
résistance à la quantification.
Mots clés : indicateur, sécurité aérienne, transparence, accountability, sociologie des conventions
abstract
On statistical stage, indicators have become a choice, and when their ambition is to measure
aspects of intangible nature, they are often subject to heated debate. At European level, the
history and setbacks of the development of a safety indicator in a risk area (air navigation
control) shows the epistemic (what can be measured or quantified ?) and political (under what
conditions can we make the statistics figures public ?) difficulties, related to a goal (Aviation
Safety), which is the purpose of inspection bodies in air navigation. In the tradition of the
sociology of statistics of Alain Desrosières, we analyze the research history of agreement on
the conventions, which becomes that of a waiver to quantify (not everything that counts can be
counted ...) and so doing we propose to open a history of failure, renunciation, and resistance
to quantification.
Key words : indicator, air safety, transparency, accountability, sociology of conventions
270
sociologie et sociétés • vol. xliii. 2
resumen
En la escena de las estadísticas, en adelante los indicadores ocupan un lugar privilegiado y,
cuando su ambición es medir aspectos por naturaleza intangibles, con frecuencia son objeto
de ásperas discusiones. La historia y los desengaños de la elaboración, a nivel europeo, de
un indicador de seguridad en un área de riesgo (el control de la navegación aérea) muestran
dificultades epistémicas (¿qué es posible medir o cuantificar ?) y políticas (¿bajo qué condiciones
es posible hacer públicas las cifras ?) asociadas a un objeto (la seguridad aérea), razón de ser
de los organismos de control de la navegación aérea. En el contexto de la sociología de las
estadísticas de Alain Desrosières, aquí analizamos esta historia de investigación del acuerdo
acerca de las convenciones, el cual llega a renunciar a la cuantificación (todo lo que cuenta no
puede ser contado…) y, de esta manera, proponemos abrir una historia de los fracasos, de la
renunciación y de la resistencia a la cuantificación.
Palabras claves : indicador, seguridad aérea, transparencia, rendición de cuentas, sociología de
las convenciones
BIBLIOGRAPHIE
Cassin, B. (2006), Vocabulaire européen des philosophies, Paris, Seuil/Le Robert, 2004.
Desrosières, A. (1992), « Discuter l’indiscutable », in A. Cottereau et P. Ladrière (dir.), Pouvoir et
légitimité, figures de l’espace public. Éditions de l’École des Hautes Études en Sciences sociales, Raisons
pratiques, nº 3.
Desrosières, A. (1993), La politique des grands nombres, histoire de la raison statistique, Paris, La
Découverte.
Desrosières, A. (2008), Pour une sociologie historique de la quantification. L’argument statistique. I, Presses
des Mines, ParisTech.
Desrosières, A. (2008), Gouverner par les nombres. L’argument statistique. II, Presses des Mines, ParisTech.
Desrosières, A. (2008), « Entre réalisme métrologique et conventions d’équivalence : les ambiguïtés de la
sociologie quantitative », Modulad, n° 38.
Dodier, N. (1993), L’expertise médicale : Essai de sociologie sur l’exercice du jugement, Paris, Métailié.
Fassert, C. (2009), « La transparence dans les organisations à risque. Une approche ethnographique dans
le contrôle de la navigation aérienne », Thèse de doctorat de sociologie. Paris 1 Sorbonne.
Gadrey, J. et F. Jany-Catrice (2004), Les nouveaux indicateurs de richesse, Paris, La Découverte.
Gras, A. (2001), « Approche phénoménologique et anthropologique des grands systèmes », in M. Bourrier
(dir.), Organiser la fiabilité, Paris, L’Harmattan.
Lazarsfeld, P. (1958), « Evidence and Inference in Social Research », Daedalus, 87(4), p. 99-109.
O’Neill, O. (2002), « A question of trust : The BBC Reith Lectures », Cambridge University Press.
Power, M. (2005), La société de l’audit, Paris, La Découverte.
Strathern, M. (2000), « The Tyranny of Transparency », British Educational Research Journal, vol. 26, no 3,
p. 309-321.
Supiot, A. (2006), Homo Juridicus. Essai sur la fonction anthropologique du droit, Paris, Seuil.
Documents techniques
Exigence EUROCONTROL ESARR 2. Notification et analyse des évènements liés à la sécurité dans le
domaine de l’ATM. 03-11-00, Statut : version autorisée. Classe : diffusion générale.
Évaluation de la gestion de la circulation aérienne en Europe au cours de l’année 2002. Examen des
performances. Rapport. Juillet 2003. Copyright EUROCONTROL. OACI. Vol. 63, nº 6, 2008.
Tout ce qui compte ne peut être compté
271
Rapport d’examen des performances. Synthèse. Évaluation de la gestion de la circulation aérienne en
Europe au cours de l’année civile 2009. Commission d’examen des performances. EUROCONTROL.
Mai 2010.
Glossaire
CFIT : Control flight into terrain. Collision d’un avion avec le sol au cours de laquelle l’équipage maîtrisait
l’avion sans avoir conscience du risque de collision : c’est le cas de l’erreur de navigation qui amène à
percuter le relief ou l’eau sans perte de contrôle de l’appareil.
TCAS : Trafic collision avoidance system. Système anti-collision embarqué.
EUROCONTROL : Agence Européenne de la Sécurité Aérienne.
OACI : Organisation de l’Aviation civile internationale.