Quand l'algorithme entre dans la cellule de crise

Une cellule de crise décide vite, avec des informations incomplètes, sous contrainte de temps et d'attention. C'est exactement le terrain sur lequel l'intelligence artificielle est vendue comme une réponse : détection d'anomalie, priorisation d'alertes, modélisation de propagation, aide à l'arbitrage, synthèse automatique de main courante. La promesse est sérieuse. Le risque l'est tout autant, et il n'est pas là où on l'attend.

Le risque n'est pas que la machine se trompe. Une machine qui se trompe visiblement est un incident gérable. Le risque est qu'elle ait raison dans un contexte qui n'est plus le vôtre, et qu'elle le dise avec une assurance que personne dans la salle n'a le temps de contester.

Les travaux sur les biais algorithmiques identifient quatre étapes où le défaut s'introduit : la définition du problème, les données, la modélisation, et le déploiement. Ce découpage n'intéresse pas que les concepteurs. Lu par un dirigeant, il décrit quatre points de rupture de sa propre chaîne de décision de crise, que l'organisation utilise ou non de l'IA. Car le constat central de cet article est le suivant : aucun de ces biais n'est propre à l'intelligence artificielle. Ce sont les biais classiques d'une cellule de crise. L'IA ne les crée pas. Elle les industrialise, les accélère, et les rend invisibles.

1. La définition du problème : optimiser correctement la mauvaise chose

Un système d'IA apprend à maximiser ce qu'on lui demande de maximiser. S'il se trompe d'objectif, il se trompera vite, à grande échelle, et de façon parfaitement cohérente. Trois défauts se logent à cette étape, et ils se retrouvent mot pour mot dans les pathologies classiques de la cellule de crise.

Le premier est le biais de cadrage : la question posée n'est pas la question qui compte. On demande à l'outil « quel site est le plus touché » quand la vraie question est « quel site conditionne la reprise de tous les autres ». Le second est le biais d'agrégation : un modèle unique est appliqué à des réalités hétérogènes. Le modèle moyen ne correspond à aucun terrain réel. Le troisième est le biais d'omission du gain : on comptabilise les erreurs du système, jamais celles qu'il a évitées ou l'inverse, selon l'intérêt de celui qui présente le bilan.

La transposition doctrinale est immédiate. C'est très exactement le problème de l'Effet Final Recherché (EFR). Un EFR mal formulé produit une manœuvre techniquement irréprochable et stratégiquement inutile. Une cellule qui n'a pas explicité ce qu'elle cherche à obtenir optimise par défaut ce qu'elle sait mesurer : le nombre d'alertes traitées, le délai de réponse, le taux de systèmes restaurés. Aucun de ces indicateurs ne dit si l'organisation tient.

Le biais d'agrégation, lui, est l'ennemi direct de la subsidiarité. Un dispositif calibré sur la moyenne des sites, des communes ou des filiales retire au niveau local la marge d'appréciation qui est précisément sa valeur ajoutée. La moyenne n'habite nulle part. Le point de contrôle est donc celui-ci : l'EFR se formule avant la crise, par écrit, et se réinterroge à chaque bascule de niveau. Si votre organisation envisage un outil d'aide à la décision, la première question à poser au fournisseur n'est pas « quelle est sa précision » mais « quel objectif exact optimise-t-il, et qui a arbitré cet objectif ». Un arbitrage non écrit est un arbitrage qui sera contesté après coup, au pire moment.

2. Les données : apprendre sur une réalité qui n'est pas la vôtre

Une base d'apprentissage est un instantané : une population, une période, un contexte. Rien ne garantit qu'elle décrive votre terrain d'emploi. La question la plus dérangeante à poser à un jeu de données est celle-ci : décrit-il le phénomène, ou décrit-il les décisions humaines passées à propos du phénomène ? Un historique de contrôles n'enseigne pas où se trouve la fraude. Il enseigne où l'on a contrôlé. Un modèle entraîné dessus apprendra à reproduire les habitudes de l'organisation, pas à révéler ses angles morts.

La transposition doctrinale est celle du retour d'expérience (RETEX), et de sa pathologie la plus répandue. Une organisation qui ne capitalise que sur ses crises passées construit un dispositif optimisé pour la crise précédente. Si vos dix derniers retours d'expérience portent sur des événements climatiques, votre cellule sera excellente sur la crue et démunie sur la compromission de données. Les données ne sont pas fausses. Elles sont non représentatives de la menace à venir.

S'y ajoute un travers plus insidieux : le RETEX de complaisance. Une base de retours d'expérience qui ne contient que des crises bien gérées est une base qui ne contient aucune information exploitable. Ce qui instruit, c'est l'écart, pas la conformité. Le point de contrôle est donc la pluralité des sources et la sincérité de leur exploitation : croisez vos RETEX internes avec ceux de votre filière, les publications sectorielles et les signaux faibles issus de votre veille. Une base unique, fût-elle abondante, reste une base biaisée.

3. La modélisation et la validation : le score moyen qui masque l'effondrement

Un modèle est déclaré valide sur la foi d'un test qui ne ressemble pas à la réalité d'emploi. La métrique agrégée est flatteuse ; la performance s'effondre sur un sous-groupe que le test moyen ne voyait pas. La variante la plus coûteuse est l'optimisation sur un proxy : on mesure une grandeur substitutive plus facile à obtenir que l'objectif réel. Le modèle reproduit alors mécaniquement le biais contenu dans le substitut, tout en affichant une performance excellente sur ce qu'on lui a demandé de prédire.

La transposition doctrinale est celle de l'exercice qui valide le dispositif au lieu de l'éprouver. Un exercice construit pour être réussi produit un score global rassurant et zéro information. Il valide le fonctionnement nominal : les participants sont disponibles, les systèmes fonctionnent, le scénario respecte le plan. Or le plan est la première victime de la crise. Ce qui doit être testé, c'est le mode dégradé : le décideur injoignable, la main courante non tenue, la cinétique plus rapide que la boucle de décision, la cellule réflexe qui doit tenir seule quarante minutes.

Le proxy est ici presque universel : on mesure le taux de participation aux exercices parce qu'il est facile à produire, alors que la grandeur qui intéresse est la capacité à décider sous contrainte. Une organisation peut afficher cent pour cent de participation et zéro capacité de bascule. Le point de contrôle est d'exiger la performance ventilée, jamais le score global : quel niveau, quelle fonction, quel horaire, quel scénario ? Une cellule performante un mardi à dix heures en configuration complète ne prouve rien sur sa performance un vendredi à dix-neuf heures avec deux absents.

4. Le déploiement : le modèle est juste, c'est l'usage qui dérive

C'est l'étape la plus critique pour un dirigeant, parce que c'est la seule où il est directement responsable et la seule qui ne se corrige pas dans le code.

Le premier risque est le transfert de contexte : un outil validé sur un périmètre, une période ou une population est appliqué ailleurs sans revalidation. La version non numérique de ce biais est bien connue : le plan de continuité écrit pour le site historique, dupliqué sur le site acquis l'an dernier, dont ni la topographie ni les dépendances fournisseurs ne sont les mêmes.

Le second risque est le détournement d'usage. La sortie du modèle, conçue comme une aide, devient la décision. Personne ne l'a décidé ; c'est le temps qui l'impose. Sous tension, l'aide à la décision devient la décision par défaut, faute de marge pour la discuter. C'est la version numérique d'un travers bien connu des cellules de crise : personne ne conteste l'écran affiché en salle. Une information projetée acquiert une autorité que la même information, dite à voix haute par un agent de terrain, n'aurait jamais eue.

Ce point mérite d'être dit sans détour : une cellule qui suit la machine a perdu son leadership de tempo. Elle ne conduit plus la manœuvre, elle réagit à un flux. La règle des deux tiers / un tiers ne s'applique plus, parce qu'il n'y a plus de temps de conception, seulement du temps de réaction.

Le troisième risque est la boucle de rétroaction. Les décisions du système produisent les données qui l'alimenteront demain. Le biais initial se verrouille et s'amplifie. La transposition est directe : une main courante mal tenue pendant une crise devient la source du RETEX, qui devient la base du plan révisé, qui devient le cadre de la crise suivante. L'erreur de saisie du jour un devient doctrine à trois ans.

Où se situe votre responsabilité

La distinction opérationnelle est simple, et elle est structurante pour un dirigeant. En amont, le biais est un problème technique : il se traite par l'audit du modèle, la revue des données, la mesure ventilée par sous-groupe. C'est le travail des concepteurs et des auditeurs. Vous en êtes le donneur d'ordre, pas l'exécutant. En aval, le biais devient un problème de gouvernance. Il ne se corrige pas dans le code. Il se traite par la documentation des conditions d'emploi, la formation des utilisateurs, le maintien d'une capacité de contestation de la décision, et la surveillance en usage réel. C'est votre travail, et il n'est pas délégable.

Le corollaire que la plupart des organisations manquent est le suivant : la réception d'un dispositif ne s'arrête pas à sa mise en service. Un modèle validé n'est pas un modèle sûr. C'est un modèle sûr dans des conditions données, qui doit être réévalué dès que ces conditions changent, exactement comme un plan de crise.

Cinq questions à poser avant d'introduire un outil d'IA dans votre dispositif de crise

Avant de confier une partie de votre chaîne de décision à un système algorithmique, cinq questions méritent une réponse écrite. Quel objectif exact optimise l'outil, et cet arbitrage a-t-il été validé au bon niveau décisionnel ? Sur quelles données a-t-il appris, et ces données décrivent elles votre terrain ou celui d'un autre ? Sa performance est-elle documentée en mode dégradé, ou seulement en fonctionnement nominal ? Qui a autorité pour ne pas suivre sa recommandation, et cette autorité est-elle connue de tous avant la crise ? Que devient le dispositif si l'outil tombe au moment où la crise le sollicite le plus ?

Si l'une de ces cinq questions reste sans réponse écrite, l'outil n'est pas un renfort. C'est une dépendance supplémentaire. Chez Crisea Conseil, nous accompagnons les dirigeants dans l'analyse de leur dispositif de crise, avec ou sans IA, pour identifier les points de rupture avant qu'ils ne se révèlent en situation réelle.