La plupart des entreprises peuvent vous indiquer combien d’utilisateurs humains ont accès à leurs systèmes financiers. Rares sont ceux qui peuvent dire combien d’agents IA font cela.
Ces dernières années, les discussions autour de l’IA d’entreprise se sont concentrées sur les perturbations de la main-d’œuvre, le retour sur investissement et les mécanismes de mise à l’échelle des cas d’utilisation. Ces questions, bien qu’importantes, sont de plus en plus opérationnelles. Une question plus structurelle émerge : elle déterminera si l’IA devient un avantage durable ou un inconvénient cumulatif.
Le vrai risque n’est pas la performance du modèle ou la publicité médiatique. Il s’agit de la prolifération rapide d’agents d’IA autonomes qui fonctionnent sans identité gouvernée, sans contrôle d’accès exécutoire ou sans gouvernance du cycle de vie. Les cadres de gouvernance conçus pour les utilisateurs humains et les logiciels traditionnels sont discrètement dépassés et peu d’organisations mesurent systématiquement l’exposition.
Récemment, ce problème est devenu plus visible, avec l’émergence de plateformes dépourvues de véritables garanties pour empêcher les acteurs malveillants et capables de créer et de lancer d’énormes flottes de robots. Ces plateformes illustrent la rapidité avec laquelle des acteurs numériques non gérés peuvent proliférer et combien il est difficile de les suivre une fois qu’ils le font. Les programmes intelligents fonctionnent désormais sans gouvernance significative et sans accès aux systèmes et aux données au-delà de notre visibilité.
Si les organisations ne mettent pas en œuvre dès aujourd’hui des cadres de sécurité de niveau industriel pour les agents IA, nous en subirons rapidement les conséquences dans les environnements d’entreprise critiques.
Agents IA non contrôlés : la prochaine frontière du risque d’entreprise
Les agents d’IA diffèrent à bien des égards des logiciels traditionnels et des utilisateurs humains. Aujourd’hui, la plupart des systèmes d’entreprise sont construits autour d’identités clairement définies. Les utilisateurs ont des comptes nommés, les applications fonctionnent avec des informations d’identification de service enregistrées et l’accès est accordé en fonction de rôles établis qui peuvent être surveillés, audités et révoqués si nécessaire.
Les agents d’IA autonomes ne s’intègrent pas parfaitement dans ce modèle. Ils peuvent agir au nom des utilisateurs, interagir avec plusieurs systèmes et prendre des décisions sans intervention humaine directe. Dans de nombreuses organisations, ils manquent d’identités gouvernées et stables. Leur accès n’est pas toujours lié à des politiques claires. Leur cycle de vie est rarement géré de la création à la retraite.
Les chercheurs ont souligné comment les faiblesses des environnements contrôlés par des agents peuvent permettre à des instructions malveillantes, des attaques par injection rapide ou des données empoisonnées de se propager rapidement à travers les systèmes interconnectés. Dans les entreprises où les agents sont connectés à des données sensibles, à des systèmes financiers ou à une infrastructure opérationnelle, même de petites lacunes en matière de gouvernance peuvent devenir des risques importants.
En d’autres termes, le véritable risque ne réside pas seulement dans ce que les agents peuvent faire, mais aussi dans ce à quoi ils peuvent accéder.
La vraie vulnérabilité n’est pas le modèle de l’IA, c’est la base
Dans mon travail avec des organisations passant de l’expérimentation de l’IA au déploiement à l’échelle de l’entreprise, un modèle ressort : les plus gros points de défaillance sont rarement les modèles d’IA eux-mêmes. Le plus souvent, le problème vient de bases de données faibles et de cadres de contrôle incomplets.
Les conséquences sont déjà tangibles. Les manquements à la conformité, les résultats biaisés et les échecs en matière de gouvernance génèrent d’importantes pertes financières et opérationnelles dans tous les secteurs. Dans plusieurs cas, les coûts de remédiation ont atteint des dizaines de millions lorsque des lacunes en matière de gouvernance sont découvertes après la mise en œuvre. Ce ne sont pas des exemples d’intelligence débridée. Ce sont des échecs opérationnels. Lorsque l’IA est introduite dans des environnements complexes sans gouvernance des identités modernisée ni surveillance continue, le risque augmente plus vite que la valeur.
L’urgence s’intensifie à mesure que l’adoption de l’IA s’étend au-delà des équipes centralisées. Les employés expérimentent et déploient des agents au sein des fonctions commerciales, souvent sans visibilité à l’échelle de l’entreprise. L’autonomie s’étend latéralement dans les organisations plus rapidement que l’entreprise ne peut s’adapter. Sans normes claires en matière d’identité, d’accès et de surveillance, les acteurs du numérique peuvent tranquillement accumuler des autorisations et exercer une influence bien au-delà de leur portée prévue.
En fin de compte, c’est une question de préparation architecturale. Les dirigeants doivent être capables de répondre à trois questions à tout moment : où résident nos données critiques ? Qui ou quoi peut y accéder ? Comment cet accès est-il validé et examiné ?
Par conséquent, la mise à l’échelle de l’IA en toute sécurité nécessite un redémarrage opérationnel. Les agents indépendants doivent être traités comme des acteurs responsables au sein de l’entreprise. Cela comprend une documentation claire des rôles et des responsabilités, des cycles de révision réguliers et une intégration avec les processus informatiques et de risque existants. L’accès doit être intentionnel et continuellement validé et l’activité doit rester observable. Les organisations qui opèrent ce changement ne limitent pas l’innovation ; Ils créent les conditions d’une échelle durable. À l’ère de l’IA, la maturité opérationnelle est ce qui, en fin de compte, sépare l’expérimentation d’un avantage durable.
Un appel à changer le récit du battage médiatique à la préparation
Les agents d’IA ne constituent plus une menace théorique et il est clair que le débat plus large sur l’industrie doit évoluer. Nous avons passé beaucoup de temps à discuter des performances des modèles et des nouveaux cas d’utilisation. Nous devons consacrer le même temps à l’identité, à la gouvernance des données, au contrôle d’accès et à la gestion du cycle de vie des acteurs autonomes que nous introduisons dans nos environnements.
Sans les barrières de sécurité courantes dans d’autres domaines informatiques, ces agents peuvent représenter une armée silencieuse d’acteurs numériques non gérés opérant au sein de systèmes complexes. La réponse à ce risque nécessite l’attention des dirigeants, une collaboration interfonctionnelle et un engagement à mettre en place une gouvernance de niveau industriel pour l’ère de l’IA. Les organisations qui prennent cela au sérieux ne se contenteront pas de réduire leur exposition. Ils renforceront également la confiance et la résilience nécessaires pour faire évoluer l’IA en toute confiance, favorisant ainsi une collaboration plus étroite entre l’entreprise et l’informatique. Dans un monde où les systèmes intelligents font de plus en plus partie des effectifs, la sécurité opérationnelle n’est plus seulement une préoccupation technique, mais un impératif stratégique. L’IA n’évoluera que dans la mesure où la confiance le permet. La gouvernance est ce qui rend cette confiance possible.
Les points de vue reflétés dans cet article sont ceux de l’auteur et ne reflètent pas nécessairement les points de vue de l’organisation mondiale EY ou de ses cabinets membres, ni ceux de Fortune.
