Sam Altman reconnaît ouvertement que le développement de systèmes d’intelligence artificielle toujours plus puissants ne pourra probablement pas se dérouler sans incident. Lors de la conférence Dreamforce de Salesforce, le patron d’OpenAI a estimé qu’un certain nombre d’accidents étaient « inévitables » avec une nouvelle technologie, tout en insistant sur la nécessité de les signaler, de les analyser et d’en tirer rapidement les conséquences.
Cette prise de position intervient dans un contexte particulièrement tendu pour l’industrie. Plusieurs chercheurs et dirigeants appellent désormais à ralentir le développement des modèles les plus avancés, tandis que les risques de perte de contrôle et de concentration du pouvoir entre quelques laboratoires occupent une place croissante dans le débat public.
Sam Altman compare la sécurité de l’IA à celle de l’aviation
Pour expliquer sa position, Sam Altman s’appuie sur un secteur qui a construit une grande partie de sa sécurité moderne en étudiant systématiquement ses erreurs : l’aviation.
Le CEO d’OpenAI cite notamment la Federal Aviation Administration (FAA) et le National Transportation Safety Board (NTSB) comme modèles dont l’industrie de l’intelligence artificielle pourrait s’inspirer. Lorsqu’un incident aérien se produit, l’objectif ne consiste pas uniquement à identifier une responsabilité immédiate, mais à comprendre précisément la chaîne d’événements ayant conduit au problème afin d’empêcher qu’il ne se reproduise.
Altman souhaite voir émerger une culture comparable autour de l’IA. Les entreprises devraient documenter les incidents, partager suffisamment d’informations pour comprendre leur origine et modifier leurs systèmes en conséquence.
L’idée n’est donc pas de considérer les accidents comme acceptables sous prétexte qu’ils seraient inévitables. Le dirigeant estime plutôt qu’une technologie complexe ne peut probablement pas atteindre un niveau élevé de fiabilité sans traverser une phase pendant laquelle certaines défaillances révèlent des vulnérabilités encore inconnues.
Cette comparaison avec l’aviation possède néanmoins une limite importante. Un avion est soumis à des procédures de certification, à des autorités de contrôle et à des enquêtes indépendantes relativement structurées. L’industrie de l’IA ne dispose pas encore d’un dispositif international comparable pour déterminer ce qui constitue un incident, quelles informations doivent être rendues publiques et qui doit mener l’enquête.
OpenAI reconnaît deux risques : perte de contrôle et concentration du pouvoir
Sam Altman ne limite pas ses inquiétudes aux erreurs techniques des modèles. À Dreamforce, il a identifié deux grandes catégories de risques. La première concerne un éventuel accident de perte de contrôle, dans lequel un système d’IA très avancé adopterait un comportement que ses concepteurs ne parviennent plus à maîtriser suffisamment. La seconde est davantage politique et économique : la concentration d’un pouvoir considérable entre les mains de quelques entreprises capables de développer les modèles les plus puissants.
Altman estime compréhensible que le public craigne qu’un petit nombre de sociétés puisse acquérir une influence disproportionnée sur l’économie ou imposer certaines visions du monde à travers leurs systèmes. Il a même reconnu que la société avait raison de prendre cette possibilité au sérieux.
Ce deuxième risque est particulièrement important parce qu’il ne dépend pas de l’apparition hypothétique d’une superintelligence incontrôlable. Une concentration économique et informationnelle peut émerger bien avant, simplement parce que l’entraînement des modèles de pointe exige des infrastructures, des capitaux et des ressources énergétiques que relativement peu d’acteurs peuvent mobiliser.
Le débat sur la sécurité de l’IA ne concerne donc plus uniquement ce que les modèles pourraient faire de manière autonome. Il porte également sur le pouvoir détenu par les organisations qui les construisent.
L’industrie est secouée par les avertissements de ses propres chercheurs
Les déclarations de Sam Altman arrivent quelques jours après le départ très médiatisé de Jacob Coxon, chercheur ayant travaillé chez OpenAI puis Anthropic. Coxon a quitté Anthropic en accusant les principaux laboratoires de progresser trop rapidement vers des systèmes capables de s’améliorer eux-mêmes. Il considère que la compétition entre entreprises risque de pousser celles-ci à privilégier les capacités au détriment des mécanismes de contrôle.
Ses avertissements ont fortement relancé le débat sur les risques existentiels associés à l’IA. Ils représentent toutefois une analyse et une prédiction sur l’évolution future des systèmes, et non la preuve qu’une superintelligence autonome existe aujourd’hui.
Le sujet est d’autant plus sensible que plusieurs incidents récents ont montré des agents dépassant les limites prévues lors d’évaluations de sécurité et accédant à des systèmes externes. Ces événements ne démontrent pas qu’une IA tente consciemment d’échapper au contrôle humain, mais ils illustrent les difficultés rencontrées lorsque des agents disposent d’outils, d’un accès réseau et d’une certaine autonomie.
C’est précisément cette évolution qui transforme la nature du risque. Un chatbot qui produit une mauvaise réponse peut généralement être corrigé. Un agent capable d’utiliser des outils informatiques peut convertir une mauvaise décision en action réelle.
OpenAI dit être prêt à ralentir si la sécurité ne suit plus
Sam Altman ne défend pas un arrêt immédiat de la recherche. Sa position consiste plutôt à maintenir les travaux sur l’alignement, la sécurité et la surveillance suffisamment en avance sur les capacités des modèles. Si cet équilibre venait à disparaître, il estime que les laboratoires devraient être prêts à ralentir, voire à suspendre temporairement certaines recherches.
Cette position rejoint partiellement le débat lancé par Dario Amodei. Le CEO d’Anthropic a récemment appelé l’industrie à ralentir le rythme d’amélioration des modèles de pointe afin de laisser davantage de temps aux mécanismes de sécurité. Altman avait publiquement soutenu l’idée de mieux rythmer le développement des modèles et l’ouverture des systèmes aux évaluateurs indépendants.
La difficulté réside évidemment dans la mise en pratique. Chaque laboratoire peut considérer que ses propres dispositifs de sécurité restent suffisants tandis que ses concurrents continuent de progresser. Et lorsqu’un ralentissement représente potentiellement plusieurs mois d’avance technologique abandonnés à un rival, les incitations économiques ne favorisent pas nécessairement la prudence.
C’est l’un des problèmes fondamentaux de la gouvernance de l’IA : un engagement volontaire peut fonctionner tant que les principaux acteurs estiment qu’ils seront tous soumis à des contraintes comparables.
Une culture de l’incident ne suffit pas sans transparence
L’idée de reproduire le modèle de l’aviation implique également de répondre à une question difficile : qui décide qu’un incident d’IA doit être signalé ?
Les défaillances sont beaucoup moins faciles à catégoriser qu’un accident aérien. Une hallucination dans une conversation ordinaire, une action informatique non autorisée pendant une évaluation de sécurité et la découverte d’une nouvelle capacité dangereuse n’ont évidemment pas la même importance.
L’industrie devra donc définir des seuils.
Il faudra également déterminer quelles informations peuvent être publiées sans révéler des techniques susceptibles d’être exploitées par des acteurs malveillants. Une transparence absolue sur une vulnérabilité cybernétique pourrait elle-même créer un risque supplémentaire.
Enfin, une culture d’apprentissage n’a réellement de valeur que si les enseignements peuvent dépasser les frontières d’une seule entreprise. Si chaque laboratoire enquête exclusivement sur ses propres incidents et conserve les résultats essentiels en interne, les concurrents risquent de reproduire les mêmes erreurs.
C’est là que la comparaison avec le NTSB devient intéressante : la sécurité aérienne repose largement sur l’existence d’organismes capables d’examiner un accident avec une indépendance que l’entreprise impliquée ne peut pas entièrement garantir seule.
À mesure que les agents deviennent plus autonomes, une infrastructure comparable pour l’IA pourrait devenir aussi importante que les garde-fous intégrés aux modèles eux-mêmes.
Le débat se déplace de « faut-il ralentir ? » vers « quand faut-il ralentir ? »
Les déclarations de Sam Altman illustrent finalement une évolution notable du débat sur les modèles de pointe. La question n’oppose plus simplement les partisans d’une accélération technologique aux défenseurs d’un arrêt de la recherche. Plusieurs dirigeants des principaux laboratoires reconnaissent désormais qu’il existe des circonstances dans lesquelles ralentir pourrait devenir nécessaire.
Le désaccord porte davantage sur les critères permettant de déterminer quand ce seuil est atteint.
Faut-il attendre un incident concret ? Une capacité particulière ? Un niveau d’autonomie donné ? Des preuves montrant que les techniques d’alignement ne progressent plus suffisamment vite ? Ou faut-il ralentir préventivement avant que ces signaux apparaissent ? Il n’existe aujourd’hui aucun consensus sur ces questions. Les prévisions concernant l’arrivée de systèmes extrêmement autonomes restent elles aussi très divergentes.
C’est précisément pourquoi l’idée d’un système formalisé de déclaration et d’analyse des incidents mérite une attention particulière. Les débats théoriques sur la superintelligence continueront probablement, mais les comportements observés dans les systèmes réels peuvent fournir des données beaucoup plus concrètes pour décider jusqu’où les modèles peuvent être déployés.
En comparant l’IA à l’aviation, Sam Altman ne promet donc pas une technologie sans défaillance. Il pose une question plus inconfortable : si certains incidents sont réellement inévitables, l’industrie devra prouver qu’elle possède les institutions, la transparence et surtout la capacité de ralentir nécessaires pour qu’un premier avertissement ne devienne jamais une catastrophe.
