L’automatisation assistée par intelligence artificielle franchit un cap important. Avec l’arrivée de la fonctionnalité Record & Replay dans son application Codex pour macOS, OpenAI propose une approche radicalement différente de l’automatisation des tâches numériques : au lieu de rédiger un prompt ou de configurer un workflow complexe, l’utilisateur exécute simplement une tâche pendant que l’IA observe.
Une fois la démonstration terminée, Codex analyse les actions réalisées et les transforme en une compétence réutilisable capable d’être exécutée de manière autonome à la demande.
Déployée le 18 juin dans la version 26.616 de l’application Codex, cette fonctionnalité est accessible aux abonnés ChatGPT Plus, Pro, Business, Enterprise et Edu, à l’exception des utilisateurs situés dans l’Espace économique européen, au Royaume-Uni et en Suisse.
Quand l’IA apprend par démonstration
Derrière cette nouveauté se cache un concept bien connu du monde académique : le « programming by demonstration », ou programmation par démonstration. Depuis les années 1980, les chercheurs explorent l’idée qu’un ordinateur puisse apprendre une tâche simplement en observant un utilisateur. Le défi a toujours résidé dans la généralisation : comment transformer une séquence d’actions spécifiques en une procédure réutilisable dans des contextes différents ?
Les systèmes historiques reposaient principalement sur des règles rigides et des heuristiques limitées. Résultat : ils se révélaient souvent incapables de s’adapter aux variations des interfaces ou aux cas imprévus.
OpenAI contourne désormais cette limite grâce à son modèle de langage. Au lieu d’enregistrer mécaniquement chaque clic, l’IA tente de comprendre l’intention derrière les actions observées. Une différence architecturale majeure qui distingue Record & Replay des traditionnels outils de macros ou de RPA (Robotic Process Automation).
Comment fonctionne Record & Replay dans Codex ?
Le processus débute depuis le panneau de plugins de l’application Codex. Après avoir sélectionné « Record a Skill », l’utilisateur autorise l’application à observer les fenêtres affichées à l’écran et les actions réalisées. Il peut alors naviguer sur un site web, remplir des formulaires, importer des fichiers ou accomplir toute autre opération nécessaire à son workflow.
Une fois l’enregistrement terminé, Codex génère automatiquement un fichier baptisé SKILL.md. C’est ce document qui constitue le véritable cœur du système.
Contrairement aux anciens outils d’automatisation qui stockaient uniquement des coordonnées de clics ou des positions d’éléments d’interface, le fichier SKILL.md décrit la logique de la tâche en langage naturel : quand utiliser le workflow, quels paramètres peuvent varier entre deux exécutions, les étapes à suivre et les critères permettant de vérifier que l’opération a réussi.
Le document reste entièrement lisible et modifiable par l’utilisateur. Une équipe peut ainsi enrichir, corriger ou standardiser une compétence avant de la partager à l’ensemble d’une organisation.
Une approche différente de l’automatisation traditionnelle
Pendant des années, des acteurs comme UiPath ou Automation Anywhere ont dominé le marché de l’automatisation des processus métier grâce à des systèmes d’enregistrement et de reproduction d’actions.
Le principal problème de ces solutions réside dans leur fragilité.
Une modification mineure d’interface, un bouton déplacé ou un champ renommé peuvent suffire à interrompre complètement un scénario automatisé.
Avec Codex, l’approche change fondamentalement. L’IA ne cherche plus à reproduire exactement les gestes de l’utilisateur. Elle tente de comprendre le résultat attendu et adapte son comportement à l’environnement dans lequel elle évolue.
Autrement dit, là où une macro classique enregistre un clic précis sur un bouton donné, Codex comprend qu’il faut « soumettre un formulaire » ou « publier un fichier », puis recherche la meilleure manière d’effectuer cette action dans l’interface actuelle.
Cette capacité d’adaptation pourrait considérablement élargir les usages de l’automatisation auprès des professionnels non techniques.
Des limites encore bien réelles
Malgré cette avancée, Record & Replay n’échappe pas aux défis qui affectent aujourd’hui l’ensemble des agents capables d’interagir avec un ordinateur. Les derniers travaux de recherche montrent que les performances des agents IA progressent rapidement, mais restent loin d’une fiabilité parfaite. Les erreurs s’accumulent particulièrement dans les workflows complexes impliquant de nombreuses étapes successives.
Plus une procédure comporte de décisions intermédiaires, plus le risque d’échec global augmente.
OpenAI reconnaît d’ailleurs que Record & Replay fonctionne principalement dans des environnements stables, où les étapes sont prévisibles et les critères de réussite clairement définis.
Les scénarios les plus adaptés incluent notamment :
- La création récurrente de rapports
- Le téléchargement de données
- La publication de contenus sur des plateformes connues
- Le traitement de tâches administratives répétitives.
À l’inverse, les opérations nécessitant un jugement humain, une gestion avancée des erreurs ou des interfaces très variables restent peu adaptées à une automatisation totalement autonome.
Une nouvelle façon de diffuser les savoir-faire en entreprise
L’aspect potentiellement le plus stratégique de Record & Replay dépasse la simple automatisation individuelle. En transformant une démonstration en compétence partageable, OpenAI introduit un nouveau modèle de transmission des connaissances au sein des organisations.
Un collaborateur peut enregistrer une procédure correctement configurée — création d’un ticket Jira, soumission d’une note de frais, extraction hebdomadaire d’indicateurs ou mise à jour d’un CRM — puis la diffuser à toute une équipe.
L’IA devient alors un vecteur de standardisation des processus internes, capable de reproduire des pratiques validées sans nécessiter de documentation complexe ni de formation spécifique.
Une vision de l’automatisation plus accessible
Avec Record & Replay, OpenAI ne cherche pas simplement à améliorer un outil existant. L’entreprise tente de supprimer l’une des principales barrières à l’automatisation : la nécessité de savoir expliquer précisément un processus à une machine.
Désormais, montrer pourrait devenir plus important qu’expliquer.
Cette évolution illustre une tendance de fond dans l’industrie de l’IA agentique : les modèles ne se contentent plus de répondre à des instructions, ils apprennent progressivement à partir de nos comportements et de nos habitudes de travail. Une transition qui pourrait profondément transformer la manière dont les entreprises conçoivent l’automatisation au cours des prochaines années.
