Comment être certain qu’une réponse attribuée à un modèle d’intelligence artificielle provient réellement de celui-ci ? Anthropic souhaite apporter une réponse à cette question avec FlashProve, un système de vérification cryptographique conçu pour prouver qu’une sortie a bien été produite par un modèle spécifique.
Encore au stade de la recherche, cette technologie pourrait contribuer à renforcer la transparence des services d’IA, notamment face aux risques de substitution discrète de modèles.
Présenté dans une publication de recherche mardi, FlashProve repose sur le principe de la « provable inference », ou inférence vérifiable. L’idée est de fournir une preuve mathématique permettant de confirmer l’origine d’une réponse, plutôt que de simplement faire confiance aux déclarations du fournisseur.
Une preuve cryptographique pour identifier le modèle utilisé
Anthropic compare le fonctionnement envisagé à celui des signatures cryptographiques utilisées pour authentifier les e-mails. Ces mécanismes permettent de vérifier qu’un message provient bien de l’expéditeur annoncé. FlashProve cherche à appliquer une logique similaire aux réponses générées par les modèles d’IA.
L’objectif est notamment de rendre beaucoup plus difficile l’usurpation de l’identité d’un modèle. Un fournisseur ne pourrait ainsi pas aussi facilement présenter la réponse d’un modèle comme celle d’un autre, y compris lorsque la tentative de substitution provient de l’entreprise qui développe et exploite elle-même le système.
Les chercheurs identifient plusieurs situations dans lesquelles cette garantie pourrait être utile. Une entreprise pourrait, par exemple, remplacer discrètement un modèle avancé par une version moins coûteuse pour réduire ses dépenses, tout en continuant à présenter le service comme reposant sur le modèle initial. À l’inverse, elle pourrait utiliser un modèle plus puissant pour améliorer artificiellement les résultats d’une évaluation.
Vérifier aussi les performances annoncées par des tiers
FlashProve pourrait également servir à contrôler les affirmations de prestataires ou d’organisations qui déclarent avoir utilisé un modèle particulier pour accomplir une tâche.
Anthropic cite notamment le cas d’une bibliothèque logicielle dont l’analyse de sécurité aurait été réalisée par un modèle spécialisé de pointe. Une entreprise pourrait également affirmer que son plan d’affaires a été validé par un modèle suffisamment avancé. Dans les deux situations, un utilisateur devrait pouvoir vérifier que le modèle annoncé a réellement été utilisé.
Cette approche pourrait donc avoir des applications dans les domaines de la cybersécurité, de l’audit, de l’évaluation des systèmes d’IA et de la conformité. Elle permettrait de distinguer une affirmation commerciale d’une utilisation effectivement démontrable.
Des empreintes numériques sans dévoiler les modèles
Pour fonctionner, FlashProve nécessite que les laboratoires publient une empreinte numérique propre à chaque modèle qu’ils mettent à disposition. Cette empreinte peut ensuite être associée aux sorties générées et utilisée dans le processus de vérification cryptographique.
Un point important concerne la confidentialité de la propriété intellectuelle. Ces empreintes ne révèlent pas les poids du modèle, c’est-à-dire les paramètres numériques qui déterminent son comportement. Les entreprises pourraient donc participer au système sans rendre publics les éléments les plus sensibles de leurs modèles propriétaires.
Cette caractéristique est particulièrement importante pour des acteurs comme Anthropic et OpenAI, qui commercialisent des modèles dont les poids ne sont pas accessibles au public. FlashProve est ainsi conçu pour pouvoir fonctionner avec des modèles propriétaires, et pas uniquement avec des modèles open source.
Les chercheurs indiquent également que le système doit rester suffisamment léger pour que la vérification puisse être réalisée directement sur un appareil local. Cela pourrait éviter de dépendre systématiquement d’un service distant pour contrôler l’authenticité d’une réponse.
Le code et la spécification sont disponibles sur GitHub
Anthropic accompagne cette annonce d’une spécification technique détaillée et de code permettant de mettre en œuvre différents éléments du système. Le projet est publié sous licence open source sur GitHub, afin que d’autres chercheurs et développeurs puissent l’étudier, l’expérimenter et contribuer à son amélioration.
Cette ouverture ne signifie toutefois pas que FlashProve est prêt à être déployé dans les services commerciaux. Anthropic précise qu’il s’agit d’un travail de recherche en cours et qu’aucun déploiement n’est actuellement prévu, ni chez l’entreprise ni dans un autre laboratoire.
Les chercheurs présentent explicitement cette publication comme une étape intermédiaire, destinée à encourager la communauté à examiner les travaux réalisés et à les faire évoluer.
FlashProve soulève ainsi une question fondamentale pour l’avenir de l’intelligence artificielle : comment vérifier non seulement ce qu’un modèle affirme, mais aussi qu’il est bien celui qui a réellement produit la réponse ? Si le système tient ses promesses, il pourrait devenir une brique intéressante pour renforcer la confiance dans les services d’IA. Mais son adoption dépendra de la participation des laboratoires et de la capacité de la communauté à valider son approche.
