OpenAI annonce une nouvelle série de mesures destinées à lutter contre les contenus pédocriminels, notamment ceux générés par l’intelligence artificielle. L’entreprise prévoit notamment de déployer un classificateur d’images capable de détecter les contenus d’abus sexuels sur mineurs (CSAM), de renforcer les avertissements et les sanctions dans ChatGPT, et de proposer de nouveaux outils aux développeurs ainsi qu’aux forces de l’ordre.
Cette initiative intervient dans un contexte de préoccupations croissantes concernant les usages détournés des outils d’IA. Plusieurs plateformes ont déjà été impliquées dans des controverses liées à la création d’images sexualisées sans consentement, y compris lorsqu’elles représentent des mineurs.
Un classificateur pour détecter les images pédocriminelles
La principale nouveauté repose sur un classificateur d’images conçu pour identifier les contenus d’abus sexuels sur mineurs, y compris ceux générés artificiellement. OpenAI prévoit de donner gratuitement accès à cet outil, via son API, à certaines entreprises sélectionnées.
Le système analyse des images inédites à la recherche de signes visuels d’abus et leur attribue un score. Celui-ci doit fournir aux équipes de modération une indication pour orienter l’examen des contenus potentiellement illicites, sans se substituer à leur travail.
OpenAI indique avoir développé ce classificateur avec le National Center for Missing and Exploited Children (NCMEC). L’entreprise travaille également avec la Tech Coalition et ROOST afin de partager l’accès à cette technologie.
Les premiers essais menés avec des partenaires auraient donné des résultats encourageants. Selon OpenAI, le système permettrait de réduire de 48 % le nombre d’images signalées tout en détectant autant de contenus abusifs qu’auparavant. Les images remontées par le classificateur auraient également deux fois plus de chances de correspondre à des contenus pédocriminels, ce qui pourrait réduire la charge de travail des équipes chargées de leur examen.
Des avertissements et des suspensions temporaires dans ChatGPT
OpenAI renforce également les dispositifs de prévention directement dans ChatGPT. Lorsqu’un utilisateur soumet une requête visant à sexualiser des enfants, le service affichera désormais un avertissement et l’orientera vers des ressources spécialisées destinées à prévenir les comportements dangereux.

La plateforme pourra également suspendre temporairement le compte concerné pendant 24 heures. Cette mesure doit servir d’avertissement avant d’éventuelles sanctions plus lourdes. OpenAI précise que ChatGPT bloque déjà les contenus pédocriminels et les demandes qui y sont associées. En cas de récidives, l’entreprise pourra supprimer définitivement le compte.
Les messages et les recommandations associés à ces dispositifs ont été élaborés avec plusieurs organisations et chercheurs spécialisés, notamment Protect Children, la Lucy Faithfull Foundation et Joel Scanlan, de l’Université de Tasmanie. Ce dernier avait notamment évalué de manière indépendante un dispositif expérimental de messages dissuasifs destiné à réduire les recherches d’images sexuelles illégales impliquant des enfants.
De nouveaux outils pour les développeurs et les enquêteurs
Les mesures annoncées concernent également les développeurs qui utilisent les technologies d’OpenAI. L’entreprise publie de nouvelles recommandations pour les aider à prévenir et détecter les contenus pédocriminels, mais aussi à permettre aux utilisateurs de les signaler.
Selon OpenAI, les premiers tests de ces recommandations ont déjà incité plusieurs développeurs à adopter des outils de protection des mineurs et à s’inscrire auprès du NCMEC pour signaler les contenus concernés.
Les forces de l’ordre bénéficieront également de nouvelles fonctionnalités reposant sur l’IA. OpenAI prévoit notamment de leur proposer des modules complémentaires dédiés, des outils d’investigation et des capacités d’analyse de données complexes. L’accès à ces fonctionnalités sera administré par des responsables de programme.
L’entreprise prévoit enfin des formations destinées aux enquêteurs, accompagnées d’un guide pratique expliquant comment utiliser ces technologies dans le cadre de leurs missions.
Une réponse à des critiques croissantes sur la sécurité des IA
Ces annonces s’inscrivent dans un contexte difficile pour OpenAI. L’entreprise fait face à plusieurs procédures judiciaires dans lesquelles des familles mettent en cause le rôle de ChatGPT dans des situations ayant entraîné des préjudices, notamment chez des mineurs. L’organisation Common Sense Media, spécialisée dans la sécurité numérique des enfants, a également qualifié les technologies d’OpenAI de « risque inacceptable » pour les adolescents.
Le problème dépasse toutefois les seuls outils de l’entreprise. D’autres chatbots, notamment Grok, ont été utilisés pour produire des images sexualisées sans consentement, y compris à partir de photographies de mineurs.
OpenAI affirme avoir déjà fait évoluer ses dispositifs de protection au cours des douze derniers mois. L’entreprise a notamment publié un nouveau cadre de sécurité consacré à l’exploitation sexuelle des enfants, renforcé ses règles de modération, ajusté ses modèles pour limiter la génération de contenus dangereux et lancé une version de ChatGPT spécifiquement destinée aux adolescents.
Avec ces nouveaux outils, OpenAI cherche à intervenir à plusieurs niveaux : identifier les images suspectes, dissuader les comportements à risque, accompagner les développeurs et soutenir les enquêtes. L’efficacité de cette stratégie dépendra désormais de ses résultats en conditions réelles et de sa capacité à limiter durablement les usages abusifs de l’intelligence artificielle.