Et si les intelligences artificielles devenaient plus efficaces en apprenant à oublier ? C’est le principe de l’« oubli artificiel », une approche présentée autour des travaux de DeepSeek pour optimiser la gestion de grandes quantités d’informations. L’idée consiste à privilégier les données essentielles et à réduire la place occupée par les détails moins pertinents, afin de limiter les besoins en mémoire et en calcul.
Selon les éléments rapportés par Two Minute Papers, DeepSeek exploite notamment une technique de compression apprise qui transforme du texte en représentations visuelles. Cette méthode pourrait atteindre un taux de compression de 10 pour 1, tout en permettant de récupérer environ 96 % du texte original dans les conditions annoncées.
Cette approche vise un problème central du développement de l’IA : traiter des volumes toujours plus importants de documents sans faire exploser les coûts de stockage et de calcul. Elle comporte néanmoins une limite importante : à des niveaux de compression extrêmes, le système peut s’appuyer sur ses connaissances linguistiques pour reconstituer des passages manquants, au risque de produire un texte plausible, mais inexact.
L’oubli artificiel : apprendre à conserver l’essentiel
Les systèmes d’intelligence artificielle doivent souvent traiter des collections considérables de documents, qu’il s’agisse d’articles, de rapports, de livres ou de données destinées à l’entraînement de nouveaux modèles. Conserver toutes ces informations dans leur forme originale peut mobiliser d’importantes ressources informatiques.
L’oubli artificiel s’inspire du fonctionnement de la mémoire humaine : plutôt que de retenir chaque détail avec la même importance, le système privilégie les informations jugées essentielles et réduit la place accordée aux éléments moins utiles.
L’objectif n’est pas simplement de supprimer des données au hasard. Il s’agit d’organiser leur représentation de manière à conserver un maximum d’informations utiles tout en réduisant le volume à traiter. Cette logique peut être particulièrement intéressante pour les systèmes qui doivent exploiter de vastes ensembles documentaires.
Toutefois, il faut distinguer cette approche d’une mémoire parfaite. Dès lors que certaines informations sont écartées ou représentées de manière moins détaillée, leur récupération peut devenir imparfaite. L’efficacité du mécanisme dépend donc de sa capacité à préserver les éléments nécessaires à la tâche visée.
Une compression apprise pouvant atteindre un rapport de 10 pour 1
Au cœur de cette approche se trouve une technique de compression apprise qui convertit du texte en représentations visuelles, notamment sous forme d’images. Le système exploite ensuite des mécanismes de traitement visuel pour encoder et retrouver les informations.
Contrairement à une compression d’image classique comme JPEG, cette méthode est conçue pour les besoins des modèles d’intelligence artificielle. L’objectif n’est pas uniquement de produire un fichier plus petit, mais de conserver suffisamment d’informations pour permettre à un modèle de les exploiter ou de reconstituer le texte.
Les résultats rapportés font état d’une compression pouvant atteindre 10 fois la taille initiale, avec environ 96 % du texte récupéré. À un niveau de compression de 20 pour 1, le taux de précision annoncé descendrait à environ 60 %.
Ces chiffres illustrent le compromis entre réduction du volume et fidélité de reconstruction. Une compression plus agressive permet d’économiser davantage de ressources, mais augmente le risque de perdre des informations importantes.
Il convient également de garder à l’esprit que les pourcentages communiqués ne suffisent pas à évaluer la qualité de la méthode dans tous les contextes. La nature des documents, le protocole de mesure et la définition exacte de la précision influencent directement les résultats.
OCR et tokens visuels : comment le système reconstitue le texte
La technique s’appuie notamment sur la reconnaissance optique de caractères, ou OCR, et sur des représentations appelées vision tokens. Ces dernières permettent aux modèles de traiter des contenus visuels sous une forme adaptée à leur architecture.
Le système combine plusieurs mécanismes, dont l’attention locale par fenêtres, la compression convolutionnelle et le traitement visuel global. L’objectif est de réduire la quantité d’informations nécessaires à la représentation d’un document tout en conservant les éléments utiles à sa compréhension.
Cette combinaison peut faciliter le traitement de documents complexes ou riches en détails. Elle rapproche également les traitements textuels et visuels, puisque les informations sont encodées dans une représentation que le modèle peut analyser comme un contenu visuel.
Toutefois, la reconstruction du texte reste un point sensible. À mesure que la compression augmente, certaines informations peuvent disparaître de la représentation. Le modèle doit alors parfois s’appuyer sur le contexte et ses connaissances linguistiques pour compléter les éléments manquants.
Jusqu’à 200 000 pages traitées par jour sur un seul GPU
L’intérêt de cette approche dépasse la simple réduction de la taille des fichiers. Selon les chiffres rapportés, le système pourrait traiter jusqu’à 200 000 pages par jour sur un seul GPU.
Une telle capacité serait particulièrement utile pour la préparation de jeux de données destinés à l’entraînement de grands modèles de langage, ou LLM, ainsi que de modèles capables de traiter conjointement du texte et des images, les VLM.
La préparation des données constitue une étape importante du développement de l’IA. Les équipes doivent collecter, organiser et traiter des volumes importants de contenus avant de pouvoir les utiliser pour entraîner ou évaluer leurs modèles. Une compression efficace pourrait réduire les besoins en stockage et accélérer certaines opérations de traitement.
Le chiffre de 200 000 pages quotidiennes doit néanmoins être interprété avec prudence. Les informations disponibles ne précisent pas suffisamment les caractéristiques des documents, les paramètres de traitement, ni les conditions matérielles exactes pour en déduire des performances identiques sur tous les types de corpus.
Le risque de reconstruire une information qui n’existe plus
La principale limite de cette méthode apparaît lorsque le système doit reconstituer un texte fortement compressé. DeepSeek s’appuierait alors en partie sur les language priors, c’est-à-dire les régularités linguistiques et les connaissances acquises pendant l’entraînement du modèle.
Cette capacité peut aider à retrouver un passage lorsque le contexte permet de lever une ambiguïté. Mais elle présente aussi un risque : le modèle peut compléter une information manquante par une formulation cohérente sans que celle-ci corresponde exactement au document original.
La différence est importante pour les usages professionnels. Dans un article généraliste, une légère variation peut parfois rester acceptable. Dans un contrat, un dossier médical, un document juridique ou un jeu de données scientifique, la disparition d’un chiffre, d’une négation ou d’une référence peut modifier radicalement le sens.
Le taux de récupération annoncé ne doit donc pas être confondu avec une garantie d’exactitude pour chaque élément du document. Pour les données sensibles ou nécessitant une fidélité stricte, une vérification de la reconstruction reste indispensable.
Une piste pour rendre l’IA moins gourmande en ressources
L’approche de DeepSeek illustre une tendance importante : optimiser les systèmes d’IA ne consiste pas uniquement à augmenter la taille des modèles ou leur puissance de calcul. La manière de représenter, de conserver et de récupérer les informations peut également jouer un rôle déterminant.
En associant compression apprise, traitement visuel et sélection des informations, l’oubli artificiel pourrait aider à traiter de grands volumes de données à moindre coût. Son intérêt dépendra toutefois de la capacité à préserver les détails réellement nécessaires et à mesurer précisément les pertes provoquées par la compression.
Pour les chercheurs et les développeurs, le défi sera donc de trouver le bon équilibre entre efficacité et fidélité. Réduire la mémoire utilisée par une IA est utile, mais seulement si les informations qu’elle doit restituer restent fiables.
