La société de recherche en intelligence artificielle, OpenAI, a annoncé jeudi une nouvelle génération de modèles embedding, qui peuvent convertir le texte en une forme numérique pouvant être utilisée pour diverses tâches d’apprentissage automatique.
L’entreprise a également présenté de nouvelles versions de ses modèles GPT-4 Turbo et de modération, de nouveaux outils de gestion de l’utilisation des API, ainsi qu’une baisse du prix de son modèle GPT-3.5 Turbo.
Les embeddings sont des séquences de nombres qui représentent les concepts au sein d’un contenu tel que le langage naturel ou le code. Les embeddings permettent aux modèles d’apprentissage automatique et à d’autres algorithmes de comprendre les relations entre les contenus et d’effectuer des tâches telles que le regroupement ou la recherche. Ils alimentent des applications telles que la recherche de connaissances dans ChatGPT et l’API Assistants, ainsi que de nombreux outils de développement RAG (retrieval augmented generation).
OpenAI a déclaré que ses nouveaux modèles d’intégration, text-embedding-3-small et text-embedding-3-large, offrent de meilleures performances et un prix réduit par rapport au modèle de la précédente génération, text-embedding-ada-002. Les nouveaux modèles peuvent créer des embeddings avec jusqu’à 3072 dimensions, ce qui permet de capturer plus d’informations sémantiques et d’améliorer la précision des tâches en aval.
Selon l’entreprise, les nouveaux modèles ont permis d’augmenter le score moyen d’un benchmark couramment utilisé pour la recherche multilingue (MIRACL) de 31,4 % à 54,9 %, tandis que le score moyen d’un benchmark couramment utilisé pour les tâches en anglais (MTEB) est passé de 61,0 % à 64,6 %. Le prix de text-embedding-3-small a également été divisé par 5 par rapport à text-embedding-ada-002, ce qui rend son utilisation plus abordable pour les développeurs.
Amélioration de GPT-4 Turbo et GPT-3.5 Turbo
Launching improved GPT models in the API, as well better and cheaper embedding models (e.g. one model is 5x cheaper than our previous embedding models with stronger performance): https://t.co/rFlFLFFJ4e
— Greg Brockman (@gdb) January 25, 2024
L’entreprise a également mis à jour ses modèles GPT-4 Turbo et GPT-3.5 Turbo, qui sont de grands modèles multimodaux capables de comprendre et de générer du langage naturel ou du code. Les nouvelles versions des modèles sont dotées d’un meilleur suivi des instructions, d’un mode JSON, de sorties plus reproductibles et d’appels de fonctions parallèles. L’entreprise a également lancé une nouvelle version de contexte 16k de GPT-3.5 Turbo, qui peut traiter des entrées et des sorties plus longues que la version standard 4k.
En outre, l’entreprise a mis à jour son modèle de modération de texte, qui permet de détecter si un texte peut être sensible ou dangereux. La nouvelle version du modèle peut traiter davantage de langues et de domaines, et peut également fournir des explications sur ses prédictions.
L’entreprise a également proposé aux développeurs de nouveaux moyens de gérer les clés API et de comprendre l’utilisation des API. Les développeurs peuvent désormais créer plusieurs clés d’API avec des autorisations et des portées différentes, et surveiller leur utilisation et les détails de leur facturation sur le tableau de bord OpenAI. L’entreprise a également indiqué qu’elle allait bientôt réduire de 25 % le prix de son modèle GPT-3.5 Turbo, ce qui le rendra plus accessible aux développeurs pour la création d’applications.
OpenAI a déclaré que ces mises à jour s’inscrivent dans le cadre de ses efforts continus pour améliorer ses modèles et ses services, et pour les rendre plus utiles et plus abordables pour les développeurs et les clients. L’entreprise a également invité les développeurs à contribuer aux évaluations afin de l’aider à améliorer le modèle pour différents cas d’utilisation. L’entreprise a déclaré qu’elle continuerait à publier de nouveaux modèles, de nouvelles fonctionnalités et de nouveaux outils à l’avenir.
