Qu'est-ce que l'IA locale ?

L’IA locale (on parle aussi d’IA « embarquée » ou « on-device ») désigne un modèle d’intelligence artificielle qui tourne directement sur votre propre machine — PC, Mac, smartphone, mini-PC ou même Raspberry PiLe Raspberry Pi est un ordinateur monocarte britannique, né en 2012 pour rendre la programmation accessible à tous : aujourd'hui de 4 à 305 dollars selon le modèle, il sert aussi bien à apprendre le code qu'à faire tourner un serveur personnel, une borne industrielle ou, depuis peu, de petits modèles d'IA entièrement hors ligne. Lire la fiche — au lieu d’être interrogé sur les serveurs d’un fournisseur comme ChatGPT ou Google Gemini. Les requêtes et les documents ne quittent pas l’appareil, et l’assistant continue de répondre sans connexion : Google a ainsi présenté avec Gemma Translator un traducteur vocal entièrement hors ligne, bâti sur un Raspberry Pi 5.

Trois briques suffisent. D’abord un modèle « open-weight », dont les poids se téléchargent librement : Gemma 4 de Google, Qwen3.5 d’Alibaba, gpt-oss-20b d’OpenAI, Muse Glimmer de Meta ou les versions distillées de DeepSeek R1. Ensuite un logiciel qui l’exécute : Ollama, en ligne de commande et, depuis la version 0.10, avec une application de bureau officielle ; LM Studio, une interface de chat qui sait aussi fonctionner comme serveur sans interface ; ou encore KoboldCpp. Enfin un appareil doté d’assez de mémoire.

La mémoire est en effet le vrai plafond. Un modèle doit tenir en RAM ou en VRAM : Google annonce 16 Go pour Gemma 4 12B, et gpt-oss-20b réclame 16 Go de VRAM. Pour réduire cette empreinte, on « quantifie » le modèle : selon Meta, Muse Glimmer (30 milliards de paramètres) dépasserait 55 Go en pleine précision mais passe sous les 20 Go en 4 bits. Les Mac profitent de leur mémoire unifiée — Ollama a ajouté en préversion le framework MLX d’Apple, réservé aux Apple Silicon avec au moins 32 Go — et la vitesse progresse : les MTP drafters de Gemma 4 promettent jusqu’à trois fois plus de tokens générés selon le matériel.

En 2026, l’IA locale sort de sa niche d’initiés. Elle se glisse dans les systèmes — Chrome peut télécharger un modèle Gemini Nano de 4 Go, Apple ouvre son modèle embarqué aux apps iOS, Windows ML répartit le travail entre GPU, NPU et CPU — et elle pèse sur le matériel : Apple a reconnu plusieurs mois de pénurie sur les Mac mini et Mac Studio, prisés pour cet usage. Le modèle de référence devient souvent hybride : Perplexity garde les données sensibles sur la machine et envoie le raisonnement lourd vers le cloud, tandis qu’Apple (Private Cloud Compute) et Google (Private AI Compute) prolongent dans leurs serveurs la confidentialité de l’appareil.

Microsoft, lui, fait de l’IA locale le thème de son événement Windows du 7 octobre.