Lors du MWC 2024, Qualcomm a enfin lancé son AI Hub pour proposer des expériences d’IA sur plusieurs appareils. Le fabricant de puces américain affirme que son moteur d’IA est suffisamment puissant pour offrir une informatique intelligente sur toutes les plateformes, des smartphones aux PC.
Qualcomm AI Hub dispose d’une bibliothèque de modèles d’IA entièrement optimisés que vous pouvez télécharger et exécuter localement sur votre appareil. Il prend également en charge de nombreux frameworks d’IA populaires tels que TensorFlow de Google et PyTorch de Meta AI, dans le cadre de Qualcomm AI Stack.
Qualcomm affirme que son AI Hub dispose de plus de 75 modèles d’IA optimisés et qu’il prend en charge l’inférence de l’IA jusqu’à 4x plus que la concurrence. Vous pouvez utiliser ces modèles d’IA pour diverses tâches, notamment la segmentation et la génération d’images, la génération de texte, l’amélioration de la luminosité, la super-résolution, la reconnaissance vocale, etc. En tandem, Qualcomm AI Hub peut alimenter des modèles d’IA multimodaux qui peuvent voir, entendre et parler localement.
Le géant des puces a indiqué qu’il pouvait faire fonctionner localement des modèles d’IA multimodale avec plus de 7 milliards de paramètres sur les appareils Android. Il peut faire fonctionner des modèles tels que LLaVa avec la prise en charge du texte, de la parole et de l’image. L’ensemble de la pile logicielle a été optimisé pour offrir les meilleures performances en matière d’IA tout en consommant un minimum d’énergie. Comme tout est fait localement, votre vie privée est préservée, et cela permet également de débloquer des expériences d’IA personnalisées.
Même sur les ordinateurs portables Windows équipés de la prochaine puce Snapdragon X Elite, vous pouvez saisir votre voix et l’IA peut raisonner avec le discours et générer des résultats en un rien de temps. Qualcomm a également utilisé une technique appelée LoRA (Low-Rank Adaptation) pour générer des images d’IA à l’aide de Stable Diffusion localement sur l’appareil. Il peut exécuter le modèle de diffusion stable avec 1B+ paramètres.
Qualcomm vs Intel : Performances NPU
Pour mieux prouver la puissance des capacités d’IA du Snapdragon X Elite, Qualcomm a effectué un test de génération d’images sur GIMP à l’aide du plugin Stable Diffusion. L’ordinateur portable équipé du Snapdragon X Elite a généré une image AI en seulement 7,25 secondes, contre 22,26 secondes pour le dernier processeur Intel Core UItra alimenté par une architecture x86.
Il est important de noter qu’Intel a lancé l’architecture Meteor Lake (qui alimente les CPU Core Ultra) avec différentes tuiles de calcul, dans lesquelles la tuile NPU (construite sur Intel 4 node) est conçue pour les tâches d’IA sur l’appareil. Malgré cela, le Snapdragon X Elite alimenté par ARM offre des performances d’IA 3x supérieures, en grande partie parce que son NPU peut effectuer 45 TOPS à lui seul. Et lorsqu’il est combiné avec le CPU, le GPU et le NPU, il permet d’atteindre des performances de calcul allant jusqu’à 75 TOPS.
Enfin, Qualcomm travaille également à la mise en place d’expériences d’IA hybride dans lesquelles les tâches de traitement de l’IA sont réparties entre les ressources de calcul locales et les ressources en nuage afin d’offrir de meilleures performances. Vous pouvez consulter le Qualcomm AI Hub ici.
La nouvelle course des smartphones
Cette initiative de Qualcomm, qui s’inscrit dans une démarche visant à démocratiser les capacités d’IA sur les dispositifs mobiles, pourrait remodeler l’utilisation quotidienne des smartphones, offrant des fonctionnalités jusqu’alors inédites en matière d’interaction et de création de contenu. La course à l’innovation dans le domaine de l’IA mobile ne fait que s’intensifier, Qualcomm et MediaTek menant le peloton avec des propositions toujours plus audacieuses.
L’impact de ces avancées sur des modèles spécifiques de smartphones, comme le Samsung Galaxy S24 Ultra, témoigne de l’intégration rapide de ces technologies d’IA dans les produits grand public. La capacité à étendre le cadre d’une image ou à générer des vidéos via l’IA ouvre de nouvelles perspectives en matière de création de contenu numérique, directement depuis notre poche.
