Et si votre Apple Watch pouvait reconnaître des gestes personnalisés sans toucher l’écran ni prononcer une commande vocale ? Comme le rapporte Digital Trends, les chercheurs de la Northwestern University et de la Carnegie Mellon University ont développé TransfHAR, un système capable d’apprendre de nouveaux mouvements à partir des données de l’accéléromètre et du gyroscope de la montre. Les résultats sont prometteurs : quelques dizaines de secondes d’entraînement suffisent à reconnaître des activités inédites avec une précision proche de 90 %.
Apple propose déjà quelques interactions gestuelles sur ses montres, notamment le Double Tap et le mouvement du poignet. Mais ces possibilités restent limitées. TransfHAR explore une approche beaucoup plus ambitieuse : permettre à la montre d’apprendre les mouvements répétitifs de son propriétaire, puis de les reconnaître pour déclencher des actions personnalisées.
TransfHAR transforme les mouvements du poignet en commandes
Le principe consiste à exploiter les capteurs de mouvement déjà présents dans l’Apple Watch. L’accéléromètre et le gyroscope enregistrent les déplacements et les rotations du poignet, tandis qu’un modèle d’apprentissage automatique analyse ces données pour identifier des activités spécifiques.
Pour évaluer leur approche, les chercheurs ont demandé à dix participants de choisir chacun sept activités. Les exemples retenus sont volontairement très quotidiens : remuer un café, dessiner un cœur dans l’air, appliquer du gel hydroalcoolique, ouvrir une bouteille de Gatorade, nouer un lacet ou encore se limer les ongles.
L’intérêt de cette méthode est de ne pas dépendre d’une intégration développée spécialement pour chaque application. La montre apprend directement les mouvements associés à une activité et peut ensuite les reconnaître. Un geste pourrait ainsi devenir une nouvelle forme de commande, sans interaction tactile ni commande vocale.
Un modèle entraîné sur près de 2 760 heures de données
Le système TransfHAR s’appuie sur un modèle préalablement entraîné à partir d’environ 2 760 heures de données publiques de mouvements du poignet, recueillies auprès de 381 personnes. La majorité de ces données concernait des activités générales comme la position assise, la marche ou l’exercice physique.
Les chercheurs ont ensuite utilisé une Apple Watch Series 10 pour enregistrer les mouvements des participants pendant leurs activités choisies. Le modèle devait alors apprendre à distinguer ces nouveaux gestes à partir de très peu d’exemples.
Un élément intéressant concerne l’origine de son architecture. L’un des membres de l’équipe est chercheur chez Google, et le modèle central de TransfHAR est adapté de LSM-2, un modèle de capteurs portables développé par des chercheurs de Google. Cette approche pourrait donc, à terme, dépasser l’écosystème Apple et être adaptée aux montres Wear OS, qui disposent elles aussi d’accéléromètres et de gyroscopes.
Jusqu’à 90 % de précision avec une minute d’apprentissage
Les résultats constituent la partie la plus remarquable de l’étude. TransfHAR a réussi à reconnaître sept nouvelles activités avec une précision de 90 % après seulement une minute de données enregistrées pour chacune d’elles.
Les chercheurs ont également mesuré les performances avec des séquences beaucoup plus courtes. Avec un seul extrait de 2,56 secondes par activité, le système atteint une précision équilibrée de 75,2 %. En utilisant cinq séquences, soit environ 13 secondes de données, ce chiffre monte à 86,7 %. Avec 20 séquences, représentant environ 51 secondes, la précision équilibrée atteint 89,3 %.
<text weight= »medium » color= »default »>Les résultats selon la durée d’entraînement</text>
| Données enregistrées par activité | Précision équilibrée |
|---|---|
| 2,56 secondes | 75,2 % |
| 13 secondes | 86,7 % |
| 51 secondes | 89,3 % |
| Environ 1 minute | 90 % |
Autre point important : les opérations sont réalisées directement sur la montre. L’entraînement d’un nouveau modèle d’activités prend moins d’une seconde, tandis qu’une prédiction demande environ 24 millisecondes. Aucun iPhone associé ni serveur distant n’est nécessaire pour effectuer ces traitements.
Le système peut également continuer à intégrer de nouvelles activités. Lors d’un test regroupant 70 mouvements dans un modèle unique, la précision est restée supérieure à 82 %. Cela ouvre la voie à une reconnaissance gestuelle plus personnalisée, capable de s’enrichir progressivement avec les habitudes de chaque utilisateur.
Des gestes personnalisés pour automatiser le quotidien
Les applications potentielles sont nombreuses. Un mouvement de préparation du café pourrait, par exemple, déclencher la lecture d’une musique relaxante sur un smartphone connecté, afficher le suivi quotidien de la consommation de caféine ou lancer une autre action définie par l’utilisateur.
Dans le domaine du sport, la reconnaissance des mouvements associés aux curls biceps pourrait automatiquement démarrer l’enregistrement d’une séance, lancer une playlist ou ouvrir un tableau de bord dédié. Les gestes deviendraient ainsi des raccourcis contextuels, sans qu’il soit nécessaire de manipuler la montre.
Les chercheurs évoquent également des applications médicales, notamment pour mesurer passivement certains symptômes comme les tremblements ou l’hyperactivité. Dans l’industrie, la reconnaissance des mouvements pourrait aider à suivre les différentes étapes d’un processus d’assemblage.
La domotique constitue une autre piste intéressante. Un geste appris pourrait déclencher une automatisation dans la maison, sans passer par un assistant vocal ou un bouton. L’Apple Watch pourrait ainsi devenir une interface de commande beaucoup plus discrète et personnalisable.
Des limites à surmonter avant une utilisation généralisée
TransfHAR n’est toutefois pas capable de distinguer parfaitement tous les mouvements. Le système rencontre notamment des difficultés avec les gestes de faible amplitude et les mouvements prolongés, comme écrire, faire défiler du contenu sur un smartphone ou appliquer une lotion. Ces activités produisent des signaux suffisamment similaires pour compliquer leur classification.
Les routines composées de plusieurs étapes posent également problème. Distinguer les différentes phases de préparation d’un café latte, par exemple, reste plus complexe que reconnaître un mouvement répétitif isolé.
Enfin, l’étude a été menée dans un environnement contrôlé et sur un nombre limité de participants. Les chercheurs n’ont pas non plus mesuré l’impact de ces traitements sur l’autonomie de la montre. Il faudra donc davantage de travaux pour savoir si cette approche peut fonctionner de manière fiable dans des conditions réelles et sur une grande variété d’utilisateurs.
TransfHAR montre néanmoins que les capteurs déjà intégrés aux montres connectées peuvent offrir bien davantage que le suivi de l’activité physique. Si cette technologie devient accessible aux développeurs, elle pourrait transformer les gestes du quotidien en commandes personnalisées et faire de la montre un véritable outil d’automatisation contextuelle.
