Et si votre montre connectée savait déjà suivre vos doigts, sans caméra ni capteur supplémentaire ? C’est précisément la promesse de WatchHand, un projet de recherche signé Cornell et KAIST, qui détourne le haut-parleur et le micro d’une smartwatch classique pour cartographier la main en 3D, en temps réel.
Une idée simple, mais redoutablement bien trouvée
WatchHand repose sur un principe presque élégant dans sa simplicité : la montre émet des ondes sonores inaudibles, celles-ci rebondissent sur la main, puis reviennent vers le microphone intégré.
Un modèle de deep learning analyse ensuite cet « écho » pour estimer la pose 3D de la main et de 20 articulations des doigts, directement sur la montre. Les chercheurs présentent d’ailleurs WatchHand comme le premier système continu de suivi 3D de la main sur smartwatch grand public, sans matériel additionnel.
C’est là que le projet devient vraiment intéressant : il ne s’agit pas d’un prototype exotique avec un bracelet spécial ou un module externe, mais d’une approche pensée pour du matériel déjà existant. Cornell explique que la technologie fonctionne avec des montres du commerce équipées d’un simple haut-parleur et d’un micro, ce qui ouvre potentiellement la voie à un déploiement logiciel sur des millions d’appareils.
Une smartwatch qui commence à comprendre vos gestes
Les usages imaginés sont très concrets. Les chercheurs évoquent le contrôle gestuel pour l’informatique du quotidien, comme déplacer un curseur, interagir avec une interface sans toucher un trackpad, ou utiliser la main comme périphérique d’entrée. Ils citent aussi des applications en réalité augmentée et virtuelle, ainsi que des usages d’assistance pour les personnes à mobilité ou parole limitées.
Le papier va même plus loin : l’équipe estime que cette base pourrait à terme servir à suivre la frappe, enrichir des interfaces portables ou permettre des interactions toujours disponibles, sans dépendre d’une caméra extérieure.
En clair, la montre ne serait plus seulement un écran secondaire au poignet, mais un capteur comportemental à part entière.
Des résultats déjà solides, avec des limites très réelles
WatchHand a été évalué sur 40 participants, dans quatre études totalisant environ 36 heures de données gestuelles. Les tests ont couvert plusieurs modèles de montres, différentes mains de port, diverses postures corporelles et des environnements bruyants. Dans ses essais inter-sessions avec remise en place de la montre, le système atteint une erreur moyenne par articulation de 7,87 mm.
Mais, tout n’est pas encore réglé. Le projet fonctionne pour l’instant sur des smartwatches Android, pas sur Apple Watch, et les performances chutent dans certains cas, notamment pour des utilisateurs ou gestes non vus pendant l’entraînement. Cornell note aussi que le système a plus de mal lorsque l’utilisateur marche.
Les chercheurs soulignent toutefois qu’un léger fine-tuning améliore l’adaptation sur de nouvelles situations.
Pourquoi ce projet compte vraiment
Le plus fort, dans WatchHand, n’est pas seulement la démo. C’est la philosophie du projet. Depuis quelques années, l’innovation wearable cherche souvent à ajouter du matériel : plus de capteurs, plus de caméras, plus de pièces. Ici, l’équipe fait l’inverse : elle réinterprète ce que la montre possède déjà.
Cette approche est stratégique. Si elle devient robuste en usage réel, elle pourrait transformer la smartwatch en interface gestuelle discrète, locale et plus respectueuse de la vie privée, puisque les données de pose sont traitées sur l’appareil lui-même, sans envoi obligatoire vers le cloud. Ce n’est pas encore un produit prêt pour le grand public, mais c’est exactement le genre de recherche qui montre où les wearables peuvent devenir beaucoup plus ambitieux que prévu.
