Los investigadores utilizaron IA para convertir los relojes inteligentes comunes en un dispositivo de medición precisa del movimiento de la mano

Nuevas relojes‑asistentes de la Universidad Cornell y KAIST

Los científicos de la Universidad Cornell (EEUU) y el Instituto Coreano de Tecnologías Avanzadas (KAIST) crearon el sistema WatchHand, que convierte los relojes inteligentes comunes en un rastreador completo del movimiento de la mano. El sistema utiliza solo el altavoz incorporado y el micrófono del reloj, sin requerir sensores externos.

Cómo funciona WatchHand
1. Señal acústica – el reloj emite ondas sonoras inaudibles.
2. Recepción de eco – el micrófono registra las señales reflejadas y forma un perfil de eco.
3. Procesamiento en el dispositivo – un algoritmo de aprendizaje automático que opera localmente convierte el perfil en coordenadas de la mano en tres ejes.

De esta manera, el sistema procesa los datos directamente en el reloj, lo que garantiza la confidencialidad y una latencia mínima.

Ventajas
IndicadorWatchHandSoluciones tradicionalesNo requiere sensores externos✔❌ (cámaras, sensores IMU)Adecuado para uso cotidiano✔❌Escalabilidad a millones de dispositivos✔❌Procesamiento local de datos✔❌

Pruebas
- Participantes – 40 personas.
- Datos – aproximadamente 36 horas de gestos recopilados en cuatro experimentos independientes.
- Plataformas – varios modelos de relojes inteligentes.
- Escenarios – distintas posiciones de la mano y condiciones ruidosas.

Los resultados mostraron un seguimiento fiable de los movimientos de los dedos y la rotación del muñón incluso en condiciones difíciles.

Perspectivas de aplicación
* Control de computadoras y aplicaciones mediante gestos.
* Interacción con sistemas AR/VR.
* Asistencia a personas con movilidad o habla limitada.

El estudiante de posgrado KAIST Jivan Kim señala: «Si el dispositivo tiene altavoz y micrófono, nuestro enfoque es aplicable».

Limitaciones y futuro
* Actualmente funciona solo en dispositivos Android.
* La precisión disminuye durante el movimiento del usuario (por ejemplo, al caminar).

El equipo está desarrollando activamente mejoras para escenarios móviles.

Los resultados de la investigación se presentarán en la conferencia ACM CHI 2026 sobre factor humano en sistemas computacionales.

Idea clave

El profesor asociado de la Universidad Cornell Cheng Zhang resumió: «WatchHand demuestra cómo una simple actualización de software puede convertir millones de relojes existentes en plataformas inteligentes para rastrear el comportamiento. Esto abre el camino a nuevas formas de interactuar con dispositivos digitales sin teclados ni ratones».