Markerless full-body human motion capture and combined motor action recognition for human-computer interaction

Résumé

Tradicionalmente las personas interactúan con los ordenadores mediante herramientas como el teclado y el ratón. Los ordenadores pueden detectar eventos provenientes de éstos, como pulsar y soltar botones por separado o combinados, o movimientos de ratón, y después reaccionar de acuerdo a la interpretación que se les asigne. Este procedimiento de comunicación ha sido empleado satisfactoriamente para un amplio número de aplicaciones. Sin embargo, este enfoque carece de la naturalidad de la comunicación humana cara a cara. Este proyecto de tesis presenta un método para la captura sin marcadores en tiempo real y la interpretación automática de movimientos humanos de cuerpo entero para la interacción persona-computador. Para la consecución de este objetivo se distinguen tres fases: (1) el seguimiento sin marcadores de cuantas más partes del cuerpo posibles, (2) la reconstrucción del esqueleto cinemático 3D que representa la postura del usuario a partir de dicho seguimiento, y (3) el reconocimiento de los patrones de movimiento con el objeto de hacer que el ordenador "entienda" la intención del usuario y después reaccione convenientemente. Estos tres procesos han de resolverse en tiempo real para así llegar a una interacción persona-computador aceptable. La primera fase puede ser resuelta mediante cámaras que enfoquen al usuario y algoritmos de visión artificial que extraigan y hagan el seguimiento de las características relevantes del usuario en las imágenes. Este proyecto propone un método que combina probabilidades de color y flujo óptico. La segunda requiere situar el esqueleto cinemático 3D en posturas biomecánicamente posibles y ajustadas a las partes del cuerpo detectadas, considerando las posturas anteriores para así obtener movimientos suaves. Este proyecto propone un método de cinemática inversa analítica-iterativa que sitúa las partes del cuerpo secuencialmente, desde el torso hasta los miembros superiores e inferiores, teniendo en cuenta tanto los límites biomecánicos como las colisiones más relevantes. Finalmente, la última fase requiere el análisis de los rasgos significativos del movimiento, para así interpretar patrones mediante técnicas de inteligencia artificial. Este proyecto propone un método para extraer automáticamente los gestos potenciales del flujo de datos y clasificarlos, permitiendo asimismo la ejecución de acciones combinadas.