Human Pose Analysis and Gesture Recognition from Depth Maps: Methods and Applications

Autor/a

Reyes Estany, Miguel

Director/a

Escalera Guerrero, Sergi

Fecha de defensa

2017-02-27

Páginas

112 p.



Departamento/Instituto

Universitat de Barcelona. Departament de Matemàtica Aplicada i Anàlisi

Resumen

The visual analysis of humans is one of the most active research topics in Computer Vision. Several approaches for body pose recovery have been recently presented, allowing for better generalization of gesture recognition systems. The evaluation of human behaviour patterns in different environments has been a problem studied in social and cognitive sciences, but now it is raised as a challenging approach to computer science because of the complexity of data extraction and its analysis. The main difficulties of visual analysis in n RGB data is the discrimination of shapes, textures, background objects, changes in lighting conditions and viewpoint. In contrast to common RGB images used in Computer Vision, range images provide additional information about the 3-D world, allowing to capture the depth information of each pixel in the image. Furthermore, the use of depth maps is of increasing interest after the advent of cheap multisensor devices based on structured light, or Time of Flight (ToF) technology. In this work we deal with the problem of analyzing human pose and motion in RGB-Depth images, and in particular: 1) human pose recovery, 2) hand pose description, and 3) gesture recognition. We will treated these three areas by using RGB-Depth data in order to take profit from visual representation and 3-D geometric information. Using both channels of information improves the efficiency of human pose and motion analysis methods. We also present efficient use of the proposed methods in real areas of application, such as eHealth and human computer interaction (HCI). Principal objectives are establish the viability of depth map usage in human hand and body pose estimation and, in other hand, for gesture recognition. The presented research is also applied on real high impact applications


El análisis visual de personas es uno de los temas de investigación más activos en Visión Computacional. Varios enfoques para la recuperación de la postura corporal se han presentado recientemente, que permiten una mejor generalización de los sistemas de reconocimiento de gestos. La evaluación de los patrones de comportamiento humano en diferentes ambientes ha sido un problema de estudio en las ciencias sociales y cognitivas, pero actualmente se presenta como un reto para las ciencias informáticas, dada la complejidad de la extracción de datos y su análisis. Entre las principales dificultades del análisis visual de los datos n RGB está la discriminación de las formas, texturas, objetos de fondo, cambios en las condiciones de iluminación y puntos de vista. En contraste con las imágenes RGB comunes utilizadas en Visión Computacional, imágenes de rango aportan información adicional sobre mundo 3-D, lo que permite capturar la información de profundidad de cada pixel en la imagen. Además, el uso de mapas de profundidad es de creciente interés después de la llegada de los dispositivos multisensor baratos basados en luz estructurada, o la tecnología de Tiempo de Vuelo (TOF, por sus siglas en inglés). En este trabajo analizaremos el problema de la postura y el movimiento humano en imágenes RGB con profundidad, y en particular: 1) la actitud humana de recuperación de la postura, 2) descripción de posiciones de la mano, y 3) el reconocimiento de gestos. Vamos a tratar estas tres áreas mediante el uso de los datos RGB-Profundos con el fin de sacar provecho de la representación visual y la información geométrica en 3-D. El uso de los dos canales de información mejora la eficiencia de los métodos de análisis de movimiento y postura humanos. También presentamos un uso eficiente de los métodos propuestos en campos de aplicación real, como la salud y la interacción persona-ordenador (HCI). Nuestros principales objetivos son establecer la viabilidad del uso de mapa de profundidad en la estimación de pose de la mano y el cuerpo humano y, por otro lado, para el reconocimiento de gestos. Adicionalmente se presenta el impacto de éstas en aplicaciones reales con alto impacto social.

Palabras clave

Cos humà; Cuerpo humano; Human body; Mà; Mano; Hand; Reconeixement de formes (Informàtica); Reconocimiento de formas (Informática); Pattern recognition systems; Visualització tridimensional; Sistemas de imágenes tridimensionales; Three-dimensional display systems; Interacció persona-ordinador; Interacción hombre-ordenador; Human-computer interaction

Materias

51 - Matemáticas

Área de conocimiento

Ciències Experimentals i Matemàtiques

Documentos

MRE_PhD_THESIS.pdf

16.07Mb

 

Derechos

ADVERTIMENT. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.

Este ítem aparece en la(s) siguiente(s) colección(ones)