Hacia una audiodescripción inmersiva. Estudio descriptivo, comparativo, multimodal y de recepción experimental sobre la objetividad y subjetividad en audiodescripción

Abstract

Esta tesis doctoral aborda la posibilidad de proporcionar una audiodescripción (AD) más inmersiva mediante la combinación de descripciones objetivas y subjetivas. Para ello, la investigación se articula en dos partes: una primera fase descriptiva y una segunda fase experimental. En la primera fase descriptiva se compila un corpus de AD para detallar qué sistemas de signos, modos o códigos de significación configuran los guiones audiodescriptivos (GAD). Según los primeros datos descriptivos, los GAD se componen de cuatro fuentes de información: el movimiento, la iconografía, los cambios espaciotemporales y los elementos gráficos. A partir de estos datos, la fase descriptiva busca también identificar si las AD del corpus son objetivas o subjetivas. Los resultados descriptivos indican que en las AD coexiste información objetiva y subjetiva. A continuación, en la fase experimental se busca, en primer lugar, analizar los patrones de atención de personas normovidentes mediante un dispositivo de seguimiento ocular o eye-tracker con el objetivo de proponer un GAD experimental alternativo. De acuerdo con los resultados, los sistemas de signos o códigos que detecta el eye-tracker son los mismos que los del corpus de AD. Sin embargo, parece existir un sesgo de atención sistemático: los cambios espaciotemporales son la fuente de información que más veces atrae la mirada de los participantes, seguida del movimiento, la iconografía, y, por último, los elementos textuales. Finalmente, la fase experimental utiliza un sensor de ritmo cardíaco con personas con deficiencias visuales para analizar la combinación de descripciones objetivas y subjetivas que resulta más inmersiva para los usuarios. A partir de los resultados obtenidos, se propone que una AD inmersiva es posible mediante la descripción objetiva de los elementos gráficos, la descripción subjetiva de los cambios espaciotemporales, y una descripción tanto objetiva como subjetiva del movimiento y la iconografía.

This doctoral thesis addresses the possibility of providing a more immersive audio description (AD) by combining objective and subjective descriptions. To this end, the research is structured into two parts: a first descriptive phase and a second experimental phase. In the first descriptive phase, an AD corpus is compiled to detail what sign systems, modes, or meaning codes configurate AD scripts. According to the initial descriptive data, AD mainly relies on four sources of information: movement, iconography, spatiotemporal changes, and graphic elements. Based on this data, the descriptive phase also aims to identify whether ADs are objective or subjective in the corpus. The descriptive results indicate that objectivity and subjectivity coexist in ADs. Subsequently, in the experimental phase, the first goal is to analyze sighted participants’ attention patterns recorded using an eye-tracking device in order to propose an alternative experimental AD script. According to the results, the sign systems or meaning codes detected by the eye-tracker are the same as those identified in the AD corpus. However, there appears to be a systematic attention bias: spatiotemporal changes attract participants’ gaze most frequently, followed by movement, iconography, and lastly, textual elements on screen. Finally, the experimental phase employs a heart rate sensor on partially sighted participants to analyze which combination of objective and subjective descriptions results in a more immersive experience for users. Based on the results, it is proposed that an immersive AD is possible through the objective description of graphic elements, the subjective description of spatiotemporal changes, and a combination of both objective and subjective descriptions of movement and iconography.