Audiovisual speech integration in Catalan-Spanish children with developmental language disorder

Abstract

Els infants amb trastorn del desenvolupament del llenguatge (TDL) presenten dificultats en la integració de pistes auditives i visuals, fet que pot afectar el reconeixement de paraules. Aquesta tesi investiga els patrons de mirada d’infants bilingües català-castellà amb TDL (5–14 anys) mitjançant el seu seguiment ocular en tres estudis experimentals. Els resultats mostren que els infants amb TDL fixen menys la mirada a la boca i als ulls del parlant i manifesten un rendiment inferior en tasques de reconeixement de paraules, especialment davant estímuls audiovisualment incongruents i condicions només auditives. Tanmateix, l’ús de parla hiperarticulada incrementa l’atenció a la boca i apropa els seus patrons d'atenció selectiva visual als dels infants amb desenvolupament típic. Es conclou que les dificultats d’integració audiovisual poden limitar la comprensió de la parla i que les pistes articulatòries salients poden afavorir-ne el processament. Això obre la porta a intervencions específiques basades en l’ús de pistes visuals potenciades.

Los niños y niñas con trastorno del desarrollo del lenguaje (TDL) presentan dificultades en la integración de pistas auditivas y visuales, lo que puede afectar al reconocimiento de palabras. Esta tesis investiga los patrones de mirada de niños y niñas bilingües catalán-castellano con TDL (5–14 años) mediante su seguimiento ocular en tres estudios experimentales. Los resultados muestran que el grupo con TDL fija menos la mirada en la boca y los ojos del hablante y manifiestan un rendimiento inferior en tareas de reconocimiento de palabras, especialmente ante estímulos audiovisualmente incongruentes y condiciones solo auditivas. Sin embargo, el uso de habla hiperarticulada incrementa la atención a la boca y aproxima sus patrones de atención selectiva visual a los del grupo con desarrollo típico. Se concluye que las dificultades de integración audiovisual pueden limitar la comprensión del habla y que las pistas articulatorias salientes pueden favorecer su procesamiento. Esto abre la puerta a intervenciones específicas basadas en el uso de pistas visuales potenciadas.

Children with developmental language disorder (DLD) exhibit difficulties in the integration of auditory and visual cues, which may affect word recognition. This thesis investigates the gaze patterns of Catalan-Spanish bilingual children with DLD (ages 5–14) through eye-tracking across three experimental studies. The results show that the DLD group fixates less on the speaker’s mouth and eyes and performs more poorly on word recognition tasks, particularly when exposed to audiovisually incongruent stimuli and auditory-only conditions. However, the use of hyperarticulated speech increases attention to the mouth and aligns their selective visual attention patterns more closely with those of typically developing peers. The findings suggest that audiovisual integration difficulties may hinder speech comprehension and that salient articulatory cues can facilitate processing. This opens the door to targeted interventions based on the use of enhanced visual speech cues.