La interpretación y atención visual de los niños con discapacidad auditiva cuando ven dibujos animados

Cristina Cambra, Aurora Leal y Núria Silvestre (Universitat Autònoma de Barcelona)

Traducción: VÍCTOR RUIZ

(“The interpretation and visual attention of hearing impaired children when watching a subtitled cartoon“. JoSTrans 20. Julio de 2013)

RESUMEN

Este artículo analiza cómo los niños con discapacidad auditiva interpretan dibujos animados subtitulados teniendo en cuenta su atención visual a ambas fuentes de información (las imágenes y los subtítulos) y la información auditiva del lenguaje oral. La muestra estaba formada por once niños, con edades comprendidas entre siete y once años (entre segundo y quinto curso de primaria), alumnos de colegios ordinarios de comunicación oral en Barcelona. Para el estudio se usaron unos dibujos animados en forma de cuento con subtítulos en catalán. También se analizó el movimiento ocular de los sujetos mientras veían la historia audiovisual usando un rastreador ocular o eye-tracker. Al terminar de verla se les pidió que volvieran a contar oralmente la historia de los dibujos animados. Los resultados demuestran la importancia en la interpretación correcta de la historia de tener tiempo para ver las imágenes. El eye-tracker muestra que los niños con discapacidad auditiva que participaron en el estudio mantuvieron la atención en los fotogramas con subtítulos, con la excepción de los participantes de segundo curso, con una capacidad lectora inferior, que no prestaron atención a los subtítulos hacia el final de los dibujos animados, cuando el conflicto de la historia ya se había resuelto.

PALABRAS CLAVE

Discapacidad auditiva, subtítulos, eye-tracker, dibujos animados, accesibilidad, televisión.

El subtitulado es una herramienta importante para las personas con discapacidad auditiva en tanto les ayuda a comprender los programas de televisión. A pesar de esto, el uso de subtítulos no siempre asegura la comprensión del mensaje de un programa, como demuestran los estudios llevados a cabo por Cambra et al. (2008, 2009), que exploran la contribución de los subtítulos a la comprensión de una breve historia televisada, presentada primero sin subtítulos y después con subtítulos a dos grupos de participantes con discapacidad auditiva de diferentes edades (un grupo de entre 12 y 19 años y otro de entre 6 y 7 años). Las autoras llegan a la conclusión de que el bajo nivel de comprensión, junto con la velocidad a la que leen los participantes y en comparación con la velocidad a la que aparecen los subtítulos, muestra que los estudiantes con discapacidad auditiva no siempre tienen tiempo suficiente para mirar la imagen y leer los subtítulos. Por lo tanto, en algunos casos, ignoran total o parcialmente los subtítulos mientras que en otros casos podrían perder la información proporcionada por la imagen. En un estudio llevado a cabo con sujetos con edades comprendidas entre los 28 y los 54 años, Jensema et al. (2000b) analizó cómo los subtítulos influyen en la forma en que los sujetos ven la televisión, y concluyó que la lectura de los subtítulos domina el movimiento ocular, mientras que mirar la acción tiende a ser secundario. Específicamente, con una muestra de 23 sujetos con discapacidad auditiva con edades comprendidas entre los 14 y los 61 años, Jensema et al. (2000a) demostró que el 84% del tiempo lo empleaban en leer subtítulos, mientras que solo el 14% del tiempo lo empleaban en ver las imágenes. El estudio de d’Ydewalle et al. (1991) con sujetos con capacidad auditiva a los que se les pidió que vieran un programa subtitulado demostró que ellos también pasaban una considerable cantidad de tiempo en la parte de la pantalla con los subtítulos, incluso teniendo la versión oral disponible en su lengua materna. Las autoras confirman los descubrimientos de Pezdek y Hartmann (1983) y Lorch et al. (1979), quienes subrayaron el predominio de la información visual y su procesado en lugar del procesado de la pista sonora en la comprensión de programas de televisión.

Cuando la audiencia está compuesta por niños con discapacidad auditiva que están aprendiendo a leer y escribir, la actividad de ver televisión con subtítulos es incluso más complicada, por diversas razones. Esto es cierto, primero porque su habilidad lectora es débil (Marschark et al. 2012), se cansan de seguir los subtítulos y, como consecuencia, dejan de mirarlos (Cambra et al. (2009) y, segundo, porque cuando ven televisión con subtítulos reciben muchos estímulos simultáneos, no solo visuales (imágenes y subtítulos) sino también auditivos (lenguaje oral y sonidos ambientales) que complican aún más la actividad. En otro estudio, d’Ydewalle y Rensbergen (1989) demostraron que los hábitos de lectura de los niños con discapacidades auditivas de segundo curso cuando veían un programa de televisión extranjero con subtítulos en su propio idioma no era metódico dado que aún no habían desarrollado completamente el hábito de leer subtítulos en televisión. Además, Koolstra et al. (1999) registró el movimiento ocular de niños de segundo, cuarto y sexto curso mientras veían un episodio de una serie de acción en una lengua extranjera subtitulado en su propio idioma y señaló que los niños de segundo se desanimaban por la poca duración de los subtítulos en pantalla hasta el punto de esforzarse poco por intentar seguirlos. En cambio, los niños de cuarto y sexto mostraron un patrón bastante similar al de los adultos. Al igual que con los adultos, el tiempo de lectura de los alumnos de cuarto y sexto parecía aumentar con la cantidad de caracteres en el subtítulo y, además, pasaban proporcionalmente más tiempo leyendo los subtítulos compuestos de dos líneas que aquellos con una línea.

Se han llevado a cabo varios estudios para determinar si la sordera altera la atención visual. Según Bavelier y Neville (2002), Bavelier et al. (2006) y Corina y Singleton (2009), la pérdida auditiva desencadena cambios en el proceso de atención y, sobre todo, en cómo se integra la información de múltiples sentidos. En el caso de individuos nacidos con sordera profunda, hay una redistribución de los recursos de atención hacia el campo visual periférico. Dicho de otra forma, mientras que la atención de las personas que sí oyen está en el centro del campo visual, las personas con discapacidad auditiva prestan más atención al campo visual periférico, lo que podría ser interpretado como un reflejo de cómo dirigen su atención. (Dye et al. 2007; Dye et al. 2008).

1. Objetivos

El estudio tiene los siguientes dos objetivos:

1. Analizar la interpretación de la historia de unos dibujos animados subtitulados: qué elementos ignora el sujeto y cuáles incluye en su explicación oral.
2. Analizar usando el eye-tracker la atención visual de los niños con discapacidad auditiva cuando ven dibujos animados subtitulados.

2. Método

2.1. Participantes

La muestra se compone de once niños sordos prelocutivos con pérdida auditiva profunda (siete niñas y cuatro niños) con edades comprendidas entre los siete y los once años (Media (M) = 8,72; Desviación tipo (DT) = 1,42) que estudiaban entre segundo y quinto de primaria. Gracias a las prótesis auditivas que llevaban (implantes cocleares o audífonos: ver tabla 1) consiguieron una mejora auditiva de entre 13 y 37 decibelios (M = 21,36; DT = 6,87). Las prótesis auditivas las llevaban desde, al menos, cuatro años.

Los participantes en el estudio eran niños sordos de padres oyentes. Asistían a colegios ordinarios en Barcelona con compañeros de clase sin esta discapacidad y su escolarización se realizaba en la lengua oral. En la escuela recibían atención personalizada de un logopeda. Ninguno de los sujetos usaba el lenguaje de signos para comunicarse ni tenían ninguna discapacidad asociada.

Los alumnos con discapacidad auditiva de este estudio estaban en segundo, tercero y quinto de primaria en una clase con compañeros oyentes (no hay alumnos con discapacidad auditiva en cuarto curso en ninguno de los tres colegios de la muestra).

En una entrevista de recopilación de información sobre los hábitos televisivos de los niños con discapacidad auditiva, con el fin de determinar la frecuencia con que veían televisión subtitulada, se observó que la mayoría de los niños con sordera de la muestra no veían programas de televisión con subtítulos (cinco de ellos no veían ningún programa subtitulado y tres solo lo hacían ocasionalmente). Además, dos de los niños que veían ocasionalmente programas de televisión subtitulados decían no leer los subtítulos porque eran demasiado rápidos; solo uno de los niños, de quinto curso, leía los subtítulos siempre que veía televisión.

2.2 Materiales

2.2.1 Capacidad de lectura

Se llevaron a cabo dos pruebas para evaluar la competencia lectora de los participantes: una prueba de comprensión lectora y otra de velocidad de lectura. Por otra parte, se usaron unos dibujos animados subtitulados para estudiar la interpretación que hacían los niños del contenido mediante el examen de la información que retenían tras ver los dibujos animados y analizar su atención visual.

La comprensión lectora y la velocidad de lectura se evaluaron a partir de una prueba española estandarizada (Canals 1989). Ambas pruebas constan de cinco niveles de dificultad, cada una de las cuales se corresponde con uno de los cursos de primaria. La prueba de comprensión lectora contiene ejercicios que requieren de los participantes ordenar frases, ejecutar órdenes o contestar preguntas tras leer un texto breve. Cada participante recibió la prueba correspondiente a su curso y, en caso de no superarla, se le entregó la prueba correspondiente a cursos anteriores sucesivamente hasta que consiguiera superarla y se determinara su nivel de comprensión lectora.

La prueba de velocidad lectora consistía en leer durante un minuto un fragmento de un texto del nivel correspondiente al curso de cada participante contando el número de palabras leídas por minuto (ppm). Es importante aclarar que, conforme a la prueba de velocidad de lectura, se esperaba que el estudiante medio de segundo curso leyera 62 ppm, por 85 ppm para los estudiantes de tercero y 111 ppm para los de quinto (ver Tabla 1).

2.2.2. Audiovisual

El guión de los dibujos animados usado en el estudio sigue una estructura narrativa que consta de una introducción de los personajes, comunicación de sus intenciones sobre lo que pretenden conseguir, conflicto, resolución del conflicto, consecuencia y final. La duración total de los dibujos animados, con subtítulos en catalán, es de 105 segundos y contienen 52 palabras subtituladas. Se eligieron estos dibujos animados porque la velocidad de los subtítulos era adecuada para niños de segundo curso en adelante.

El título del dibujo animado es El tesoro pirata. Los personajes, piratas navegando en un buque (introducción), quieren encontrar un cofre del tesoro que está lleno de juguetes (intención). Mientras navegan, se les advierte de que están a punto de chocar con una roca (conflicto). Para evitarlo, tienen que virar el barco (resolución del conflicto), pero una mala interpretación de las órdenes que un pirata da a otro hace que el barco choque contra la roca (consecuencia). Afortunadamente, todo termina siendo un sueño (fin).

En los dibujos animados, cierta información se puede deducir únicamente por las imágenes, como es el caso de la introducción, el conflicto y la consecuencia. Por el contrario, otro contenido como la intención, la resolución del conflicto y el final de la historia, necesita del uso de subtítulos para facilitar la plena comprensión.

La información que se puede deducir a partir de las imágenes es la introducción, el conflicto y la consecuencia de la historia. La información que se tiene que complementar leyendo los subtítulos es la intención de los personajes, la resolución del conflicto y el final.

2.3. Procedimiento

El mismo investigador recopiló la información de forma individual en los colegios de los participantes.

Mientras veían la historia audiovisual de los dibujos animados subtitulados, se analizó el movimiento ocular de los participantes usando un eye-tracker tras haber comprobado la calibración entre el ojo y la cámara.

Una vez vistos los dibujos animados, se pidió a los estudiantes que contaran oralmente lo que había pasado en la historia. Sus respuestas se grabaron en vídeo y se transcribieron para ser analizadas conforme a las secuencias narrativas anteriormente mencionadas. Dado que en el estudio analizamos las secuencias narrativas que incluían en sus respuestas, no consideramos la expresión lingüística como un factor relevante en nuestra evaluación.

3. Resultados

Los resultados se agruparon en dos secciones conforme a los objetivos del estudio. La primera sección representa los resultados de la interpretación que hicieron los sujetos del contenido de los dibujos animados y la segunda sección representa los resultados del análisis de su atención visual mientras veían el video.

Antes de presentar los resultados, es importante recordar que cuando los niños con discapacidad auditiva ven dibujos animados en televisión no pueden leer los labios. Es decir, tienen que deducir el contenido de los dibujos leyendo los subtítulos, escuchando y mirando las imágenes.

3.1. Interpretación de los dibujos animados El tesoro pirata

Basándonos en cómo los sujetos contaron la historia de El tesoro pirata, analizamos si sus explicaciones orales incluían alguna de las secuencias narrativas que aparecían en los dibujos animados: la introducción, la intención(que contiene dos informaciones distintas), el conflicto, la resolución del conflicto, la consecuencia y el final.

En términos generales, podemos decir que los participantes en la muestra comprendieron la historia que se contaba en el vídeo El tesoro pirata, aunque la información oral, que se transmitía visualmente (subtítulos) y oralmente (lenguaje) al mismo tiempo, planteaba las mayores dificultades.

Como se puede ver en la Figura 1, todos los participantes incluyeron, cuando volvieron a contar la historia, las secuencias que se pueden deducir únicamente por las imágenes (la introducción, el conflicto y la consecuencia). Sin embargo, fue más variada, aunque satisfactoria en su conjunto, la interpretación de las secuencias que requerían la lectura suplementaria de los subtítulos debido a que las imágenes y/o las señales auditivas no eran lo suficientemente explícitas. En concreto los alumnos de segundo curso, que demostraron los niveles más bajos de velocidad y comprensión lectora, fueron el grupo de participantes que encontró mayores dificultades. Las secuencias más difíciles de interpretar fueron principalmente las que, en la segunda parte, contenían información relativa a las intenciones de los personajes y a la resolución del conflicto. Las intenciones requerían retener dos piezas de información: (a) que los piratas estaban buscando un cofre del tesoro; y (b) que el cofre del tesoro estaba lleno de juguetes para compartir con sus amigos. Como puede verse, la primera parte de la intención, que era, de hecho, la más importante, gozó de más retentiva que la segunda. La resolución del conflicto también presentó dificultades ya que, en esta secuencia, se pidió a los sujetos que captaran una serie de malentendidos entre los personajes por lo que era, por tanto, más difícil de interpretar.

Figura 1. Interpretación de las secuencias de los dibujos animados basada en las imágenes o los subtítulos.

3.2. Atención visual al ver los dibujos animados subtitulados El Tesoro Pirata

Además de la interpretación de los participantes del contenido de los dibujos animados, también analizamos cómo miraban la pantalla y cuáles fueron los elementos visuales que más llamaron su atención.

El eye-tracker, que grabó el movimiento ocular de los niños mientras veían los dibujos animados, nos permitió ver hacia dónde se dirigía su mirada. Los resultados indican que los participantes en la muestra mantuvieron una atención progresiva en los fotogramas con subtítulos, a excepción de cuatro de los cinco sujetos de segundo curso (niños 2, 3, 4 y 5). Es decir, mientras que la mayoría de los estudiantes con discapacidad auditiva prestaron más atención a los fotogramas con subtítulos conforme avanzaba la historia, los alumnos de segundo curso antes mencionados no prestaron atención a los subtítulos desde el fotograma 3.500 en adelante, que es la secuencia en la que el conflicto se resuelve (ver Figura 2).

Figura 2. Atención visual a los fotogramas con subtítulos entre los alumnos de segundo curso.

Con el fin de ilustrar estos resultados, se muestra un ejemplo de los datos registrados con el eye-tracker (ver Figura 3) que revelan cómo, en la secuencia final de la historia El Tesoro Pirata, había sujetos (representados cada uno de ellos por un círculo de un color diferente) que no leían los subtítulos y, en su lugar, dirigían la atención a la imagen

Figura 3. Atención visual de los participantes en la muestra medida con el eye-tracker en la secuencia final de la historia.

Gracias al eye-tracker, se ha observado que los participantes con sordera prestan atención al movimiento de los labios de los personajes en los dibujos animados, a pesar de que no pueden leer los labios. Esto se debe, posiblemente, a que aunque no pueden leer sílabas en los labios, pueden leer los movimientos de la boca que indican que los personajes están hablando. Esto se puede ver en ambas secuencias con subtítulos (M = 174,09; DT = 66,57) y en las escenas sin subtítulos (M = 124,45; DT = 59,84). Sin embargo, los niños con mayor velocidad de lectura y un nivel más alto de comprensión lectora (niños 6, 7, 9 y 11) muestran una clara tendencia a mirar menos los labios de los personajes que los otros participantes (ver Figura 4).

Figura 4. Atención visual de los sujetos hacia los labios en una imagen con subtítulos del video, medida con el eye-tracker. Cada participante está representado por un círculo de diferente color.

4. Discusión de los resultados

A pesar de que los resultados de este estudio no se pueden generalizar debido al bajo número de participantes, nos permiten reflejar la efectividad de los subtítulos para los niños con discapacidad auditiva.

Los resultados revelan que los estudiantes con sordera obtienen una comprensión más completa de la historia cuando hay escenas sin subtítulos, ya que les da tiempo a ver las imágenes. Según muestran los datos, todas las secuencias que se pueden deducir de las imágenes se interpretaron correctamente, así como también la mayoría de los sujetos entendieron aquellas secuencias que requerían que se leyeran los subtítulos, aunque las interpretaciones fueron más inconsistentes. Los participantes en la muestra, con una excepción, tenían una velocidad de lectura suficiente para poder leer los subtítulos de los dibujos animados en el estudio. Sin embargo, hemos advertido que los alumnos de segundo curso tendían a dejar de fijar su atención en los subtítulos en la segunda mitad de los dibujos animados perdiendo así la información lingüística que no podía deducirse de las imágenes.

Estos resultados nos llevan a preguntarnos por qué los alumnos de segundo curso se cansaron de leer los subtítulos de los dibujos animados a pesar del hecho de que tenían una velocidad de lectura lo bastante alta para leerlos. Primero, debemos tener en cuenta que a esta edad las imágenes ejercen una poderosa atracción y son una fuente fácil de usar para averiguar el significado de la trama cuando los estudiantes aún no dominan la lectura. De la misma forma, hay que tener en cuenta que los participantes en la muestra no estaban acostumbrados a ver televisión con subtítulos, lo que significa que para ellos era una actividad extraña y compleja, compuesta por nuevos estímulos visuales en pantalla combinados simultáneamente con imágenes y lenguaje oral.

A partir de los resultados de este estudio, se deducen dos tipos conclusiones: algunas para los subtituladores y algunas para las familias con niños sordos.

Los subtituladores deberían tomar en consideración las características específicas de los espectadores con discapacidad auditiva, que son la audiencia principal de los dibujos animados subtitulados. Si el objetivo del servicio de subtitulado es ser útil para los niños con sordera, se debería tener en cuenta que ver programas de televisión con subtítulos requiere que los espectadores presten atención a varios estímulos visuales y auditivos simultáneamente lo cual es una tarea especialmente difícil para niños con discapacidad auditiva que aún están adquiriendo sus habilidades lectoras. Como resultado, los subtítulos se deberían usar en la historia de los dibujos animados solo cuando la información oral no pueda ser deducida a partir de las imágenes, reduciendo de esta forma la posibilidad de que los lectores dejen de leer los subtítulos debido al cansancio.

Del mismo modo, los padres de los niños con discapacidad auditiva deberían tener en cuenta la importancia de acostumbrar a sus hijos a ver televisión siempre con subtítulos y crearles el hábito de leer los subtítulos para darse cuenta de su importancia en la comprensión del contenido de los programas desde una temprana edad. Stewart y Clarke sugieren varias ideas fascinantes para empezar a usar los subtítulos de una forma educativa mientras los padres ven televisión junto a sus niños con discapacidad auditiva. Entre ellas incluyen detener la reproducción del vídeo en cualquier momento para discutir los contenidos así como las palabras y frases escritas en los subtítulos y aprovechar el contenido del programa para hablar de un tema y analizarlo, fomentando de esta manera el desarrollo del lenguaje (2003: 120–136).

Se debería hacer una investigación más a fondo con una muestra más amplia para obtener recomendaciones más específicas para la mejora de los subtítulos en programas de dibujos animados subtitulados para niños con discapacidad auditiva.

Bibliografía

• Bavelier, Daphne, Dye, Matthew and Peter Hauser (2006). “Do deaf individuals see better?” Trends in Cognitive Science 10, 512–518.
• Bavalier, Daphne and Helen Neville (2002). “Cross-modal plasticity: where and how?” Nat. Review Neuroscience 3, 443–452.
• Cambra, Cristina, Silvestre, Núria and Aurora Leal (2008). “Función de la subtitulación y la interpretación de la imagen en la comprensión de los mensajes televisivos: la comprensión de una serie por parte de los adolescentes sordos.” Cultura y Educación 20(1), 81–93.
• — (2009). “Comprehension of television messages by deaf students at various stagesof education.” American Annals of the Deaf 153(5), 425–434.
• Canals, Ramon (1989). Proves Psicopedagògiques d’Aprenentatges Instrumentals. Barcelona: Onda.
• Corina, David and Jenny Singleton (2009). “Developmental social cognitive neuroscience: Insights from deafness.” Child Development 80(4), 952–967.
• Dye, Matthew, Baril, Dara and Daphne Bavelier(2007). “Which aspects of visual attention are changed by deafness? The case of the attentional network test.” Neuropsychologia 45, 1801–1811.
• Dye, Matthew, Hauser, Peter and Daphne Bavelier(2008). “Visual attention in deaf children and adults.” Marc Marschark and Peter C. Hauser (ed.) (2008). Deaf cognition. Foundations and outcomes. New York: Oxford University Press, 250–263.
• d’Ydewalle, Géry and Johan Van Rensbergen(1989). “Developmental studies of text-picture interactions in the perception of animated cartoons with text.” Heinz Mandel and Joel R. Levin (eds) (1989). Knowledge acquisition from text and pictures. Amsterdam: North-Holland, 233–248.
• d’Ydewalle, Géry, Praet, Caoline, Verfaillie, Karl and Johan Rensergen(1991). “Watching subtiled television. Automatic reading behaviour.” Communication Research 18(5), 650–666.
• Jensema, Carl, Danturthi, Ramalinga and Robert Burch (2000a). “Time spent viewing captions on television programs.” American Annals of the Deaf 145(5), 464– 468.
• Jensema, Carl, Sharkawy, Sameh, Danturthi, Ramalinga, Burch, Robert and David Hsu (2000b). “Eye movement patterns of captioned television viewers.” American Annals of the Deaf 145(5), 275–285.
• Koolstra, Cees, Van der Voort, Tom, and Géry d’Ydewalle(1999). “Lengthening the presentation time of subtitles on television: effects on children’s reading time andrecognition.” Communications 24(4), 407–422.
• Lorch, Elizabeth, Anderson, Daniel and Stephen Levin (1979). “The relationship of visual attention to children’s comprehension of television.” Child Development 50, 722–727.
• Marschark, Marc, Bull, Rebecca, Sapere, Patricia, Nordmann, Emily, Skene, Wendy, Lukomski, Jennifer and Sarah Lumsden(2012). ”Do you see what I see? School perspectives of deaf children, hearing children and their parents.”European Journal of Special Needs Education 27(4), 483–497 http://dx.doi.org/10.1080/08856257.2012.719106 (consultado el 03.09.2012).
• Pezdek, Kathy and Erik Hartmann (1983). “Children’s television viewing: attention and comprehension of auditory versus visual information.” Child Development 54, 1015–1023.
• Stewart, David A. and Bryan R. Clarke (2003). Literacy and your deaf child. Washington: Gallaudet University Press

Biografías

Cristina Cambra es profesora del Departamento de Psicología de la Educación en la Universitat Autònoma de Barcelona. Es miembro del grupo de investigación de la sordera y problemas de adquisición del lenguaje (GISTAL). Su investigación actual trata sobre la comprensión de las personas sordas de los programas de televisión subtitulados y ha publicado algunos artículos en este área. Contacto: cristina.cambra@uab.cat.

Aurora Leal es profesora del Departamento de Psicología de la Educación en la Universitat Autònoma de Barcelona. Es miembro del grupo de investigación de la sordera y problemas de adquisición del lenguaje (GISTAL). Contacto: aurora.leal@uab.cat.

Núria Silvestre es catedrática del Departamento de Psicología de la Educación en la Universitat Autònoma de Barcelona. Es directora del grupo de investigación de la sordera y problemas de adquisición del lenguaje (GISTAL). Contacto:nuria.silvestre@uab.cat.

Notas

Este estudio se ha llevado a cabo gracias a la subvención concedida a las autoras por el Consell Audiovisual de Catalunya (CAC).