Evaluating Students´evaluations of Professors
El artículo trabajado lleva por título “Evaluating Students’evaluations of professors” y ha sido extraído de la revista Economics of Education Review (41, pp: 71-88, 2014). Los autores del mismo son Michela Braga, Marco Paccagnella y Michele Pellizzari. En el siguiente enlace se facilita la descarga del documento.
http://www.sciencedirect.com/science/article/pii/S0272775714000417
Existe un debate general, dentro de los ámbitos de la educación superior, acerca de la validez o no que tiene la evaluación de profesores dentro de los centros universitarios y los métodos existentes para llevar a cabo dicha evaluación. En este caso, la investigación trabajada contrasta las medidas de efectividad de los profesores con las evaluaciones que los alumnos hacen de estos mismos profesores.
El documento plantea una hipótesis centrada en que los estudiantes evalúan a los profesores en función de lo útiles que hayan sido para ellos, supuesto que es apoyado por una evidencia adicional que expone que dichas evaluaciones responden también a las condiciones meteorológicas.
La investigación se lleva a cabo en la Universidad de Bocconi, una institución privada que ofrece programas de educación superior en Economía, Gestión de las políticas Públicas y Derecho. La selección del curso de 1998/1999 ocurre debido a que dicho curso es el único donde los estudiantes fueron asignados al azar a las diferentes clases. Para los investigadores este hecho se hacía fundamental. Esta selección al azar se realizó a través de un algoritmo aleatorio que asigna un identificador de clase para cada estudiante. Así mismo, la selección de los docentes también tuvo carácter aleatorio, llevándose a cabo en la primavera del año académico anterior, mucho antes de que se permitiera a los alumnos matricularse a fin de que estos no pudieran conocer las características de los alumnos previamente a la elección de los cursos. Así mismo, se intentaron evitar algunos efectos ambientales que pudieran suponer problemas en la eficacia de la enseñanza. Para ello las aulas fueron equipadas con los mismos equipos y la misma orientación espacial. Los estudiantes fueron obligados a tomar una secuencia fija de cursos durante los 4 años de estudios. Del mismo modo las clases que tuvieron que ser divididas en varios en grupos debido a la afluencia de matrícula que tuvieron fueron impartidas a través del mismo material y pasaron los mismos exámenes a todos los alumnos.
El trabajo evalúa el contenido de las evaluaciones de los estudiantes con respecto a sus profesores, contrastándolas con medidas objetivas de la eficacia de los docentes. Esas medidas se construyen a través de la comparación del rendimiento de los alumnos en cursos posteriores. Estos estudiantes fueron asignados en cada curso de forma aleatoria.
Los cuestionarios de evaluación se recogían en la última semana de cada período lectivo. La preguntas trataban aspectos relacionados con la experiencia docente, la claridad de las clases magistrales, el uso de los materiales en durante el curso o la disponibilidad de profesor.
En primer lugar, dentro del cronograma de la investigación se utiliza el desempeño del alumno para estimar las medidas de efectividad de los maestros, es decir, se comparan los resultados que los estudiantes han obtenido en las materia obligatorias en los cursos posteriores, teniendo en cuenta la clase de pertenencia y todo ello bajo el supuesto de que aquello alumnos que fueron enseñados por mejores profesores disfrutaron de mejores resultados en el futuro.
Las medidas de efectividad de los maestros se calculan en dos pasos. En el primer paso se estima la media condicional de las futuras notas de los estudiantes en cada clase y en el segundo el objetivo es purgar la α estimada a partir del efecto de otras características de la clase que pudieran afectar al desempeño de los estudiantes en cursos posteriores, pero que no son atribuibles a los propios profesores, es decir, factores tales como como el tamaño o la composición de la clase.
Resultados
• Las clases más grandes tienden a ser asociadas a peores resultados de aprendizaje
• Las clases con los estudiantes más capaces, tienen mejores desempeños
• Una alta concentración de estudiantes con altos ingresos parece ser perjudicial para el aprendizaje.
• Los rasgos individuales de los profesores explican menos de la décima parte de la variación en el rendimiento de los alumnos.
En segundo lugar, se lleva a cabo una relación entre las medidas de efectividad de la enseñanza obtenidas y las evaluaciones que los maestros reciben de sus estudiantes. Dos temas centrales de los cuestionarios: calidad de la enseñanza y claridad en las clases. Así mismo, se fijan también en la habilidad del maestro para generar interés por el tema, la logística (horario de clases, combinaciones de sesiones prácticas y conferencias tradicionales) del curso y la carga total del trabajo.
Resultados
• Los efectos de referencia de la clase se asocian negativamente con todos los elementos que consideramos, lo que sugiere que los maestros que son más eficaces en la promoción de conocimiento y aprendizajes rentables para el alumno en un futuro reciben evaluaciones peores por parte de sus estudiantes.
• Los profesores de las clases que están asociadas con las calificaciones más altas reciben mejores notas en las evaluaciones de los estudiantes.
• Estos resultados cuestionan claramente la validez de las evaluaciones de los profesores por parte de los alumnos como una medida de la calidad docente.
Conclusiones
Los estudiantes evalúan positivamente las clases en las que reciben altas calificaciones y negativamente a aquellas clases que están asociadas con altas calificaciones en los cursos posteriores, es decir, aquellas que supusieron un gran esfuerzo. Estos hallazgos empíricos cuestionan la idea de que los estudiantes observan la capacidad del profesor en el aula e informan de dicha capacidad en los cuestionarios de evaluación. Una interpretación más adecuada se basa en la opinión de que los buenos docentes son aquellos que requieren a sus estudiantes a hacer un esfuerzo; a los estudiantes esto no les gusta, sobre todo a los menos capaces, y se ve reflejado en sus evaluaciones. Esto arroja serias dudas sobre la validez de las evaluaciones de profesores llevadas a cabo por los alumnos como medidas de calidad de la enseñanza.
Víctor González López
