Estudiantes de primaria y secundaria realizarán pruebas adaptativas de inglés con inteligencia artificial

Recientemente, un grupo de asesores nacionales de inglés del Ministerio de Educación Pública tomaron la prueba en la Facultad de Letras de la UCR para familiarizarse con ella. Foto cortesía de Allen Quesada Pacheco.

Un avatar conversará en inglés con estudiantes de primaria y secundaria para determinar su nivel de dominio lingüístico en la oralidad de esta lengua en las próximas pruebas de monitoreo que aplicará la Universidad de Costa Rica en escuelas y colegios de las 27 Direcciones Regionales en las que se organiza el Ministerio de Educación Pública. Los exámenes se realizarán en las primeras tres semanas de agosto.

Además de la prueba oral también se evaluarán las destrezas de lectura y audición en inglés, las cuales utilizarán inteligencia artificial para que cada prueba se adapte al nivel de dominio de la persona. De esta manera, aunque la primera pregunta sea igual para toda la comunidad de estudiantes que realizará la prueba, la segunda ya será diferente, porque dependerá de la primera respuesta, y así sucesivamente. Esto quiere decir que todos los exámenes serán diferentes entre sí, con la ventaja de poder definir con un alto grado de certeza el nivel de dominio del idioma que tiene la persona en tan solo 30 minutos.

Esta experiencia la tendrán 10 000 estudiantes de secundaria pertenecientes a liceos experimentales bilingües, secciones bilingües de español-inglés, talleres de inglés para la conversación del Programa de Innovación Educativa y colegios de orientación tecnológica del sistema educativo costarricense. Asimismo, participarán 10 000 estudiantes de primaria en las habilidades de lectura y escucha, y 1 000 de ellos también lo harán en la destreza oral.

Stacy Peraza formó parte de un grupo de estudiantes que realizó estas pruebas el año pasado en Palmares de Alajuela. Ella opina que fue una experiencia bastante interesante y positiva. "Fue cómoda y profesional, cada segmento de la prueba se sintió real y muy bien elaborada. Antes de la prueba sentí ansias ya que era algo nuevo, pero al realizarla y ver cada instrucción sentí más tranquilidad e interés en estos programas. La retroalimentación personalizada fue muy útil y la experiencia, en general, se sintió bastante chiva. Me parece súper importante que cada vez estemos implementando métodos actualizados a la tecnología de hoy día." 

De acuerdo con Allen Quesada Pacheco, director de la Escuela de Lenguas Modernas, estas pruebas son parte de una donación que la Universidad de Costa Rica (UCR) le está haciendo al Ministerio de Educación Pública (MEP) para monitorear el dominio lingüístico de la población estudiantil de escuelas y colegios, tanto en inglés como en francés e italiano. En el caso del inglés, se aplicarán los exámenes a un 15 % del estudiantado, mientras que en francés e italiano se cubrirá a toda la población de secundaria que estudia estas lenguas.

Según Quesada, esta donación ronda los 300 millones de colones. Sin embargo, el valor comercial de estas pruebas puede alcanzar los 700 millones de colones, a razón de contratar una empresa privada para efectuarlas. Otras ventajas que señala el director de la Escuela de Lenguas Modernas es que las pruebas de la UCR arrojan resultados inmediatos, están adaptadas al contexto costarricense, están diseñadas a partir de los programas del MEP, cuentan con personal y recursos locales que atienden todo el país y permiten ver los avances de cada estudiante en tiempo real a la hora de efectuar las pruebas.

Adicionalmente, las pruebas que aplica la UCR no solo ubican a la persona en un nivel del Marco Común Europeo de Referencia para las Lenguas, sino que también le brinda insumos para mejorar y le dice cuáles son sus puntos débiles. También le indica al cuerpo docente de qué manera pueden utilizarse los resultados en el aula, para potenciar las fortalezas y superar las debilidades.

Por su parte, las pruebas de francés e italiano tendrán diferentes niveles de dificultad y serán en línea. Ambas consistirán en 50 ítems para la parte de escucha y otros 50 ítems para la parte de lectura. Para Quesada, este monitoreo en todo el país pondrá a prueba el proyecto del MEP para mejorar la conectividad y ampliar la red de Internet de los centros educativos.

“La experiencia de trabajar con el MEP del 2019 al 2022, de conocer las debilidades en las diferentes regiones, ha hecho que la UCR tenga una madurez y una experiencia de aplicación de una prueba en contextos diferentes, donde hay poca conectividad, donde hay pocas computadoras. Aunado a esto, nosotros no solo aplicamos la prueba, sino que le damos a los estudiantes un test o una práctica, un mes antes, para que se familiaricen con la plataforma y con los tipos de ítems.

“No es que van a llegar a ciegas, desconociendo la prueba. Esa es otra de las grandes fortalezas de la aplicación nuestra, donde hacemos una sensibilización a nivel de puestos en el MEP, desde el ministro, los viceministros, los asesores nacionales, los asesores regionales, los directores, los profesores de inglés y el personal técnico. Es un valor agregado a la prueba misma y a los resultados”, destacó Quesada.

Captura de pantalla de uno de los avatares que dirigen la prueba oral en inglés.

La tecnología que se usará en el examen oral de inglés es gracias a una alianza público-privada con la empresa Speechace, especialista en el tema de la inteligencia artificial, mientras que el aporte de la UCR ha consistido en calibrar los algoritmos y contextualizar la prueba al país y a la región. Según explica Quesada, la calibración ya alcanzó el 90 % de aproximación, lo cual equipara al algoritmo con evaluadores humanos, con la diferencia de que el sistema podrá evaluar de forma consistente y precisa a todos los estudiantes, sin cansarse y de manera inmediata.

Quesada resalta que las pruebas adaptativas logran determinar con un alto grado de certeza el nivel de dominio lingüístico en tan solo 30 minutos, en comparación con los viejos métodos de evaluación, los cuales requerían que la persona dedicara una hora para la parte de escucha y otra más para la parte de lectura.

“De acuerdo con mi desempeño, la prueba va aprendiendo de mí y de mis habilidades con el idioma. Ya con 10 o 15 ítems, el algoritmo ya sabe cuál es su nota final, como si usted hubiera hecho los 50 ítems de una prueba normal. En el camino se va ajustando, va aprendiendo cuál es su desempeño. De esta manera, la persona se enfrentará únicamente a ítems de su nivel lingüístico. Eso evita frustraciones”, subrayó Quesada.

Transcendencia internacional

Tanto las pruebas adaptativas para evaluar la lectura y la audición como la prueba para medir el dominio oral de un idioma utilizando inteligencia artificial, ha llamado la atención de varios países de la región y ya los Ministerios de Educación de Panamá, Honduras, Nicaragua y Colombia se han contactado con las autoridades de la Escuela de Lenguas Modernas para replicar la experiencia de los monitoreos a gran escala que se están desarrollando en Costa Rica.

“Estamos creando un precedente de evaluación de un segundo idioma estandarizado, donde compañías extranjeras eran las que lideraban o están liderando la evaluación en el mundo. Son compañías de muchos años de experiencia, que tienen esta misma tecnología, pero el diferenciador es que nuestras pruebas son contextualizadas al país, a la región y al hemisferio. Eso es un diferenciador muy importante y la gente lo está notando, lo está apreciando”, señaló Quesada.

Estos avances de Costa Rica en materia de evaluación de idiomas extranjeros fueron reconocidos en la VIII Conferencia Internacional de Evaluadores de Idiomas en Europa, donde se aseguró que el país está a la vanguardia en todo el continente. Así lo manifestó el equipo de las Pruebas PISA de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), el cual le aseguró a Walter Araya Garita, coordinador del Programa de Evaluación en Lenguas Extranjeras de la Escuela de Lenguas Modernas, que las pruebas de la UCR son mejores que las que PISA empezará a aplicar en el 2025.