Nuestras redes sociales

Algoritmo permite apoyar la construcción de preguntas de selección múltiple en pruebas

Inicio

  • SARI es el nombre del instrumento que detecta imperfecciones en la construcción de evaluaciones. El proyecto fue desarrollado por el Centro ANID CIAE, con el apoyo del DEMRE, la Agencia de la Calidad de Educación y el financiamiento de FONDEF.

La calidad de las preguntas de selección múltiple es un tema central en educación. Éstas se usan muy frecuentemente para evaluar el aprendizaje en pruebas de diverso tipo y sus consecuencias como, por ejemplo, en SIMCE o en los exámenes de admisión a la universidad. La construcción de las interrogantes toma un tiempo considerable y, a veces, los ítems presentan imperfecciones de construcción, que pueden afectar negativamente la medición. En este escenario, un equipo de investigadores del Centro CIAE, financiado por ANID, desarrolló una nueva herramienta tecnológica para el diseño de este modelo de evaluación.

SARI es la nueva herramienta que incorpora un algoritmo que es capaz de detectar fallas en la estructura en los planteamientos. Por ejemplo, un tipo de error en los ítems que detecta SARI, es que el enunciado presente demasiada información o, que una pista gramatical,  permita deducir a la opción correcta.

“Es importante que las pruebas midan lo que se quiere que midan. La literatura señala que hay fallas típicas que impiden que se logre este objetivo. Por eso, SARI identifica 24 tipos de imperfecciones. Las más frecuentes; señala qué parte puede ser editada y permite chequear que la nueva versión esté libre de imperfecciones. No es un reemplazo para quienes formulan las evaluaciones, sino un apoyo”, dice Pablo Dartnell, investigador del CIAE y director del proyecto. “SARI aporta con alertas a constructores y revisores de pruebas, para mejorar las preguntas. Así, permite enfocarse en el objetivo de medición”, añade Daniela Jiménez, jefa de área de instrumentos del DEMRE.

Para su construcción, el equipo de investigadores consolidó una planilla de 5471 categorías, las cuales fueron revisadas por dos expertos, de manera independiente, quienes después se reunieron a consensuarlos. SARI fue testeado por equipos del DEMRE y de la Agencia de Calidad de Educación, con estudios de utilidad y validación. El instrumento fue traspasado a ambas instituciones, para su implementación.

Según explica Carla Barrios, jefa del Departamento de la Calidad de la Educación de la misma Agencia, ya están trabajando para incorporar SARI en el banco de ítems de la institución, de manera que sea un instrumento que permita apoyar a quienes diseñan los ítems.

“Gracias a estos estudios de validación, pudimos destacar varios elementos de SARI: por ejemplo que, el algoritmo sea una máquina, es decir, lo que hace bien lo hará siempre; entrega una retroalimentación muy rápida; y es capaz de verificar los cambios realizados. En definitiva, permite asegurar la calidad de las preguntas, obtener ese estándar en un tiempo más reducido; y, en definitiva, ahorrar costos”, explica Severin Lion, investigador asociado al CIAE y director alterno del proyecto.

Fuente: CIAE

Comparte esta información
Ir al contenido Ayuda ANID