Validez de la prueba por diseño: un marco para la prueba TOEFL® Essentials™
2 de junio de 2021
¿Cómo puede un examen ser a la vez una medida válida y fiable de la competencia en inglés, a la vez que ofrecer a los examinados una experiencia cómoda y amigable para los estudiantes? Por diseño. El recientemente lanzado examen TOEFL® Essentials™ fue diseñado específicamente para ofrecer la combinación ideal: la calidad que las instituciones confían y el acceso asequible que buscan los examinados. Aunque ofrecer información válida y fiable no es un concepto nuevo, el examen recientemente publicado lo logra en un breve tiempo de realización, a un precio asequible, utilizando un formato pensado para ser amigable y atractivo para los examinados. Junto con el lanzamiento del nuevo examen llega una publicación de 50 páginas, Design Framework for the TOEFL® Essentials™ Test 2021 (PDF), que muestra el contenido del examen y sus procedimientos de puntuación y presenta una agenda de investigación detallada que apoya el uso de las puntuaciones.
Cómo el marco apoya la validez de las puntuaciones de los exámenes
El marco de diseño de la prueba se publica para mostrar a las instituciones que pueden confiar en la prueba TOEFL Essentials debido a su enfoque innovador en el diseño de la prueba. El diseño de la prueba TOEFL Essentials es el resultado de la colaboración entre investigadores en aprendizaje de idiomas, desarrolladores de contenidos, psicometristas y líderes orientados a los negocios de ETS dentro del programa TOEFL® . También se informó de aportaciones de extensas investigaciones de mercado, incluyendo cerca de 250 usuarios de puntuaciones de instituciones de Estados Unidos, Canadá y Reino Unido, y más de 7.000 examinados en todo el mundo.
La nueva prueba incluye tareas que fueron probadas en piloto con miles de participantes en todo el mundo y que cubren dos dimensiones clave de la competencia lingüística: aspectos fundamentales de la competencia lingüística y la capacidad comunicativa basada en tareas en contextos académicos y cotidianos. Al combinar estas dimensiones clave, la prueba TOEFL Essentials mide lo que los examinados pueden hacer cuando usan inglés, no solo su conocimiento del inglés. A diferencia de las tareas limitadas e inauténticas que se encuentran en otros exámenes de idiomas realizados desde casa, las tareas del test TOEFL Essentials están diseñadas para proporcionar información directa sobre el éxito que tendrán los examinados en el mundo real. Por ejemplo, los examinados deberán contribuir a una conversación centrada en lo académico o escribir a sus profesores y amigos.
Además de su enfoque en el diseño de pruebas, TOEFL Essentials también cuenta con una innovadora metodología de prueba adaptativa multietapa. Esta metodología permite una medición eficiente de la competencia lingüística, administrando las secciones de comprensión auditiva, lectura y escritura en dos partes para adaptarse mejor a la habilidad lingüística individual de los examinados. La primera parte contiene tareas de prueba de dificultad media, y las respuestas a esta parte determinan cuán difíciles serán las tareas de la segunda. A diferencia de las pruebas caseras que dependen de la adaptividad "sobre la marcha", la metodología adaptativa multietapa del test TOEFL Essentials nos permite realizar tareas de comunicación robustas, elaboradas para cada etapa por especialistas expertos en evaluación y dirigidas al nivel de competencia del examinado.
Un legado de investigación
El marco de diseño de la prueba describe numerosas razones por las que los usuarios pueden confiar en la prueba, además de sus pruebas de validez. Con procedimientos de seguridad completos, información transparente de las puntuaciones e inclusión de una Declaración Personal en Vídeo, estos elementos hacen que la prueba TOEFL Essentials sea una prueba fiable y amigable para quienes examinan para demostrar sus habilidades en inglés. Durante más de 50 años, la Familia de Evaluaciones TOEFL ha estado respaldada por una investigación rigurosa y de alta calidad, y la prueba TOEFL Essentials no es una excepción. Como todas las demás pruebas de la Familia de Evaluaciones TOEFL, el programa de investigación de TOEFL Essentials explora todas las etapas del desarrollo, interpretación y uso de la puntuación. El programa de investigación sigue un enfoque basado en argumentos para la validación de pruebas, y se presenta en una serie de preguntas que dictan la evidencia empírica que debe recopilarse. Este programa de investigación está supervisado por el Comité de Examinadores (COE) del TOEFL, un panel de 11 expertos de todo el mundo, cada uno de los cuales ha alcanzado reconocimiento profesional en un campo académico relacionado con la enseñanza, el aprendizaje y la evaluación del inglés como segunda lengua o lengua extranjera.
Para saber más sobre el examen TOEFL Essentials, visita https://www.ets.org/toefl/score-users/essentials/about.html.
Spiros Papageorgiou es investigador senior gerente en ETS.