Evaluación de los Fundamentos™ del TOEFL® : Diseño y Desarrollo de una Nueva Prueba
16 de junio de 2021
Cada nueva prueba en ETS se crea mediante un cuidadoso proceso de diseño y desarrollo. La incorporación más reciente a la Familia de Evaluaciones del TOEFL® , la prueba TOEFL® Essentials™, no es una excepción. Como se detalla en el Marco de Diseño para el TOEFL® Essentials™ Test 2021, el examen TOEFL Essentials es una evaluación digital de competencia en inglés que busca maximizar la eficiencia mientras enfatiza la capacidad de los examinados para comunicarse en inglés. Utilizando un diseño adaptativo de prueba multietapa, también permite medir el rango completo de competencia del Marco Común Europeo de Referencia. Aquí destacamos los papeles importantes que desempeñan el riguroso diseño de tareas y las prácticas expertas de desarrollo de pruebas en la creación de una nueva prueba.
Enfoque de ETS para el diseño de tareas de evaluación
Las tareas que conforman el nuevo examen TOEFL Essentials fueron diseñadas basándose en principios basados en tareas para captar lo que los examinados pueden hacer en inglés, en lugar de simplemente su conocimiento del idioma. Esto es especialmente importante cuando usamos un examen como este para predecir el éxito que tendrán los examinados en el mundo real, donde necesitan comunicarse eficazmente en inglés.
Tomemos las tareas de escritura en el examen TOEFL Essentials para ilustrar nuestro enfoque en el diseño de tareas de evaluación. Las tareas de escritura están diseñadas para dar a los examinados un propósito y público para escribir, al tiempo que reflejan lo que los examinados encuentran en el mundo real. Por ejemplo, escribir una o dos frases para describir una imagen es una tarea bastante típica que no tiene propósito ni público. La misma tarea de descripción de imagen se vuelve mucho más atractiva y significativa cuando los examinados se imaginan publicando la imagen en su propia cuenta de redes sociales y escribiendo una descripción extendida sobre sus experiencias relacionadas. Estas tareas pueden decirnos mucho sobre lo que los examinados pueden hacer en inglés.
Estas tareas de escritura también están diseñadas para ser lo más efectivas posible para medir las habilidades de escritura de los examinados en diferentes niveles de competencia. Por ejemplo, la tarea de publicación en redes sociales ha demostrado según investigaciones distinguir eficazmente entre los estudiantes en niveles iniciales de competencia. Sin embargo, su efectividad es limitada para quienes presentan exámenes con niveles de competencia más altos, ya que todos probablemente logran un buen desempeño. Para estos estudiantes con mayor competencia, la tarea de discusión académica es mucho más eficaz porque desafía a los examinados al requerir un uso más sofisticado del lenguaje (por ejemplo, vocabulario, gramática, marcadores de discurso) para completar con éxito la tarea, y como resultado, distingue entre sus capacidades para hacerlo. En definitiva, las tareas de escritura (y otras tareas) en el examen TOEFL Essentials están diseñadas para captar lo que los examinados pueden hacer en inglés, proporcionar un contexto claro y un propósito para comunicarse en inglés, y permitir la máxima distinción entre estudiantes de diferentes niveles de competencia. Todas estas características optimizan la efectividad del examen y apoyan interpretaciones precisas de las habilidades de inglés de los examinados.
Aprovechando la experiencia líder en desarrollo de evaluaciones
Utilizando este tipo de principios de diseño, los especialistas en evaluación de ETS han desarrollado nuevas tareas sobre las cuatro habilidades (comprensión auditiva, lectura, escritura y expresión oral) evaluadas por la prueba TOEFL Essentials. Así como el proceso de diseño fue en varias etapas (es decir, una etapa prototipo, una prueba piloto y una prueba de campo), el desarrollo del nuevo contenido de prueba también implica un proceso complejo y de varias etapas. El objetivo general de este proceso de desarrollo es asegurar que el contenido generado cumpla con los estándares de calidad y equidad de ETS y que resulte en experiencias de realización de pruebas similares en contenido, dificultad y nivel de implicación.
Los especialistas en evaluación están en el centro de este proceso y lo lideran de principio a fin. Los especialistas en evaluación, miembros clave del equipo de pruebas TOEFL Essentials, son expertos en su campo que han sido formados en aprendizaje de idiomas o materias relacionadas a nivel universitario, y la mayoría de los cuales han enseñado en colegios, colegios o universidades internacionales de K–12. Muchos especialistas en evaluación son ellos mismos estudiantes de inglés que han obtenido títulos de posgrado en universidades donde el inglés es la lengua de enseñanza.
Durante todo el proceso de desarrollo de contenido, los especialistas en evaluación siguen especificaciones detalladas. Estas especificaciones se generan durante las fases de diseño de la prueba y se utilizan para la creación y revisión de cada tarea o elemento de la prueba. Por ejemplo, las tareas de redacción en el examen TOEFL Essentials tienen especificaciones claras sobre el tipo y la longitud de los textos, instrucciones para el examinado, audio, gráficos y fotos utilizadas. Tras la creación de las tareas de prueba, reciben múltiples revisiones exhaustivas de diferentes especialistas en evaluación, así como revisiones editoriales y de equidad separadas.
Integración de tecnología para el desarrollo de evaluaciones
Se utiliza una amplia gama de herramientas tecnológicas de última generación para facilitar el proceso de desarrollo de pruebas y hacerlo más eficiente. Por ejemplo, los especialistas en evaluación utilizan una plataforma integral para generar, revisar y almacenar los ítems. Para algunos tipos de ítems, los especialistas en evaluación también emplean una capacidad tecnológica propia, llamada Creación Asistida por Tecnología de Artículos (TAIC), para facilitar el proceso de desarrollo de artículos. TAIC integra especificaciones de contenido de tareas y parámetros de dificultad desarrollados específicamente para la prueba TOEFL Essentials. Sin embargo, es importante señalar que una vez que el contenido de estos ítems se genera a través de TAIC, este pasa por un riguroso proceso de revisión en varias etapas realizado por los especialistas en evaluación para asegurar que los elementos desarrollados cumplen con los estándares y expectativas de ETS antes de ser presentados a un examinado.
Estas prácticas de diseño y desarrollo cuidadosas y rigurosas son lo que hace que el nuevo examen TOEFL Essentials sea válido y fiable que proporciona información fiable sobre la capacidad de los examinados para usar el inglés con fines de comunicación.
Para saber más sobre el nuevo examen TOEFL Essentials, visita https://www.ets.org/toefl/score-users/essentials/about.html
Pablo García Gómez es diseñador de evaluaciones en ETS. Shoko Sasayama es investigadora asociada en ETS.