TOEFL iBT Tras bambalinas: Evaluando los procesos de escritura de los estudiantes en tiempo real

En esta entrevista, Ching-Ni Hsieh, científica senior de medición, y Renka Ohta, directora senior de proyectos de investigación, hablan sobre su investigación reciente, Procesos de escritura de segunda lengua en el test TOEFL iBT®: Examinando la tarea de escritura para una discusión académica usando seguimiento ocular, registro de pulsaciones y memoria estimulada, junto con John Clark del TOEFL.

Claro. La respuesta escrita de un estudiante a una tarea de escritura nos dice lo que escribió, pero no nos dice cómo llegó ahí. Dos estudiantes pueden recibir las mismas notas en un ensayo o producir respuestas de calidad similar, pero pueden seguir caminos muy diferentes mientras escriben.

Los datos de comportamiento, como movimientos oculares y eventos de teclado, pueden ofrecer una ventana a la asignación de atención y los procesos de toma de decisiones de los examinados, que son invisibles en las respuestas finales escritas.

En nuestro estudio, mientras los participantes respondían a la tarea TOEFL iBT Write for an Academic Discussion (a la que hemos dado el encantador acrónimo "WAD") en el ordenador, colocamos un rastreador ocular Tobii debajo del monitor para rastrear sus movimientos oculares.

El rastreador ocular es un dispositivo que utiliza tecnología de sensores para medir hacia dónde miran los escritores y cómo se mueven sus ojos. También utilizamos el software de seguimiento ocular Tobii Pro Lab para grabar y crear un vídeo que incorporaba eventos de escritura en pantalla —como textos escritos y clics del ratón— con sus movimientos oculares superpuestos.

Los datos de seguimiento ocular nos permitieron ver hacia dónde miraban los escritores, cómo se desplazaban sus miradas, cuánto tiempo dedicaban a observar diferentes partes de la tarea y cómo revisaban sus textos.

Utilizamos el motor de registro de pulsaciones de ETS para capturar cada actividad en el teclado mientras cada escribía escribía. Esos datos se compilan luego en un registro de pulsaciones que contiene información detallada sobre el comportamiento de teclado de los escritores, incluyendo pausas entre palabras o frases, eliminación de textos escritos o inserción de textos nuevos.

Después de que los participantes terminaron de escribir, los entrevistamos. Vimos la grabación en vídeo realizada por el software de seguimiento ocular Tobii, que incluía los procesos de escritura en pantalla de los participantes y mapas de calor que indicaban hacia dónde se dirigía su atención visual. Les pedimos que hablaran sobre lo que estaban pensando mientras respondían a la tarea, especialmente durante momentos interesantes, como una pausa larga o una revisión.

Hicimos preguntas a los participantes en sus lenguas maternas siempre que fue posible para que pudieran compartir sus pensamientos con mayor facilidad. Sus explicaciones nos ayudaron a conectar sus comportamientos observables de teclado y movimientos oculares con los procesos de pensamiento que los respaldan.

En la evaluación, un constructo se refiere a las habilidades o destrezas que un examen está diseñado para medir. La validez del constructo pregunta si un test mide esas habilidades previstas. Para la sección de Escritura del TOEFL iBT, el constructo objetivo es la competencia en redacción académica.

Una fuente importante de evidencia de validez de constructos es si los examinados interactúan con los tipos de procesos de escritura relevantes para la escritura académica. Si los examinados pudieran obtener puntuaciones altas confiando principalmente en procesos cognitivos o estrategias no relacionadas con la habilidad académica prevista, entonces las puntuaciones podrían no reflejar con precisión su competencia en redacción académica.

Sí, nuestros hallazgos aportan evidencia que respalda la validez del constructo de la tarea WAD. En los datos de seguimiento ocular, los registros de pulsaciones y las respuestas a entrevistas, nuestros participantes participaron en la planificación, formulación del lenguaje, seguimiento y revisión. Estos procesos son fundamentales para los modelos establecidos de escritura y son relevantes para la competencia en la escritura académica.

Esta evidencia sugiere que la tarea provoca los procesos de escritura previstos, lo que fortalece la interpretación de que las puntuaciones de escritura del TOEFL iBT reflejan las habilidades académicas de escritura que el examen pretende evaluar.

El modelo de Kellogg es uno de los modelos cognitivos más influyentes de la escritura. Describe la escritura como un conjunto de procesos interactivos, que incluyen la planificación de ideas, la traducción de esas ideas al lenguaje, la producción de texto y la revisión de lo que se ha escrito. El modelo se ha utilizado en estudios previos sobre tareas de escritura del TOEFL iBT, por lo que lo consideramos un marco útil para examinar si la tarea WAD implica procesos de escritura importantes.

También elegimos este modelo porque presta atención explícita a la formulación, es decir, al proceso de convertir ideas en palabras y oraciones. Este aspecto es especialmente importante para los examinados del TOEFL iBT, que escriben en un segundo idioma o en otro idioma y pueden necesitar dedicar una atención considerable al vocabulario, la gramática y la construcción de las frases.

Nuestros datos mostraron que los participantes participaron en la planificación, formulación del lenguaje, seguimiento y revisión a lo largo de la tarea WAD. Muchos participantes leyeron y releyeron el prompt, generaron ideas, buscaron vocabulario adecuado, construyeron oraciones, comprobaron si sus respuestas cumplían los requisitos de la tarea y realizaron ediciones para mejorar la precisión o claridad. Estos comportamientos se alinean estrechamente con el modelo cognitivo de escritura de Kellogg.

Nuestros hallazgos también pusieron de manifiesto la naturaleza recursiva de la escritura. Los participantes no completaron estos procesos uno a uno ni como una secuencia lineal. En su lugar, se movían entre la lectura, la planificación, la escritura y la revisión, lo cual es coherente con la visión de Kellogg sobre la escritura como un proceso dinámico e interactivo.

La tarea WAD difiere de las tareas tradicionales de ensayo de opinión, como la retirada tarea de escritura independiente TOEFL iBT que sustituyó. Los examinados deben leer la pregunta de un profesor, considerar las respuestas de dos estudiantes, decidir cómo quieren contribuir a la discusión online y redactar una respuesta en 10 minutos.

Estas características de diseño requieren que los examinados dividan su atención entre múltiples fuentes de información mientras generan y expresan sus propias ideas. Por ejemplo, nuestros resultados de seguimiento ocular mostraron que los participantes cambiaban repetidamente su atención entre los materiales de la consigna y el área de escritura. En este sentido, la tarea impone demandas cognitivas distintivas a los examinados al requerirles coordinar la lectura, planificación, escritura y autoevaluación dentro de un formato dinámico de discusión online.

Estos procesos se asemejan a muchas formas de comunicación escrita que los estudiantes pueden encontrar en entornos académicos modernos. Y la tarea también apoyó diferentes estrategias de respuesta. En nuestras entrevistas, por ejemplo, algunos participantes explicaron que intentaron contribuir introduciendo una idea nueva que las dos publicaciones de los estudiantes no mencionaban, mientras que otros optaron por estar de acuerdo con los demás estudiantes y construir sobre lo que habían leído.

No, no hay una respuesta correcta o incorrecta basada en las ideas específicas que decidan expresar. La rúbrica de evaluación de tareas WAD se centra en el uso del lenguaje, el desarrollo de ideas y en cómo responden de forma clara y efectiva los examinados a la discusión.

Los examinados no son evaluados según si introducen ideas completamente nuevas. Pueden construir sobre las ideas ya presentadas en las respuestas de muestra siempre que aporten de forma significativa y expresen sus puntos de vista con claridad. 

El procesamiento de prompts se refiere a cómo los escritores leen, interpretan y utilizan los materiales de la tarea antes y durante la redacción. En la tarea WAD, esto incluye entender la pregunta del profesor, considerar las dos entradas de ejemplo de los estudiantes, decidir cómo debe conectarse la propia contribución con la discusión y, a veces, revisar los materiales de la consigna mientras compones.

Un hallazgo interesante de nuestro estudio es que el procesamiento de prompts no ocurrió solo al principio de la tarea. Los participantes a menudo volvían a los materiales de prompt varias veces a lo largo del proceso de escritura.

Concluimos que el procesamiento de prompts no es simplemente una actividad previa a la escritura; más bien, funciona como una parte continua de la planificación y ayuda a guiar otras decisiones de redacción, como seleccionar ideas relevantes, posicionar la respuesta y supervisar qué tan bien la respuesta cumple con los requisitos de la tarea.

Este es uno de los principales retos en el diseño de la evaluación. Si un prompt es demasiado simple, puede no generar suficiente pensamiento relacionado con la escritura como para proporcionar pruebas sólidas de capacidad académica para redactar. Si es demasiado complejo, los examinados pueden dedicar un esfuerzo excesivo a entender el prompt, por lo que la tarea puede empezar a medir la comprensión lectora o la interpretación de la tarea en lugar de la capacidad de redacción.

Nuestros hallazgos sugieren que los prompts efectivos deberían invitar a los escritores a participar en procesos clave de redacción, como la planificación, la formulación, el seguimiento y la revisión, manteniéndose claros y accesibles. El objetivo es diseñar tareas de evaluación que permitan a los examinados demostrar su habilidad para escribir sin introducir barreras innecesarias ni dificultades irrelevantes para la construcción.

Gracias.