TOEFL iBT Tras bambalinas: Evaluando los procesos de escritura de los estudiantes en tiempo real

En esta entrevista, Ching-Ni Hsieh, científica senior de medición, y Renka Ohta, gerente senior de proyectos de investigación, hablan sobre su investigación reciente, Procesos de escritura de segunda lengua en el test TOEFL iBT®: examinando la tarea de escritura para una discusión académica usando seguimiento ocular, registro de pulsaciones y memoria estimulada, con John Clark del TOEFL

Claro. La respuesta escrita de un estudiante a una tarea de escritura nos dice lo que escribió, pero no nos dice cómo llegó allí. Dos estudiantes pueden recibir las mismas puntuaciones en ensayos o producir respuestas de calidad similar, pero pueden seguir caminos muy diferentes al escribir.

Los datos de comportamiento, como movimientos oculares y eventos de teclado, pueden ofrecer una ventana a la asignación de atención y los procesos de toma de decisiones de los examinados, que son invisibles en las respuestas finales escritas.

En nuestro estudio, mientras los participantes respondían a la tarea TOEFL iBT Write for an Academic Discussion (a la que hemos dado el encantador acrónimo "WAD") en el ordenador, colocamos un rastreador ocular Tobii debajo del monitor para rastrear sus movimientos oculares.

El rastreador ocular es un dispositivo que utiliza tecnología de sensores para medir hacia dónde miran los escritores y cómo se mueven sus ojos. También utilizamos el software de seguimiento ocular Tobii Pro Lab para grabar y crear un vídeo que incorporaba eventos de escritura en pantalla —como textos escritos y clics del ratón— superpuestos sus movimientos oculares.

Los datos de seguimiento ocular nos permitieron ver hacia dónde miraban los escritores, cómo se desplazaban sus miradas, cuánto tiempo dedicaban a observar diferentes partes de la tarea y cómo revisaban sus textos.

Utilizamos el motor de registro de pulsaciones de ETS para capturar cada actividad en el teclado mientras cada escritor escribía. Esos datos se recopilan luego en un registro de pulsaciones que contiene información detallada sobre el comportamiento de los escritores al teclear, incluyendo pausas entre palabras o frases, eliminación de textos escritos o inserción de textos nuevos.

Después de que los participantes terminaron de escribir, los entrevistamos. Vimos la grabación de vídeo realizada por el software de seguimiento ocular Tobii, que incluía los procesos de escritura en pantalla de los participantes y mapas de calor que indicaban hacia dónde se dirigía su atención visual. Les pedimos que hablaran sobre lo que estaban pensando mientras respondían a la tarea, especialmente en momentos interesantes, como una pausa larga o una repasación.

Hicimos preguntas a los participantes en sus lenguas maternas siempre que fue posible para que pudieran compartir sus ideas con mayor facilidad. Sus explicaciones nos ayudaron a conectar sus comportamientos observables al teclear y los movimientos oculares con los procesos de pensamiento que hay detrás.

En la evaluación, un constructo se refiere a las habilidades o destrezas que una prueba está diseñada para medir. La validez de constructo pregunta si una prueba mide esas habilidades previstas. Para la sección de Escritura del TOEFL iBT, el concepto objetivo es la competencia en redacción académica.

Una fuente importante de evidencia de validez de constructos es si los examinados interactúan con los tipos de procesos de escritura relevantes para la escritura académica. Si los examinados pudieran obtener puntuaciones altas confiando principalmente en procesos cognitivos o estrategias no relacionadas con la habilidad académica prevista, entonces las puntuaciones podrían no reflejar con precisión su competencia en redacción académica.

Sí, nuestros hallazgos aportan evidencia que respalda la validez del constructo de la tarea WAD. A través de los datos de seguimiento ocular, los registros de pulsaciones y las respuestas a las entrevistas, nuestros participantes participaron en la planificación, formulación del lenguaje, seguimiento y revisión. Estos procesos son fundamentales para los modelos establecidos de escritura y son relevantes para la competencia académica en la redacción.

Esta evidencia sugiere que la tarea provoca los procesos de escritura previstos, lo que fortalece la interpretación de que las puntuaciones de escritura del TOEFL iBT reflejan las habilidades académicas de escritura que el examen pretende evaluar.

El modelo de Kellogg es uno de los modelos cognitivos más influyentes de la escritura. Describe la escritura como un conjunto de procesos que interactúan, incluyendo la planificación de ideas, la traducción de esas ideas al lenguaje, la producción de texto y la revisión de lo que se ha escrito. El modelo se ha utilizado en estudios previos sobre tareas de escritura iBT en el TOEFL, por lo que lo consideramos un marco útil para examinar si la tarea WAD implica procesos de escritura importantes.

También elegimos este modelo porque presta atención explícita a la formulación, es decir, al proceso de convertir ideas en palabras y oraciones. Este aspecto es especialmente importante para los que hacen el examen TOEFL iBT, que escriben en un segundo idioma o en otro idioma y pueden necesitar prestar mucha atención al vocabulario, la gramática y la construcción de frases.

Nuestros datos mostraron que los participantes participaron en la planificación, formulación del lenguaje, seguimiento y revisión durante toda la tarea WAD. Muchos participantes leyeron y releyeron el enunciado, generaron ideas, buscaron vocabulario adecuado, construyeron frases, comprobaron si sus respuestas cumplían los requisitos de la tarea y realizaron ediciones para mejorar la precisión o claridad. Estos comportamientos se alinean estrechamente con el modelo cognitivo de escritura de Kellogg.

Nuestros hallazgos también pusieron de manifiesto la naturaleza recursiva de la escritura. Los participantes no completaron estos procesos uno a uno ni en una secuencia lineal. En cambio, iban y venían entre la lectura, la planificación, la escritura y la revisión, lo cual es coherente con la visión de Kellogg de la escritura como un proceso dinámico e interactivo.

La tarea WAD difiere de las tareas tradicionales de ensayo de opinión, como la retirada tarea de escritura independiente TOEFL iBT que sustituyó. Los examinados deben leer la pregunta de un profesor, considerar las respuestas de dos estudiantes, decidir cómo quieren contribuir a la discusión online y redactar una respuesta en un plazo de 10 minutos.

Estas características de diseño requieren que los examinados dividan su atención entre múltiples fuentes de información mientras generan y expresan sus propias ideas. Por ejemplo, nuestros resultados de seguimiento ocular mostraron que los participantes cambiaban repetidamente su atención entre los materiales de la consigna y el área de escritura. En este sentido, la tarea impone demandas cognitivas distintivas a los examinados al requerirles coordinar la lectura, planificación, escritura y autoevaluación dentro de un formato dinámico de discusión en línea.

Estos procesos se asemejan a muchas formas de comunicación escrita que los estudiantes pueden encontrar en entornos académicos modernos. Y la tarea también apoyaba diferentes estrategias de respuesta. En nuestras entrevistas, por ejemplo, algunos participantes explicaron que intentaron contribuir introduciendo una idea nueva que las dos publicaciones de los estudiantes no habían mencionado, mientras que otros optaron por estar de acuerdo con los demás y construir sobre lo que habían leído.

No, no hay una respuesta correcta o incorrecta basada en las ideas específicas que decidan expresar. La rúbrica de evaluación de tareas de WAD se centra en el uso del lenguaje, el desarrollo de ideas y en cómo responden de forma clara y efectiva los examinados a la discusión.

No se evalúa a los examinados sobre si introducen ideas completamente nuevas. Pueden construir sobre las ideas ya presentadas en las respuestas de muestra siempre que contribuyan de forma significativa y expresen sus puntos de vista con claridad. 

El procesamiento de prompts se refiere a cómo los escritores leen, interpretan y utilizan los materiales de la tarea antes y durante la escritura. En la tarea de WAD, esto incluye entender la pregunta del profesor, considerar las dos publicaciones de ejemplo de los estudiantes, decidir cómo debe conectarse la propia aportación con la discusión y, a veces, revisar los materiales de los prompts mientras compones.

Un hallazgo interesante de nuestro estudio es que el procesamiento de prompts no ocurrió solo al principio de la tarea. Los participantes a menudo volvían a los materiales de los temas varias veces durante el proceso de escritura.

Concluimos que el procesamiento de prompts no es simplemente una actividad previa a la escritura; Más bien, funciona como una parte continua de la planificación y ayuda a guiar otras decisiones de redacción, como seleccionar ideas relevantes, posicionar la respuesta y supervisar cómo cumple la respuesta con los requisitos de la tarea.

Este es uno de los principales retos en el diseño de evaluaciones. Si un prompt es demasiado sencillo, puede no provocar suficiente pensamiento relacionado con la escritura como para aportar pruebas sólidas de la capacidad académica para la redacción. Si es demasiado complejo, los examinados pueden dedicar un esfuerzo excesivo a entender el prompt, por lo que la tarea puede empezar a medir la comprensión lectora o la interpretación de la tarea en lugar de la capacidad de escritura.

Nuestros hallazgos sugieren que los prompts efectivos deberían invitar a los escritores a participar en procesos clave de redacción, como la planificación, formulación, supervisión y revisión, manteniéndose claros y accesibles. El objetivo es diseñar tareas de evaluación que permitan a los examinados demostrar su habilidad para escribir sin introducir barreras innecesarias ni dificultades irrelevantes para el constructo.

¡Tiene sentido! Aprecio mucho esta profundización en tu investigación: es divertido ver cuánto tiempo y energía se invierte en cada tarea del TOEFL iBT.

Gracias.