Cómo funciona el motor e-rater

Al calificar ensayos, el motor e-rater^® hará:

• Valida que las características no solo predicen la puntuación de un lector, sino que también tienen cierta relevancia lógica para el prompt de escritura
• Marca automáticamente las respuestas que no tienen nada que ver con el tema o son inconsistentes, para que puedan ser apartadas para su revisión
• Combina las características de puntuación en un modelo estadístico para producir una estimación final de la puntuación

El motor e-rater se desarrolla y mejora continuamente, con el objetivo de ampliar su capacidad para modelar aspectos importantes y desafiantes de la competencia en la escritura. La investigación en curso tiene como objetivo mejorar las capacidades del motor e-rater para que pueda identificar y evaluar la estructura de un argumento en un ensayo, así como evaluar el uso creativo del lenguaje en la escritura de estudiantes y examinados.

Características del e-rater

Las características utilizadas para la puntuación del e-rater son el resultado de casi dos décadas de investigación en Procesamiento de Lenguaje Natural en ETS, y cada característica puede estar compuesta por subcaracterísticas independientes. También se ha trabajado para establecer una escala verticalmente enlazada de las puntuaciones de escritura de K–12 entre grados basada en el motor e-rater, conocida como Escala de Escritura Desarrollativa.

Las características actuales del motor de puntuación e-rater incluyen:

• Análisis de contenido basado en medidas de vocabulario
• Complejidad/dicción léxica
• Proporción de errores gramaticales, de uso y mecánicos
• Proporción de comentarios de estilo
• Puntuaciones de organización y desarrollo
• Recompensa en la fraseología idiomática

El ajuste de características para asignar una puntuación total a un ensayo puede adaptarse a una consigna específica o de forma "genérica", permitiendo que el mismo modelo de e-rater se utilice para puntuar una variedad de respuestas a prompts.

Acuerdo de puntuación

Para tareas apropiadas para el motor e-rater (tareas de redacción de ensayos de longitud que se califican por la calidad de la redacción en lugar de la corrección de las afirmaciones en la respuesta), el acuerdo con los evaluadores humanos puede ser muy fuerte. Como descubrieron Attali, Bridgeman & Trapani en 2010, Escritura Automatizada de Ensayos con e-rater v2.0 (PDF), el acuerdo del motor e-rater con un evaluador humano en las tareas TOEFL^® Independent y GRE^® Issue era superior al acuerdo entre dos evaluadores humanos independientes.