Cualquiera puede crear una prueba, especialmente ahora con todo lo que puede hacer la IA. La pregunta más difícil es si esa prueba mide lo que afirma hacer, si se mantiene en todas las poblaciones y si sigue siendo justa y válida a gran escala.
ETS desarrolla, administra y califica millones de pruebas cada año, y la mayoría de ellas conllevan consecuencias reales para quienes las realizan. Un solo resultado puede moldear el futuro de un aprendiz, una oportunidad profesional o el resultado de la licencia. Facilitar estas oportunidades para las personas es lo que impulsa nuestra misión y por qué nos exigimos estándares tan altos. Cuando la IA entra en juego, el listón se eleva, no baja. La afrontamos tomando decisiones disciplinadas sobre dónde la IA aporta valor y asegurándonos de que sean los humanos, no la IA, quienes mantengan el control.
Cómo utiliza ETS la IA a lo largo del ciclo de vida de la evaluación
En ETS, la IA soporta múltiples etapas del ciclo de vida de la evaluación: desarrollo de contenido, ensamblaje y entrega de pruebas, y puntuación.
Desarrollo de contenido
Utilizamos nuestro motor propietario de contenido de IA para generar primeros borradores de elementos y contenido relacionado en la mayoría de nuestros programas principales. Establecemos las barreras de protección, restricciones y requisitos de IA y aportamos décadas de experiencia en desarrollo de evaluaciones para dirigir la generación inicial de formas adecuadas. Hoy, cerca del 80% de nuestro contenido de evaluación, incluyendo preguntas y pasajes de lectura, Empieza así.
Pero generar contenido es solo el punto de partida. Antes de que un ítem se utilice en cualquiera de nuestros programas, pasa por un proceso de revisión estructurado que busca garantizar su equidad y accesibilidad, al tiempo que confirma que se comporta según las expectativas y la rúbrica prevista. En términos sencillos, no tratamos la salida de la IA como trabajo terminado. La tratamos como un candidato que debe ganarse su lugar.
Montaje y entrega
Utilizamos IA para ayudar a personalizar las pruebas adaptándolas en tiempo real. En un entorno de pruebas adaptativas, las preguntas o tareas pueden seleccionarse en función de cómo respondió el examinado a las anteriores, ayudando a la evaluación a recopilar la evidencia adecuada de forma más eficiente. Este tipo de evaluación puede permitir tiempos de prueba más cortos y eficientes, reduciendo el tiempo de "asiento" para los examinados, así como adaptando el contenido más a su nivel.
Esto no es solo una mejor forma para que los examinados demuestren lo que pueden hacer. También es una medida de seguridad importante: a las personas no se les asigna exactamente el mismo formulario y, por tanto, pueden recibir diferentes conjuntos de contenido.
Puntuación
ETS ha utilizado IA en la puntuación desde principios de los 2000, mucho antes del auge de los grandes modelos de lenguaje (LLMs). La verdadera cuestión no es si la IA puede obtener una respuesta, sino si puede hacerlo de forma fiable, justa y con los estándares del programa al que sirve.
Por eso algunas evaluaciones ETS son puntuadas íntegramente por humanos, mientras que otras usan solo IA y otras utilizan una combinación de puntuación tanto de IA como humana según el tipo de respuesta. El modelo de puntuación adecuado depende del programa, de los riesgos de la puntuación, del tipo de respuesta que se evalúe y de las expectativas de los mercados a los que sirve, todo ello al servicio de producir el resultado más preciso, justo y defendible para cada alumno.
Qué significa "confianza" para nuestros grupos de interés
La confianza en la evaluación habilitada por IA no es una cualidad única. Se trata de si el sistema produce consistentemente resultados válidos, justos y fiables, y si quienes dependen de esos resultados creen que así es.
Los principales actores de ETS entienden la confianza en relación con la IA de forma diferente. Los examinados suelen considerar la confianza como resultado de la equidad y la transparencia, mientras que los socios institucionales pueden requerir pruebas de controles disciplinados del ciclo de vida y de personas al tanto. Los socios están interesados en continuar monitorizando para asegurar que la IA no debilita la comparabilidad, fiabilidad o equidad a medida que los programas crecen, y los responsables políticos necesitan una explicación clara de cómo se identifican, miden y gestionan los riesgos entre poblaciones.
En ETS, el objetivo no es usar IA en todas partes. Es utilizarlo donde nos ayuda a hacer más por los estudiantes y las instituciones mientras mantenemos los estándares que hemos construido durante décadas. Eso significa usar el método adecuado para la tarea, mantener a los humanos al mando y evaluar a fondo la evidencia antes de confiar en cualquier nueva capacidad. Así es como hacemos que la IA sea útil y responsable, manteniendo la confianza que nuestros puntuadores y educadores han inculcado en nosotros y en nuestros productos.