Un nuevo enfoque para informar de las puntuaciones agregadas de crecimiento estudiantil
8 de diciembre de 2021
Actualmente, 48 estados de Estados Unidos miden el crecimiento del rendimiento estudiantil como parte de sus programas estatales de evaluación de estudiantes en primaria y secundaria. A menudo, las medidas de crecimiento se utilizan como parte de los sistemas de rendición de cuentas para distritos, escuelas o incluso profesores para ofrecer una visión más completa del rendimiento estudiantil que el rendimiento actual por sí solo. Estos sistemas utilizan el promedio del crecimiento individual de los estudiantes para todos los estudiantes de un distrito, escuela o clase de un profesor. Aunque este enfoque puede parecer a simple vista una forma práctica y directa de resumir el progreso estudiantil, en la realidad puede resultar problemático.
Promediar las medidas de crecimiento para escuelas, distritos o profesores con pocos alumnos puede provocar fluctuaciones sustanciales de un año a otro. Un centro pequeño, por ejemplo, con una medida de crecimiento alta en un año, situándola en el percentil 90 , podría tener un valor bajo al año siguiente, situándolo solo en el percentil 10 . Estos cambios año tras año pueden dificultar el uso del promedio del crecimiento estudiantil para la toma de decisiones. Dado que estas decisiones a menudo pueden estar vinculadas a factores de alto riesgo, implicaciones de financiación y otras consideraciones que afectan a estudiantes, escuelas y distritos, es fundamental que estas medidas sean precisas y proporcionen información útil.
En los últimos años, hemos estado trabajando con el Departamento de Educación de California (CDE) para ayudarles a comprender mejor cómo medir y informar sobre el crecimiento del rendimiento estudiantil en su estado. Ante las altas fluctuaciones anuales, California no tenía claro si debía proceder o cómo implementar sus medidas de crecimiento. Como resultado, nos propusimos encontrar una manera de mejorar las medidas de crecimiento (agregadas) del estado y eliminar la inestabilidad excesiva de las medidas para escuelas o distritos que atienden a un pequeño número de estudiantes o para grupos estudiantiles de baja incidencia dentro de cualquiera de ellos, como estudiantes con discapacidades o estudiantes que aprenden inglés (ELs).
Durante nuestro trabajo, recurrimos a un método estadístico estándar conocido como Mejor Predicción Lineal Empírica (EBLP) para mejorar la precisión y, en consecuencia, reducir las fluctuaciones año tras año de las medidas de crecimiento. Este método estadístico se utiliza comúnmente en muchas aplicaciones diferentes para proporcionar medidas para múltiples grupos, como los resultados de los pacientes en hospitales o los niveles de alfabetización de los condados de un estado. Nuestro equipo desarrolló la metodología necesaria y los algoritmos y códigos informáticos para aplicar este método EBLP a datos de crecimiento, para los cuales pueden existir más de un millón de medidas individuales de crecimiento estudiantil y cientos o incluso miles de escuelas.
El método EBLP no es un modelo nuevo de crecimiento estudiantil. Puede aplicarse a cualquier tipo de puntuaciones de crecimiento estudiantil, desde puntuaciones simples de ganancia (por ejemplo, puntuación del año actual menos puntuación de años anteriores) hasta percentiles de crecimiento estudiantil más complejos . El poder del procedimiento EBLP radica en utilizar de forma óptima datos de puntuaciones de crecimiento estudiantil de varios años para producir una mejor estimación de la puntuación de crecimiento del grupo en el año de informe del estado. En pocas palabras, las puntuaciones agregadas de crecimiento EBLP son aproximadamente un promedio ponderado de las puntuaciones de crecimiento estudiantil de dos o más años escolares, en lugar de una media simple de puntuaciones solo del año informado.
Además, el método EBLP se adapta al tamaño del grupo. Para grupos grandes que ya tienen estimaciones más precisas y estables, la puntuación agregada de crecimiento EBLP es casi idéntica a la media simple. Coloca casi todo el peso en las puntuaciones de crecimiento estudiantil en el año de informe y poco o ningún peso en las puntuaciones de crecimiento estudiantil de años anteriores. Por el contrario, para grupos pequeños, el procedimiento EBLP otorgará cierto peso no trivial a las puntuaciones de crecimiento del año anterior porque puede ayudar a informar el crecimiento del grupo de estudiantes en el año de informe. En estos casos, la EBLP diferirá más notablemente de la media simple, pero también será más precisa y estable que la media simple. El resultado general es que las medias ponderadas por EBLP tendrán un mayor impacto en mejorar la precisión y estabilidad de grupos pequeños, reduciendo la brecha de rendimiento entre grupos pequeños y grandes. Usando este método, los estados con escuelas y distritos que tienden a tener poblaciones estudiantiles más pequeñas o grupos estudiantiles dentro de escuelas y distritos ya no serán penalizados simplemente porque atienden a menos estudiantes que los grandes.
Utilizando esta metodología EBLP, compartimos los resultados de nuestro equipo con el EDC, cuyo personal se mostró intrigado por el método como una posible solución a las altas fluctuaciones anuales que observaron en sus puntuaciones agregadas de crecimiento y solicitamos que exploráramos su potencial para mejorar la estabilidad de las medidas de crecimiento en escuelas y distritos escolares en todo el estado. La exploración realizada por ETS y el CDE reveló que el EBLP mejoró la precisión y correlación interanual de las medidas de crecimiento, especialmente para escuelas y distritos escolares pequeños. Dado el éxito de nuestro enfoque propuesto, la Junta Estatal de Educación de California votó recientemente por unanimidad el uso del enfoque EBLP para informar sobre el crecimiento escolar y distrital, junto con el crecimiento de los grupos estudiantiles dentro de escuelas y distritos.
Descubre más sobre este trabajo o sobre nuestros servicios de consultoría en investigación y desarrollo.
Katherine Castellano es investigadora sénior en ETS. Dan McCaffrey es vicepresidente asociado en ETS.