Preguntas y respuestas con un investigador: Jonathan Weeks

La editora senior de Investigación, Ayleen Gantz, entrevistó al científico senior de medición Jonathan Weeks sobre su trabajo en ETS y su reciente nombramiento como presidente del programa NCME.

A Jonathan Weeks le encanta no solo conectar con las personas, sino también conectarlas. En sus 13 años en ETS, ha realizado investigaciones para PISA (Programa de Evaluación Internacional de Estudiantes), PIAAC (Programa para la Evaluación Internacional de Competencias de Adultos) y K–12; ayudó a desarrollar medidas de habilidades fundamentales de lectura; e incluso trabajó en algunas pruebas para la CIA. Su principal enfoque actual es ECLS–K (Estudios Longitudinales de la Primera Infancia–Infantil) y otros estudios longitudinales dirigidos por el Centro Nacional de Estadísticas de la Educación para estudiantes de secundaria y bachillerato.

Puede que lo encuentres en su despacho los días de presentador, resolviendo un problema en su pizarra, pero es más probable que lo encuentres en los pasillos discutiendo temas de investigación con sus colegas. Si te cruzas con Jonathan, detente y saluda. En ausencia de preguntas de investigación, pregúntale qué ver en streaming o leer este fin de semana, habla con él sobre entrenar deportes juveniles o pídele que te hable sobre su mentor.

Vi en tu biografía de ets.org que tienes una licenciatura en Filología Inglesa por Colorado College. ¿Cómo pasaste de estudiar Filología Inglesa a un trabajo basado en teorías matemáticas?

Siempre me preguntan eso. Quiero decir, ningún niño pequeño se sienta pensando: "Quiero crecer y ser psicometrista." Yo pensaba que quería ser profesor de inglés en un instituto, pero no tenía certificado de enseñanza. Así que acabé consiguiendo un trabajo para un distrito escolar con la idea de que, una vez que obtuviera mi certificado, podría ir a ellos y decirles: "Oye, he estado trabajando para ti. Dame un trabajo." Resulta que conseguí un puesto como secretario en un distrito escolar en Colorado Springs, y tras varios años, me convertí en el analista principal de datos en su oficina de evaluación.

En ese momento, nunca había hecho un curso de estadística en mi vida.

Pensé: "Eso es bastante peligroso. Debería averiguarlo." Volví a estudiar y obtuve un máster en psicología de la educación con énfasis en métodos cuantitativos. Tenía ideas sobre cómo abordar varios temas, pero nadie quería escucharme porque no tenía un doctorado. Así que volví a estudiar con la vista puesta en la política educativa. Pronto descubrí que la política se centra más en política y decidí que me interesaba menos. Eso fue a principios de los 2000, cuando había un gran énfasis en los modelos de crecimiento en la educación K–12.

En ese momento, pensé que quería hacer un mejor modelo de crecimiento, pero al final me interesé mucho más en cómo se construyen las escalas. Al final me centré en cuestiones relacionadas con la creación de escalas verticales, el problema del desplazamiento de constructos y, en particular, el desarrollo de escalas verticales multidimensionales. Este es un área de investigación que aún me interesa hoy en día.

¿Puedes darme un ejemplo de la investigación que haces?

He trabajado bastante en el desarrollo de medidas de habilidades fundamentales de lectura; la prueba se llama ReadBasix. Uno de los artículos del que estoy más orgulloso, Una aplicación de la escala vertical multidimensional, proporciona esencialmente un argumento de validez para la estructura multidimensional y la escala vertical multidimensional subyacente para los seis subtests de ReadBasix.

Según entiendo, al principio de nuestro desarrollo, tenemos un conjunto de habilidades fundamentales que están todas de forma laxa integradas. A medida que nos volvemos lectores más hábiles, esas habilidades se entrelazan para formar dos cuerdas — habilidades relacionadas con las palabras y habilidades de comprensión — hasta que finalmente forman un solo cordón. Las habilidades vagamente integradas corresponden a los seis factores. Estas diferentes habilidades siempre están ahí, pero se integran más para producir los dos cables y el cordón único más estrechamente integrado. Me emocionó mucho saber que mi investigación con datos empíricos proporcionó evidencia para un marco teórico que antes no conocía.

Tengo entendido que fuiste uno de los presidentes de programa en la reciente Conferencia NCME (Consejo Nacional para la Medición en la Educación). ¿Qué parte de esa planificación te entusiasma más?

Invité a uno de mis autores favoritos a ser nuestro ponente principal. Sam Kean es historiador de la ciencia y autor bestseller del New York Times de The Disappearing Spoon y varios otros libros. En resumen, cuenta historias sobre ciencia a través de una serie de viñetas históricas. Estas historias son un giro de la historia que todo el mundo cree conocer.

Sam no es una "persona de la medición", pero gracias a la perspectiva con la que mira, ayuda a la gente a pensar en la historia y la ciencia de una manera ligeramente diferente. Mi esperanza es que, al pensar en el campo de la medición, podamos mirar desde una perspectiva ligeramente diferente. ¿Podemos pensar de forma diferente sobre la forma en que "hacemos mediciones", los enfoques que usamos para desarrollar pruebas y los modelos que empleamos para evaluar los datos? ¿Vamos a seguir haciendo esto que siempre hemos hecho, o estamos abiertos a probar cosas nuevas que puedan ser más beneficiosas para los examinados y para nuestro campo en general?

Ahora que la conferencia ha terminado, ¿ha terminado tu trabajo?  

Técnicamente, mi trabajo ha terminado ahora que la conferencia ha terminado. Pero me ofrecí voluntario para quedarme un poco más para intentar ayudar a automatizar algunos de los sistemas. Cuando eres uno de los presidentes, y tu mente está aquí intentando organizar todo esto, al mismo tiempo teniendo que preocuparte por extraer y limpiar datos... Es mucho más trabajo del que esperaba. Me gustaría ver si puedo ayudar a que esto sea más fácil para futuros presidentes, para que no tengan que pasar todo el tiempo y esfuerzo de programar un script o filtrar datos manualmente.

¿Hay algo en tu oficina de lo que no puedas prescindir?  

Paso mucho tiempo de pie frente a una pizarra blanca. La forma en que pienso sobre mis ideas y cómo proceso es estar ahí y sacar las cosas.

Estoy muy disperso en las cosas en las que trabajo, y cada uno de esos proyectos y temas requiere métodos y estrategias diferentes. Algunos están más orientados a la investigación; otros son simplemente proyectos operativos que requieren una solución práctica. Aunque esté en la oficina, puede que no me veas porque deambulo y hablo con la gente sobre lo que están haciendo. Me llamo a mí mismo un "psicometrista errante". Alguien podría detenerme y decirme: "Oye, esperábamos tener 2.000 hijos y solo conseguimos 200 para nuestra investigación. ¿Qué hacemos?" o "Intento simular datos con una estructura factorial aparentemente normal, pero obtengo resultados extraños cuando los analizo. ¿Tienes idea de por qué?" Disfruto resolviendo esos tipos de problemas más matizados.

Y a veces, algo en lo que podría estar ayudando en este contexto resulta ser más una solución para alguien en otro contexto. Soy muy defensor de la interacción y de que la gente pueda trabajar fuera de sus áreas específicas. Dicho esto, al final del día, quiero ayudar a que el mayor número posible de personas entienda todo lo posible sin interferir con las limitaciones prácticas — como realmente hacer nuestro trabajo.