Ranking PAES sin interpretación

La controversia sobre el ranking de colegios basado en el promedio de la PAES publicado por El Mercurio hace unos días amerita aclarar ciertos malentendidos en el acalorado debate generado. El email de la Subsecretaría de Educación Superior buscó controlar el buen uso de los datos de la PAES; sin embargo, se extendió a un control estricto y advertencias demasiado inespecíficas que efectivamente podrían afectar el justo acceso a la información oportuna de las comunidades escolares.

El problema de un ranking de colegios no está en el ranking mismo, sino en su interpretación. Leonor Varas, directora del DEMRE, ha explicado por años que estos rankings no deben ser interpretados como una medida de la calidad de las escuelas, debido a que la metodología usada para construir los puntajes de las pruebas PAES no se adapta bien para ese fin. En esto no hay una ideologización o un estar en contra de los rankings, es simplemente una advertencia sobre interpretaciones erróneas de los datos. DEMRE, como diseñadores de la prueba, tienen de hecho una responsabilidad de advertir sobre las interpretaciones y usos que no se alinean con el propósito de la prueba, como parte de las buenas prácticas y estándares internacionales sobre el tema.

El malentendido surge, en mi opinión, al asumir que un ranking de colegios tiene una interpretación inherente. En estricto rigor, un medio de comunicación puede publicar promedios y rankings de colegios asociados y no dar una interpretación, dejando al público la interpretación de los datos y en su criterio si ese ranking representa o no la calidad de una escuela. Sin embargo, esto también atenta contra un principio mínimo de responsabilidad al publicar datos, en el que se pueda advertir a su vez sobre las limitaciones de ciertas interpretaciones, sobre todo cuando una entidad técnica lo advierte expresamente.

Un promedio directo del puntaje PAES por escuela no es una medida adecuada para medir la eficacia de una escuela para colocar a sus alumnos en la educación superior. Interpretar estos promedios como una medida de eficacia es simplemente incorrecto. De partida, un promedio simple no separa el efecto de los preuniversitarios en el desempeño de los estudiantes. Sin datos extra, no es posible distinguir cuánto de ese puntaje PAES se debe a la escuela, o se debe a los preuniversitarios donde los alumnos participaron. Además, un promedio simple no considera un ajuste por origen socioeconómico. También hay un problema evidente en cómo comparar colegios de distinto tamaño, si usando la media o los mejores N de cada escuela.

Para calcular un ranking de efectividad PAES implicaría usar una metodología similar al SIMCE, aplicado a ambos, colegios y preuniversitarios. Esto contraviene el propósito original de la PAES y abriría la puerta a una “SIMCE-ficación” de la PAES. De hecho, si hay algo ideológico en el debate, es ver cada prueba estandarizada como una oportunidad para comparar escuelas, incluso si la comparación es técnicamente incorrecta. La PAES no es el SIMCE y no debería nunca serlo.

Actualmente, no hay datos para un ranking de efectividad PAES que sea técnicamente correcto. Se necesita información confiable sobre matrículas en preuniversitarios, conocimiento sobre métodos educativos en los últimos años de secundaria por escuela para establecer causalidades, y datos de ingreso socioeconómico de calidad para ajustar por este factor. Ninguno de estos es información disponible a la fecha.

De hecho, para entender en completo detalle la efectividad de una escuela para aumentar los puntajes PAES, se debería pedir a los alumnos rendir la prueba en segundo medio, para ver luego el cambio de puntaje en cuarto medio. También hay un problema de las muestras, ya que la PAES no es obligatoria. En otras palabras, no hay por dónde. Es imposible hoy por hoy que un ranking de colegios sea una medida técnicamente correcta de efectividad, incluso si aceptamos que hay una necesidad de publicar tal dato.

La falta de responsabilidad al publicar este tipo de datos, sin advertencias sobre las limitaciones de los análisis, sin citar estudios serios o tener un mínimo sentido de lo metodológico, es evidente. Las universidades, en su rol garante, deberían tomar responsabilidad de estas situaciones al compartir datos y generar reportes a los medios de comunicación; sobre todo en temas en donde ni el público ni al parecer la élite intelectual entiende muy bien de qué está hablando. Chile y sus estudiantes merecen algo mejor.