jueves, 26 de diciembre de 2019

De nuevo el informe PISA (II)

En el artículo anterior expresé mis dudas respecto a la interpretación que periodistas, políticos y expertos hicieron de los últimos datos españoles del informe PISA. Sostengo que los valores en que se basan esas interpretaciones no permiten esas conclusiones ya que, según la propia OCDE, las diferencias de ocho puntos o menos no son significativas debido al margen de error del propio estudio. Creo que la media española en este informe está, básicamente, donde estaba: en la mediocridad. El descenso, de existir, es leve.


No obstante, sí se pueden hacer otros análisis que no se han hecho, al menos no de la forma en que yo pienso que se pueden hacer. O yo no he sabido encontrarlos, claro.

El informe analiza diferencias en el rendimiento por razón de género, de porcentaje de inmigrantes, de porcentaje de repetidores, etc. Son todos muy interesantes, pero me detendré en dos aspectos.

En primer lugar, la diferencia entre centros públicos y privados. PISA entiende por privados tanto los privados concertados como los que no tienen concierto. Diferencia por titularidad. Solo son públicos los de titularidad del estado ─las comunidades autónomas, en España─. 
En Matemáticas, los centros privados obtienen mejores puntuaciones en todas las comunidades. La mayor diferencia se da en Canarias, con 54 puntos. La menor en La Rioja, con una diferencia no significativa. La media de España es de 28 puntos a favor de los centros privados. En Ciencias, la situación es similar. En todas las comunidades ganan los centros privados, la máxima diferencia en Canarias con 60 puntos, la menor en Galicia con solo unas décimas y la media del estado de 22 puntos. En ambas disciplinas, la diferencia media en la OCDE es similar a la española.
Esto es grave. En Canarias un alumno de un centro privado va, como media, dos cursos más adelantado que uno de un centro público. En Ceuta y Melilla la diferencia es aún mayor.

Pero antes de sacar conclusiones precipitadas, veamos cómo la OCDE define el ISEC, Índice Socio Económico y Cultural «para medir los aspectos relacionados con el contexto social, económico y cultural de los estudiantes» pues «la evidencia muestra que la repercusión del estatus socioeconómico y cultural en el rendimiento académico es muy importante». Existe un ISEC para los estudiantes y otro para los centros. En la elaboración de este índice se incluye información relacionada con la ocupación profesional y el nivel educativo de los padres, así como con los recursos disponibles en el hogar (por ejemplo, número de libros, dispositivos digitales...). El resultado es un índice máximo de 0,55 para Islandia, una media OCDE de -0,03, una media para la UE de -0,04 y un índice para España de -0,12. México y Colombia tienen un -1,19. Por comunidades, el máximo es para Madrid con 0,15 y el mínimo para Melilla con -0,61.

Nótese como las comunidades con mejor ISEC tienden a estar en el norte.

Si descontamos de la puntuación de los centros públicos o privados el efecto del ISEC, las cosas cambian.
Si descontamos el efecto del ISEC de los estudiantes, la diferencia a favor de los centros privados se reduce de 28 a 9 puntos. Esta reducción de la diferencia también se da en la media de la OCDE, pero en menor medida. Con esta corrección, en muchas comunidades deja de ser significativa la diferencia entre centros públicos y privados.
Si, a continuación, descontamos también el efecto del ISEC de centros, las diferencias dejan de ser significativas en todas las comunidades autónomas y, en gran parte de ellas, esta diferencia no significativa es a favor de los centros públicos. En la media de España también es superior ahora la puntuación de los centros públicos.


En Andalucía, Asturias, Cantabria, Castilla y León, Cataluña, Galicia, Murcia y La Rioja ganan ahora los centros públicos. En La Rioja de forma muy significativa. En Navarra y en Baleares se da un empate.
Parece que la situación socio económica y cultural sí tiene un gran impacto en el rendimiento escolar, como bien sabemos los profesores de instituto.

Veamos ahora las diferencias entre comunidades. Estas son las notas:


Hay una notable diferencia norte-sur. Navarra, Castilla y León, Galicia, Cantabria, Asturias, Aragón y Cataluña están en ambos casos por encima de la media OCDE, y estas más País Vasco, Madrid y La Rioja, por encima de la media española en ambas disciplinas. Mientras tanto, Murcia, Comunidad Valenciana, Extremadura, Andalucía, Canarias y las ciudades autónomas de Ceuta y Melilla están siempre por debajo de la media. Baleares y Castilla-La Mancha están en la media española, intercambiando sus posiciones en las dos materias.

Un análisis somero muestra que, entre el mejor resultado y el peor, hay 92 puntos de diferencia en Matemáticas y 95 en Ciencias, tres cursos escolares. Mucho más que las variaciones anuales de España o la diferencia con la media OCDE que es lo que los periódicos han destacado y que no suelen llegar a 9 puntos.
Recordando que, por ejemplo, en Ciencias, España ocupó el puesto 30, Galicia sola ocuparía el 12, mientras que Ceuta ocuparía el 61.
En el caso de Ceuta y Melilla, la cosa es gravísima. No solo están a 80 o 90 puntos de la mejor comunidad autónoma, sino que están entre 30 y 50 puntos peor que la PEOR comunidad autónoma, en ambos casos Canarias. Un curso o curso y medio de retraso.
Ceuta y Melilla son los únicos territorios, aparte de la acción educativa en el exterior, en los que el Ministerio mantiene las competencias. Así que no me cabe duda de que el ministro y los numerosos secretarios de estado y subsecretarios, directores generales y subdirectores, jefes de área y de servicio, inspectores, asesores y demás fauna están devanándose los sesos para decidir qué medidas deben implementar para remediar esta situación. Y que contarán también con la gente competente.
La diferencia de Canarias respecto a la mejor nota es de 40 puntos. Inaceptable.

Mi hermano diría que la explicación está en la termodinámica estadística: el caos aumenta con la temperatura. Me gusta la broma, pero resulta que en Madrid, Toledo, Badajoz o Granada hace más frío en invierno que en Vigo y, por otro lado, cuando hace más calor, que es en julio y agosto, no hay clase. Puede que haya alguna otra relación.

Veamos una posible relación muy del gusto de pedagogos, políticos y opinadores. El siguiente gráfico muestra el porcentaje de alumnos repetidores de esa edad en las diferentes comunidades:


El nivel de repetidores es muy alto en España, mucho mayor que la media de la OCDE y, a grandes rasgos, reproduce el esquema norte-sur coincidiendo con los resultados PISA. Probablemente, por esto, a algunos políticos se les ocurrió una receta infalible para solucionar el problema. Confundiendo causa con síntoma, han llegado a proponer prohibir por ley repetir curso. Yo veo ahí un guion para un gag de Les Luthiers:

Dos de los cómicos interpretan el papel de un profesor y un alumno, respectivamente. Otros dos son políticos que discuten sobre como solucionar el problema de los repetidores. Uno de ellos dice:
─Ya lo tengo, doctor. Observe.─ Y dirigiéndose al alumno, le dice: ─Mirá nene, tenés que aprobar todo o, si no, ¡zas!─, mientras con una mano hace un gesto como si se cortara el cuello.
─¡Cómo se le ocurre, doctor! ─dice el otro político─ ¡Pobre criatura! ¿Y si el nene no quiere estudiar? Déjeme a mí. Yo tengo la solución.─Y dirigiéndose al profesor, dice: ─Mirá nene, tenés que aprobar a todos o, si no, ¡zas!.
Y todos sonríen y asienten.

Veamos ahora ciertos indicadores económicos. El siguiente gráfico muestra el PIB per cápita del año 2018,según datos del INE:

Como es sabido, las comunidades más ricas son Madrid y las que se sitúan alrededor del valle del Ebro. El PIB de Madrid o el País Vasco casi duplica el de Exremadura o Melilla. Se  puede observar que todas las comunidades más al norte que Madrid están por encima de todas las que están al sur. De nuevo se reproduce el esquema norte-sur. 

La siguiente tabla muestra la tasa de paro en septiembre 2019 según datos de la EPA. En marzo de 2018 no serían muy distintos:


Excepto Asturias, de nuevo el norte frente al sur.

Hay una notable relación que trataré de poner en evidencia de forma más clara mediante algunos gráficos. Para elaborar estos gráficos he normalizado los datos a base 100. Esto es, las puntuaciones en ambas disciplinas se recalculan asignando el valor 100 al máximo en cada caso. Lo mismo se hace con el PIB. Respecto a la tasa de paro, primero calculo la tasa de ocupación ─91,8 para Baleares y Navarra y 71 para Melilla─ y, a continuación asigno 100 a Baleares y recalculo el resto. Se obtienen los siguientes datos:



Las cosas se ven mejor en gráficos:

1. Comparación de las puntuaciones en Matemáticas y en Ciencias.


Hay una enorme coincidencia entre ambas notas. Solo Navarra, País Vasco y La Rioja, obtienen una nota apreciablemente menor en una de las disciplinas. Pero esa diferencia es siempre menor del 4 %, equivalentes a un 0,4 sobre 10. O sea, los que  obtienen mejores resultados son, básicamente los mismos en ambas disciplinas.

2. Relación de las puntuaciones con el PIB:


En líneas generales se da una coincidencia significativa.
En la parte baja, aunque no en el mismo orden, las comunidades de menor PIB, son las que obtienen peores resultados. Comunidad Valenciana un poco peor de lo que su PIB sugiere y Extremadura un poco mejor.
En cuanto a la parte alta, se da la misma coincidencia general. Madrid está francamente por debajo de su nivel de PIB, mientras que  Castilla y León, Cantabria, Galicia y Asturias ganan posiciones respecto a su clasificación por PIB.

3. Relación con la tasa de desempleo (o de ocupación):


En esta ocasión, la coincidencia es tan completa que es llamativa. Madrid y Baleares rinden por debajo de lo que podría esperarse mientras que Castilla y León, Galicia y, sobre todo, Asturias y las del final de la tabla, por encima. (C... es Comunidad Valenciana).

Las conclusiones son, creo, evidentes:
El sistema educativo español es mediocre y lleva siéndolo desde al menos el año 2000. Pero además de mediocre es injusto socialmente. El sistema refleja las diferencias socioeconómicas que se dan en el país. Es mejor para los alumnos y las comunidades más favorecidas y peor para los alumnos y comunidades desfavorecidas. En particular, allí donde hay más paro, el rendimiento educativo es nítidamente peor.
¿Qué es antes, el paro o el fracaso escolar? No lo sé. Pero me imagino la actitud para el estudio de los chicos y chicas de 15 años de familias humildes y que creen tener muy pocas expectativas laborales.
España es un país con graves diferencias que 40 años de autonomía no han sabido remediar. Buena parte del norte y Madrid es rico, mientras que el sur es pobre.
Las comunidades del norte menos rico, Galicia, Asturias, Cantabria y Castilla y León han obtenido buenos resultados, en términos comparativos con el resto de comunidades por potencial económico. Dos tradicionalmente del PP, una del PSOE y otra del PRC.
La comunidad más rica de España, una de las de menos paro, feudo del ala más ultra del PP, laboratorio de experimentos liberales de sucesivas lideresas y lideresos, posee un sistema que favorece a las élites y condena a los desfavorecidos y obtiene unos resultados muy por debajo de sus posibilidades.

Así que ni la prueba ni la memoria ni el resto del universo.

lunes, 16 de diciembre de 2019

De nuevo el informe PISA (I)

Para los no iniciados: PISA ─Programme for International Students Assesment─  es un programa de la OCDE que trata de evaluar la capacidad de los estudiantes de quince años para usar sus conocimientos y habilidades en lectura, matemáticas y ciencias. No trata, por tanto, de medir los conocimientos, sino la capacidad de usarlos en la práctica, en sintonía con las últimas tendencias pedagógicas en todo el mundo y, también, en España. Según explican, no puede, ni quiere, medir esa capacidad en términos absolutos, sino por comparación de unos países con otros, por eso publican siempre sus resultados en forma de clasificaciones. Claro que a esas clasificaciones les acompaña un exhaustivo estudio que en nuestro caso, ocupa 227 páginas. Cada país participa en el programa de forma voluntaria por decisión de su gobierno y, en España, cada comunidad participa por decisión del gobierno autónomo, a efectos de tener datos separados de los del resto del estado. 
Se realiza un estudio cada tres años. El primero corresponde a 2000 y el último a 2018. En este, han participado 37 países de la OCDE más otros 41 que no pertenecen a esa organización. Nuestro país ha participado en todas las ediciones del informe PISA y, en el último informe, han participado todas las comunidades autónomas, además de Ceuta y Melilla.

El pasado 3 de diciembre de 2019 se han publicado los resultados del último estudio, cuyas pruebas se realizaron a los estudiantes en el primer trimestre del año 2018. Los titulares de prensa han destacado dos asuntos. En primer lugar, determinadas irregularidades en la prueba de lectura llevaron a no publicar los resultados españoles en esa materia, a la espera de investigar el asunto de manera más profunda. En segundo lugar, el descenso tanto en la clasificación como en la puntuación de España en las dos materias de las que se tienen datos: Matemáticas y Ciencias. Las reacciones de políticos, pedagogos, presuntos expertos y opinadores en general no se han hecho esperar y no han defraudado. Han consistido en culpar a la propia prueba mal diseñada, al resto del universo fuera del que habla y al sistema educativo excesivamente memorístico.

Empezaré por la prueba mal diseñada. Esta parece la clásica excusa del mal estudiante, adoptada ahora por el mal gestor o el mal consejero de educación ─o la mala consejera─. Lo mismo se dijo de todas las versiones de la selectividad, de las evaluaciones de diagnóstico y, por supuesto, de todas las oposiciones, olvidando el pequeño detalle de que a otros les va bien. 
En la página de PISA se puede echar un vistazo a las pruebas y, la verdad, no parecen muy desencaminadas. Por ejemplo, en Matemáticas, donde nos ha ido mal, se propone una situación en la que el alumno dispone de un lápiz de memoria o pendrive, con cierto espacio ocupado por imágenes, otro por música y quedan 152 MB libres. La pregunta es qué archivos, cuyos pesos en MB se dan, ha de borrar para poder transferir al lápiz un archivo de 350 MB. A continuación se plantea que en el susodicho pendrive, de una capacidad total de 1 GB, es decir, 1000 MB ─esta equivalencia es suministrada al alumno─, hay 550 MB de música, 338 MB de imágenes y 112 MB de espacio libre. Se transfiere todo este contenido a un nuevo pendrive vacío de 2 GB, o sea, 2000 MB. La pregunta es qué gráfico corresponde a este segundo lápiz
Las preguntas van siendo poco a poco más complejas, ya que es objetivo de PISA "discriminar": detectar las diferencias. Aún así, están siempre, en mi opinión, al alcance del alumnado de esta edad. Yo encuentro la prueba casi perfecta. Desde luego, yo no la haría mejor.
En cuanto a las pruebas de lectura, en particular las que fueron objeto de las irregularidades detectadas, consistieron en decidir si ciertas frases tienen sentido o no. Algunas frases fueron:
-Seis pájaros vuelan sobre los árboles.
-Las ventanas cantan en voz alta.
Desde luego que esto no justifica ni hacer trampas ni obtener malos resultados.

Respecto a la tendencia tan generalizada entre los políticos de escurrir el bulto, se llevan la palma la actual ministra de Educación en funciones, Isabel Celáa y la presidenta de la Comunidad de Madrid, Isabel Díaz Ayuso.
La primera despachó el asunto diciendo que las pruebas se habían realizado cuando todavía gobernaba Rajoy y con la LOMCE, ley promovida por el PP. Es cierto, pero a mí me parece un escándalo que la ministra no tenga nada que decir sobre la situación de la educación en España y sus presuntos planes para mejorarla si consiguen formar gobierno. En cuanto a la segunda, su actitud es PPera de manual. Resulta que las irregularidades en la prueba de lectura se dieron en unas comunidades más que en otras. Entre todas, lo más grave fue en Madrid. En la organización de las pruebas, existe la figura del aplicador, una persona que asesora sobre cómo responder a la prueba y explica la misma según directrices de la OCDE. Prueba que, por cierto, se realiza solo por ordenador. Pero dicho aplicador no tiene ninguna función docente ni, mucho menos, corrige. La presidenta acusó a tres de estos aplicadores de las irregularidades pues estas se habían concentrado en las aulas donde ellos habían estado. El hecho de que estos mismos aplicadores hubieran estado en pruebas en otras comunidades autónomas sin que se repitieran los problemas no hizo rectificar a Díaz Ayuso. Pero claro, antes de que la responsabilidad recaiga sobre el gobierno autónomo, cosa que aún no se había sugerido, todo vale. A poder ser, crucificar al más débil: el currante.

Por último, que el método es excesivamente memorístico. Hay cosas que no cambian. Ya he escrito sobre esto y no me repetiré. Solo recordaré lo principal. Primero, la inmensa mayoría de los profesores de Secundaria en España NO utilizan una metodología basada en el aprendizaje memorístico. Y esto es así desde, al menos, los años ochenta. Segundo, muchos profesores de Secundaria en España desprecian la memoria como componente del aprendizaje y esto, en mi opinión es un error y, además, imposible. La memoria es un ingrediente indisociable del raciocinio. Tan indisociable como el pie del juego del balompié. Así que, al culpar al método memorístico, el que lo dice pretende ser vanguardista y está resultando más anticuado que los pantalones acampanados.

Veamos ahora los resultados PISA. No hay datos en lectura por lo que se ha dicho. En Matemáticas, España ha obtenido 481 puntos y el puesto 34, mientras que la media de la OCDE es de 489 puntos. Esto supone un descenso, pues en 2015 se obtuvieron 486 puntos y el puesto 32. La media OCDE, entonces, había sido de 490. En Ciencias, en 2018, 483 puntos y posición 30; media OCDE 489. En 2015, los datos fueron 493 puntos, igualando la media OCDE y posición 28. O sea, un descenso más acusado. Descalabro, titulan algunos periódicos refiriéndose a los resultados particulares de la Comunidad de Madrid. (486 en Matemáticas y 487 en Ciencias). La puntuación máxima en todas las disciplinas ha sido de China, muy por encima de la media. En los puestos de honor están Singapur, Macao, Hong Kong, Taiwan, Japón y Corea del Sur. La mejor europea ha sido esta vez Estonia.  Finlandia sigue obteniendo excelentes resultados aunque ha flojeado un poco en Matemáticas. (En el informe PISA, "China" significa cuatro ciudades chinas: Pekín, Shanghai, Jiangsu y Zhejiang). 
Pues bien, yo creo que la lectura es incorrecta. No se ha producido una bajada significativa y, mucho menos, un descalabro. Lo que ocurre es que el sistema español era y sigue siendo mediocre.

La propia organización señala que una diferencia de ocho o nueve puntos no es significativa ya que es del orden de magnitud de los errores y sesgos estadísticos. Además, 500 puntos de un informe no es lo mismo que 500 puntos del informe siguiente debido a la peculiar forma de puntuar de PISA. Primero se contabiliza cuántos alumnos responden bien o mal a cada problema y esto determina el grado de dificultad de cada pregunta a la que, después, se le asigna un peso en la calificación. Los valores concretos de la puntuación se establecen para que la media sea de 500 puntos. De esta forma, pasar de, digamos, 490 puntos un año a 480 puntos el siguiente, puede significar haber bajado, haber repetido o haber subido. Solo mide como están las cosas ese año respecto a los demás países participantes.
Más objetivo es el puesto en la clasificación. Ahí hemos bajado dos lugares desde 2015 a 2018. Pero, por otro lado, el total de países participantes ha pasado de 70 a 78. 
Así que estábamos y estamos ligeramente por debajo de la media de la OCDE y por debajo del puesto al que nuestro potencial económico nos debería hacer aspirar. La implantación de la LOMCE no ha empeorado significativamente las cosas. Ha sido un esfuerzo social y político que ha generado fuertes desencuentros en las aulas y en la sociedad entre partidarios y detractores y que ha acabado llevándose por delante al ministro Wert... para al final seguir en la misma mediocridad, puede que un poco peor. Para este viaje, etc. Deberíamos esperar que el próximo ministro sea más humilde al tratar de sacar adelante su nueva ley. Pero ya veréis como no.

El informe para España incluye los siguientes gráficos:




En Matemáticas, la propia OCDE interpreta que se da una cierta estabilidad en los resultados españoles, mientras que la media OCDE tiende a bajar ligeramente. Yo añado que, en todo caso, la amplitud de las variaciones es pequeña. La situación está estancada en esa mediocridad. En Ciencias, las variaciones son mayores. A un período de cierta mejora siguió una vuelta atrás. Alcanzamos la media OCDE en un momento en que esta media había bajado, pero, nuevamente nos situamos por debajo. Partiendo de la mediocridad, hemos vuelto a la mediocridad.

Mientras que ocho puntos son considerados no significativos por la OCDE, diferencias mayores sí lo son. De hecho, indican que 30 puntos de diferencia equivalen a un año escolar. El país vencedor fue China. Obtuvieron 591 puntos en Matemáticas y 590 en Ciencias. Alrededor de 110 puntos más en cada materia: más de tres cursos de diferencia. En realidad, China le saca mucha distancia a todos los demás. Es acusada de preparar específicamente la prueba. El país europeo mejor clasificado es Estonia, con 523 puntos en Matemáticas y 530 puntos en Ciencias. Entre 40 y 50 de diferencia equivalentes a curso y medio. Estonia no es un país rico. Al nivel de Estonia se acercan Holanda, Polonia y Finlandia en las distintas disciplinas. Es interesante el caso de Portugal. Partiendo en 2000 de entre 22 y 32 puntos por debajo de España, se ha llegado a situar entre 9 y 11 puntos por encima, a pesar de que en el último informe también parece haberse estancado.

Las causas de esa mediocridad, en  mi opinión, son las que he venido denunciando en estos artículos. No es la propia prueba ni el exceso memorístico. Ni siquiera la LOMCE, que mantiene la mediocridad y puede que la acentúe ligeramente, pero la LOE y la LOGSE ya habían comenzado el camino.
La primera es el propio concepto y diseño de la ESO que ha demostrado ser fallido y que, sin embargo, se mantiene en esencia en las sucesivas leyes. 
En segundo lugar, la existencia de directores y cargos de las consejerías de tipo Anacleto que convierten los centros o los territorios en sus pequeños reinos donde ejercer como caciques. Bajo un régimen tipo Anacleto, o estás con el titular o contra él ─o ella, claro─ y cómo ejerzas tu trabajo es irrelevante mientras seas adicto. 
La tercera es la proliferación de profesores populistas, más preocupados de caer bien que de enseñar. Algunos de estos saben decir flipped classroom, pero dudo de que sepan aplicarla. El ejemplo más perfecto es aquel Victorino, profesor de Lengua, que no hacía pruebas escritas porque sus alumnos las hacían mal. 
Relacionado con la anterior, está la cuarta causa: la santificación de la nota como único indicador de la calidad del trabajo del profesor. Mientras pongas buenas notas, nadie va a preocuparse de si tus alumnos las merecen o no. Es notable como los populistas y santificadores de la nota son, también, los más vehementes detractores de las evaluaciones externas, sean estas las de diagnóstico, las de PISA o la selectividad.
La quinta causa y que, además, puede estar en el origen de la tercera y la cuarta, es el muy escaso respaldo de las familias en particular y de la sociedad en general al trabajo de los profesores. Entre otras cosas, la mayor parte de los, a veces, graves problemas de convivencia en los institutos viene de esa falta de respaldo. Para estas familias, el profesor es el sospechoso habitual de todo. Este es un claro elemento diferencial con las sociedades de los países que obtienen buenos resultados en PISA. En cierta ocasión mis alumnos estuvieron una semana en un intercambio escolar en Suecia. Sin que yo les preguntara por ello, espontáneamente señalaron como diferencia entre un lugar y otro el hecho de que los profesores en Suecia no tenían que gastar tiempo en mantener el orden o llamar la atención. No existían problemas de disciplina o comportamiento. Mas políticamente correcto, digamos, de convivencia. ¡Que se lo digan a cualquier profesor de 3º de la ESO! 
La evolución socioeconómica de los últimos años no ha ayudado. Recortes salariales, aumento de carga lectiva ─con el insulto añadido de Esperanza Aguirre respecto a que nos quejamos por trabajar veinte horas a la semana─ aumento de las ratios y, algo característico de la LOMCE, la hiperburocratización de la función docente. Todos son factores que desaniman al más entusiasta.
En sexto lugar, no tener clara la diferencia entre lo principal y lo accesorio. Ya he señalado que, en mi opinión, el núcleo del aprendizaje lo constituye la lengua y las matemáticas. A continuación la historia, algunos aspectos científicos y puede que una lengua extranjera. A eso debería dedicarse el mayor esfuerzo. Sobre esta base será fácil construir todo lo demás.
Probablemente no son las únicas causas, pero desde luego son algunas de ellas y bastante relevantes.

Continuará.