De nuevo el informe PISA (I)

Para los no iniciados: PISA ─Programme for International Students Assesment─  es un programa de la OCDE que trata de evaluar la capacidad de los estudiantes de quince años para usar sus conocimientos y habilidades en lectura, matemáticas y ciencias. No trata, por tanto, de medir los conocimientos, sino la capacidad de usarlos en la práctica, en sintonía con las últimas tendencias pedagógicas en todo el mundo y, también, en España. Según explican, no puede, ni quiere, medir esa capacidad en términos absolutos, sino por comparación de unos países con otros, por eso publican siempre sus resultados en forma de clasificaciones. Claro que a esas clasificaciones les acompaña un exhaustivo estudio que en nuestro caso, ocupa 227 páginas. Cada país participa en el programa de forma voluntaria por decisión de su gobierno y, en España, cada comunidad participa por decisión del gobierno autónomo, a efectos de tener datos separados de los del resto del estado. 

Se realiza un estudio cada tres años. El primero corresponde a 2000 y el último a 2018. En este, han participado 37 países de la OCDE más otros 41 que no pertenecen a esa organización. Nuestro país ha participado en todas las ediciones del informe PISA y, en el último informe, han participado todas las comunidades autónomas, además de Ceuta y Melilla.

El pasado 3 de diciembre de 2019 se han publicado los resultados del último estudio, cuyas pruebas se realizaron a los estudiantes en el primer trimestre del año 2018. Los titulares de prensa han destacado dos asuntos. En primer lugar, determinadas irregularidades en la prueba de lectura llevaron a no publicar los resultados españoles en esa materia, a la espera de investigar el asunto de manera más profunda. En segundo lugar, el descenso tanto en la clasificación como en la puntuación de España en las dos materias de las que se tienen datos: Matemáticas y Ciencias. Las reacciones de políticos, pedagogos, presuntos expertos y opinadores en general no se han hecho esperar y no han defraudado. Han consistido en culpar a la propia prueba mal diseñada, al resto del universo fuera del que habla y al sistema educativo excesivamente memorístico.

Empezaré por la prueba mal diseñada. Esta parece la clásica excusa del mal estudiante, adoptada ahora por el mal gestor o el mal consejero de educación ─o la mala consejera─. Lo mismo se dijo de todas las versiones de la selectividad, de las evaluaciones de diagnóstico y, por supuesto, de todas las oposiciones, olvidando el pequeño detalle de que a otros les va bien. 

En la página de PISA se puede echar un vistazo a las pruebas y, la verdad, no parecen muy desencaminadas. Por ejemplo, en Matemáticas, donde nos ha ido mal, se propone una situación en la que el alumno dispone de un lápiz de memoria o pendrive, con cierto espacio ocupado por imágenes, otro por música y quedan 152 MB libres. La pregunta es qué archivos, cuyos pesos en MB se dan, ha de borrar para poder transferir al lápiz un archivo de 350 MB. A continuación se plantea que en el susodicho pendrive, de una capacidad total de 1 GB, es decir, 1000 MB ─esta equivalencia es suministrada al alumno─, hay 550 MB de música, 338 MB de imágenes y 112 MB de espacio libre. Se transfiere todo este contenido a un nuevo pendrive vacío de 2 GB, o sea, 2000 MB. La pregunta es qué gráfico corresponde a este segundo lápiz: 

Las preguntas van siendo poco a poco más complejas, ya que es objetivo de PISA "discriminar": detectar las diferencias. Aún así, están siempre, en mi opinión, al alcance del alumnado de esta edad. Yo encuentro la prueba casi perfecta. Desde luego, yo no la haría mejor.

En cuanto a las pruebas de lectura, en particular las que fueron objeto de las irregularidades detectadas, consistieron en decidir si ciertas frases tienen sentido o no. Algunas frases fueron:

-Seis pájaros vuelan sobre los árboles.

-Las ventanas cantan en voz alta.

Desde luego que esto no justifica ni hacer trampas ni obtener malos resultados.

Respecto a la tendencia tan generalizada entre los políticos de escurrir el bulto, se llevan la palma la actual ministra de Educación en funciones, Isabel Celáa y la presidenta de la Comunidad de Madrid, Isabel Díaz Ayuso.

La primera despachó el asunto diciendo que las pruebas se habían realizado cuando todavía gobernaba Rajoy y con la LOMCE, ley promovida por el PP. Es cierto, pero a mí me parece un escándalo que la ministra no tenga nada que decir sobre la situación de la educación en España y sus presuntos planes para mejorarla si consiguen formar gobierno. En cuanto a la segunda, su actitud es PPera de manual. Resulta que las irregularidades en la prueba de lectura se dieron en unas comunidades más que en otras. Entre todas, lo más grave fue en Madrid. En la organización de las pruebas, existe la figura del aplicador, una persona que asesora sobre cómo responder a la prueba y explica la misma según directrices de la OCDE. Prueba que, por cierto, se realiza solo por ordenador. Pero dicho aplicador no tiene ninguna función docente ni, mucho menos, corrige. La presidenta acusó a tres de estos aplicadores de las irregularidades pues estas se habían concentrado en las aulas donde ellos habían estado. El hecho de que estos mismos aplicadores hubieran estado en pruebas en otras comunidades autónomas sin que se repitieran los problemas no hizo rectificar a Díaz Ayuso. Pero claro, antes de que la responsabilidad recaiga sobre el gobierno autónomo, cosa que aún no se había sugerido, todo vale. A poder ser, crucificar al más débil: el currante.

Por último, que el método es excesivamente memorístico. Hay cosas que no cambian. Ya he escrito sobre esto y no me repetiré. Solo recordaré lo principal. Primero, la inmensa mayoría de los profesores de Secundaria en España NO utilizan una metodología basada en el aprendizaje memorístico. Y esto es así desde, al menos, los años ochenta. Segundo, muchos profesores de Secundaria en España desprecian la memoria como componente del aprendizaje y esto, en mi opinión es un error y, además, imposible. La memoria es un ingrediente indisociable del raciocinio. Tan indisociable como el pie del juego del balompié. Así que, al culpar al método memorístico, el que lo dice pretende ser vanguardista y está resultando más anticuado que los pantalones acampanados.

Veamos ahora los resultados PISA. No hay datos en lectura por lo que se ha dicho. En Matemáticas, España ha obtenido 481 puntos y el puesto 34, mientras que la media de la OCDE es de 489 puntos. Esto supone un descenso, pues en 2015 se obtuvieron 486 puntos y el puesto 32. La media OCDE, entonces, había sido de 490. En Ciencias, en 2018, 483 puntos y posición 30; media OCDE 489. En 2015, los datos fueron 493 puntos, igualando la media OCDE y posición 28. O sea, un descenso más acusado. Descalabro, titulan algunos periódicos refiriéndose a los resultados particulares de la Comunidad de Madrid. (486 en Matemáticas y 487 en Ciencias). La puntuación máxima en todas las disciplinas ha sido de China, muy por encima de la media. En los puestos de honor están Singapur, Macao, Hong Kong, Taiwan, Japón y Corea del Sur. La mejor europea ha sido esta vez Estonia.  Finlandia sigue obteniendo excelentes resultados aunque ha flojeado un poco en Matemáticas. (En el informe PISA, "China" significa cuatro ciudades chinas: Pekín, Shanghai, Jiangsu y Zhejiang). 

Pues bien, yo creo que la lectura es incorrecta. No se ha producido una bajada significativa y, mucho menos, un descalabro. Lo que ocurre es que el sistema español era y sigue siendo mediocre.

La propia organización señala que una diferencia de ocho o nueve puntos no es significativa ya que es del orden de magnitud de los errores y sesgos estadísticos. Además, 500 puntos de un informe no es lo mismo que 500 puntos del informe siguiente debido a la peculiar forma de puntuar de PISA. Primero se contabiliza cuántos alumnos responden bien o mal a cada problema y esto determina el grado de dificultad de cada pregunta a la que, después, se le asigna un peso en la calificación. Los valores concretos de la puntuación se establecen para que la media sea de 500 puntos. De esta forma, pasar de, digamos, 490 puntos un año a 480 puntos el siguiente, puede significar haber bajado, haber repetido o haber subido. Solo mide como están las cosas ese año respecto a los demás países participantes.

Más objetivo es el puesto en la clasificación. Ahí hemos bajado dos lugares desde 2015 a 2018. Pero, por otro lado, el total de países participantes ha pasado de 70 a 78. 

Así que estábamos y estamos ligeramente por debajo de la media de la OCDE y por debajo del puesto al que nuestro potencial económico nos debería hacer aspirar. La implantación de la LOMCE no ha empeorado significativamente las cosas. Ha sido un esfuerzo social y político que ha generado fuertes desencuentros en las aulas y en la sociedad entre partidarios y detractores y que ha acabado llevándose por delante al ministro Wert... para al final seguir en la misma mediocridad, puede que un poco peor. Para este viaje, etc. Deberíamos esperar que el próximo ministro sea más humilde al tratar de sacar adelante su nueva ley. Pero ya veréis como no.

El informe para España incluye los siguientes gráficos:

En Matemáticas, la propia OCDE interpreta que se da una cierta estabilidad en los resultados españoles, mientras que la media OCDE tiende a bajar ligeramente. Yo añado que, en todo caso, la amplitud de las variaciones es pequeña. La situación está estancada en esa mediocridad. En Ciencias, las variaciones son mayores. A un período de cierta mejora siguió una vuelta atrás. Alcanzamos la media OCDE en un momento en que esta media había bajado, pero, nuevamente nos situamos por debajo. Partiendo de la mediocridad, hemos vuelto a la mediocridad.

Mientras que ocho puntos son considerados no significativos por la OCDE, diferencias mayores sí lo son. De hecho, indican que 30 puntos de diferencia equivalen a un año escolar. El país vencedor fue China. Obtuvieron 591 puntos en Matemáticas y 590 en Ciencias. Alrededor de 110 puntos más en cada materia: más de tres cursos de diferencia. En realidad, China le saca mucha distancia a todos los demás. Es acusada de preparar específicamente la prueba. El país europeo mejor clasificado es Estonia, con 523 puntos en Matemáticas y 530 puntos en Ciencias. Entre 40 y 50 de diferencia equivalentes a curso y medio. Estonia no es un país rico. Al nivel de Estonia se acercan Holanda, Polonia y Finlandia en las distintas disciplinas. Es interesante el caso de Portugal. Partiendo en 2000 de entre 22 y 32 puntos por debajo de España, se ha llegado a situar entre 9 y 11 puntos por encima, a pesar de que en el último informe también parece haberse estancado.

Las causas de esa mediocridad, en  mi opinión, son las que he venido denunciando en estos artículos. No es la propia prueba ni el exceso memorístico. Ni siquiera la LOMCE, que mantiene la mediocridad y puede que la acentúe ligeramente, pero la LOE y la LOGSE ya habían comenzado el camino.

La primera es el propio concepto y diseño de la ESO que ha demostrado ser fallido y que, sin embargo, se mantiene en esencia en las sucesivas leyes. 

En segundo lugar, la existencia de directores y cargos de las consejerías de tipo Anacleto que convierten los centros o los territorios en sus pequeños reinos donde ejercer como caciques. Bajo un régimen tipo Anacleto, o estás con el titular o contra él ─o ella, claro─ y cómo ejerzas tu trabajo es irrelevante mientras seas adicto. 

La tercera es la proliferación de profesores populistas, más preocupados de caer bien que de enseñar. Algunos de estos saben decir flipped classroom, pero dudo de que sepan aplicarla. El ejemplo más perfecto es aquel Victorino, profesor de Lengua, que no hacía pruebas escritas porque sus alumnos las hacían mal. 

Relacionado con la anterior, está la cuarta causa: la santificación de la nota como único indicador de la calidad del trabajo del profesor. Mientras pongas buenas notas, nadie va a preocuparse de si tus alumnos las merecen o no. Es notable como los populistas y santificadores de la nota son, también, los más vehementes detractores de las evaluaciones externas, sean estas las de diagnóstico, las de PISA o la selectividad.

La quinta causa y que, además, puede estar en el origen de la tercera y la cuarta, es el muy escaso respaldo de las familias en particular y de la sociedad en general al trabajo de los profesores. Entre otras cosas, la mayor parte de los, a veces, graves problemas de convivencia en los institutos viene de esa falta de respaldo. Para estas familias, el profesor es el sospechoso habitual de todo. Este es un claro elemento diferencial con las sociedades de los países que obtienen buenos resultados en PISA. En cierta ocasión mis alumnos estuvieron una semana en un intercambio escolar en Suecia. Sin que yo les preguntara por ello, espontáneamente señalaron como diferencia entre un lugar y otro el hecho de que los profesores en Suecia no tenían que gastar tiempo en mantener el orden o llamar la atención. No existían problemas de disciplina o comportamiento. Mas políticamente correcto, digamos, de convivencia. ¡Que se lo digan a cualquier profesor de 3º de la ESO! 

La evolución socioeconómica de los últimos años no ha ayudado. Recortes salariales, aumento de carga lectiva ─con el insulto añadido de Esperanza Aguirre respecto a que nos quejamos por trabajar veinte horas a la semana─ aumento de las ratios y, algo característico de la LOMCE, la hiperburocratización de la función docente. Todos son factores que desaniman al más entusiasta.

En sexto lugar, no tener clara la diferencia entre lo principal y lo accesorio. Ya he señalado que, en mi opinión, el núcleo del aprendizaje lo constituye la lengua y las matemáticas. A continuación la historia, algunos aspectos científicos y puede que una lengua extranjera. A eso debería dedicarse el mayor esfuerzo. Sobre esta base será fácil construir todo lo demás.

Probablemente no son las únicas causas, pero desde luego son algunas de ellas y bastante relevantes.

Continuará.