La metáfora del termómetro es la que mejor describe el significado de evaluaciones como PISA. Estas pruebas sólo valoran el estado de los aprendizajes de los estudiantes pero no muestran un diagnóstico de los factores que explican sus resultados y, por la misma razón, no proporcionan elementos para orientar la política educativa. Estos aspectos se han señalado desde hace años (véase el editorial de la revista Perfiles Educativos de 2017).
Cabe anotar que PISA y evaluaciones como PLANEA se acompañan de encuestas cuya información se relaciona con los resultados de las pruebas, pero sólo es un análisis de asociación de variables que no explica los procesos que ocurren en las escuelas.
El principal cuestionamiento a PISA proviene de enfoques de ciencia política y sociología. Un artículo de Hanberger (2014) resume en el siguiente un párrafo esas críticas:: “PISA se … caracteriza por ser un conjunto de instrumentos (o tecnologías) de políticas complejos, transnacionales, psicométricos y discursivos que pretenden producir ‘verdades fundamentales’ sobre la educación…” (p.168).
Esa crítica pierde de vista que PISA es sólo un elemento de un conjunto de políticas de educación discutidas y promovidas a nivel internacional. Un subconjunto de esas políticas se puede agrupar en el llamado “enfoque neoliberal” que refiere a formas específicas de organización escolar, de enseñanza, de cómo se organiza el servicio docente, el tipo de incentivos y formas de evaluación. Hay diversos cuestionamientos que se pueden hacer a un modelo educativo “neoliberal”, pero PISA como instrumento de valoración de los aprendizajes tiene un papel menor en la definición del enfoque educativo “neoliberal”.
- ¿Qué valora la prueba PISA?
La OCDE publicó algunos de los reactivos usados en sus pruebas de 2022 y 2018. Vamos a considerar un reactivo de lectura de la prueba de 2018 y un reactivo de matemáticas (https://www.oecd.org/pisa/test/).
Reactivo de lectura
En las preguntas de lectura, una de ellas versa sobre el consumo de leche en Estados Unidos. Veamos la pregunta aplicada para México (https://pisa2018-questions.oecd.org/platform/index.html?user=&domain=REA&unit=R557-CowsMilk&lang=esp-MEX).
La pregunta inicia como sigue:
“En algunos lugares, como en los Estados Unidos, el consumo de leche de vaca es frecuente”.
Imagina que tres estudiantes, Anna, Cristopher y Sam, tienen curiosidad por saber por qué la cafetería dejaría de servir leche de vaca, de modo que Anna hace una búsqueda en internet en su celular sobre la “leche de vaca”.
A continuación la prueba presenta dos artículos de Internet (dirección ficticia)
lectura 1. El valor nutricional de la leche: ¡incontables beneficios!. Esta lectura señala los nutrientes de la leche, la opinión de un nutriólogo y de la asociación de productores de leche (AIPL).
Lectura 2. ¡DI “NO” A LA LECHE DE VACA!. Esta lectura señala que las autoridades, productores y empresas defienden el consumo de leche por adultos. Por su parte, los médicos señalan que los adultos no se benefician del consumo de leche y, por el contrario, hay afectaciones a la salud.
Las preguntas sobre la lectura 1 son: (no incluyo todas las opciones de respuesta):
- Según la AIPL, ¿con qué afirmación están de acuerdo los profesionales y las organizaciones de la salud?
- ¿Cuál es el propósito principal de este texto?
Las preguntas sobre la lectura 2 son: - ¿Podrían las siguientes afirmaciones representar el propósito por el cual el Dr. Martínez escribe el artículo? Selecciona Sí o No para cada una de las afirmaciones.
- El Dr. Martínez presenta algunos resultados del estudio que pueden ser “sorprendentes” para los lectores. Escribe uno de ellos.
- Según los dos textos sobre la leche, ¿las afirmaciones de la siguiente tabla son hechos u opiniones? Selecciona Hecho u Opinión para cada una de las afirmaciones.
- Los autores de ambos textos no están de acuerdo en el papel de la leche en la dieta habitual. ¿En qué punto principal no están de acuerdo los autores?
- Anna, Cristopher y Sam hablan sobre los dos textos. “Cristopher: No me importa lo que haga el propietario de la cafetería, yo voy a seguir tomando leche cada día. Es muy buena para la salud”. “Anna: ¡Yo no! Yo voy a tomar menos leche a partir de ahora si no es buena para la salud”, y “Sam: No sé, creo que tenemos que saber más antes de llegar a una conclusión” ¿Con quién estás de acuerdo?
b) reactivo de matemáticas
Un reactivo de matemáticas versa sobre el sistema solar (https://www.oecd.org/pisa/test/pisa-2022-mathematics-test-questions.htm).
El reactivo proporciona como datos las distancias entre el sol y los planetas en unidades astronómicas (UA = 150 millones de kms). Un dato es que Neptuno está a 30.05 UA. La pregunta es: ¿aproximadamente a cuántos millones de kilómetros del Sol se encuentra el planeta Neptuno? La respuesta de opción múltiple es: 5, 30, 180, o 4,500 millones de kms.
¿Cuáles son las criticas o cuestionamientos concretos que se pueden hacer a este tipo de preguntas?
- Estandarización y descontextualización del conocimiento
La lectura sobre consumo de leche no representa un conocimiento estandarizado. No se trata de conocer el consumo de leche en Estados Unidos. Tampoco se busca estandarizar la comprensión u opiniones de un problema. Tampoco representa una descontextualización del conocimiento. El proceso educativo en cada país puede introducir la lectura de diversos temas de interés. Una pregunta es si el sistema educativo de México prepara a los estudiantes para realizar este tipo de lecturas donde comprendan, reflexionen y sinteticen situaciones como las señaladas en el reactivo de PISA. Algunos problemas críticos para México pueden incluir la lectura de temas como los siguientes:
a) contaminación del aire en las ciudades del país, b) contaminación de los ríos; c) desagüe de aguas negras de la Cd México y sus consecuencias en la contaminación de cultivos en Tlaxcala e Hidalgo; c) destrucción del medio ambiente, selvas, bosques, lagos; d) consumo de alimentos chatarra; e) violencia, entre otros temas. Esos mismos problemas se pueden ver de manera local en Sonora, Yucatán, Quintana Roo, o en cualquier entidad.
El reactivo de matemáticas sobre la distancia de Neptuno no sólo tiene el propósito de valorar las habilidades en aritmética de los estudiantes; todos o la mayoría de nosotros utilizamos alguna vez la famosa regla de tres. Más allá de esta regla, la comprensión de las proporciones entre objetos, así como otros problemas de matemáticas, “entrenan” las capacidades de análisis sistemático lo cual trasciende aspectos numéricos y son de utilidad para desarrollar capacidades para comprender, dilucidar, la consistencia en argumentos e ideas. Por ejemplo, en los argumentos que adolecen de la falacia de generalización (Juan nació en Michoacán, Juan es músico, entonces los nacidos en Michoacán son músicos).
Los reactivos señalados de la prueba PISA refieren a una lectura de comprensión, reflexión, síntesis y un análisis sistemático los cuales son aspectos deseables de la formación educativa de los estudiantes en cualquier país. Las características de estos ejercicios no se relacionan con los críticas regulares realizadas a PISA donde le atribuyen la estandarización y descontextualización de los conocimientos. - La política educativa y la OCDE
Una observación del artículo de Hanberger (2014) es que la OCDE establece un mecanismo de conducción suave ya que no analiza los factores que afectan los aprendizajes ni los recursos que necesitan invertir los sistemas educativos de los países. Otro argumento es que “PISA … pretende homologar una representación neoliberal de la educación,.. el papel de la educación en la formación para la democracia, la responsabilidad ciudadana y la promoción de la justicia social pierde protagonismo…” (citado en Por otra política educativa. Foro de Sevilla).
Las críticas a la OCDE y PISA son paradójicas ya que propiamente reclaman que no haya una mayor intervención de la OCDE en la definición de parámetros de gasto, democracia y responsabilidad ciudadana. No intento justificar pero sí avanzar una explicación de que tales parámetros pudieran generar resistencias en diversos países por considerar que se trata de intervenciones en las políticas educativas de cada país.
PISA valora aspectos básicos, base, para la formación de los estudiantes, pero no incluye todas las dimensiones de la educación de los estudiantes lo cual se puede atender desde las políticas nacionales. Es el caso de Colombia que aplica una prueba de competencias ciudadanas para valorar las capacidades de convivencia social, participación y responsabilidad ciudadana (MEN de Colombia). La valoración de estas competencias se explica por las etapas de violencia padecidas en dicho país.
PISA tiene relevancia al proveer información para conocer los resultados de la política educativa de países con diferentes formas de gobierno y cultura. Por su parte, la OCDE realiza recomendaciones de política pero éstas no necesariamente se siguen como señala Montse Gomendio, que ocupó el cargo de Ministro de Educación en España y un cargo en la OCDE (PISA: Mission Failure).
Uno de los principales efectos de PISA es que su difusión mediática coloca en entredicho los resultados de las políticas para la educación de los gobiernos en diferentes países. En Estados Unidos y Europa se cuestionan sus políticas educativas, pero en situación contraria están los países de Asia. En México de manera inmediata los resultados de PISA pueden señalar las fallas en las políticas educativas desde 1993.
Los gobiernos, los estudiantes, las empresas, las organizaciones políticas y sociales pueden interpretar y utilizar la información de PISA desde sus respectivos intereses y necesidades. Algunos de estos intereses tienen mayor poder en las decisiones de política, pero la relación entre fuerzas políticas, económicas y sociales, nacionales e internacionales, no se define en la política de educación y mucho menos a través de la prueba PISA y sus reactivos de valoración de aprendizajes.
Referencias
Márquez Jiménez, A. (2017). A 15 años de PISA: resultados y polémicas. Perfiles Educativos, 39(156), 3-15. http://www.scielo.org.mx/scielo.php?script=sci_abstract&pid=S0185-26982017000200003&lng=es&nrm=iso&tlng=es
Hanberger, A. (2014). What PISA intends to and can possibly achieve: a critical programme theory analysis. European Educational Research Journal, 13(2), 167-180.
Gomendio, M. (2023). PISA: Mission Failure – With so much evidence from student testing, why do education systems continue to struggle? Education Next, 23(2), 16-22. https://www.educationnext.org/pisa-mission-failure-with-so-much-evidence-student-testing-why-do-education-systems-struggle/
Foro de Sevilla. La lógica neoliberal de la educación en: https://eldiariodelaeducacion.com/porotrapoliticaeducativa/2023/12/25/el-regimen-pisa-la-logica-neoliberal-en-educacion/
MEN, Ministerio de Educación Nacional de Colombia. Competencias ciudadanas. https://www.mineducacion.gov.co/1621/article-87284.html.
Facebook Comentarios
