Tiempo de lectura: 10 min.

El pasado 27 de abril de 2012 la Unión Europea publicaba el así llamado «Comunicado de Bucarest» que, en preparación de la reunión ministerial que se celebrará en 2015, recoge los retos que la evaluación de las universidades tiene por delante.

En esencia, el comunicado refleja una preocupación por la confianza: la Unión Europea cree necesario que los mecanismos que se siguen para evaluar la calidad de la Enseñanza Superior sean mecanismos de fiar. Pone el acento en lo que denomina «Garantía de Calidad», que, entre otras cosas incluye herramientas de evaluación que permitan la transparencia y la rendición de cuentas. Solo cuando haya claridad sobre lo que cada título ofrece, los sistemas de Educación Superior (es decir, las universidades de los distintos países) podrán implicarse en procesos comunes de compatibilización, reconocimiento mutuo y homologación.

En definitiva, en el avance hacia un Espacio Europeo de Enseñanza Superior se hace necesario que todos (estudiantes, profesores, autoridades públicas, sistemas educativos, organismos internacionales, inversores, familias, etc.) tengamos motivos para confiar en lo que las universidades son y aportan a la sociedad.

En un contexto en el que la crisis económica se manifiesta también en una crisis de confianza en las instituciones (incluidas las universidades), el comunicado de Bucarest merece una reflexión.

Huelga decir que en el mundo universitario hay gran controversia sobre la evaluación. Por resumir el «estado de ánimo»: se critica la arbitrariedad de criterios, la ineficacia de las herramientas, la vulnerabilidad a las influencias, el conflicto de escuelas que se libra en las comisiones evaluadoras, la desatención a lo que realmente tiene valor, la absurda obsesión por acumular certificados, y, en fin, el exceso de burocracia que algunos han dado en denominar la «fatiga evaluadora» que hoy se respira en los despachos y pasillos de nuestras universidades.

Ahora bien, en estas páginas —que no tienen otra pretensión que la de ser un simple apunte— no se puede omitir la consideración de que los procesos que se iniciaron en España en 1995 con el Plan Nacional de Evaluación de la Calidad de las Universidades y que se han consolidado con la evaluación de los sexenios, así como con el establecimiento en 2002 de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (y de las subsiguientes agencias autonómicas), han desarrollado, sin duda, una cultura de la evaluación más beneficiosa que su ausencia.

¿CÓMO HEMOS LLEGADO HASTA AQUÍ? ARMONIZAR LO DIFERENTE

El comunicado de Bucarest constituye un paso más en el proceso de creación del Espacio Europeo de Enseñanza Superior (EEES), que se inició en la Sorbona en 1998 y se rubricó en Bolonia en 1999. Aquí 29 países se comprometieron a coordinar sus políticas educativas con el fin de que en el año 2010 los sistemas educativos se hicieran homologables, de forma que un estudiante, por ejemplo, italiano, pueda hoy obtener su titulación en el país europeo que desee; titulación que le será reconocida en cualquier lugar del EEES para acceder al mercado laboral.

Tanto Bolonia en 1999 como las reuniones de seguimiento subsiguientes (2001 Praga, 2003 Berlín, 2005 Bergen, 2007 Londres, 2009 Lovaina, 2010 Budapest/Viena, 2012 Bucarest) constituyen un intento de armonizar culturas educativas, tradiciones y enfoques diversos. De hecho, el sistema común de grados y posgrados que se estableciera en Bolonia, así como los mecanismos de evaluación de la calidad que se están implantando, incurren en sistemas diferentes, pues diferentes son los orígenes y conceptualizaciones de la universidad.

Es decir, el proceso iniciado en Bolonia trata de llevar a «un punto común» a las universidades de 49 países, que proceden de modelos diferentes que se establecieron en el siglo XIX, cuando la universidad dejara su configuración medieval para pasar a una moderna, en línea con la revolución industrial y el desarrollo del Estado nacional.

Entre estos modelos está, por una parte, el francés, llamado napoleónico por ser la consecuencia del intento imperialista de dominar la universidad. Napoleón, que concebía esta como una corporación al servicio del Estado (y del poder central), hace de las universidades entidades administrativas estatales, en las que formar a los profesionales que el Estado necesita. Este modelo entiende que el profesor universitario debe lealtad al Estado (los profesores son funcionarios); la formación se organiza a través de instituciones que se ponen al servicio de este, escuelas especiales o profesionales, denominadas facultades pues «facultan» para el ejercicio, por ejemplo, de la medicina o la abogacía; la enseñanza se canaliza a través de la lección o clase magistral, impartida por aquel que está refrendado por el Estado; y la autoridad y el gobierno de la universidad descansa en el poder central que es, incluso, el que nombra a los funcionarios.

Si bien ha habido cierta evolución en los sistemas universitarios inspirados en el modelo napoleónico, se puede decir que hoy estos siguen poniendo su confianza en el Estado: es quien vela por la calidad de los títulos (los homologa), refrenda la autoridad del profesor y garantiza, en definitiva, que programas, docencia y preparación profesional se lleven a cabo de acuerdo a los estándares establecidos.

El modelo alemán, que se desarrolla a comienzos de siglo XIX, entiende la universidad como una corporación al servicio de la ciencia. A diferencia del napoleónico, otorga una gran importancia a la investigación, por lo que la universidad no es tanto un canal de transmisión de conocimientos condicionado por las demandas de formación profesional del mercado laboral. En el modelo alemán cobra gran importancia el profesor (que es quien desarrolla las cátedras); se introduce el seminario y la conferencia como modalidades que sustituyen a la lección magistral para propiciar el intercambio entre profesor y alumno; y adquiere relevancia el posgrado o periodo de formación investigadora posterior al grado. El alemán es, en definitiva, un modelo universitario que confía en la capacidad de desarrollar ciencia de sus profesores y alumnos, para hacer de la universidad un motor de la sociedad.

Por último, el modelo anglosajón, al contrario que los anteriores, nunca confió al Estado su garantía de calidad. Mantuvo el carácter privado que tenían las universidades medievales, aspirando a preparar a los alumnos tanto para la investigación como para la profesión. Aunque con diferencias en el mundo norteamericano y británico, se puede decir que, en términos generales, el modelo anglosajón mantiene el departamento como la instancia académicoadministrativa; instancia más cercana que la facultad a las líneas de investigación y que, por tanto, puede desarrollar su docencia más en línea con aquella. El modelo anglosajón confía además en el alumno para la elección de las materias (o bloques de materias) que se han de cursar para obtener un título; trabaja sobre el sistema de créditos como forma de medir el progreso de los estudiantes en un plan de estudios; otorga gran importancia al trabajo personal individual del alumno, así como a la relación de este con el profesor, y entiende obsoleto el currículum rígido. Es un sistema, en definitiva, que confía en la libertad del profesor y del alumno, así como en la autonomía de las universidades, y somete también a los mecanismos de oferta y demanda no solo la retribución de su profesorado, sino también la financiación de las universidades.

Porque confían en algo distinto, que estos tres diferentes modelos de universidad lleguen a un entendimiento común para construir el EEES requiere importantes modificaciones en su manera de evaluar la calidad. Pues Bolonia supone una combinación de estos tres modelos: ahora habrá que poner el acento en el aprendizaje (y no tanto en la docencia); habrá que tener más en cuenta la interacción entre profesor y alumno (y no solo lo que el alumno reporte en un examen); no se trata ya de constatar una acumulación de conocimientos sino también de unas habilidades y destrezas; pero no basta con la docencia, pues la evaluación de esta habrá de hacerse en relación a la investigación.

PARA PONERSE DE ACUERDO EN LOS CRITERIOS DE EVALUACIÓN

En su camino hacia un entendimiento común para establecer un Espacio Europeo de Educación Superior, en el año 2000 se estableció lo que hoy es la European Association for Quality Assurance in Higher Education (EMQA), financiado por la Comisión Europea, nacida de un proyecto piloto iniciado en 1994. Desde entonces los distintos países han puesto en marcha agencias para la evaluación de la calidad de las universidades.

En términos algo simples, la evaluación de la calidad distingue la certificación (que es un «sello» de calidad al que se opta voluntariamente para obtener una distinción, y a ella pueden concurrir programas, servicios o sistemas de gestión; tal es el caso, por ejemplo, del doctorado con mención de calidad) de la acreditación. La acreditación es un «visto bueno» de obligatoria obtención, pues constata que programas o profesores cumplen con un determinado nivel de calidad, el que se exige para impartir un programa o para acceder a una plaza docente. Tanto de la acreditación como de la certificación se deben derivar procesos de mejora y revisión permanente, así como una mayor transparencia por cuanto aquí se produce información pública sobre lo que las universidades son y pueden dar.

Todos los países de la Unión Europea están poniendo en marcha distintos programas de evaluación de la calidad. De manera general se puede decir que los programas más frecuentes son los de la acreditación del profesorado y la certificación de calidad de algunos programas, sistemas de gestión o servicios. En cuanto a la acreditación de los estudios (de grado, posgrado y doctorado), se están estableciendo programas de acreditación ex ante (para verificar si las propuestas de los planes de estudio diseñados están en consonancia con los objetivos establecidos para la construcción del Espacio Europeo de Educación Superior) y de seguimiento. Los programas de acreditación a posteriori (es decir, los que acreditan que el programa ha dado resultados), siguen diferentes velocidades según los distintos países, pero están todavía poco desarrollados1.

Una de las cuestiones críticas es la de cómo y si hacer evaluación institucional, es decir, la evaluación global de una universidad (integrando docencia, investigación, servicios y gestión). Algunos países, como el Reino Unido, pasaron ya hace tiempo de la evaluación de títulos a las evaluaciones institucionales. En España se han puesto en marcha algunos procesos de evaluación institucional pero que tienen que ver, fundamentalmente, con la evaluación de programas2. Es esta una cuestión crítica por lo complejo que resulta llegar a un cómputo global de cada universidad que integre los distintos aspectos y que le haga comparable con el resto.

Los análisis de la evolución de la evaluación de la calidad concluyen en la necesidad de avanzar en los procedimientos y criterios para que la evaluación institucional sea reconocida externa e internacionalmente como válida, y para que las universidades sean evaluadas como organizaciones globales y de manera comparada.

LOS RANKINGS DE UNIVERSIDADES

Precisamente porque el alcance de la evaluación institucional en los distintos países de la Unión Europea es muy heterogéneo, la evaluación de las universidades llevada a cabo por las agencias oficiales no publica rankings de universidades.

Sin embargo, ya hace años que distintas instituciones privadas viene publicando estos índices de evaluación3. Algunos se centran en la evaluación de la investigación. Así por ejemplo, el Scimago Institutions Rankings mide la productividad científica de las instituciones de investigación (impacto científico, especialización temática, conexión internacional con redes de instituciones, etc.). El ShanghayJiago Tong University de China, identifica las 500 mejores universidades en producción científica, guiándose por los premios Nobel o medallas, artículos publicados en Sciencey Nature y número de artículos publicados en el ISI (Institutefor Scientific Information). Otros índices, como el ThimesHigher Education World University Rankings, incluye otros elementos además de la internacionalización y de la investigación (volumen, ingresos que genera e impacto) como son la docencia y el retorno de la investigación (en forma de patentes, por ejemplo). Están además muy establecidos los índices que clasifican las escuelas de negocios, como los de The Economist, Financial Times, Business Week. Por completar un solo somero elenco, se puede mencionar también el Webometrics, que se centra en evaluar la presencia de las universidades en la Web.

Es evidente que cada ranking tiene sus singularidades y objetivos; es evidente también que en cada uno de ellos se pueden encontrar muchas pegas. Por ejemplo, un problema común es el de normalizar los cómputos teniendo en cuenta el tamaño de la universidad o las diferentes áreas de conocimiento (como muestran las modificaciones hechas por el The World University Rankings a la edición de 2012). Pero lo que no se puede negar es que estos rankings, que en términos generales ponen su confianza no en el Estado sino en entidades privadas, así como en la libertad de la demanda, aportan valor y conocimiento sobre lo que las universidades son y ofrecen.

LOS RETOS PARA LA EVALUACIÓN

En este camino hacia un entendimiento, los sistemas universitarios de la Unión Europea necesitan volver la mirada hacia lo que tienen en común para confiar en lo que el «otro» considera de calidad.

Un primer reto de este empeño es el de pasar de la evaluación de los procesos (en la que la universidad está atascada por excesivas rigideces burocráticas) a la evaluación de los resultados. Necesitamos saber más qué es lo que estamos logrando y no tanto sobre el camino por el que queremos lograrlo. Esta es una conclusión repetida en los documentos de la Unión Europea y que también recoge el «Comunicado de Bucarest 2012»: se trata de evaluar los resultados del aprendizaje, para lo que es necesario establecer con más claridad cuáles son los objetivos que el alumno debe alcanzar, y referir a ellos la evaluación. Como muestran algunos análisis recientes, la evaluación de los resultados es todavía una asignatura pendiente, sobre la que solo se pueden citar algunas experiencias piloto4.

Pero una evaluación centrada en los resultados puede obscurecer la importancia de la investigación. Hay que medir resultados preservando, a su vez, la naturaleza investigadora de la universidad. Salvo algunos programas aislados en Francia o en el Reino Unido, la integración de la evaluación de la investigación es todavía una asignatura pendiente en los programas de la Unión Europea. Se hace necesario, por tanto, pasar de la revisión por materias o programas a la auditoría institucional que incluya la producción científica como resultado de una relación intrínseca de esta con la docencia. La auditoría institucional —que no necesariamente la tiene que hacer el Estado a través de sus agencias; hay que confiar en la autonomía de las universidades y en la libertad de sus profesores y alumnos— llevará consigo procesos de mejora y superación que permitirá pasar de la imposición de estándares externos a la autoexigencia interna. Hace falta, por tanto, poner en marcha los programas institucionales fruto de los cuales cada universidad se reoriente y canalice sus energías hacia lo que realmente sabe hacer.

La evaluación de la reputación de las universidades es otro de los retos a señalar. La reputación no es solo evaluación de la excelencia, sino además, del reconocimiento de la misma. En un contexto de austeridad y reducción de recursos, en el que solo sobrevivirá la universidad que sepa concentrar sus energías en hacer lo que mejor sabe hacer, se hacen necesarias no solo estrategias de especialización sino también de diferenciación. Es decir, la crisis está enfrentando a las universidades a la exigencia de obtener valor reputacional: han de hacerse excelentes en algo (y, por tanto, obtener valores altos en los rankings correspondientes de evaluación de la calidad); pero además, necesitan ser reconocidas como tal, es decir, que todos, profesores, estudiantes, mercado laboral, autoridades públicas y sociedad en general, reconozcan esos atributos. Interesante resulta que el índice de calidad que arroja el Times (The World University Rankings) en 2012 sea distinto de su índice de reputación (The World Reputation Rankings), el que incluye la percepción que la gente tiene de las universidades. Esto significa que hay universidades que estando entre los diez primeros puestos en el índice de calidad, no lo están en el de reputación, es decir, no han logrado darse a conocer como buenas.

La evaluación de la calidad y de la reputación permitirá que nuestras universidades lleven a cabo procesos de mejora y excelencia, y en consecuencia, desarrollen un valor intangible que atraerá a los estudiantes, profesores, investigadores e inversores de otros países. Solo así se podrá pasar de la simple rendición de cuentas a la mejora, y de la sospecha a la confianza. _

NOTAS

1 Solo a título orientativo, los programas que la ANECA ha puesto en marchaen España son: VERIFICA (acreditación ex ante de los títulos), MONITOR (parael seguimiento de los mismos), DOCENTIA y ACADEMIA (para la acreditacióndel profesorado), certificados de la solvencia científico-técnica de los programasde doctorado (Programa Mención de Calidad), AUDIT (para orientara las universidades en el establecimiento de sistemas de garantía internade calidad), DOCENTIA (para ayudar a las universidades a evaluar a su profesorado).El programa ACREDITA, que es la acreditación ex post no se hapuesto todavía en marcha.

2 Bajo la etiqueta «Evaluación institucional», el Ministerio ha puesto en marcha el Programa de Evaluación Institucional (PEI) desarrollado por ANECA, y los programas similares de otras agencias autonómicas evalúan las enseñanzas universitarias conducentes a la obtención de títulos de carácter oficial y validez en todo el territorio nacional. Para ello se valen de diferentes modelos de evaluación. En este proceso se han evaluado los programas formativos, la organización de la enseñanza, los recursos humanos, los recursos materiales y el proceso formativo.

3 Sin ánimo de exhaustividad, se puede mencionar aquí los siguientes (algunos ya no están vigentes): América Economía, Asia Week, CEST-Suiza, Forbes, Gourmet, Webometrics Rankings of World Universities, The Economist,The Financial Times, The Guardian, The Philosophical, Qué Pasa, TimesHigher Education Supplement, Universidad Jiao Tong de Shangai.

4 ENQUA (2011), Quality assurance and learning outcomes. Workshop report 17. Helsinki: Education and Culture DG. Lifelong Learning Programme.

Catedrática de Comunicación Política. Universidad Complutense de Madrid