Artículo de Francesc Xavier Grau Vidal, Catedrático de Mecánica de fluidos de la Universitat Rovira i Virgili (Tarragona)
AVANCE
Los tres ránquines internacionales más reconocidos son Academic Ranking of World Universities (ARWU o Shanghái), Times Higher Education World Universities Ranking (THE) y QS World Universities Rankings (QS). Como conjunto representativo de buenas universidades investigadoras europeas, y de un tamaño que permite un análisis detallado, es adecuado incluir también la red League of European Research Universities, LERU <https:// www.leru.org/>, integrada por veintitrés universidades distribuidas en doce países de Europa Occidental, entre ellos, España.
A pesar de sus sesgos y limitaciones, los ránquines proporcionan información útil y comparable sobre una universidad. Han llegado a formar parte de su tarjeta de visita. Casi veinte años después del nacimiento de ARWU, prácticamente todas las universidades informan sobre su posición en los escalafones, como parte de su imagen de prestigio. Es una información dirigida a la sociedad en general, porque si la posición se considera relativamente buena, representa una manera sintética y muy directa de mostrar eficacia y rendir cuentas. Sirve también para la captación de nuevos estudiantes, especialmente internacionales; y de talento: nuevos investigadores y profesorado.
Frente a la dificultad intrínseca de medir globalmente una institución tan compleja en sus funciones para con la sociedad, la norma objetiva de la producción científica –con sus sesgos y limitaciones– resulta ser la mejor aproximación cuando se trata de universidades investigadoras. La agregación a nivel de país de la información proporcionada por los principales ránquines globales, permite una interesante comparación entre los sistemas universitarios. Cuando se considera, además, información sobre recursos económicos movilizados, la comparación posibilita entrar en el terreno de la eficiencia de los distintos sistemas.
Los países con cierto nivel de descentralización, no desarrollan un sistema universitario único. En función de los recursos movilizados, puede hacerse una estimación del impacto científico esperable, tanto de instituciones individuales como de sistemas universitarios y también de su situación en las tablas, de manera que el posicionamiento real contribuye al conocimiento de la eficiencia de la universidad o del sistema, apunta Francesc Xavier Grau Vidal, catedrático de Mecánica de Fluidos de la Universitat Rovira i Virgili (Tarragona).
ARTÍCULO COMPLETO
Las universidades utilizan los ránquines para proyectar su imagen y, en cierta medida, también en sus políticas de captación de talento, de recursos y de relaciones internacionales. Estos componentes participan de los mecanismos de rendición de cuentas, a nivel informal hacia la sociedad, pero también a nivel formal con las administraciones responsables. Asimismo, la propia administración puede utilizar, y de hecho utiliza, la información proporcionada por ránquines para proyectar públicamente una cierta imagen de eficiencia e impacto del sistema universitario propio.
Uso de los ránquines por parte de universidades
La herramienta de estudio de tendencias Google Trends que proporciona el buscador de internet más utilizado hoy en día, permite evidenciar el dominio de tres ránquines de universidades entre los que tienen carácter global: entre 2003 (año de aparición del primer ranquin de Shanghái) y la actualidad (noviembre de 2022), y en relación con el valor de interés máximo en el periodo (QS en 2022 =100), únicamente Academic Ranking of World Universities (ARWU o Shanghái), Times Higher Education World Universities Ranking (THE) y QS World Universities Rankings (QS) muestran valores significativos, que oscilan entre 5-10 y 100 con máximos relativos anuales entre 10-20 y 100.
Todos los demás ránquines (Best Global Universities Ranking; CWTS Leiden Ranking; Scimago Institutions Ranking; Taiwan NTU Ranking; University Ranking by Academic Performance; Webometrics; Center for World University Rankings…) tienen una presencia en internet prácticamente marginal frente a estos tres. La monografía Crue Rankings, impacto científico y sistemas universitarios (2015) –de ahora en adelante Crue-Ránquines– describe el carácter de estos tres escalafones dominantes y de otros significativos y no es objeto de este artículo entrar en ello. Baste recordar que dos de estos ránquines tienen un cierto componente subjetivo (QS y THE, que incluyen en su elaboración la valoración de la opinión de expertos/pares) y que los tres dan un peso relativamente importante al impacto científico. No es de extrañar, por tanto, que sea objeto de atención particular por parte de las universidades investigadoras, así como por parte de estudiantes y científicos interesados en dichas universidades.
Tabla 1. Información sobre posición en ránquines de universidades de LERU
Como conjunto representativo de buenas universidades investigadoras europeas y de un tamaño que permite un análisis detallado, puede considerarse la red League of European Research Universities, LERU (https://www.leru.org/), integrada por 23 universidades distribuidas en doce países de Europa Occidental (Alemania, Bélgica, Dinamarca, España, Finlandia, Francia, Irlanda, Italia, Países Bajos, Reino Unido, Suecia y Suiza). La tabla 1 recoge la información que las universidades proporcionan sobre su posicionamiento en ránquines, con indicación de la página web correspondiente.
En la tabla 1, las cifras con formato cursiva corresponden a valores proporcionados por el autor y no obtenidos de la información dada por la universidad. En la última fila se puede leer el número total de universidades que citan un ranquin concreto; así, de nuevo, se hace evidente el completo dominio de ARWU, THE y QS en el interés de las universidades. Esta información permite las siguientes observaciones:
- Una gran mayoría de universidades informa sobre su posición en los ránquines, principalmente THE, QS y ARWU.
- La mayoría, en un apartado de información acerca de la universidad, como información de perfil o imagen (universidad en cifras, «facts & figures», o directamente «rankings» …).
- Algunas, explícitamente en relación con la investigación (Trinity College, Heidelberg –perfil investigador, comparación internacional–, Leiden –calidad e integridad–).
- Helsinki, lo hace en un apartado de logros/éxito.
- Edimburgo, en relación con la captación de estudiantes internacionales (study abroad/why-choose-edimburgh)
- Cambridge y Oxford (y quizá la Sorbona), parece que consideran innecesario hacer referencia a ránquines (en un mismo sentido, tampoco la hacen Harvard, MIT o Stanford). Oxford, únicamente cita el ranquin THE para remarcar que durante 10 años ocupa el primer lugar del mundo, algo que de hecho sí es remarcable.
De manera análoga, puede considerarse un conjunto significativo de universidades españolas. En este caso, se han seleccionado las que se encuentran entre las 600 primeras en ARWU (tabla 2).
En este caso no hay excepción: todas las universidades consultadas informan sobre su posición en los tres ránquines principales, y alguna también en otros. Las observaciones a remarcar en este caso son:
- La mayoría de universidades informa sobre ránquines en un apartado de información acerca de la universidad, como información de perfil o imagen (universidad en cifras o directamente «rankings»…).
- Algunas lo hacen en relación con la calidad (Universidad Complutense), la planificación estratégica (Universidad Autónoma de Madrid) o las políticas de excelencia (Universidad de Valencia).
- La Universidad de Sevilla lo hace en un apartado de proyección internacional.
- La Universidad de Vigo, en un apartado sobre reputación e impacto.
Tabla 2. Información sobre posición en ránquines de universidades españolas
En resumen, ambos conjuntos, representativos de universidades europeas de investigación, permiten concluir en este punto que después de casi veinte años de la emergencia de ARWU, prácticamente todas las universidades informan sobre su posición en ránquines, como parte de su imagen de prestigio. Una información que está dirigida a la sociedad en general (si la posición se considera relativamente buena, representa una manera sintética y muy directa de mostrar eficacia y rendir cuentas); a la captación de nuevos estudiantes, especialmente internacionales; y a la captación de talento (nuevos investigadores, profesorado). Se observa también que algunas universidades los utilizan explícitamente en su planificación o en su posicionamiento estratégico, relacionados siempre con todos o algunos de los aspectos anteriores.
Lecciones sobre el uso de los ránquines globales
Han pasado ya cerca de veinte años desde que la Universidad Jiao Tong de Shanghái lanzó el Academic Ranking of World Universities (ARWU) e inauguró la era de los ránquines globales en el ámbito de la educación superior, hasta ese momento solo populares en Estados Unidos y Reino Unido. Tras ARWU, han surgido y siguen proponiéndose otras iniciativas, pero lo más significativo es que, desde su aparición, estos ránquines han desarrollado una profunda influencia en la política universitaria en todo el mundo. Una especie de efecto Heisenberg: la medida ha modificado el sistema medido.
En Crue-Ránquines se analizan pormenorizadamente los tres ránquines en paralelo con un cuarto, el español Scimago Institutions Ranking (SIR). Los tres primeros, por ser los que tienen más incidencia en la política universitaria (no solo en la de las universidades, algunos gobiernos los utilizan aún para orientar su política de becas en el exterior hacia las universidades que aparecen en posiciones destacadas en alguno de estos ellos). Y el cuarto, SIR, por ser el que proporciona una información más detallada y extensa al mismo tiempo sobre cantidad y calidad de producción científica, sin utilizar ningún algoritmo de ponderación.
Evitando repetir aquí el análisis llevado a cabo por Crue-Ránquines, sí es interesante para el objeto de este artículo, recordar las principales conclusiones que la monografía permite extraer, en forma de lecciones sobre el uso de los ránquines.
Una primera lección coincide con lo evidenciado en el apartado anterior: a pesar de sus sesgos y limitaciones, los ránquines proporcionan información útil y comparable sobre una universidad y forman parte de su tarjeta de presentación (facts & figures).
Una segunda lección proviene de la agregación difusa de la información de los ránquines: si se aleja un tanto la vista y se observa el panorama general superponiendo todas las cifras que nos dan estos ránquines, lo que se puede observar es una imagen consistente, en la cual efectivamente las universidades aparecen ordenadas, quizás no de una en una, pero sí en rangos: no tiene sentido el conocimiento o la valoración de una posición concreta según se avanza en la tabla, dado que la precisión en la medida disminuye progresivamente y de manera muy significativa. Efectivamente, en todos los ránquines del orden del 75% del rango total de medida se dedica a diferenciar entre las cien primeras universidades, reservando el 25% a todas las restantes. Así, por ejemplo, una diferencia de un único punto entre 100 en una universidad situada alrededor de la posición 100 puede significar un cambio de unas 5 posiciones, mientras que lo significa de unas 100 para una universidad situada entre las posiciones 300 y 400.
Así, se puede determinar (casi sin duda o discrepancia) cuáles son las mejores diez universidades del planeta, pero cuesta mucho distinguir entre una universidad en una posición 300 en un ranquin o 500 en otro. Ocurre con cierta facilidad: una misma universidad puede estar entre las posiciones 300-400 en THE y no aparecer en ARWU, y viceversa. Del análisis global se infiere que es posible una cierta clasificación del sistema: conociendo la realidad científica de una universidad es posible hacer una buena estimación de su situación general en ránquines globales y, por lo tanto, también a la inversa; de ahí la fascinación por este tipo de clasificaciones en el mundo global, donde es imposible conocer todas las universidades con suficiente detalle (sólo un pequeño conjunto de universidades de élite se podría decir que son mundialmente conocidas), y de ahí también su utilidad. De hecho, como muestra Crue-Ránquines, se puede ir más allá: conociendo solamente el impacto científico total de una institución (número de publicaciones por su impacto medio normalizado, datos que se pueden encontrar en SIR) es posible estimar las probabilidades de que se encuentre entre las 50 primeras en alguna lista, o entre las 100, 200, 300, etc. En definitiva, para las universidades investigadoras los ránquines proporcionan una tercera lección: la variable más determinante es, efectivamente, el impacto de los resultados de su investigación. No existe, ni probablemente llegue a existir (ni sea recomendable el intento), una propuesta de medida de un eventual nivel de calidad o excelencia global de una universidad. Frente a la dificultad intrínseca de medir globalmente una institución tan compleja en sus funciones para con la sociedad, la medida objetiva de la producción científica (con sus sesgos y limitaciones) resulta ser la mejor aproximación cuando se trata de universidades investigadoras. Hace unos diez años, el único gran proyecto que revitalizó al sistema universitario español, y sin contar con apenas inversión económica, fue el de los Campus de Excelencia Internacional (CEI). Sin entrar en su descripción o análisis, baste recordar que se trataron de proyectos de agregación estratégica con planes de actuación en todos los ámbitos de la actividad universitaria, con particular énfasis en los de impacto social y/o territorial y con apartados significativos relacionados con la actividad docente. Es decir, proyectos globales y no exclusivamente de actividad o proyección científica. Y, evaluados por pares (una comisión internacional de expertos) y no basados en parámetros. Crue-Ránquines muestra cómo, efectivamente, entre las 52 universidades con producción suficiente para figurar en SIR (todas las públicas y tres privadas), de los 16 CEI reconocidos, 13 se encuentran por encima de una zona de impacto total del orden de 9.000 y que en esta zona no hay ninguna universidad española que no sea CEI. En una zona intermedia, entre el impacto 4.000 y 9.000, se concentran los CEIR (Campus de Excelencia Internacional de Ámbito Regional) identificados en la primera y segunda convocatorias. Prácticamente no hay ninguna universidad con impacto superior a 4.500 que no lidere un CEI o un CEIR. De algún modo, esta identificación CEI-CEIR con impacto global (y, en definitiva, con presencia en ránquines) se perdió en la tercera convocatoria (uno de los lugares comunes alrededor del programa de Campus de Excelencia es que esa tercera convocatoria no fue oportuna, quizá se hubiese debido esperar al desarrollo de proyectos más fundamentados). Es bien sabido que el programa español se inspiró en los de Francia y Alemania. Pues bien, un análisis de los resultados de estos programas también es ilustrativo: de los 127 centros de educación superior franceses que aparecen en SIR o en alguno de los ránquines globales, 51 se ven afectados por alguna de las convocatorias del programa de excelencia; los 17 mejor colocados en ránquines y en impacto son campus de excelencia. En cuanto a Alemania, del total de 74 universidades que aparecen en SIR, 45 participan del programa de excelencia, con un grado de implicación/éxito que, de nuevo, correlaciona con la posición en ránquines.
En definitiva, la cuarta lección es que, con todas las limitaciones de los ránquines globales, el posicionamiento de las universidades en estos correlaciona con la excelencia de sus proyectos.
La agregación a nivel de país de la información proporcionada por los principales ránquines globales, ARWU, THE y QS, combinada con la proporcionada por SIR en relación a la producción científica y su impacto, permite una interesante comparación entre los sistemas universitarios. Cuando se considera, además, información sobre recursos económicos movilizados, la comparación permite entrar en el terreno de la eficiencia de los distintos sistemas.
¿Cómo se puede agregar información de distintos ránquines y además hacerlo a nivel de país? Naturalmente, no existe un procedimiento establecido o estandarizado. Pero sí se puede hacer de manera sencilla y sin introducir criterios ordenadores adicionales. Basta con considerar las posiciones de las universidades en cada ranquin y, además, que estas son equivalentes. De esta manera, se puede obtener, también, una puntuación para cada sistema universitario, mediante la simple suma de las puntuaciones de sus universidades. Del mismo modo, se puede obtener el número agregado de publicaciones de un sistema universitario, así como su factor de impacto normalizado medio y, naturalmente, su impacto total. Considerando como universo el conjunto de más de 2.400 universidades que aparecen en SIR, representativas además de las universidades investigadoras (con un mínimo de producción científica), y convenientemente agregadas por países, la primera constatación que se puede hacer es que existe una muy buena correlación lineal entre el impacto total por país y la puntuación de éste en los ránquines, como muestra la figura 1, mejor incluso que la que existe universidad a universidad (la agregación disminuye la dispersión).
Figura 1. Impacto agregado de las universidades de un país en función de su puntuación agregada.
Naturalmente, el atractivo de los ránquines radica en la ordenación, en la posición que una institución o un país ocupa en relación con los demás. De nuevo, no se trata de reproducir aquí la información de Crue-Ránquines, sino de recordar que la información en ránquines contribuye a calibrar la posición relativa de universidades o sistemas universitarios. La cuestión central está en poder estimar si una posición determinada de una universidad individual o del sistema universitario de un país está acorde con lo esperable, de acuerdo con su impacto científico. Cuando se añade información económica y la posición esperable se puede estimar también a partir de los recursos movilizados, la posición real acaba representando, también, una medida complementaria de eficiencia. En la figura 2 se recogen todos los países de la OCDE, distribuidos en cuatro cuadrantes, de acuerdo con su gasto relativo en educación superior y la puntuación agregada de sus universidades relativa a sus habitantes.
Figura 2. Distribución de países OCDE en función de su gasto relativo en educación superior y la puntuación agregada de sus universidades relativa a sus habitantes.
Como se observa, en relación con los valores medios de la OCDE, hay países que con un gasto relativo inferior o sensiblemente igual a la media obtienen puntuaciones (presencia en ránquines) muy superiores a la media, un comportamiento indicativo de eficiencia de sus sistemas universitarios. La situación concreta de España, en el cuadrante de gasto relativo bajo y posicionamiento relativo bajo, da idea de la necesidad y también la oportunidad de mejora en ambos conceptos. Este ejemplo sirve para mostrar el uso que, de hecho y bajo formas parecidas, están teniendo los ránquines para contribuir a la explicación y la rendición de cuentas del funcionamiento de una universidad o de un sistema universitario.
Como se remarca en Crue-Ránquines, se trata básicamente de que las universidades españolas tienen una adecuada producción científica en cuanto a cantidad, pero su impacto promedio es relativamente bajo, y es básicamente este el que se corresponde con las mejores posiciones en los ránquines.
El tipo de estudio cuantitativo de Crue-Ránquines permite muchas observaciones, como las que el mismo trabajo desarrolla. Cabe aquí señalar únicamente algunas a modo de ejemplo: en las posiciones elevadas se encuentra un mismo conjunto de países anglosajones y europeos, mayoritariamente nórdicos; el país que reúne sin duda el mayor número de primeras universidades del mundo, EE.UU., muestra tener un sistema muy dispar, liderando también la clasificación en universidades punteras, con un importante gasto total en educación superior, pero también con un sistema que, mayoritariamente, es medio. Ahí radica una disyuntiva política interesante: ¿apostar por concentración de excelencia y un extenso sistema de calidad media, o por un sistema más homogéneo que aporte calidad a la mayor parte de la población, como ocurre en países como España, Francia o Alemania? En cualquier caso, los mismos resultados muestran que España necesita aún extender la calidad de su sistema universitario y mejorar posiciones en cuanto a presencia en ránquines o en impacto científico que, como se ha señalado, son prácticamente equivalentes.
Transformar la producción científica actual, con un impacto promedio del orden del 20% por encima de la media mundial, en una producción que se aproxime a la de los países de la Europa occidental (más del 50% por encima de la media mundial), requiere, sobre todo, mayor inversión global en I+D (pública y privada), como también muestra claramente Crue-Ránquines. Pero esta no es la única variable, ni sería conveniente recurrir únicamente a ella; si se analiza el sistema español con más detalle, a nivel de comunidad autónoma, se observa que internamente es muy heterogéneo, evidenciando que, con un mismo marco legal y análogos niveles de gasto, se obtienen resultados muy dispares.
Ránquines y descentralización
Los países con cierto nivel de descentralización, especialmente en el ámbito de la educación superior, no desarrollan un sistema universitario único. No existe un sistema estadounidense, ni canadiense, ni británico, ni español. En cada uno de estos países con sistemas descentralizados, existen enormes diferencias estructurales internas, aunque compartan una base cultural común. Como las que hay, por ejemplo, entre el SUNY (el sistema público del Estado de Nueva York), la Universidad de California (el sistema público de universidades investigadoras de California) o la Universidad de New Hampshire (la universidad pública de este pequeño Estado); o entre la Universidad de Reading y la de Saint Andrews, o entre la de Québec y la de British Columbia. Aunque en menor medida, porque comparten una misma ley estatal muy intervencionista, existen apreciables diferencias entre los sistemas universitarios de las distintas comunidades autónomas españolas, conformados por las universidades y sus relaciones con sus respectivos gobiernos (especialmente económicas, a través de los distintos modelos de financiación).
¿Pueden servir también los ránquines para identificar diferencias entre los sistemas de las comunidades autónomas que puedan ser de utilidad? La utilidad seguramente podrá ser cuestionable o, en todo caso, dependiente de la mirada o los intereses de cada cual. Las diferencias, como puede verse, son más objetivas. Para disponer de un marco de referencia y comparación, tanto para las universidades individualmente como para su agregación a nivel de comunidad autónoma, se puede disponer de un conjunto de sistemas universitarios europeos que se sitúan entre los más avanzados del mundo y que tienen, todos ellos, una dimensión comparable a las comunidades autónomas españolas de mayor dimensión. Se trata de los sistemas de países occidentales con una población comprendida entre 4 y 10 millones de habitantes: Irlanda, Dinamarca, Finlandia, Austria y Suecia, a los que se ha añadido el sistema escocés, paradigmático de sistema regional descentralizado, con una población similar a Dinamarca y Finlandia.
Figura 3. Distribución de universidades españolas y comparación con la distribución de universidades de países europeos de tamaño comparable, en función de su puntuación en ránquines y su impacto científico, relativos a los ingresos totales respectivos.
La figura 3 es ilustrativa: existe mayor dispersión en la nube universidades españolas de la que existe en cada uno de los sistemas universitarios de dichos países e incluso de la que existe en su consideración conjunta. Efectivamente, en relación con los recursos movilizados, los resultados de las universidades españolas son muy dispares, siendo algunas sensiblemente más eficientes que las universidades de este conjunto de países de referencia. Pero también existe un buen número de universidades españolas –la mayoría de las presentes en los ránquines– que obtienen resultados en impacto y en presencia por debajo del valor medio de referencia. Así, cinco universidades españolas se sitúan como envolvente superior del cuadrante superior derecho, lo que significa que tienen mejor presencia en ránquines de la esperada por ingresos, pero aún mayor impacto. Ninguna universidad española se encuentra en el cuadrante inferior derecho, lo que significa que todas las que tienen mejor presencia en ránquines a la esperada seguramente se debe a su gran impacto. Once universidades se encuentran en el cuadrante inferior izquierdo, y bastante agrupadas en relación con la dispersión observada entre los sistemas de referencia. Finalmente, cuatro se encuentran en el cuadrante superior izquierdo. En definitiva, entre las 20 universidades españolas con presencia en las 500 primeras posiciones de los ránquines principales, 5 la tienen por encima de lo esperable por su dimensión económica y 15 la tienen por debajo. En cuanto a impacto, 9 se encuentran por encima del esperado y 11 por debajo. Como puede verse, el «sistema universitario español» presenta, en estos términos, más diferencias internas que las que se observan entre los 6 sistemas de referencia utilizados. De estas comparaciones se puede extraer, pues, una quinta lección de los ránquines: en función de los recursos moviliza- dos, en términos absolutos o en términos relativos a población o a PIB, puede hacerse una estimación del impacto científico esperable, tanto de instituciones individuales como de sistemas universitarios; y también de su posicionamiento en ránquines, de manera que el posicionamiento real contribuye al conocimiento de la eficiencia de la universidad o del sistema.
Conclusión
Como conclusión general, se puede afirmar que la medida del impacto científico de una institución y la agregación de los impactos de las instituciones de un sistema universitario constituyen una herramienta eficaz para la comparación internacional y el análisis de su posicionamiento y comportamiento relativo. La introducción de variables de tipo socioeconómico aporta, además, información relativa a la eficiencia de dichas instituciones y/o sistemas. El posicionamiento en ránquines constituye también una herramienta igualmente eficaz, con una buena correlación con el impacto. A través de un sencillo método de cuantificación, se puede también medir el posicionamiento en ránquines de países y sistemas universitarios. En general, tanto impacto como posicionamiento son función directamente proporcional a los recursos movilizados en la Educación Superior.
Por ello, los ránquines se usan, más o menos explícitamente, tanto por parte de universidades como por la administración responsable como mecanismo de información, ya sea para la proyección de una imagen, ya sea como parte de la rendición de cuentas.
Este artículo recoge el contenido de la conferencia impartida en el seminario sobre la Rendición de cuentas en las universidades, el 14 de noviembre de 2022, organizado por la Cátedra UNESCO de Gestión y Política Universitaria de la Universidad Politécnica de Madrid y la Universidad Internacional de la Rioja.
NOTAS
1 Academic Ranking of World Universities –ARWU o Shanghái–, Times Higher Education World Universities Ranking, THE, QS World Universities Rankings ‒QS–.
REFERENCIAS
Grau, Francesc Xavier, «Rankings, impacto científico y sistemas universitarios», Monografía Crue (2015).
Grau, Francesc Xavier, «Lecciones sobre Rankings» cuatro entradas consecutivas publicadas en el blog de Studia XXI de “Universidad” entre los meses de abril y mayo de 2016
