INTRODUCCIÓN
Los rankings son un ejercicio de transparencia universitaria. Independientemente de lo que miden y cómo lo miden, son herramientas que pueden favorecer el entendimiento y conocimiento entre las universidades y sus diferentes stakeholders.
La rendición de cuentas y la transparencia son conceptos que poco a poco han ido ganando protagonismo en la agenda de la política universitaria en España y en el debate entre los actores de esta política, y los rankings son una herramienta que puede favorecer el desarrollo de estos conceptos en el quehacer universitario.
Las universidades españolas, como muchas otras entidades de carácter público, se han visto inmersas en intensos procesos de apertura. En el caso de estas instituciones educativas, el desarrollo de la cultura de la calidad y sus sistemas de evaluación han sido determinantes para avanzar en este proceso. Los rankings, de alguna manera, han contribuido a forzar esta apertura de las universidades a la sociedad.
La exposición pública de las universidades promovida por los rankings, no era algo habitual en el sistema español, y las reacciones a este fenómeno han sido diversas. Para algunos universitarios, los rankings son algo desconocido, lejano o incomprensible. Para otros, en cambio, son fuentes de información obligada para orientar el posicionamiento de la propia institución o para la toma de decisiones estratégicas, como la búsqueda de referentes nacionales e internacionales de la excelencia universitaria, de socios para la formación de alianzas, entre otros fines.
También hay quienes han visto en el uso creciente de los rankings una amenaza para la universidad pública, para su autonomía o para la prevalencia de las misiones universitarias sobre otros intereses o fines distintos. Estas reacciones negativas respecto al uso de los rankings han sido más evidentes cuando los resultados de estos han sido utilizados sin acompañarlos de cierta pedagogía que favorezca su entendimiento y limite las posibilidades de una interpretación equivocada o de un uso malintencionado.
Para entender los resultados de los rankings es fundamental conocerlos con cierta profundidad. No solo para evitar interpretaciones incorrectas, sino para la gestión adecuada de la información provista por sus resultados, del efecto que estos tienen en la institución y el aprovechamiento de dicha información.
LA IMPORTANCIA DE CONOCER LOS RANKINGS PARA ENTENDERLOS E INTERPRETARLOS
En la actualidad, los rankings han alcanzado tal punto de desarrollo que su diversidad es muy amplia.
Lo primero que habría que decir es que no existe el ranking perfecto o único que se adecúe a todos los usos y usuarios. Cada rankingse construye con una finalidad específica y su metodología se diseña acorde a esta. Un ranking puede explicar con acierto un aspecto concreto de la actividad universitaria y a la vez decir muy poco de otras funciones de la universidad. Algunos organismos, como la European University Assotiation, advierten que los rankings en ningún caso explican en su totalidad el estado de las universidades, lo que estas hacen y cómo lo hacen.
La proliferación de rankingsque en la actualidad se elaboran en el ámbito de la educación superior responde a diversos criterios que hay que tener en cuenta.
Por una parte, el fin o propósito para el que son creados imprime diferencias claras en los resultados de estas clasificaciones. Esta finalidad está fuertemente vinculada a la organización u organismo que los elabora. Existen, por ejemplo, rankings elaborados por agencias gubernamentales que, por lo general, tienen como finalidad la transparencia de los sistemas universitarios y la información a los usuarios de estos sistemas. Normalmente, este tipo de rankings tienen una visión más amplia de la actividad universitaria e incluye con mayor relevancia aspectos relacionados con la docencia, la transferencia de conocimiento y la dimensión social de las universidades, por ejemplo.
Otros, en cambio, son elaborados como un ejercicio comparativo más centrado en el prestigio y la competencia entre instituciones universitarias. En este caso se encuentran algunos rankings elaborados por instituciones privadas y medios de comunicación en colaboración con instituciones educativas. Los rankings de Times ((Times Higher Education World University Rankings) y Shanghái (Academic Ranking of World Universities) son ejemplo de este tipo de clasificaciones. Como se explica en esta colaboración, estos se centran más en aspectos como la actividad investigadora o el prestigio de su personal docente y sus egresados.
Por otra parte, los resultados de los principales rankings internacionales muestran muy poco la realidad de algunos sistemas universitarios. Solo basta observar que en las tablas de estos rankings, las primeras decenas —y centenas— de posiciones están ocupadas por universidades de Norteamérica, de algunos países europeos y otros, menos, de países de Asia y del Pacífico. Ello ha dado como respuesta el surgimiento de rankings de carácter regional y de ámbito temático, generalmente impulsados desde organismos públicos o privados que esperan obtener con esta práctica comparaciones entre instituciones vinculadas a un determinado territorio o dedicadas a una actividad universitaria determinada. En España hay ejemplos, como las clasificaciones elaboradas por algunos medios de comunicación, como El Mundo, por alguna universidad, como la de Granada, o, recientemente, por el Instituto Valenciano de Investigaciones Económicas.
En esta línea están, también, los rankings con una orientación hacia una determinada actividad universitaria. Frente a la crítica de que los rankings internacionales se centran demasiado en la actividad investigadora y en sus resultados, surgieron iniciativas como las mencionadas anteriormente, que incluyen otras variables para construir indicadores relacionados con otras actividades universitarias, como la docencia, la transferencia de resultados o la vinculación con el territorio.
De lo anterior se puede extraer una conclusión: todos los rankings deben ser útiles para cumplir con una finalidad, sin embargo, no todos cumplen con la finalidad de ser útiles para las instituciones.
Para el International Rankings Expert Group Observatory1 (ireg), los rankingstienen varios propósitos: proveen de información comprensible sobre el estado de las instituciones universitarias, fomentan la competencia entre las universidades, aportan criterios racionales para la distribución de recursos y permiten diferenciar entre tipos de instituciones y ofertas formativas.
Con el considerable aumento de rankings y tablas de clasificación, era previsible que no todos cumplieran con mínimos atributos o características que de alguna manera avalasen la calidad del ranking y de la información que provee.
Por ello, el ireg acordó la definición de dieciséis principios de calidad y de buenas prácticas en rankings universitarios, llamados los principios de Berlín:
1. Los rankings deben ser solo uno más de los diferentes instrumentos y aproximaciones para la evaluación de la educación superior.
2. Ser claros sobre el propósito del ranking y el grupo o colectivo objeto de la comparación.
3. Reconocer y valorar la diversidad entre las instituciones, sus objetivos y misiones.
4. Aportar información clara sobre las fuentes de información empleadas en sus mediciones para la construcción de los rankings.
5. Especificar algunos aspectos de contextualización de los sistemas e instituciones como la lengua, la cultura, la economía, etcétera, que pueden aportar sesgos a los resultados de los rankings.
6. Ser transparentes sobre la metodología empleada.
7. Elegir indicadores relevantes y validados, es decir, que midan realmente los aspectos relacionados con las fortalezas de las instituciones.
8. Primar los outcomes sobre los inputs en la elección de la información a tener en cuenta, cuando sea posible hacerlo.
9. Definir los pesos asignados a cada indicador y limitar sus cambios.
10. Seguir los estándares éticos y recomendaciones de buenas prácticas que se incluyen en estos principios.
11. Usar datos verificables y auditados siempre que sea posible.
12. Incluir datos recogidos con procedimientos apropiados para la recogida de datos científicos.
13. Aplicar medidas y procedimientos para la garantía de la calidad de los propios rankings.
14. Aplicar medidas organizativas que favorezcan la credibilidad de los rankings.
15. Proporcionar a los consumidores de los rankings la información suficiente y comprensible sobre todos los factores utilizados en el desarrollo del ranking.
16. Evitar los errores de los datos originales en la compilación final e informar de estos al público.
Siguiendo estos principios, cualquier usuario de los rankingsestaría en disposición de llevar a cabo una valoración de la calidad de los rankings mediante cuatro preguntas básicas: ¿qué miden?, ¿cómo lo miden?, ¿para qué lo miden? y ¿cómo se presenta?
Si el ranking cumple con los principios descritos debería proporcionar información suficiente para responder a estas preguntas. En el caso contrario, si no hay transparencia y claridad para hacer una interpretación adecuada de sus resultados, el ranking puede favorecer su uso equivocado.
Los rankings son objeto de crítica permanente. La mayoría de las críticas se relacionan con el incumplimiento de algunos de los principios mencionados. El recelo está presente —con frecuencia— en las declaraciones de algunos responsables universitarios sobre los resultados de las universidades españolas en los rankings más conocidos: el Times y el Shanghái.
Times y Shanghái son dos rankings universitarios en los que la actividad científica y sus resultados tienen un gran peso en el resultado final de la clasificación de las universidades. En el primero, el Times, los trece indicadores en los que se basa el ranking se agrupan en cinco áreas de la universidad: docencia, investigación, citación de publicaciones, ingresos de la industria y desarrollo de la internacionalización. Los indicadores de docencia solo tienen el 30% del peso en el resultado final del ranking, mientras que los relacionados con la actividad investigadora y las citaciones aportan, cada una, un 30%.
Por su parte, Shanghái basa su ranking en cuatro criterios: calidad de la docencia, calidad del profesorado, producción investigadora y rendimiento per cápita. En cuanto a calidad de la docencia el indicador utilizado es el número de exalumnos con premios Nobel o medallas Fields (10% de peso); igualmente en el caso de la calidad del profesorado, profesores con premio Nobel o medallas Fields (20%) al que se añaden los investigadores con alto índice de citación (20%).
En estos, los dos casos anteriores, las comparaciones entre instituciones tan diversas conllevan sesgos y errores en su interpretación. Algunos factores del contexto de las universidades determinan sus posibilidades en el orden de las clasificaciones. Tal es el caso de las universidades españolas, que no aparecen en estos listados hasta avanzada la segunda centena de universidades analizadas. Comparar alguna universidad española con el topcincuenta de estos rankings no podría llevar a una conclusión válida si no se tienen en cuenta las claras diferencias que entre estas existen. Por ejemplo, ¿qué ofrecen las universidades para la atracción de profesorado de prestigio internacional?, ¿cómo contratan las universidades a su profesorado internacional?, ¿influye la hegemonía de la lengua inglesa en el mundo científico y en sus publicaciones?, etcétera.
Otros rankings y clasificaciones reciben fuertes críticas por lo sorprendente de sus resultados. El lector puede hacer un sencillo ejercicio, acudir a algunas clasificaciones, como el umultirank2 —que ha publicado recientemente sus primeros resultados— y buscar en cada criterio las universidades españolas mejor situadas. La sorpresa es mayúscula cuando las universidades con mayor demanda de estudiantes, o mayor actividad científica y de transferencia, no aparecen en los primeros puestos en algunos de los aspectos que tiene en cuenta esta clasificación. Ello no significa que esta herramienta sea inútil. Es un proyecto aún en construcción y revisión.
USOS Y USUARIOS DE LOS RANKINGS
En tanto que los rankings van captando más atención por parte de stakeholders de la educación superior y los medios de comunicación, sus usos y usuarios se diversifican y aumentan. A continuación se desarrollan algunos posibles usos de los rankingssegún sea su usuario.
Las universidades pueden hacer un uso diverso de los rankings. En el ámbito de la comunicación y el marketing, una buena posición en los rankings es un potente mensaje para aumentar el prestigio de la institución. Este prestigio puede rentabilizarse por diversas vías: la atracción de los mejores estudiantes, profesores e investigadores, la captación de recursos vía fundraising, o la obtención de proyectos de investigación, el acuerdo de alianzas con socios preferenciales, por ejemplo.
Los rankingsson, también, un medio eficaz para que las universidades adquieran sellos o distintivos de calidad que les permita diferenciarse de otras. En este caso, en un sistema de universidades tan homogéneo como el español, una posición favorable en los rankings internacionales es una etiqueta que aporta un gran valor añadido a la universidad.
Los rankings proveen a las administraciones educativas información sobre el posicionamiento de su sistema universitario y sus universidades en entornos geográficos y ámbitos temáticos diferentes. También proveen de información que puede ser utilizada para el diseño de políticas universitarias encaminadas a mejorar los servicios que prestan las universidades y para favorecer la internacionalización de estas instituciones
Para los profesores e investigadores, los rankings son una fuente de información para encontrar los referentes sobre los centros de excelencia y aquellos que son punteros en las áreas científicas en las que desempeñan su actividad docente e investigadora. En el caso de este colectivo, los rankings proporcionan una dimensión internacional de gran importancia. La identificación de equipos de investigación reconocidos internacionalmente permite delinear futuras actuaciones en el ámbito de la movilidad y de las redes internacionales.
El uso de los rankings por parte de los estudiantes, sin embargo, no ha alcanzado aún su potencial. En primer lugar, los futuros estudiantes universitarios se enfrentan a una de las decisiones más relevantes de su carrera formativa: la selección del centro en el cual llevar a cabo sus estudios. En Estados Unidos de América existen rankings consolidados, elaborados por medios de comunicación, que ofrecen información que ayuda en esta toma de decisiones, Sin embargo, en España aún no se cuenta con rankings que aporten este tipo de información con suficiencia. Los rankingsorientados a los estudiantes deberían ser capaces de responder preguntas clave como ¿cuál es la valoración de los empleadores sobre la formación impartida por las universidades?, ¿qué universidad tiene mejores resultados de inserción?, ¿qué títulos universitarios tienen más prestigio y en qué universidades están?, etcétera.
No es el caso de los estudiantes de máster y doctorado, que encuentran en los rankings existentes más información de apoyo para perfilar su carrera profesional o su actividad investigadora según las fortalezas de las instituciones universitarias.
RECOMENDACIONES PARA CONVIVIR CON LOS RANKINGS
En un trabajo que elaboramos en la Cátedra unescode Gestión y Política Universitaria de la Universidad Politécnica de Madrid, por encargo de la Fundación Universidad Empresa y la Fundación para el Conocimiento Madri+d, sobre la internacionalización de las universidades de Madrid, se llevaron a cabo entrevistas con los responsables de las competencias sobre internacionalización de universidades públicas, privadas, institutos universitarios y escuelas de negocios y de posgrados. Una de las preguntas que se realizó a estos responsables era sobre si los rankings influían en la definición de su estrategia institucional de internacionalización. Esta experiencia puede ser una muestra de la forma cómo la comunidad universitaria en España reacciona frente a los rankings.
Algunos declararon que sí, que efectivamente tenían en cuenta los resultados de los rankings y que estos influían en sus estrategias de búsqueda de universidades con las que establecer relaciones institucionales de alianzas y convenios en el ámbito de la colaboración académica e investigadora y la movilidad. Otros señalaron que los observan pero que no influyen en su planteamiento estratégico sobre la internacionalización. Finalmente, unos pocos declararon que no los observan y que, en consecuencia, no son elementos que se tienen en cuenta en el diseño de sus estrategias de internacionalización.
Sería recomendable que las universidades den a los rankings el valor que tienen y nunca más de este. Tener una buena posición en un ranking no debería ser un objetivo único o superior de la institución, de tal manera que en la consecución de tal fin se desvirtúen los fines más nobles de las universidades. Debe tenerse en mente que los rankings son valoraciones externas a la universidad.
Sin embargo, el discurso que descalifica el uso de los rankings por considerarlos una amenaza a la integridad y autonomía universitaria debería desaparecer y sustituirse por otro que contenga argumentaciones pedagógicas que favorezcan su entendimiento y, por supuesto, su crítica fundada. Ello significa integrar el tratamiento y conocimiento de los rankings en las estrategias de comunicación institucional de las universidades, primero, para poner en práctica la pedagogía antes mencionada con todos los estamentos universitarios, segundo, para tener un mayor control sobre el mensaje derivado de los resultados de los rankings, y finalmente, para fundamentar actuaciones, sobre todo en los ámbitos de la internacionalización y las relaciones institucionales.
Mientras algunos responsables universitarios rechazan el uso de los rankings, muchos otros han decidido incorporarlos en sus procesos de rendición de cuentas, como una manera de informar a la sociedad y a sus stakeholders de su situación, tal es el caso de las escuelas de negocios en España.
Solo conociendo los rankings es posible diseñar y poner en marcha estrategias encaminadas a mejorar posiciones en estas clasificaciones, actuando en aquellos aspectos en los que la universidad tiene capacidad de incidir.
Esta actitud respecto de los rankings debiera verse reflejada de forma transversal en las actividades universitarias, pues se trata, simple y sencillamente, de llevar a cabo ejercicios de comparación con otras instituciones.
En el informe de la European University Association, titulado «EUA report on rankings 2011. Global University Ranking and their impact», se sugería no tomarse demasiado en serio las posiciones en los rankings. Ello no debe ser interpretado como una recomendación de restarle relevancia a los rankings y sus efectos en las universidades. Solo se trata de alertar a las universidades sobre algunos efectos que pudieran afectar el adecuado funcionamiento de las universidades, pues los rankings no siempre reflejan la calidad de las instituciones o el verdadero valor que estas tiene en el territorio donde se encuentran.
NOTAS
1 El IREG Observatory tiene sus antecedentes en el International Rankings Expert Group formado en el año 2002 y convertido en Observatorio en 2009.
Es una asociación sin fines de lucro que agrupa a organizaciones de rankings, universidades y otros organismos interesados en los rankings universitarios. Su finalidad es el fortalecimiento del conocimiento y entendimiento público de los rankingsuniversitarios y la excelencia académica. www.ireg-observatory.org
2 www.u-multirank.eu
