Metodología



  • Porque es un sistema de indicadores transparentes y fiables para medir la calidad del sistema universitario español. El Ranking CYD no usa indicadores sintéticos que dificultan las posibilidades de interpretación.
  • Porque es multidimensional, ofreciendo indicadores para medir y comparar el rendimiento de las universidades en sus diferentes áreas de actividades.
  • Porque toma ámbitos de conocimiento como referencia principal, lo que permite comparaciones más precisas entre universidades.
  • Porque usa indicadores institucionales, no para establecer cuál es la mejor universidad, sino para ofrecer una visión de la diversidad de los perfiles universitarios.
  • Porque clasifica los indicadores por grupos de rendimiento (alto, intermedio y bajo). No elabora un ranking en forma de tablas, determinando qué universidad está en el primer, segundo o tercer lugar, ni por institución, ámbito, dimensión o indicador.
  • Porque es un sistema de indicadores que ofrece al usuario la posibilidad de diseñar su propio ranking. El Ranking CYD está orientado al usuario, y considera que cada usuario tiene sus intereses y preferencias particulares.

El Ranking CYD 2016, como las ediciones anteriores de 2014 y 2015, se ha elaborado asociado con U-Multirank, para el cual la Fundación CYD ha sido el interlocutor en España. El Ranking CYD comparte con el U-Multirank los mismos principios metodológicos adoptados en su elaboración y la mayoría de los indicadores. Sin embargo, incorpora también indicadores apropiados para el sistema de educación superior español.

La tercera edición del Ranking CYD incluye 64 universidades más 2 universidades adicionales para las cuales se ofrecen solo indicadores bibliométricos y de patentes. Estos indicadores se han elaborado extrayendo información de las publicaciones indexadas en la base de datos Web of Science y de la base de datos PATSTAT (EPO-Worldwide Patent Statistical Database de la Organización Europea de Patentes).

El Ranking CYD 2016 cubre, como el U-Multirank, los 4 ámbitos de conocimiento ya incluidos en la primera edición de 2014, los 3 ámbitos de la segunda edición del año 2015- empresariales, física, ingeniería eléctrica e ingeniería mecánica, informática, medicina y psicología. - y seis nuevos ámbitos para la tercera edición –matemáticas, historia, sociología, química, biología y trabajo social.

El objetivo es incorporar en las próximas ediciones más universidades y ampliar el número de ámbitos de conocimiento.

El Ranking CYD es independiente y financiado íntegramente por la propia Fundación CYD.

Para el cálculo de los indicadores se han usado cuatro tipos de datos:

  • Información facilitada por las universidades:

    Parte de esta información se ha obtenido a través del Sistema Integrado de Información Universitaria (SIIU) del Ministerio de Educación, Cultura y Deporte. Además, para obtener la información no incluida en el SIIU, se han diseñado tres cuestionarios online, uno para la recolección de datos de la universidad en su conjunto, otro específicamente para los ámbitos de conocimiento y, el tercero, para los planes de estudios de grado y máster que componen un ámbito de conocimiento. Una vez cerrada la fase de recolección, los datos se han revisado para controlar su consistencia. Los comentarios que han surgido de dicha revisión han sido transmitidos a las universidades para proceder, en caso necesario, a su modificación. Una vez que los datos han sido validados se ha procedido al cálculo de los indicadores de rendimiento.

  • Datos bibliométricos y de patentes:

    Un grupo de indicadores del Ranking CYD están basados en datos bibliométricos. Estos datos se han obtenido vía U-Multirank: el Centre for Science and Technology Studies (CWTS) de la Universidad de Leiden, socio del consorcio del U-Multirank, ha sido responsable de la elaboración de los datos bibliométricos y del cálculo de los respectivos indicadores que el Ranking CYD comparte con el U-Multirank. A su vez los datos bibliométricos han sido extraídos de la base de datos de la Web of Science (WoS), para la cual el CWTS tiene una licencia (Science Citation Index Expanded, Social Sciences Citation Index, and Arts & Humanities Citation Index). La WoS es actualmente una de las dos mejores fuentes para obtener datos bibliométricos mundiales en todas las áreas científicas. Para poder calcular indicadores bibliométricos fiables se ha establecido un umbral mínimo de publicaciones por universidad (50 para las publicaciones indexadas en la WoS entre 2011-2014 para los indicadores institucionales de la tercera edición) y por ámbito de conocimiento (20 para las publicaciones indexadas en la WoS entre 2011-2014 para las áreas científicas asociadas a los ámbitos de conocimiento de la tercera edición, 20 entre 2010-2013 para los ámbitos de la segunda edición y 20 entre 2009-2012 para los ámbitos de la primera. Otra serie de indicadores del Ranking CYD están basados en datos de patentes. Estos datos se han obtenido también vía U-Multirank: el International Centre for Research on Entrepreneurship, Technology and Innovation Management (INCENTIM) de la Universidad de Leuven, socio del consorcio del U-Multirank, ha sido responsable de la elaboración de los datos de patentes y del cálculo de los respectivos indicadores que el Ranking CYD comparte con el U-Multirank. Los datos han sido obtenidos de la base de datos PATSTAT.
    Para más información sobre el análisis bibliométrico de U-Multirank consulta este documento.
    Para más información sobre el análisis de patentes de U-Multirank consulta este documento.

  • Encuesta a estudiantes:

    Los estudiantes, a través de una encuesta, son otra fuente de información para el Ranking CYD. Los estudiantes son considerados uno de los principales usuarios del sistema de indicadores por lo que su capacidad para evaluar la calidad de la enseñanza tiene una especial importancia.

    El U-Multirank ha desarrollado un cuestionario y la correspondiente aplicación informática a través de la cual participan los estudiantes matriculados en las titulaciones de grado y máster incluidas en los ámbitos de conocimiento. En el caso de las universidades españolas, el U-Multirank y la Fundación CYD – a través de las universidades – pidió a los estudiantes que rellenasen el cuestionario online. Una vez cumplimentados los cuestionarios y habiendo alcanzado el umbral fijado en las tasas de respuesta, los resultados obtenidos se incorporan al U-Multirank y al Ranking CYD. Esta información se incorporó por primera vez en la segunda edición, para los ámbitos de informática, medicina y psicología.

    La tasa de respuesta de la encuesta distribuida a los estudiantes en esta tercera edición no ha permitido analizar los resultados para los seis ámbitos de esta fase.

El Ranking CYD ofrece indicadores institucionales y por ámbitos de conocimiento.

Los indicadores institucionales permiten ofrecer una visión de la diversidad de perfiles de las universidades españolas. Los ámbitos de conocimiento se considera que son la unidad más adecuada para comparar el rendimiento de las universidades. Dichos ámbitos de conocimiento son agregaciones coherentes de los programas de estudios. Ello permite comparaciones más precisas entre universidades que pueden ser de interés para futuros estudiantes - que buscan el mejor sitio para estudiar -, para empresas – que buscan la universidad con la que es posible mantener mejores vínculos de cooperación -, o para académicos - que están más interesados en comparar, por ejemplo, la actividad investigadora en su campo de actuación.

Los indicadores están agrupados en cinco dimensiones: (1) Enseñanza y aprendizaje; (2) Investigación; (3) Transferencia de conocimiento; (4) Orientación internacional; y (5) Contribución al desarrollo regional. Además y a diferencia del U-Multirank, el Ranking CYD ha considerado que los resultados de la encuesta a estudiantes deben presentarse en una dimensión propia. El motivo es que estos datos reflejan el grado de satisfacción de los estudiantes, mientras que el resto de indicadores, como ya se ha mencionado, se calculan a partir de datos estadísticos procedentes del Ministerio de Educación, Cultura y Deporte, de las Universidades, de la Web of Science o de PATSTAT.

La selección de la mayoría de los indicadores se ha hecho en consonancia con el U-Multirank. Los indicadores propios del Ranking CYD se han identificado a partir de los trabajos de reflexión de la Fundación CYD con un grupo de expertos y en pruebas piloto con universidades españolas.

Los indicadores se presentan en grupos de rendimiento, estableciendo, en general, tres grupos: alto, intermedio y reducido, siempre y cuando haya un número suficiente de universidades. Los tres grupos se representan por un código de color: verde – alto -, amarillo – intermedio - y rojo – reducido -.
En el caso de no contar con un número suficiente de universidades para un indicador determinado, los resultados se presentan clasificados en dos grupos de rendimiento, verde el grupo de alto rendimiento y rojo el de rendimiento reducido.
En esta tercera edición los grupos de rendimiento para el ranking Institucional y para los rankings de Matemáticas, Biología, Química, Trabajo Social, Sociología e Historia se han determinado atendiendo a los siguientes criterios:

  • Se eliminan las "no respuestas", que configuran un grupo adicional.
  • Se calcula el percentil-33 y el percentil-66 del indicador [1] (incluyendo los valores 0).
  • Se establecen los siguientes grupos:
    • Rendimiento alto: Indicador > percentil-66
    • Rendimiento intermedio: percentil-33 <= Indicador <= percentil-66
    • Rendimiento reducido: Indicador < percentil-33
    • No respuesta

Además, en los rankings de los seis ámbitos mencionados y para un grupo de indicadores, la determinación de los grupos de rendimiento, dado el elevado número de respuestas contabilizadas con valor cero o elevado número de no respuestas, se han establecido los grupos de rendimiento siguiendo otros criterios diferentes.

Un mayor detalle del procedimiento utilizado para la determinación de los grupos de rendimiento se puede ver tanto en el documento metodológico del Ranking CYD correspondiente a la edición de 2016 como los correspondientes a las ediciones del 2014 y 2015.

Metodología Ranking CYD 2016

Metodología Ranking CYD 2015

Metodología Ranking CYD 2014

[1] Percentil-33, por debajo del cual se sitúa el 33% de los valores y percentil-66, por encima del cual se sitúa el 33% de los valores; en ambos casos, siempre habiendo eliminado los valores sin datos.

Tanto el Ranking CYD como el U-Multirank, como ya se ha mencionado anteriormente, son sistemas de indicadores que no utilizan indicadores sintéticos. Una de las razones es que no hay justificaciones metodológicas para agrupar los diferentes indicadores y ponderarlos para construir un único indicador, ordenando luego las universidades en forma de liga. Otra razón es que la exposición de los indicadores uno por uno permite al usuario construir su propio ranking según sus preferencias.

El Ranking CYD ofrece al usuario varias vías de acceso. Un primer punto de entrada “Infórmate sobre tu universidad” ofrece la opción de consultar información relevante de las universidades participantes accediendo a la secciones “La Universidad en datos” y “Busca tu Universidad”.

En la primera sección, se incluyen una serie de variables que permiten caracterizar a las universidades participantes. La segunda sección se trata de un buscador a través del cual se puede acceder a información a nivel institucional y de ámbito de las universidades.

El segundo punto de entrada “Diseña tu ranking a medida” permite crear nuestro propio ranking de universidades. En la sección “Ranking Institucional” se puede construir un ranking personalizado mediante la selección de indicadores de las universidades en su conjunto. En la sección “Ranking por ámbitos” se ofrece la posibilidad de construir rankings personalizados para los 13 ámbitos de conocimiento incluidos hasta esta tercera edición. En ambos tipos de rankings, el usuario tiene la opción de seleccionar universidades e indicadores. Además, una vez construido un ranking institucional es posible seleccionar hasta un máximo de 4 universidades y comparar los resultados de cada una en el conjunto de indicadores.

En otras palabras, el Ranking CYD es una herramienta que ofrece al usuario varias opciones para crear su propio ranking y consultar información de las universidades según sus preferencias e intereses. Así, un futuro estudiante podría dar más relevancia a la dimensión de enseñanza y aprendizaje o de orientación internacional mientras que una empresa podría estar más interesada en el rendimiento investigador de las universidades y en la transferencia de conocimiento, pudiendo seleccionar indicadores de estas dimensiones.

Para más información sobre la metodología consultar el siguiente documento.