Proyecto Knowmetrics


Knowmetrics - Evaluación del conocimiento en la sociedad digital es un proyecto financiado por la Fundación BBVA. En el ámbito de la sociedad digital surgen nuevas formas de generación y difusión del conocimiento que no son reconocidas por los sistemas de evaluación tradicionales centrados en el impacto bibliométrico. Con el objeto de ofrecer una respuesta al sistema actual de evaluación que ponga en valor la transformación digital del conocimiento surge la propuesta “Knowmetrics". Uno de los objetivos de este proyecto es trabajar en la evaluación del impacto digital del conocimiento en la universidades a través de diversas aproximaciones: a través de un índice Knowmetrics que se apoye en el trabajo anterior y a través de las nuevas métricas alternativas o altmetrics.

Más información en http://knowmetrics.org/


Altmétricas: nuevas formas de evaluación


El término altmetrics es muy reciente, y se puede definir como la creación y estudio de nuevos indicadores, basados en la Web 2.0, para el análisis de la actividad académica. La idea que subyace es que, por ejemplo, las menciones en blogs, el número de retwits o el de personas que guardan un artículo en su gestor de referencias puede ser una medida válida del uso de las publicaciones científicas.

Si bien en sentido amplio se podría considerar como indicador alternativo a cualquier medida no convencional en la evaluación de la ciencia, sensu stricto sería más conveniente hablar de indicadores derivados de las herramientas 2.0; es decir, medidas que se generan a partir de las interacciones de los usuarios en la web social (principalmente científicos pero no exclusivamente) con los materiales generados por los investigadores. Una de las principales fortalezas de las altmetrics es que proporcionan datos a nivel de artículo lo que permite valorar la repercusión de los trabajos, más allá de la fuente de publicación del mismo. Diversos estudios han puesto de manifiesto que pueden usarse para medir otros niveles de agregación, como revistas, o universidades.

RK-Ranking Knowmetrics de universidades

Objetivos

El objetivo principal del RK-Ranking Knowmetrics es ilustrar el impacto social de la investigación de las universidadades españolas a través de la visibilidad de su investigación en las redes sociales. Asimismo, otro de los objetivos, es plantear una metodología que nos permite analizar el sistema universitario español desde el punto de vista de las métricas alternativas, dando a conocer estos nuevos indicadores y valorando su posible utilidad a nivel nacional. Los datos que se presentan son de carácter experimental por lo que recogen el impacto en un momento muy concreto (2014-2016, consultas realizadas octubre 2016).

Fuentes de información

RK analiza se centra en analizar el impacto de la investigación, por tanto consideramos como investigación aquellos resultados publicados en revistas científicas de prestigio y considerando como tales las indexadas en revistas científicas indexadas en Web of Science. Por tanto, lo que se analiza es el impacto social de los trabajos publicados por universidades españolas en Web of Science.

Para calcular el impacto y la visibilidad de las universidades españolas a través de las publicaciones en las redes científicas se ha utilizado como fuente de información la plataforma Altmetric.com, uno de los proveedores de altmétricas más importantes. Captura información sobre el impacto de un documento en varios medios sociales y elabora una puntuación ponderada. Para ello elimina ambigüedades en los enlaces a los artículos unificando los enlaces a los números doi, identificadores del repositorio arXiv, entre otros, y sitios web de los editores

Procesamiento de los datos

A continuación describimos los diferentes pasos que hemos hemos llevado a cabo para recopilar y procesar la información:

  1. Paso 1. Descarga Web of Science. Descarga de la producción científica de las universidades españolas considerando el período cronológico 2014-2016 desde Web of Science
  2. Paso 2. Descarga Altmetric. Una vez descargados de Web of Science los trabajos se identifican aquellos que tienen DOI. Con el DOI consultamos la plataforma de Altmetric.com que nos devuelve las altmétricas para cada uno de los trabajos.
  3. Paso 3. Base de datos. Generamos una base de datos con los trabajos Web of Science vinculados a todas las altmétricas y asignados a las universidades que lo han publicado.

Indicadores empleados

Indicadores generales

Relativos a datos globales de la universidades que nos permiten conocer su volumen de publicación, la cobertura de las fuentes empleadas y la visibilidad global de los centros, los indicadores calculados han sido los siguientes:

  • Número WoS: número de documentos Web of Science (publicaciones en revistas internacionales) identificados
  • Número WoS Altmetric: número de documentos WoS que están indexados en la plataforma Altmetric.com
  • WoS Altmetric / WoS: Porcentaje de documentos WoS que están indexados en la plataforma Altmetric.com. Nos permite conocer la cobertura de las universidades en Altmetric. A mayor nivel de cobertura mayor fiabilidad de los datos e indicadores.
  • Total Altmetric Score: el Altmetric Attention Score es un indicador que sintetiza para cada trabajo los diversos indicadores obtenidos en plataformas sociales. Su cálculo está descrito en el documento How is the Altmetric Attention Score calculated?. Para el indicador de nuestra plataforma hemos realizado un sumatorio del Altmetric Attention Score de cada uno de los trabajos publicados por las universidades
  • Total Menciones en Altmetric: es un sumatorio que agrega todas la menciones recibidas por los documentos en cada de las plataformas contempladas por Altmetric.com. En este indicador se han incluido las lecturas en Mendeley.

    Indicadores por plataforma

    Relativos a los datos específicos alcanzados en cada una de las plataformas consideradas por Altmetric.com. Hemos incluido un total de 12 plataformas, para las que se pueden consultar los datos; hay que mencionar que no son todas las plataformas consideradas por Altmetric si no aquellas que hemos considerado más relevantes para incluir en el RK. Los indicadores son los siguientes

    • Number of News Stories
    • Number of Blog Posts
    • Number of Policy Documents
    • Number of Tweets
    • Number of Facebook Posts
    • Number of Wikipedia Pages
    • Number of Google + Post
    • Number of Reddit Posts
    • Number of Research Highlight Platforms
    • Number of videos
    • Number of Mendeley Readers

    Más información sobre los indicadores y fuentes en el documentos de Altmetric.com: Sources of Atttention

Referencias: