Rev Med UAS
Vol. 11: No. 3. Julio-Septiembre 2021
ISSN 2007-8013
Dr. Fred Morgan-Ortiz
DOI http://dx.doi.org/10.28960/revmeduas.2007-8013.v11.n3.001
Formato PDFDos iniciativas han surgido, cuestionando las formas tradicionales de evaluar la investigación: Una de ellas es la iniciativa DORA (The Declaration on Research Assesment)1,2 y la otra es el Manifiesto de Leiden3.
Estas dos iniciativas hacen énfasis en que actualmente los datos (métricas) se utilizan cada vez más para manejar la ciencia y no por los juicios sobre la investigación misma. Y resaltan que las métricas han proliferado, generalmente con una buena intención, pero no siempre bien informadas y muy frecuentemente mal aplicadas.1-3
En el año 2012 durante la reunión anual de la Sociedad Americana de Biología Celular, en San Francisco California, Estados unidos, se firma una declaración que lleva por nombre DORA,1,2 en la cual se reconoce la necesidad de mejorar las formas en que se evalúa la investigación. La adhesión a esta declaración supone, en principio, abandonar el uso de los indicadores bibliométricos tradicionales, como el factor de impacto, el cual se utiliza de manera extendida en varias universidades y centros y agencias de investigación de varios países, pero que en los últimos años esta siendo muy cuestionado, ya que realmente evalúa es a las revistas y no a los productos de investigación como tal. Este factor de impacto de la revista (calculado por Thomson Reuters, que en el 2002 se lanzó como una plataforma Web integrada) que se utiliza como el parámetro principal para evaluar la producción científica de individuos e instituciones fue creado originalmente como herramienta para ayudar a decidir a los bibliotecarios que revista comprar y no como una medida del a calidad científica de un artículo de investigación. Otras métricas utilizadas son las de Scopus de Elsevier (2004) y Google Scholar (2004). El índice h fue lanzado el 2005 para la evaluación de citas de investigadores individuales
Como se comentó previamente, una de las principales deficiencias como herramienta para la evaluación de la investigación, entre muchos otras, de este factor de impacto, es que se evalúa la revista y no el producto (artículo) de una investigación. Otras son que las citas dentro de la revista están muy sesgadas (un solo artículo de un numero de la revista puede hacer que el factor de impacto de la revista se incremente o se mantenga) y el resto de los artículos no son ni siquiera leídos, mucho menos citados; sus propiedades son específicas de cada campo de estudio, y además pueden ser manipulados por la política editorial de la revista y los métodos para calcularlo no son transparentes ni disponibles al público
DORA1,2 se ha convertido en una iniciativa mundial que abarca todas las disciplinas académicas y las partes interesadas claves como son patrocinadores, editores, sociedad científicas y profesionales, instituciones educativas y de investigación, así como a los investigadores. Esta iniciativa alienta a los investigadores y organizaciones interesados en desarrollar y promover las mejores prácticas de evaluación se adhieran a través de la firma de este proyecto. Se aclara que esta iniciativa es abierta y su visión es promover enfoques prácticos y sólidos para la evaluación de la investigación a nivel internacional y para todas las disciplinas académicas.
Los objetivos de DORA son: Sensibilizar (sobre el uso de nuevas herramientas y procesos de evaluación de la investigación y del uso responsable de métricas que estén alineados con los valores académicos); Facilitar su implementación; Catalizar los cambios en la evaluación (a través de la difusión de las reformas en la evaluación de la investigación de todas las disciplinas académicas y a nivel internacional); Mejorar la equidad a través de la solicitud de una representación más amplia de los investigadores en el diseño de prácticas de evaluación de la investigación.
Dentro de sus principales recomendaciones están la necesidad de eliminar el uso de métricas (Ej. Factor de Impacto), necesidad de evaluar la investigación y su producto por sus méritos y no el de la revista y el capitalizar las oportunidades de la publicación en línea.
En el manifiesto de Leiden3 se establecen una serie de práctica para la evaluación de la investigación basada en métricas para que los investigadores puedan hacer que los evaluadores rindan cuentas y que esto puedan mantener su indicador. Todo estas prácticas se resumen en 10 principios: 1) la evaluación cuantitativa debe respaldar la evaluación cualitativa de expertos; 2) Medir el desempeño en lugar de la misión de investigación de la institución, grupo o del investigador; 3) Proteger la excelencia en investigación localmente relevante; 4) Mantener los procesos de recolección de datos y analíticos, abiertos, transparente y sencillos; 5) Permitir que los evaluados verifiquen los datos y el análisis; 6) Tener en cuenta la variación por campo en las prácticas de publicación y citación; 7) Basar la evaluación de investigadores individuales en un juicio cualitativo de su producción; 8) Evitar la concreción incorrecta y la precisión falsa; 9)Reconocer los efectos sistémicos de la evaluación y los indicadores y, 10) Examinar los indicadores de evaluación con regularidad y actualizarlos.
Dr. Fred Morgan-Ortiz
fmorganortiz@hotmail.com
REFERENCIAS