O manifesto de Leiden sobre indicadores de investigación

 

Os datos sobre as actividades científicas están a ser cada volta mais empregados para goberna-la ciencia. Avalaicions sobre investigación que foron no seu intre deseñadas individualmente para o seu contexto específico e realizadas por pares, son agora cotians i están baseadas en métricas¹. O problema é que a avaliación pasou de estar baseada en valoracions de expertos a depender desas métricas. Os indicadores teñen proliferado: normalmente con boas intencions, non sempre ben informados, e decote mal aplicados. Cando organizacions sen coñecemento sobre as boas prácticas e a interpretación axeitada de indicadores levan a cabo as avaliacions, corremo-lo risco de dana-lo sistema científico cos mesmos instrumentos diseñados para melloralo.

Antes do ano 2000, os expertos empregaban o Science Citation Index do Institute for Scientific Information (ISI), na súa versión de CD-ROM para realiza-las analises especializadas. En 2002, Thomson Reuters lanzou unha plataforma web integrada que fixo accesible a un público amplo a base da datos Web of Science. Logo apareceron outros índices de citas que se erexiron en competencia de Web of Science: Scopus de Elevier (2004) e Google Academico (versión beta creada en 2004). Outros instrumentos baseados na web foron introducidos logo como InCites (que emprega Web of Science) e SciVal (que emprega Scopus) e tamén software para analizar perfis individuais de citas baseados en Google académico (Publish or Perish que aparecu en 2007).

No 2005, Jorge Hisch, físico da Universidade de California en San Diego, propuxo o índice-h, que fixo popular o reconto de citas de investigadores individuais. O interese no factor de impacto das revistas académicas medrou incesantemente dende 1995. Recentemente apareceron medidas de uso social e comentarios online: F1000Prime estableceuse en 2002, Mendeley en 2008 e Altmetric.com en 2011.

No tanto que os investigadores da cienciometría, cientístas sociais e xestores de investigacións, temos observado con crecente preocupación o emprego incorrecto xeneralizado dos indicadores na avaliación do desempeño científico. Os seguintes son alguns dos numerosísimos exemplor posilbes. En todo o mundo, as universidades se teñen obsesionado coa súa posición nos rankings globais (como o Ranking de Shanghai e a lista de Times Higher Education), cando estas listas están baseadas no que ó noso xuizo son datos inexactos e indicadores arbritrarios.

Algunhas organizacions lle piden o índice-h ós candidatos que se presentan a ofertas de emprego. Varias universidades basean a promoción interna nuns valores "umbral" do índice-h e no número de artigos en revistas de "alto impacto". Os CVs se teñen transformado en oportunidades de se gabar destas "puntuacions", en particular en biomediciña. Por todas partes, os organismos supervisores instan de xeito prematuro ós seus estudantes de doutorado que publiquenen revistas de ""alto impacto" e conquiran financiamento externo.

Nos paises escandinavos e China algunhas universidades distribuen fondos de investigación ou bonificacion sobre a base dun número: por exemplo, calculando puntuacions individuais de impacto para repartir "recusos de desempeño", ou dando ós investigadores unha prima por publicacions nunha revista con un factor de impacto superior a 15²

Por estas razons presentase o Manifesto de Leiden, recibe o nome da conferencia na que cristalizou. Os seus dez principios non son ningunha novidade para os expertos en cientometría, mais ningún de nós sería quen de recitalos na súa totalidade pois ata ese intre non tiñan sido codificados. Recoñecidos cientometristas, como Eugene Garfield (fundador de ISI), enunciaran xa alguns destes principios,³ mais non son tidos en conta cando os avaliadores informan ós xestores das universidades que non son expertos na metodoloxía pertinente. Os cientístas que percuran literatura para disputar ou impugnar avaliacions só atopan as informacions precisas no que son, para eles, revistas opacas e difíciles de acceder.

A seguir unha síntese das bóas prácticas na avaliación baseada en indicadores métricos para que os investigadores poidan pedir contas ós avaliadors e para que os avaliadores podan pedir contas ós indicadores.

DEZ PRINCIPIOS

1. A Avaliación cuantitativa ten que apoiar á valoración cualitativa por expertos.

Os indicadores poden correxi-la tendencia a perspectivas sesgadas que se dan na revisión por pares e facilita-lo debate. Neste senso, os indicadores poden fortalecer a avaliación por pares pois tomar decisions sobre compañeiros é difícil sen varias fontes de información. Porén, os avaliadores non deben ceder á tentación de supeditar as decisions ós números. Os indicadores non podes substituir ós razoamentos informados. Os decisores teñen plena responsablidade nas súas avaliacions.

2. O desempeño se debe medir concordando coas misions de investigación da  institución, grupo ou investigador.

Os obxetivos dun programa de investigación teñen que ser especificados ó inicio, os indicadores empregados para medi-lo desempeño teñen que estar claramente relacionados con eses obxetivos. A elección e usos dos indicadores ten que ter en conta os contextos socio-económicos e culturais. Os científicos teñen diversas misions de investigación. A investigación para avanza-las fronteiras do coñecemento académico é diferente da investigación focalizada en proporcionar solucions a problemas sociais. A avaliación pode estar baseada en méritos relevantes para a industria, o desenrolo de políticas ou para os cidadans en xeral, no canto de méritos baseados en nocions académicas de excelencia. Non hai un modelo de avaliación que se poda aplicar en tódolos contextos.

3. A excelencia en investigación de relevancia local debe ser protexida.

En moitas partes do mundo, excelencia en investigación asociase únicamente coas publicacions en inglés. A lei española, por exemplo, explicita o desexo e a conveniencia de que os académicos españois publiquen en revistas de alto impacto. O factor de impacto calcúlase para revistas indexadas por Web of Science, que é unha base de datos aloxada nos Estados Unidos e que contén unha gran maioría de revistas en inglés. Estes sesgos son especialmente problemátios en ciencias sociais e humanidades(*), áreas nas que a investigación está orientada a temas rexionais e nacionais. Moitos outros cientistas teñen unha dimensión nacional ou rexional --Por exemplo, epidemioloxía do VIH na África subshariana-.

Este pluralismo e a relevancia social van sendo suprimidos cando se crean artigos de interés para os guardians do alto impacto: As revistas en inglés. Os sociólogos españois mais citados en Web of Science teñen traballado en modelos abstractos ou estudiado datos dos Estados Unidos. Nese proceso pérdese a especificidade dos sociólogos con alto impacto nas revistas en castelán: temas como a lexislación laboral local, a atención sanitaria para ancians ou o emprego de inmigrantes^4. Indicadores baseados na literatura de alta calidade non inglesa servirían para identifciar e recompensa-la excelencia en investigación localmente relevante. 

4. Os procesos de recopilación e análise de datos deben ser abertos, transparentes e simples.

A construcción das bases de datos precisas para avaliar debe seguir procesos establecidos antes de que a investigación remate. Esta ten sido a práctica común entre os grupos académicos e comerciais que teñen desenvolvido metodoloxías de avaliación durante varias décadas. Estes grupos publicaron os protocolos de referencia na literatura revisada por pares. Esta transparencia permite o escrutinio e control dos métodos. Por exemplo, en 2010, un debate público sobre as propiedades técnicas dun importante indicador empregado por un dos nosos grupos (o Centro de Estudos de Ciencia e Tecnoloxía (CWTS) da universidade de leiden, nos paises baixos), se saldou cunha revisión no cálculo deste indicador⁵. As novas empresas comerciais no campo da investigación e publicación deben respostar ós mesmos estándares. Ninguén ten porqué aceptar avalaicions automáticas saídas de caixas negras ou procesos impenetrables. A simplicidade é unha virtude dun indicador que favorece á transparencia. Mais indicadores simplísticos poden distornsiona la avaliación (véxase principio 7). Os avaliadores deben facer un esforzo para atopar un equilibrio: Indicadores simples que respeten a complexidade dos procesos de investigación descritos.

5. Os datos e análises deben estar abertos á verificación polos avaliados

Co fin de asegura-la calidade dos datos, os investigadores incluídos en estudos bibliométricos teñen que poder comprobar que a súas contribucions teñen sido correctamente identificadas. Os responsables e xestores dos procesos de avaliación deben garanti-la exactitude dos datos empregados mediante métodos de autoverificación ou auditoría por terceiras partes. As universidades poderían implementar este principio nos seus sistemas de información. Este debería ser un principio reitor na selección de proveedores destes sistemas. A compilación e procesado de datos de alta calidade, precisos e rigurosos, leva tempo e custa cartos. Os responsables deben asignar presupostos á altura destas necesidades de calidade.

6. As diferenzas nas prácticas de publicación e citación entre campos científicos deben ser tidas en conta.

A mellor práctica na avaliación é propor unha batería de indicadores e deixar que os distintos campos científicos seleccionen os indicadores que mellor lles representan. Fai uns anos, un grupo de historiadores recibiu unha puntuación relativamente baixa nunha avaliación nacional por pares porque escribían libros no canto de artigos en revistas indexadas en Web of Sciencie. Estes historiadores tiveron a mala sorte de formar parte do departamento de psicoloxía. A avaliación de historiadores e cientistas sociais require a inclusión de libros e literatura en lingua local; a avaliación de investigadores en informática precisa considera-las contribucions a conferencias.

A frecuencia de citación varía segundo os campos: as revistas mais citadas en ránkings de matemáticas teñen un factor de impacto ó redor de 3; as revistas mais citadas en ránkigns de bioloxía celular teñen fatores de impacto sobre o 30.

Polo tanto, son precisos indicadores normalizados por campo, e o método mais robusto de normalización está baseado en percentiles: cada publicación é ponderada segundo o percentil ó que pertencie na distribución de citacions do seu campo (por exemplo, o percentil 1%, 10%, 20% mais alto). Unha única publiación altamente citada mellora un pouco a posición dunha universidade nun ránking baseado en percentiles, mais pode propusar á universidade dun lugar medio ás primeiras posicions nun ránking baseado en promedios das citas.⁶

7. A avaliación individual de investigadores debe basearse na valoración cualitativa do seu portafolio de investigación.

O índice-h aumenta coa idade do investigador, malia que este xa non publique. O índice-h varía por campos: os cientistas en ciencias da vida poder chegar a 200; os físicos a 100 e os cientistas sociais a 20 ou 30⁷. É un índice que depende da base de datos: hai informáticos que teñen un índice-h de 10 en Web of Sciencie, mais de 20 ou 30 en Google Scholar⁸. Ler e valora-lo traballo dun investigador é moito mais apropiado que confiar nun único número. Aínda cando se comparan un grande número de cientistas, é mellor adoptar un enfoque que considere información diversa sobre cada individuo, incluindo ós seus coñecementos, experiencia, actividades e influenza.

8. Debese evitar-la concreción improcedente e a falsa precisión.

Os indicadores de ciencia e tecnoloxía tenden á ambiguidade a á incertidume, fundamentanse en hipóteses que non están universalmente aceptadas. Por esta razón, as boas prácticas empregan múltiples indicadores co fin de construir un retrato robusto e plurarl. Na medida que sexa posible cuantifica-la a información sobre a incertidume e o erro debería acompañar ós valores dos indicadores publicados, por exemplo empregnado barras de erro. Se isto non fose posile, os productores de indicadores deberían cando menos evitar ofrecer un falso nivel de precisión. Por exemplo, o factor de impacto de revistas publicase con tres decimais para evitar empates. Nembargantes, dada a ambiguidade conceptual e a variabilidade aleatoria das citas, non ten senso distinguir entre revistas por pequenas diferenzas no factor de impacto. Debe evitarse a falsa precisión: só un decimal está xustificado.

9. Deben recoñecerse os efectos sistémicos da avaluación e os indicadores.

Os indicadores mudan o sistema científico polos incentivos que establecen. Estes efectos deberían anticiparse. Esto significa que sempre é preferible ter unha batería de indicadores pois un só indicador é susceptible de xerar comportamentos estratéxicos e a substitución dos obxectivos (convertindo a ferramenta de medida nunha finalidade en sí mesma). Por exemplo, nos anos 90, Australia financiou investigación en universidades consonte cunha fórmula baseada principalmente no número de publicacions dun instituto. As universidades podían calcular o "valor" dunha publicación nunha revista arbitrada ; no ano 2000, o valor estimouse en 800 dólares australianos destinados a recursos de investigación. Como era de agardar, o número de artigos publicados por autores australianos subiu, mais nas revistas menos citadas, o que suxire que a calidade dos artigos disminuiu.^9(a)

10. Os indicadores deben ser examinados e actualizados periódicamente.

As funcions da investigación e os obxectivos da avaliación mudan ou se desprazan, e o sistema de investigación co-evolue con eles. Medidas que foron útiles no seu día pasan a seren non axeitadas e aparecen novos indicadores. Polo tanto, os sistemas de indicadores teñen que ser revisados e cecais modificados. Ó decatarse dos efectos da súa fórmula simplista de avaliación, en 2010 Australia adoptou a iniciativa Excellence in Research for Australia, que é mais complexa e pon énfase na calidade.

Pasos segientes

Sendo fidel a estes dez principios, a avaliación da investigación pode xogar un papel importante no desenrolo da ciencia a a súas interaccions coa sociedade. Os indicadores de investigación poden proporcionar información crucial que sería difícil de xuntar ou entender a partires de experiencias individuais. Mais non se debe permitir que a información cuantitativa se convirta nun obxectivo por sí mesma. As mellores decisións adoptanse combinando estatísticas robustas sensibles ós obxectivos e a natureza da investigación avaliada. Tanto a evidencia cuantitativa como a cualitativa son precisas (cada unha ó seu xeito). As decisions sobor da ciencia teñen que ser tomadas en base a procesos de alta calidade informados por datos fiables.

Bibliografía orixinal:

↑ 1 Wouters, P. in Beyond Bibliometrics: Harnessing Multidimensional Indicators of Scholarly Impact (eds Cronin, B. & Sugimoto, C.) 47–66 (MIT Press, 2014).

↑ 2 Shao, J. & Shen, H. Learned Publishing 24, 95–97 (2011).

↑ 3 Seglen, P. O. Br. Med. J. 314, 498–502 (1997). Garfield, E. J. Am. Med. Assoc. 295, 90–93(2006).

↑ 4 López Piñeiro, C. & Hicks, D. Res. Eval. 24, 78–89 (2015).

↑ 5 van Raan, A. F. J., van Leeuwen, T. N., Visser, M. S., van Eck, N. J. & Waltman, L. J. Informetrics 4, 431–435 (2010).

↑ 6 Waltman, L. et al. J. Am. Soc. Inf. Sci. Technol. 63, 2419–2432 (2012).

↑ 7 Hirsch, J. E. Proc. Natl Acad. Sci. USA 102, 16569–16572 (2005).

↑ 8 Bar-Ilan, J. Scientometrics 74, 257–271 (2007).

↑ 9 Butler, L. Res. Policy 32, 143–155 (2003).

Notas persoais:

(*) Compre salientar que no campo dos coidados moitos estudos se fan con ferramentas cualitativas e se atopan con este problema. A barreira faise ainda maior si se trata de publicar ciencia en linguas minorizadas ainda que se trate de temas de gran relevancia local (como acontece cos estudos publicados en galego).

(a) Neste caso dase por válido un argumento que, en xeral, se da por falso; percibo certa incoherencia.

E tras 30 anos... a decepción.

O normal nun aniversario debera ser falar das boas lembranzas de dos proxectos de futuro... mais eu só podería falar de decepción coa profesión como conxunto unha chea de queixas mais proporcionalmente pouco compromiso e acción; unha capacidade nula de análise das causas e culpables que nos teñen levado a este punto. 

Fai 30 anos que traballei por primeira vez como enfermeria titulada... non quero adicar mais espazo neste blogue a este tema porque non teño certeza de que valga para nada. Sego a gostar da ciencia e da tecnoloxía e do meu traballo no ambito quirúrxico así que tratarei de me centrar nelo e deixar que sexan outras as que tomen a iniciativa.

U-las as nosas "capitanas de abril"?

Fai 47 anos un grupo de persoas dignas asoballadas dentro dunha estructura de represión e terror tiveron os arrestos para se organizar e levar a esperanza a todo un povo. Esperanza dun goberno democrático e xusto, case nada.

Non podían ser membros da elite que estrangulaba, non podían ser deudores das súas dádivas, non podían ser cómprices silenciosos da súa inxustiza. Non se pode querer facer algo novo dun rexime totalitario mentras se ansía "entrar na corte" e que che den acceso a obxectivos persoais. Non se pode revolucionar a xente asoballada e avergoñada polos seus dirixentes mantendo silencio sobre os seus crimes.

As "capitanas de abril" da enfermería en España U-las?

Non sei quén serán mais si sei quen non quero que sexan: As mentirosas, as caladas, as que aceptan compartir mesa e mantel...

Ningúen con mais de 10 anos en postos de "mando" pode erguerse como "defensora" da democracia e a transparencia na profesión... calou, consentiu senon cousas peores como colaborar e ser partícipe.

Chegará a nosa revolución dos cravos?

¿Sonan as ovellas con xente con máscarilla?

 

Cando algo chega ós sonos quere decir que ten moito peso no noso interior.

Tedes sonos coas mascarillas? ou pesadelos?

A xestión desta situación, afrontar a incertidume, o descoñecemento, as incongruencias... sobre 100000 vidas perdidas por mor deste xerme e de tratar de convertir todo en certezas é para ter pesadelos.

Estanse a pasar moitas enquisas con ferramentas para medi-lo estres, a ansiedade, a anguria... e como afrontamos todo eso mais Que hai dos sonos?

Cerrando... encuesta registro básico de vías venosas.

Cuando en Octubre escribí "Insisto; la clave está en el registro" lancé una encuesta sobre registro básico de vías venosas como forma de conocer la opinión de l@s profesionales de todos los campos y ámbitos respecto a este aspecto concreto y que hiciera de reflejo de lo que ocurre en el día a día.

La encuesta se planteó a partir de la propuesta de consenso internacional sobre el conjunto de datos mínimos respecto al acceso vascular y si bien al principio sólo hice una difusión un tanto limitada luego ya molesté a mucha gente por correo y redes sociales e incluso impliqué a algún amigo; pero tras 4 meses abierta creo que no tiene más recorrido así que habrá que analizar las más de 480 respuestas recibidas y cerrarla.

Aún no sé si sacaré ánimos para publicar un análisis más detallado pero creo que es justo compartir el resultado principal. Para ello voy a usar la misma referencia antes mencionada con la respuesta mayoritaria de las opciones ofrecidas.

Datos demográficos del paciente:

Edad: SI 52,4% 

Peso: NO 57,6%

Género: NO 52,4%

Grupo diagnóstico: SI 81,4 %

Comorbilidades: SI 73,1%

Características del dispositivo:

Tipo de dispositivo: SI 93,9%

Calibre: SI 96,89%

Longitud del dispositivo: SI 48,65%

Nº de luces del dispositivo: SI 69,35%

Material del dispositivo: SI 52,79%

Registro de inserción:

Indicación: SI 75,36%

Fecha y hora de inserción: SI 97,72%

Nº de intentos: NO 52,79%

Lugar anatómico de inserción: SI 95,65%

Sitio donde se inserta (planta, consulta...): SI 69,35%

Profesión de quien realiza la inserción: SI 56,52%

Técnica de inserción: SI 45,34%

Uso de tecnología: SI 51,55%

Antisepsia empleada: SI 61,9%

Ratio Catéter/Vena: NO 43,68%

Posición de la punta: NO 40,99%

Confirmación de la posición de la punta: SOLO EN VIAS NO PERIFÉRICAS 36,43%

Analgesia/Técnicas de alivio del dolor: NO 39,75%

Fijación y apósito: SI 79,91%

Eventos adversos en la inserción: SI 81,36%

¿Conoce el paciente el motivo de la inserción?: SI 73,49%

Cuidados de la via venosa:

¿se está usando el dispositivo?: SI 89,85%

Valoración del punto de inserción: SI 94,2%

Sellado del dispositivo: SI 88,61%

Programación del cambio de apósito: SI 81,36%

Estado de fijación y apósito: SI 81,98%

Uso para extracción de muestras: SI 67,7%

Nº de otros dispositivos insertados: SI 73,29%

Complicaciones identificadas: SI 91,92%

Uso de antitrombóticos: SI 71,63%

Registro de complicaciones y retirada:

Flebitis: SI 97,72%

Extravasación/Infiltración: SI 97,92%

Bacteriemia primaria: SI 85,5%

Infección local: SI 95,65%

Desplazamiento del catéter: SI 80,33%

Trombosis: SI 84,67%

Oclusión: SI 92,75%

Mala posición interna: SI 68,63%

Rotura del dispositivo: SI 84,88%

Lesión de la piel asociada al dispositivo: SI 92,13%

Motivo de la retirada: SI 97,1%

Fecha y hora de la retirada: SI 95,44%

Necesidad de insertar un nuevo dispositivo: SI 89,23%

Duración de la estancia (hospital): SI 63,56%

Dolor/incomodidad informado por el paciente: SI 89,44%

_____________

Desde aquí agradecer a tod@s los participantes en la realización y difusión de la encuesta y mi comprosmiso de que si al cabo de un año no he sido capaz de realizar el análsis de estos resultados compartiré los datos brutos para que otras personas puedan hacer uso de los mismos; en todo caso de realizar el análisis y publicar sus resultados el acceso a los datos brutos figurá en la bibliografía como suelo hacer en los estudios de los que soy autor principal.

Quizás uno de los puntos débiles de la encuesta es que NO haya insertado recordatorios sobre el foco de la cuestión (el registro) ni "items control" que permitieran descubrir respuestas "artificiales" o aleatorias.

También se puede criticar del consenso usado como referencia su visión hospitalocentrista reflejada en algunas preguntas como la duración de la estancia o la ausencia de otras que quizás serían oportunas en dispositivos insertados en/a pacientes en medio no hospitalario.