Vuelvo de un congreso en Utrecht (Países Bajos). Un poco decepcionado por las comunicaciones presentadas como pósters. Si bien es cierto que suele haber buen nivel, sí que es verdad que, en muchos casos, la calidad es muy deficiente.Conclusiones que no se desprenden de los resultados, falta de controles adecuados, experimentos ya realizados, con conclusiones ya conocidas, trabajos financiados por empresas y que sospechosamente concluyen el buen funcionamiento de sus productos, etc. ¿Quién diría que una correlación con r menor de 0,5 (Pearson) es un buen resultado, por muy significativo que sea? Pues eso lo vi en un póster, con la conclusión de que, apoyándose únicamente en tal correlación, un nuevo aparato era tan efectivo como la metodología estándar.
El problema es que este congreso utiliza un sistema de peer review para revisar los abstracts, y que estos acaban publicados en una revista internacional indexada en el SCI (más Pubmed, etc.). Aunque no fuese así, como científicos, deberíamos tener más exigencia en la selección de los trabajos que van a congresos. Sin contar con el abandono total que sufren algunos pósters. Los "responsables" los cuelgan y se van a hacer turismo (o los cuelgan colegas que les han hecho el favor de llevarlos).
En muchos congresos se penaliza a los participantes que no llevan su trabajo al congreso (generalmente, no se admiten trabajos de ese grupo en las siguientes dos convocatorias). Yo no sólo estoy completamente de acuerdo con esta medida, sino que sería más estricto con las presentaciones. Si uno quiere darse una vuelta para ver otros pósters, siempre puede dejar un aviso al lado del póster, dejar sobres para sugerencias, preguntas, tarjetas, etc.
Necesitamos más calidad y más exigencia en los congresos. Por mi parte, a menudo me llegan peticiones para revisar artículos enviados a revistas, y algún proyecto de cuando en cuando. Tomo nota de los "descuidados" (son recurrentes), y, hasta que no vea más calidad, doy menos importancia a las contribuciones a ciertos congresos. Se siente.
Cambiando ligeramente de tema, he asistido también al análisis de la situación de una revista. Resulta que el índice de impacto ha bajado en los dos últimos años, y se atribuye al aumento de artículos sin una correspondiente subida de citas. La conclusión del comité editorial es que los usuarios de la revista deberían citar más... no estoy de acuerdo. De nuevo, tal vez se debería aumentar la exigencia. Conozco la revista, y he de decir que hay artículos que escapan a la mera consideración de ser "flojos": son directamente nefastos, con fallos graves en el diseño experimental y, principalmente, en el tratamiento estadístico (ya hablaré del "missuse" de las correlaciones para comparar métodos).
Pero realmente me preocupa que se tomen decisiones fijándose en el índice de impacto. La calidad y prestigio de una revista son cuestiones multidimensionales, y no las podemos reducir a un solo número. No digo que no se use el índice de impacto, y muchos de los que lo critican no lo hacen porque estén preocupados por la calidad o la fiabilidad de las evaluaciones (ejem). Lo fundamental es buscar la calidad. Si eso se consigue, el índice de impacto lo seguirá, pero no al revés.
