OBJETIVOS:

Los objetivos de este trabajo fueron: a) determinar qué se puede aprender a partir de las conclusiones de las revisiones sistemáticas sobre la evidencia base de la medicina; y b) determinar si dos lectores sacan conclusiones similares de la misma revisión, y si estas coinciden con las conclusiones de los autores.

MÉTODOS:

Tres metodólogos (dos por revisión) clasificaron 160 revisiones sistemáticas Cochrane (número 1, 1998) utilizando categorías de conclusiones preestablecidas. Los desacuerdos se resolvieron mediante discusión para llegar a una puntuación consensuada para cada revisión. Se les pidió a los autores de los exámenes que usaran las mismas categorías para designar la conclusión deseada. La concordancia fue calculada.

RESULTADOS:

La acordancia entre los lectores fue de 0.68 y 0.72, y entre lectores y autores, 0.32. Las categorías más grandes asignadas por los metodólogos fueron «efecto positivo» (22.5%), «evidencia insuficiente» (21.3%) y «evidencia de no efecto» (20.0%). Las categorías más grandes asignadas por los autores fueron «evidencia insuficiente» (32.4%), «posiblemente positiva» (28.6%) y «efecto positivo» (26.7%).

CONCLUSIONES:

El número de revisiones que indican que las intervenciones biomédicas modernas muestran ya sea ningún efecto o evidencia insuficiente es sorprendentemente alto. Los desacuerdos entre los intermediarios sugieren un grado sorprendente de interpretación subjetiva involucrada en las revisiones sistemáticas. Donde surgieron patrones de desacuerdo entre autores y lectores, los autores tendían a ser más optimistas en sus conclusiones que los lectores. Implicaciones políticas son discutidas.