Assessing interventions to improve adherence to reporting guidelines in biomedical research

Abstract

The lack of transparency and accuracy of research reports has been pointed out as one of the main factors causing research waste. Reporting guidelines (RGs) are sets of recommendations for authors on how to report research methods and findings in a way that no relevant information is missing. Nowadays, there exist more than 400 RGs for different study types, data, and clinical areas. However, biomedical authors’ adherence to RGs has been shown to be poor. For this reason, it is warranted to explore what strategies to improve adherence to RGs can be implemented at different points in the research process. This thesis has three objectives: (i) to identify, classify, and analyse interventions to improve adherence to RGs that have been described in the biomedical literature, and to determine the existing gaps in research on the evaluation of interventions, (ii) to explore biomedical editors’ perceptions of different interventions that have been or can be implemented at various points in the editorial process (iii) to evaluate in a real editorial context the impact of an intervention designed based on the studies that address objectives (i) and (ii). For the first objective, we performed a scoping review of interventions to improve adherence to RGs and identified 31 interventions (11 evaluated, 20 non-evaluated). These were grouped into five categories: training on the use of RGs; improving understanding; encouraging adherence; checking adherence and providing feedback; and involvement of experts. Research gaps identified included the evaluation of interventions (i) on training on the use of RGs and improving understanding of these, (ii) at early stages of research (education, grant writing or protocol writing), and (iii) after the final acceptance of the manuscript (copyediting or post-publication peer review). Furthermore, we showed that one of the most widespread editorial interventions, the requirement for authors to submit a completed RG checklist together with their manuscript, does not guarantee adherence. To address the second goal, we performed a survey for biomedical journal editors with experience and interest in the topic of improving authors’ adherence to RGs. These editors generally believed that engaging trained professionals in the process of checking adherence to RGs would be the most effective, yet moderately resource intensive, editorial intervention. Also, they thought that standard peer reviewers should not be asked to check RG requirements as they generally lack time and training on the content of RGs. For other promising interventions that could potentially be implemented and evaluated in biomedical journals, we also identified their barriers and facilitators, as well as different types of incentives to encourage the use of RGs. For our third goal, we carried out a randomised controlled trial. Our goal was to analyse, in a sample of 24 trials submitted to the medical journal BMJ Open, the effect of involving a CONSORT expert in the process of evaluating the submitted checklist and providing feedback to authors. Our results showed that the manuscripts that received this intervention were more completely reported than the ones following the standard process. Based on this, we propose that journals consider revising their peer review processes in order to find ways to make this intervention workable. In this thesis, we have shown the effectiveness of engaging a reporting expert in the editorial process of a biomedical journal, and we have identified and explored in detail various interventions that future research may consider evaluating. Developing and implementing effective solutions to improve adherence to RGs is a key step to increase the societal impact of biomedical research and reduce research waste.

La falta de transparencia y precisión de los informes de investigación es uno de los principales factores asociados al derroche de recursos financieros invertidos en investigación. Las guías de publicación (¿Reporting Guidelines¿, RGs) especifican cómo los investigadores han de informar de los métodos y resultados de sus estudios, de tal forma que los manuscritos contengan toda la información esencial para los lectores. Hoy en día, existen más de 400 RGs para distintos tipos de estudios, datos y áreas clínicas. Sin embargo, el nivel de adherencia a las RGs es deficiente. Por tanto, es necesario explorar qué estrategias para mejorar la adherencia a las RGs se pueden implementar en distintos momentos del proceso de investigación. Esta tesis tiene tres objetivos: (i) identificar, clasificar y analizar qué intervenciones para mejorar la adherencia a las RGs han sido descritas en la literatura biomédica, y determinar qué lagunas existen en la evaluación de intervenciones, (ii) explorar las percepciones de los editores biomédicos expertos sobre distintas intervenciones que afectan a los procesos editoriales, y (iii) evaluar el impacto de una intervención diseñada a partir de los estudios relativos a los objetivos (i) y (ii). Para alcanzar el primer objetivo, realizamos una revisión exploratoria. Esta revisión nos permitió identificar 31 intervenciones que agrupamos en cinco categorías: formación en el uso de RGs; mejora de la comprensión de las RGs; verificación de la adherencia a las RGs y propuestas de mejora para los autores; y colaboración de expertos. Además, identificamos algunas lagunas en las evaluaciones de intervenciones (i) relativas a la formación y mejora de la comprensión de las RGs, (ii) en fases iniciales del proceso de investigación (educación, solicitud de financiación o elaboración de protocolos), y (iii) después de la aceptación para publicación del manuscrito de investigación (durante el proceso de edición, o la revisión post-publicación del artículo). Por otro lado, mostramos que una de las intervenciones editoriales más populares, que consiste en requerir que los autores completen y envíen la lista de verificación de la RG adecuada junto con su manuscrito, no garantiza la adherencia a esta RG. En relación con el segundo objetivo, realizamos una encuesta para editores expertos de revistas biomédicas. Estos expresaron mayoritariamente que la intervención potencialmente más efectiva sería involucrar a profesionales formados en el contenido de las RGs, aunque podría requerir un gran volumen de recursos. Además, los participantes apuntaron que los revisores por pares no deberían encargarse de verificar la adherencia a las RGs ya que normalmente carecen de la formación y el tiempo necesarios para realizar esta labor. Finalmente, identificamos las ventajas e inconvenientes de diversas intervenciones prometedoras, así como distintos tipos de incentivos para promover el uso de las RGs. De cara al tercer objetivo, llevamos a cabo un ensayo aleatorizado con el propósito de analizar, en 24 ensayos aleatorizados recibidos por la revista médica BMJ Open, el efecto de involucrar en el proceso editorial a un experto en CONSORT (la RG para ensayos aleatorizados) que evaluase las guías de verificación enviadas por los autores y les propusiese mejoras. Los resultados señalaron que los manuscritos que pasaban por este proceso eran más completos que los que seguían el proceso estándar. A raíz de esto, proponemos que las revistas ajusten sus procesos de revisión y busquen formas de hacer viable esta intervención. En esta tesis, hemos demostrado la eficacia de la inclusión en los procesos editoriales de expertos en la presentación de informes científicos. Además, hemos analizado diversas intervenciones que pueden ser evaluadas en el futuro. Desarrollar soluciones efectivas para mejorar la adherencia a las RGs es clave para aumentar el impacto social de la investigación biomédica y reducir el derroche de recursos financieros.

La manca de transparència y precisió dels informes d’investigació és un dels principals factors associats al malbaratament de recursos financers invertits en investigació. Les guies de publicació ("Reporting Guidelines", RGs) especifiquen com els investigadors han d'informar dels mètodes i resultats dels seus estudis, de manera que els manuscrits continguin tota la informació essencial per als lectors. Avui dia, n’hi ha més de 400 RGs per a diferents tipus d'estudis, dades i àrees clíniques. Tanmateix, el nivell d’adherència a les RGs és deficient. Per tant, és necessari explorar quines estratègies per millorar l'adherència a les RGs es poden implementar en diferents moments del procés d'investigació. Aquesta tesi té tres objectius: (i) identificar, classificar i analitzar quines intervencions han estat descrites per millorar l'adherència a les RGs en la literatura biomèdica, i determinar quines mancances existeixen en l'avaluació d'intervencions, (ii) explorar les percepcions dels editors biomèdics experts sobre diferents intervencions que afecten als processos editorials, i (iii) avaluar, en un context editorial real, l'impacte d'una intervenció dissenyada a partir dels estudis relatius als objectius (i) i (ii). Per assolir el primer objectiu, vam realitzar una revisió exploratòria. Aquesta revisió ens va permetre identificar 31 intervencions que vam agrupar en cinc categories: formació en l'ús de RGs; millora de la comprensió de les RGs; verificació de l'adherència a les RGs i propostes de millora per als autors; i col·laboració d'experts. Encara més, vam detectar mancances en l’avaluació d'intervencions (i) relatives a la formació i millora de la comprensió de les RGs, (ii) en fases inicials del procés de recerca (formació, sol·licitud de finançament o elaboració de protocols), i (iii) després de l'acceptació per a publicació dels manuscrits de recerca (durant el procés d'edició, o la revisió post-publicació de l’article). D’altra banda, vam demostrar que una de les intervencions editorials més populars, que consisteix en requerir que els autors completin i enviïn la llista de verificació de la RG adequada amb el seu manuscrit, no garanteix l’adherència a aquesta RG. Per al segon objectiu, vam efectuar una enquesta dirigida a editors experts de revistes biomèdiques. Una majoria dels editors van expressar que la intervenció potencialment més efectiva seria involucrar professionals formats en el contingut de les RGs, encara que això podria requerir un gran volum de recursos. Així mateix, els participants van opinar que els revisors per parells no haurien d’encarregar-se de verificar l'adherència a les RGs ja que normalment no tenen el temps i la formació necessaris per realitzar aquesta tasca. Així mateix, vam identificar els avantatges i inconvenients de diverses intervencions prometedores, així com diferents tipus d'incentius per promoure l'ús de les RGs. En relació amb el tercer objectiu, vam portar a terme un assaig aleatoritzat amb la finalitat d’analitzar, en 24 assaigs aleatoritzats rebuts per la revista mèdica BMJ Open, l’efecte d’involucrar en el procés editorial a un expert en CONSORT (la guia per a assaigs aleatoritzats) que avalués les guies de verificació enviades pels autors i els hi proposés millores. Els resultats van indicar que els manuscrits que passaven per aquest procés eren més complets que els que seguien el procés estàndard. Arran d’això, proposem que les revistes ajustin els seus processos de revisió i busquin formes de fer viable aquesta intervenció. En aquesta tesi, hem demostrat l’eficàcia de la inclusió en els processos editorials de experts en la presentació d'informes científics. A més, hem analitzat en detall diverses intervencions que poden ser avaluades en el futur. Desenvolupar solucions efectives per millorar l'adherència a les RGs és un pas clau per augmentar l'impacte social de la recerca biomèdica i reduir el malbaratament de recursos financers.