저자 및 기관: 원지윤·김서연 (경희대학교 대학원 기초한의과학과, 침구경락융합연구센터), 배인후 (경희대학교한방병원), 이향숙 (경희대학교 대학원 기초한의과학과, 침구경락융합연구센터)

발표 저널: PLoS One

원문 링크: https://pubmed.ncbi.nlm.nih.gov/31581278/

서지사항

Won J, Kim S, Bae I, Lee H. Trial registration as a safeguard against outcome reporting bias and spin? A case study of randomized controlled trials of acupuncture. PLoS One. 2019 Oct 3;14(10):e0223305. doi: 10.1371/journal.pone.0223305.

Abstract

Background and objective: Trial registration is widely endorsed as it is considered not only to enhance transparency and quality of reporting but also to help safeguard against outcome reporting bias and probably spin, known as specific reporting that could distort the interpretation of results thus mislead readers. We planned to investigate the current registration status of recently published randomized controlled trials (RCTs) of acupuncture, outcome reporting bias in the prospectively registered trials, and the association between trial registration and presence of spin and methodological factors in acupuncture RCTs.

Methods: Acupuncture RCTs published in English in recent 5 years (January 2013 to December 2017) were searched in PubMed, Cochrane Central Register of Controlled Trials, and EMBASE. Trial registration records identified in the publications and trial registries were classified into prospectively registered, retrospectively registered, or unregistered. Primary outcomes were identified and the direction of the results was judged as statistically significant (positive) or statistically nonsignificant (negative). We compared registered and published primary outcomes to assess outcome reporting bias and assessed whether discrepancies favored statistically significant outcomes. Frequency and strategies of spin in published reports with statistically nonsignificant results for primary outcomes were then identified. We also analyzed whether the trial registration status was associated with spin and quality of methodological factors.

Results: Of the 322 included RCTs, 41.9% (n = 135) were prospectively registered. Among 64 studies that were prospectively registered and specified primary outcomes, 25 trials had the discrepancies between the registered and published primary outcomes and 60% of them (15 trials) favored the statistically significant findings. Among 169 studies that specified primary outcomes, trial registration status was not associated with the direction of results, i.e., statistically significant or not. Spin was identified in 56.4% out of 78 studies with statistically nonsignificant primary outcomes and claiming efficacy with no consideration of statistically nonsignificant primary outcomes was the most common strategy for spin. Trial registration status was not statistically different between studies with and without spin.

Conclusion: While trial registration seemed to have improved over time, primary outcomes in registered records and publications were often inconsistent, tending to favor statistically significant findings and spin was common in studies with statistically nonsignificant primary outcomes. Journal editors and researchers in this field should be alerted to still prevalent reporting bias and spin.

한글 요약

논문이 출판되기 전에 연구계획서를 공개된 레지스트리에 의무적으로 등록하면 연구가 계획대로 진행되는지 여부를 확인할 수 있으므로 결과 보고 비뚤림과 스핀 (spin, 통계적으로 유의미하지 않은 연구 결과를 왜곡되게 보고함으로써 독자를 오도할 수 있는 기술법)을 줄일 수 있다고 알려져 있다. 본 연구에서는 최근에 출판된 침 무작위배정연구 (randomized controlled trial, RCT)에서 연구계획서 등록과 결과 보고 비뚤림, 스핀의 현황을 알아보고 연구계획서 등록과 결과 보고 비뚤림, 스핀 사이에 연관성이 있는지도 알아보고자 한다.

최근 5년간 (2013년 1월~2017년 12월) 영어로 출판된 침 RCT를 PubMed, CENTRAL, EMBASE에서 검색하였다. 연구게획서 등록은 등록 여부와 시기에 따라 전향적 등록, 후향적 등록, 등록하지 않음으로 분류하였다. 주요 결과 지표를 명시한 논문에서는 통계적 유의성 여부에 따라 주요 결과 지표를 통계적으로 유의미한 결과지표와 유의미한지 않은 결과 지표로 분류하였다. 결과 보고 비뚤림을 알아보기 위해서 레지스트리에 전향적으로 등록된 결과 지표와 출판된 논문에 기재된 결과 지표를 비교하였다. 출판된 논문의 스핀의 종류와 수를 파악하고 연구계획서 등록과 스핀 여부가 관련되어 있는지도 알아보았다. 

분석에 포함된 침 RCT는 322편이었다. 이 중 41.9% (135편)가 전향적으로 연구계획서를 등록하였다. 전향적으로 연구를 등록하고 주요 결과 지표를 논문에 명시한 64편 중 25편에서 레지스트리에 등록된 결과 지표와 출판된 결과 지표가 달랐다. 25편 중 15편에서 통계적으로 유의미한 결과 지표로 결과 지표를 다르게 보고하였다. 결과 지표를 명시한 169편을 분석한 결과 연구게획서 등록과 결과의 통계적 유의성과의 관련 여부는 확인되지 않았다. 결과 지표가 통계적으로 유의미하지 않은 78편의 연구 중 56.4%에서 스핀이 확인되었다. 통계적으로 유의미하지 않은 결과가 나왔음에도 유효성을 언급하는 형태의 스핀이 가장 많았다. 연구계획서 등록과 스핀의 여부 사이에 관련성이 있는지 여부는 뚜렷하지 않았다. 

최근 출판된 침 RCT를 살펴본 결과 최근 연구일수록 연구계획서 등록률이 높아지고 있기는 하나 결과 보고 비뚤림과 스핀을 완전히 방지하고 있지는 못하므로 침 분야의 학술지 편집인과 연구자들의 주의가 필요하다.

#KMCRIC논문사사