• 全部
主办单位:煤炭科学研究总院有限公司、中国煤炭学会学术期刊工作委员会

《自然》谈重复实验:研究者要配合公开数据

2016-08-29   来源:澎湃新闻网

  可重复性对一项科学研究来说,是一条入门的死规矩。但由于种种原因,研究者们似乎不太乐意对别人的研究成果进行重复实验,重复实验者和原文作者缺乏良性的互动,期刊对重复实验的相关文章也拒而不收。


  围绕着重复性实验,当地时间8月24日,英国顶级期刊《自然》杂志在最新的一期中发表了名为《去重复实验吧!》的社论。文章揭示了现在并不良性的、交流重复实验结果的学术系统,“没有科学家愿意对别人颇具前景的项目进行重复研究,相比而言,他们更愿意去了解他人进行重复实验获得的结果。在实验的可复制性或可重复性变成主要争论点之前,科学家们早就有能让自己脱身的策略,比如用闲言碎语。”


  “目前情况下,大多数重复实验都不是来自于有组织的合作,而仅是个体实验室对下阶段的研究进行测试。如果实验室的重复结果可以共享,那么科学界将会受益。”文章写道。


  但为什么现在科学界无法就重复实验进行合作和共享?社论分析道:原因在于重复实验的生态系统缺少透明度、价值和规则。为了解决这个问题,让重复研究的用武之地更大,更多的规则和执行标准需要一一建立,需要来自研究者、资金资助者和学术期刊共同的努力。


  但对一次重复实验不能简单地贴上“失败”或“成功”的标签。社论指出,一项研究成果的结论是在各方面协作过程中苦心发现的,它的准确性决定于研究方式的细小差异。


  在文章的最后,《自然》呼吁研究者们配合要求公开主要数据的合理请求,呼吁基金资助者们和期刊发布者们,为研究者提供有利于理清研究脉络的工具。同时,《自然》表示:我们欢迎,也很乐意于发布那些重复实验结果,用来验证已经发表的关键成果是否有效,包括验证在我们期刊上发表的研究成果。


  全文如下:


  没有科学家愿意对别人颇具前景的项目进行重复研究,相比而言,他们更愿意去了解他人进行重复实验获得的结果。在实验的可复制性或可重复性变成主要争论点之前,科学家们早就有能让自己脱身的策略,比如用闲言碎语。研究者们会比较(学术)讨论中的要点,有漏洞的研究会受到关于该研究是否值得构建的警告。或者有时,含糊其辞的评论会埋没在相关的发表文章中,带有讲故事般的话语,这样开头——“在我们手中”、“为什么我们的结果不一样这点还不清楚……”、“有趣的是,我们的结果不……”


  可以看到,一篇关于重复实验的论文,基本上不会成为出版物和研究者的首选。很多期刊拒绝考虑重复研究的文章,而很多研究者如果发现自己的实验结果和他人不一样,也并不会觉得有必要开展一场争论。所以,不知情的科学家可能会在一些死胡同般的项目上浪费时间,而对真正有价值的研究又小心翼翼。


  不过情况在好转,现在,研究者若想把他们做的重复实验告诉科学界,有很多方法。比如,把自己的重复实验记录在博客上、邮寄尚未正式发表的预印本,或在不要求新颖原创性的期刊上发表同行评议。就在今年,网络平台F1000(注:它对SCI和PUBMED等生物医学数据库收录的重要论文进行客观评估)发起了一项名为“临床可重复性和坚固性”(Preclinical Reproducibility and Robustness)的渠道,来处理研究者提出的反驳、确认和更细微的重复研究。其他包括《科学数据》(Scientific Data)和《美国胃肠病学杂志》( American Journal of Gastroenterology)等,已开始公开征求重复实验的尝试和提出否定的结果。2013年,在关于生物活性RNA分子是否可以跨过消化道直接进入血液的争议之后,《自然生物技术》(Nature Biotechnology)宣称:如果这些研究能阐明关键的研究问题,自己“愿意接受重复实验”( Nature Biotechnol. 31,943;2013)。


  心理学界在支持重复研究上算是先行者, 《心理科学前景》(Perspectives on Psychological Science)已经开始出版一类新的文章,提倡一种新形式的合作:要求心理学家挑出一项有影响力的研究,对此进行重复实验并制定一个实验计划,研究的原文作者会受邀为该重复实验计划提供建议,多家实验室自愿参与收集数据和结果,无论这些数据和结果如何,该重复研究都会以“重复实验报告计划(registered replication report)” 的形式发表(注:该计划由《心理科学前景》期刊在2013年发起,旨在验证过去那些经典心理学研究的结果。重复实验所得的文章、原始数据、以及实验材料都可以从网上下载)。目前《心理科学透视》共发表了三篇报告,每一篇报告从原文作者的观点出发。


  但是这些零星的重复实验报告的发表,对于想要验证大量科研项目的准确性来说是没有效率的。目前情况下,大多数重复实验都不是来自于有组织的合作,而仅是个体实验室对下阶段的研究进行测试。如果实验室的重复结果可以共享,那么科学界将会受益。


  为什么这种(合作、共享的)情形不常发生?原因在于重复实验的生态系统缺少透明度、价值和规则。


  当研究者遇到一篇令人激动的论文时,想要去了解相关重复实验的信息却并不容易,因为重复研究的链接并不会自动附在期刊网页(如PubPeer 或PubMed)上原始论文之后。当一项重复研究在一项更大的研究当中被一笔提及,却不能从中搜索到这篇重复研究。期刊没有义务做到这项技术,尽管它们应该做到。期刊需抱着开放的态度,发表对原始论文进行深入重复实验的论文。比如,《科学报告(Scientific Reports)》为了鼓励发表同行评议驳斥的文章,会取消这些文章的处理审核过程。


  越来越高的透明度能够提升重复实验的价值,但也会增加进行重复实验者受报复的风险,对重复者来说,接受这一风险并没有什么好处。目前,对实验重复者来说,发表重复实验的研究,就无法提升自己在委员会和审稿人心中的形象。这就产生了一个“鸡和蛋”问题,即研究者不想操作和发表严密的重复研究,因为他们的努力并不受重视,而重复研究也不受重视,因为它们很少能够发表。不过值得称赞的是,美国劳拉和约翰阿诺德基金会(Laura and John Arnold Foundation )和荷兰科学研发组织(Netherlands Organisation for Scientific Research)这样的基金资助者却大力支持重复研究,且对于此类论文的发表设立了高标准。通过引用论文和在社交媒体上讨论这些重复研究,科学家才能确认到这样的重复研究是为人重视的。


  关于重复研究的惯例规则还未成形,甚至有关的词汇都是缺乏的。期刊编辑在整合重复实验的报告时会尽力避免使用诸如——“成功的”或是“失败的”重复研究,这样的标签。“可重复性倡议(The Reproducibility Initiative)”是一个帮助各实验室协调它们各自的独立重复研究的项目,在它开展的第一个研究后也回避了类似的说法。(毕竟,)篇论文集合了文本、实验、数据、分析和有根据的猜测。它的研究结论是在各方面协作过程中苦心发现的,它的准确性决定于研究方式的细小差异,比如试剂是在何种程度下混合的 (W. C. Hines et al. Cell Rep. 6, 779–781; 2014)。


  实验重复者和原文作者进行合作、联系的惯例也未形成。一些原文作者拒绝分享数据或实验方法上的细节。在有些案例中,实验重复者会首先播报他们的实验,而不是去解决结果之间的不一致性,这使得他们更易遭致实验不完整的批评。(幸好实验重复者和原文作者现在都在避免谩骂。)随着重复实验变得越来越主流,我们相信科学界会建立起合理的执行标准。


  为了培养更好的科学行为,重复研究必须变得更广泛。我们呼吁研究者们打开他们的资料库,呼吁研究者们配合要求公开主要数据的合理请求。论文作者要想着他人是出自善意的意图,所以在写论文时要记录数据,以免别的研究者会有进行重复实验室的需求。我们呼吁基金资助者们和期刊发布者们,为研究者提供有利于理清研究脉络的工具。我们欢迎,也很乐意于发布那些重复实验结果,用来验证已经发表的关键成果是否有效,包括验证在我们期刊上发表的研究成果。


特别声明:

本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
今日专家
亮点论文

创新点 本文研究了生物油电化学提质过程中乙酸和富芳香组分(ARF)对生物油聚合结焦的影响规律。研究发现,乙酸能抑制生物油电化学提质过程的焦产率,ARF能促进生物油...

今日企业

主办单位:煤炭科学研究总院有限公司 中国煤炭学会学术期刊工作委员会

©版权所有2015 煤炭科学研究总院有限公司 地址:北京市朝阳区和平里青年沟东路煤炭大厦 邮编:100013
京ICP备05086979号-16  技术支持:云智互联