让同行评价我们的数据故事

编者注： 一篇好的数据报道应当确保数据无误，分析详实。若团队中缺乏富有经验的数据编辑，抑或报道涉及专业领域的数据，这时该如何做好报道核查？两位资深数据记者总结了以下经验。

作为数据新闻记者，我们努力追求高准确率，但是检查我们的工作往往很复杂，编辑们和事实核实员也许不那么擅长数据，所以我们通常需要外界的意见。最理想的情况是，我们可以互相请教，甚至向其他领域的专家寻求帮助。在学术界，在发表之前询问外界意见被广泛称为“同行评价”。

在SRCCON(译者注：Opennews为媒体里的开发工程师、交互设计师与编程人员举办的活动)中，我们讨论将“同行评价”这个概念转移到新闻业时会遇到的问题，以及我们在具体运用中的一些方法。

（这里所说的“同行评价”，是指在一个给定的学术领域，让同事之间互相仔细检查对方的研究方法和成果。它其实还有一个更正式、但我们此次没有使用的定义，即一个审查委员会评估研究文章，然后决定是否在学术期刊上发表。）

以下是我们在活动中总结出的一些想法。

新闻业同行评价的基本要素

在新闻背景下，同行评价应该是什么样子的呢？

同行评价应该“两步走”：第一步，在正式出版前的检查你的分析；第二步，将数据、操作方法和故事一起发布。

我们对核查时间点做了重要区分：发表前的核查，与在发表期间及之后做的核查是不同的。虽然我们更加注重发表前的审核，但也一致认为，在学术界尚不多见的开源数据分析可在发表期间或之后进行，这是数据记者可以带头探索的领域。

同行评价的对象有哪些？

故事可以包括一系列的数据结果，从几个数字到制成辅助图表，再到做出深度调查。当考虑同行评价时，你要想想自己的调查结果是否值得询问外界意见，还是只需简单复核数据即可。我们的结论是，最有用的判断方法，是先看故事的基础有多少来源于数据分析。如果整个故事都取决于分析所得出的结果，那么就值得与他人一起比较——这也包括那些涉及预测或新发现的故事。

编辑部中的同行评价是怎样的？

在媒体内部，有很多途径可以核查数字，与略懂分析方法的同事讨论便是其中一种简单方法。一个更有力的办法是，在做任何实际分析之前，与一名组员搭档，你们分别决定如何处理已知数据，然后再聚到一起，比较不同方式的优劣之处。也许你们分属不同的数据团队，那你们可以每周见一次，以检查对方的工作或者讨论定量分析的方法。

编辑部之外呢？

有时候，即使身属数据小组，你还是没法找到人做交叉核查。那么，你可能就要去找比同组伙伴更专业的人了。

在这些情况下，可以考虑联系其他同行，他们可能在相同的数据集前面临同样的问题，难以作出决策。即使这些媒体人没有对你的方法提出意见，他们也可能会向你推荐另外一些有能力的人。这些同行或不会将你视为“竞争对手”，因为他们通常对特定主题有完全不同的视角与受众（政治献金是个现成的例子）。如果你不知道从哪里开始找人，可以在NewsNerdery Slack channel或者NICAR-L listserv尝试不同主题的渠道。

如果你在找数学或者数据方面的专家，就应该考虑stats.org，这个网站上有一群统计学家，可以向记者提供帮助，解释研究成果并讨论计算方法。其他与特定主题相关的专家如研究员或教授，则是核查一般分析结果的资源。

棘手的情况

如果你的故事很敏感，可考虑先分享你的方法，而不是公开具体发现。这样，别人会评价你的分析过程而非结论。记者与学者之间的一个关键区别，是他们在发表前分享结果的程度。在发表过程的任一阶段，学者都会被鼓励分享并征求外界对其作品的意见。然而记者在故事发表前则不太愿意在编辑部之外讨论他们的工作内容，特别是当调查结果有争议的时候。

如果你正在写一个预计会引起很多争议的故事，解决方案之一是准备一篇讨论调查方法的稿子，来预测并应对可能会有的批评，但不去提及具体结果。有些编辑部称之为“白皮书”。一旦你有了这份“白皮书”，就可以考虑分发给少量人士征求意见。

ProPublica在其《外科医生记分卡》项目中就用了这个办法。这个项目通过并发症发生率对外科医生进行评分，发布数据前，ProPublica将一份详细的白皮书与学者以及患者安全专家进行分享。

这种“方法发表先于结果”的（“methodology before results”）策略也可应用于更小范围的工作。举例而言，如果你引用了联邦统计机构的数据去解答某些问题，那么，即使你不在讨论中给出已经推演得到的具体答案，你还是可以找到该机构工作人员，继续就有关问题进行讨论。此时，上述方法极其有用。

发表后的透明度

即使在报道发表之后，仍然要对你的工作保持透明，以便使人们能够轻松地进行同行评价。

对自己负责的一种方法是，公开你的数据和方法，让公众来监督。即使只用一句话总结你从何得到数据、如何使用数据，也比什么都没有要强。

保持透明度几乎总是说易行难，Christine正在了解这背后的原因。如果你有兴趣参与她的研究，请发邮件至ychristinezhang@gmail.com 与她联系，或者填写这份问卷。

不止如此

时间有限，我们还有很多话题没法讨论，比如发布数据的最佳方法（可参考Source以及这些网站的资源），或者是激励记者做更多同行评价的其他方式。如果你有任何想法，请联系@christinezhang 和 @ArianaNGiorgi。

编译/梁晨昱

编辑/Ivan Zhai，梁思然

本文原刊于Source网站，深度网经授权转载。

Ariana Giorgi 是《达拉斯晨报》的记者，专注于数据分析与可视化，而且也是@DMNinteractive团队成员。

Christine Zhang 是《洛杉矶时报》数据组的Knight-Mozilla OpenNews 研究员。在此之前，她是华盛顿布鲁金斯学会的分析员。