Quartz坏数据指南精选:处理数据的正确方式一览

Print More

我们拿到的数据往往有数值缺失、单位不统一或经人为操纵等问题,要是没有统计学基础,应如何一一解决呢?Quartz的记者Christopher Groskopf总结了我们处理数据时常遇到的棘手难题,结合例子给出了实用建议(Quartz Bad Data Guide,已获得Creative Commons license),还分成数据源、使用者、第三方专家和程序员处理的类别,易懂好上手。深度君经Quartz和“数艺智训”授权,精选其中的经典问题和解决方案,帮你解除数据忧虑。


数据源应该解决的问题

数值缺失

1你得谨慎对待任何数据表里出现的空白数据或无效值,除非你百分百确定其含义。如果数据是年度值,看看是不是当年的数据没被收录?如果是份调查,是不是受访者拒绝回答了问题?

每次使用包含缺失值的数据时,你应该问问自己:“我是否知道没有这个数据意味着什么?”要是不清楚,你应该向数据提供方问个明白。

缺失的数值被0代替

比数值缺失更为难办的是用任意值代替了原有数值。这种情况发生要么是因为人为改动数据时没考虑含义,要么是因为自动程序不懂处理无效值。在任何情况下,要是在数字序列中看到0,就该问问自己这个数值是指数字0,还是意味着“无意义”。如果不确定就问问数据提供方。

你所知道的数据遗失

有时候缺了数据,数据表上看不出来,但你还是能知道,是因为了解数据的意义。如果你有一个覆盖整个美国的数据集,检查一下,保证50个州的数据均在其中。(别忘了领土问题——如果数据包含波多黎各,写50就不对了)处理一个棒球运动员的数据集时,就要确保球队数量和预想的一致。拿你知道的几名队员核实看看。如果觉得有些消息缺失了,相信你的直觉,和数据源多核对几遍。你所掌握的数据范围可能比预想的要小得多。

数据粒度太粗

2有时你掌握了州的数据,但要精确到县;得到了雇主信息,但需摸清雇员;或是拿到了年度数据,但想了解每月的情况。很多情况下,我们得到的数据远比我们需要的要多要杂。

数据一旦汇总,再分开就难了。如果你得到的数据太粗,就得问数据源要更具体的数字。难就难在,他们也许没有,就算有也可能给不了或者不愿意给。许多联邦级别的数据集不允许地方层级访问,目的是保护特殊人群的隐私。(例如,某个单独的索马里国民生活在西德克萨斯州。)你所要做的就是问清楚。

记住,永远别把一年的数据除以12,把得到的称为“平均每月”数据。无论如何这都是错的,千万别这么做。

你应该自己解决的问题

数据粒度太细

这和“数据粒度太粗”的问题刚好相反。此时,你拿到了县的数据,但想要整个州的,或者你得到了月份数据但你想用年度的。幸好,这问题的解决方法很简单。

数据汇总工具包括Excel或Google文档中的透视表功能、SQL数据库或自己写的代码。透视表是值得每个记者学习的好工具,但它也有局限性。处理非常庞大的数据集或汇总异常数据组时,你应该求教程序员,他们可以制定一个更容易验证和反复使用的解决方案。

人为操纵的时间范围

3-time frame数据的时间范围是可以动手脚的。数据源可以通过提供含有特定起始时间的数据,有意无意地扭曲事实。2015年广泛报道的“全国犯罪浪潮”就是个有力的例子。实际上根本没有什么犯罪浪潮,只是某些城市的犯罪数量与近几年相比突然上升。如果记者们将观察的时间拉长,就会发现10年前美国各地的暴力犯罪更多,20年前的数量甚至是现在的两倍。

如果数据涵盖的时间范围有限,尽量避免从最开始的时间段开始计算。如果你选取的数据只有几年(或几个月、几天),确保你的对比结果多加一个数据点之后仍能成立。

人为操纵的参考范围

为了政治目的,机构通常将犯罪数字与犯罪率高的年份对比以操纵数据,用变化(自2004年以来下降了60%)或者指数(40,其中2004年 = 100)呈现结果。上述两种情况中,2004年不一定就是合适的对比年份,当年的犯罪率可能高得出奇。

地区比较也是如此。如果想让某个国家的情况显得恶劣,只要把它的数据和表现最优异的国家一比就得逞了。

归根结底,这种现象往往出现含有严重偏见的议题中。(正如犯罪率问题,好多人难免在心里嘀咕“跟我想的一样,犯罪率就是上升了!”)只要有机会,就试试以不同时间为起点,看数字如何随之变化。无论你打算怎么处理数据,千万用这种方法刻意去证明你认为重要的观点。这就太过了。

第三方专业人士应该帮你解决的问题

存在令人费解的离群值

我最近创建了一个数据集来统计互联网信息的传递时长。所有时长都在0.05至0.8秒之间,只有三个例外,且每个都超过了5000秒。通常这是数据生产出错的红色警告。果不其然,这次是因为我写的代码出了错,导致一些计时停止,而其他信息仍在正常传送和接收。

4-outliers尤其是计算平均数时,像这样的离群值会严重扭曲统计结果。(因此我们应该用中位数)每当得到一个新数据集,最好检查最大值和最小值,确保它们在合理范围内。如果数据合理,你可能也想用标准差或中位差做更严谨的数据分析。

出现离群值还有个好处:离群值往往是寻找新闻头条的绝佳方式。如果真的有个国家在网上发一条消息要花5000倍的时间,这不就是一个好故事吗?

指数掩盖了潜在差异

分析师如果想跟踪某个问题的发展趋势,通常会创建不同标准的指数以追踪进展。指数的解释力很强,用它本身没有问题。但重要的是要格外小心不同度量值组成的指数。

5-gender inequality index例如,联合国性别不平等指数(Gender Inequality Index)包含了与女性平等进展有关的几个量度。其中一个是“议会中女性代表的比例”。世界上有两个国家的法律规定了议会中的性别代表比例:中国和巴基斯坦。结果这两个国家的指数表现远高于其它国家,尽管所有国家在其它方面都不相上下。这公平吗?这里讨论公不公平意义不大,因为不知道这个影响因素,就不会明白这里的“公平”意味着什么。GII等不平等指数在使用时需严谨分析,以保证潜在变量不会意外地改变指数。

太完美的数据往往不真实

现在还不存在公共舆论的全球数据集,也没有人知道生活在西伯利亚的确切人口数。犯罪数据跨了国界,就毫无可比性。美国政府也不会破天荒地告诉你它持有多少核材料。

以上例子告诉我们,要是遇上任何数据自称能代表你不可能知道的事物,务必要谨慎。它不是数据,而是某些人的估计,很可能是错的。但……它可能是条新闻,因此还是找专业人士验证靠谱。

程序员能帮你解决的问题

数据汇总到错误的分类或地理区域

6-data geographics有时你的数据粗细程度刚好适中(既不太粗也不太细),但有时被汇总到了你不想要的组别。有个经典的例子是,本来数据是按邮政编码汇总的,而你更想按照城市街区来分。在很多情况下,要是不能得到更细粒度的数据,问题就没法解决。但有时数据可以按比例从一个组映射到另一个,可以由此推算数据。在此之前,得弄清楚这个过程可能引入的误差范围。如果你得到的数据汇总错了类别,咨询程序员是否可以重新汇总。

扫描文档中的数据

多亏信息自由法案,很多时候可以要求政府提供数据——即使他们真的不想这么做。这时,政府常见的手法是给你页面的扫描件或照片。它们可能是图像文件,更有可能是集合制成的PDF文件。

我们可以从图像中提取文本、变回数据。这个过程叫做“光学字符识别(OCR)”。现代OCR的准确度常常能接近100%,但很大程度上取决于文档的质量。每次用OCR提取数据,你都得核实一下识别结果是不是和原始文件一致。

现在有很多网站支持文件上传作光学识别。也可以用免费软件,程序员根据文件特点帮你调整软件特性,提高准确度。问问他们你的文件怎么处理最合适。


编辑/周炜乐    王一苇

Leave a Reply

Your email address will not be published. Required fields are marked *