思维模型格栅

数学与统计 · 10/12

幸存者偏差Survivorship Bias

只看留下来的样本,会把通过筛选的结果误当成所有人的规律。

返航飞机上的弹孔,记录的是哪些伤还能让飞机飞回来。1943 年,纽约哥伦比亚大学的统计研究小组里,亚伯拉罕·沃尔德研究如何用返航飞机的损伤估计飞机的易损性。没有坠毁飞机的损伤记录,他便在明确假设下,结合飞机损失比例及各部位受击概率建立估计方法。后来广为流传的故事,把它讲成“哪里弹孔少,就给哪里加装甲”。但原报告中的发动机、机身弹孔数据属于假设性算例,不能当作军方实际观测或他的发现现场。

为什么成立

留下来的样本已经过一道筛选

100 人报名健身课程,最后只有 20 人坚持到结课,其中 16 人体能改善。教练据此宣传“八成人有效”,这个比例描述的是坚持到最后的人。其余 80 人退出后的体能没有记录;如果效果差的人更容易退出,结课名单就会集中留下效果好的人。

幸存者偏差发生在用这类名单推断最初的全体时。“活下来”可以是没有倒闭、没有退出,也可以是仍被数据库收录。当留下来的机会与研究对象的特征或结果有关,筛选就会改变我们看到的分布。

样本再多也补不回被筛掉的人

令 表示是否改善, 表示坚持到结课,观察到的是:

白话说,这回答的是“结课者中有多少人改善”,而报名者关心的是“报名后有多少人改善”。扩大结课者的调查规模,仍然没有回答后一个问题。

缺少弹孔要结合返航条件解释

沃尔德的推理依赖各部位遭受攻击的机会及中弹后的生还概率。在受击机会可比的前提下,返航飞机某处弹孔少,可以说明该处中弹更致命。关键是还原谁有机会进入样本,再解释样本里留下的痕迹。

出处

幸存者偏差属于统计学中的样本选择问题,没有公认的单一提出者。最著名的早期研究来自亚伯拉罕·沃尔德:1943 年,他在哥伦比亚大学统计研究小组研究飞机损伤,用返航飞机的数据估计不同部位中弹后的生还概率。后来的通俗讲述把这项工作浓缩成了装甲应加在哪里的故事。

换个领域看

投资

消失的基金

只统计仍在运营的基金,会漏掉清盘或合并的基金。1992 年,布朗、戈茨曼、伊博森和罗斯发表研究,分析这类遗漏怎样扭曲投资业绩评价。若表现差的基金更容易消失,现存基金的历史成绩就被抬高。考察一批基金时,应从起点名单追踪到底,把退出者也纳入。

技术

崩溃前没上报

应用启动后才上传耗时,会漏掉启动中崩溃的设备。工程师发布新版后,看见平均启动时间缩短,却收到更多“打不开”的投诉:最慢、最容易崩溃的启动没有进入报表。下次成功打开时补传本地失败记录,只能补回后来成功启动且记录仍保留的尝试。一直打不开、卸载或不再使用的人,仍会缺席;报表应同时标出未收到结果的启动尝试。

个人生活

长寿者的习惯

百岁老人保留的习惯,不能直接当作延寿方法。读者看到一位百岁老人每天喝酒,便想照着做;但同样喝酒、较早去世的人没有进入长寿专访。要判断这个习惯的效果,应从饮酒者和不饮酒者中追踪寿命,把早逝者也算进去,而非只问活到百岁的人。

遇事时问自己

  1. 我想了解的是起初的所有人,还是已经留下来的这群人?
  2. 哪些人、项目或记录因为失败、退出、关闭而从名单里消失了?
  3. 什么决定一个样本能被我看见,这个条件与我要判断的结果有什么联系?
  4. 能否找到起点名单,追踪退出者的结果,而不是只调查现存者?
  5. 如果找不到退出者,我的结论能否明确限定在留下来的这群人中?

边界与误用

研究问题本来就只针对现存者时,这份样本可以直接回答问题,例如今天营业的门店需要多少库存。若退出与所研究的特征无关,也没有由这道筛选造成的系统偏差。最常见的误用是把结论反过来:成功者有的特点就一定无效,飞机弹孔少的地方就一定该加装甲。识别偏差不要求找回所有缺失者;校正可借助额外信息和明确的筛选假设,或估计结果的上下界。沃尔德就在缺少坠毁飞机损伤记录时建立了估计方法。信息不足以确定全体结果时,应写清未知范围,或把结论限定在现存者中。

练一练

一家咨询公司想估计新立项的数字化项目按期验收的概率。项目库只保留已验收项目,其中九成按期完成。客户取消和过期仍未完成的项目都被移出了库。

哪一步最能帮助公司估计这个概率?

你向邻居分发了100盆同一种植物的插枝,想知道一个月后的成活率。收回的40份记录中,32盆成活、8盆死亡,其余60盆没有结果记录。几位邻居说,种活了更愿意回来报喜。

仅凭这些记录,对这100盆插枝最站得住的判断是什么?

一个学区近年关闭了几所生源少的学校。采购员要为下周已订午餐的学生准备餐盒,已经拿到完整的订餐名单。有人反对:名单里没有关闭学校过去的学生,所以采购数量会偏低。

哪种判断最站得住?