数学与统计 · 7/12
正态与肥尾Normal vs Fat-Tailed Distributions
正态世界里典型值能代表多数,肥尾世界里少数极端值能改写整体
一天的暴跌,就能让多年的平稳记录失去说服力。1987 年 10 月 19 日,纽约股市卖单不断涌入,道琼斯工业平均指数当天跌了 22.6%。交易员面对的跌幅,远远超出平日几个百分点的波动。次日,在华盛顿,美联储主席格林斯潘领导的央行宣布提供流动性,支持金融体系。对持有股票的人来说,这一天只占全年交易日的一小部分,却能吞掉多年积累的收益。拿普通日子的波动安排仓位,遇到这样的日子,损失就会突破原先的尺度。
为什么成立
少数极端值能改写整体时,典型值就失去代表力
给一百名成年人加入一位身高两米的人,平均身高只移动一点。给一百名普通储户加入一位亿万富翁,平均财富却能翻很多倍。身高的极端值离普通值有限,财富的极端值能超过普通值几个数量级。
正态分布让远离中心的结果迅速变少
相近年龄、同性别成年人的身高,可以用正态分布近似。许多小影响相加,当它们的依赖较弱、单项没有压倒其余项时,容易形成钟形分布。用 衡量偏离: 是均值, 是标准差, 就是高于均值三个标准差。正态分布落在正负三个标准差之外的概率约为 0.27%;落在正负六个之外,约为十亿分之二。越远离中心,概率下降得越快。
肥尾把更多概率留给了巨大结果
这里说的肥尾,是尾部比正态分布衰减更慢,极端结果更常出现。财富能借助资产增长拉开差距;灾害损失能沿相互连接的设施扩大。它们没有身高那样紧的尺度约束。
一百笔损失中,99 笔各为 10 元,合计 990 元。另一笔为 1010 元,总损失达到 2000 元。这一笔独占一半以上;平均每笔 20 元,却遮住了真正决定总损失的那一笔。
正态世界重点看中心和波动,肥尾世界还要追问极端值能有多大。 尾部事件稀少,短记录容易漏掉它;一旦它出现,样本均值和标准差就会明显改变。
出处
这一区分来自概率论与统计学,经过多位研究者发展。棣莫弗于 1733 年研究二项分布的正态近似,高斯于 1809 年用正态分布描述测量误差。帕累托在 1896 年的收入研究中展示了厚重的上尾;曼德尔布罗特在 1963 年研究棉花价格时,发现大幅变动比正态模型预测的更频繁。
换个领域看
灾害与保险
巨灾集中赔付
巨灾会让许多保单一起出险。2011 年 3 月 11 日,日本东北地震引发海啸,并造成福岛核事故。住宅、工厂和基础设施同时受损,企业还承受停产损失。保险公司按平静年份的平均赔款准备资金,会低估这种集中负担。储备要覆盖的,是一次灾害同时触发的大批赔付。
技术
均值藏住卡顿
少数超慢请求能藏在漂亮的平均延迟里。一个结账接口处理了 100 次请求:99 次各用 0.1 秒,一次因下游超时用了 10 秒。平均耗时只有 0.199 秒,那位顾客却等了整整 10 秒。工程师要追查慢请求的触发路径,并设置超时和降级,让下游故障及时释放被占住的资源。
个人生活
赶飞机留余量
赶飞机时,严重堵车比平日平均车程更值得关注。一位上班族19 次通勤各花 30 分钟,一次因道路封闭花了 150 分钟,平均耗时是 36 分钟。按均值安排去机场,那次长延误就会让他错过航班。出发时间应给严重堵车留余量,出门前还要查替代路线是否畅通。
遇事时问自己
- 这个量受到身高那样紧的限制,还是能比普通值大上几百倍?
- 最大的几次结果占总量多少,去掉它们后平均值会变多少?
- 历史记录包含哪些严重冲击,最长的平静时期有多久?
- 哪些连接和连锁反应会把一次局部故障扩大成巨大损失?
- 如果结果远超历史最大值,我有哪些资源和退路可以承受它?
边界与误用
选分布前,先固定人群、时间尺度和所测的量。相近年龄、同性别的身高更适合正态近似;财富要看上尾,灾害要看损失规模。判断尾部应看极端值随规模增大如何变少,并结合损失扩大的机制。单次卡顿展示的是均值如何遮住极端体验,识别延迟分布还要观察更多请求。肥尾不等于均值和方差必然不存在,有些肥尾分布两者都有。最常见的误用,是沿用平静时期的均值和标准差,再套正态概率估算巨灾;记录短时,应把压力情景和可承受损失放进决策。
练一练
连锁餐饮集团的价格运营负责人准备启用自动调价脚本。过去一年,门店手工录错价格通常只影响一笔订单,平均修正成本为几十元。新脚本会把总部价格表同步到全国两千家店;若把“分”读成“元”,所有门店都会同时出错。负责人准备按去年的平均修正成本安排应急预算。
哪种判断最站得住?
提高预算能给普通错误留出余量。但三倍没有对应全国出错的规模,仍可能远低于一次事故的损失。
同一脚本连接了两千家店,一次错误就可能决定全年损失。先估算这种事故的规模,再用发布措施限制影响范围。
新系统的记录更贴近实际运行。但一年可能始终平静,按这段记录定预算,仍会漏掉全国同步出错的损失。
历史记录多,平均成本看起来可靠。但记录中的错误只影响局部订单,新脚本会把一次错误放大到全国。
过去的错误彼此分散,新脚本却让门店同时暴露在一个错误下。少数事故可能压过大量普通错误,历史平均成本也就失去代表力。应急安排要覆盖损失扩大的路径。
早期投资基金的合伙人向出资人汇报一期基金的结果:向20家公司各投入同样金额,18笔归零,一笔收回本金的2倍,一笔收回本金的60倍。基金总共收回投入的3.1倍。出资人提出,最后一笔太特殊,评价基金时应该剔除它。
哪种评价最站得住?
中位数确实反映了多数项目的结局。但出资人拿到的是组合总回报,一个巨大赢家可以覆盖多数失败。
整体回报更贴近出资人的实际所得。但这个倍数高度依赖一个赢家,一期结果不足以支持稳定的收益预测。
少数巨大收益可以决定组合表现,应保留在总回报中。判断策略能否延续,还要检查选项目、持有和退出的条件。
剔除异常值常用于减少偶然干扰。但这笔收益是真实到账的,也是组合回报的主要来源,删掉它会改写评价对象。
这笔60倍的投资贡献了绝大部分回款,典型项目的结局代表不了组合表现。已经获得的总回报要完整计算,未来回报则要检查大赢家出现和被持有到退出的机制。
办公室的行政主管接到咖啡杯溢出的投诉,记录了一个月的出杯量。咖啡机有两档:小杯约180毫升,大杯约360毫升;分别统计时,两档都只偏离设定值几毫升。主管把记录合并,看到直方图有两个峰,便把大杯那一峰解释为机器经常出现异常的大量出杯。
行政主管的哪一步判断出了问题?
中位数较少受大值影响,容易让人觉得更稳妥。但换一个中心指标仍没区分两档设定,投诉原因依然没有找到。
标准差能描述数据的离散程度。但合并后的标准差包含两档设定的差异,直接套用会混淆杯型与故障。
延长记录有助于发现少见故障。但两个峰的来源已经明确,增加记录不会纠正把正常大杯当成异常的判断。
两个峰分别对应小杯和大杯,各档内部的出杯量都很集中。先按档位核对投诉记录,才能找到溢出发生的条件。
双峰来自两档固定杯量,偏离单一钟形并不等于尾部更厚。应先固定档位,再检查出杯量相对设定值的偏离。溢出投诉还要核对所选档位与杯子的容量。