01原理
正态分布描述的是一种很常见的形状：大多数结果挤在平均值附近，越往两边越少，左右大致对称。只要知道两个数，平均值和标准差，就能说出整条曲线：大约 68% 的结果落在平均值上下一个标准差之内，95% 在两个之内，99.7% 在三个之内。芒格说的“粗算”，用的就是这几条经验法则，不需要查表，更不需要算到小数点后十位。
这个模型最实用的地方，是帮你分清“信号”和“噪音”。周活跃用户从 1200 掉到 1150，是出了问题，还是正常的周度起伏？评测分数从 71 涨到 74，是新提示词更好，还是换一批题、换一个随机种子就会回落？先估出正常波动有多大，再看这次变化是不是超出了它，才轮得到讨论原因。不做这一步，团队就会对每一次随机起伏都编出一个故事。
芒格的话有两层意思。一层是：别被数学吓住，懂形状就够用。另一层是：懂形状是底线，不懂它的人在估算风险和判断变化时会持续吃亏。对小团队来说，后一层更要紧，因为样本小，波动大，最容易把噪音当成趋势。
为什么成立
为什么现实中这么多东西接近正态？背后是中心极限定理：许多相互独立、各自影响不大的因素加在一起，总和的分布会趋近钟形，不管每个因素本身是什么形状。人的身高、零件尺寸的误差、多次测量的平均值，都属于这一类。由此还能推出一个对决策极有用的结论：平均值的波动随样本量的平方根缩小。100 道题的评测，标准误大约是单题波动的十分之一；想把误差再减半，题目要变成 400 道，而不是 200 道。
反过来，这个机制也说明了正态分布什么时候不成立。如果结果不是许多小因素相加，而是相乘、相互放大，或者被少数大事件主导，比如收入、融资额、病毒式传播、金融市场的恐慌，分布就会出现长尾或肥尾，极端值的出现频率远高于钟形曲线的预测。正态假设下几乎不可能发生的事，在这些领域隔几年就会来一次。所以真正的技能有两步：先判断眼前的数据是不是“许多小因素相加”生成的，再决定能不能拿钟形曲线去估。
02芒格怎么说
芒格在 1994 年南加州大学商学院的演讲里，讲完工程上的质量控制和戴明之后顺带谈到统计学。他的态度很务实：大多数人不必精通统计，他自己连泊松分布都不太会念，但他知道高斯分布（正态分布）长什么样，也知道现实里大量事情就是这样分布的，所以能做粗略估算。他要求听众至少像他一样大致懂这条钟形曲线。他没有专门展开讲肥尾或正态假设失效，本章这部分是我们根据统计学常识补充的。
But I know what a Gaussian or normal distribution looks like and I know that events and huge aspects of reality end up distributed that way. So I can do a rough calculation.
但我知道高斯分布或者说正态分布长什么样，也知道许多事件和现实的大片领域最后都是这样分布的。所以我能做粗略的估算。
I’m like a poker player who’s learned to play pretty well without mastering Pascal.
我就像一个没吃透帕斯卡、却学会了把牌打得相当好的扑克玩家。
But you have to understand that bell-shaped curve at least roughly as well as I do.
但你们至少得像我一样，大致懂那条钟形曲线。
03怎么用
- 01
给每个关键指标先算出“正常波动带”
拿过去 8 到 12 周的数据，算出平均值和标准差，在看板上画出上下两个标准差的带子。落在带内的变化，不开会、不找原因；连续多次落在带外，或者一次超过三个标准差，才去查。这是舒哈特控制图的简化版，能让团队把注意力留给真正的异常，而不是每天解释随机起伏。
- 02
评测结果一律带误差条
对正确率这类指标，标准误约等于根号下 p(1-p)/n。200 道题、正确率 75% 左右时，标准误约 3 个百分点，95% 区间约正负 6 个百分点。所以两个提示词差 3 分，在这个题量下说明不了什么。比较两个版本时，用同一批题做配对比较，并对同一道题多跑几次取平均，都能在不加题的情况下把误差压下来。
- 03
按样本量的平方根规划实验
想检测的差异越小，需要的样本越多，而且是平方关系：要分辨出 1 个百分点的差异，样本量大约是分辨 2 个百分点时的 4 倍。上线 A/B 测试或采购评测之前，先粗算一下需要多少用户或多少道题，如果你的流量根本达不到，就别做这个实验，换成更大的改动或更直接的用户访谈。
- 04
先判断分布形状，再选工具
延迟、客户付费额、单个客户带来的推理成本、线上故障的损失，这些往往是长尾分布。对它们不要只报平均值和标准差，要看中位数、p95、p99 和最大值，并按最坏的那几个情况去设计限额、超时和备用方案。一个简单的检查：如果最大值比平均值大出几十倍，钟形曲线大概就不适用了。
04案例
舒哈特的控制图：先分清哪些波动不用管
1924 年 5 月 16 日，在西方电气公司做质量工作的沃尔特·舒哈特写了一份内部备忘录，他的上司乔治·爱德华兹后来回忆，那份备忘录只有大约一页。里面画的就是后来所说的控制图。在此之前，工业质量控制主要靠检验成品、剔除次品；舒哈特把生产中的波动分成两类：随机原因造成的波动，和可以找到具体原因的波动，控制图就是用来区分二者的。他把控制线定在平均值上下三个标准差；如果过程稳定且统计量接近正态，一个点越出三倍标准差的概率只有约 0.27%。舒哈特本人也承认，现实数据从来不是严格的正态，三倍标准差的依据最终要靠经验证明它管用。他在 1931 年出版了《制成品质量的经济控制》，并和戴明有过长期合作；芒格在演讲里说，戴明带到日本的那一整套质量控制，就是这类初等数学的延伸，这正是芒格在谈到钟形曲线之前提到的那段历史。对小团队的启发是：先承认大部分波动是噪音，才有精力去查真正的异常。[2][3][4][1]
美国空军的“平均人”：每个维度都正态，合起来没有人是平均的
1952 年 12 月，美国空军莱特航空发展中心的吉尔伯特·丹尼尔斯发表技术报告《“平均人”？》。他用 4063 名空军飞行人员的人体测量数据，挑出 10 项与服装设计有关的尺寸，每项都把“大致平均”定义得很宽松：占中间约 30% 的人。然后逐项筛选：4063 人中身高大致平均的有 1055 人，其中胸围也平均的剩 302 人，再加袖长剩 143 人，依次是 73、28、12、6、3、2，到第 10 项时一个人都不剩。报告还指出，换成座舱布局或座椅设计用的尺寸，结果也会差不多。每一项尺寸单独看都接近钟形分布，均值也很有代表性；但只要同时要求多个维度都接近均值，符合条件的人就按乘法迅速归零。按“平均用户”设计产品，可能一个真实用户都不合身。[5]
高盛的“连续几天 25 个标准差”：把肥尾当成钟形
2007 年 8 月，据《金融时报》报道，高盛首席财务官戴维·维尼亚在解释旗下量化对冲基金的亏损时说：“我们看到的是 25 个标准差的波动，连续好几天。”当时高盛管理的两只大型对冲基金在一周内都亏掉了四分之一以上，高盛为此注资 30 亿美元；其中 GEO 基金自年初以来已下跌 27%。凯文·多德等学者在 2008 年专门写了论文《25 个标准差有多倒霉？》：他们按正态分布算出，单日出现 25 个标准差下跌的概率约为 3×10⁻¹³⁶%（换算成小数约 3×10⁻¹³⁸，这一换算是编者做的），相当于连续 21 到 22 次中英国国家彩票头奖，实际上等于不可能；连续两天出现的概率还要再平方。真正的解释不是运气差到离谱，而是模型把一个肥尾的市场当成了钟形曲线来估风险。正态分布本身没错，错在用它去描述一个被拥挤交易和集体平仓主导的系统。[6][7]
Epoch AI：198 道题，6 个百分点的差距也可能只是噪音
Epoch AI 是一家专门跟踪 AI 能力趋势的研究机构，不是创业公司，但它要回答的问题和小团队选模型、调提示词时一模一样。它在基准测试说明里写明：大多数模型在 GPQA Diamond 和 Mock AIME 上各跑 16 次，在 MATH Level 5 上跑 8 次，图上标出均值上下一个标准误的区间。2025 年 12 月，Epoch 的弗洛里安·布兰德和让-斯坦尼斯拉斯·德奈恩在文章《为什么基准测试很难》里写到：他们在 GPQA Diamond 上给 gpt-oss 换不同提示词和温度，平均分在 74% 到 80% 之间变化，但因为这套题只有 198 道，这些差别并不显著；即使用同一套实现，也能看到这个范围的波动。按正确率的标准误公式粗算，198 道题、正确率 77% 左右时，标准误约 3 个百分点，正好解释了这个幅度。文章还指出，抽样误差并不是全部：在 SWE-bench Verified 上换一套脚手架，GPT-5 的成绩可差到 11%，Kimi K2 Thinking 可差到 15%，而模型服务商的差异是最大的变异来源。误差条能告诉你噪音有多大，但测不出系统性偏差。[8][9]
Anthropic 给评测加误差条：同一段材料出的题不独立（大公司案例）
这不是小团队案例，但方法小团队可以直接照抄。2024 年 11 月 19 日，Anthropic 发表文章和论文《给评测加上误差条》，主张把评测分数看成从一个假想的“题目总体”里抽样得到的平均值，按中心极限定理给出标准误，95% 置信区间就是均值加减 1.96 倍标准误。文章特别指出：DROP、QuAC、RACE、SQuAD 这类评测里，好几道题出自同一段材料，题与题不独立，必须按材料做聚类标准误；在常用评测上，聚类标准误比朴素算法大三倍以上，不做聚类就会把噪音误判成模型差异。文章还建议对同一道题多次采样取平均，并利用不同模型在同一批题上的相关性（前沿模型之间约 0.3 到 0.7）做配对比较，再用功效分析事先算清需要多少道题。这说明钟形曲线的粗算要成立，前提是样本真的独立；不独立的样本，看起来很多，实际上少得多。[10]
05误用与边界
把肥尾当钟形
收入、融资、流量爆发、故障损失、市场崩盘，这些由少数极端事件主导的领域，用平均值和标准差去估风险，会系统性地低估最坏情况。看到“几乎不可能”的结果反复出现时，要怀疑的是模型，不是运气。这类问题更适合用幂律、压力测试和备用方案去想。
忽略独立性，把样本量算多了
标准误随根号 n 缩小，前提是每个样本彼此独立。同一个客户的 50 次会话、同一段文档派生的 10 道题、同一个提示词模板生成的测试用例，彼此高度相关，有效样本量远小于表面数字。照表面数字算出的误差条会窄得让人过度自信。
用“平均用户”代替真实用户
每个维度都接近正态，不代表有人在所有维度上都接近平均。拿各项指标的平均值拼出一个“典型客户”去设计产品和定价，可能谁都不合适。更好的做法是按真实用户的组合去分群，或者让关键维度可调。
统计上不显著，不等于没有差别
样本太小时，误差条宽到什么都看不出来，这时结论应该是“这次测不出来”，而不是“两个版本一样好”。另一方面，误差条只量化随机抽样带来的不确定，评测脚手架、数据泄漏、服务商差异这类系统性偏差不会体现在里面。
06检查清单
下次做相关决策前逐条过一遍。勾选只保存在你的浏览器里。
08来源
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10