别被“p < 0.05”给骗了:为什么做研究不能只盯着显著性?
想象一下,你网购了一支家用电子体温计。
包装盒上赫然印着:“采用尖端检测算法,灵敏度高达 99%,只要体温偏离正常值就会发出蜂鸣报警!”
你满心欢喜地拿来一测,“哔哔哔”,体温计响了——提示有显著差异!可当你低头看显示屏时,上面却显示一行字:“您的体温介于 37.1℃ 至 41.5℃ 之间。”
这时候你敢吃退烧药吗?显然不敢。因为你根本不知道自己到底只是喝了口热水后的 37.1℃ 微热,还是已经高烧到 41℃ 必须立刻去医院挂急诊。
这个听起来荒诞的体温计笑话,正是今天大量医学科研、数据分析和产品实验中正在上演的现实:很多人费尽心机计算样本量、跑实验,唯一的执念就是把检验功效(Power)凑到 80%,换来那句神圣的“\(p < 0.05\)”。然而对于真实世界里最重要的问题——“这个效果到底有多大、到底准不准”,却视而不见。
蜂鸣器陷阱:显著不等于有用
传统假设检验的本质,就像一个蜂鸣报警器。
它的逻辑是:先预设一个无罪推定(原假设 \(H_0\):这个药一点用都没有,两组差异为 0)。然后抓来一批病人做实验。如果观察到的结果在“完全没用”的前提下发生的概率极小(\(p < 0.05\)),报警器就响了,宣布“差异显著”。
为了让报警器在该响的时候能响起来,统计师会帮你算一个样本量,保证 80% 的概率抓住这种差异(统计功效 Power = 80%)。
但问题出在哪里?
- 区间太宽,形同废话: 假如某款新降压药做完临床试验,结果确实是“\(p = 0.03\),显著优于安慰剂”。但仔细一看数据的 95% 置信区间(Confidence Interval, CI),降压幅度是 \([0.1, 7.9]\text{ mmHg}\)。 在统计学上,它确实跑赢了 0;但在临床医生眼里,如果实际效果只是 \(0.1\text{ mmHg}\),那跟喝凉白开没区别,而且患者还要承受潜在的副作用和药费。
- 凭空捏造假想敌: 如果你做的是流行病学发病率调查、AI 辅助诊断算法的准确率评估,或者罕见病表征分析,你本来就是为了“看看真实数值是多少”,世界上哪有什么天然的对照组 \(H_0\)? 为了硬套功效公式,许多人只能强行编造一个“假定发病率不等于 50%”,完全脱离了研究的真实意图。
换把精准的“卡尺”:精度导向
既然蜂鸣器只能报警,那能不能给研究换一把卡尺?
这就是**精度导向(Precision-Based Sample Size)**的核心理念。
资料陈述:著名医学统计学家 Martin Bland 在 2009 年的《英国医学杂志》(BMJ)上大声疾呼:临床研究应该摆脱对功效和显著性的单一崇拜,将样本量规划的基础建立在“置信区间有多窄”上。1
什么是精度导向?它的思路非常平实直白:
- 别再跟我谈什么假设原发病率为 0;
- 直接定一个临床能接受的误差范围:“我希望最后估算出来的诊断准确率,误差不超过 \(\pm 3\%\)(即置信区间总宽度不要超过 6%)。”
以测量身高、体重或血压这类数值为例,如果你希望估算出的平均值与真实值的误差不超过 \(\delta\)(比如 \(\pm 1\text{ mmHg}\)),你需要的样本量其实由一个非常朴素的常识决定:
看看这个关系有多直观:
- 如果人群本身个体差异大(波动度大),尺子就要更长(样本要更多);
- 如果你想把误差缩小一半(尺子刻度精确一倍),需要的样本量就要翻 4 倍(平方反比)。
研究者不需要靠“假设谁等于零”来猜谜,而是根据自己手头的预算和能接受的精度极限,明明白白地算账。
AIPE 范式:再买一份“防手抖保险”
在心理学和精密测量学中,这个想法被升级为 AIPE(Accuracy in Parameter Estimation,参数估计精确度)。
AIPE 考虑了一个更真实的细节:抽样本身是有随机波动的,你的手可能会抖。
普通精度法算出来的样本量,在平均意义上能把置信区间卡在目标宽度内。但这就像抛硬币,每次试验有大概一半的概率运气好、区间窄一点;但也有一半的概率运气差,实际算出的置信区间比你预想的稍微宽了一点点。
如果你做的是关键药物评价或高精度仪器标定,你绝不能承受“只有 50% 的机会达到期望精度”。
AIPE 范式相当于加了一条保险条款:“我不但要求平均宽度达标,还要有 80% 或 90% 的把握(Assurance),确保最终算出来的置信区间宽度绝对不超过我的红线。” 这在统计上会通过更严格的分布调整,多要一小部分样本,从而把不确定性彻底锁死在保险箱里。
工具生态:别迷信万能包
在现代 R 语言生态中,统计学家们已经把这些原本复杂的公式封装得相当好用:
- 想算医学检查、流行病学指标的误差范围? 用
presize。它直接以 Bland (2009) 的倡导为灵感,想算诊断 AUC、一致性 Kappa 值、率差的样本量,直接输入“我希望区间宽度多宽”,一行代码就能出结果。2 - 做严密的因果推断与相对危险度(RR/OR)分析? 用
precisely。它基于现代流行病学大师 Rothman & Greenland 的思想,专攻暴露效应比值的置信度控制。3 - 心理学量表与标准化效应量? 用
MBESS。它把 AIPE 思想贯彻到底,提供极其完善的保险概率(Assurance)反求。
⚠️ 知识库勘误小记:很多网文把
presize和precisely混为一谈,甚至声称它们共用同一套文献。我们在此前对源码和引文的审计中发现,precisely严格基于流行病学教材框架,文档中一次都没有引用过 Bland;而presize才是专门以 Bland 的精度呼吁为动机设计的。选工具前认清理论渊源,结论才立得住。
总结:什么时候用蜂鸣器?什么时候用卡尺?
这并不是说传统假设检验一无是处,两者其实分工明确:
- 确证性临床试验(如药品上市审批的 III 期 RCT): 必须使用功效导向(蜂鸣器)。因为监管机构的底线是不放过任何假药(严控一类错误),必须明确给出拒绝“无效假说”的硬门槛。
- 流行病调查、诊断工具评价、探索性试验、真实世界数据分析: 坚决换用精度导向(卡尺)。不要去测毫无意义的“显著性”,告诉读者和同行你手里的刻度有多准、区间有多窄,才是对科学更诚实的交代。
下次再写方案或读论文时,不妨多问一句:我们究竟是在为了交差制造一个显著的报警声,还是在努力给未知世界量一把清清楚楚的尺子?
相关知识
- 查看精度导向样本量的系统定义与 R 常用函数族:参见 精度导向样本量。
- 当这种精度要求延伸到分群、分学校或分医院的抽样设计时:参见 整群随机试验样本量。
- 在临床预测模型中参数置信区间的精度要求:参见 预测模型开发样本量。
参考文献
局限与说明
- 极端比例慎用大样本近似:当罕见病发生率极低(如低于 1%)时,基于正态近似的简易精度公式会失效,应采用精确二项分布(Clopper-Pearson)方法。
- 精度设定切忌过贪:样本量对容许误差的平方成反比,精度要求提高一倍,经费和样本量要翻两番,必须在临床实际意义与可行性之间达成妥协。
-
Bland JM. The tyranny of power: is there an alternative? BMJ. 2009;339:b3985. DOI: 10.1136/bmj.b3985 ↩︎
-
Haynes AG, Lenz B, Stalder O, Limacher A. presize: An R-package for precision-based sample size calculation. Journal of Open Source Software. 2021;6(60):3118. DOI: 10.21105/joss.03118 ↩︎
-
Rothman KJ, Greenland S, Lash TL. Modern Epidemiology. 3rd ed. Wolters Kluwer Health/Lippincott Williams & Wilkins; 2018. ↩︎