正态性检验
使用夏皮罗–威尔克、柯尔莫哥洛夫–斯米尔诺夫(含利利福斯校正)和安德森–达林检验检查样本是否符合正态分布,并绘制直方图和 Q–Q 图。
本内容采用知识共享署名/相同方式共享许可协议3.0(未移植)进行许可。这意味着你可以在相同的许可条件下自由地重新发布或修改本内容,并且必须在你的网站上放置一个超链接到本作品https://zh.planetcalc.com/11020/,以注明原作者。此外,请不要修改本内容中对原作的任何引用(如果有的话)。
此在线计算器检查样本是否符合正态分布。它计算夏皮罗–威尔克、柯尔莫哥洛夫–斯米尔诺夫(包括利利福斯校正)和安德森–达林检验,并绘制带正态曲线的直方图和正态 Q–Q 图。
公式和一些理论说明请见计算器下方。
究竟检验什么
正态分布(normal distribution,也称高斯分布)是一种连续分布,其密度为
其中 为均值,
为标准差,且
。它的图形是以
为中心的对称钟形曲线。计算正态分布密度和分布函数的单独计算器见:正态分布。
假设我们把同一个校准砝码称量二十次。天平的读数略有变化:999.8 克、1000.1 克、1000.0 克,依此类推。我们可以假设天平的随机误差服从正态分布。但二十个数字并不能显示分布本身,只能用来检查这些观测值在多大程度上与该分布相矛盾。
因此,我们提出零假设 :样本来自正态分布。备择假设
则相反。对于事先指定参数的经典柯尔莫哥洛夫–斯米尔诺夫检验,假设更窄:它检验的是具体分布
,而不是任意正态分布。
每个检验都会给出一个统计量和一个 p 值。换言之,p 值是在 成立时,得到与样本中同样强或更强的正态性偏离的概率。它不是正态性假设成立的概率。
但是,如何从一个数字——检验统计量——得到概率呢?这需要知道统计量的零分布,也就是 成立时统计量取值的分布。设想我们反复从正态分布中抽取同样大小
的新样本,并每次重新计算统计量。然后计算其中至少与本样本同样强烈偏离正态性的数值所占的比例,这个比例就是 p 值。
不等号的方向取决于检验:夏皮罗–威尔克检验中,较小的 值得怀疑;柯尔莫哥洛夫–斯米尔诺夫和安德森–达林检验中,较大的
和
值得怀疑。因此,不能简单地对每个统计量都取普通正态曲线右侧的面积。每个统计量都有自己的零分布,该分布取决于
;对于柯尔莫哥洛夫–斯米尔诺夫,还取决于参数是否由样本估计。实际上,计算器并不模拟数千个样本:有精确公式时使用精确公式,精确计算太困难时使用已发表的零分布近似。下面分别说明每个检验如何得到 p 值。
随后,将 p 值与所选的显著性水平 比较:
- 如果
,拒绝正态性假设。在所选条件下,差异太大,不能视为合理的随机波动。
- 如果
,则不拒绝正态性假设。但这并未证明正态性:偏离可能存在,只是样本太小,无法发现它。
这在实践中意味着什么?如果 且
,则拒绝正态性。如果
,这并不表示正态性的概率为 91%。它只表示,在零假设成立时,这种或更明显的偏离相当常见。
样本均值和两种标准差
对于样本 ,计算器计算样本均值
以及校正后的样本标准差
其中 为样本量。利利福斯和安德森–达林检验使用除数
。
为了在直方图上绘制正态曲线,计算器使用 的最大似然估计:
因此, 和
的区别在于除数:
和
。计算器同时显示这两个值。
很大时,差别几乎消失;样本较小时,最好不要把差别藏起来。
夏皮罗–威尔克检验
夏皮罗–威尔克检验(Shapiro–Wilk test)专门用于正态性检验。首先将样本值排序:。然后计算统计量1
其中 是排序后的样本值,
是样本均值,
是取决于样本量的系数,由正态分布次序统计量的性质得到。
分子将排序后的样本与正态数据应有的模式比较,分母则衡量样本的总离散程度。 的值介于零和一之间;较小的
表示偏离正态性。但是,判定并不依据“
就算正态”这类随意阈值,而是依据 p 值。
由于偏离正态性对应较小的 ,这里的 p 值是零分布的左尾:
其中 是本样本的计算值。例如,
表示,如果
成立,同样大小的样本中只有 1% 会得到这样小或更小的
。
计算器在 时应用此检验。
的精确零分布十分复杂,因此使用 Royston 近似:将
通过取对数以及依赖
的系数变换到正态尺度,再据此计算左尾概率。2 当
时,此检验所在行显示破折号,其余检查继续运行。
柯尔莫哥洛夫–斯米尔诺夫检验与利利福斯校正
经验分布函数是不超过 的观测值所占的比例:
其中,条件成立时 等于 1,否则等于 0;
为样本量。
柯尔莫哥洛夫–斯米尔诺夫检验(Kolmogorov–Smirnov test,KS)将经验函数 与理论正态分布函数
比较:
这里, 是两个分布函数之间的最大垂直距离,
表示对所有可能的
取最大值。
越大,差异越大。
这里有一个重要的细节。 所用的均值和标准差从哪里来?
- 参数事先已知。 使用给定的
和
,这就是经典柯尔莫哥洛夫–斯米尔诺夫检验。例如,仪器的技术规范可能规定误差的均值为 0、标准差为 0.1 克。我们检验的正是这个模型,而不是根据新测量值重新拟合。当
时,计算器使用精确 p 值;样本更大时使用数值近似。
- 参数由同一个样本估计。 不再使用
和
,而是使用
和
。此时使用利利福斯检验(Lilliefors test)。统计量
的形式相同,但它在零假设下的分布不同,因此 p 值也不同。3 拟合参数之后不能套用普通的柯尔莫哥洛夫–斯米尔诺夫 p 值,那样会对数据过于宽容。
两种检验中,较大的 都值得怀疑,因此使用零分布的右尾:
其中 是观测到的分布函数间最大差异。但两种情况的零分布不同。经典检验中,参数
和
固定。利利福斯检验中,每个假想的正态样本都重新估计参数,距离
通常更小,因为曲线专门拟合该样本。因此,同一个
数值在两种模式下可能得到不同的 p 值。
换句话说,利利福斯校正并不是修正 本身,而是修正根据这个数字作出判定的方式。计算器中,利利福斯检验在
时计算,其右尾和 p 值通过解析近似求得。
安德森–达林检验
安德森–达林检验(Anderson–Darling test)同样将样本与理论分布比较,但给予分布尾部更大的权重。对于均值和标准差均由样本估计的正态分布,统计量为
其中 是排序后的样本值,
是参数为
和
的正态分布函数,
是样本量。
计算 p 值之前,根据样本量修正统计量:
计算器在表中显示原始 ,但根据修正后的统计量计算 p 值。较大的
不利于正态性,因此仍然需要右尾:
的零分布不是正态分布。这里使用 Stephens 的分段近似:根据
所在的区间,选择五个公式之一来近似所求概率。4 此检验在
时计算。
带正态曲线的直方图
直方图显示观测值在各区间中的分布。计算器以密度为单位绘制:每个柱形的高度为
其中 是区间内的观测值个数,
是样本量,
是区间宽度。因此,每个柱形的面积等于该区间内观测值的比例,直方图的总面积等于 1。这样就可以在其上叠加正态分布
的密度,因为两者使用相同的尺度。
举例说明。如果 20 次测量中有 4 次落入宽度为 0.4 克的区间,柱形高度就是 。它的面积为
,即该区间包含样本的 20%。
区间宽度按 Freedman–Diaconis 规则自动选择:
其中 是四分位距,
和
是样本的第一和第三四分位数。如果无法得到这个宽度,例如四分位距为零,则区间数取
。5
应当看什么?明显的偏斜、多个分离的峰、较大的空隙和异常值。但不要要求完美的钟形:严格正态分布的小样本也可能产生相当不平整的直方图。随机性也有权出现起伏。
正态 Q–Q 图
Q–Q 图(quantile–quantile plot,分位数–分位数图)将样本分位数与理论分布的分位数比较。对于正态 Q–Q 图,计算器绘制点
其中 是标准正态分布函数的反函数,
是排序后的样本。概率
称为绘图位置(plotting positions):它们规定第
小的观测值应与哪个理论分位数配对。
这个公式是瑞典统计学家贡纳尔·布洛姆(Gunnar Blom)提出的规则。6 为什么用 0.375 和 0.25 这两个奇怪的数?最简单的选择 会让最后一个观测值得到
,相应的正态分位数
为无穷大,这样的点无法画在图上。布洛姆位置不会达到零和一,关于
对称,并能很好地近似正态样本次序统计量的期望位置。
例如,当 时,得到
、
、
和
。也就是说,最小值约与 14.7% 分位数配对,最大值约与 85.3% 分位数配对,而不是与分布末端的无穷远点配对。
参考线经过理论分位数与样本分位数相应的第一和第三四分位点。与仅根据均值和标准差确定的直线相比,这种选择更不易受异常值影响。
如何读图:
- 点接近直线——没有明显的视觉证据反对正态性。当然,不要求完全重合。
- 平滑弯曲——分布可能不对称。
- S 形偏离——样本尾部与正态分布尾部不同:更厚或更薄。
- 个别点远离整体形态——可能存在异常值。
- 阶梯状——数据中有许多重复值,或者所测的量本质上是离散的。
当直方图依赖区间选择时,Q–Q 图尤其有用。它不能代替检验,但有助于理解数据究竟如何偏离正态数据。
计算示例
保留计算器默认的 20 个数值,它们是对约等于 5 的量所作的假想测量。选择 以及根据样本估计参数的模式,得到以下结果:
| 检验 | 统计量 | p 值 | 判定 |
|---|---|---|---|
| 夏皮罗–威尔克 | 0.911875 | 不拒绝正态性 | |
| 利利福斯 | 0.840087 | 不拒绝正态性 | |
| 安德森–达林 | 0.819790 | 不拒绝正态性 |
所有 p 值都明显大于 0.05。因此,这些数据没有提供拒绝正态性的依据。这并不等于说这些数字已被证明服从正态分布。默认值可以删除,它们仅用于演示。
如果一个检验拒绝正态性,而另外两个不拒绝,该怎么办?这不应当变成二比一的投票。不同检验对偏斜、尾部和其他偏离的敏感性不同,对样本量的限制也不同。应查看 Q–Q 图、直方图和数据本身的性质。计算器的汇总行只说明是否至少有一个适用的检验拒绝正态性;它是结果摘要,并不是拥有自己 p 值的第四种检验。
适用条件
- 观测值必须相互独立。 如果每次测量都依赖前一次,普通的 p 值可能产生误导。对于时间序列,必须先考虑其结构。
- 样本量很重要。
较小时,检验可能无法发现真实的非正态偏离。
很大时,检验可能因为对任务而言实际上无关紧要的偏离而拒绝正态性。因此,应结合图形和常识看待 p 值。
- 检验有数值限制。 在此计算器中,夏皮罗–威尔克适用于
,利利福斯适用于
,安德森–达林适用于
。经典柯尔莫哥洛夫–斯米尔诺夫要求事先指定
和
。部分 p 值通过近似计算,结果表的说明中对此有注明。
- 所有值都相同时无法适用。 如果整个样本只是同一个数字的重复,标准差为零,不存在可拟合的正态分布。此时计算器会报告错误。
- 不要为了得到好看的 p 值而删除异常值。 首先检查异常值是否为测量或输入错误。如果观测值是真实的,删除它就会改变原问题。
- 拒绝正态性并不意味着后续分析结束。 数据变换、其他分布模型或非参数方法可能会有帮助。用大样本估计均值时,中心极限定理通常能发挥作用。它与置信区间的联系见文章构建置信区间。
-
NIST/SEMATECH. e-Handbook of Statistical Methods. 章节“Anderson-Darling and Shapiro-Wilk tests”。NIST ↩
-
Royston P. Remark AS R94: A Remark on Algorithm AS 181: The W-test for Normality. Applied Statistics, 1995, vol. 44, pp. 547–551. DOI ↩
-
Dallal G. E., Wilkinson L. An Analytic Approximation to the Distribution of Lilliefors’ Test Statistic for Normality. The American Statistician, 1986, vol. 40, pp. 294–296. DOI ↩
-
Stephens M. A. EDF Statistics for Goodness of Fit and Some Comparisons. Journal of the American Statistical Association, 1974, vol. 69, pp. 730–737. DOI ↩
-
Freedman D., Diaconis P. On the Histogram as a Density Estimator:
Theory. Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete, 1981, vol. 57, pp. 453–476. DOI ↩
-
Blom G. Statistical Estimates and Transformed Beta-Variables. New York: John Wiley & Sons, 1958. ↩
类似计算器
- • 协方差计算器
评论