正态性检验

使用夏皮罗–威尔克、柯尔莫哥洛夫–斯米尔诺夫(含利利福斯校正)和安德森–达林检验检查样本是否符合正态分布,并绘制直方图和 Q–Q 图。

此在线计算器检查样本是否符合正态分布。它计算夏皮罗–威尔克、柯尔莫哥洛夫–斯米尔诺夫(包括利利福斯校正)和安德森–达林检验,并绘制带正态曲线的直方图和正态 Q–Q 图。

公式和一些理论说明请见计算器下方。

PLANETCALC, 正态性检验

正态性检验

数字可用逗号、分号、空格或换行分隔。小数点使用句点。
如果 p 值小于 α,则拒绝正态性假设。
根据样本估计参数时,使用利利福斯校正。
仅用于经典柯尔莫哥洛夫–斯米尔诺夫检验的事先已知均值。
指标准差而非方差;必须大于零。
样本量 n
 
样本均值 x̄
 
样本标准差 s
 
σ 的最大似然估计
 
小数点后的数字: 6
结论
 
这个文件很大。浏览器在加载和创建过程中可能会减速。
直方图和正态密度
这个文件很大。浏览器在加载和创建过程中可能会减速。
正态 Q–Q 图
这个文件很大。浏览器在加载和创建过程中可能会减速。

究竟检验什么

正态分布(normal distribution,也称高斯分布)是一种连续分布,其密度为

f(x)=\frac{1}{\sigma\sqrt{2\pi}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right),

其中 \mu 为均值,\sigma 为标准差,且 \sigma>0。它的图形是以 \mu 为中心的对称钟形曲线。计算正态分布密度和分布函数的单独计算器见:正态分布。

假设我们把同一个校准砝码称量二十次。天平的读数略有变化:999.8 克、1000.1 克、1000.0 克,依此类推。我们可以假设天平的随机误差服从正态分布。但二十个数字并不能显示分布本身,只能用来检查这些观测值在多大程度上与该分布相矛盾。

因此,我们提出零假设 H_0:样本来自正态分布。备择假设 H_1 则相反。对于事先指定参数的经典柯尔莫哥洛夫–斯米尔诺夫检验,假设更窄:它检验的是具体分布 N(\mu_0,\sigma_0^2),而不是任意正态分布。

每个检验都会给出一个统计量和一个 p 值。换言之,p 值是在 H_0 成立时,得到与样本中同样强或更强的正态性偏离的概率。它不是正态性假设成立的概率。

但是,如何从一个数字——检验统计量——得到概率呢?这需要知道统计量的零分布,也就是 H_0 成立时统计量取值的分布。设想我们反复从正态分布中抽取同样大小 n 的新样本,并每次重新计算统计量。然后计算其中至少与本样本同样强烈偏离正态性的数值所占的比例,这个比例就是 p 值。

不等号的方向取决于检验:夏皮罗–威尔克检验中,较小的 W 值得怀疑;柯尔莫哥洛夫–斯米尔诺夫和安德森–达林检验中,较大的 D 和 A^2 值得怀疑。因此,不能简单地对每个统计量都取普通正态曲线右侧的面积。每个统计量都有自己的零分布,该分布取决于 n;对于柯尔莫哥洛夫–斯米尔诺夫,还取决于参数是否由样本估计。实际上,计算器并不模拟数千个样本:有精确公式时使用精确公式,精确计算太困难时使用已发表的零分布近似。下面分别说明每个检验如何得到 p 值。

随后,将 p 值与所选的显著性水平 \alpha 比较:

  1. 如果 p<\alpha,拒绝正态性假设。在所选条件下,差异太大,不能视为合理的随机波动。
  2. 如果 p\geq\alpha,则不拒绝正态性假设。但这并未证明正态性:偏离可能存在,只是样本太小,无法发现它。

这在实践中意味着什么?如果 p=0{,}03 且 \alpha=0{,}05,则拒绝正态性。如果 p=0{,}91,这并不表示正态性的概率为 91%。它只表示,在零假设成立时,这种或更明显的偏离相当常见。

样本均值和两种标准差

对于样本 x_1,\ldots,x_n,计算器计算样本均值

\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i

以及校正后的样本标准差

s=\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2},

其中 n 为样本量。利利福斯和安德森–达林检验使用除数 n-1。

为了在直方图上绘制正态曲线,计算器使用 \sigma 的最大似然估计:

\hat{\sigma}=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2}.

因此,s 和 \hat{\sigma} 的区别在于除数:n-1 和 n。计算器同时显示这两个值。n 很大时,差别几乎消失;样本较小时,最好不要把差别藏起来。

夏皮罗–威尔克检验

夏皮罗–威尔克检验(Shapiro–Wilk test)专门用于正态性检验。首先将样本值排序:x_{(1)}\leq x_{(2)}\leq\ldots\leq x_{(n)}。然后计算统计量1

W=\frac{\left(\sum_{i=1}^{n}a_i x_{(i)}\right)^2}{\sum_{i=1}^{n}(x_i-\bar{x})^2},

其中 x_{(i)} 是排序后的样本值,\bar{x} 是样本均值,a_i 是取决于样本量的系数,由正态分布次序统计量的性质得到。

分子将排序后的样本与正态数据应有的模式比较,分母则衡量样本的总离散程度。W 的值介于零和一之间;较小的 W 表示偏离正态性。但是,判定并不依据“W>0{,}9 就算正态”这类随意阈值,而是依据 p 值。

由于偏离正态性对应较小的 W,这里的 p 值是零分布的左尾:

p=P(W\leq W_{\mathrm{obs}}\mid H_0),

其中 W_{\mathrm{obs}} 是本样本的计算值。例如,p=0{,}01 表示,如果 H_0 成立,同样大小的样本中只有 1% 会得到这样小或更小的 W。

计算器在 3\leq n\leq5000 时应用此检验。W 的精确零分布十分复杂,因此使用 Royston 近似:将 1-W 通过取对数以及依赖 n 的系数变换到正态尺度,再据此计算左尾概率。2 当 n>5000 时,此检验所在行显示破折号,其余检查继续运行。

柯尔莫哥洛夫–斯米尔诺夫检验与利利福斯校正

经验分布函数是不超过 x 的观测值所占的比例:

F_n(x)=\frac{1}{n}\sum_{i=1}^{n}I(x_i\leq x),

其中,条件成立时 I(x_i\leq x) 等于 1,否则等于 0;n 为样本量。

柯尔莫哥洛夫–斯米尔诺夫检验(Kolmogorov–Smirnov test,KS)将经验函数 F_n(x) 与理论正态分布函数 F(x) 比较:

D=\sup_x\left|F_n(x)-F(x)\right|.

这里,D 是两个分布函数之间的最大垂直距离,\sup 表示对所有可能的 x 取最大值。D 越大,差异越大。

这里有一个重要的细节。F(x) 所用的均值和标准差从哪里来?

  1. 参数事先已知。 使用给定的 \mu_0 和 \sigma_0,这就是经典柯尔莫哥洛夫–斯米尔诺夫检验。例如,仪器的技术规范可能规定误差的均值为 0、标准差为 0.1 克。我们检验的正是这个模型,而不是根据新测量值重新拟合。当 n\leq100 时,计算器使用精确 p 值;样本更大时使用数值近似。
  2. 参数由同一个样本估计。 不再使用 \mu_0 和 \sigma_0,而是使用 \bar{x} 和 s。此时使用利利福斯检验(Lilliefors test)。统计量 D 的形式相同,但它在零假设下的分布不同,因此 p 值也不同。3 拟合参数之后不能套用普通的柯尔莫哥洛夫–斯米尔诺夫 p 值,那样会对数据过于宽容。

两种检验中,较大的 D 都值得怀疑,因此使用零分布的右尾:

p=P(D\geq D_{\mathrm{obs}}\mid H_0),

其中 D_{\mathrm{obs}} 是观测到的分布函数间最大差异。但两种情况的零分布不同。经典检验中,参数 \mu_0 和 \sigma_0 固定。利利福斯检验中,每个假想的正态样本都重新估计参数,距离 D 通常更小,因为曲线专门拟合该样本。因此,同一个 D 数值在两种模式下可能得到不同的 p 值。

换句话说,利利福斯校正并不是修正 D 本身,而是修正根据这个数字作出判定的方式。计算器中,利利福斯检验在 n\geq5 时计算,其右尾和 p 值通过解析近似求得。

安德森–达林检验

安德森–达林检验(Anderson–Darling test)同样将样本与理论分布比较,但给予分布尾部更大的权重。对于均值和标准差均由样本估计的正态分布,统计量为

A^2=-n-\frac{1}{n}\sum_{i=1}^{n}(2i-1)\left[\ln F(x_{(i)})+\ln\left(1-F(x_{(n+1-i)})\right)\right],

其中 x_{(i)} 是排序后的样本值,F 是参数为 \bar{x} 和 s 的正态分布函数,n 是样本量。

计算 p 值之前,根据样本量修正统计量:

A^{2*}=A^2\left(1+\frac{0{,}75}{n}+\frac{2{,}25}{n^2}\right).

计算器在表中显示原始 A^2,但根据修正后的统计量计算 p 值。较大的 A^{2*} 不利于正态性,因此仍然需要右尾:

p=P(A^{2*}\geq A^{2*}_{\mathrm{obs}}\mid H_0).

A^{2*} 的零分布不是正态分布。这里使用 Stephens 的分段近似:根据 A^{2*}_{\mathrm{obs}} 所在的区间,选择五个公式之一来近似所求概率。4 此检验在 n\geq8 时计算。

带正态曲线的直方图

直方图显示观测值在各区间中的分布。计算器以密度为单位绘制:每个柱形的高度为

\frac{k}{nh},

其中 k 是区间内的观测值个数,n 是样本量,h 是区间宽度。因此,每个柱形的面积等于该区间内观测值的比例,直方图的总面积等于 1。这样就可以在其上叠加正态分布 N(\bar{x},\hat{\sigma}^2) 的密度,因为两者使用相同的尺度。

举例说明。如果 20 次测量中有 4 次落入宽度为 0.4 克的区间,柱形高度就是 4/(20\cdot0{,}4)=0{,}5。它的面积为 0{,}5\cdot0{,}4=0{,}2,即该区间包含样本的 20%。

区间宽度按 Freedman–Diaconis 规则自动选择:

h=\frac{2\,IQR}{n^{1/3}},\qquad IQR=Q_3-Q_1,

其中 IQR 是四分位距,Q_1 和 Q_3 是样本的第一和第三四分位数。如果无法得到这个宽度,例如四分位距为零,则区间数取 \lceil\sqrt{n}\rceil。5

应当看什么?明显的偏斜、多个分离的峰、较大的空隙和异常值。但不要要求完美的钟形:严格正态分布的小样本也可能产生相当不平整的直方图。随机性也有权出现起伏。

正态 Q–Q 图

Q–Q 图(quantile–quantile plot,分位数–分位数图)将样本分位数与理论分布的分位数比较。对于正态 Q–Q 图,计算器绘制点

\left(\Phi^{-1}(p_i),\;x_{(i)}\right),\qquad p_i=\frac{i-0{,}375}{n+0{,}25},\qquad i=1,\ldots,n,

其中 \Phi^{-1} 是标准正态分布函数的反函数,x_{(i)} 是排序后的样本。概率 p_i 称为绘图位置(plotting positions):它们规定第 i 小的观测值应与哪个理论分位数配对。

这个公式是瑞典统计学家贡纳尔·布洛姆(Gunnar Blom)提出的规则。6 为什么用 0.375 和 0.25 这两个奇怪的数?最简单的选择 p_i=i/n 会让最后一个观测值得到 p_n=1,相应的正态分位数 \Phi^{-1}(1) 为无穷大,这样的点无法画在图上。布洛姆位置不会达到零和一,关于 1/2 对称,并能很好地近似正态样本次序统计量的期望位置。

例如,当 n=4 时,得到 p_1\approx0{,}147、p_2\approx0{,}382、p_3\approx0{,}618 和 p_4\approx0{,}853。也就是说,最小值约与 14.7% 分位数配对,最大值约与 85.3% 分位数配对,而不是与分布末端的无穷远点配对。

参考线经过理论分位数与样本分位数相应的第一和第三四分位点。与仅根据均值和标准差确定的直线相比,这种选择更不易受异常值影响。

如何读图:

  1. 点接近直线——没有明显的视觉证据反对正态性。当然,不要求完全重合。
  2. 平滑弯曲——分布可能不对称。
  3. S 形偏离——样本尾部与正态分布尾部不同:更厚或更薄。
  4. 个别点远离整体形态——可能存在异常值。
  5. 阶梯状——数据中有许多重复值,或者所测的量本质上是离散的。

当直方图依赖区间选择时,Q–Q 图尤其有用。它不能代替检验,但有助于理解数据究竟如何偏离正态数据。

计算示例

保留计算器默认的 20 个数值,它们是对约等于 5 的量所作的假想测量。选择 \alpha=0{,}05 以及根据样本估计参数的模式,得到以下结果:

检验 统计量 p 值 判定
夏皮罗–威尔克 W=0{,}978405 0.911875 不拒绝正态性
利利福斯 D=0{,}102608 0.840087 不拒绝正态性
安德森–达林 A^2=0{,}216283 0.819790 不拒绝正态性

所有 p 值都明显大于 0.05。因此,这些数据没有提供拒绝正态性的依据。这并不等于说这些数字已被证明服从正态分布。默认值可以删除,它们仅用于演示。

如果一个检验拒绝正态性,而另外两个不拒绝,该怎么办?这不应当变成二比一的投票。不同检验对偏斜、尾部和其他偏离的敏感性不同,对样本量的限制也不同。应查看 Q–Q 图、直方图和数据本身的性质。计算器的汇总行只说明是否至少有一个适用的检验拒绝正态性;它是结果摘要,并不是拥有自己 p 值的第四种检验。

适用条件

  1. 观测值必须相互独立。 如果每次测量都依赖前一次,普通的 p 值可能产生误导。对于时间序列,必须先考虑其结构。
  2. 样本量很重要。 n 较小时,检验可能无法发现真实的非正态偏离。n 很大时,检验可能因为对任务而言实际上无关紧要的偏离而拒绝正态性。因此,应结合图形和常识看待 p 值。
  3. 检验有数值限制。 在此计算器中,夏皮罗–威尔克适用于 3\leq n\leq5000,利利福斯适用于 n\geq5,安德森–达林适用于 n\geq8。经典柯尔莫哥洛夫–斯米尔诺夫要求事先指定 \mu_0 和 \sigma_0>0。部分 p 值通过近似计算,结果表的说明中对此有注明。
  4. 所有值都相同时无法适用。 如果整个样本只是同一个数字的重复,标准差为零,不存在可拟合的正态分布。此时计算器会报告错误。
  5. 不要为了得到好看的 p 值而删除异常值。 首先检查异常值是否为测量或输入错误。如果观测值是真实的,删除它就会改变原问题。
  6. 拒绝正态性并不意味着后续分析结束。 数据变换、其他分布模型或非参数方法可能会有帮助。用大样本估计均值时,中心极限定理通常能发挥作用。它与置信区间的联系见文章构建置信区间。

  1. NIST/SEMATECH. e-Handbook of Statistical Methods. 章节“Anderson-Darling and Shapiro-Wilk tests”。NIST ↩

  2. Royston P. Remark AS R94: A Remark on Algorithm AS 181: The W-test for Normality. Applied Statistics, 1995, vol. 44, pp. 547–551. DOI ↩

  3. Dallal G. E., Wilkinson L. An Analytic Approximation to the Distribution of Lilliefors’ Test Statistic for Normality. The American Statistician, 1986, vol. 40, pp. 294–296. DOI ↩

  4. Stephens M. A. EDF Statistics for Goodness of Fit and Some Comparisons. Journal of the American Statistical Association, 1974, vol. 69, pp. 730–737. DOI ↩

  5. Freedman D., Diaconis P. On the Histogram as a Density Estimator: L^2 Theory. Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete, 1981, vol. 57, pp. 453–476. DOI ↩

  6. Blom G. Statistical Estimates and Transformed Beta-Variables. New York: John Wiley & Sons, 1958. ↩

URL 复制到剪贴板

类似计算器

PLANETCALC, 正态性检验

评论