从数学期望、方差、协方差到中心极限定理
3.1、数学期望、方差、协方差
3.1.1、数学期望
如果X是在概率空间（Ω, P）中的一个随机变量，那么它的期望值E[X]的定义是：
并不是每一个随机变量都有期望值的，因为有的时候这个积分不存在。如果两个随机变量的分布相同，则它们的期望值也相同。
在概率论和统计学中，数学期望分两种(依照上文第二节相关内容也可以得出)，一种为离散型随机变量的期望值，一种为连续型随机变量的期望值。
-
一个离散性随机变量的期望值（或数学期望、或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。换句话说，期望值是随机试验在同样的机会下重复多次的结果计算出的等同“期望”的平均值。
例如，掷一枚六面骰子，得到每一面的概率都为1/6，故其的期望值是3.5，计算如下：
承上，如果X 是一个离散的随机变量，输出值为x1, x2, ...， 和输出值相应的概率为p1, p2, ...（概率和为1），若级数
绝对收敛，那么期望值E[X]是一个无限数列的和：
上面掷骰子的例子就是用这种方法求出期望值的。
-
而对于一个连续型随机变量来说，如果X的概率分布存在一个相应的概率密度函数f（x），若积分
绝对收敛，那么X 的期望值可以计算为：
其中，
μ为平均数，N为样本总数。
分别针对离散型随机变量和连续型随机变量而言，方差的分布律和概率密度如下图所示：
标准差
标准差（Standard Deviation），在概率统计中最常使用作为统计分布程度（statistical dispersion）上的测量。标准差定义为方差的算术平方根，反映组内个体间的离散程度。
简单来说，标准差是一组数值自平均值分散开来的程度的一种测量观念。一个较大的标准差，代表大部分的数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。例如，两组数的集合 {0, 5, 9, 14} 和 {5, 6, 8, 9} 其平均值都是 7 ，但第二个集合具有较小的标准差。
前面说过，方差的算术平方根称为该随机变量的标准差，故一随机变量的标准差定义为：
样本标准差
在真实世界中，除非在某些特殊情况下，找到一个总体的真实的标准差是不现实的。大多数情况下，总体标准差是通过随机抽取一定量的样本并计算样本标准差估计的。说白了，就是数据海量，想计算总体海量数据的标准差无异于大海捞针，那咋办呢？抽取其中一些样本作为抽样代表呗。
而从一大组数值
当中取出一样本数值组合
，进而，我们可以定义其样本标准差为：
相关系数
如上篇kd树blog所述相关系数 ( Correlation coefficient )的定义是：
(其中，E为数学期望或均值，D为方差，D开根号为标准差，E{ [X-E(X)] [Y-E(Y)]}称为随机变量X与Y的协方差，记为Cov(X,Y)，即Cov(X,Y) = E{ [X-E(X)] [Y-E(Y)]}，而两个变量之间的协方差和标准差的商则称为随机变量X与Y的相关系数，记为
)
相关系数衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是[-1,1]。相关系数的绝对值越大，则表明X与Y相关度越高。当X与Y线性相关时，相关系数取值为1（正线性相关）或-1（负线性相关）。
具体的，如果有两个变量：X、Y，最终计算出的相关系数的含义可以有如下理解：
-
当相关系数为0时，X和Y两变量无关系。
-
当X的值增大（减小），Y值增大（减小），两个变量为正相关，相关系数在0.00与1.00之间。
-
当X的值增大（减小），Y值减小（增大），两个变量为负相关，相关系数在-1.00与0.00之间。
根据相关系数，相关距离可以定义为：
这里只对相关系数做个简要介绍，欲了解机器学习中更多相似性距离度量表示法，可以参看上篇kd树blog第一部分内容。
自此，已经介绍完期望方差协方差等基本概念，但一下子要读者接受那么多概念，怕是有难为读者之嫌，不如再上几幅图巩固下上述相关概念吧(数据挖掘)：
3.1.4、协方差矩阵与主成成分分析
协方差矩阵
由上，我们已经知道：协方差是衡量两个随机变量的相关程度。且随机变量
之间的协方差可以表示为
主成成分分析
尽管从上面看来，协方差矩阵貌似很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。这个方法在统计学中被称为主成分分析(principal components analysis，简称PCA)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。
根据wikipedia上的介绍，主成分分析PCA由卡尔·皮尔逊于1901年发明，用于分析数据及建立数理模型。其方法主要是通过对协方差矩阵进行特征分解，以得出数据的主成分（即特征矢量）与它们的权值（即特征值）。PCA是最简单的以特征量分析多元统计分布的方法。其结果可以理解为对原数据中的方差做出解释：哪一个方向上的数据值对方差的影响最大。
然为何要使得变换后的数据有着最大的方差呢？我们知道，方差的大小描述的是一个变量的信息量，我们在讲一个东西的稳定性的时候，往往说要减小方差，如果一个模型的方差很大，那就说明模型不稳定了。但是对于我们用于机器学习的数据（主要是训练数据），方差大才有意义，不然输入的数据都是同一个点，那方差就为0了，这样输入的多个数据就等同于一个数据了。
简而言之，主成分分析PCA，留下主成分，剔除噪音，是一种降维方法，限高斯分布，n维眏射到k维，
-
减均值，
-
求特征协方差矩阵，
-
求协方差的特征值和特征向量，
-
取最大的k个特征值所对应的特征向量组成特征向量矩阵，
-
投影数据=原始样本矩阵x特征向量矩阵。其依据为最大方差，最小平方误差或坐标轴相关度理论，及矩阵奇异值分解SVD（即SVD给PCA提供了另一种解释）。
也就是说，高斯是0均值，其方差定义了信噪比，所以PCA是在对角化低维表示的协方差矩阵，故某一个角度而言，只需要理解方差、均值和协方差的物理意义，PCA就很清晰了。
再换言之，PCA提供了一种降低数据维度的有效办法；如果分析者在原数据中除掉最小的特征值所对应的成分，那么所得的低维度数据必定是最优化的（也即，这样降低维度必定是失去讯息最少的方法）。主成分分析在分析复杂数据时尤为有用，比如人脸识别。
3.2、中心极限定理
本节先给出现在一般的概率论与数理统计教材上所介绍的2个定理，然后简要介绍下中心极限定理的相关历史。
3.2.1、独立同分布的中心极限定理
独立中心极限定理如下两图所示：
3.2.2、棣莫弗-拉普拉斯中心极限定理
在这个问题的处理上，拉普拉斯充分展示了其深厚的数学分析功底和高超的概率计算技巧，他首次引入了特征函数(也就是对概率密度函数做傅立叶变换)来处理概率分布的神妙方法，而这一方法经过几代概率学家的发展，在现代概率论里面占有极其重要的位置。基于这一分析方法，拉普拉斯通过近似计算，在他的1812年的名著《概率分析理论》中给出了中心极限定理的一般描述：
[定理Laplace，1812]设 ei(i=1,⋯n)为独立同分布的测量误差，具有均值μ和方差σ2。如果λ1,⋯,λn为常数，a>0,则有
这已经是比棣莫弗-拉普拉斯中心极限定理更加深刻的一个结论了，在现在大学本科的教材上，包括包括本文主要参考之一盛骤版的概率论与数理统计上，通常给出的是中心极限定理的一般形式：
[Lindeberg-Levy中心极限定理] 设X1,⋯,Xn独立同分布，且具有有限的均值μ和方差σ2，则在n→∞时,有
多么奇妙的性质，随意的一个概率分布中生成的随机变量，在序列和(或者等价的求算术平均)的操作之下，表现出如此一致的行为，统一的规约到正态分布。
概率学家们进一步的研究结果更加令人惊讶，序列求和最终要导出正态分布的条件并不需要这么苛刻，即便X1,⋯,Xn并不独立，也不具有相同的概率分布形式，很多时候他们求和的最终归宿仍然是正态分布。
在正态分布、中心极限定理的确立之下，20世纪之后，统计学三大分布χ2分布、t分布、F分布也逐步登上历史舞台：
如上所述，中心极限定理的历史可大致概括为：
-
中心极限定理理的第一版被法国数学家棣莫弗发现，他在1733年发表的卓越论文中使用正态分布去估计大量抛掷硬币出现正面次数的分布；
-
1812年，法国数学家拉普拉斯在其巨著 Théorie Analytique des Probabilités中扩展了棣莫弗的理论，指出二项分布可用正态分布逼近；
-
1901年，俄国数学家李雅普诺夫用更普通的随机变量定义中心极限定理并在数学上进行了精确的证明。
如今，中心极限定理被认为是(非正式地)概率论中的首席定理。本文来自：https://www.cda.cn/
是随机变量X的期望值（平均数） 设
为随机变量
为
具有相同概率，则可用上述公式计算标准差。
是对总体方差
的无偏估计。 
中分母为 n-1 是因为
的自由度为n-1(且慢，何谓自由度？简单说来，即指样本中的n个数都是相互独立的，从其中抽出任何一个数都不影响其他数据，所以自由度就是估计总体参数时独立数据的数目，而平均数是根据n个独立数据来估计的，因此自由度为n)，这是由于存在约束条件
。
是n次伯努利实验中事件A出现的次数，
，则对任意有限区间
：
及
时，一致地有
(ii)当
时，一致地有
，
，其中
。
独立同分布， 且具有有限的数学期望和方差
，
。
记，
，则
，
其中
是标准正态分布的分布函数。
（
且有有限方差）部分和为
MR3P.tmp)
，
，序列满足
则称它满足林德伯格（Lindeberg）条件。
满足李雅普诺夫条件的序列必满足林德伯格条件。
