数据挖掘中所需的概率论与数理统计知识(一)

一个月余前，在微博上感慨道，不知日后是否有无机会搞DM，微博上的朋友只看不发的围脖评论道：算法研究领域，那里要的是数学，你可以深入学习数学，将算法普及当兴趣。想想，甚合我意。自此，便从rickjin写的“正态分布的前世今生”开始研习数学。

    如之前微博上所说，“今年5月接触DM，循序学习决策树.贝叶斯，SVM.KNN，感数学功底不足，遂补数学，从‘正态分布的前后今生’中感到数学史有趣，故买本微积分概念发展史读，在叹服前人伟大的创造之余，感微积分概念模糊，复习高等数学上册，完后学概率论与数理统计，感概道：微积分是概数统计基础，概数统计则是DM&ML之必修课。”包括读者相信也已经感觉到，我在写这个Top 10 Algorithms in Data Mining系列的时候，其中涉及到诸多的数学概念与基础知识(例如此篇SVM文章内诸多max.s.t.对偶.KKT条件.拉格朗日.松弛因子等问题则皆属于数学内一分支：最优化理论与算法范畴内)，特别是概率论与数理统计部分。更进一步，在写上一篇文章的时候，看到机器学习中那么多距离度量的表示法，发现连最起码的期望，方差，标准差等基本概念都甚感模糊，于此，便深感数学之重要性。

    很快，我便买了一本高等教育出版社出版的概率论与数理统计一书，此书“从0-1分布、到二项分布、正态分布，概率密度函数，从期望到方差、标准差、协方差，中心极限定理，样本和抽样，从最大似然估计量到各种置信区间，从方差分析到回归分析，bootstrap方法，最后到马尔可夫链，以前在学校没开概率论与数理统计这门课，现在有的学有的看了”。且人类发明计算机，是为了辅助人类解决现实生活中遇到的问题，然计算机科学毕竟只发展了数十年，可在数学.统计学中，诸多现实生活问题已经思考了数百年甚至上千年，故，计算机若想更好的服务人类解决问题，须有效借鉴或参考数学.统计学。世间万事万物，究其本质乃数学，于变化莫测中寻其规律谓之统计学。

    话休絮烦。本文结合高等数学上下册、微积分概念发展史，概率论与数理统计、数理统计学简史等书，及rickjin写的“正态分布的前世今生”系列(此文亦可看作读书笔记或读后感)与wikipedia整理而成，对数据挖掘中所需的概率论与数理统计相关知识概念作个总结梳理，方便你我随时查看复习相关概念，而欲深入学习研究的课后还需参看相关专业书籍.资料。同时，本文篇幅会比较长，简单来说：

1. 第一节、介绍微积分中极限、导数，微分、积分等相关概念；
2. 第二节、介绍随机变量及其分布；
3. 第三节、介绍数学期望.方差.协方差.相关系数.中心极限定理等概念；
4. 第四节、依据数理统计学简史介绍正态分布的前后由来；
   
5. 第五节、论道正态，介绍正态分布的4大数学推导。
   

    5部分起承转合，彼此依托，层层递进。且在本文中，会出现诸多并不友好的大量各种公式，但基本的概念.定理是任何复杂问题的根基，所以，你我都有必要硬着头皮好好细细阅读。最后，本文若有任何问题或错误，恳请广大读者朋友们不吝批评指正，谢谢。

第一节、微积分的基本概念

    开头前言说，微积分是概数统计基础，概数统计则是DM&ML之必修课”，是有一定根据的，包括后续数理统计当中，如正态分布的概率密度函数中用到了相关定积分的知识，包括最小二乘法问题的相关探讨求证都用到了求偏导数的等概念，这些都是跟微积分相关的知识。故咱们第一节先复习下微积分的相关基本概念。

    事实上，古代数学中，单单无穷小、无穷大的概念就讨论了近200年，而后才由无限发展到极限的概念。

1.1、极限

    极限又分为两部分：数列的极限和函数的极限。

1.1.1、数列的极限

    定义  如果数列{xn}与常a 有下列关系:对于任意给定的正数e (不论它多么小), 总存在正整数N , 使得对于n >N 时的一切xn, 不等式 |xn-a |或

    也就是说，

1.1.2、函数的极限

    设函数f(x)在点x0的某一去心邻域内有定义. 如果存在常数A, 对于任意给定的正数e (不论它多么小), 总存在正数d, 使得当x满足不等式0<|x-x0||f(x)-A|的极限, 记为

    也就是说，

    几乎没有一门新的数学分支是某个人单独的成果，如笛卡儿和费马的解析几何不仅仅是他们两人研究的成果，而是若干数学思潮在16世纪和17世纪汇合的产物，是由许许多多的学者共同努力而成。

    甚至微积分的发展也不是牛顿与莱布尼茨两人之功。在17世纪下半叶，数学史上出现了无穷小的概念，而后才发展到极限，到后来的微积分的提出。然就算牛顿和莱布尼茨提出了微积分，但微积分的概念尚模糊不清，在牛顿和莱布尼茨之后，后续经过一个多世纪的发展，诸多学者的努力，才真正清晰了微积分的概念。

    也就是说，从无穷小到极限，再到微积分定义的真正确立，经历了几代人几个世纪的努力，而课本上所呈现的永远只是冰山一角。

1.2、导数

    设有定义域和取值都在实数域中的函数。若在点的某个邻域内有定义，则当自变量在处取得增量（点仍在该邻域内）时，相应地函数取得增量；如果与之比当时的极限存在，则称函数在点处可导，并称这个极限为函数在点处的导数，记为。

    也可记为：，或。

1.3、微分

    设函数在某区间内有定义。对于内一点，当变动到附近的（也在此区间内）时。如果函数的增量可表示为（其中是不依赖于的常数），而是比高阶的无穷小，那么称函数在点是可微的，且称作函数在点相应于自变量增量的微分，记作，即，是的线性主部。通常把自变量的增量称为自变量的微分，记作，即。 

    实际上，前面讲了导数，而微积分则是在导数的基础上加个后缀，即为：。

1.4、积分 

    积分是微积分学与数学分析里的一个核心概念。通常分为定积分和不定积分两种。

不定积分的定义

    一个函数的不定积分，也称为原函数或反导数，是一个导数等于的函数，即

    不定积分的有换元积分法，分部积分法等求法。

定积分的定义

    直观地说，对于一个给定的正实值函数，在一个实数区间上的定积分：

    如果函数f(x)在闭区间[a,b]上连续, 则在积分区间[a,b]上至少存在一个点,使下式成立：

    如要计算，由于是的一个原函数，所以。

1.5、偏导数

    对于二元函数z = f(x，y) 如果只有自变量x 变化，而自变量y固定 这时它就是x的一元函数，这函数对x的导数，就称为二元函数z = f(x，y)对于x的偏导数。
    定义  设函数z = f(x，y)在点(x0，y0)的某一邻域内有定义，当y固定在y0而x在x0处有增量时，相应地函数有增量，

    例如。类似的，二元函数对y求偏导，则把x当做常量。