机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱

2017-07-24

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱 本文主要解释一些关于机器学习模型评价的主要概念，与评价中可能会遇到的一些陷阱。如训练集-验证集二划分校验（Hold-out validation） ...

R语言与点估计学习笔记（EM算法与Bootstrap法）

2017-07-22

R语言与点估计学习笔记（EM算法与Bootstrap法） 一、EM算法 EM算法是一种在观测到数据后，用迭代法估计未知参数的方法。可以证明EM算法得到的序列是稳定单调递增的。这种算法对于截尾数据或参数中有一些我们 ...

R语言与抽样技术学习笔记（bootstrap）

2017-07-20

R语言与抽样技术学习笔记（bootstrap） Bootstrap方法 Bootstrap一词来源于西方神话故事“The adventures of Baron Munchausen”归结出的短语“to pull oneself up by one\'s bootstrap\"，意味着不靠外界力 ...

R语言与显著性检验学习笔记

2017-07-19

R语言与显著性检验学习笔记 一、何为显著性检验 显著性检验的思想十分的简单，就是认为小概率事件不可能发生。虽然概率论中我们一直强调小概率事件必然发生，但显著性检验还是相信了小概率事件在我做的这一 ...

R语言之各种检验

2017-07-19

R语言之各种检验 1、W检验（Shapiro–Wilk (夏皮罗–威克尔 ) W统计量检验)      检验数据是否符合正态分布，R函数：shapiro.test().      结果含义：当p ...

标准差 标准误 偏度系数和峰度系数的作用

2017-07-16

标准差 标准误 偏度系数和峰度系数的作用   标准差和标准误是两个不同的概念，标准差就是一个变量的所有数据的离均差平方和再平均之后开平方，它是度量离散程度的指标。标准误用于估计参数的可信区间,进 ...

R概率分布函数使用小结

2017-07-10

R概率分布函数使用小结 R中自带了很多概率分布的函数，如正太分布，二次分布，卡放分布，t分布等，这些分布的函数都有一个共性，每个分布拥有4个带有d,p,q,r前缀的函数。比如正太分布，有dnorm,pnorm,qno ...

SPSS进行逐步回归分析

2017-06-30

SPSS进行逐步回归分析 在自变量很多时，其中有的因素可能对应变量的影响不是很大，而且x之间可能不完全相互独立的，可能有种种互作关系。在这种情况下可用逐步回归分析，进行x因子的筛选，这样建立的多元回归模 ...

SPSS中P值的含义

2017-06-25

SPSS中P值的含义 P值是最常用的一个统计学指标，几乎统计软件输出结果都有P值。了解p值的由来、计算和意义很有必要。 . f & \\6 e) G0 _8 ^& l 一、P值的由来R·A·Fisher（1890-1962）作为一代假 ...

logistic回归和probit回归预测公司被ST的概率

2017-06-11

logistic回归和probit回归预测公司被ST的概率 1.适合阅读人群： 知道以下知识点：盒状图、假设检验、逻辑回归的理论、probit的理论、看过回归分析，了解AIC和BIC判别准则、能自己跑R语言程序 2.本文目的：用R语 ...

R语言中的回归诊断-car包

2017-06-09

R语言中的回归诊断-car包 如何判断我们的线性回归模型是正确的？ 1、回归诊断的基本方法 opar<-par(no.readOnly=TRUE) fit <- lm(weight ~ height, data = women) par(mfrow = c(2, 2)) plot(fit) par(op ...

13个真实世界情景中的数据科学应用

2017-06-06

13个真实世界情景中的数据科学应用 现在让我们看看13个在真实世界情景下的例子，了解现代数据科学家可以帮助我们做些什么。这些例子将有助于你学习如何专注于一个问题和如何形式化一个问题，以及如何仔细评估所 ...

SPSS分析技术：多重线性回归模型；极端值与多重共线性的识别与处理

2017-05-28

SPSS分析技术：多重线性回归模型；极端值与多重共线性的识别与处理 如果拟合质量不好，可能存在的问题主要有以下两个方面： 极端值（强点）的影响。我们都知道，在线性回归分析中，自变量回归系数的确定主 ...

SPSS：T检验、方差分析、非参检验、卡方检验的使用要求和适用场景

2017-05-25

SPSS：T检验、方差分析、非参检验、卡方检验的使用要求和适用场景 一、T检验 1.1 样本均值比较T检验的使用前提     正态性；（单样本、独立样本、配对样本T检验都需要）     连 ...

关于如何解释机器学习的一些方法

2017-05-20

关于如何解释机器学习的一些方法 到现在你可能听说过种种奇闻轶事，比如机器学习算法通过利用大数据能够预测某位慈善家是否会捐款给基金会啦，预测一个在新生儿重症病房的婴儿是否会罹患败血症啦，或者预测一位 ...

SPSS编程在Ridit分析中的应用

2017-05-16

SPSS编程在Ridit分析中的应用 多样本有序分类资料（或等级资料）我们一般采用非参数检验——H检验（Kruskal-Wallis法），但其结论只得出三组或多组间总的有差别，若要知道两两间是否有差别，则没有Ridit分析只要一 ...

通俗理解T检验与F检验的区别

2017-05-14

通俗理解T检验与F检验的区别 1.T检验和F检验的由来     一般而言，为了确定从样本(sample)统计结果推论至总体时所犯错的概率，我们会利用统计学家所开发的一些统计方法，进行统计检定。   ...

我所理解的统计思维

2017-05-12

我所理解的统计思维 美国著名的小说家Mark Twain（马克吐温）在1907年的自传里，引用了曾任英国首相的Benjamin Disraeli的一段话： There are three kinds of lies: lies, damned lies, and statistics. ...

基于R语言实现COX模型诊断

2017-05-11

基于R语言实现COX模型诊断 一般在建立好Cox模型之后，需要对模型进行诊断。诊断内容包括模型的前提条件，诸如Cox模型的PH假定（比例风险假定），共线性假定等。本篇我们通过合实际例子讲解Cox模型诊断过程，实 ...

SPSS分析技术：多重线性回归模型；极端值与多重共线性的识别与处理

2017-05-10

SPSS分析技术：多重线性回归模型；极端值与多重共线性的识别与处理 如果拟合质量不好，可能存在的问题主要有以下两个方面： 极端值（强点）的影响。我们都知道，在线性回归分析中，自变量回归系数的确定主要 ...