统计学-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

陈革007

统计数据的分类

1.分类数据(categorical data)只能归于某一类别的非数字型数据对事物进行分类的结果，数据表现为类别，用文字来表述例如，人口按性别分为男、女两类2.顺序数据(rank data)只能归于某一有序类别的非数字型数据对事物类别顺序的测度，数据表现为类别，用文字来表述例如，产品分为一等品、二等品、三等品、次品等3.数值型数据(metric data)按数字尺度测量的观察值

16.6207

3

3

0

关注作者

收藏

若水若谷

统计学：因子旋转的目的

因子旋转的目的主成分分析时一般情况下不能对主成分所代表含义进行业务上的解读，因为主成分方向上一般不会恰好某些变量权重大，而另外一些变量权重都小，这也表现在主成分权重的形成的散点图会偏离坐标轴。如果可以将主成分的坐标轴进行旋转，使一些变量的权重的绝对值在一个主成分上达到最大，而在其他主成分上绝对值最小，这样就使得解释起来更方便恰当。

20.1469

2

4

0

关注作者

收藏

若水若谷

统计学：主成分分析与因子分析的区别

区别：（1）因子分析需要降维的变量看成由对每一个变量都有作用的一些公共因子和一些仅对某一个变量有作用的特殊因子的线性组合。主成分分析只是从空间的角度找能解释诸多变量绝大部分变异的几组彼此不相关的新变量（主成分）。（2）因子分析把变量表示为各因子的线性组合，而主成分分析把主成分表示成各变量的线性组合。（3）因子分析需要一些假设：各个公共因子之间不相关，特殊因子之间不相关，公共因子和特殊因子之间

20.1916

3

2

0

关注作者

收藏

anranhui

通俗易懂地讲解什么是 PCA 主成分分析？

主成分分析（Principal Component Analysis，PCA），主要用于数据降维。首先说一下什么是降维，字面意思就是降低数据的维数，而数据维数也可简单理解为列的个数，比如我们有一组数据如下：这就是二维数据，我们可以通过主成分分析降维成一维数据。现在就让我们说说是如何把二维降一维的。可以从散点图看出两者完全正相关，因此有一列其实是多余的，所以我们要进行降维：其中的一列数据房价。这种一

0.2064

1

0

0

关注作者

收藏

读童话的狼

调增R方和R方什么区别

r方会随着x的增多而增大，调整r方则消除了这种影响，所以对回归方程的效果的判断一般看的是调整r方

0.0000

0

2

0

关注作者

收藏

LXM21

特征工程就是 PCA 吗？

答：不是。PCA是特征工程的一部分。PCA是将已经存在的特征进行压缩，降维完成后的特征不再是源数据中的任何一个特征，而是通过某种方式组合起来的特征，新的特征矩阵不再具有可读性，属于特征创造的一种。因此，PCA不适合用于探索特征和标签的关系的模型比如线性回归，因为无法解释新特征与标签的关系。

18.5370

8

4

0

关注作者

收藏

LXM21

主成分分析及其算法优缺点

（1）主成分分析法的优缺点：优点：首先它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息，其次它通过计算综合主成分函数得分，对客观经济现象进行科学评价，再次它在应用上侧重于信息贡献影响力综合评价。缺点：当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确，命名清晰性低。（2） PCA算法的优缺点：优点：使得数据集更易使用；降低

1.9574

5

1

0

关注作者

收藏

anranhui

主成分分析——解析几何方向介绍

详情介绍地址——https://wenku.baidu.com/view/041755a4302b3169a45177232f60ddccdb38e6ec.html简介：本文介绍可能涉及一些数学中的线性变换知识。

12.9647

4

4

0

关注作者

收藏

liting李

什么是arima？

ARIMA模型（英语：Autoregressive Integrated Moving Average model），差分整合移动平均自回归模型，又称整合移动平均自回归模型（移动也可称作滑动），是时间序列预测分析方法之一。ARIMA(p，d，q)中，AR是“自回归”，p为自回归项数；MA为“滑动平均”，q为滑动平均项数，d为使之成为平稳序列所做的差分次数（阶数）。“差分”一词虽未出现在ARIMA的

38.8585

4

0

0

关注作者

收藏

LXM21

相关分析与回归分析的区别

1．相关分析中涉及的变量不存在自变量和因变量的划分问题，变量之间的关系是对等的。而回归分析则相反，需要划分因变量和自变量，变量之间的关系不对等。 2．在回归分析中，自变量是确定的，因变量是随机的，因此，将确定的自变量代入回归方程中所得到的因变量的估计值会表现出一定的随机波动性。而在相关分析中所有的变量都必须是随机变量3．相关分析主要是通过相关系数来反映变量之间相关程度的大小，由于变量之间的关系

40.5717

3

1

0

关注作者

收藏

LXM21

Normalize是对数据做什么样的处理？

归一化（Normalize）就是要把需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保证程序运行时收敛加快。归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在某个区间上是统计的坐标分布。归一化有同一、统一和合一的意思。归一化的目的简而言之，是使得没有可比性的数据变得具有可比性，同时又保持相比较的

13.3191

2

0

0

关注作者

收藏

LXM21

因子分析和主成分的区别

总的来说，主成分是原指标变量的合成，因子是对原指标变量的分解，所以因子内容比主成分内容单纯，因子的社会经济含义比较易明确。1.原理不同主成分分析基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个不相关的综合指标（主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量85%以上的信息

13.3191

2

3

0

关注作者

收藏

LXM21

主成分分析基本思想和主成分回归分析的步骤

在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映问题的信息有一定的重叠，为了解决这种问题，最直接简单的解决方案是削减变量的个数，但这又必然会导致信息丢失等问题，因此需要一种更为有效的解决方法，主成分分析以最少的信息丢失为前提，将众多的原有变量综合成包含原有变量大部分信息的几个综合指标。主成分回归分析步骤：（1）原始数据标准化，消除量纲带来的影响（2）计算相关矩阵或协

13.3191

3

4

0

关注作者

收藏

读童话的狼

统计模型与机器学习在线性回归上的差异

线性回归是一种统计方法，通过这种方法我们既可以训练一个线性回归器，又可以通过最小二乘法拟合一个统计回归模型。前者做的事儿叫"训练"模型，它只用到了数据的一个子集，而训练得到的模型究竟表现如何需要通过数据的另一个子集测试集测试之后才能知道。机器学习的最终目的是在测试集上获得最佳性能。对于后者，我们则事先假设数据是一个具有高斯噪声的线性回归量，然后试图找到一条线，最大限度地减少了所有数据的均方

0.2004

3

0

0

关注作者

收藏

LXM21

过拟合和欠拟合什么意思？

无论在机器学习还是深度学习建模当中都可能会遇到两种最常见结果，一种叫过拟合（over-fitting ）另外一种叫欠拟合（under-fitting）。所谓过拟合（over-fitting）其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。相对过拟合欠拟合还是比较容易理解，可能训练样本被提取的特征比较少，导致训练出来的模型不能

18.2645

5

4

0

关注作者

收藏

LXM21

GD(梯度下降)和SGD(随机梯度下降)有什么区别？

相同点在GD和SGD中，都会在每次迭代中更新模型的参数，使得代价函数变小。不同点：GD(梯度下降)在GD中，每次迭代都要用到全部训练数据。SGD（随机梯度下降）在SGD中，每次迭代可以只用一个训练数据来更新参数。总结当训练数据过大时，用GD可能造成内存不够用，那么就可以用SGD了，SGD其实可以算作是一种online-learning。另外SGD收敛会比GD快，但是对

17.4582

3

2

0

关注作者

收藏

LXM21

模型的可解释性理解

为什么模型的复杂架构会降低其可解释性？模型为什么不具备可解释性？模型欠缺哪些基本性质？这与系统本身具有完全确定性有关，因为模型一旦被训练完毕，你就可以据此写出模型中每个量与其他的量相关联的方程。「模型可解释性」中的一个关键概念：对于一项复杂模型的可解释性表示，通常被大体看做是其本身的一种压缩表示。研究深度学习的可解释性，首先需要明白什么是可解释性，为什么需要可解释性，现存的可解释性方法有哪些

18.9150

3

2

0

关注作者

收藏

LXM21

梯度下降法的理解

梯度下降：首先来看看梯度下降的一个直观的解释。比如我们在一座大山上的某处位置，由于我们不知道怎么下山，于是决定走一步算一步，也就是在每走到一个位置的时候，求解当前位置的梯度，沿着梯度的负方向，也就是当前最陡峭的位置向下走一步，然后继续求解当前位置梯度，向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去，一直走到觉得我们已经到了山脚。当然这样走下去，有可能我们不能走到山脚，而是到

18.9035

2

2

0

关注作者

收藏

读童话的狼

947: ConvergenceWarning: lbfgs failed to converge. Increase the number of iterations. "of iteratio

说明我们设置的迭代次数不够,参数未收敛,通过设置合理的max_iter属性,max_iter默认是100，尝试调大取值，如：max_iter=1000,可以使模型收敛.

16.5958

3

3

0

关注作者

收藏

anranhui

高尔顿与回归分析的起源

“回归”是由英国著名生物学家兼统计学家高尔顿(Francis Galton,1822～1911.生物学家达尔文的表弟)在研究人类遗传问题时提出来的。为了研究父代与子代身高的关系，高尔顿搜集了1078对父亲及其儿子的身高数据。他发现这些数据的散点图大致呈直线状态，也就是说，总的趋势是父亲的身高增加时，儿子的身高也倾向于增加。但是，高尔顿对试验数据进行了深入的分析，发现了一个很有趣的现象—回归效应

13.3024

3

2

0

关注作者

收藏

<1…181920…55>

CDA考试动态

CDA报考指南