数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

zxq997

对应分析（Correspondence Analysis）是一种在主成分分析基础上发展而来的多元统计分析方法，主要用于两个或多个分类变量间各分类水平相关性的比较。在分析分类变量时常常使用列联表，可以应用卡方检验来分析变量之间的相关性，但当变量分类水平较多时，或者有一些变量存在压倒性优势的时候，很难从列联表中直观发现规律，因此需要应用对应分析。对应分析的实质是通过降维投射，把列联表中的信息

0.0000

0

5

0

关注作者

收藏

zxq997

在整个预处理过程中，一个非常重要的核心就是数据清洗，也就是把数据变成我们可以用来分析和建模的样子。数据清洗一般包括以下几个部分：① 填补遗漏的数据值在数据收集的过程中，我们难免会遇到数据缺失的情况。对于缺失的数据，一般不建议直接删除，通常会采用常数、中位数/众数、随机数或者模型的方法进行填补。常数法，最简单，但是相对来说也比较主观，可能带来无效信息。因此使用较少，通常用于标记缺失值。中位数

0.0000

0

2

0

关注作者

收藏

zxq997

在实际项目中，我们遇到的数据集可能比较大，这个时候除非应用大数据挖掘技术，在做一般的分析和建模时，我们都需要对数据进行归约，也就是简化。当然，简化的前提是尽可能少地减少信息损失和保证最终效果。另一种需要用到数据归约的情况是，数据集的变量数较多，而对应的样本数相对比较少。这个时候，样本的数量不足以支持这么多变量的研究，过多的变量数也会使得一些模型不再适用。那么这个时候，我们也需要对变量进行归约。

0.0000

0

0

0

关注作者

收藏

zxq997

常用的数据标准化

常用的数据标准化方法有三种：Z-score标准化Z-score，又称为标准分数，可以用公式来计算。其中x逐一带入变量中的数据，μ为变量的平均数，σ为变量的标准差。Z-score可以理解为，数据落在平均值几倍的标准差范围内。变换后，变量的取值范围仍然是(-∞， ∞)。新生成的变量均值为0，方差为1。在不确定最大最小值，或者存在极端离群点的情况下，用Z-score标准化是比较好的选择。

62.1152

1

1

0

关注作者

收藏

zxq997

几种抽样方法的选择

如图：简单随机抽样最简单，需要考虑的问题最少。但是往往由于人难以保持完全的客观，因此需要辅助以随机数等形式进行，以保证每个个体被抽中的可能性尽量相同。系统抽样在考虑到人力和时间成本的基础上，对简单随机抽样进行了调整，通过编号后等距离选择的方式进行。但是对于某些具有一定特征的群体，这样的方式和简单随机抽样一样，可能会造成样本特征过于集中或者缺失，不能很好地代表总体。分层抽样，可以很好地解

0.0000

0

3

0

关注作者

收藏

zxq997

数据中的概率抽样与非概率抽样

当我们需要获取一手数据的时候，一种常用的方式就是抽样调查。抽样调查不止在传统行业中比较常用，在现在互联网企业中也时常会用到。比如一些优惠活动或者特定客群营销等方案的测试，就需要用到抽样的方式选择测试群体。在做抽样调查时，我们都希望尽可能地减少误差，让抽样的样本能够充分代表整体的特征。那么误差和哪些因素相关呢？抽样误差（Sampling Error）的大小，主要由样本容量的大小和抽样方式来决定。

0.0000

0

0

0

关注作者

收藏

zxq997

数据分析中的数据

一般来说，我们是基于数据使用者的角度，来讨论数据是一手还是二手。一手数据（Primary data）：也称为原始数据。顾名思义，是指直接获取，没有经过加工或者第三方传递获得的数据。比如传统调研中的问卷测评、小组访谈、面对面沟通等形式获得的数据，或者是互联网时代用户直接填写的个人信息数据以及平台抓取的行为数据等等。二手数据（Secondary data）：主要是相对于一手数据而言，指的是通过第三

0.0000

0

1

0

关注作者

收藏

zxq997

数据库日期及时间函数

日期及时间函数：用来处理日期时间型数据

0.0000

0

2

0

关注作者

收藏

zxq997

数据库常用的字符串函数

常用的字符串函数：主要用于处理字符串值。常用的ASCII(char)：返回字符的ASCII码值BIT_LENGTH(str)：返回字符串的比特长度CONCAT(s1,s2...,sn)：将s1,s2...,sn连接成字符串CONCAT_WS(sep,s1,s2...,sn)：将s1,s2...,sn连接成字符串，并用sep字符间隔INSERT(str,x,y,instr)：将字符串str

0.0000

0

3

0

关注作者

收藏

wangjuju123

方法replace将指定子串都替换为另一个字符串，并返回替换后的结果。 >>> 'This is a test'.replace('is', 'eez') 'Theez eez a test' 如果你使用过字处理程序的“查找并替换”功能，一定知道这个方法很有用。

0.0000

0

2

0

关注作者

收藏

wangjuju123

将字符串格式设置功能用于字典

在有些情况下，通过在字典中存储一系列命名的值，可让格式设置更容易些。例如，可在字典中包含各种信息，这样只需在格式字符串中提取所需的信息即可。为此，必须使用format_map来指出你将通过一个映射来提供所需的信息。 >>> phonebook {'Beth': '9102', 'Alice': '2341', 'Cecil': '3258'} >>> "Cecil's phone num

0.0000

0

1

0

关注作者

收藏

PGC123

python 中格式化字符串format函数

format是一种新的格式化字符串方法，使用{}替代原来的%。1、基于位置参数1) 基本的位置参数 print('{},{}'.format(1,2))# 结果：'1,2' print('{},{}'.format(*[1,2]))2）参数可以是元组或列表前面加*，程序会将参数解析为位置参数 print('{},{}'.format(*(1,2)))

0.0000

0

2

0

关注作者

收藏

wangjuju123

方法translate与replace一样替换字符串的特定部分，但不同的是它只能进行单字符替换。这个方法的优势在于能够同时替换多个字符，因此效率比replace高。这个方法的用途很多（如替换换行符或其他随平台而异的特殊字符），但这里只介绍一个比较简单（也有点傻）的示例。假设你要将一段英语文本转换为带有德国口音的版本，为此必须将字符c和s分别替换为k和z。然而，使用translate前

0.0000

0

3

0

关注作者

收藏

wangjuju123

方法strip将字符串开头和末尾的空白（但不包括中间的空白）删除，并返回删除后的结果。 >>> ' internal whitespace is kept '.strip() 'internal whitespace is kept' 与lower一样，需要将输入与存储的值进行比较时，strip很有用。回到前面介绍lower时使用的用户名示例，并假定用户输入用户名时不小心在末尾

0.0000

0

1

0

关注作者

收藏

wangjuju123

split是一个非常重要的字符串方法，其作用与join相反，用于将字符串拆分为序列。 >>> '1 2 3 4 5'.split(' ') ['1', '2', '3', '4', '5'] >>> '/usr/bin/env'.split('/') ['', 'usr', 'bin', 'env'] >>> 'Using the default'.split() ['Using',

0.0000

0

2

0

关注作者

收藏

wangjuju123

方法lower返回字符串的小写版本。 >>> 'Trondheim Hammer Dance'.lower() 'trondheim hammer dance' 在你编写代码时，如果不想区分字符串的大小写（即忽略大小写的差别），这将很有用。例如，假设你要检查列表中是否包含指定的用户名。如果列表包含字符串'gumby'，而指定的用户名为'Gumby'，你将找不到它。 >>> if 'Gu

0.0000

0

2

0

关注作者

收藏

wangjuju123

join是一个非常重要的字符串方法，其作用与split相反，用于合并序列的元素。 >>> seq = [1, 2, 3, 4, 5] >>> sep = ' ' >>> sep.join(seq) # 尝试合并一个数字列表 Traceback (most recent call last): File "", line 1, in ? TypeError: seque

0.0000

0

5

0

关注作者

收藏

wangjuju123

方法find在字符串中查找子串。如果找到，就返回子串的第一个字符的索引，否则返回-1。 >>> 'With a moo-moo here, and a moo-moo there'.find('moo') 7 >>> title = "Monty Python's Flying Circus" >>> title.find('Monty') 0 >>> title.find('Python

0.0000

0

1

0

关注作者

收藏

wangjuju123

方法center通过在两边添加填充字符（默认为空格）让字符串居中。 >>> "The Middle by Jimmy Eat World".center(39) ' The Middle by Jimmy Eat World ' >>> "The Middle by Jimmy Eat World".center(39, "*") '*****The Middle by J

0.0000

0

3

0

关注作者

收藏

wangjuju123

模块string未死

虽然字符串方法完全盖住了模块string的风头，但这个模块包含一些字符串没有的常量和函数。下面就是模块string中几个很有用的常量。  string.digits：包含数字0～9的字符串。  string.ascii_letters：包含所有ASCII字母（大写和小写）的字符串。  string.ascii_lowercase：包含所有小写ASCII字母的字符串。  strin

0.0000

0

7

0

关注作者

收藏

<1…276277278…341>

CDA考试动态

CDA报考指南