数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

9047_1575431266

数据清洗- Pandas 清洗“脏”数据（一）

概要准备工作检查数据处理缺失数据添加默认值删除不完整的行删除不完整的列规范化数据类型必要的转换重命名列名保存结果更多资源Pandas 是 Python 中很流行的类库，使用它可以进行数据科学计算和数据分。他可以联合其他数据科学计算工具一块儿使用，比如，SciPy，NumPy 和Matplotlib，建模工程师可以通过创建端到端的分析工作流来解决业务问题。虽然我们可以 Python 和数据分析做很

51.9468

4

0

0

关注作者

收藏

yw172716

关系型数据库中，关系的完整性有哪几种

关系模型中有3类完整性约束：域完整性、实体完整性、参照完整性。1.域（列）完整性也就是用户定义的表字段的完整性通常指数据的有效性,它包括字段的值域、字段的类型及字段的有效规则等约束，它是由确定关系结构时所定义的字段的属性决定的。限制数据类型，缺省值、规则、约束、是否可以为空，域完整性可以确保不会输入无效的值。比如某个属性的值必须在某个范围内，或者默认为0等，这些就是域（列）完整性，也就是用户

51.9660

4

0

0

关注作者

收藏

马锦涛

梯度下降法如何避免局部最优解？

1.以不同的参数值初始化，取最小的作为结果。2. 使用“随机梯度下降”与标准梯度下降精确计算梯度不一样，随机梯度下降法在计算梯度时加入随机的因素，于是即便其陷入到局部的极小值点，他计算的梯度仍可能不为0，这样就有可能跳出局部的极小值而继续进行搜索。

51.7680

1

0

0

关注作者

收藏

马锦涛

什么是“模拟退火”技术？

1、“模拟退火”技术是一种处理局部最优的方法，在达到局部最优后，我们以一定概率重新选择新的点，重新选择一个点求最优解。2、可以把它想象成一种走出舒适区的行为。

0.0000

1

0

0

关注作者

收藏

shauna570392

数据清理中，处理缺失值的方法是？

1. 估算(estimation)。最简单的办法就是用某个变量的样本均值、中位数或众数代替无效值和缺失值。这种办法简单，但没有充分考虑数据中已有的信息，误差可能较大。另一种办法就是根据调查对象对其他问题的答案，通过变量之间的相关分析或逻辑推论进行估计。例如，某一产品的拥有情况可能与家庭收入有关，可以根据调查对象的家庭收入推算拥有这一产品的可能性。2. 整例删除(casewise deletion)

41.1726

1

0

0

关注作者

收藏

shauna570392

解释一下*args和**kwargs有什么区别

一、*args的使用方法 *args 用来将参数打包成tuple给函数体调用 def args_test(x, y, *args): print(x, y, args)args_test(1,2,3,4,5)1 2 (3, 4, 5)二、**kwargs的使用方法 **kwargs 打包关键字参数成dict给函数体调用 def kwargs_test(**kwar

51.7680

1

1

0

关注作者

收藏

永洪科技

国庆6.37亿出游花费4665.6亿处于什么水平？哪个省市客流最大？收入最高？

随着国内疫情的有效防控，当国庆遇上中秋，今年的双节假期，国人被压抑了大半年的出行欲望爆发了。这个接待国内游客6.37亿人次，实现旅游收入4665.6亿元的大项目，你参加了吗？据说过节的人群泾渭分明地分成“外出观光派”和“居家躺卧派”，外出观光派的心路历程是“新鲜、开心、烦闷、后悔、明年不来了！”而居家躺卧派却是“爽、哈哈、爽、哈哈哈！”外出旅行的，有的骑马看花，浪迹天涯，有的却遭遇奇葩事迹层出不穷

57.9914

2

0

0

关注作者

收藏

詹惠儿

numpy复合赋值运算符

numpy复合赋值运算符在python中是没有“++”或者“--”这类自增自减的运算符，但可以使用以下Numpy 的复合赋值运算符去实现自增自减等功能：描述实例+=加法赋值运算符c += a 等效于 c = c + a-=减法赋值运算符c -= a 等效于 c = c - a*=乘法赋值运算符c * = a 等效于 c = c * a/=除法赋值运算符c /= a 等效于 c = c / a%

57.9914

2

0

0

关注作者

收藏

詹惠儿

Numpy基本运算符总结

Numpy基本运算符Numpy基本运算符和python原生的算术运算符一样，标准的加、减、乘、除都可以使用，Numpy 数组中的基本算术运算符是在元素级别进行操作的，操作的结果会返回为一个新的数组。Numpy中主要有以下基本运算符：运算符描述实例+加两个对象相加 a + b 输出结果 30-减得到负数或是一个数减去另一个数 a - b 输出结果 -10*乘两个数相乘或是返回一个被重复若干次的字

57.9914

2

0

0

关注作者

收藏

詹惠儿

excel预习课中这里的下四分位数中的0.5是怎么来的

问;excel预习课中这个我有点没懂，下四分位数中的0.5是怎么来的答：这里其实是简化了一步，原公式应该是这样这里乘以0.5是因为下四分位是2.5，小数部分为0.5

57.9914

2

0

0

关注作者

收藏

詹惠儿

MySQL读取数据后出现警告提示：1265 Data truncated for column'cno' at row 1

问题描述：MySQL读取数据后出现警告提示：1265 Data truncated for column'cno' at row 1，是怎么回事？解决方法：一般出现此报错是因为创建表时字段的长度没有大于或等于实际读取的字段长度，mysql默认将此字段超出长度截断，解决方法是检查创建表时字段'cno'的长度，将其设置为大于实际读取文件中字段'cno'的长度，再重新读取数据

57.9914

2

0

0

关注作者

收藏

YinXingDeCB

提取单元格中某一段字符

=MID(O1,1,4)备注： 1、O1是单元格位置。 2、1是提取字符的起始位置、4是要提取字符的个数（取几个字符）。

29.8122

1

0

0

关注作者

收藏

詹惠儿

为什么数据导入MySQL workbench后，只显示部分？

问题描述：我的原数据共3280行，但是导入MySQL workbench后，查看数据却只显示其中一部分数据？解决方法：在使用MySQL workbench时，查询数据默认只能1000条，可在界面的上方功能区找到修改查询条数的按钮，默认是“Limit to 1000 rows”,根据需要增加查询条数，或者直接修改为“Don`t Limit”不限制查询总结：MySQL workbench查询数据默认是

29.8122

1

0

0

关注作者

收藏

YinXingDeCB

将多个单元格中的内容合并到一个单元格中

1、=A2&B2&C22、=A2&"、"&B2&"、"&C2备注： 1、第一种是直接将内容放到一起。 2、第二种是中间加符号放一起，除了示例中的逗号也可以换成任意其它符号。

29.8122

1

0

0

关注作者

收藏

YinXingDeCB

中英文互译

=FILTERXML(WEBSERVICE("http://fanyi.youdao.com//translate?&i="&A1&"&doctype=xml&version"),"//translation")备注： 1、“http://fanyi.youdao.com//translate”这里可以填任何翻译网址，这里是有道，也可以用谷歌、百度等。 2、"&A1&"这里是要翻译的单

43.2788

2

2

0

关注作者

收藏

詹惠儿

sklearn库安装成功，但导入该库时报错提示;ImportError: DLL load failed:找不到指定的程序

问题描述：sklearn库安装成功，但导入该库时报错提示;ImportError: DLL load failed:找不到指定的程序解决方法：安装缺失部分插件，要卸载相关的模块( numpy,pandas,pandas)，然后重新安装，解决方法可参照文章：https://www.cnblogs.com/hamish26/p/10985139.html总结：安装缺失部分插件，需将相关库卸载重装

29.8122

2

0

0

关注作者

收藏

YinXingDeCB

查询一列有多少数据

=COUNTA(S:S) 备注： 1、公式指的是S列所有的数据。也可以写成S2:S100，指的就是S列第2行到第100行有多少数据。 2、空单元格如果之前用过公式，或者设置过格式，例如：公式计算后为空，然后将公式复制粘贴为[123]格式，那么计算长度时也会计入。 3、如果出现2的情况，将空的单元格选中再删除（Delete）即可。

29.8122

1

0

0

关注作者

收藏

YinXingDeCB

向已筛选的单元格中粘贴内容

首先取消筛选功能---在粘贴列旁边插入两列单元格（列A、列B）---在列A下第一格输入1，向下填充序列---将想要粘贴的内容筛选出来---选中列B下面的单元格---按下Alt+;---输入1后按下Ctrl+Enter（相当于可见单元格填充）---取消筛选条件---按列B排序（想要粘贴的单元格就在最上面了）---粘贴完成后再按列A排序（数据就粘贴好了）---删除列A和列B此知识点的解释来源https

29.8122

1

0

0

关注作者

收藏

田先生1

Power BI可视化 | 使用度量值作为切片器

Hello各位小伙伴, 8天小长假一眨眼就结束了, 工坊先祝大家开工愉快, 本着晴雨不误为大家输送知识技巧的原则，工坊今天为大家介绍一个实用小鸡肋, 哦不, 小知识——如何将度量作为切片器筛选数据。最终的效果如下：步骤详解Step 1：首先导入虚拟数据Step 2：新建度量值消费总额 = SUM( ‘虚拟表’[消费金额] ）Step 3：创建一些基础筛选器和矩阵Step 4：新建表: 我们需要根

29.8122

2

0

0

关注作者

收藏

田先生1

PowerBI中“薛定谔的‘科学’刷新”

本来以为关于Onedrive的话题写了5篇后可以告一段落了，结果……这位老兄提醒了我。书接上文：【重磅】PowerBI从Onedrive个人版获取文件文中提到国内世纪互联版的PowerBI无法刷新onedrive数据源，除非‘科学上网’。文中也给出了测试，第一次刷新失败了，后来‘科学上网’后就成功了。3点28分时是第一次刷新失败，失败原因：“The underlying connection wa

29.8122

2

0

0

关注作者

收藏

<1…127128129…531>

CDA考试动态

CDA报考指南