数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

若水若谷

统计学：Kmeans聚类的原理和步骤？

1. 基本思想K-means 聚类是一种快速聚类法，适合应用于大样本量的数据。其方法可以总结为：首先随机选择 K 个点作为中心点，所有样本与这 K 个中心点计算距离，距离最近的样本被归为与中心点同类的点，然后重新计算每个类的中心，再次计算每个样本与类中心的距离，并按照最短距离原则重新划分类，如此迭代直至类不再变化为止。2. 基本步骤：（1）对数据进行标准化，消除数据差异和量纲的

29.9694

6

3

0

关注作者

收藏

D.Chu

一、Power Query数据处理1、查询编辑器上网使用2、M函数基础（1）自定义函数例：(parameter1 as number, parameter2 as number) =>letFinal = (parameter1 + parameter2) / 2inFinal（2）if函数例：if 2 > 1 then2 + 2else if 2 = 1 then2 + 1else1 + 13、

34.6089

9

4

0

关注作者

收藏

LXM21

代码拼接快捷键和画图不显示中文问题

代码拼接快捷键：shift+上下选中，然后按住shift不动+M 切割：ctrl+shift+-2.字体不显示把字体设置改成'Microsoft YaHei'或者'SimHei'

37.1772

7

2

0

关注作者

收藏

LXM21

DataFrame列的拼接

问题：把KNN标签跟处理后的数据连起来，为啥这么多nan,标签都不是nan解决：方法1.没有赋值给result，赋值就行了方法2、删掉result.head()方法3、

32.5732

6

5

0

关注作者

收藏

赵娜0418

数据库主要有哪些数据类型？

支持多种，主要：字符串、数值、时间1、数值2、日期和时间date:yyyy-mm-dddatetime:yyyy-mm-dd hh-mm-sstimestamp：称为时间戳3、重点：字符串类型VARCHAR CHAR：varchar活动的字符串，根据你输入的长度调整大小。定义该类型时必须输入长度限定。char，按照你输入的长度，其他补空格，一般用varchar例：创建员工表create table

1.4637

7

1

0

关注作者

收藏

Zxmzxm11

【白小纯都能看懂的】业务分析常用图形的绘制过程

本篇目录一、子弹图二、对比图三、字母饼图四、水滴图五、甘特图六、漏斗图七、帕累托图一、子弹图I、选中数据源II、操作步骤动作动作内容点击：插入【菜单栏】插入堆积柱形图（第二幅图）点击：设计【菜单栏】 – 更改颜色【选项栏】更改图例颜色（柱子颜色）选中：销售目标的图例（柱子）；右键点击：设置数据点格式修改次坐标轴，填充无色，边框实线、间隙宽度75%选中：右侧纵坐标轴删除纵坐标轴III、实现结果二、对

34.4912

7

0

0

关注作者

收藏

gracejpw1117

为什么需要数仓分层，如何优雅地设计数仓分层？

1、为什么要分层：· 数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。· 数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直接计算而得。· 各种重复计算，严重浪费了计算资源，需要优化性能。2、怎么分层:从理论上抽象，可以把数据仓库分为下面三个层，即：数据运营层、数据仓库层和数据产品层。· ODS (Operati

34.5114

4

3

0

关注作者

收藏

赵娜0418

jieba词性分类

1. 名词 (1个一类，7个二类，5个三类)名词分为以下子类：n 名词nr 人名nr1 汉语姓氏nr2 汉语名字nrj 日语人名nrf 音译人名ns 地名nsf 音译地名nt 机构团体名nz 其它专名nl 名词性惯用语ng 单字名词nrfg 人名nr 人名，混乱2. 时间词(1个一类，1个二类)t 时间词tg 时间词性语素3. 处所词(1个一类)s 处所词4. 方位词(1个一类)f 方位词5. 动

35.3303

6

4

0

关注作者

收藏

fuli2020

python 链接数据库的函数

# 设置全部行输出from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all"# 1.安装pymysql https://pypi.org/project/PyMySQLpip install pymysql -i https://pypi.doub

34.3964

4

2

0

关注作者

收藏

赵娜0418

数据库表结构相关知识点总结

一、关系型数据库中都以表结构存储数据 1、由固定列和任意行构成表结构的数据库 2、表中的列称为字段，表中的行称为记录 3、以字段为基本的存储单位和计算单位 4、每个字段必须有字段名且一个表中的字段名不能重复 5、每个字段内的数据类型必须一致二、使用表结构的原因是数据分析工作中最基本的数据结构，除了Excel和WPS之外的其他分析工具都是使用二维表结构的存储格式

1.3952

5

4

0

关注作者

收藏

赵娜0418

数据库的分类

按照不同存储结构可以分为关系型数据库和非关系型数据库1、关系型数据库存储结构化数据集，由固定列、任意行组成的RV表；2、非关系型数据库存储非结构化的数据库，如图标等；

1.0625

5

2

0

关注作者

收藏

赵娜0418

什么是数据库以及为什么使用数据库？

1、数据库的概念数据库是按照一定的数据结构来组织、存储和管理数据的仓库2、使用数据库的原因要想知道我们为什么使用数据库，那就得先了解企业发展面临的数据存储问题：（1）存储大量的数据（2）大量数据的检索和访问（3）保证数据信息的一致性和完整性（4）数据安全和共享

1.4988

5

2

0

关注作者

收藏

gracejpw1117

MapReduce阶段的Shuffle优化

MapReduce的工作流程参加上个帖子《MapReduce详细工作流程图解》，针对MapReduce工作流程的各个阶段，对应的Shuffle优化方法如下：1）Map阶段：（1）增大环形缓冲区大小。由100m扩大到200m（2）增大环形缓冲区溢写的比例。由80%扩大到90%（3）减少对溢写文件的merge次数。（10个文件，一次20个merge）（4）不影响实际业务的前提下，采用Combiner提

34.3496

3

1

0

关注作者

收藏

hcy吃猫的鱼

1.在销售案例分析中要注意类似订单号、流水号的明细值，需去重后才能进行后面的相关计数；2.RFM方法论：（1）根据业务场景找到关键性的指标，（2）找到指标后在指标下划分不同的程度，（3）设计程度下的模型样式，（4）根据统计的数值划分到特定的类别下；3.在设置条件格式时，是从选定数据范围的第一列或第一行开始判断，因此要注意首行或首列的选定；4.在构造树形图时，把所需数据区域复制，粘贴为图片链接，可实

34.4172

3

2

0

关注作者

收藏

若水若谷

Mysql:如何限制查询显示的记录数？

答：使用limit 关键字进行限制2. 使用workbench自带的记录限制。

34.4172

3

1

0

关注作者

收藏

赵娜0418

null是什么意思？

1. 字面理解，null就是无效的、无价值的； 2. 在编程中，变量以null结尾，表示其后没有可用的数据，数据读取在此结束。 3. null在数据库中表示不知道(Unknown) 的数据，主要有3种意思： a）知道数据存在，但不知道具体值 b）不知道数据是否存在 c）数据不存在 4. 从内存上来说 a="" 已经在内存存了东西（存的是空字符串，内存空间已经分配给他一个 0/ 存在栈里）；但是a

35.3704

6

2

0

关注作者

收藏

赵娜0418

数据库和Hive的有什么不同？

1、数据库可以用在Online的应用中，Hive主要进行离线的大数据分析；2、数据库的查询语句为SQL，Hive的查询语句为HQL；3、数据库数据存储在LocalFS，Hive的数据存储在HDFS；4、Hive执行MapReduce，MySQL执行Executor；5、Hive没有索引；6、Hive延迟性高；7、Hive可扩展性高；8、Hive数据规模大；

35.3453

5

3

0

关注作者

收藏

赵娜0418

运行 Windows Vista或XP的计算机不符合安装 Office的系统要求。

运行 Windows Vista或XP的计算机不符合安装 Office的系统要求。不能在运行 Windows Vista 或 Windows XP 的计算机上安装 Office 2016 或 Office 2013，因为这些操作系统不满足 Office 的系统要求。尝试在操作系统不受支持的计算机上安装 Office 会导致错误。如果因计算机不符合系统要求而无法安装 Office 的完整桌面版，请尝

35.3260

5

3

0

关注作者

收藏

gracejpw1117

如何解决HDFS的大量小文件问题（续）

（2）采用CombineTextInputFormat（3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一直占用使用到的task卡槽，直到任务完成才释放。JVM重用可以使得JVM实例在同一个job中重新使用N次，N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间： mapreduce.job.

34.3921

2

1

0

关注作者

收藏

gracejpw1117

如何解决HDFS的大量小文件问题

1）会有什么影响（1）1个文件块，占用namenode多大内存150字节1亿个小文件*150字节1 个文件块 * 150字节128G能存储多少文件块？ 128 * 1024*1024*1024byte/150字节 = 9亿文件块2）怎么解决（1）采用har归档方式，将小文件归档hadoop archive -archiveName 20200701.har /user/hadoop/login

34.3921

2

0

0

关注作者

收藏

<1…198199200…531>

CDA考试动态

CDA报考指南