数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

gracejpw1117

1）Hadoop调度器重要分为三类：FIFO 、CS(Capacity Scheduler)（容量调度器）和FS(Fair Sceduler)（公平调度器）。Apache默认的资源调度器是容量调度器CS；CDH默认的资源调度器是公平调度器FS。2）区别：FIFO调度器：支持单队列、先进先出,生产环境不会用。CS容量调度器：支持多队列，保证先进入的任务优先执行。FS公平调度器：支持多队列，保证每个

29.5565

3

2

0

关注作者

收藏

liting李

安装power bi报错显示出了点问题—创建在“system.net/defaultProxy”配置节中指定的 Web 代理时出错。

解决方法：出现这种问题会有很多中原因。比较常见的有3中情况：1. 权限问题。把用户名加入到管理员组试试。2. 网络问题。重置网络连接：用管理员帐户登录CMD，然后输入netsh winsock reset重启试试看。3. 系统问题。重装系统试下也可以试试下面的方法：

29.4886

3

5

0

关注作者

收藏

听海@看日落

表与表格的区别

表格与表的区别： 1. 表格数据的最小单位是一个单元格，表数据的最小单位是一个字段。 2. 表格数据中可以没有列名，表数据中每一个字段必须有字段名，且同一个表中的字段名不能重复。 3. 表格数据中每个单元格的数据类型可以不一致，表数据中每一列的数据类型必须一致。

0.0216

1

5

0

关注作者

收藏

若水若谷

统计学：Kmeans聚类的原理和步骤？

1. 基本思想K-means 聚类是一种快速聚类法，适合应用于大样本量的数据。其方法可以总结为：首先随机选择 K 个点作为中心点，所有样本与这 K 个中心点计算距离，距离最近的样本被归为与中心点同类的点，然后重新计算每个类的中心，再次计算每个样本与类中心的距离，并按照最短距离原则重新划分类，如此迭代直至类不再变化为止。2. 基本步骤：（1）对数据进行标准化，消除数据差异和量纲的

29.9694

6

3

0

关注作者

收藏

D.Chu

一、Power Query数据处理1、查询编辑器上网使用2、M函数基础（1）自定义函数例：(parameter1 as number, parameter2 as number) =>letFinal = (parameter1 + parameter2) / 2inFinal（2）if函数例：if 2 > 1 then2 + 2else if 2 = 1 then2 + 1else1 + 13、

34.6089

9

4

0

关注作者

收藏

LXM21

DataFrame列的拼接

问题：把KNN标签跟处理后的数据连起来，为啥这么多nan,标签都不是nan解决：方法1.没有赋值给result，赋值就行了方法2、删掉result.head()方法3、

32.5732

6

5

0

关注作者

收藏

赵娜0418

数据库主要有哪些数据类型？

支持多种，主要：字符串、数值、时间1、数值2、日期和时间date:yyyy-mm-dddatetime:yyyy-mm-dd hh-mm-sstimestamp：称为时间戳3、重点：字符串类型VARCHAR CHAR：varchar活动的字符串，根据你输入的长度调整大小。定义该类型时必须输入长度限定。char，按照你输入的长度，其他补空格，一般用varchar例：创建员工表create table

1.4637

7

1

0

关注作者

收藏

Zxmzxm11

【白小纯都能看懂的】业务分析常用图形的绘制过程

本篇目录一、子弹图二、对比图三、字母饼图四、水滴图五、甘特图六、漏斗图七、帕累托图一、子弹图I、选中数据源II、操作步骤动作动作内容点击：插入【菜单栏】插入堆积柱形图（第二幅图）点击：设计【菜单栏】 – 更改颜色【选项栏】更改图例颜色（柱子颜色）选中：销售目标的图例（柱子）；右键点击：设置数据点格式修改次坐标轴，填充无色，边框实线、间隙宽度75%选中：右侧纵坐标轴删除纵坐标轴III、实现结果二、对

34.4912

7

0

0

关注作者

收藏

赵娜0418

jieba词性分类

1. 名词 (1个一类，7个二类，5个三类)名词分为以下子类：n 名词nr 人名nr1 汉语姓氏nr2 汉语名字nrj 日语人名nrf 音译人名ns 地名nsf 音译地名nt 机构团体名nz 其它专名nl 名词性惯用语ng 单字名词nrfg 人名nr 人名，混乱2. 时间词(1个一类，1个二类)t 时间词tg 时间词性语素3. 处所词(1个一类)s 处所词4. 方位词(1个一类)f 方位词5. 动

35.3303

6

4

0

关注作者

收藏

fuli2020

python 链接数据库的函数

# 设置全部行输出from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all"# 1.安装pymysql https://pypi.org/project/PyMySQLpip install pymysql -i https://pypi.doub

34.3964

4

2

0

关注作者

收藏

赵娜0418

数据库表结构相关知识点总结

一、关系型数据库中都以表结构存储数据 1、由固定列和任意行构成表结构的数据库 2、表中的列称为字段，表中的行称为记录 3、以字段为基本的存储单位和计算单位 4、每个字段必须有字段名且一个表中的字段名不能重复 5、每个字段内的数据类型必须一致二、使用表结构的原因是数据分析工作中最基本的数据结构，除了Excel和WPS之外的其他分析工具都是使用二维表结构的存储格式

1.3952

5

4

0

关注作者

收藏

赵娜0418

什么是数据库以及为什么使用数据库？

1、数据库的概念数据库是按照一定的数据结构来组织、存储和管理数据的仓库2、使用数据库的原因要想知道我们为什么使用数据库，那就得先了解企业发展面临的数据存储问题：（1）存储大量的数据（2）大量数据的检索和访问（3）保证数据信息的一致性和完整性（4）数据安全和共享

1.4988

5

2

0

关注作者

收藏

gracejpw1117

MapReduce阶段的Shuffle优化

MapReduce的工作流程参加上个帖子《MapReduce详细工作流程图解》，针对MapReduce工作流程的各个阶段，对应的Shuffle优化方法如下：1）Map阶段：（1）增大环形缓冲区大小。由100m扩大到200m（2）增大环形缓冲区溢写的比例。由80%扩大到90%（3）减少对溢写文件的merge次数。（10个文件，一次20个merge）（4）不影响实际业务的前提下，采用Combiner提

34.3496

3

1

0

关注作者

收藏

hcy吃猫的鱼

1.在销售案例分析中要注意类似订单号、流水号的明细值，需去重后才能进行后面的相关计数；2.RFM方法论：（1）根据业务场景找到关键性的指标，（2）找到指标后在指标下划分不同的程度，（3）设计程度下的模型样式，（4）根据统计的数值划分到特定的类别下；3.在设置条件格式时，是从选定数据范围的第一列或第一行开始判断，因此要注意首行或首列的选定；4.在构造树形图时，把所需数据区域复制，粘贴为图片链接，可实

34.4172

3

2

0

关注作者

收藏

赵娜0418

null是什么意思？

1. 字面理解，null就是无效的、无价值的； 2. 在编程中，变量以null结尾，表示其后没有可用的数据，数据读取在此结束。 3. null在数据库中表示不知道(Unknown) 的数据，主要有3种意思： a）知道数据存在，但不知道具体值 b）不知道数据是否存在 c）数据不存在 4. 从内存上来说 a="" 已经在内存存了东西（存的是空字符串，内存空间已经分配给他一个 0/ 存在栈里）；但是a

35.3704

6

2

0

关注作者

收藏

赵娜0418

数据库和Hive的有什么不同？

1、数据库可以用在Online的应用中，Hive主要进行离线的大数据分析；2、数据库的查询语句为SQL，Hive的查询语句为HQL；3、数据库数据存储在LocalFS，Hive的数据存储在HDFS；4、Hive执行MapReduce，MySQL执行Executor；5、Hive没有索引；6、Hive延迟性高；7、Hive可扩展性高；8、Hive数据规模大；

35.3453

5

3

0

关注作者

收藏

赵娜0418

运行 Windows Vista或XP的计算机不符合安装 Office的系统要求。

运行 Windows Vista或XP的计算机不符合安装 Office的系统要求。不能在运行 Windows Vista 或 Windows XP 的计算机上安装 Office 2016 或 Office 2013，因为这些操作系统不满足 Office 的系统要求。尝试在操作系统不受支持的计算机上安装 Office 会导致错误。如果因计算机不符合系统要求而无法安装 Office 的完整桌面版，请尝

35.3260

5

3

0

关注作者

收藏

gracejpw1117

如何解决HDFS的大量小文件问题（续）

（2）采用CombineTextInputFormat（3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一直占用使用到的task卡槽，直到任务完成才释放。JVM重用可以使得JVM实例在同一个job中重新使用N次，N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间： mapreduce.job.

34.3921

2

1

0

关注作者

收藏

赵娜0418

如何将数据归一化和标准化？

严谨来说，归一化只是标准化的一种方式，最常见的是以下两种：1、min-max标准化（Min-max normalization） x*=(x-min)/(max-min)可映射到[0,1]，若为了映射到[-1,1],则在此基础上2x*-1注：这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需

35.4708

5

3

0

关注作者

收藏

gracejpw1117

Hadoop集群的主要配置文件以及简单的集群搭建过程

（1）配置文件：Hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slavesHadoop3.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml workers（2）简单的集群搭建过程： JDK安装配置SSH免密登录配置ha

34.3921

2

5

0

关注作者

收藏

<1…149150151…404>

CDA考试动态

CDA报考指南