数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

fuli2020

python 链接数据库的函数

# 设置全部行输出from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all"# 1.安装pymysql https://pypi.org/project/PyMySQLpip install pymysql -i https://pypi.doub

34.3964

4

2

0

关注作者

收藏

赵娜0418

数据库表结构相关知识点总结

一、关系型数据库中都以表结构存储数据 1、由固定列和任意行构成表结构的数据库 2、表中的列称为字段，表中的行称为记录 3、以字段为基本的存储单位和计算单位 4、每个字段必须有字段名且一个表中的字段名不能重复 5、每个字段内的数据类型必须一致二、使用表结构的原因是数据分析工作中最基本的数据结构，除了Excel和WPS之外的其他分析工具都是使用二维表结构的存储格式

1.3952

5

4

0

关注作者

收藏

赵娜0418

数据库的分类

按照不同存储结构可以分为关系型数据库和非关系型数据库1、关系型数据库存储结构化数据集，由固定列、任意行组成的RV表；2、非关系型数据库存储非结构化的数据库，如图标等；

1.0625

5

2

0

关注作者

收藏

赵娜0418

什么是数据库以及为什么使用数据库？

1、数据库的概念数据库是按照一定的数据结构来组织、存储和管理数据的仓库2、使用数据库的原因要想知道我们为什么使用数据库，那就得先了解企业发展面临的数据存储问题：（1）存储大量的数据（2）大量数据的检索和访问（3）保证数据信息的一致性和完整性（4）数据安全和共享

1.4988

5

2

0

关注作者

收藏

gracejpw1117

MapReduce阶段的Shuffle优化

MapReduce的工作流程参加上个帖子《MapReduce详细工作流程图解》，针对MapReduce工作流程的各个阶段，对应的Shuffle优化方法如下：1）Map阶段：（1）增大环形缓冲区大小。由100m扩大到200m（2）增大环形缓冲区溢写的比例。由80%扩大到90%（3）减少对溢写文件的merge次数。（10个文件，一次20个merge）（4）不影响实际业务的前提下，采用Combiner提

34.3496

3

1

0

关注作者

收藏

hcy吃猫的鱼

1.在销售案例分析中要注意类似订单号、流水号的明细值，需去重后才能进行后面的相关计数；2.RFM方法论：（1）根据业务场景找到关键性的指标，（2）找到指标后在指标下划分不同的程度，（3）设计程度下的模型样式，（4）根据统计的数值划分到特定的类别下；3.在设置条件格式时，是从选定数据范围的第一列或第一行开始判断，因此要注意首行或首列的选定；4.在构造树形图时，把所需数据区域复制，粘贴为图片链接，可实

34.4172

3

2

0

关注作者

收藏

若水若谷

Mysql:如何限制查询显示的记录数？

答：使用limit 关键字进行限制2. 使用workbench自带的记录限制。

34.4172

3

1

0

关注作者

收藏

赵娜0418

null是什么意思？

1. 字面理解，null就是无效的、无价值的； 2. 在编程中，变量以null结尾，表示其后没有可用的数据，数据读取在此结束。 3. null在数据库中表示不知道(Unknown) 的数据，主要有3种意思： a）知道数据存在，但不知道具体值 b）不知道数据是否存在 c）数据不存在 4. 从内存上来说 a="" 已经在内存存了东西（存的是空字符串，内存空间已经分配给他一个 0/ 存在栈里）；但是a

35.3704

6

2

0

关注作者

收藏

赵娜0418

数据库和Hive的有什么不同？

1、数据库可以用在Online的应用中，Hive主要进行离线的大数据分析；2、数据库的查询语句为SQL，Hive的查询语句为HQL；3、数据库数据存储在LocalFS，Hive的数据存储在HDFS；4、Hive执行MapReduce，MySQL执行Executor；5、Hive没有索引；6、Hive延迟性高；7、Hive可扩展性高；8、Hive数据规模大；

35.3453

5

3

0

关注作者

收藏

赵娜0418

运行 Windows Vista或XP的计算机不符合安装 Office的系统要求。

运行 Windows Vista或XP的计算机不符合安装 Office的系统要求。不能在运行 Windows Vista 或 Windows XP 的计算机上安装 Office 2016 或 Office 2013，因为这些操作系统不满足 Office 的系统要求。尝试在操作系统不受支持的计算机上安装 Office 会导致错误。如果因计算机不符合系统要求而无法安装 Office 的完整桌面版，请尝

35.3260

5

3

0

关注作者

收藏

gracejpw1117

如何解决HDFS的大量小文件问题（续）

（2）采用CombineTextInputFormat（3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一直占用使用到的task卡槽，直到任务完成才释放。JVM重用可以使得JVM实例在同一个job中重新使用N次，N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间： mapreduce.job.

34.3921

2

1

0

关注作者

收藏

gracejpw1117

如何解决HDFS的大量小文件问题

1）会有什么影响（1）1个文件块，占用namenode多大内存150字节1亿个小文件*150字节1 个文件块 * 150字节128G能存储多少文件块？ 128 * 1024*1024*1024byte/150字节 = 9亿文件块2）怎么解决（1）采用har归档方式，将小文件归档hadoop archive -archiveName 20200701.har /user/hadoop/login

34.3921

2

0

0

关注作者

收藏

赵娜0418

insert into select语句与select into from语句区别

insert into select语句与select into from语句区别1、insert into select语句：>>为插入数据Insert into Table2(field1,field2,...) select value1,value2,... from Table1要求目标表Table2必须存在，由于目标表Table2已经存在，所以我们除了插入源表Table1的字段外，还可

35.3260

4

4

0

关注作者

收藏

赵娜0418

如何将数据归一化和标准化？

严谨来说，归一化只是标准化的一种方式，最常见的是以下两种：1、min-max标准化（Min-max normalization） x*=(x-min)/(max-min)可映射到[0,1]，若为了映射到[-1,1],则在此基础上2x*-1注：这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需

35.4708

5

3

0

关注作者

收藏

gracejpw1117

Hadoop集群的主要配置文件以及简单的集群搭建过程

（1）配置文件：Hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slavesHadoop3.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml workers（2）简单的集群搭建过程： JDK安装配置SSH免密登录配置ha

34.3921

2

5

0

关注作者

收藏

张敏玉

小白都可以看懂的甘特图的绘制过程

参考数据如下项目时长列函数 D12-C12+1距离项目结束还剩*天列函数 IF(TODAY()>D12,0,IF(D12=TODAY(),"仅剩今天",D12-TODAY()))绘制步骤插入堆积条形图选择左边阶段系列坐标轴选择数据编辑重新选中B12-B17 确定选择数据添加系列名称选择调整阶段顺序设置坐标轴格式逆序横坐标日期

34.6186

4

2

0

关注作者

收藏

M159****5579

方法论整理

1.业务员大致了解业务问题方向，可参考3步式方法论2.业务问题发现，可用帕累托分析（二八法则）：百分之八十的问题是百分之二十的原因造成的。在项目管理中主要用于找出核心问题。3.业务建模：RFM模型（用于确定用户类别）根据场景，找到关键性指标，找到对应维度；在指标下划分不同的程度；设计程度下的模型样式；根据统计出的数值划分到特定的类别下。4.树状结构方法论：可用于业务分析的开头，利用树状图来确定数据

34.6186

4

4

0

关注作者

收藏

我是大魔王哈哈

AnalysisException: Table or view not found: exit_ tran

出现这个AnalysisException: Table or view not found: exit_ tran错误的原因：是因为我们要想在spark中访问到hive中的表，应该要把spark和hive关联起来我们要到hive的conf目录下，执行命令：cp hive-site.xml ~/bigdata/spark-2.4.5/conf/之后重启spark即可解决

34.9268

3

4

0

关注作者

收藏

bowan.

python链接MySql数据库方法

安装pymsql：pip install pymysql -i https://pypi.douban.com/simple1、导包import pymysql2、创建连接对象mydb = pymysql.connect( host='localhost', # 数据库主机地址 user="root",

56.0589

3

1

0

关注作者

收藏

张敏玉

小白都可以看懂的水滴图的绘制过程

参考数据如下绘制步骤步骤提示：1、选中目标达成率和目标值数据插入簇状柱状图，切换行列；2、调整纵坐标轴最大值为1，最小值为0；3、选中任一系列，将间隙宽度调整为0，系列重叠调整为100%，去除不必要的图表元素（标题等）4、修改系列图层，在选择数据处将目标达成率系列调整成最上层5、复制空心圆，粘贴目标值系列；复制实心圆，粘贴目标达成率系列，且在填充处选择“层叠并缩放”6、新增空系列，并设置新系列图

56.2327

6

3

0

关注作者

收藏

<1…198199200…530>

CDA考试动态

CDA报考指南