数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

gracejpw1117

MapReduce解决数据倾斜的方法

1）提前在map进行combine，减少传输的数据量在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及Reducer端的计算量。如果导致数据倾斜的key大量分布在不同的mapper的时候，这种方法就不是很有效了。2）导致数据倾斜的key 大量分布在不同的mapper（1）局部聚合加全局聚合。第一次在

29.7303

3

2

0

关注作者

收藏

gracejpw1117

Hadoop宕机的处理方法

1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）2）如果写入文件过快造成NameNode宕机。那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度。例如，可以调整Flume每批次拉取数据量的大小参数batchs

55.7677

4

1

0

关注作者

收藏

gracejpw1117

Hadoop集群的基准测试

搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的share文件夹下。应用举例：cd /root/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreducehadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3 # 运行pi(3.14159

29.4740

2

1

0

关注作者

收藏

于家崎

数据分析706（下）

MySQL数据库常用约束条件主键约束(primary key)每个表中只能有一个主键；主键值须非空不重复；可设置单字段主键，也可设置多字段联合主键；联合主键中多个字段的取值完全相同时，才违反主键约束添加主键约束：列级添加主键约束：create table ( primary key，…… );

29.5317

4

1

0

关注作者

收藏

Aran刘跃然

drop、truncate和delete的区别

（1）DELETE语句执行删除的过程是每次从表中删除一行，并且同时将该行的删除操作作为事务记录在日志中保存以便进行进行回滚操作。 TRUNCATE TABLE 则一次性地从表中删除所有的数据并不把单独的删除操作记录记入日志保存，删除行是不能恢复的。并且在删除的过程中不会激活与表有关的删除触发器。执行速度快。（2）表和索引所占空间。当表被TRUNCATE 后，这个表和索引所占用的空间会恢复

29.5083

3

3

0

关注作者

收藏

赵娜0418

Workbench无法连接MySQL

MySQL的实际功能是由MySQLserver来实现的，因此workbench必须连接MySQL来工作。连接失败有很大原因是MySQLserver没启动，这个问题通过启动MySQLserver即可解决，在windows系统下可通过简单步骤在窗口界面即可启动，启动操作步骤如下：1、在“我的电脑”右键，然后选择管理2、点击服务与应用3、然后选择服务并双击4、双击后在服务列表中选择MySQL57并

46.3516

8

2

0

关注作者

收藏

liting李

MySQL报错1062

导入数据时报错1062：这表明数据已经导入成功，不需要重复导入了。

0.0881

2

2

0

关注作者

收藏

shauna570392

Python什么时候会有溢出的问题？

一般出现在整型的存储中。比如你想用一个int类型来保存一个非常非常大的数，而这个超出了int类型所能表示的最大的数的范围就会出现溢出问题。int32的取值范围为：-2147483648 到 2147483647 即-2^31~2^31-1int64的取值范围为：-9223372036854775808 到 9223372036854775807 即-2^63~2^63-1

19.5831

3

2

0

关注作者

收藏

shauna570392

如何创建三维数组？

1、把列表转ndarray2、使用np.ones创建全为1的三维函数还有其他创建方式就不一一列举，常用的还是方式1,一般观察输出结果最外层的括号，有几个括号代表是几维的数组

19.5831

3

2

0

关注作者

收藏

shauna570392

创建数组时为什么这样写报错？ only 2 non-keyword arguments accepted

这是因为中括号的数量不太对，这里想创建二维数组，7,8,9前多了一个方括号，一开始少了方括号，导致不能成功创建数组对象，应按照下图所示修改：

19.4950

1

2

0

关注作者

收藏

买米当卡

python数据分析之正太性检验

import numpy as npimport pandas as pd%matplotlib inlineimport matplotlibimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus']=False#导入模块# 直方图判断s =

55.5317

5

5

0

关注作者

收藏

bigdata~

MySQL存储引擎:Innodb和MyISAM的区别

InnoDB不支持FULLTEXT类型的索引 2.InnoDB中不保存具体的行数，也就是说，执行select count(*) from table时，InnoDB要全表扫描来计算有多少行，但是myisam只需要简单的读出保存好的行数即可。当count(*)包含where条件时，两种存储引擎的操作是一样的。 3.对于auto_increment类型的字段，Innodb中必须包含只有该字段的索

56.1069

4

0

0

关注作者

收藏

买米当卡

python数据读取

核心：read_table, read_csv, read_excel# 读取普通分隔数据：read_table# 可以读取txt，csvimport numpy as npimport pandas as pdimport osos.chdir('C:/Users/wujun/Desktop/数据分析/CH02数据分析工具：Pandas/') #路径名data1 = pd.read_tab

29.4629

3

4

0

关注作者

收藏

梁韵莹

关于《女士品茶》-- 统计学方面的趣味读物

《女士品茶》的全名是《The Lady Tasting Tea--How Statistics Revolutionized Science in the Twentieth Century 》《女士品茶--20世纪统计学怎样变革了科学》，是美国统计学家萨尔斯伯格以"女士品茶问题"为切入点所著的一部关于统计学历史与变革的书，这是一本介绍统计学的通俗易懂的趣味读物，除了统计学名人和相关名词外，已无涉

55.4788

3

2

0

关注作者

收藏

于家崎

数据分析706（上）

SQL阶段表格与表的区别：表格数据的最小单位是一个单元格，表数据的最小单位是一个字段。表格数据中可以没有列名，表数据中每一个字段必须有字段名，且同一个表中的字段名不能重复。表格数据中每个单元格的数据类型可以不一致，表数据中每一列的数据类型必须一致。数据库SQL：数据库增删查：-- 查看系统中有哪些数据库show databases;-- 创建test数据库create database test

29.9394

4

3

0

关注作者

收藏

廖焯燊

MySql运行错误总结

1005：创建表失败1006：创建数据库失败1007：数据库已存在，创建数据库失败

29.6737

6

0

0

关注作者

收藏

gracejpw1117

1）Hadoop调度器重要分为三类：FIFO 、CS(Capacity Scheduler)（容量调度器）和FS(Fair Sceduler)（公平调度器）。Apache默认的资源调度器是容量调度器CS；CDH默认的资源调度器是公平调度器FS。2）区别：FIFO调度器：支持单队列、先进先出,生产环境不会用。CS容量调度器：支持多队列，保证先进入的任务优先执行。FS公平调度器：支持多队列，保证每个

29.5565

3

2

0

关注作者

收藏

liting李

安装power bi报错显示出了点问题—创建在“system.net/defaultProxy”配置节中指定的 Web 代理时出错。

解决方法：出现这种问题会有很多中原因。比较常见的有3中情况：1. 权限问题。把用户名加入到管理员组试试。2. 网络问题。重置网络连接：用管理员帐户登录CMD，然后输入netsh winsock reset重启试试看。3. 系统问题。重装系统试下也可以试试下面的方法：

29.4886

3

5

0

关注作者

收藏

听海@看日落

表与表格的区别

表格与表的区别： 1. 表格数据的最小单位是一个单元格，表数据的最小单位是一个字段。 2. 表格数据中可以没有列名，表数据中每一个字段必须有字段名，且同一个表中的字段名不能重复。 3. 表格数据中每个单元格的数据类型可以不一致，表数据中每一列的数据类型必须一致。

0.0216

1

5

0

关注作者

收藏

liting李

2020年6月版本的power bi查询编辑器在哪里？

2020年6月版本的power bi的查询编辑器在主页下的数据转换，如下图所示：

29.4886

3

3

0

关注作者

收藏

<1…197198199…531>

CDA考试动态

CDA报考指南