大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

gracejpw1117

skewjoin参数设置解决Hive由于join产生的数据倾斜问题

在Hive的数据处理过程中，由于join造成的倾斜，常见情况是不能做map join的两个表(能做map join的话基本上可以避免倾斜)，其中一个是行为表，另一个应该是属性表。比如我们有三个表，一个用户属性表users，一个商品属性表items，还有一个用户对商品的操作行为表日志表logs。假设现在需要将行为表关联用户表：select * from logs l join users u on

54.2852

3

2

0

关注作者

收藏

我是大魔王哈哈

scp: /usr/local/hadoop/ /hadoop-2.7.3: Permission denied

出现Permission denied是因为我们把文件scp到了aworker01的hduser01用户下面，我们只需要把hduser01用户改为root用户即可

38.9540

2

1

0

关注作者

收藏

PanHero_龙宝宝

终于迎来三天假期

开心开心开心开心

0.9538

3

2

0

关注作者

收藏

gracejpw1117

大数据分析平台的演进之路

1、石器时代大数据技术刚起步时平台架构很简单，数据流从日志通过RSYNC(linux系统下的数据镜像备份工具)流入到Hive，然后通过Hive SQL语句统计分析，结果导入到MySQL，最后形成报表展示。整个流程的驱动基于Shell脚本完成，报表系统和数据处理是利用Java实现。所有业务需求都是手工处理，所有报表都要写Java代码开发，这个给开发人员造成了很大的工作量，并且用户获取数据周期长，速度

29.9282

3

3

0

关注作者

收藏

我是大魔王哈哈

MetaException：Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0 Metastore

造成如下图所示错误的原因是：hive schema和metastore schema 版本不一致造成的解决方法：1. 使用root身份访问mysql mysql -u root -p password2. 使用hive数据库 use hive3. 查看version表中Schema的版本 select * from version;4. 更新version表中schema版本

30.2670

4

2

0

关注作者

收藏

PanHero_龙宝宝

MySQL还挺难的

虽然上课都听懂了但每次都要对着老师以前讲过的题参考代码才能做出来根本没办法独立完成

38.2107

3

3

0

关注作者

收藏

永洪科技

深度分析数据库，从人类“登月”谈起

数据库作为一种数据管理的技术，起源于上世纪60年代，战争中对于情报管理的需要，而出现。但是促使数据库系统，在短短10年间快速发展，取得突破性进展的，却是航天事业。上面这张图，是土星五号的整体结构示意图。来自百科中关于土星五号的介绍:“土星5号仍是人类历史上使用过的自重最大的运载火箭，高达110.6米，起飞重量3038.5吨；总推力达3408吨，月球轨道运载能力45吨，近地轨道运载能力118吨。它曾

38.1950

3

1

0

关注作者

收藏

anranhui

修改jupyter notebook的工作目录

首先anaconda powershell prompt中输入：F: ——进入F盘然后输入：dir——查看F盘所有文件输入：cd"Jupyter notebook"——进入到Jupyter notebook中，输入：Jupyter notebook由此，电脑就给我们分配了一个8889端口。在8889端口下面我们就进入了我们新建的并行的jupyter 服务。服务所在的目录就是我们所在的目录。我们可

40.3887

5

3

0

关注作者

收藏

我是大魔王哈哈

TypeError:’JavaPackage’object is not callable

我们把需要的 jar 包放在spark下面之后运行相应的代码有时会报 ’JavaPackage’object is not callable 这种错误这是因为我们的spark已经启动这时并不能识别我们新加入的jar包，我们需要关闭spark之后重新启动spark 这时再运行程序就可以解决这个问题了

36.8824

4

6

0

关注作者

收藏

我是大魔王哈哈

在服务器上启动jupyter之后无法在浏览器中访问

如图中所示：这是因为我们在浏览器中输入的网址信息有误，我们要把网址中的cda改成服务器的ip地址即可访问成功

28.6625

2

1

0

关注作者

收藏

陈革007

数据分析流程---思维导图

来自助教老师早上的分享,加工成导图分享给大家

28.7870

3

2

0

关注作者

收藏

陈革007

机器学习: 决策树的剪枝策略及其优缺点

决策树的剪枝方法主要分为两大类：预剪枝和后剪枝两种。预剪枝：当最优分裂点对应的增益值为负值是停止分裂。它的优点是，计算时间上能保证最优；缺点则是将来的某个时刻也许能够获取更高的增益，也就是说它不能保证最优。后剪枝：将决策树增长到它的最大深度，递归的进行剪枝，剪去那些使得增益值为负值的叶子节点。它的优点是能够保证决策树最优；缺点是比预剪枝计算复杂度高很多。

22.7699

6

4

0

关注作者

收藏

陈革007

机器学习: 决策树三种数的对比

ID3，C4.5，CART算法对比

22.7408

4

1

0

关注作者

收藏

陈革007

机器学习: 聚类什么是DBSCAN

DBSCAN是一种基于密度的空间聚类算法,它不需要定义簇的个数,而是将具有足够高密度的区域划分为簇,并在有噪声的数据中发现任意形状的簇,在此算法中将簇定义为密度相连的点的最大集合

27.4901

3

2

0

关注作者

收藏

bowan.

统计学中常用的分布

常用的分布1.正态分布：一个神奇的分布：任何分布任何统计量随着其自由度或样本量的增大，其最终都会服从正态分布——正态分布是所有分布的终极状态。因此：当要计算一般正态分布的概率时，应先将其转化为标准正态分布再计算。2.卡方分布：是相互独立的标准正态分布的平方和3.t分布：实际上是Z分布小时候的样子（矮一点、胖一点），自由度n就是他的年龄，随着年龄的增大他逐渐变高变瘦变成了Z分布。4.F分布5.各分布

23.5988

2

5

0

关注作者

收藏

陈革007

机器学习: KNN 预测范围注意点

KNN 不能做超出训练集范围(0-70)的预测, 否则就是一条直线, 如下:

25.3481

7

3

0

关注作者

收藏

PanHero_龙宝宝

疫情减薪是个好东西，让我反思自己，原来的工作到底是否适合我，最后裸辞学习转行，加油

0.0304

1

2

0

关注作者

收藏

小小麟

阿发发发发发

0.0000

0

5

0

关注作者

收藏

PanHero_龙宝宝

没有Mojito的周一

有些知识点，听课时跟不上大家的节奏，就觉得老师讲的快。到了有些我理解比较快的知识点，做完等老师给大家答疑时，啊，真香~~

0.0000

0

5

0

关注作者

收藏

bowan.

power BI不同维度计算度量

18.7259

3

2

0

关注作者

收藏

<1…131415…75>

CDA考试动态

CDA报考指南