大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

gracejpw1117

为什么需要数仓分层，如何优雅地设计数仓分层？

1、为什么要分层：· 数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。· 数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直接计算而得。· 各种重复计算，严重浪费了计算资源，需要优化性能。2、怎么分层:从理论上抽象，可以把数据仓库分为下面三个层，即：数据运营层、数据仓库层和数据产品层。· ODS (Operati

34.5114

4

3

0

关注作者

收藏

gracejpw1117

MapReduce阶段的Shuffle优化

MapReduce的工作流程参加上个帖子《MapReduce详细工作流程图解》，针对MapReduce工作流程的各个阶段，对应的Shuffle优化方法如下：1）Map阶段：（1）增大环形缓冲区大小。由100m扩大到200m（2）增大环形缓冲区溢写的比例。由80%扩大到90%（3）减少对溢写文件的merge次数。（10个文件，一次20个merge）（4）不影响实际业务的前提下，采用Combiner提

34.3496

3

1

0

关注作者

收藏

gracejpw1117

MapReduce详细工作流程图解

MapReduce详细工作流程图解如下（以Java手写wordCount代码的执行流程为例）:

34.3496

3

1

0

关注作者

收藏

gracejpw1117

如何解决HDFS的大量小文件问题（续）

（2）采用CombineTextInputFormat（3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一直占用使用到的task卡槽，直到任务完成才释放。JVM重用可以使得JVM实例在同一个job中重新使用N次，N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间： mapreduce.job.

34.3921

2

1

0

关注作者

收藏

gracejpw1117

很多小文件需要导入到一张hive表里面，但是一个个导入非常麻烦?

使用MSCK命令导入输入到hive表我们有时候会遇到很多小文件需要导入到一张hive表里面，但是一个个导入非常麻烦。假设创建一个外部表，这个表在hdfs的order文件夹里，但是这个文件夹现在是空的。所以用select * 是没有数据的。 CREATE EXTERNAL TABLE order( order STRING , time STRING )

34.3921

2

1

0

关注作者

收藏

gracejpw1117

如何解决HDFS的大量小文件问题

1）会有什么影响（1）1个文件块，占用namenode多大内存150字节1亿个小文件*150字节1 个文件块 * 150字节128G能存储多少文件块？ 128 * 1024*1024*1024byte/150字节 = 9亿文件块2）怎么解决（1）采用har归档方式，将小文件归档hadoop archive -archiveName 20200701.har /user/hadoop/login

34.3921

2

0

0

关注作者

收藏

张敏玉

如何制作员工考勤表

如何制作员工考勤表表头已给出操作步骤图表显示

34.4338

4

2

0

关注作者

收藏

gracejpw1117

HDFS读流程和写流程

HDFS读流程HDFS写流程

34.3921

2

2

0

关注作者

收藏

gracejpw1117

Hadoop集群的主要配置文件以及简单的集群搭建过程

（1）配置文件：Hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slavesHadoop3.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml workers（2）简单的集群搭建过程： JDK安装配置SSH免密登录配置ha

34.3921

2

5

0

关注作者

收藏

张敏玉

小白都可以看懂的甘特图的绘制过程

参考数据如下项目时长列函数 D12-C12+1距离项目结束还剩*天列函数 IF(TODAY()>D12,0,IF(D12=TODAY(),"仅剩今天",D12-TODAY()))绘制步骤插入堆积条形图选择左边阶段系列坐标轴选择数据编辑重新选中B12-B17 确定选择数据添加系列名称选择调整阶段顺序设置坐标轴格式逆序横坐标日期

34.6186

4

2

0

关注作者

收藏

我是大魔王哈哈

AnalysisException: Table or view not found: exit_ tran

出现这个AnalysisException: Table or view not found: exit_ tran错误的原因：是因为我们要想在spark中访问到hive中的表，应该要把spark和hive关联起来我们要到hive的conf目录下，执行命令：cp hive-site.xml ~/bigdata/spark-2.4.5/conf/之后重启spark即可解决

34.9268

3

4

0

关注作者

收藏

张敏玉

小白都可以看懂的水滴图的绘制过程

参考数据如下绘制步骤步骤提示：1、选中目标达成率和目标值数据插入簇状柱状图，切换行列；2、调整纵坐标轴最大值为1，最小值为0；3、选中任一系列，将间隙宽度调整为0，系列重叠调整为100%，去除不必要的图表元素（标题等）4、修改系列图层，在选择数据处将目标达成率系列调整成最上层5、复制空心圆，粘贴目标值系列；复制实心圆，粘贴目标达成率系列，且在填充处选择“层叠并缩放”6、新增空系列，并设置新系列图

56.2327

6

3

0

关注作者

收藏

张敏玉

小白都可以看懂的水滴图的绘制过程

参考数据如下绘制步骤步骤提示：1、选中目标达成率和目标值数据插入簇状柱状图，切换行列；2、调整纵坐标轴最大值为1，最小值为0；3、选中任一系列，将间隙宽度调整为0，系列重叠调整为100%，去除不必要的图表元素（标题等）4、修改系列图层，在选择数据处将目标达成率系列调整成最上层5、复制空心圆，粘贴目标值系列；复制实心圆，粘贴目标达成率系列，且在填充处选择“层叠并缩放”6、新增空系列，并设置新系列图

56.0747

5

1

0

关注作者

收藏

张敏玉

小白都可以看懂的对比图的绘制过程

参考数据如下绘制步骤步骤提示：1、选中数据插入堆积条形图；2、选择横坐标,设置最小值-7000,最大值7000(依据绝对值最大的)；3、选中B产品数据系列，单击鼠标右键设置数据系列格式勾选次坐标轴；4、选中次横坐标轴调整最大最小值和主横坐标轴保持一致，同时勾选“逆序刻度值"，标签下选择无；5、选中横坐标单击右键设置数据系列格式，在数字下，选择自定义格式，输入0;06、选中纵坐标轴单击右键设置数据

55.8869

5

2

0

关注作者

收藏

张敏玉

小白都可以看懂的子弹图的绘制过程

参考数据如下绘制步骤步骤提示：1、选中数据插入堆积柱状图，注类别为姓名；2、选中“销售目标”系列单机鼠标右键选择设置数据系列格式，勾选次坐标轴3、调整“销售目标”系列填充颜色为无色，添加边框颜色，调整间距4、删除次众坐标轴或将次纵坐标轴最大值调整成和主纵坐标轴一致注：细节销售目标所显示的间隙宽度修改为15%边框为实线，颜色自定义图表的标题图例注意修改纵坐标最大值最小值可以适当修改图表的

0.2427

5

4

0

关注作者

收藏

张敏玉

RFM模型和实际操作案例参考

根据用户历史行为数据，结合业务理解，实现用户分类，助力用户的精准营销。RFM模型背后的方法论根据业务场景找到场景下的关键核心指标统计出用户维度商品维度特性，在每个指标下划分不同的程度设计程度下的模型样式根据统计出来的数值划分到特定的类别下方法核心：数据分类RFM作用帮助企业判断哪些用户有异动，是否有流失的预兆，从而增加相应的运营措施维度选择 3个维度Recency 最近一次消费基于

56.0940

5

1

0

关注作者

收藏

gracejpw1117

Hadoop 3相对于hadoop 2的新特性

相对于之前主要生产发布版本Hadoop 2，Apache Hadoop 3整合许多重要的增强功能。 Hadoop 3是一个可用版本，提供了稳定性和高质量的API，可以用于实际的产品开发。下面简要介绍一下Hadoop3的主要变化。最低Java版本要求从Java7变为Java8所有Hadoop的jar都是基于Java 8运行是版本进行编译执行的，仍在使用Java 7或更低Java版本的用户需要升级到J

21.8618

3

4

0

关注作者

收藏

gracejpw1117

Shell中单引号和双引号区别

1）在/home/cda/bin创建一个test.sh文件[cda@hadoop102 bin]$ vim test.sh 在文件中添加如下内容#!/bin/bashdo_date=$1 echo '$do_date'echo "$do_date"echo "'$do_date'"echo '"$do_date"'echo `date`2）查看执行结果[cda@hadoop102 bin]$ te

21.0140

2

1

0

关注作者

收藏

张敏玉

面试小技巧之提升专业度名词-------互联网领域

一.互联网常用名词解释1、PV（Page View）页面浏览量指某段时间内访问网站或某一页面的用户的总数量，通常用来衡量一篇文章或一次活动带来的流量效果，也是评价网站日常流量数据的重要指标。PV可重复累计，以用户访问网站作为统计依据，用户每刷新一次即重新计算一次。2、UV（Unique Visitor）独立访客指来到网站或页面的用户总数，这个用户是独立的，同一用户不同时段访问网站只算作一个独立访客

40.1879

7

1

0

关注作者

收藏

gracejpw1117

Shell常用工具之cut

cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。1.基本用法cut [选项参数] filename说明：默认分隔符是制表符2.选项参数说明选项参数功能-f列号，提取第几列-d分隔符，按照指定分隔符分割列-c指定具体的字符3.案例实操（0）数据准备[cda@hadoop101 datas]$ touch cu

21.3270

3

2

0

关注作者

收藏

<1…111213…75>

CDA考试动态

CDA报考指南