大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

gracejpw1117

如何解决HDFS的大量小文件问题（续）

（2）采用CombineTextInputFormat（3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一直占用使用到的task卡槽，直到任务完成才释放。JVM重用可以使得JVM实例在同一个job中重新使用N次，N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间： mapreduce.job.

34.3921

2

1

0

关注作者

收藏

gracejpw1117

很多小文件需要导入到一张hive表里面，但是一个个导入非常麻烦?

使用MSCK命令导入输入到hive表我们有时候会遇到很多小文件需要导入到一张hive表里面，但是一个个导入非常麻烦。假设创建一个外部表，这个表在hdfs的order文件夹里，但是这个文件夹现在是空的。所以用select * 是没有数据的。 CREATE EXTERNAL TABLE order( order STRING , time STRING )

34.3921

2

1

0

关注作者

收藏

gracejpw1117

如何解决HDFS的大量小文件问题

1）会有什么影响（1）1个文件块，占用namenode多大内存150字节1亿个小文件*150字节1 个文件块 * 150字节128G能存储多少文件块？ 128 * 1024*1024*1024byte/150字节 = 9亿文件块2）怎么解决（1）采用har归档方式，将小文件归档hadoop archive -archiveName 20200701.har /user/hadoop/login

34.3921

2

0

0

关注作者

收藏

张敏玉

如何制作员工考勤表

如何制作员工考勤表表头已给出操作步骤图表显示

34.4338

4

2

0

关注作者

收藏

gracejpw1117

HDFS读流程和写流程

HDFS读流程HDFS写流程

34.3921

2

2

0

关注作者

收藏

gracejpw1117

Hadoop集群的主要配置文件以及简单的集群搭建过程

（1）配置文件：Hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slavesHadoop3.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml workers（2）简单的集群搭建过程： JDK安装配置SSH免密登录配置ha

34.3921

2

5

0

关注作者

收藏

张敏玉

小白都可以看懂的甘特图的绘制过程

参考数据如下项目时长列函数 D12-C12+1距离项目结束还剩*天列函数 IF(TODAY()>D12,0,IF(D12=TODAY(),"仅剩今天",D12-TODAY()))绘制步骤插入堆积条形图选择左边阶段系列坐标轴选择数据编辑重新选中B12-B17 确定选择数据添加系列名称选择调整阶段顺序设置坐标轴格式逆序横坐标日期

34.6186

4

2

0

关注作者

收藏

我是大魔王哈哈

AnalysisException: Table or view not found: exit_ tran

出现这个AnalysisException: Table or view not found: exit_ tran错误的原因：是因为我们要想在spark中访问到hive中的表，应该要把spark和hive关联起来我们要到hive的conf目录下，执行命令：cp hive-site.xml ~/bigdata/spark-2.4.5/conf/之后重启spark即可解决

34.9268

3

4

0

关注作者

收藏

张敏玉

小白都可以看懂的水滴图的绘制过程

参考数据如下绘制步骤步骤提示：1、选中目标达成率和目标值数据插入簇状柱状图，切换行列；2、调整纵坐标轴最大值为1，最小值为0；3、选中任一系列，将间隙宽度调整为0，系列重叠调整为100%，去除不必要的图表元素（标题等）4、修改系列图层，在选择数据处将目标达成率系列调整成最上层5、复制空心圆，粘贴目标值系列；复制实心圆，粘贴目标达成率系列，且在填充处选择“层叠并缩放”6、新增空系列，并设置新系列图

56.2327

6

3

0

关注作者

收藏

张敏玉

小白都可以看懂的水滴图的绘制过程

参考数据如下绘制步骤步骤提示：1、选中目标达成率和目标值数据插入簇状柱状图，切换行列；2、调整纵坐标轴最大值为1，最小值为0；3、选中任一系列，将间隙宽度调整为0，系列重叠调整为100%，去除不必要的图表元素（标题等）4、修改系列图层，在选择数据处将目标达成率系列调整成最上层5、复制空心圆，粘贴目标值系列；复制实心圆，粘贴目标达成率系列，且在填充处选择“层叠并缩放”6、新增空系列，并设置新系列图

56.0747

5

1

0

关注作者

收藏

张敏玉

小白都可以看懂的对比图的绘制过程

参考数据如下绘制步骤步骤提示：1、选中数据插入堆积条形图；2、选择横坐标,设置最小值-7000,最大值7000(依据绝对值最大的)；3、选中B产品数据系列，单击鼠标右键设置数据系列格式勾选次坐标轴；4、选中次横坐标轴调整最大最小值和主横坐标轴保持一致，同时勾选“逆序刻度值"，标签下选择无；5、选中横坐标单击右键设置数据系列格式，在数字下，选择自定义格式，输入0;06、选中纵坐标轴单击右键设置数据

55.8869

5

2

0

关注作者

收藏

张敏玉

小白都可以看懂的子弹图的绘制过程

参考数据如下绘制步骤步骤提示：1、选中数据插入堆积柱状图，注类别为姓名；2、选中“销售目标”系列单机鼠标右键选择设置数据系列格式，勾选次坐标轴3、调整“销售目标”系列填充颜色为无色，添加边框颜色，调整间距4、删除次众坐标轴或将次纵坐标轴最大值调整成和主纵坐标轴一致注：细节销售目标所显示的间隙宽度修改为15%边框为实线，颜色自定义图表的标题图例注意修改纵坐标最大值最小值可以适当修改图表的

0.2427

5

4

0

关注作者

收藏

张敏玉

RFM模型和实际操作案例参考

根据用户历史行为数据，结合业务理解，实现用户分类，助力用户的精准营销。RFM模型背后的方法论根据业务场景找到场景下的关键核心指标统计出用户维度商品维度特性，在每个指标下划分不同的程度设计程度下的模型样式根据统计出来的数值划分到特定的类别下方法核心：数据分类RFM作用帮助企业判断哪些用户有异动，是否有流失的预兆，从而增加相应的运营措施维度选择 3个维度Recency 最近一次消费基于

56.0940

5

1

0

关注作者

收藏

gracejpw1117

Hadoop 3相对于hadoop 2的新特性

相对于之前主要生产发布版本Hadoop 2，Apache Hadoop 3整合许多重要的增强功能。 Hadoop 3是一个可用版本，提供了稳定性和高质量的API，可以用于实际的产品开发。下面简要介绍一下Hadoop3的主要变化。最低Java版本要求从Java7变为Java8所有Hadoop的jar都是基于Java 8运行是版本进行编译执行的，仍在使用Java 7或更低Java版本的用户需要升级到J

21.8618

3

4

0

关注作者

收藏

gracejpw1117

Shell中单引号和双引号区别

1）在/home/cda/bin创建一个test.sh文件[cda@hadoop102 bin]$ vim test.sh 在文件中添加如下内容#!/bin/bashdo_date=$1 echo '$do_date'echo "$do_date"echo "'$do_date'"echo '"$do_date"'echo `date`2）查看执行结果[cda@hadoop102 bin]$ te

21.0140

2

1

0

关注作者

收藏

张敏玉

面试小技巧之提升专业度名词-------互联网领域

一.互联网常用名词解释1、PV（Page View）页面浏览量指某段时间内访问网站或某一页面的用户的总数量，通常用来衡量一篇文章或一次活动带来的流量效果，也是评价网站日常流量数据的重要指标。PV可重复累计，以用户访问网站作为统计依据，用户每刷新一次即重新计算一次。2、UV（Unique Visitor）独立访客指来到网站或页面的用户总数，这个用户是独立的，同一用户不同时段访问网站只算作一个独立访客

40.1879

7

1

0

关注作者

收藏

gracejpw1117

Shell常用工具之cut

cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。1.基本用法cut [选项参数] filename说明：默认分隔符是制表符2.选项参数说明选项参数功能-f列号，提取第几列-d分隔符，按照指定分隔符分割列-c指定具体的字符3.案例实操（0）数据准备[cda@hadoop101 datas]$ touch cu

21.3270

3

2

0

关注作者

收藏

gracejpw1117

Shell常用工具之sed

sed是一种流编辑器(Stream EDitor seq)，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。1. 基本用法sed [选项参数] ‘command’ filename2.

21.3457

5

3

0

关注作者

收藏

gracejpw1117

Shell常用工具之sort

sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。基本语法sort(选项)(参数)选项说明-n依照数值的大小排序-r以相反的顺序来排序-t设置排序时所用的分隔字符-k指定需要排序的列参数：指定待排序的文件列表2. 案例实操（1）数据准备[cda@hadoop102 datas]$ touch sort.sh[cda@hadoop102 datas]$ vim sort.

21.3457

5

5

0

关注作者

收藏

gracejpw1117

Shell常用工具之awk

awk文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。1. 基本用法awk [选项参数] ‘pattern1{action1} pattern2{action2}...’ filenamepattern：表示AWK在数据中查找的内容，就是匹配模式action：在找到匹配内容时所执行的一系列命令2. 选项参数说明选项参数功能-F指定输入文件的

21.3457

5

5

0

关注作者

收藏

<1…111213…75>

CDA考试动态

CDA报考指南