热线电话：13121318867

登录
热搜话题:
ai长文生成
Scikit-learn
Python
大数据
数据分析师
统计学
微积分
线性代数
Excel
Power BI
R语言
SPSS
Mysql
快速发帖
我要提问
最新
热门
关注
推荐
问答
gracejpw1117
Flume之Taildir Source的特点
Flume Taildir Source的特点如下：（1）断点续传、多目录（2）哪个flume版本产生的？Apache1.7、CDH1.6（3）没有断点续传功能时怎么做的？ 自定义（4）taildir挂了怎么办？ 不会丢数：断点续传 重复数据：（5）怎么处理重复数据？ 不处理：生产环境通常不处理，因为会影响传输效率； 处理： 自身：在taildirs
19.5582
2
0
关注作者
收藏
gracejpw1117
flume中有几种可监控文件或目录的source
flume中有三种可监控文件或目录的source，分别是Exec Source、Spooling Directory Source和Taildir Source。Taildir Source是1.7版本的新特性，综合了Spooling Directory Source和Exec Source的优点。使用场景如下：Exec SourceExec Source可通过tail -f命令去tail住一个文
19.5520
3
0
关注作者
收藏
gracejpw1117
Flume常用source类型
flume流动模型Flume常用source类型1、Avro 类型的Source：监听Avro 端口来接收外部avro客户端的事件流。avro-source接收到的是经过avro序列化后的数据，然后 反序列化数据继续传输。所以，源数据必须是经过avro序列化后的数据。利用 Avro source可以实现多级流动、扇出流、扇入流等效果。接收通过flume提供的avro客户端发送的日志信息。是flum
19.5520
2
0
关注作者
收藏
gracejpw1117
Hive 时间戳和日期相互转换 from_unixtime和unix_timestamp
Hive 时间戳和日期相互转换：from_unixtime和unix_timestamp时间戳转日期select distinct from_unixtime(1441565203,‘yyyy/MM/dd HH:mm:ss’) from test_date;日期转时间戳select distinct unix_timestamp(‘20111207 13:01:03’) from test_dat
0.0570
4
0
关注作者
收藏
永洪科技
数据分析如何用好高可用？Naming双活必须掌握！
在之前的文章中，我们有做过永洪对数据的加工和处理的方法和介绍，这次我们来学习一下永洪产品高可用的配置设计方案。在使用永洪产品过程中，可能会遇到服务器断电、网络质量差、服务器宕机等突发问题，结果使集群中的节点失效，从而影响到永洪BI的正常使用，导致无法正常的查看、分析数据，为了解决如此问题，永洪也完善并支持服务的高可用场景。永洪如何实现产品的高可用呢，答案是Naming双活，也就是部署两个N节点，通
19.6859
0
0
关注作者
收藏
gracejpw1117
什么是CAP法则？Zookeeper符合了这个法则的哪两个？
CAP原则又称CAP定理,指的是在一个分布式系统中,Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可得兼。Zookeeper符合强一致性、高可用性。
19.6355
1
0
关注作者
收藏
gracejpw1117
ZooKeeper常用命令
查看目录ls[zk: localhost:2181(CONNECTED) 3] ls /[jodis, zk, zookeeper, codis, codis3, worker_id_forever]创建目录create[zk: localhost:2181(CONNECTED) 4] create /zk_test hanchao_testCreated /zk_test获取数据get[zk:
19.6162
1
0
关注作者
收藏
gracejpw1117
Zookeeper选举机制及部署台数
半数机制：2n+1，部署奇数台。10台服务器：3台20台服务器：5台100台服务器：11台ZK部署台数多的好处：提高可靠性；坏处：影响通信延时
36.8472
1
0
关注作者
收藏
gracejpw1117
30台机器，跑mr任务的时候发现5个map任务全都分配到了同一台机器上
集群有30台机器，跑mr任务的时候发现5个map任务全都分配到了同一台机器上，这个可能是由于什么原因导致的吗？解决方案：yarn.scheduler.fair.assignmultiple 这个参数 默认是开的，需要关掉。将YARN配置中的yarn.scheduler.fair.assignmultiple参数设为false，或者手动设定yarn.scheduler.fair.max.assign
19.6162
3
0
关注作者
收藏
张敏玉
MySQL 客户端操作和在cmd 中 操作有什么区别呢？
有什么区别呢？ 哪个更方便一些
19.6354
2
0
关注作者
收藏
gracejpw1117
MapReduce解决数据倾斜的方法
1）提前在map进行combine，减少传输的数据量在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及Reducer端的计算量。如果导致数据倾斜的key大量分布在不同的mapper的时候，这种方法就不是很有效了。2）导致数据倾斜的key 大量分布在不同的mapper（1）局部聚合加全局聚合。第一次在
29.7303
2
0
关注作者
收藏
gracejpw1117
Hadoop宕机的处理方法
1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）2）如果写入文件过快造成NameNode宕机。那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度。例如，可以调整Flume每批次拉取数据量的大小参数batchs
55.7677
1
0
关注作者
收藏
gracejpw1117
Hadoop集群的基准测试
搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的share文件夹下。应用举例：cd /root/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreducehadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3 # 运行pi(3.14159
29.4740
1
0
关注作者
收藏
gracejpw1117
Yarn调度器
1）Hadoop调度器重要分为三类：FIFO 、CS(Capacity Scheduler)（容量调度器）和FS(Fair Sceduler)（公平调度器）。Apache默认的资源调度器是容量调度器CS；CDH默认的资源调度器是公平调度器FS。2）区别：FIFO调度器：支持单队列 、先进先出,生产环境不会用。CS容量调度器：支持多队列，保证先进入的任务优先执行。FS公平调度器：支持多队列，保证每个
29.5565
2
0
关注作者
收藏
gracejpw1117
图解Yarn工作流程
图解Yarn工作流程如下：MR(MapReduce)程序提交到客户端所在的节点>>YarnRunner向RM(ResourceManager)申请一个Application>>RM返回Application资源提交路径hdfs://…./.staging以及application_id给YarnRunner>>YarnRunner提交job运行所需资源给HDFS>>YarnRunner资源提交完毕
29.4284
2
0
关注作者
收藏
HENRYGAN
人大的CDA数据分析师培训以及考试怎么样？
人大经济论坛里的CDA培训以及考试怎么样？课程的使用程度以及认证的含金量怎么样？
34.3964
0
0
关注作者
收藏
我是大魔王哈哈
怎样关闭Hive版本自动检测功能
我们可以在hive的conf目录下修改hvie-site.xml文件，从而关闭版本验证在hvie-site.xml文件中添加如下内容： hive.metastore.schema.verification false即可关闭版本验证功能
34.4641
4
0
关注作者
收藏
gracejpw1117
为什么需要数仓分层，如何优雅地设计数仓分层？
1、为什么要分层：· 数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。· 数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直接计算而得。· 各种重复计算，严重浪费了计算资源，需要优化性能。2、怎么分层:从理论上抽象，可以把数据仓库分为下面三个层，即：数据运营层、数据仓库层和数据产品层。· ODS (Operati
34.5114
3
0
关注作者
收藏
gracejpw1117
MapReduce阶段的Shuffle优化
MapReduce的工作流程参加上个帖子《MapReduce详细工作流程图解》，针对MapReduce工作流程的各个阶段，对应的Shuffle优化方法如下：1）Map阶段：（1）增大环形缓冲区大小。由100m扩大到200m（2）增大环形缓冲区溢写的比例。由80%扩大到90%（3）减少对溢写文件的merge次数。（10个文件，一次20个merge）（4）不影响实际业务的前提下，采用Combiner提
34.3496
1
0
关注作者
收藏
gracejpw1117
MapReduce详细工作流程图解
MapReduce详细工作流程图解如下（以Java手写wordCount代码的执行流程为例）:
34.3496
1
0
关注作者
收藏
<1…101112…75>
CDA考试动态
考试介绍
考试大纲
考试内容
考试地点
CDA报考指南
报考流程
考试时间
报名费用
联系我们
热门栏目
考试动态
报考指南
复习备考
职业发展
直播公开课
经验分享
Copyright © 2015-2020, www.pinggu.com All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备18052299号-1