2019-06-27
阅读量:
924
如何设置hive计算过程的reduce数目？
如何设置hive计算过程的reduce数目？
答：reduce数目设置方式如下：
参数1：hive.exec.reducers.bytes.per.reducer=1G：每个reduce任务处理的数据量
参数2：hive.exec.reducers.max=999(0.95*TaskTracker数)：每个任务最大的reduce数目
reducer数=min(参数2,总输入数据量/参数1)
set mapred.reduce.tasks：每个任务默认的reduce数目。典型为0.99*reduce槽数，hive将其设置为-1，自动确定reduce数目。
33.9199
1
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-05-14
0条评论
CDA持证人阿涛哥
2025-02-11
0条评论
CDA持证人阿涛哥
2024-10-29
0条评论