我是大魔王哈哈

2020-09-14   阅读量: 719

大数据

简述一下MapReduce的Shuffle机制

扫码加入数据分析学习群

MapReduce中,mapper阶段处理的数据如何传递给reduce阶段,是MapReduce框架中最关键的一个流程,这个流程就叫shuffle

具体来说,就是将MapTask输出的处理数据结果,按照Partitioner组件制定的规则分发ReduceTask,并在分发的过程中,对数据按key进行分区和排序

添加CDA认证专家【维克多阿涛】,微信号:【cdashijiazhuang】,提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流,共同成长!
99.2785 1 0 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子