热线电话：13121318867

登录
热搜话题:
ai长文生成
Scikit-learn
Python
大数据
数据分析师
统计学
微积分
线性代数
Excel
Power BI
R语言
SPSS
Mysql
快速发帖
我要提问
我是大魔王哈哈
2020-09-14 阅读量: 972
简述一下MapReduce的Shuffle机制

MapReduce中，mapper阶段处理的数据如何传递给reduce阶段，是MapReduce框架中最关键的一个流程，这个流程就叫shuffle

具体来说，就是将MapTask输出的处理数据结果，按照Partitioner组件制定的规则分发ReduceTask，并在分发的过程中，对数据按key进行分区和排序

99.2785
0
关注作者
收藏
评论(0)

发表评论

暂无数据
CDA考试动态
考试介绍
考试大纲
考试内容
考试地点
CDA报考指南
报考流程
考试时间
报名费用
联系我们
热门栏目
考试动态
报考指南
复习备考
职业发展
直播公开课
经验分享
推荐帖子
0条评论
高性能计算环境下的深度学习异构集群建设与优化实践
★深度学习；模式识别；图像处理；人工智能建模；人工智能；深度学习算法；强化学习；神经网络；卷积神经网络；人工神经网络；VIBE算法；控制系统仿真；机器学习；高性能计算；数据挖掘；超算；ACL；算力；计算机视觉；PSU；Transformer；PLM；SLM；NLM；LLM；Galactica；OPT；OPT-IML；BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A8
0条评论
英伟达 H100 vs. 苹果M2，大模型训练，哪款性价比更高？
M1芯片 | Uitra | AMD | A100M2芯片 | ARM | A800 | H100关键词：M2芯片；Ultra；M1芯片；UltraFusion；ULTRAMAN；RTX4090、A800;A100；H100；LLAMA、LM、AIGC、CHATGLM、LLVM、LLM、LLMs、GLM、NLP、ChatGPT、AGI、HPC、GPU、CPU、CPU+GPU、英伟达、Nvidia、
0条评论
Linux 安装 zeppelin，arm64（aarch64）芯片
1、准备1.1电脑信息电脑版本：MacBook Pro 14 2023处理器： M2 pro内存 ：16GBmacos：13.4Linux ：almalinux 9.1Shell ：termius1.2 前置程序安装Linux https://www.cda.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5安装hadoop https://www.c
0条评论
Linux安装hive
1.准备安装Linux https://www.cda.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5安装hadoop https://www.cda.cn/discuss/post/details/64b36e35f6b83a33b072c5fb下载hive 和 mysql 安装包Hive：apache-hive-3.1.2-bin.tar.gz
Copyright © 2015-2020, www.pinggu.com All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备18052299号-1