热线电话：13121318867

登录
热搜话题:
ai长文生成
Scikit-learn
Python
大数据
数据分析师
统计学
微积分
线性代数
Excel
Power BI
R语言
SPSS
Mysql
快速发帖
我要提问
大魔王泛泛
2020-02-28 阅读量: 585
简述hadoop和spark的shuffle

hadoop：map端保存分片数据，通过网络收集到reduce端

spark：spark的shuffle是在DAGSchedular划分Stage的时候产生的，TaskSchedule要分发Stage到各个worker的executor，减少shuffle可以提高性能

0.0000
2
关注作者
收藏
评论(0)

发表评论

暂无数据
CDA考试动态
考试介绍
考试大纲
考试内容
考试地点
CDA报考指南
报考流程
考试时间
报名费用
联系我们
热门栏目
考试动态
报考指南
复习备考
职业发展
直播公开课
经验分享
推荐帖子
0条评论
关于免费解压软件推荐WinRAR
有CDA会员朋友说自己解压压缩包时发现要收费,那说明你的解压软件是收费,可能过了免费试用期啦我这边用的免费解压软件是WinRAR, 可以百度搜"WinRAR下载官网", 进入后下载免费版安装试用网址: https://www.winrar.com.cn/index.htm有小伙伴问 为啥浏览器显示这个网站不安全? 嘻嘻 你自行判断吧 反正我觉得是安全的
1条评论
时间序列回归模型！
时间序列回归模型是用于分析时间序列数据的一种模型，主要用于探索数据之间的动态关系和时序特征。以下是时间序列回归模型的主要步骤和要点：1. **数据收集和准备**：首先需要收集时间序列数据，并进行数据清洗和准备工作，包括处理缺失值、异常值和平稳性检验等。2. **建立模型**：确定时间序列回归模型的形式，根据数据特点选择适当的模型，如自回归模型（AR）、滑动平均模型（MA）、自回归滑动平均模型（AR
0条评论
一文详解多模态大模型发展及高频因子计算加速GPU算力 | 英伟达显卡被限，华为如何力挽狂澜？
★深度学习、机器学习、多模态大模型、深度神经网络、高频因子计算、GPT-4、预训练语言模型、Transformer、ChatGPT、GenAI、L40S、A100、H100、A800、H800、华为、GPU、CPU、英伟达、NVIDIA、卷积神经网络、Stable Diffusion、Midjourney、Faster R-CNN、CNN随着人工智能技术的快速发展，多模态大模型在各个领域中的应用越
0条评论
高性能计算与多模态处理的探索之旅：英伟达GH200性能优化与GPT-4V的算力加速未来
★多模态大模型；GPU算力；LLMS；LLM；LMM；GPT-4V；GH200；图像识别；目标定位；图像描述；视觉问答；视觉对话；英伟达；Nvidia；H100;L40s；A100;H100；A800；H800，AI算力，AI算法随着人工智能技术的不断发展，多模态大模型成为越来越重要的发展趋势。多模态大模型通过融合视觉等多种感知能力来扩展语言模型，实现更强大的通用人工智能。GPT-4V（GPT-4
Copyright © 2015-2020, www.pinggu.com All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备18052299号-1