本地模式（小任务）的时候hive的优化点有哪些？

2019-06-27 阅读量: 631

大数据数据分析师 Hive

扫码加入数据分析学习群

答：本地模式（小任务）可以从以下几个参数入手

job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)

job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)

job的reduce数必须为0或者1

hive.exec.mode.local.auto.inputbytes.max=134217728

hive.exec.mode.local.auto.tasks.max=4

hive.exec.mode.local.auto=true

hive.mapred.local.mem：本地模式启动的JVM内存大小

添加CDA认证专家【维克多阿涛】，微信号：【cdashijiazhuang】，提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流，共同成长！

0.0000 0 2 踩关注作者收藏

暂无数据

评论(0)