如何决定一个job的map和reduce的数量?试题答案_出自联大系统焦作师范高等专科学校Hadoop应用基础

本题添加时间：2023/9/25 13:43:00
圆梦客服：王老师 19139051760(微信同号) 19139051760(微信同号)
如何决定一个job的map和reduce的数量?
答案是:1）map数量 splitSize=max{minSize,min{maxSize,blockSize}} map数量由处理的数据分成的block数量决定default_num = total_size / split_size; 2）reduce数量 reduce的数量job.setNumReduceTasks(x);x 为reduce的数量。不设置的话默认为 1。出自焦作师范高等专科学校Hadoop应用基础联大系统焦作师范高等专科学校
更多试题>>>> 1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化? 2、HDFS Federation方案的优势？ 3、HAnamenode 是如何工作的? 4、NameNode与SecondaryNameNode 的区别与联系？ 5、简要描述如何安装配置apache的一个开源Hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好？

教育服务