关于MPI和MapReduce描述正确的是()。
A.MPI适用于数据相关性强,迭代次数多的计算
B.MapReduce适用于大规模数据处理,节点失效对系统无影响
C.MPI设计前提是计算相关性强,硬件容易坏
D.MapReduce设计前提是数据全局性弱,硬件是容易坏的
A.MPI适用于数据相关性强,迭代次数多的计算
B.MapReduce适用于大规模数据处理,节点失效对系统无影响
C.MPI设计前提是计算相关性强,硬件容易坏
D.MapReduce设计前提是数据全局性弱,硬件是容易坏的
A.前者是共享式(共享内存/共享存储),容错性差,后者是非共享式的,容错性好
B.前者所需硬件价格贵,可扩展性差,后者硬件便宜,扩展性好
C.前者相比后者学习起来更难
D.前者适用于实时、细粒度计算、计算密集型,后者适用于批处理、非实时、数据密集型
A.MapReduce是一种计算方式,是用以进行大数据量计算的方法
B.Map对数据集上的独立元素进行指定操作
C.生成的中间结果不是键-值对形式输出
D.Reduce则对中间结果中相同“键”的所有“值”进行规约,以得到最终结果
A.HIVE构建于HDFS和MapReduce之上
B.HIVE使用类SQL的HQL语言作为查询接口
C.HIVE的并行执行主要依赖MapReduce来实现
D.HIVE不能运行在Spark上
A.分为Map和Reduce两个阶段
B.Map阶段由一系列Map任务组成
C.Reduce阶段由一系列Reduce任务组成
D.Map阶段与Reduce阶段没有任何依赖关系
A.mapper调优主要目标之一是减少输出量
B.可以通过对输出进行压缩设置进行mapper调优
C.比较适合map的输出是数值型的,方便进行统计
D.尽量减少combiner,以降低对I/O的读写压力
A.map.task.timeout
B.mapreduce.task.timeout
C.reduce.task.timeout
D.yarn.task.timeout
MapReducemain接口设置和运行命令分别如下,请问MapReduce的输入文件为()
Publicvoidmain(string[]args)
{
String[]otherArgs=newGeneriOptionsParser(conf,args).getRemainingArgs();
FileInputFormat.addInputPath(job,newPath(otherArgs[0]));
FileOutputFormat.setOutputPath(job,newPath(otherArgs[1]));
}
命令:hadoopjarWordCount.jar/user/hadoopfs/test.txt/user/hadoopfs/out
A、WordCount.jar
B、/user/hadoop
C、/user/hadoopfs/test.txt
D、/user/hadoopfs/out