关于Hadoop Map Reduce,以下描述中正确的是()。
A.reduce()函数的输入是value集
B.reduce()函数将最终结果写到HDFS系统中
C.用户可以自己定义reduce()函数
D.reduce()函数的输入数据是经过map()函数处理之后的数据
A.reduce()函数的输入是value集
B.reduce()函数将最终结果写到HDFS系统中
C.用户可以自己定义reduce()函数
D.reduce()函数的输入数据是经过map()函数处理之后的数据
A.Partitioner负责控制map输出结果key的分割
B.Reporter用于MapReduce应用程序报告进度
C.OutputCollector收集Mapper或Reducer输出数据
D.Reduce的数目不可以是0
A.Spark引进了弹性分布式数据集RDD(ResilientDistributedDataset)的抽象,容错性高
B.Spark提供的数据集操作类型不仅限于Map和Reduce,大致分为:Transformations和Actions两大类
C.Spark程序由Python语言进行编写,不支持Java语言进行的程序编写
D.Spark把中间数据放到内存中,迭代运算效率高
A.分为Map和Reduce两个阶段
B.Map阶段由一系列Map任务组成
C.Reduce阶段由一系列Reduce任务组成
D.Map阶段与Reduce阶段没有任何依赖关系
A.合并value值,形成较小集合
B.采用迭代器将中间值提供给reduce函数
C.map()函数处理后结果才会传输给reduce()
D.内存中不会存储大量的value值
A.对相互间具有计算机以来关系的大数据进行分而治之
B.用Map和Reduce两个函数提供了高层并行编程抽象模型
C.提供了同一框架
D.为程序员隐藏系统细节
A.抽象层次低,需要手工编写代码来完成,使用上难以上手
B.只提供两个操作,Map和Reduce,表达力欠缺
C.处理逻辑隐藏在代码细节中,没有整体逻辑
D.中间结果也放在HDFS文件系统中