combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代。
combiner的目的是减少map网络流量。
combiner的对象是对于map
combiner具有和reduce相似的功能。
只不过combiner合并对象,是对于一个map。
reduce合并对象,是对于多个map。
hadoop中的Combiner 过程
特别声明:除特殊标注,本站文章均为原创,遵循CC BY-NC 3.0,转载请注明出处。三伏磨 » hadoop中的Combiner 过程
combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代。
combiner的目的是减少map网络流量。
combiner的对象是对于map
combiner具有和reduce相似的功能。
只不过combiner合并对象,是对于一个map。
reduce合并对象,是对于多个map。