排序是MapReduce框架中最重要的操作之一。
MapTask和ReduceTask均会对数据按照key 进行排序。该操作属于Hadoop 的默认行为,任何应用程序中的数据均会被排序,而不管逻辑上是否需要。
默认排序是按照字典顺序排序,且实现该排序的方法是快速排序。
发生排序时机
MapTask
1,当环形缓冲区使用率达到一定阈值后,对缓冲区的数据进行一次快速排序。
2,并将这些有序数据溢写到磁盘上,而当数据处理完毕后,他会对磁盘上所有文件进行归并排序
ReduceTask
3,当所有数据拷贝完毕后,ReduceTask统一对内存和磁盘上的所有数据进行一次归并排序。
排序分类:
1,部分排序:
MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部有序。
2,全排序:
最终输出结果只有一个文件,且文件内部有序。实现方式是指设置一个ReduceTask,但该方法在处理大型文件时效率极低,因为一台机器处理所有文件,完全丧失了MapReduce所提供的并行架构。
3,辅助排序(GroupingConparator分组):
在Reduce端对key进行分组。应用于:在接受的key为bean对象时,想让一个或几个字段相同(全部字段比较不相同)的key进入同一个reduce 方法时,可以采用分组排序。
4,二次排序:
在自定义的排序过程中,如果compartTo中的判断条件为两个即为二次排序。
(1)CompareTo方法
CompareTo方法被称为自然比较法,利用当前对象和传入对象进行比较
若是当前对象比目标对象大,则返回1,那么当前对象会排在目标对象后面
若当前对象比目标对象小,则返回-1,那么当前对象会排在目标对象后面
若两个对象都相等,则返回0。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)