MR 全局排序——多reducer

痛定思痛。 2023-06-12 11:16 48阅读 0赞

在数据量大的情况下，使用单reducer进行全局排序的方式明显效率较低，可次采用多reducer的方式。

# map\_sort.py #

在map中进行分桶，分桶方式自定。

#! /usr/bin/python
    
    import sys
    
    base_count = 10000
    try:
            for line in sys.stdin:
                    ss = line.strip().split('\t')
                    key = ss[0]
                    val = ss[1]
    
                    new_key = base_count + int(key)
    
                    partition_id = 1
                    if new_key <= (10000+10100) / 2:
                            partition_id = 0
    
                    print "%s\t%s\t%s" %(partition_id, new_key, val)
    except Exception:
        print "map error"

# red\_sort.py #

#! /usr/bin/python
    
    import sys
    
    try:
            for line in sys.stdin:
                    partition_id, key, val = line.strip().split('\t')
                    print '\t'.join([key,val])
    except Exception:
        print "reduce error"

# run.sh #

set -e -x
    
    HADOOP_CMD="/usr/local/src/hadoop-2.6.5/bin/hadoop"
    STREAM_JAR_PATH="/usr/local/src/hadoop-2.6.5/share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar"
    
    INPUT_FILE_PATH_A="/Test/mr_allsort_reduceByMany/a.txt"
    INPUT_FILE_PATH_B="/Test/mr_allsort_reduceByMany/b.txt"
    
    OUTPUT_PATH="/Test/mr_allsort_reduceByMany/result"
    
    $HADOOP_CMD fs -rm -r -skipTrash $OUTPUT_PATH
    
    $HADOOP_CMD jar $STREAM_JAR_PATH \
            -input $INPUT_FILE_PATH_A,$INPUT_FILE_PATH_B \
            -output $OUTPUT_PATH \
            -mapper "python map_sort.py" \
            -reducer "python red_sort.py" \
            -file ./map_sort.py \
            -file ./red_sort.py \
            # 定义两个reduce任务
            -jobconf mapred.reduce.tasks=2 \
            # map分隔符位于第二个字段后，前两个字段作为key，后面的作为value
            -jobconf stream.num.map.output.key.fields=2 \
            # 按分隔符分割后，第一个字段作为分区字段
            -jobconf num.key.fields.for.partition=1 \
            -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner

num.key.fields.for.partition 设置key内前几个字段用来做partition  
org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner 如果要设置key中用于partition的字段，而不是把整个key都用来做partition，就用此配置项

结果：由于定义了两个reduce任务，所以生成两个结果文件。

![20191112171513134.png][]

[20191112171513134.png]: https://img-blog.csdnimg.cn/20191112171513134.png