Hadoop的map获取当前spilt文件名

迷南。 2022-08-09 15:50 138阅读 0赞

map函数：

protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context)
    				throws IOException, InterruptedException {
    			FileSplit fileSplit = (FileSplit) context.getInputSplit();
    			//获得当前子目录名
    			String pathName=fileSplit.getPath().getName();
    			//获得全路径
    			String path=fileSplit.getPath().toString();
    			//获得父目录的全路径
    			String parentPath=fileSplit.getPath().getParent().toString();
    			//获取父目录的目录名
    			String parentPathName=fileSplit.getPath().getParent().getName();
    			//整和Mapkey
    			String mapkey=pathName+"|"+path+"|"+parentPath+"|"+parentPathName;
    			context.write(new Text(mapkey),NullWritable.get());
    		}

**问题场景：当有很多个小文件，需要把每个小文件的目录名加进小文件内容中并转换输出，用一个map类的话可以处理每一行数据的时候读取这行数据的目录名加到第一个字段输出。。**

这样输出的结果例子：

-r-00036.gz|hdfs://hadoop:9000/user/personbehavior/2015-10-07/final/final300w/-r-00036.gz|hdfs://hadoop:9000/user/personbehavior/2015-10-07/final/final300w|final300w
    -r-00036.gz|hdfs://hadoop:9000/user/personbehavior/2015-10-07/final/final300w/-r-00036.gz|hdfs://hadoop:9000/user/personbehavior/2015-10-07/final/final300w|final300w

**然而，实际中并没有这么做，而是重写了LineRecordReader。。**

发表评论取消回复

表情：

评论列表（有 0 条评论，138人围观）

还没有评论，来说两句吧...

相关阅读

相关函数CELL/FIND/MID - 获取当前文件名(包括路径和当前sheet的全名、仅仅文件名等)

文章目录一、函数介绍 1.1 函数CELL 1.2 函数FIND 1.3 函数MID 二、获取当前文件名实操一

我会带着你远行/ 2022年12月31日 14:21/ 0 赞/ 216 阅读

相关 Excel 公式学习笔记：获取当前文件名

[CELL函数][CELL]：获得指定单元格地址、值、文件路径等信息。 CELL(`要获取的信息类型`, `获取谁？默认最后一个编辑过的单元格`) [F

迈不过友情╰/ 2022年12月02日 13:47/ 0 赞/ 392 阅读

相关 ffmpeg输出文件名为当前日期

参考[文章][Link 1] https://blog.csdn.net/qq_29550537/article/details/89287600 ffmpeg输出

阳光穿透心脏的1/2处/ 2022年09月04日 11:55/ 0 赞/ 31 阅读

相关 Hadoop的map获取当前spilt文件名

map函数： protected void map(LongWritable key, Text value, Mapper<LongWritable, T

迷南。/ 2022年08月09日 15:50/ 0 赞/ 139 阅读

相关 c语言获取当前可执行文件的执行路径个文件名

<span style="font-size:18px;"> include<stdio.h> include<stdlib.h> include<st

超、凢脫俗/ 2022年08月09日 11:46/ 0 赞/ 16 阅读

相关 ftp 获取文件名出错

1.ftp 获取文件名出错 ![这里写图片描述][SouthEast] 如图文件名，正确的应该是ISSUE\_20161226.csv 但是前边出来了一堆其他的东西

╰+哭是因爲堅強的太久メ/ 2022年07月13日 05:06/ 0 赞/ 161 阅读

相关 hadoop_mapreduce_Map中获取文件名

Mapreduce的map输入的是文件的每一行值，即V1为文件的行。 hadoop jar xxx.jar /input /output 当input为一个文件名时，v1为

朴灿烈づ我的快乐病毒、/ 2022年05月25日 06:27/ 0 赞/ 190 阅读

相关 php 获取当前目录下的所有文件名

php获取当前目录下的所有文件名 /\ 获取子文件文件名【不递归获取所以文件名】 \/ public function getSubdi

小咪咪/ 2022年01月22日 11:21/ 0 赞/ 601 阅读

相关 ASP.net获取当前url各种属性(文件名、参数、域名等)的方法

假设当前页完整地址是：http://www.test.com/aaa/bbb.aspx?id=5&name=kelli "http://"是协议名 "www.test.co

电玩女神/ 2021年12月21日 13:57/ 0 赞/ 211 阅读

相关 PHP获取路径或目录或当前文件名

<?php //获取当前文件的绝对路径 echo "\_\_FILE\_\_: ===> ".\_\_FILE\_\_; echo '<br/>'; //获取当前文件的名

素颜马尾好姑娘i/ 2021年11月04日 13:58/ 0 赞/ 499 阅读