R语言读写HDFS文件内容

男娘i 2022-05-21 23:43 268阅读 0赞

参考的github的代码[rHadoopClient源码][rHadoopClient]

在R语言里面定义一个function函数，函数比较简单，就是利用hdfs的cat命令进行读取临时文件，然后再加载临时文件，最后删除临时文件，启动`read.svs()`方法根据需求自行修改。

qtread.hdfs <-
    function(hdfs.path, hadoop.cmd = "hadoop") { 
      tmp.file <- sprintf("tmp_hadoop_%s.csv", as.numeric(Sys.time()))
      cmd <- sprintf("%s fs -cat %s | perl -pe 's/\t/,/g' > %s", hadoop.cmd, hdfs.path, tmp.file)
      cat("执行hadoop命令：",cmd,"\n")
      system(command = cmd)
      df <- read.csv(tmp.file, header = T, stringsAsFactors = F)
      file.remove(tmp.file)
      df
    }

然后使用定义好的函数进行读取就行，命令

data = qtread.hdfs("/20180531_H.csv")

R语言写文件方法，调用write.csv

qtwrite.hdfs <-
    function(data, hdfs.path, hadoop.cmd = "hadoop") { 
      tmp.file <- sprintf("tmp_hadoop_%s.csv", as.numeric(Sys.time()))
      #write.table(data,file=tmp.file,row.names=F,quote=F,col.names=F,sep=sep)
      write.csv(data,file=tmp.file)
      cmd <- sprintf("cat %s | %s fs -put - %s", tmp.file, hadoop.cmd, hdfs.path)
      result <- system(command = cmd)
      file.remove(tmp.file)
      result
    }

[rHadoopClient]: https://github.com/cran/rHadoopClient/blob/master/R/read.hdfs.R

发表评论取消回复

表情：

评论列表（有 0 条评论，268人围观）

还没有评论，来说两句吧...

相关阅读

相关文件内容的读写

⭐ 作者：小胡_不糊涂。

小咪咪/ 2024年04月23日 21:19/ 0 赞/ 112 阅读

相关 HDFS文件系统读写原理

在HDFS中，关键的三大角色为：NameNode（命名节点）、DataNode（数据节点）、Client（客户端） Client(客户端)对HDFS中的数据进行读写操作，分别

迈不过友情╰/ 2024年03月27日 14:52/ 0 赞/ 81 阅读

相关 HDFS文件读写原理

Client（客户端）对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read（读）数据；Client从HDFS中存储数据，即为Write（写）数据

逃离我推掉我的手/ 2023年10月07日 16:29/ 0 赞/ 38 阅读

相关 HDFS读写文件流程

目录基础概念 block packet chunk HDFS读写文件流程读文件流程写文

分手后的思念是犯贱/ 2023年01月07日 03:54/ 0 赞/ 177 阅读

相关 HDFS文件读写操作

HDFS读文件 1. 客户端首先调用FileSystem对象的open方法打开文件，其实获取的是一个DistributedFileSystem的实例。 2. Distri

布满荆棘的人生/ 2022年05月28日 01:58/ 0 赞/ 309 阅读

相关 R语言读写HDFS文件内容

参考的github的代码[rHadoopClient源码][rHadoopClient] 在R语言里面定义一个function函数，函数比较简单，就是利用hdfs的cat命令

男娘i/ 2022年05月21日 23:43/ 0 赞/ 269 阅读

相关 Hadoop-HDFS 文件读写流程

1.HDFS写流程：客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block

妖狐艹你老母/ 2022年05月15日 04:15/ 0 赞/ 300 阅读

相关 R语言开发之二进制文件读写操作

二进制文件是一个文件，其中包含仅以位和字节形式存储的信息(`0`和`1`)，它们是不可读的，因为其中的字节转换为包含许多其他不可打印字符的字符和符号，随便我们尝试使用任何文本编

古城微笑少年丶/ 2022年05月11日 01:54/ 0 赞/ 247 阅读

相关 HDFS读写文件的具体流程

HDFS读写文件的具体流程 1.图解写文件 2.流程详解 3.图解读文件 4.流程详解 1.图解写文件 ![在这里插入图片描述][wate

ゝ一世哀愁。/ 2022年04月04日 08:22/ 0 赞/ 273 阅读

相关 Java API 读写 hdfs分布式文件系统（创建目录、读文件、写文件）

Java API 读写 hdfs 操作一、概述操作hdfs分布式文件系统的类为FileSystem对象 1、创建文件夹（递归创建）：fs. mkdi

电玩女神/ 2022年03月09日 19:50/ 0 赞/ 775 阅读