统计 HDFS 的小文件个数

朴灿烈づ我的快乐病毒、 2022-11-25 10:09 455阅读 0赞

使用 hdfs oiv 命令解析 namenode fsimage 文件，输入为 , 号分隔的文本文件

hdfs oiv -i $fsimage -t /data1/zpf/ops/small_file/tmp/ -o /data1/zpf/ops/small_file/fsimage.txt -p Delimited -delimiter ,

在hive上建一个表

将数据 put 到 hive 表对应的 hdfs 目录上

hadoop fs -put -f /data1/zpf/ops/small_file/fsimage.txt $hdfs_path

使用 hive sql 对组和用户进行分组统计

select groupname,username,count(1) filenum from ocdp.analysis where replication <>0 and username <> '-1' and filesize < $small_file_size group by groupname,username;

通过 beeline 将执行结果写入 csv 文件

beeline -u "$beeline_url" --outputformat=csv2 -e "select groupname,username,count(1) filenum from ocdp.analysis where replication <>0 and username <> '-1' and filesize < $small_file_size group by groupname,username;" > /data1/zpf/ops/small_file/analysis.csv

然后将 csv 结果解析写入 MySQL

for str in `cat /data1/zpf/ops/small_file/analysis.csv|tail -n +2`
    do
      g=`echo $str|awk -F ',' '{print $1}'`
      u=`echo $str|awk -F ',' '{print $2}'`
      s=`echo $str|awk -F ',' '{print $3}'`
      sql="insert into filesize_simple (cluster_name,group_name,user_name,file_num) values ('bjtelcluster','$g','$u','$s')"
      #echo $sql
      mysql -h$db_host -D$db_database -u$db_user -e "$sql"
    done

发表评论取消回复

表情：

评论列表（有 0 条评论，455人围观）

还没有评论，来说两句吧...

相关阅读

相关统计不同文件中单词的个数

package FileCount; import org.apache.hadoop.conf.Configuration; ...

以你之姓@/ 2024年04月18日 21:56/ 0 赞/ 83 阅读

相关 Linux下统计当前文件夹下的文件个数、目录个数

　　1) 统计当前文件夹下文件的个数　　复制代码代码如下: 　　ls -l |grep "^-"|wc -l 　　2) 统计当前文件夹下目录的个数　　复制代码代

港控/mmm°/ 2023年09月24日 10:19/ 0 赞/ 83 阅读

相关 linux ls统计文件个数

linux ls统计文件个数 Linux下有三个命令：`ls`、`grep`、`wc`。通过这三个命令的组合可以统计目录下文件及文件夹的个数。统计当前目录下文件

桃扇骨/ 2023年01月19日 12:59/ 0 赞/ 12 阅读

相关 shell统计当前文件夹下的文件个数、目录个数

shell统计当前文件夹下的文件个数、目录个数 ls -l |grep "^-"|wc -l //统计当前文件夹下文件的个数 ls -l |grep "

爱被打了一巴掌/ 2022年12月21日 14:56/ 0 赞/ 339 阅读

相关统计 HDFS 的小文件个数

使用 hdfs oiv 命令解析 namenode fsimage 文件，输入为 , 号分隔的文本文件 hdfs oiv -i $fsimage -t /data1/

朴灿烈づ我的快乐病毒、/ 2022年11月25日 10:09/ 0 赞/ 456 阅读

相关 java程序统计注释个数_java 统计文件注释个数

参考：https://segmentfault.com/q/1010000012636380/a-1020000012640905 题目：统计文件中//和/\ \/注释的个数

╰+攻爆jí腚メ/ 2022年11月06日 03:58/ 0 赞/ 191 阅读

相关统计文件中每个字母的个数

关键点：编写一个程序，提示用户输入一个文件名称，然后统计在不计大小写的情况下每个字符的出现次数。解决思路： 1.将文件中的每一行作为字符串读取。 2.使用字符串的

缺乏、安全感/ 2022年06月12日 14:20/ 0 赞/ 306 阅读

相关 Linux下统计当前文件夹下的文件个数、目录个数

1) 统计当前文件夹下文件的个数复制代码代码如下: ls -l |grep "^-"|wc -l 2) 统计当前文件夹下目录的个数复制代码代码如下:

刺骨的言语ヽ痛彻心扉/ 2022年05月15日 15:18/ 0 赞/ 281 阅读

相关 linux统计文件个数

转自：[https://blog.csdn.net/Quincuntial/article/details/54943351][https_blog.csdn.net_Quin

爱被打了一巴掌/ 2022年04月15日 01:44/ 0 赞/ 226 阅读

相关 ubuntu 统计当前文件夹文件个数

转载自：[https://blog.csdn.net/jningwei/article/details/79758101][https_blog.csdn.net_jningw

我不是女神ヾ/ 2022年02月26日 05:34/ 0 赞/ 389 阅读