crontab定时删除指定的hdfs数据

叁歲伎倆 2022-10-01 13:54 179阅读 0赞

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][]

#!/bin/bash
    # filename:deleteHdfsData.sh
    # 遍历压缩指定目录下的所有文件，参数指定是否删除原文件（2个参数，1个参数是目录,一个参数是否删除原文件，1删除,0不删除）
    # crontab: 30 2 * * * sh /Application/aaa/enterprise/hadoop/deleteHdfsData.sh >> /Application/aaa/enterprise/hadoop/run.log 2>&1
    # 遍历得到指定目录下的所有文件，用gz压缩
    # createdate: 20150909
    # author: yuanlong.zhou
    today=`date day +%Y-%m-%d`;
    echo "今天是${today}"
    # 获得要删除的日期
    # 不指定参数时，默认删除30天前以aaa-开头的数据（因为是凌晨删除，所以不含当天）
    daynum=5
    # 当参数个数大于1时，提示参数错误
    if [ $# -gt 1 ] ;then
            echo "要么不传参数，要么只传1个参数!"
            exit 101;
    fi
    # 当参数个数为1时，获取指定的参数
    if [ $# == 1 ] ;then
            daynum=$1
    fi
    hdfsday=`date -d '-'"${daynum}"' day' +%Y%m%d`;
    echo "${daynum}天前是${hdfsday}"
    curl -XDELETE http://localhost:9200/aaa-*-${hdfsday}
    hdfs dfs -rm -r /hnbc/${hdfsday}
    echo "${today}执行完成"

转载于:https://my.oschina.net/ylchou/blog/507077

[80_]: https://my.oschina.net/u/2663968/blog/3051541
[hot3.png]: /images/20220118/503ebee7308e498282d668b20c8b2ac3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，179人围观）

还没有评论，来说两句吧...

相关阅读

相关 crontab 定时任务

过crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非...

亦凉/ 2024年04月19日 06:51/ 0 赞/ 97 阅读

相关 MySQL定时任务event，储存过程（定时删除指定时间前90天指定表的数据）

<span style="font-family: 'Microsoft YaHei'; font-size: 14px;">MySQL定时任务event</span>

今天药忘吃喽~/ 2024年02月17日 14:46/ 0 赞/ 19 阅读

相关 linux 下 crontab 定时访问指定url

1.定时访问url： 1.1 连接远程主机，连接成功后，输入命令 crontab -e： ![Center][] 1.2 打开文件，直接输入需要执行的脚本：（在这里之前要

野性酷女/ 2023年06月19日 09:33/ 0 赞/ 2 阅读

相关 crontab定时删除指定的hdfs数据

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][] !/bin/bash filename:deleteHdfsData.

叁歲伎倆/ 2022年10月01日 13:54/ 0 赞/ 180 阅读

相关 crontab定时任务

原创地址：http://blog.chinaunix.net/uid-7552018-id-182133.html 【crontab】定时任务文件路径【/e

骑猪看日落/ 2022年07月27日 10:39/ 0 赞/ 284 阅读

相关 Crontab 定时任务

Crontab -------------------- 在linux上由crond 来周期性的执行指令列表，执行的任务称为cron job, 多个任务就称为cron

柔光的暖阳◎/ 2022年05月30日 02:49/ 0 赞/ 373 阅读

相关使用Crontab实现数据库的定时备份和循环删除

一、引言在最近的工作中，遇到过几次这样的烦恼：同事在没有任何说明和通知的情况下，自己改变了测试数据库的结构和数据，导致我的程序本来运行挺好的，被这样一搞，就GG了……查

我就是我/ 2022年05月28日 13:27/ 0 赞/ 352 阅读

相关 crontab 定时任务

Linux crontab是用来定期执行程序的命令。 > `代表覆盖写入` `>` > `追加写入 >>` > `写入命令 crontab -e 回车写入运行数

港控/mmm°/ 2022年05月28日 07:43/ 0 赞/ 346 阅读

相关 crontab定时任务

一、用途定时运行一个shell或者Linux脚本（可能还有其他的用途暂时介绍这个）二、如何用？ a.在linux中输入命令 crontab -e 执行之后

叁歲伎倆/ 2022年03月21日 14:26/ 0 赞/ 357 阅读

相关 crontab 定时任务

通过crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。

￡神魔★判官ぃ/ 2021年09月10日 13:58/ 0 赞/ 561 阅读