Linux项目实践中常用操作汇总(不断更新)

以你之姓@ 2022-12-20 06:05 276阅读 0赞

## Linux ##

### 1、linux查看时间，可写入脚本中 ###

date
    date -d 0day +%Y%m%d
    
    显示前1小时的时间
    	date +%Y%m%d%H -d '-1 hours'
    	
    显示前1天的时间
    date +%Y%m%d -d '-1 days'
    daySelect=`date +%Y%m%d -d '-1 days'`
    
    如果是shell脚本需要使用时间的话，使用时记得加单引号，否则会有换行符，无法使用。

### 2、linux查看日志/文件内容 ###

less 文件/日志名

shift + G 跳至最后一行便于查看日志运行时间

### 3、linux脚本定时 ###

简单定时-sleep

在shell脚本里定时执行一段命令,比如每隔5秒执行一次.
    
    #! /bin/sh
    while((1))
    do
    echo "hello world!"
    sleep 5
    done

### 4、linux脚本定时调度 ###

大牛链接：
    	https://blog.csdn.net/xionglangs/article/details/52913351

执行脚本helloworld.sh：
    	#!/bin/bash
    	#该脚本主要做脚本调度测试
    	echo "hello-World!"
    	echo "hello-World-2!"
    	echo "hello-World-3!"
    	
    写法步骤：
    	crontab -e 进入vi编辑，表示每小时的31,32,33都执行helloworld.sh脚本，并输出到日志中。
    	
    	31,32,33 * * * * sh /root/helloworld.sh >> /root/helloworld.log 2>&1 &

参数说明：
    	crontab -u //设定某个用户的cron服务，一般root用户在执行这个命令的时候需要此参数
    	crontab -l //列出某个用户cron服务的详细内容
    	crontab -r //删除某个用户的cron服务
    	crontab -e //编辑某个用户的cron服务
    	
    基本格式：
    *　　*　　*　　*　　*　　command
    分　 时　 日　 月　 周　	 命令
    
    6个字段组成，不同字段间用空格或 tab 键分隔
    第1列表示分钟1～59 每分钟用*或者 */1表示
    第2列表示小时1～23（0表示0点）
    第3列表示日期1～31
    第4列表示月份1～12
    第5列标识号星期0～6（0表示星期天）
    第6列要运行的命令
    
    
    实例：
    　　#每两个小时
    　　0 */2 * * * date (solaris 5.8似乎不支持此种写法)
    
    　　#晚上11点到早上8点之间每两个小时，早上8点
    　　0 23-7/2，8 * * * date
    
    　　#每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点
    　　0 11 4 * mon-wed date
    
    　　#1月份日早上4点
    　　0 4 1 jan * date
    　　
    　　#每晚的21:30
    　　30 21 * * * 
    
    　　#每月1、10、22日的4 : 45重启lighttpd
    　　45 4 1,10,22 * * /usr/local/etc/rc.d/lighttpd restart
    
    　　#每周六、周日的1 : 10重启lighttpd
    　　10 1 * * 6,0 /usr/local/etc/rc.d/lighttpd restart
    
    　　#每天18 : 00至23 : 00之间每隔30分钟重启lighttpd
    　　0,30 18-23 * * * /usr/local/etc/rc.d/lighttpd restart
    
    　　#每星期六的11 : 00 pm重启lighttpd
    　　0 23 * * 6 /usr/local/etc/rc.d/lighttpd restart
    
    　　#每一小时重启lighttpd
    　　* */1 * * * /usr/local/etc/rc.d/lighttpd restart
    
    　　#晚上11点到早上7点之间，每隔一小时重启lighttpd
    　　* 23-7/1 * * * /usr/local/etc/rc.d/lighttpd restart

### 5、linux-loz解压 ###

lzop -d xxx.lzo
    
    hadoop fs -text < hdsf file>
    将文本文件或某些格式的非文本文件通过文本格式输出

### 6、linux查看/停止Spark–yarn现存任务 ###

查看当前yarn所有列表，最左侧是程序编号，格式类似于，application_1880123456789_12345
    yarn application -list
    
    yarn application -kill application_1880123456789_12345

### 7、linux查看具体行数文件 ###

查看/etc/profile的前10行内容，应该是：
    # head -n 10 /etc/profile (>>/home/test)
    查看/etc/profile的最后5行内容，应该是：
    # tail -n 5 /etc/profile (>>/home/test)
    
    
    1、从第3000行开始，显示1000行。即显示3000~3999行
    cat filename | tail -n +3000 | head -n 1000
     
    2、显示1000行到3000行
    cat filename | head -n 3000 | tail -n +1000
    
    分解：
        tail -n 1000：显示最后1000行
        tail -n +1000：从1000行开始显示，显示1000行以后的
        head -n 1000：显示前面1000行
     
    3、用sed命令
     sed -n '5,10p' filename 这样你就可以只查看文件的第5行到第10行。

### 8、linux常见vi文件操作 ###

https://www.cnblogs.com/LiuQizhong/p/11796824.html

### 9、linux-脚本小知识汇总 ###

#### 1）\\r’: 未找到命令警告 ####

如果是在win环境下编辑的，后来ftp到unix服务器上，那么有可能出现Error:Unable to access jarfile找不到脚本中的jar包，单独跑次命令又没得问题，那么你可能需要将由win脚本转linux。

原因分析：在windows下编写的shell脚本，上传到服务器，存在多余的空格或换行，导致报错  
解决办法，安装dos2unix

安装dos2unix 
    yum install dos2unix
    
    使用dos2unix对脚本转换 
    dos2unix xxx.sh

#### 2）去除hive -e导出文件的WANG内容行 ####

cat /root/data/hive/zhu.txt | grep -v "WARN"  >> /root/data/hive/zhu_ruu.txt

#### 3）文件重复写入问题 ####

若脚本执行一次后形成文件a.txt，第二次依旧形成a.txt，那么此时的a.txt文件数据是2次之和。
    所以在下一次脚本执行前需要删除a.txt文件
    
    eg:
    `rm -r /root/data/hive/zhu.txt`
    `rm -r /root/data/hive/zhu_ruu.txt`
    hive -e ";" | tr "\t" "," >> /root/data/hive/zhu.txt
    cat /root/data/hive/zhu.txt | grep -v "WARN"  >> /root/data/hive/zhu_ruu.txt

#### 4）查看sh脚本是否在运行 ####

ps aux | grep "aa.sh"

#### 5）查看Java程序是否在运行 ####

ps -ef | grep mrSplit-1.0-SNAPSHOT-jar-with-dependencies.jar

### 10、linux查看HDFS文件的大小 ###

hadoop fs -du -h /xxxx

### 11、linux查看本地目录大小 ###

du -sh xx/* 也会列出当前文件夹下所有文件对应的大小
    
    du -h --max-depth=1

### 12、rz -be 文件上传命令执行后乱码 ###

乱码问题是使用软件问题。  
使用MobaXterm会显示乱码，页面无反应  
使用XShell会正常弹出上传窗。

### 13、无UI界面查看spark任务在HDFS上的运行日志 ###

yarn logs -applicationId xxxx

### 14、linux 两个文件合并 ###

可以使用cat命令，有两种实现的方式，一种将两个文件合并的到一个新的文件，另一种将一个文件追加到另一个文件的末尾。
    
    方法一：
    使用cat命令从文件中读入两个文件，然后将重定向到一个新的文件。这种方法可以一次性合并任意多个文件。
    用法示例：
    将file1.txt和file2.txt合并到file.txt
    $ cat file1.txt file2.txt > file.txt
    
    方法二：
    只使用cat命令读入一个文件，然后使用>>将文本流追加到另一个文件的末位。
    用法示例：
    将file1.txt追加到file2.txt的末尾
    $ cat file1.txt >> file2.txt
    
    
    cat /home/noce/lz/20201210-4G-5G/SA_DISTANCE.txt >> /home/noce/lz/20201210-4G-5G/NSA_NSA-SA_3.txt

### 15、查询文件出现关键字次数 ###

grep -o '关键字' 文件 | wc -l

### 16、脚本路径不存在 ###

文件路径符号
    path=`/savener/5gai/multilayer`		错
    
    path='/savener/5gai/multilayer'		对
    
    day=`date -d "-0 day" +%Y%m%d`		对

##  ##