Java线程数过多解决之路、利用Arthas解决Jenkins线程数飙升问题

客官°小女子只卖身不卖艺 2023-09-29 16:08 18阅读 0赞

## 0. 背景 ##

Jenkins是基于Java开发的一款持续集成工具，旨在提供一个开放易用的软件平台，使软件项目可以进行持续集成。同时，Jenkins 提供了数量庞大的各种插 件，以满足用户对于持续集成相关的需求。

比如 Jenkins 提供的influxdb 插件，可以将构建执行步骤、耗时、结果等数据，发送到 influxdb 数据库，便于后期对构建数据进行分析和展示。

Jenkins在公司内部，被广泛用于各类项目的持续集成工作，支撑3000+项目、每日近万次构建。Jenkins是CI/CD的核心链路和重要环节，保障 Jenkins 的 高可用和高性能尤为重要。

## 1. 问题现象 ##

我们的Jenkins 服务在运行一段时间后，会变得异常卡顿，严重降低持续集成速度，影响研发工作效率。

出了问题后，我们第一时间查看了Jenkins 监控大盘，从监控大盘可以看到，JVM 线程数量飙升得很厉害，**最高达 20K**：

![013aa985dfab54f04cee92f687b3bf35.png][]

## 2. 问题分析 ##

## 2.1 dump 线程栈 ##

发现问题后，登上Jenkins机器，dump下jvm的线程栈。

# 获取 Java 进程 id
    
    jps -l
    19768 /home/maintain/jenkins-bin/jenkins/jenkins.war
    
    # dump 线程栈
    jstack 19768 > jstack.txt

## 2.2 分析线程栈 ##

拿到这个dump后的线程栈，我们借助 https://fastthread.io/ 这个网站，分析下jvm线程栈。

大致的结果如下：

*  Total Threads count: 20215
 *  Thread Group：RxNewThreadScheduler 18600 threads

从以上信息可以知道，jvm总共有20215个线程，其中有18600 个都是RxNewThreadScheduler这个线程组创建的线程。

## 2.3 定位线程来源 ##

JVM的线程栈中，出现了大量的 RxNewThreadScheduler 这个线程组，从字面上来看，猜测应该是RxJava相关的线程。

为了验证这个猜测，我们决定查阅下 RxJava 框架的源码，看看 RxNewThreadScheduler 这个线程到底是不是从RxJava 框架生成的。

在GitHub上rxjava 的源码中搜索了下RxNewThreadScheduler，如下：

*  代码：https://github.com/ReactiveX/RxJava/search?q=RxNewThreadScheduler
 *  结果：

[013aa985dfab54f04cee92f687b3bf35.png]: https://img-blog.csdnimg.cn/img_convert/013aa985dfab54f04cee92f687b3bf35.png

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关线程数过多会造成什么异常？

线程过多可能会导致栈溢出和堆异常，这是因为每个线程都会占用一定的栈空间和堆空间： 1. 栈溢出（StackOverflowError）：每个线程都有自己的调用栈（stac

Dear 丶/ 2023年10月16日 11:41/ 0 赞/ 38 阅读

相关 Java多线程、线程池、线程数

文章目录 Java多线程、线程池、线程数 Java线程Thread、Runable、Callable的使用与区别 Thread

水深无声/ 2023年10月10日 11:42/ 0 赞/ 24 阅读

相关 Java线程数过多解决之路、利用Arthas解决Jenkins线程数飙升问题

0. 背景 Jenkins是基于Java开发的一款持续集成工具，旨在提供一个开放易用的软件平台，使软件项目可以进行持续集成。同时，Jenkins 提供了数量庞大的各种插

客官°小女子只卖身不卖艺/ 2023年09月29日 16:08/ 0 赞/ 19 阅读

相关 Java多线程 - 线程安全和线程同步解决线程安全问题

文章目录线程安全问题线程同步方式一: 同步代码块方式二: 同步方法方式

秒速五厘米/ 2023年09月23日 13:29/ 0 赞/ 214 阅读

相关 xgboost 多线程，解决默认开启线程数为cpu个数问题

环境 python 3.6 xgboost 1.0.1 现象在一台48c的服务器上，就import xgboost，还没进行训练，通过命令发现，线程数就达到

谁借莪１个温暖的怀抱￠/ 2022年12月03日 08:48/ 0 赞/ 457 阅读

相关独占线程数过多-weblogic报警

生产项目发生告警短信，提示：独占线程数过多，703个。搜索资料并记录如下：http://tekkamanninja.blog.chinaunix.net/uid-17176

心已赠人/ 2022年05月30日 08:21/ 0 赞/ 190 阅读

相关 Spring-利用ThreadLocal解决线程安全问题(多线程并发登录)

ThreadLocal是什么 ThreadLocal，顾名思义，它不是一个线程，而是线程的一个本地化对象。当工作于多线程中的对象使用ThreadLocal维护变量时

秒速五厘米/ 2022年05月30日 05:26/ 0 赞/ 1087 阅读

相关 Java多线程之线程池配置合理线程数

Java多线程之线程池配置合理线程数 -------------------- 目录 1. 代码查看公司服务器或阿里云是几核的 2. 合理线程数配置之CPU密

短命女/ 2022年04月25日 08:40/ 0 赞/ 348 阅读

相关 cpu个数、核数、线程数、Java多线程关系的理解

一 cpu个数、核数、线程数的关系 cpu个数：是指物理上，也及硬件上的核心数；核数：是逻辑上的，简单理解为逻辑上模拟出的核心数；线程数：是同一时刻设备能并行执行的程

Bertha 。/ 2022年04月13日 08:38/ 0 赞/ 1089 阅读

相关 cpu个数、核数、线程数、Java多线程关系的理解

[https://www.cnblogs.com/timxgb/p/9507316.html][https_www.cnblogs.com_timxgb_p_9507316.h

超、凢脫俗/ 2022年01月27日 05:34/ 0 赞/ 565 阅读