看起来是线程池的BUG，但是我认为是源码设计不合理。

小咪咪 2023-10-01 23:02 5阅读 0赞

前几天看到一个 JDK 线程池的 BUG，我去了解了一下，摸清楚了它的症结所在之后，我觉得这个 BUG 是属于一种线程池方法设计不合理的地方，而且官方在知道这个 BUG 之后表示：确实是个 BUG，但是我就不修复了吧，你就当这是一个 feature 吧。

![4c5ef3a66b0056456ad13d8553b1e7ee.png][]

在带你细嗦这个 BUG 之前，我先问一个问题：

JDK 自带的线程池拒绝策略有哪些？

这玩意，老八股文了，存在的时间比我从业的时间都长，得张口就来：

*  AbortPolicy：丢弃任务并抛出 RejectedExecutionException 异常，这是默认的策略。
 *  DiscardOldestPolicy：丢弃队列最前面的任务，执行后面的任务
 *  CallerRunsPolicy：由调用线程处理该任务
 *  DiscardPolicy：也是丢弃任务，但是不抛出异常，相当于静默处理。

这次的这个 BUG 触发条件之一，就藏着在这个 DiscardPolicy 里面。

但是你一去看源码，这个玩意就是个空方法啊，这能有什么 BUG？

![d0ca076874690cb8c24f957bdf84035f.png][]

它错就错在是一个空方法，把异常给静默处理了。

别急，等我慢慢给你摆。

![641624f7f515dac9098ae28f06f1b6f5.png][]

### 啥BUG啊？ ###

BUG 对应的链接是这个：

https://bugs.openjdk.org/browse/JDK-8286463

![72c354140f1be4cae19797423c01ec18.png][]

标题大概就是说：噢，我的老伙计们，听我说，我发现线程池的拒绝策略 DiscardPolicy 遇到 invokerAll 方法的时候，可能会导致线程一直阻塞哦。

然后在 BUG 的描述部分主要先注意这两段：

![724a0a0144fa05affccb0e119a1b6a68.png][]

这两段透露出两个消息：

*  1.这个 BUG 之前有人提出来过。
 *  2.Doug 和 Martin 这两位也知道这个 BUG，但是他们觉得用户可以通过编码的方式避免永远阻塞的问题。

所以我们还得先去这个 BUG 最先出现的地方看一下。也就是这个链接：

https://bugs.openjdk.org/browse/JDK-8160037

![439243b14f29e510e92e5ce0fa3caf8e.png][]

从标题上来看，这两个问题非常的相似，都有 invokerAll 和 block，但是触发的条件不一样。

一个是 DiscardPolicy 拒绝策略，一个是 shutdownNow 方法。

所以我的策略是先带你先把这个 shutdownNow 方法嗦明白了，这样你就能更好的理解 DiscardPolicy 带来的问题。

本质上，它们说的是一回事儿。

### 现象 ###

在 shutdownNow 相关的这个 BUG 描述里面，提问者给到了他的测试用例，我稍微改改，就拿来就用了。

https://bugs.openjdk.org/browse/JDK-8160037

代码贴在这里，你也可以那到你本地跑一下：

然后给大家解释一下测试代码是在干啥事儿。

![e85a78b94fd77135c85989ef0813e824.png][]

首先标号为 ① 的地方，是往 list 里面塞了 10 个 callable 类型的任务。

搞这么多任务干啥呢？

肯定是要往线程池里面扔，对吧。

所以，在标号为 ② 的地方，搞了一个线程和核心线程数是 2 的线程池。在线程里面调用了线程池的 invokerAll 方法：

![9cda6ba5f2361fa4abd30fd47392f5ed.png][]

这个方法是干啥的？

Executes the given tasks, returning a list of Futures holding their status and results when all complete.

执行给定的任务集合，在所有任务完成后返回一个包含其状态和结果的 Futures 列表。

也就是说，当线程启动后，线程池会把 list 里面的任务一个个的去执行，执行完成后返回一个 Futures 列表。

我们写代码的时候拿着这个列表就能知道这一批任务是否都执行完成了。

但是，朋友们，但是啊，注意一下，你看我的案例里面根本就不关心 invokerAll 方法的返回值。

关心的是在 invokerAll 方法执行完成后，输出的这一句话：

invokeAll returned

好，现在你来说这个程序跑起来有什么毛病？

![ff85bb43390b6c5d2d2c63a7bc8aaa12.png][]

你肯定看不出来对不对？

我也看不出来，因为它根本就没有任何毛病，程序可以正常运行结束：

![d20c208a82dad4fc6af0e6065e859d16.png][]

接着，我把程序修改为这样，新增标号为 ③ 的这几行代码：

![2008731e7b609dcd46e39953e734a2cc.png][]

这里调用的是线程池的 shutdown 方法，目的是想等线程池把任务处理完成后，让程序退出。

来，你又说说这个程序跑起来有什么毛病？

你肯定又没有看不来对不对？

![4bd48a8dcc1853e7c198a9923c166269.png][]

我也没有，因为它根本就没有任何毛病，程序可以正常运行结束：

![0d262bb472a85cb48a442bfe4e73b904.png][]

好，接下来，我又要开始变形了。

程序变成这样：

![2a7047dd38b7ec901d139077c59a2423.png][]

注意我这里用的是 shutdownNow 方法，意思就是我想立即关闭前面的那个线程池，然后让整个程序退出。

那么这个程序有什么问题呢？

![4c683119c4b910bdba2a08d5304d6edb.png][]

它是真的有问题，肉眼真不好看出来，但是我们可以先看一下运行结果：

![78777342e12c39a4f41b8ba054ce738c.png][]

结果还是很好观察的。

没有输出 “invokeAll returned”，程序也没有退出。

那么问题就来了：你说这是不是 BUG ？

咱先不管原因是啥，从现象上看，这妥妥的是 BUG 了吧？

我都调用 shutdownNow 了，想的就是立马关闭线程池，然后让整个程序退出，结果任务确实是没有执行了，但是程序也并没有退出啊，和我们预期的不符。

所以，大胆一点，这就是一个 BUG！

再来一个关于 shutdownNow 和 shutdown 方法输出对比图，更直观：

![4cd82ce7c8518d34c80d2d8791e390f4.png][]

至于这两个方法之间有什么区别，我就不讲了，你要是不知道就去网上翻翻，背一下。

反正现在 BUG 已经能稳定复现了。

接下来就是找出根因了。

### 根因 ###

根因怎么找呢？

你先想想这个问题：程序应该退出却没有退出，是不是说明还有线程正在运行，准确的说是还有非守护线程正在运行？

对了嘛，想到这里就好办了嘛。

看线程堆栈嘛。

怎么看？

照相机啊，朋友们。我们的老伙计了，之前的文章里面经常露面，就它：

![619b2718f0c68c45a12eb4eb325aae82.png][]

你就这么轻轻的一点，就能看到有个线程它不对劲：

![9c5ad453906227cf8008abb18dd94b20.png][]

它在 WAITING 状态，而导致它进入这个状态的代码通过堆栈信息，一眼就能定位到，就是 invokeAll 方法的 244 行，也就是这一行代码：

at java.util.concurrent.AbstractExecutorService.invokeAll(AbstractExecutorService.java:244)

![d46da6b41bc15e298ac46bbccc5f5cb1.png][]

既然问题出在 invokeAll 这个方法里面，那就得理解这个方法在干啥了。

源码也不复杂，主要关注我框起来的这部分：

![920579024b4feaaf6deefc5f38115c45.png][]

标号为 ① 的地方，是把传入进来的任务封装为一个 Future 对象，先放到一个 List 里面，然后调用 execute 方法，也就是扔到线程池里面去执行。

这个操作特别像是直接调用线程池的 submit() 方法，我给你对比一下：

![ad48878dd22b05f6827291f020d36a57.png][]

标号为 ② 的地方，就是循环前面放 Future 的 List，如果 Future 没有执行完成，就调用 Future 的 get 方法，阻塞等待结果。

从堆栈信息上看，线程就阻塞在 Future 的 get 方法这里，说明这个 Future 一直没有被执行。

为什么没有被执行？

好，我们回到测试代码的这个地方：

![097dabae72aaacfedfd589222c6a5fc6.png][]

10 个任务，往核心线程数是 2 的线程池里面扔。

是不是有两个可以被线程池里面的线程执行，剩下的 8 个进入到队列里面？

好，我问你：调用 shutdownNow 之后，工作线程是不是直接就给干没了？剩下的 8 个是不是没有资源去执行了？

话说回来，哪怕只有 1 个任务没有被执行呢？invokeAll 方法里面的 future.get() 是不是也得阻塞？

但是，朋友们，但是啊，就在 BUG 如此清晰的情况下，上面的这个案例居然被官方给推翻了。

怎么回事呢？

带你看一下官方大佬的回复。

哦，对不起，不是大佬，是官方巨佬 Martin 和 Doug 的回复：

![5a6bff603d3a157ef9de09d23b9ec2c9.png][]

Martin 说：老铁，我看了你的代码，感觉没毛病啊？你听我说，shutdownNow 方法返回了一个 List 列表，里面放的就是还没有被执行任务。所以你还得拿着 shutdownNow 的返回搞一些事情才行。

Doug 说：Martin 说的对。额外说一句：

that's why they are returned。

they 指的就是这个 list。也就是说老爷子写代码的时候是考虑到这个情况了的，所以把没有执行的任务都返给了调用者。

好吧，shutdownNow 方法是有返回值的，我之前居然没有注意到这个细节：

![528c726b13dc96ba82863a550749d4e0.png][]

但是你仔细看这个返回值，是个 list 里面装的 Runnable，它不是 Future，我就不能调用 future.cancel() 方法。

![bccbf135098aa85f6b21ba0a32d83725.png][]

所以拿到这个返回值之后，我应该怎么取消任务呢？

这个问题问得好啊。因为提问者也有这样的疑问：

![e0a3273596c5655ff494cf5c0f897f48.png][]

他在看到巨佬们说要对返回值做操作之后，一脸懵逼的回复说：哥老倌些，shutdownNow 方法返回的是一个List 。至少对我来说，我不知道应该这么去取消这些任务。是不是应该在文档里面描述一下哦？

Martin 老哥觉得这个返回确实有点迷惑性，他做了如下回复：

![9af7cbecd0d5bbddf8be285939402100.png][]

线程池提交任务有两种方式。

如果你用 execute() 方法提交 Runnable 任务，那么 shutdownNow 返回的是未被执行的 Runnable 的列表。

如果你用 submit() 方法提交 Runnable 任务，那么会被封装为一个 FutureTask 对象，所以调用 shutdownNow 方法返回的是未被执行的 FutureTask 的列表：

![433b78dccd9cda5a02dc6b92d8ff2bd2.png][]

也就是说 shutdownNow 方法返回的 List 集合，里面装的既可能是 Runnable，也可能是 FutureTask，取决于你往线程池里面扔任务的时候调用的什么方法。

FutureTask 是 Runnable 的子类：

![86423087632f9e236db508e1db979f46.png][]

所以，基于 Martin 老哥的说法和他提供的代码，我们可以把测试用例修改为这样：

![615cf855143991f2801e998573105f2c.png][]

遍历 shutdownNow 方法返回的 List 集合，然后判断是否 Future，如果是则强转为 Future，接着调用其 cancel 方法。

这样，程序就能正常运行结束。

![959a5fa61a5368aa77b2aded0241a10c.png][]

这样看来，好像也确实不是一个 BUG，可以通过编码来避免它。

### 反转 ###

但是，朋友们，但是啊，前面都是我的铺垫，接下来剧情开始反转了。

我们回到这个链接中：

https://bugs.openjdk.org/browse/JDK-8286463

![72c354140f1be4cae19797423c01ec18.png][]

这个链接里面提到了 DiscardPolicy 这个线程池拒绝策略。

只要我稍微的把我们的 Demo 程序改变一点点，触发线程的 DiscardPolicy 拒绝策略，前面这个 bug 就真的是一个绕不过去的 bug 了。

应该怎么改变呢？

很简单，换个线程池就可以了：

![e8205066b87c9f348dbd146e418ccf6c.png][]

把我们之前这个核心线程数为 2，队列长度无限长的线程池替换为一个自定义线程池。

这个自定义线程池的核心线程数、最大线程数、队列长度都是 1，采用的线程拒绝策略是 DiscardPolicy。

其他的地方代码都不动，整个代码就变成了这样，我把代码贴出来给你看看，方便你直接运行：

public class MainTest {
    
        public static void main(String[] args) throws InterruptedException {
    
            List<Callable<Void>> tasks = new ArrayList<>();
            for (int i = 0; i < 10; i++) {
                int finalI = i;
                tasks.add(() -> {
                    System.out.println("callable " + finalI);
                    Thread.sleep(500);
                    return null;
                });
            }
            ExecutorService executor = new ThreadPoolExecutor(
                    1,
                    1,
                    1,
                    TimeUnit.SECONDS,
                    new ArrayBlockingQueue<>(1),
                    new ThreadPoolExecutor.DiscardPolicy()
            );
    //        ExecutorService executor = Executors.newFixedThreadPool(2);
            Thread executorInvokerThread = new Thread(() -> {
                try {
                    executor.invokeAll(tasks);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                System.out.println("invokeAll returned");
            });
            executorInvokerThread.start();
    
            Thread.sleep(800);
            System.out.println("shutdown");
            List<Runnable> runnables = executor.shutdownNow();
            for (Runnable r : runnables) {
                if (r instanceof Future) ((Future<?>)r).cancel(false);
            }
            System.out.println("Shutdown complete");
        }
    }

然后我们先把程序运行起来看结果：

![a81d3ba398c9c861f900f8f07c7fb8b7.png][]

诶，怎么回事？

我明明处理了 shutdownNow 的返回值呢，怎么程序又没有输出 “invokeAll returned” 了，又阻塞在 invokeAll 方法上了？

就算我们不知道为什么程序没有停下来，但是从表现上看，这玩意肯定是 bug 了吧？

接下来我带你分析一下为什么会出现这个现象。

首先我问你在我们的案例里面，这个线程池最多能容纳几个任务？

是不是最多只能接收 2 个任务？

最多只能接收 2 个任务，是不是说明我有 8 个任务是处理不了的，需要执行线程池的拒绝策略？

但是我们的拒绝策略是什么？

是 DiscardPolicy，它的实现是这样的，也就是静默处理，丢弃任务，也不抛出异常：

![38850913a415a25c86e9828990026692.png][]

好，到这里你又接着想，shutdownNow 返回的是什么东西，是不是线程池里面还没来得及执行的任务，也就是队列里面的任务？

但是队列里面最多也就一个任务，返回回来给你取消了也没用。

所以，这个案例和处不处理 shutdownNow 的返回值没有关系。

关键的是被拒绝的这 8 个任务，或者说关键是触发了 DiscardPolicy 拒绝策略。

触发一次和触发多次的效果都是一样的，在我们这个自定义线程池加 invokeAll 方法这个场景下，只要有任何一个任务被静默处理了，就算玩蛋。

![922c6ab553c2348d6983c64eb67e80f0.png][]

为什么这样说呢？

我们先看看默认的线程池拒绝策略 AbortPolicy 的实现方式：

![8a8146f9473c6b14ac328ba449c5512e.png][]

被拒绝执行之后，它是会抛出异常，然后在 invokeAll 方法里面会被捕捉到，所以不会阻塞：

![2d7ff72be3cb06b86ad144938b38938c.png][]

如果是静默处理，你没有任何地方让这个被静默处理的 Future 抛出异常，也没用任何地方能调用它的 cancel 方法，所以这里就会一直阻塞。

所以，这就是 BUG。

那么针对这个 BUG，官方是怎么回复呢？

![ef37deaea56ace5d02ffea3c20f9502a.png][]

Martin 巨佬回复说：我觉得吧，应该在文档上说明一下，DiscardPolicy 这个拒绝策略，在真实的场景中很少使用，不建议大家使用。要不，你把它当作一个 feature？

我觉得言外之意就是：我知道这是一个 BUG 了，但是你非得用 DiscardPolicy 这个不会在实际编码中使用的拒绝策略来说事儿，我觉得你是故意来卡 BUG 的。

![cbf8c39275fa50ae43c3a8f6e986eb79.png][]

我对于这个回复是不满意的。

Martin 老哥是有所不知，我们面试的时候有一个八股文环节，其中的一个老八股题是这样的：

你有没有自定义过线程池拒绝策略？

如果有一些大聪明，在自定义线程池拒绝策略的时候，写出了一个花里胡哨的，但是又等效于 DiscardPolicy 的拒绝策略。

也就是又没放进队列，又没抛出异常，不管你代码写的多花哨，一样的是有这个问题。

所以，我觉得还是 invokeAll 方法的设计问题，一个不能在调用线程之外被其他线程访问的 Future 就不应该被设计出来。

这违背了 Future 这个对象的设计理念。

所以我才说这是 BUG，也是设计问题。

什么，你问我应该怎么设计？

对不起，无可奉告。

![b306141cec884cc58de20a5b9ae72f41.jpeg][]

[4c5ef3a66b0056456ad13d8553b1e7ee.png]: https://img-blog.csdnimg.cn/img_convert/4c5ef3a66b0056456ad13d8553b1e7ee.png
[d0ca076874690cb8c24f957bdf84035f.png]: https://img-blog.csdnimg.cn/img_convert/d0ca076874690cb8c24f957bdf84035f.png
[641624f7f515dac9098ae28f06f1b6f5.png]: https://img-blog.csdnimg.cn/img_convert/641624f7f515dac9098ae28f06f1b6f5.png
[72c354140f1be4cae19797423c01ec18.png]: https://img-blog.csdnimg.cn/img_convert/72c354140f1be4cae19797423c01ec18.png
[724a0a0144fa05affccb0e119a1b6a68.png]: https://img-blog.csdnimg.cn/img_convert/724a0a0144fa05affccb0e119a1b6a68.png
[439243b14f29e510e92e5ce0fa3caf8e.png]: https://img-blog.csdnimg.cn/img_convert/439243b14f29e510e92e5ce0fa3caf8e.png
[e85a78b94fd77135c85989ef0813e824.png]: https://img-blog.csdnimg.cn/img_convert/e85a78b94fd77135c85989ef0813e824.png
[9cda6ba5f2361fa4abd30fd47392f5ed.png]: https://img-blog.csdnimg.cn/img_convert/9cda6ba5f2361fa4abd30fd47392f5ed.png
[ff85bb43390b6c5d2d2c63a7bc8aaa12.png]: https://img-blog.csdnimg.cn/img_convert/ff85bb43390b6c5d2d2c63a7bc8aaa12.png
[d20c208a82dad4fc6af0e6065e859d16.png]: https://img-blog.csdnimg.cn/img_convert/d20c208a82dad4fc6af0e6065e859d16.png
[2008731e7b609dcd46e39953e734a2cc.png]: https://img-blog.csdnimg.cn/img_convert/2008731e7b609dcd46e39953e734a2cc.png
[4bd48a8dcc1853e7c198a9923c166269.png]: https://img-blog.csdnimg.cn/img_convert/4bd48a8dcc1853e7c198a9923c166269.png
[0d262bb472a85cb48a442bfe4e73b904.png]: https://img-blog.csdnimg.cn/img_convert/0d262bb472a85cb48a442bfe4e73b904.png
[2a7047dd38b7ec901d139077c59a2423.png]: https://img-blog.csdnimg.cn/img_convert/2a7047dd38b7ec901d139077c59a2423.png
[4c683119c4b910bdba2a08d5304d6edb.png]: https://img-blog.csdnimg.cn/img_convert/4c683119c4b910bdba2a08d5304d6edb.png
[78777342e12c39a4f41b8ba054ce738c.png]: https://img-blog.csdnimg.cn/img_convert/78777342e12c39a4f41b8ba054ce738c.png
[4cd82ce7c8518d34c80d2d8791e390f4.png]: https://img-blog.csdnimg.cn/img_convert/4cd82ce7c8518d34c80d2d8791e390f4.png
[619b2718f0c68c45a12eb4eb325aae82.png]: https://img-blog.csdnimg.cn/img_convert/619b2718f0c68c45a12eb4eb325aae82.png
[9c5ad453906227cf8008abb18dd94b20.png]: https://img-blog.csdnimg.cn/img_convert/9c5ad453906227cf8008abb18dd94b20.png
[d46da6b41bc15e298ac46bbccc5f5cb1.png]: https://img-blog.csdnimg.cn/img_convert/d46da6b41bc15e298ac46bbccc5f5cb1.png
[920579024b4feaaf6deefc5f38115c45.png]: https://img-blog.csdnimg.cn/img_convert/920579024b4feaaf6deefc5f38115c45.png
[ad48878dd22b05f6827291f020d36a57.png]: https://img-blog.csdnimg.cn/img_convert/ad48878dd22b05f6827291f020d36a57.png
[097dabae72aaacfedfd589222c6a5fc6.png]: https://img-blog.csdnimg.cn/img_convert/097dabae72aaacfedfd589222c6a5fc6.png
[5a6bff603d3a157ef9de09d23b9ec2c9.png]: https://img-blog.csdnimg.cn/img_convert/5a6bff603d3a157ef9de09d23b9ec2c9.png
[528c726b13dc96ba82863a550749d4e0.png]: https://img-blog.csdnimg.cn/img_convert/528c726b13dc96ba82863a550749d4e0.png
[bccbf135098aa85f6b21ba0a32d83725.png]: https://img-blog.csdnimg.cn/img_convert/bccbf135098aa85f6b21ba0a32d83725.png
[e0a3273596c5655ff494cf5c0f897f48.png]: https://img-blog.csdnimg.cn/img_convert/e0a3273596c5655ff494cf5c0f897f48.png
[9af7cbecd0d5bbddf8be285939402100.png]: https://img-blog.csdnimg.cn/img_convert/9af7cbecd0d5bbddf8be285939402100.png
[433b78dccd9cda5a02dc6b92d8ff2bd2.png]: https://img-blog.csdnimg.cn/img_convert/433b78dccd9cda5a02dc6b92d8ff2bd2.png
[86423087632f9e236db508e1db979f46.png]: https://img-blog.csdnimg.cn/img_convert/86423087632f9e236db508e1db979f46.png
[615cf855143991f2801e998573105f2c.png]: https://img-blog.csdnimg.cn/img_convert/615cf855143991f2801e998573105f2c.png
[959a5fa61a5368aa77b2aded0241a10c.png]: https://img-blog.csdnimg.cn/img_convert/959a5fa61a5368aa77b2aded0241a10c.png
[e8205066b87c9f348dbd146e418ccf6c.png]: https://img-blog.csdnimg.cn/img_convert/e8205066b87c9f348dbd146e418ccf6c.png
[a81d3ba398c9c861f900f8f07c7fb8b7.png]: https://img-blog.csdnimg.cn/img_convert/a81d3ba398c9c861f900f8f07c7fb8b7.png
[38850913a415a25c86e9828990026692.png]: https://img-blog.csdnimg.cn/img_convert/38850913a415a25c86e9828990026692.png
[922c6ab553c2348d6983c64eb67e80f0.png]: https://img-blog.csdnimg.cn/img_convert/922c6ab553c2348d6983c64eb67e80f0.png
[8a8146f9473c6b14ac328ba449c5512e.png]: https://img-blog.csdnimg.cn/img_convert/8a8146f9473c6b14ac328ba449c5512e.png
[2d7ff72be3cb06b86ad144938b38938c.png]: https://img-blog.csdnimg.cn/img_convert/2d7ff72be3cb06b86ad144938b38938c.png
[ef37deaea56ace5d02ffea3c20f9502a.png]: https://img-blog.csdnimg.cn/img_convert/ef37deaea56ace5d02ffea3c20f9502a.png
[cbf8c39275fa50ae43c3a8f6e986eb79.png]: https://img-blog.csdnimg.cn/img_convert/cbf8c39275fa50ae43c3a8f6e986eb79.png
[b306141cec884cc58de20a5b9ae72f41.jpeg]: https://img-blog.csdnimg.cn/b306141cec884cc58de20a5b9ae72f41.jpeg