并发编程问题

拼搏现实的明天。 2023-01-05 03:37 170阅读 0赞

并发编程的目的是为了让程序运行得更快，但并不是启动更多的线程就能让程序最大限度并发执行。因为这里涉及到上下文切换问题，死锁问题，及受限于硬件和软件的资源限制问题。

#  1. 上下文切换 #

即使是单核处理器也支持多线程执行代码，CPU通过给每个线程分配CPU时间片来实现这个机制。时间片是CPU分配给各个线程的时间，因为时间片非常短，所以CPU通过不停地切换线程执行，让我们感觉多个线程是同时执行的，时间片一般是几十毫秒（ms).

CPU通过时间片分配算法来循环执行任务，当前任务执行一个时间片后会切换到下一个任务。但是，在切换前会保存上一个任务的状态，以便下次切换回这个任务时，可以再加载这个任务的状态。所以任务从保存到再加载的过程就是一次上下文切换。

这样频繁的上下文切换会影响多线程的执行速度.

##   1.1 下面测试串行和并发执行并累加操作的时间.  ##

/**
     * 并发和单线程执行测试
     */
    public class ConcurrencyTest {
    
        /** 执行次数 */
        private static final long count = 10000L;
    
        public static void main(String[] args) throws InterruptedException {
            //并发计算
            concurrency();
            //单线程计算
            serial();
        }
    
        private static void concurrency() throws InterruptedException {
            long start = System.currentTimeMillis();
            Thread thread = new Thread(new Runnable() {
                @Override
                public void run() {
                    int a = 0;
                    for (long i = 0; i < count; i++) {    //执行累加操作
                        a += 5;
                    }
                    System.out.println(a);
                }
            });
            thread.start();  //启动新线程  ,注意此时 新线程与下面的代码 b--  是同时运行的
            int b = 0;
            for (long i = 0; i < count; i++) {
                b--;
            }
            //为什么这里要用   join()呢? 请看解释
            thread.join();
            long time = System.currentTimeMillis() - start;
            System.out.println("concurrency :" + time + "ms,b=" + b);   //并行性能
        }
    
        private static void serial() {
            long start = System.currentTimeMillis();
            int a = 0;
            for (long i = 0; i < count; i++) {   //执行累加操作
                a += 5;
            }
            int b = 0;
            for (long i = 0; i < count; i++) {
                b--;
            }
            long time = System.currentTimeMillis() - start;
            System.out.println("serial:" + time + "ms,b=" + b + ",a=" + a);   //串行性能
        }
    
    }

解释:   为什么要用 thread.join()?  
     在很多情况下，主线程创建并启动子线程，如果子线程中要进行大量的耗时运算, 主线程将可能早于子线程结束。如果主线程需要知道子线程的执行结果时，就需要等待子线程执行结束了。  
主线程可以sleep(xx),但这样的睡眠的 xx时间参数值不好确定，因为子线程的执行时间不确定，join()方法比较合适这个场景。当在主线程中调用thread.join(),则主线程需要等待（阻塞），等待子线程结束了,才能继续执行. thread.join()之后的代码块它会等子线程运行完后才向下运行.

我们可以修改 count的值为 10000,  100w, 1000w分别测试，可以发现，当并发执行累加操作不超过100W次时，速度会比串行执行累加操作要慢，这是因为线程有创建和上下文切换的开销.

## 1.2 测试上下文切换次数和时长 ##

以下以阿里云中的ECS服务器为例，系统环境: ubuntu

*     可以使用 Lmbench3测量上下文切换的时长.   
     参考:   [https://blog.csdn.net/yuyin86/article/details/17406345][https_blog.csdn.net_yuyin86_article_details_17406345]          
                [https://blog.csdn.net/weixin\_44473210/article/details/110247755  
    下载安装 Lmbench3][https_blog.csdn.net_weixin_44473210_article_details_110247755 _ Lmbench3]
    
        cd /usr
        mkdir software
        cd software
        wget http://www.bitmover.com/lmbench/lmbench3.tar.gz
        tar -zxvf lmbench3.tar.gz
        cd lmbench3
        mkdir SCCS
        touch ./SCCS/s.ChangeSet
        make
    
    运行测试
    
        make results         // 执行测试, 等待结果....
        make see             //查看测试结果
    
    make see命令可生成测试结果报告，它可以将测试数据/results/i686-pc-linux-gnu/目录下的文件导出为测试报告/results/summary.out文件，我们查看summary.out文件就可以看测试结果了。  
     
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5neWluZ2NoZW5ncWk_size_16_color_FFFFFF_t_70][]
    
    注意其中的context switch 中的数值. 
 *     可以使用vmstat测量上下文切换的次数.

vmstat 命令

vmstat 1

运行结果:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5neWluZ2NoZW5ncWk_size_16_color_FFFFFF_t_70 1][]

注意:   CS( content switch)  表示上下文切换的次数。

## 1.3 如何减少上下文切换.  ##

*  无锁并发编程。  多线程竞争锁时，会引起上下文切换，所以多线程处理数据时，可以用一些办法来避免使用锁，如将数据的ID按照Hash算法取模分段，不同的线程处理不同段的数据。
 *  CAS算法。        Java的Atomic包使用CAS算法来更新数据，而不需要加锁。
 *  使用最少线程。  避免创建不需要的线程，比如任务很少，但是创建了很多线程来处理，这样会造成大量线程都处于等待状态。
 *  协程                   在单线程里实现多任务的调度，并在单线程里维持多个任务间的切换。

# 2. 死锁 #

/**
     * 死锁例子
     */
    public class DeadLock {
    
        /** A锁 */
        private static String A = "A";
        /** B锁 */
        private static String B = "B";
    
        public static void main(String[] args) {
            new DeadLock().deadLock();
        }
    
        private void deadLock() {
            Thread t1 = new Thread(new Runnable() {
                @Override
                public void run() {
                    synchronized (A) {
                        try {
                            Thread.sleep(2000);
                        } catch (InterruptedException e) {
                            e.printStackTrace();
                        }
                        synchronized (B) {
                            System.out.println("1");
                        }
                    }
                }
            });
    
            Thread t2 = new Thread(new Runnable() {
                @Override
                public void run() {
                    synchronized (B) {
                        synchronized (A) {
                            System.out.println("2");
                        }
                    }
                }
            });
            t1.start();
            t2.start();
        }
    
    }

以上代码产生死锁后，可以通过dump线程来查看到底是哪个线程出了问题.  在IDEA中可以通过以下操作来查看dump结果.

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5neWluZ2NoZW5ncWk_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5neWluZ2NoZW5ncWk_size_16_color_FFFFFF_t_70 3][]

从以上信息可以判断出是哪一行阻塞了.

避免死锁的几个常见方法。

*  避免一个线程同时获取多个锁。
 *  避免一个线程在锁内同时占用多个资源，尽量保证每个锁只占用一个资源。
 *  尝试使用定时锁，使用lock.tryLock（timeout）来替代使用内部锁机制。
 *  对于数据库锁，加锁和解锁必须在一个数据库连接里，否则会出现解锁失败的情。

# 3. 资源限制 #

1）什么是资源限制  
资源限制是指在进行并发编程时，程序的执行速度受限于计算机硬件资源或软件资源。例如，服务器的带宽只有2Mb/s，某个资源的下载速度是1Mb/s每秒，系统启动10个线程下载资源，下载速度不会变成10Mb/s，所以在进行并发编程时，要考虑这些资源的限制。硬件资源限制有带宽的上传/下载速度、硬盘读写速度和CPU的处理速度。软件资源限制有数据库的连接数和socket连接数等。

2）资源限制引发的问题.     
在并发编程中，将代码执行速度加快的原则是将代码中串行执行的部分变成并发执行，但是如果将某段串行的代码并发执行，因为受限于资源，仍然在串行执行，这时候程序不仅不会加快执行，反而会更慢，因为增加了上下文切换和资源调度的时间。例如，一段程序使用多线程在办公网并发地下载和处理数据时，导致CPU利用率达到100%，几个小时都不能运行完成任务，后来修改成单线程，一个小时就执行完成.

3）如何解决资源限制的问题  
对于硬件资源限制，可以考虑使用集群并行执行程序。既然单机的资源有限制，那么就让程序在多机上运行。比如使用ODPS、Hadoop或者自己搭建服务器集群，不同的机器处理不同的数据。可以通过“数据ID%机器数”，计算得到一个机器编号，然后由对应编号的机器处理这笔数据。对于软件资源限制，可以考虑使用资源池将资源复用。比如使用连接池将数据库和Socket连接复用，或者在调用对方webservice接口获取数据时，只建立一个连接。

4）在资源限制情况下进行并发编程  
如何在资源限制的情况下，让程序执行得更快呢？方法就是，根据不同的资源限制调整程序的并发度，比如下载文件程序依赖于两个资源——带宽和硬盘读写速度。有数据库操作时，涉及数据库连接数，如果SQL语句执行非常快，而线程的数量比数据库连接数大很多，则某些线程会被阻塞，等待数据库连接。

[https_blog.csdn.net_yuyin86_article_details_17406345]: https://blog.csdn.net/yuyin86/article/details/17406345
[https_blog.csdn.net_weixin_44473210_article_details_110247755 _ Lmbench3]: https://blog.csdn.net/weixin_44473210/article/details/110247755
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5neWluZ2NoZW5ncWk_size_16_color_FFFFFF_t_70]: /images/20221119/26d961aed1aa4c1594d891fc2f066286.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5neWluZ2NoZW5ncWk_size_16_color_FFFFFF_t_70 1]: /images/20221119/0d239de405774af59650c7450a384b25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5neWluZ2NoZW5ncWk_size_16_color_FFFFFF_t_70 2]: /images/20221119/739b591cd355460e9ad81220f7682b54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5neWluZ2NoZW5ncWk_size_16_color_FFFFFF_t_70 3]: /images/20221119/c8e30bdd42434d5093600a0b61f6fc72.png