Java高并发编程（八）：Java并发容器和框架

我就是我 2022-04-01 04:14 198阅读 0赞

# 1. ConcurrentHashMap #

## 1.1 ConcurrentHashMap的优势 ##

在并发编程中使用HashMap可能导致程序死循环。而使用线程安全的HashTable效率又非  
常低下，基于以上两个原因，便有了ConcurrentHashMap的登场机会。

> 1.  线程不安全的HashMap: 在多线程环境下，使用HashMap进行put操作会引起死循环，导致CPU利用率接近100%，所以在并发情况下不能使用HashMap。HashMap在并发执行put操作时会引起死循环，是因为多线程会导致HashMap的Entry链表形成环形数据结构
> 2.  效率低下的HashTable。HashTable容器使用synchronized来保证线程安全，但在线程竞争激烈的情况下HashTable的效率非常低下。
> 3.  ConcurrentHashMap的锁分段技术可有效提升并发访问率。假如容器里有多把锁，每一把锁用于锁容器其中一部分数据，那么当多线程访问容器里不同数据段的数据时，线程间就不会存在锁竞争，从而可以有效提高并发访问效率。

## 1.2 ConcurrentHashMap的结构 ##

ConcurrentHashMap是由Segment数组结构和HashEntry数组结构组成。

> 1.  Segment：是一种可重入锁（ReentrantLock），在ConcurrentHashMap里扮演锁的角色。
> 2.  HashEntry：用于存储数据。

ConcurrentHashMap类图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70]

ConcurrentHashMap结构图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70 1]

## 1.3 ConcurrentHashMap初始化 ##

ConcurrentHashMap初始化方法是通过initialCapacity、loadFactor、concurrencyLevel等几个参数来初始化segment数组、段偏移量segmentShift、段掩码segmentMask和每个segment里的HashEntry数组来实现的。

### 1.3.1 初始化segments数组 ###

if (concurrencyLevel > MAX_SEGMENTS)
        concurrencyLevel = MAX_SEGMENTS;
        int sshift = 0;
        int ssize = 1;
        while (ssize < concurrencyLevel) { 
            ++sshift;
            ssize <<= 1;
    }
    segmentShift = 32 - sshift;
    segmentMask = ssize - 1;
    this.segments = Segment.newArray(ssize);

由上面的代码可知，segments数组的长度ssize是通过concurrencyLevel计算得出的。为了能通过按位与的散列算法来定位segments数组的索引，必须保证segments数组的长度是2的N次方（power-of-two size），所以必须计算出一个大于或等于concurrencyLevel的最小的2的N次方值来作为segments数组的长度。

### 1.3.2 初始化segmentShift和segmentMask ###

这两个全局变量需要在定位segment时的散列算法里使用，sshift等于ssize从1向左移位的  
次数，在默认情况下concurrencyLevel等于16，1需要向左移位移动4次，所以sshift等于4。segmentShift用于定位参与散列运算的位数，segmentShift等于32减sshift，所以等于28.

segmentMask是散列运算的掩码，等于ssize减1，即15，掩码的二进制各个位的值都是1。

### 1.3.3 初始化每个segment ###

初始化每个segment输入参数initialCapacity是ConcurrentHashMap的初始化容量，loadfactor是每个segment的负载因子。负载因子=尺寸/容量 Size/Capacity

if (initialCapacity > MAXIMUM_CAPACITY)
        initialCapacity = MAXIMUM_CAPACITY;
        int c = initialCapacity / ssize;
        if (c * ssize < initialCapacity)
            ++c;
        int cap = 1;
        while (cap < c)
            cap <<= 1;
        for (int i = 0; i < this.segments.length; ++i)
            this.segments[i] = new Segment<K,V>(cap, loadFactor);

上面代码中的变量cap就是segment里HashEntry数组的长度，它等于initialCapacity除以ssize的倍数c，如果c大于1，就会取大于等于c的2的N次方值，所以cap不是1，就是2的N次方。segment的容量threshold＝（int）cap\*loadFactor

### 1.3.4 定位Segment ###

既然ConcurrentHashMap使用分段锁Segment来保护不同段的数据，那么在插入和获取元素  
的时候，必须先通过散列算法定位到Segment。可以看到ConcurrentHashMap会首先使用  
Wang/Jenkins hash的变种算法对元素的hashCode进行一次再散列。

## 1.4 ConcurrentHashMap的操作 ##

### 1.4.1 get操作 ###

Segment的get操作实现非常简单和高效。先经过一次再散列，然后使用这个散列值通过散  
列运算定位到Segment，再通过散列算法定位到元素。

public V get(Object key) { 
        int hash = hash(key.hashCode());
        return segmentFor(hash).get(key, hash);
    }

get操作的高效之处在于整个get过程不需要加锁。原因是它的get方法里将要使用的共享变量都定义成volatile类型，如用于统计当前Segement大小的count字段和用于存储值的HashEntry的value。定义成volatile的变量，能够在线程之间保持可见性，能够被多线程同时读，并且保证不会读到过期的值，但是只能被单线程写（有一种情况可以被多线程写，就是写入的值不依赖于原值），在get操作里只需要读不需要写共享变量count和value，所以可以不用加锁。**并且get操作还不会获取过期的值，是因为根据Java内存模型的happen before原则，对volatile字段的写入操作先于读操作，即使两个线程同时修改和获取volatile变量，get操作也能拿到最新的值，**

### 1.4.2 put操作 ###

由于put方法里需要对共享变量进行写入操作，所以为了线程安全，在操作共享变量时必  
须加锁。put方法首先定位到Segment，然后在Segment里进行插入操作。插入操作需要经历两个步骤，第一步判断是否需要对Segment里的HashEntry数组进行扩容，第二步定位添加元素的位置，然后将其放在HashEntry数组里。

> 1.  是否需要扩容：在插入元素前会先判断Segment里的HashEntry数组是否超过容量（threshold），如果超过阈值，则对数组进行扩容。
> 2.  如何扩容：在扩容的时候，首先会创建一个容量是原来容量两倍的数组，然后将原数组里的元素进行再散列后插入到新的数组里。为了高效，ConcurrentHashMap不会对整个容器进行扩容，而只对某个segment进行扩容。

### 1.4.3 size操作 ###

虽然相加时可以获取每个Segment的count的最新值，但是可能累加前使用的count发生了变化，那么统计结果就不准了。所以，最安全的做法是在统计size的时候把所有Segment的put、remove和clean方法全部锁住，但是这种做法显然非常低效。

解决方案：

> 在累加count操作过程中，之前累加过的count发生变化的几率非常小，所以ConcurrentHashMap的做法是先尝试2次通过不锁住Segment的方式来统计各个Segment大小，如果统计的过程中，容器的count发生了变化，则再采用加锁的方式来统计所有Segment的大小。ConcurrentHashMap使用modCount变量，在put、remove和clean方法里操作元素前都会将变量modCount进行加1，那么在统计size前后比较modCount是否发生变化，从而得知容器的大小是否发生变化。

# 2. ConcurrentLinkedQueue #

如果要实现一个线程安全的队列有两种方式：

> 1.  阻塞方式：可以用一个锁（入队和出队用同一把锁）或两个锁（入队和出队用不同的锁）等方式来实现。
> 2.  非阻塞方式：可以使用循环CAS的方式来实现

ConcurrentLinkedQueue是一个基于链接节点的无界线程安全队列，它采用先进先出的规则对节点进行排序，当我们添加一个元素的时候，它会添加到队列的尾部；当我们获取一个元素时，它会返回队列头部的元素。它采用了“wait-free”算法（即CAS算法）来实现。

## 2.1 ConcurrentLinkedQueue结构图 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70 2]

## 2.2 入队列 ##

**入队列就是将入队节点添加到队列的尾部。**

ConcurrentLinkedQueue如队列主要是做两件事情：

> 1.  第一是将入队节点设置成当前队列尾节点的下一个节点；
> 2.  第二是更新tail节点，如果tail节点的next节点不为空，则将入队节点设置成tail节点，如果tail节点的next节点为空，则将入队节点设置成tail的next节点

public boolean offer(E e) { 
            //判断元素e是否为null
            checkNotNull(e);
            入队前，创建一个入队节点
            final Node<E> newNode = new Node<E>(e);
    
            // 创建一个指向tail节点的引用
            // p用来表示队列的尾节点，默认情况下等于tail节点。
            for (Node<E> t = tail, p = t;;) { 
                //获取p节点的next节点 q
                Node<E> q = p.next;
                if (q == null) { 
                    //如q为null，说明p是尾节点。这个时候找到了尾节点，现在添加入队节点
                    // p is last node
                    //使用casNext将入队节点设置为尾节点的next节点。首先判断p的next节点是否为null。如果为null则设置newNode为p的next节点。如果不为null则返回false。
                    if (p.casNext(null, newNode)) { 
                        // Successful CAS is the linearization point
                        // for e to become an element of this queue,
                        // and for newNode to become "live".
                        // 如果尾节点p和t不相等，说明同一时刻有其他线程更新了尾节点，则需要将当前节点设置为tail节点。
                        if (p != t) // hop two nodes at a time
                            casTail(t, newNode);  // Failure is OK.
                        return true;
                    }
                    // Lost CAS race to another thread; re-read next
                }
                else if (p == q)
                    // We have fallen off list. If tail is unchanged, it
                    // will also be off-list, in which case we need to
                    // jump to head, from which all live nodes are always
                    // reachable. Else the new tail is a better bet.
                    p = (t != (t = tail)) ? t : head;
                else
                    // Check for tail updates after two hops.
                    p = (p != t && t != (t = tail)) ? t : q;
            }
        }

从源代码角度来看，整个入队过程主要做两件事情：第一是定位出尾节点；第二是使用  
CAS算法将入队节点设置成尾节点的next节点，如不成功则重试。

## 2.3 出队列 ##

出队列的就是从队列里返回一个节点元素，并清空该节点对元素的引用。

从图中可知，并不是每次出队时都更新head节点，当head节点里有元素时，直接弹出head节点里的元素，而不会更新head节点。只有当head节点里没有元素时，出队操作才会更新head节点。这种做法也是通过hops变量来减少使用CAS更新head节点的消耗，从而提高出队效率。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70 3]

public E poll() { 
            restartFromHead:
            for (;;) { 
                //p表示head节点，需要出对的节点
                for (Node<E> h = head, p = h, q;;) { 
                    //获取p节点的元素
                    E item = p.item;
    
                    // 如果p节点的元素不为空，使用CAS设置p节点引用的元素为null,
                    // 如果成功则返回p节点的元素。
                    if (item != null && p.casItem(item, null)) { 
                        // Successful CAS is the linearization point
                        // for item to be removed from this queue.
                        将p节点下一个节点设置成head节点
                        if (p != h) // hop two nodes at a time
                            updateHead(h, ((q = p.next) != null) ? q : p);
                        return item;
                    }
                    如果p的下一个节点也为空，说明这个队列已经空了
                    else if ((q = p.next) == null) { 
                        //更新头节点
                        updateHead(h, p);
                        return null;
                    }
                    else if (p == q)
                        continue restartFromHead;
                    else
                        p = q;
                }
            }
        }

首先获取头节点的元素，然后判断头节点元素是否为空，如果为空，表示另外一个线程已  
经进行了一次出队操作将该节点的元素取走，如果不为空，则使用CAS的方式将头节点的引  
用设置成null，如果CAS成功，则直接返回头节点的元素，如果不成功，表示另外一个线程已经进行了一次出队操作更新了head节点，导致元素发生了变化，需要重新获取头节点。

# 3. Java中阻塞队列 #

## 3.1 阻塞队列 ##

阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作支持阻塞  
的插入和移除方法。

> 1.  支持阻塞的插入方法：意思是当队列满时，队列会阻塞插入元素的线程，直到队列不  
>     满。
> 2.  支持阻塞的移除方法：意思是在队列为空时，获取元素的线程会等待队列变为非空。

Java中的阻塞队列提供了以下四种操作方式：

![在这里插入图片描述][20181229102205782.png]

*  抛出异常：当队列满时，如果再往队列里插入元素，会抛出IllegalStateException（“Queuefull”）异常。当队列空时，从队列里获取元素会抛出NoSuchElementException异常。
 *  返回特殊值：当往队列插入元素时，会返回元素是否插入成功，成功返回true。如果是移  
    除方法，则是从队列里取出一个元素，如果没有则返回null。
 *  一直阻塞：当阻塞队列满时，如果生产者线程往队列里put元素，队列会一直阻塞生产者  
    线程，直到队列可用或者响应中断退出。当队列空时，如果消费者线程从队列里take元素，队列会阻塞住消费者线程，直到队列不为空。
 *  超时退出：当阻塞队列满时，如果生产者线程往队列里插入元素，队列会阻塞生产者线程  
    一段时间，如果超过了指定的时间，生产者线程就会退出。

## 3.2 Java中的阻塞队列 ##

### 3.2.1 ArrayBlockingQueue ###

ArrayBlockingQueue是一个用数组实现的有界阻塞队列。此队列按照先进先出（FIFO）的原则对元素进行排序。默认情况下不保证线程公平的访问队列，所谓公平访问队列是指阻塞的线程，可以按照阻塞的先后顺序访问队列，即先阻塞线程先访问队列。

public class ArrayblockingQueueTest { 
        public static void main(String[] args) { 
            ArrayBlockingQueue<Integer> queue=new ArrayBlockingQueue<Integer>(5);
            new Thread(new Runnable() { 
                @Override
                public void run() { 
                    int count=1;
                    while (true){ 
                        try { 
                            queue.put(count++);
                        } catch (InterruptedException e) { 
                            e.printStackTrace();
                        }
                        System.out.println("添加元素成功："+count);
                    }
                }
            }).start();
            
            new Thread(new Runnable() { 
                @Override
                public void run() { 
                    while (true){ 
                        Integer remove = null;
                        try { 
                            remove = queue.take();
                        } catch (InterruptedException e) { 
                            e.printStackTrace();
                        }
                        System.out.println("remove元素成功："+remove);
                    }
                }
            }).start();
        }
    }

### 3.2.2 LinkedBlockingQueue ###

LinkedBlockingQueue是一个用链表实现的有界阻塞队列。此队列的默认和最大长度为  
Integer.MAX\_VALUE。此队列按照先进先出的原则对元素进行排序。

public class LinkedblockingQueueTest { 
        public static void main(String[] args) { 
            LinkedBlockingQueue<Integer> queue=new LinkedBlockingQueue<Integer>(5);
            new Thread(new Runnable() { 
                @Override
                public void run() { 
                    int count=1;
                    while (true){ 
                        try { 
                            queue.put(count++);
                        } catch (InterruptedException e) { 
                            e.printStackTrace();
                        }
                        System.out.println("添加元素成功："+count);
                    }
                }
            }).start();
    
            new Thread(new Runnable() { 
                @Override
                public void run() { 
                    while (true){ 
                        Integer remove = null;
                        try { 
                            remove = queue.take();
                        } catch (InterruptedException e) { 
                            e.printStackTrace();
                        }
                        System.out.println("remove元素成功："+remove);
                    }
                }
            }).start();
        }
    }

### 3.3.3 PriorityBlockingQueue ###

PriorityBlockingQueue是一个支持优先级的无界阻塞队列。默认情况下元素采取自然顺序  
升序排列。也可以自定义类实现compareTo()方法来指定元素排序规则，或者初始化  
PriorityBlockingQueue时，指定构造参数Comparator来对元素进行排序。需要注意的是不能保证同优先级元素的顺序。

public class PriorityBlockingQueueTest { 
        //支持优先级的无界队列，可以不断的put因为支持扩容。但是当队列元素为空时，get操作就会阻塞。
        public static PriorityBlockingQueue<User> queue = new PriorityBlockingQueue<User>(3);
    
        public static void main(String[] args) { 
            queue.put(new User(1,"wu"));
            queue.put(new User(5,"wu5"));
            queue.put(new User(23,"wu23"));
            queue.put(new User(55,"wu55"));
            queue.put(new User(9,"wu9"));
            queue.put(new User(3,"wu3"));
            for (User user : queue) { 
                try { 
                    System.out.println(queue.take().name);
                } catch (InterruptedException e) { 
                    e.printStackTrace();
                }
            }
    
            try { 
                User user = queue.take();
                System.out.println(user);
            } catch (InterruptedException e) { 
    
            }
        }
    
        //静态内部类
        static class User implements Comparable<User>{ 
    
            public User(int age,String name) { 
                this.age = age;
                this.name = name;
            }
    
            int age;
            String name;
    
            /** * 排序 o this * this compareTo o * @param o * @return */
            @Override
            public int compareTo(User o) { 
                return this.age > o.age ? 1 : -1;
            }
        }
    }

### 3.3.4 DelayQueue ###

DelayQueue是一个支持延时获取元素的无界阻塞队列。队列使用PriorityQueue来实现。队  
列中的元素必须实现Delayed接口，在创建元素时可以指定多久才能从队列中获取当前元素。只有在延迟期满时才能从队列中提取元素。

DelayQueue运用场景：

> 1.  缓存系统的设计：可以用DelayQueue保存缓存元素的有效期，使用一个线程循环查询  
>     DelayQueue，一旦能从DelayQueue中获取元素时，表示缓存有效期到了。
> 2.  定时任务调度：使用DelayQueue保存当天将会执行的任务和执行时间，一旦从  
>     DelayQueue中获取到任务就开始执行，比如TimerQueue就是使用DelayQueue实现的。

public class DelayedQueueTest { 
        public static void main(String[] args) { 
            DelayQueue<DelayTask> queue = new DelayQueue<>();
            queue.add(new DelayTask("1", new Date()));
            queue.add(new DelayTask("2", new Date(System.currentTimeMillis()+5000)));
            queue.add(new DelayTask("3", new Date(System.currentTimeMillis()+1000)));
            queue.add(new DelayTask("4", new Date(System.currentTimeMillis()+2000)));
    
            System.out.println("queue put done");
    
            while(!queue.isEmpty()) { 
                try { 
                    DelayTask task = queue.take();
                    System.out.println(task.name + ":" + System.currentTimeMillis());
    
                } catch (InterruptedException e) { 
                    e.printStackTrace();
                }
            }
        }
    
        static class DelayTask implements Delayed { 
            private String name;
    
            private Date taskTime;
    
    
            public DelayTask(String name, Date  taskTime) { 
                this.name = name;
                this.taskTime = taskTime;
            }
    
            @Override
            public int compareTo( Delayed o) { 
                DelayTask delayTask = (DelayTask) o;
                long diff = taskTime.getTime() - delayTask.getTaskTime().getTime();
                if (diff > 0) { 
                    return 1;
                } else if (diff == 0) { 
                    return 0;
                } else { 
                    return -1;
                }
            }
    
            @Override
            public long getDelay(TimeUnit unit) { 
                return unit.convert(taskTime.getTime() - System.currentTimeMillis(), TimeUnit.MILLISECONDS);
            }
    
    
            public String getName() { 
                return name;
            }
    
            public void setName(String name) { 
                this.name = name;
            }
    
            public Date getTaskTime() { 
                return taskTime;
            }
    
            public void setTaskTime(Date taskTime) { 
                this.taskTime = taskTime;
            }
        }
    }
    
    运行结果：
    queue put done
    1:1546048299863
    3:1546048300864
    4:1546048301863
    2:1546048304862

### 3.3.5 SynchronousQueue ###

SynchronousQueue是一个不存储元素的阻塞队列。每一个put操作必须等待一个take操作，  
否则不能继续添加元素。

它支持公平访问队列。默认情况下线程采用非公平性策略访问队列。使用以下构造方法  
可以创建公平性访问的SynchronousQueue，如果设置为true，则等待的线程会采用先进先出的顺序访问队列。

public SynchronousQueue(boolean fair) { 
        transferer = fair new TransferQueue() : new TransferStack();
    }

public class SynchronousQueueTest { 
        public static void main(String[] args) throws InterruptedException { 
            SynchronousQueue<Integer> synchronousQueue=new SynchronousQueue<>();
            new Thread(new Runnable() { 
                @Override
                public void run() { 
                    try { 
                        Thread.sleep(1000);
                        synchronousQueue.take();
                        Thread.sleep(1000);
                        synchronousQueue.take();
                        Thread.sleep(1000);
                        synchronousQueue.take();
                        Thread.sleep(1000);
                        synchronousQueue.take();
                    } catch (InterruptedException e) { 
                        e.printStackTrace();
                    }
                }
            }).start();
            synchronousQueue.put(1);
            System.out.println("1");
            synchronousQueue.put(2);
            System.out.println("2");
            synchronousQueue.put(3);
            System.out.println("3");
            synchronousQueue.put(4);
            System.out.println("4");
    
        }
    }
    运行结果：
    1
    2
    3
    4

### 3.3.6 LinkedTransferQueue ###

LinkedTransferQueue是一个由链表结构组成的无界阻塞TransferQueue队列。相对于其他阻塞队列，LinkedTransferQueue多了tryTransfer和transfer方法。

> 1.  transfer方法: 如果当前有消费者正在等待接收元素（消费者使用take()方法或带时间限制的poll()方法时），transfer方法可以把生产者传入的元素立刻transfer（传输）给消费者。如果没有消费者在等待接收元素，transfer方法会将元素存放在队列的tail节点，并等到该元素被消费者消费了才返回。
> 2.  tryTransfer方法: tryTransfer方法是用来试探生产者传入的元素是否能直接传给消费者。如果没有消费者等待接收元素，则返回false。和transfer方法的区别是tryTransfer方法无论消费者是否接收，方法立即返回，而transfer方法是必须等到消费者消费了才返回。

public class LinkedTransferQueueTest { 
        public static void main(String[] args) { 
            LinkedTransferQueue<Integer> queue=new LinkedTransferQueue<Integer>();
    
            new Thread(new Runnable() { 
                @Override
                public void run() { 
                    while (true){ 
                        Integer remove = null;
                        try { 
                            remove = queue.take();
                        } catch (InterruptedException e) { 
                            e.printStackTrace();
                        }
                        System.out.println("remove元素成功："+remove);
                    }
                }
            }).start();
    
            new Thread(new Runnable() { 
                @Override
                public void run() { 
                    try { 
                        Thread.sleep(1000);
                        boolean b = queue.tryTransfer(20);
                        System.out.println(b);
    
                        queue.transfer(100);
                    } catch (InterruptedException e) { 
                        e.printStackTrace();
                    }
                }
            }).start();
        }
    }

### 3.3.7 LinkedBlockingDeque ###

LinkedBlockingDeque是一个由链表结构组成的双向阻塞队列。所谓双向队列指的是可以  
从队列的两端插入和移出元素。双向队列因为多了一个操作队列的入口，在多线程同时入队  
时，也就减少了一半的竞争。相比其他的阻塞队列，LinkedBlockingDeque多addFirst、addLast、offerFirst、offerLast、peekFirst和peekLast等方法。

LinkedBlockingDeque基于双向链表实现的阻塞队列，根据构造传入的容量大小决定有界还是无界，默认不传的话，大小Integer.Max。

public class LinkedBlockingDequeTest { 
        public static void main(String[] args) { 
            LinkedBlockingDeque<Integer> queue=new LinkedBlockingDeque<Integer>(5);
            new Thread(new Runnable() { 
                @Override
                public void run() { 
                    int count=1;
                    while (true){ 
                        try { 
                            queue.putFirst(count++);
                        } catch (InterruptedException e) { 
                            e.printStackTrace();
                        }
                        System.out.println("添加元素成功："+count);
                    }
                }
            }).start();
    
            new Thread(new Runnable() { 
                @Override
                public void run() { 
                    while (true){ 
                        Integer remove = null;
                        try { 
                            remove = queue.takeLast();
                        } catch (InterruptedException e) { 
                            e.printStackTrace();
                        }
                        System.out.println("remove元素成功："+remove);
                    }
                }
            }).start();
        }
    }

# 4. Fork/Join框架 #

Fork/Join框架是Java 7提供的一个用于并行执行任务的框架，是一个把大任务分割成若干  
个小任务，最终汇总每个小任务结果后得到大任务结果的框架。

Fork/Join框架的流程图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70 4]

## 4.1 工作窃取算法 ##

工作窃取（work-stealing）算法是指某个线程从其他队列里窃取任务来执行。假如我们需要做一个比较大的任务，可以把这个任务分割为若干互不依赖的子任务，为了减少线程间的竞争，把这些子任务分别放到不同的队列里，并为每个队列创建一个单独的线程来执行队列里的任务，线程和队列一一对应。比如A线程负责处理A队列里的任务。但是，有的线程会先把自己队列里的任务干完，而其他线程对应的队列里还有任务等待处理。干完活的线程与其等着，不如去帮其他线程干活，于是它就去其他线程的队列里窃取一个任务来执行

工作窃取算法流程图：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70 5]

>  *  工作窃取算法的优点：充分利用线程进行并行计算，减少了线程间的竞争。
>  *  工作窃取算法的缺点：在某些情况下还是存在竞争，比如双端队列里只有一个任务时。并且该算法会消耗了更多的系统资源，比如创建多个线程和多个双端队列。

## 4.2 Fork/Join框架的设计 ##

1.  步骤1　分割任务。首先我们需要有一个fork类来把大任务分割成子任务，有可能子任务还是很大，所以还需要不停地分割，直到分割出的子任务足够小。
2.  步骤2　执行任务并合并结果。分割的子任务分别放在双端队列里，然后几个启动线程分别从双端队列里获取任务执行。子任务执行完的结果都统一放在一个队列里，启动一个线程从队列里拿数据，然后合并这些数据。

## 4.3 Fork/Join框架使用 ##

public class CountTask extends RecursiveTask<Integer> { 
    
        private static final int THRESHOLD = 2; // 阈值
        private int              start;
        private int              end;
    
        public CountTask(int start, int end) { 
            this.start = start;
            this.end = end;
        }
    
        @Override
        protected Integer compute() { 
            int sum = 0;
    
            // 如果任务足够小就计算任务
            boolean canCompute = (end - start) <= THRESHOLD;
            if (canCompute) { 
                for (int i = start; i <= end; i++) { 
                    sum += i;
                }
            } else { 
                // 如果任务大于阈值，就分裂成两个子任务计算
                int middle = (start + end) / 2;
                CountTask leftTask = new CountTask(start, middle);
                CountTask rightTask = new CountTask(middle + 1, end);
                //执行子任务
                leftTask.fork();
                rightTask.fork();
                //等待子任务执行完，并得到其结果
                int leftResult = leftTask.join();
                int rightResult = rightTask.join();
                //合并子任务
                sum = leftResult + rightResult;
            }
            return sum;
        }
    
        public static void main(String[] args) { 
            ForkJoinPool forkJoinPool = new ForkJoinPool();
            // 生成一个计算任务，负责计算1+2+3+4
            CountTask task = new CountTask(1, 4);
            // 执行一个任务
            Future<Integer> result = forkJoinPool.submit(task);
            try { 
                System.out.println(result.get());
            } catch (InterruptedException e) { 
            } catch (ExecutionException e) { 
            }
        }
    
    }

## 4.4 Fork/Join框架的异常处理 ##

ForkJoinTask提供了isCompletedAbnormally()方法来检查任务是否已经抛出异常或已经被取消

if(task.isCompletedAbnormally())
    { 
        System.out.println(task.getException());
    }

## 4.5 Fork/Join框架的实现原理 ##

ForkJoinPool由ForkJoinTask数组和ForkJoinWorkerThread数组组成，ForkJoinTask数组负责将存放程序提交给ForkJoinPool的任务，而ForkJoinWorkerThread数组负责执行这些任务。

### 4.5.1 ForkJoinTask的fork方法实现原理 ###

我们调用ForkJoinTask的fork方法时，程序会调用ForkJoinWorkerThread的pushTask方法异步地执行这个任务，然后立即返回结果。

public final ForkJoinTask<V> fork() { 
        ((ForkJoinWorkerThread) Thread.currentThread())
        .pushTask(this);
        return this;
    }

pushTask方法把当前任务存放在ForkJoinTask数组队列里。然后再调用ForkJoinPool的  
signalWork()方法唤醒或创建一个工作线程来执行任务.

final void pushTask(ForkJoinTask<> t) { 
        ForkJoinTask<>[] q; int s, m;
        if ((q = queue) != null) { 　　　　// ignore if queue removed
        long u = (((s = queueTop) & (m = q.length - 1)) << ASHIFT) + ABASE;
        UNSAFE.putOrderedObject(q, u, t);
        queueTop = s + 1;　　　　　　// or use putOrderedInt
        if ((s -= queueBase) <= 2)
            pool.signalWork();
        else if (s == m)
            growQueue();
        }
    }

### 4.5.2 ForkJoinTask的join方法实现原理 ###

Join方法的主要作用是阻塞当前线程并等待获取结果。让我们一起看看ForkJoinTask的join方法的实现。

在doJoin()方法里，首先通过查看任务的状态，看任务是否已经执行完成，如果执行完成，则直接返回任务状态；如果没有执行完，则从任务数组里取出任务并执行。如果任务顺利执行完成，则设置任务状态为NORMAL，如果出现异常，则记录异常，并将任务状态设置为EXCEPTIONAL。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70]: /images/20220401/02ac0bfc9e27415494ce0f912e9e855f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70 1]: /images/20220401/02d3a82b3fe44a40ae8b3415bb1dd0a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70 2]: /images/20220401/1ed423070276470f91e1c54b630ea6d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70 3]: /images/20220401/1e96ec70ec0d441abacbd37789a4a0cc.png
[20181229102205782.png]: /images/20220401/31fc65a48fa44679b155c702ef2c3ecc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70 4]: /images/20220401/1c3d8565c94543e8bb36cfa17e30cd51.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTI1MTgz_size_16_color_FFFFFF_t_70 5]: /images/20220401/4ee5f50a4cc54e499135e5c69d6ce9fb.png