缓存行及内存补齐 padding

﹏ヽ暗。殇╰゛Y 2021-09-02 05:02 380阅读 0赞

缓存系统中是以缓存行（cache line）为单位存储的。缓存行是2的整数幂个连续字节，一般为32-256个字节。最常见的缓存行大小是64个字节。当多线程修改互相独立的变量时，如果这些变量共享同一个缓存行，就会无意中影响彼此的性能，这就是伪共享。缓存行上的写竞争是运行在SMP系统中并行线程实现可伸缩性最重要的限制因素。有人将伪共享描述成无声的性能杀手，因为从代码中很难看清楚是否会出现伪共享。

为了让可伸缩性与线程数呈线性关系，就必须确保不会有两个线程往同一个变量或缓存行中写。两个线程写同一个变量可以在代码中发现。为了确定互相独立的变量是否共享了同一个缓存行，就需要了解内存布局，或找个工具告诉我们。Intel VTune就是这样一个分析工具。本文中我将解释Java对象的内存布局以及我们该如何填充缓存行以避免伪共享。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o2OTE4Mzc4Nw_size_16_color_FFFFFF_t_70][]

图1说明了伪共享的问题。在核心1上运行的线程想更新变量X，同时核心2上的线程想要更新变量Y。不幸的是，这两个变量在同一个缓存行中。每个线程都要去竞争缓存行的所有权来更新变量。如果核心1获得了所有权，缓存子系统将会使核心2中对应的缓存行失效。当核心2获得了所有权然后执行更新操作，核心1就要使自己对应的缓存行失效。这会来来回回的经过L3缓存，大大影响了性能。如果互相竞争的核心位于不同的插槽，就要额外横跨插槽连接，问题可能更加严重。

Java内存布局(Java Memory Layout)

对于HotSpot JVM，所有对象都有两个字长的对象头。第一个字是由24位哈希码和8位标志位（如锁的状态或作为锁对象）组成的Mark Word。第二个字是对象所属类的引用。如果是数组对象还需要一个额外的字来存储数组的长度。每个对象的起始地址都对齐于8字节以提高性能。因此当封装对象的时候为了高效率，对象字段声明的顺序会被重排序成下列基于字节大小的顺序：

private static class ObjectA {  
            String str;  // 4  
            int i1; // 4  
            byte b1; // 1  
            byte b2; // 1  
            int i2;  // 4   
            ObjectB obj; //4  
            byte b3;  // 1  
    }

简单来说就是，从高到低排列后，可以将能凑齐8字节的属性匹配的更紧凑，防止出现以下情况

排序前：8(\_mark) + 4(oop指针) + 4(str) + 4(i1) + 1(b1) + 1(b2) + 2(padding) + 4(i2) + 4(obj) + 1(b3) + 7(padding) = 40 ?

排序后：8(\_mark) + 4(oop指针) + 4(i1) + + 4(i2) + 1(b1) + 1(b2) + 1(b3) + 1(padding) + 4(str) + 4(obj) = 32（减少8字节）

排序提升效率原理可看：[https://blog.csdn.net/z69183787/article/details/108681525][https_blog.csdn.net_z69183787_article_details_108681525]

1.  doubles (8) 和 longs (8)
2.  ints (4) 和 floats (4)
3.  shorts (2) 和 chars (2)
4.  booleans (1) 和 bytes (1)
5.  references (4/8)【--X:+UseCompressedOops 开启指针压缩4，不开启8，默认开启，jvm参数含义详解 [https://blog.csdn.net/a469517790/article/details/104916916/][https_blog.csdn.net_a469517790_article_details_104916916]】
6.  <子类字段重复上述顺序>

（译注：更多HotSpot虚拟机对象结构相关内容:[http://www.infoq.com/cn/articles/jvm-hotspot][http_www.infoq.com_cn_articles_jvm-hotspot]）

public final class FalseSharing
        implements Runnable
    {
        public final static int NUM_THREADS = 4; // change
        public final static long ITERATIONS = 500L * 1000L * 1000L;
        private final int arrayIndex;
    
        private static VolatileLong[] longs = new VolatileLong[NUM_THREADS];
        static
        {
            for (int i = 0; i < longs.length; i++)
            {
                longs[i] = new VolatileLong();
            }
        }
    
        public FalseSharing(final int arrayIndex)
        {
            this.arrayIndex = arrayIndex;
        }
    
        public static void main(final String[] args) throws Exception
        {
            final long start = System.nanoTime();
            runTest();
            System.out.println("duration = " + (System.nanoTime() - start));
        }
    
        private static void runTest() throws InterruptedException
        {
            Thread[] threads = new Thread[NUM_THREADS];
    
            for (int i = 0; i < threads.length; i++)
            {
                threads[i] = new Thread(new FalseSharing(i));
            }
    
            for (Thread t : threads)
            {
                t.start();
            }
    
            for (Thread t : threads)
            {
                t.join();
            }
        }
    
        public void run()
        {
            long i = ITERATIONS + 1;
            while (0 != --i)
            {
                longs[arrayIndex].value = i;
            }
        }
    
        public final static class VolatileLong
        {
            public volatile long value = 0L;
            public long p1, p2, p3, p4, p5, p6; // comment out
        }
    }

**解决方法：**

我们知道一条缓存行有64字节, 而Java程序的对象头固定占8字节(32位系统)或12字节(64位系统默认开启压缩, 不开压缩为16字节). 我们只需要填6个无用的长整型补上6\*8=48字节, 让不同的VolatileLong对象处于不同的缓存行, 就可以避免伪共享了(64位系统超过缓存行的64字节也无所谓,只要保证不同线程不要操作同一缓存行就可以)。这个办法叫做补齐(Padding)。

## Java8中的解决方案 ##

Java8中已经提供了官方的解决方案，Java8中新增了一个注解：@sun.misc.Contended。加上这个注解的类会自动补齐缓存行，需要注意的是此注解默认是无效的，需要在jvm启动时设置-XX:-RestrictContended才会生效。

## 伪共享解决方案 ##

在Java类中，**最优化的设计是考虑清楚哪些变量是不变的，哪些是经常变化的，哪些变化是完全相互独立的，哪些属性一起变化**。

举个例子：

public class Data{
        long modifyTime; //value的修改时间
        boolean flag;//标记
        long createTime;//创建时间
        char key ;//第一次创建就存在
        int value;
    }

假如业务场景中，上述的类满足以下几个特点：

1.    当value变量改变时，modifyTime肯定会改变
    2.    createTime变量和key变量在创建后，就不会再变化。
    3.    flag也经常会变化，不过与modifyTime和value变量毫无关联。

### JDK1.8之前解决方式-padding方式 ###

在JDK1.8以前，我们一般是在属性间增加长整型变量来分隔每一组属性。

被操作的每一组属性占的字节数加上前后填充属性所占的字节数，不小于一个cache line的字节数就可以达到要求：（通过填充变量，使不相关的变量分开）

public class DataPadding{
        long a1,a2,a3,a4,a5,a6,a7,a8;//防止与前一个对象产生伪共享
        int value;
        long modifyTime;
        long b1,b2,b3,b4,b5,b6,b7,b8;//防止不相关变量伪共享;
        boolean flag;
        long c1,c2,c3,c4,c5,c6,c7,c8;//
        long createTime;
        char key;
        long d1,d2,d3,d4,d5,d6,d7,d8;//防止与下一个对象产生伪共享
    }

### JDK1.8之后解决方式- Contended注解方式 ###

在JDK1.8中，新增了一种注解@sun.misc.Contended，来使各个变量在Cache line中分隔开。
    
    注意，jvm需要添加参数-XX:-RestrictContended才能开启此功能 
    用时，可以在类前或属性前加上此注释：

// 类前加上代表整个类的每个变量都会在单独的cache line中
    @sun.misc.Contended
    @SuppressWarnings("restriction")
    public class ContendedData {
        int value;
        long modifyTime;
        boolean flag;
        long createTime;
        char key;
    }
        
    或者这种：
    
    // 属性前加上时需要加上组标签
    @SuppressWarnings("restriction")
    public class ContendedGroupData {
            @sun.misc.Contended("group1")
            int value;
            @sun.misc.Contended("group1")
            long modifyTime;
            @sun.misc.Contended("group2")
            boolean flag;
            @sun.misc.Contended("group3")
            long createTime;
            @sun.misc.Contended("group3")
            char key;
    }

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o2OTE4Mzc4Nw_size_16_color_FFFFFF_t_70]: /images/20210527/3a3e590d5aee4cbf82079756d4afecf2.png
[https_blog.csdn.net_z69183787_article_details_108681525]: https://blog.csdn.net/z69183787/article/details/108681525
[https_blog.csdn.net_a469517790_article_details_104916916]: https://blog.csdn.net/a469517790/article/details/104916916/
[http_www.infoq.com_cn_articles_jvm-hotspot]: http://www.infoq.com/cn/articles/jvm-hotspot
[48304ba5e6f9fe08f3fa1abda7d326ab.png]: /images/20210527/c97c831ff52f40c9900a89c480575f3d.png