分布式系统唯一id方案-SnowFlake

客官°小女子只卖身不卖艺 2023-06-13 11:14 54阅读 0赞

摘要：  
SnowFlake算法生成的ID大致上是按照时间递增的，用在分布式系统中时，需要注意数据中心标识和机器标识必须唯一，这样就能保证每个节点生成的ID都是唯一的。它可以满足Twitter每秒上万条消息ID分配的请求，这些消息ID是唯一的且有大致的递增顺序，且是一个64位整形，即8字节，可以展示为一个Long类型的整数。结构如下（每一部分用“-”符号分隔）：

0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000  
![雪花算法，中间10bit可忽略写法][10bit]

64位整型：符号 + 时间戳 + 数据中心标识 + 机器标识 + 序列号

符号：1位 默认为0  
时间戳：41位，不会存储当前的时间戳，而是时间戳的差值（当前时间-固定的开始时间），这样可以使产生的ID从更小值开始；41位的时间戳可以使用69年，(1L << 41) / (1000L \* 60 \* 60 \* 24 \* 365) = 69年；  
数据中心标识：5位，用于不同的数据中心  
机器标识：5位， 机器号保证分布式系统  
序列号:12位，单位毫秒内可生成的序列号数目的理论极限。

public class SnowFlake {
        // 起始的时间戳
        private final static long START_STMP = 1480166465631L;
        // 每一部分占用的位数，就三个
        private final static long SEQUENCE_BIT = 12;// 序列号占用的位数
        private final static long MACHINE_BIT = 5; // 机器标识占用的位数
        private final static long DATACENTER_BIT = 5;// 数据中心占用的位数
        // 每一部分最大值
        private final static long MAX_DATACENTER_NUM = -1L ^ (-1L << DATACENTER_BIT);
        private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT);
        private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);
        // 每一部分向左的位移
        private final static long MACHINE_LEFT = SEQUENCE_BIT;
        private final static long DATACENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
        private final static long TIMESTMP_LEFT = DATACENTER_LEFT + DATACENTER_BIT;
        private long datacenterId; // 数据中心
        private long machineId; // 机器标识
        private long sequence = 0L; // 序列号
        private long lastStmp = -1L;// 上一次时间戳
    
        public SnowFlake(long datacenterId, long machineId) {
            if (datacenterId > MAX_DATACENTER_NUM || datacenterId < 0) {
                throw new IllegalArgumentException("datacenterId can't be greater than MAX_DATACENTER_NUM or less than 0");
            }
            if (machineId > MAX_MACHINE_NUM || machineId < 0) {
                throw new IllegalArgumentException("machineId can't be greater than MAX_MACHINE_NUM or less than 0");
            }
            this.datacenterId = datacenterId;
            this.machineId = machineId;
        }
        //产生下一个ID
        public synchronized long nextId() {
            long currStmp = getNewstmp();
            if (currStmp < lastStmp) {
                throw new RuntimeException("Clock moved backwards.  Refusing to generate id");
            }
    
            if (currStmp == lastStmp) {
                //if条件里表示当前调用和上一次调用落在了相同毫秒内，只能通过第三部分，序列号自增来判断为唯一，所以+1.
                sequence = (sequence + 1) & MAX_SEQUENCE;
                //同一毫秒的序列数已经达到最大，只能等待下一个毫秒
                if (sequence == 0L) {
                    currStmp = getNextMill();
                }
            } else {
                //不同毫秒内，序列号置为0
                //执行到这个分支的前提是currTimestamp > lastTimestamp，说明本次调用跟上次调用对比，已经不再同一个毫秒内了，这个时候序号可以重新回置0了。
                sequence = 0L;
            }
    
            lastStmp = currStmp;
             //就是用相对毫秒数、机器ID和自增序号拼接
            return (currStmp - START_STMP) << TIMESTMP_LEFT //时间戳部分
                    | datacenterId << DATACENTER_LEFT      //数据中心部分
                    | machineId << MACHINE_LEFT            //机器标识部分
                    | sequence;                            //序列号部分
        }
    
        private long getNextMill() {
            long mill = getNewstmp();
            while (mill <= lastStmp) {
                mill = getNewstmp();
            }
            return mill;
        }
    
        private long getNewstmp() {
            return System.currentTimeMillis();
        }
    
    
    }

测试类：

public class Test {
    
        public static void main(String[] args) {
            // 构造方法设置机器码：第9个机房的第20台机器
            SnowFlake  snowFlake = new SnowFlake(9, 20);
            for(int i =0; i <(1<< 12); i++){
                System.out.println(snowFlake.nextId());
            }
        }
    
    }

nextId的synchronized方法+递增的序列号：保证单机器内线程安全.  
69年的问题怎么解决？  
timestamp减个常量就可以了，对于已生成的历史id，可以导表刷id，当然，这里涉及到个数据库设计原则，系统之间传递数据不应使用物理主键，这样刷id 就容易了。

数据中心标识和机器标识怎么获取？  
可以存到库里 如mac地址 + ipv4地址 确定唯一机器，插入数据库，机器号通过库的自增主键自增产生  
所以启动的时候直接查询，如果有了直接获取到机器id  
否则插入后获取

[10bit]: https://img-blog.csdn.net/20180613113015655?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTQzMzE3MQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70