内存相关讲座大纲

落日映苍穹つ 2022-08-21 03:22 175阅读 0赞

# Redis数据库部分 #

##               数据结构部分 ##

###                                SDS       struct len free  char \[\] ###

###                                list          struct     prev    next ###

###                                               struct head tail len  dup   free  match ###

###                                dict        struct    dicth   dictentry \*\* table size mask used ###

struct  dicentry   void \*key     next   void \*val

struct   dict type   private     dicth\[2\] ;

###                               skiplist   OK ###

###                               intest     struct    type    leghth   \[\] ###

##                存储方式 ##

##                      压缩列表     编码格式    键值对象 ##

##               单机数据库实现 ##

###                              结构图         对键的操作（增，删，改，查）       时间戳 ###

###                     AOF  && RDB ###

##              多机数据库原理 ##

###                    主从复制,设置地址，SOCK ，PING.LOGIN,SEND\_PORT,同步，命令传播 ###

###                    心跳包 ###

###                    sentinel  系统  一主多从，主下线，从选主，上线 ###

# 简单内存管理 #

内存管理三种层次

用户管理层           运行时库管理         操作系统层（结构图）

操作系统层：

SMP（UMA）      NUMA

SMP受制内存扩展           NUMA 受制与远端访问

虚拟地址空间的两种结构

Old && new  32    64 新

mmap   && brk

do\_mmap\_pgoff           do\_brk  类似

brk : 线性的增加

运行时库：  OOM系统

几种主流内存分配方法

C      pool       引用计数          垃圾回收

C    ：通用性强，问题明显

pool  :  优：

分配回收飞快，基本不会主动OOM，符合标准

劣：

明确可知的分配模式，第三方库兼容性差，通用性差

引用计数：优：

实现简单，易于使用

劣：

循环数据结构难已处理，减缓分配，额外处理引用。占用数据结构比较靠前的位置，这个地方价值非常高

垃圾收集：

优：永远不必担心双重释放之类的问题

劣：比其他形式的内存分配更慢

另：TCmalloc   小内存  8 整数倍     大内存4K对齐   线程友好   每个线程缓存一些存储块

引出CSAPP上的一个例子blblblblblblblblblblbbl

###       进入malloc 原理解析 ###

1.首先数据结构

使用块 和  空闲块

2.整个容器的组织形式,画结构图

bins   fast\_bins  unsorted\_bin   top\_chunk   mmaped\_chunk

3.分配响应的具体步骤

@首先获取锁，其中一个分配区，默认先主

@对齐处理用户的需求

@如果小于64 从small bins 中获取，否则先找fast bins

@合并fast 中能合并的,进unsorted, 然后整合到small | large

@然后在large 中按照“smallest-first,best-bins",最好有合适的不然就切割，边角料回炉

@如果翻遍了所有的bin都没有找到，那就结束bin的想法，直接从top chunk 想办法。

@最终直接使用mmap

4.回收内存的基本流程

@首先获取分配区的锁

@判断空指针与否，空：直接返回

@是否是mumap 的结果，是则直接释放，判断下动态机制是否需要调整

@小与64B放到fast bins 中去，如果与top 相邻，则还有后文，否则直接返回

～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～

@判断前一个chunk 的大小，和使用情况，合并之

@判断后一个是否top chunk 否，则判断使用情况合并之，如果大与64KB则触发fast bin 的合并机制，开始合并。放进unsorted bins 然后判断top chunk 是否可以合并。

@如果后一个直接是top chunk 就合并，然后企图收缩大小。收缩阀值128KB

5.使用mmap  的一些好与不好之处。

好：独立从系统中分配和释放。对与常生命周期的东西就很好用，不会被锁

不好：内存不可回收再利用，默认清0，页对齐很低效

6.使用注意事项

@top chunk 之前的块可能被卡死，然后内存暴增

@最好不要管理长生命周期的对象

@不要关闭分配阀值动态调整机制，不然多线程，各种缺页机制，被玩死

@多线程其实是不适合ptmalloc 的

@尽量减少程序的线程数量，避免频繁释放内存（锁，分配区）

@内存泄漏是一个非常非常可怕的问题

@调整虚拟存储子系统,防OOM

源码赏析：

结构体：1121

分配区实例：1684

一些宏定义：

获取块的大小：1310

设置标志位：1326

bins 数组分配： 1454 1477

# 分布式基础 #

##                 存储引擎 ##

###                                   哈希存储     key -> val  id  size crc time ... ###

###                                  B树存储   LRU LISR  硬盘预读 B树 ，范围，替换策略，InnoDB 二级5/3/8 ###

###                                  LSM树存储  double B -tree ###

##                 事务与并发 ##

ACID    SQL   NOSQL

ACID :原子  一致   隔离  持久

##                 分布式系统基础概念 ##

异常类型:

服务器宕机，网络异常，磁盘故障，超时问题，通过ACK等一些问题解决等

性能分析：

一般通过系统的吞吐能力，系统响应的时间，常用每秒的操作次数来评测性能。

可用性：99.99   52.56

一致性：越强的一致性。用起来往往稳定，

可扩展性: 可以方便，遍历的增加容量

数据分布：

哈希分布：一致性哈希环

顺序分布：类似B树，复杂度增加

数据的复制与迁移：

多个副本的存在，切换副本，读写分离。

CAP :

一致性，可用性：最大保护模式，强同步；最大性能模式，有危险；最大可用性模式，根据网络；

分区可容忍性

容错机制的设计

故障检测：

心跳方式，租约方式

故障恢复：切换副本

可扩展性

查看原文：[http://zmrlinux.com/2016/03/13/%e5%86%85%e5%ad%98%e7%9b%b8%e5%85%b3%e8%ae%b2%e5%ba%a7%e5%a4%a7%e7%ba%b2/][http_zmrlinux.com_2016_03_13_e5_86_85_e5_ad_98_e7_9b_b8_e5_85_b3_e8_ae_b2_e5_ba_a7_e5_a4_a7_e7_ba_b2]

[http_zmrlinux.com_2016_03_13_e5_86_85_e5_ad_98_e7_9b_b8_e5_85_b3_e8_ae_b2_e5_ba_a7_e5_a4_a7_e7_ba_b2]: http://zmrlinux.com/2016/03/13/%E5%86%85%E5%AD%98%E7%9B%B8%E5%85%B3%E8%AE%B2%E5%BA%A7%E5%A4%A7%E7%BA%B2/