布隆过滤器

古城微笑少年丶 2022-10-15 12:53 260阅读 0赞

# 布隆过滤器 #

## 什么是布隆过滤器？ ##

*  布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的`二进制向量`和`一系列随机映射函数`。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的`误识别率和删除困难`。

## 设计概念 ##

*  如果判断一个元素是否在集合中，一般思路可以是将所有的元素保存起来，然后通过比较确定。但是随着数据量的增加我们需要的存储空间也越来越大，检索速度也越来越慢。此时可以使用到hash表的数据结构。可以通过hash函数将一个元素映射到位阵列（bit array）中的一个点。这样我们只要判断这个点是不是1就可以知道集合中存不存在某元素。
 *  使用hash算法，免不了会有冲突，为了解决冲突就只能通过增加散列表的空间大小，导致空间利用率不高，此时还有一种方式就是增加hash函数的数量。通过多个hash函数，判断元素是否存在，如果有一个判断为0（即不存在），则判断此元素在集合中是不存在的。但是避免不了有误判的可能。
 *  Bloom Filter跟单哈希函数Bit-Map不同之处在于：Bloom Filter使用了k个哈希函数，每个字符串跟k个bit对应。从而降低了冲突的概率。

## 核心思想 ##

*  多个hash函数，增加随机性，减少hash碰撞的概率。
 *  扩大数组范围，使hash值均匀分布，减少hash碰撞的概率。

## Bloom Filter实现： ##

*  布隆过滤器有许多实现与优化，Guava中就提供了一种Bloom Filter的实现。
 *  在使用bloom filter时，绕不过的两点是预估数据量n以及期望的误判率fpp，
 *  在实现bloom filter时，绕不过的两点就是hash函数的选取以及bit数组的大小。
 *  对于一个确定的场景，我们预估要存的数据量为n，期望的误判率为fpp，然后需要计算我们需要的Bit数组的大小m，以及hash函数的个数k，并选择hash函数  
    **(1)Bit数组大小选择**  
    根据预估数据量n以及误判率fpp，bit数组大小的m的计算方式：  
    ![在这里插入图片描述][20210615134704606.png]  
    **(2)哈希函数选择**  
     由预估数据量n以及bit数组长度m，可以得到一个hash函数的个数k：  
    ![在这里插入图片描述][2021061513473974.png]  
    哈希函数的选择对性能的影响应该是很大的，一个好的哈希函数要能近似等概率的将字符串映射到各个Bit。选择k个不同的哈希函数比较麻烦，一种简单的方法是选择一个哈希函数，然后送入k个不同的参数。  
    哈希函数个数k、位数组大小m、加入的字符串数量n的关系可以参考Bloom Filters - the math，Bloom\_filter-wikipedia

使用时引入Google提供的guava包

<dependency>
                <groupId>com.google.guava</groupId>
                <artifactId>guava</artifactId>
                <version>23.0</version>
     </dependency>

测试分两步：  
1、往过滤器中放一百万个数，然后去验证这一百万个数是否能通过过滤器  
2、另外找一万个数，去检验漏网之鱼的数量

package com.weidd.best.redis;
    
    import com.google.common.hash.BloomFilter;
    import com.google.common.hash.Funnels;
    
    /** * @program: SortDemo * @author: weidd * @date: 2021-06-15 13:53 * * 测试布隆过滤器,(用于解决redis穿透) **/
    public class BloomFiler { 
    
        private static int total = 1000000;
        private static BloomFilter<Integer> bf = BloomFilter.create(Funnels.integerFunnel(), total);
    // private static BloomFilter<Integer> bf = BloomFilter.create(Funnels.integerFunnel(), total, 0.003);
    
        public static void main(String[] args) { 
            // 初始化1000000条数据到过滤器中
            for (int i = 0; i < total; i++) { 
                bf.put(i);
            }
    
            // 匹配已在过滤器中的值，是否有匹配不上的
            for (int i = 0; i < total; i++) { 
                if (!bf.mightContain(i)) { 
                    System.out.println("有坏人逃脱了~~~");
                }
            }
    
            // 匹配不在过滤器中的10000个值，有多少匹配出来
            int count = 0;
            for (int i = total; i < total + 10000; i++) { 
                if (bf.mightContain(i)) { 
                    count++;
                }
            }
            System.out.println("误伤的数量：" + count);
        }
    
    }

运行结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTU1OTI4Mg_size_16_color_FFFFFF_t_70]  
运行结果表示，遍历这一百万个在过滤器中的数时，都被识别出来了。一万个不在过滤器中的数，误伤了320个，错误率是0.03左右。

#### 看下BloomFilter的源码： ####

public static <T> BloomFilter<T> create(Funnel<? super T> funnel, int expectedInsertions) { 
            return create(funnel, (long) expectedInsertions);
        }  
    
        public static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions) { 
            return create(funnel, expectedInsertions, 0.03); // FYI, for 3%, we always get 5 hash functions
        }
    
        public static <T> BloomFilter<T> create(
              Funnel<? super T> funnel, long expectedInsertions, double fpp) { 
            return create(funnel, expectedInsertions, fpp, BloomFilterStrategies.MURMUR128_MITZ_64);
        }
    
        static <T> BloomFilter<T> create(
          Funnel<? super T> funnel, long expectedInsertions, double fpp, Strategy strategy) { 
         ......
        }

BloomFilter一共四个create方法，不过最终都是走向第四个。看一下每个参数的含义：  
funnel：数据类型(一般是调用Funnels工具类中的)  
expectedInsertions：期望插入的值的个数  
fpp 错误率(默认值为0.03)  
strategy 哈希算法(我也不懂啥意思)Bloom Filter的应用  
在最后一个create方法中，设置一个断点：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTU1OTI4Mg_size_16_color_FFFFFF_t_70 1]

上面的numBits，表示存一百万个int类型数字，需要的位数为7298440，700多万位。理论上存一百万个数，一个int是4字节32位，需要481000000=3200万位。如果使用HashMap去存，按HashMap50%的存储效率，需要6400万位。可以看出BloomFilter的存储空间很小，只有HashMap的1/10左右  
上面的numHashFunctions，表示需要5个函数去存这些数字  
使用第三个create方法，我们设置下错误率：

private static BloomFilter<Integer> bf = BloomFilter.create(Funnels.integerFunnel(), total, 0.0003);

复制代码再运行看看：  
![在这里插入图片描述][20210615135815719.png]  
当错误率设为0.0003时，所需要的位数为16883499，1600万位，需要12个函数  
和上面对比可以看出，`错误率越大，所需空间和时间越小，错误率越小，所需空间和时间越大`

**常见的几个应用场景：**

*  cerberus在收集监控数据的时候, 有的系统的监控项量会很大, 需要检查一个监控项的名字是否已经被记录到db过了, 如果没有的话就需要写入db.
 *  爬虫过滤已抓到的url就不再抓，可用bloom filter过滤
 *  垃圾邮件过滤。如果用哈希表，每存储一亿个 email地址，就需要 1.6GB的内存（用哈希表实现的具体办法是将每一个 email地址对应成一个八字节的信息指纹，然后将这些信息指纹存入哈希表，由于哈希表的存储效率一般只有 50%，因此一个 email地址需要占用十六个字节。一亿个地址大约要 1.6GB，即十六亿字节的内存）。因此存贮几十亿个邮件地址可能需要上百 GB的内存。而Bloom Filter只需要哈希表 1/8到 1/4 的大小就能解决同样的问题。

## 优缺点： ##

### 优点： ###

*  相比其他的数据结构，布隆过滤器的空间及时间方面的优势是巨大的。存储空间和插入、查询时间都是常数。
 *  hash函数之间是没有关系的，方便由硬件并行实现。
 *  布隆过滤器本身不需要存储元素本身，数据安全性较高。

### 缺点： ###

*  存在一定的误判率，不能100%判断元素是否真的存在。(如果bloom filter中存储的是黑名单，那么可以通过建立一个白名单来存储可能会误判的元素。)
 *  不能删除。（因为不知道某一个位置上代表的是否还有其他的元素）

## BloomFilter的应用 ##

*  K-V系统快速判断某个key是否存在  
    典型的例子有Hbase，Hbase的每个Region中都包含一个BloomFilter，用于在查询时快速判断某个key在该region中是否存在，如果不存在，直接返回，节省掉后续的查询。
 *  黑名单  
    比如邮件黑名单过滤器，判断邮件地址是否在黑名单中
 *  排序(仅限于BitSet)  
    仔细想想，其实BitSet在set(int value)的时候，“顺便”把value也给排序了。
 *  网络爬虫  
    判断某个URL是否已经被爬取过
 *  缓存穿透
 *  集合元素重复的判断

[20210615134704606.png]: /images/20221014/c2a8c9a746b24e51a2e288c02aed7fff.png
[2021061513473974.png]: /images/20221014/ea6de0c5a708451b88d319fe83ad763f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTU1OTI4Mg_size_16_color_FFFFFF_t_70]: /images/20221014/05f804701b7e404486c759395bf95e38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTU1OTI4Mg_size_16_color_FFFFFF_t_70 1]: /images/20221014/c7e418844835459dba7f82f74d68f6d9.png
[20210615135815719.png]: /images/20221014/2fdaa792435746bb8810317878756dbe.png