JavaScript 几种数组去重的性能测试及高性能方法推荐

蔚落 2022-10-14 01:14 162阅读 0赞

### 前言 ###

之前在写一个需求的时候，需要大量调用数组去重的方法。我一开始的简单想法过于粗略，然后自然而然的就不太OK了。于是乎，我在网上寻找到了大量的数组去重方法。

### 一、测试模版 ###

数组去重是基本上每个人都会遇到的问题。网上的方法也是特别的多

为了测试这些解法的性能，我写了一个测试模版，用来计算数组去重的耗时

// distinct.js
    
    let arr1 = Array.from(new Array(100000), (x, index)=>{ 
        return index
    })
    
    let arr2 = Array.from(new Array(50000), (x, index)=>{ 
        return index+index
    })
    
    let startTime = new Date().getTime()
    console.log('开始数组去重')
    
    function distinct(arr1, arr2) { 
        // 数组去重
    }
    
    console.log('去重后的长度', distinct(arr1, arr2).length)
    
    let endTime = new Date().getTime()
    console.log('耗时', endTime - startTime)

这里分别创建了两个长度为 10W 和 5W 的数组

然后通过 distinct() 方法合并两个数组，并去掉其中的重复项

测试这种东西，肯定是要大大大数据才能反应一些问题。（原本想要用100W和50W的，然后。。。有些方法实在是太太太满了）

### 二、数组去重方法 ###

#### 1、双重 for 循环 ####

最容易理解的方法，外层循环遍历元素，内层循环检查是否重复。当有重复值的时候，可以使用 push()，也可以使用 splice()

当数据量小的时候的究极小学生写法。

然后，开始之后便是漫长的等待。。。

![20210602193140843.png][]

#### 2、Array.filter() + indexOf ####

这个方法的思路是，将两个数组拼接为一个数组，然后使用 ES6 中的 [Array.filter()][Array.filter] 遍历数组，并结合 indexOf 来排除重复项

说实话，我一开始用这个方法的时候，我还觉得挺牛逼的。。。结果嘛。。

function distinct(arr1, arr2) { 
        // 数组去重
        let arr = arr1.concat(arr2);
        return arr.filter((item, index)=> { 
            return arr.indexOf(item) === index
        })
    }

![在这里插入图片描述][20210602193205979.png]

也没比前面那个好多少嘛。码农爆哭。

#### 3、for…of + includes() ####

双重for循环的升级版，外层用 for…of 语句替换 for 循环，把内层循环改为 includes()

先创建一个空数组，当 includes() 返回 false 的时候，就将该元素 push 到空数组中 类似的，还可以用 indexOf() 来替代 includes()

function distinct(arr1, arr2) { 
        // 数组去重
        let arr = arr1.concat(arr2);
        let resultArr = []
        for (let i of arr) { 
            !resultArr.includes(i) && resultArr.push(i)
        }
        return resultArr
    }

![在这里插入图片描述][20210602193223375.png]

这种方法和 filter + indexOf 挺类似。只是把 filter() 的内部逻辑用 for 循环实现出来，再把 indexOf 换为 includes。所以时长上也比较接近

#### 4、**Array.sort()** ####

首先使用 sort() 将数组进行排序。然后比较相邻元素是否相等，从而排除重复项

function distinct(arr1, arr2) { 
        // 数组去重
        let arr = arr1.concat(arr2);
        arr = arr.sort()
        let resultArr = [arr[0]]
    
        for (let i=1, len=arr.length; i<len; i++) { 
            arr[i] !== arr[i-1] && resultArr.push(arr[i])
        }
        return resultArr
    }

![在这里插入图片描述][20210602193240212.png]

Σ(っ °Д °;)っ！牛逼啊！吊打我十八条街

换成100W和50W试试看

![在这里插入图片描述][20210602193258237.png]

太强了。码农哭泣

#### 5、new Set() ####

上面的方法已经很牛逼了，但是居然还有更牛逼的方法（码农爆哭，学算法的大佬太强了呜呜呜）

ES6 新增了 [Set][] 这一数据结构，类似于数组，但 **Set 的成员具有唯一性**。基于这一特性，就非常适合用来做数组去重了

function distinct(arr1, arr2) { 
        // 数组去重
        return Array.from(new Set([...arr1, ...arr2]))
    }

![在这里插入图片描述][20210602193328634.png]

看起来就这？换成100W和50W试试。

![在这里插入图片描述][20210602193345908.png]

果然还是实践出真知，方法还得比较着来。虽然这种方法的写法牛逼级比上一个多出十八个次元。但是还是快比较重要的呀。

给多次机会，两个都换成1000W和500W试试

![在这里插入图片描述][20210602193415201.png]

完败了呢。。

#### 6、for…of + Object ####

这个方法是在某个大佬的文章内看到的。

首先创建一个空对象，然后用 for 循环遍历、利用**对象的属性不会重复**这一特性，校验数组元素是否重复

function distinct(arr1, arr2) { 
        // 数组去重
        let arr = arr1.concat(arr2);
        let resultArr = []
        let obj = { }
    
        for (let i of arr) { 
            if (!obj[i]) { 
                resultArr.push(i)
                obj[i] = 1
            }
        }
    
        return resultArr
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1eXhpbnU_size_16_color_FFFFFF_t_70]

太太太太强了⑧！！！

我最后想用1亿和五千万的哈哈哈哈，然后炸了。这就是算法的魅力吗，爱了爱了

[20210602193140843.png]: /images/20221014/d2a438412f824d68985cf5296e6d3219.png
[Array.filter]: https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Global_Objects/Array/filter
[20210602193205979.png]: /images/20221014/efa8a1c61b464cd9accc07337fe5335e.png
[20210602193223375.png]: /images/20221014/e612b0942fcc46259133adac92df4238.png
[20210602193240212.png]: /images/20221014/e870baf1e6414cdf84a3ea2ea57413ae.png
[20210602193258237.png]: /images/20221014/cdcbf1ce079c4cdab109296c1158860f.png
[Set]: http://es6.ruanyifeng.com/#docs/set-map
[20210602193328634.png]: /images/20221014/3613aac9b2ad45babc13233785c86247.png
[20210602193345908.png]: /images/20221014/8f37f980c5a14dc1a84e726e50c6f4ab.png
[20210602193415201.png]: /images/20221014/9064723edb7e463a8a767a3becb059b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1eXhpbnU_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2021060219343349.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1eXhpbnU=,size_16,color_FFFFFF,t_70