国产精品久久久四一",欧美精品日韩极品在线播放,男女视频在线观看免费

在海量數據如何確定一個值是否存在？這是一道非常經典的面試場景題。

那怎么回答這個問題呢？接下來咱們就詳細的聊一聊。

參考答案

判斷一個值是否存在？通常有以下兩種解決方案：

使用哈希表：可以將數據進行哈希操作，將數據存儲在相應的桶中。查詢時，根據哈希值定位到對應的桶，然后在桶內進行查找。這種方法的時間復雜度為 O(1)，但需要額外的存儲空間來存儲哈希表。如果桶中存在數據，則說明此值已存在，否則說明未存在。
使用布隆過濾器：布隆過濾器是一種概率型數據結構，用于判斷一個元素是否在集合中。它利用多個哈希函數映射數據到一個位數組，并將對應位置置為 1。查詢時，只需要對待查詢的數據進行哈希，并判斷對應的位是否都為 1。如果都為 1，則該數據可能存在；如果有一個位不為 1，則該數據一定不存在。布隆過濾器的查詢時間復雜度為 O(k)，其中 k 為哈希函數的個數。

相同點和不同點

它們兩的相同點是：它們都存在誤判的情況。例如，使用哈希表時，不同元素的哈希值可能相同，所以這樣就產生誤判了；而布隆過濾器的特征是，當布隆過濾器說，某個數據存在時，這個數據可能不存在；當布隆過濾器說，某個數據不存在時，那么這個數據一定不存在。

它們兩的區別主要有以下幾點：

存儲機制：哈希表使用一個數組來存儲鍵值對，通過哈希函數將鍵映射到數組的索引位置，然后將值存儲在對應的位置上。而布隆過濾器則使用一個位數組（或位向量），通過多個哈希函數將元素映射到位數組的多個位上。
查詢操作：哈希表在進行查詢時，通過計算哈希值來定位鍵值對的存儲位置，然后直接獲取對應的值。查詢時間復雜度通常為 O(1)。布隆過濾器在進行查詢時，也通過多個哈希函數計算多個位，然后判斷對應的位是否都為 1 來確定元素是否存在。查詢時間復雜度為 O(k)，其中 k 為哈希函數的個數。
內存占用：哈希表需要根據數據規模來動態調整數組的大小，以保證存儲效率。而布隆過濾器在預先設置位數組的大小后，不會隨數據規模的增加而增長。因此布隆過濾器更適用于海量數據。

結論

哈希表和布隆過濾器都能實現判重，但它們都會存在誤判的情況，但布隆過濾器存儲占用的空間更小，更適合海量數據的判重。

布隆過濾器實現原理

布隆過濾器的實現，主要依靠的是它數據結構中的一個位數組，每次存儲鍵值的時候，不是直接把數據存儲在數據結構中，因為這樣太占空間了，它是利用幾個不同的無偏哈希函數，把此元素的 hash 值均勻的存儲在位數組中，也就是說，每次添加時會通過幾個無偏哈希函數算出它的位置，把這些位置設置成 1 就完成了添加操作。

當進行元素判斷時，查詢此元素的幾個哈希位置上的值是否為 1，如果全部為 1，則表示此值存在，如果有一個值為 0，則表示不存在。因為此位置是通過 hash 計算得來的，所以即使這個位置是 1，并不能確定是那個元素把它標識為 1 的，因此布隆過濾器查詢此值存在時，此值不一定存在，但查詢此值不存在時，此值一定不存在。

并且當位數組存儲值比較稀疏的時候，查詢的準確率越高，而當位數組存儲的值越來越多時，誤差也會增大。

位數組和 key 之間的關系，如下圖所示：

如何實現布隆過濾器？

布隆過濾器的實現通常有以下兩種方案：

通過程序實現（內存級別方案）：使用 google Guava 庫和 Apache Commons 庫實現布隆過濾器。
通過中間件實現（支持數據持久化）：使用 redis 4.0 之后提供的布隆過濾插件來實現，它的好處是支持持久化，數據不會丟失。

Guava 實現布隆過濾器

使用 Google Guava 庫實現布隆過濾器總共分為以下兩步：

引入 Guava 依賴
使用 Guava API 操作布隆過濾器

具體實現如下。

① 引入 Guava 依賴

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
</dependency>

② 使用 Guava API

import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;

public class BloomFilterExample {
    public static void mAIn(String[] args) {
        // 創建一個布隆過濾器，設置期望插入的數據量為10000，期望的誤判率為0.01
        BloomFilter<String> bloomFilter = BloomFilter.create(Funnels.unencodedCharsFunnel(), 10000, 0.01);

        // 向布隆過濾器中插入數據
        bloomFilter.put("data1");
        bloomFilter.put("data2");
        bloomFilter.put("data3");

        // 查詢元素是否存在于布隆過濾器中
        System.out.println(bloomFilter.mightContain("data1")); // true
        System.out.println(bloomFilter.mightContain("data4")); // false
    }
}

在上述示例中，我們通過 BloomFilter.create() 方法創建一個布隆過濾器，指定了元素序列化方式、期望插入的數據量和期望的誤判率。然后，我們可以使用 put() 方法向布隆過濾器中插入數據，使用 mightContain() 方法來判斷元素是否存在于布隆過濾器中。