1. redis介紹
Redis 是一個高性能的鍵值存儲系統(tǒng),支持多種數(shù)據(jù)結(jié)構(gòu)。
包含五種基本類型 String(字符串)、Hash(哈希)、List(列表)、Set(集合)、Zset(有序集合),和三種特殊類型 Geo(地理位置)、HyperLogLog(基數(shù)統(tǒng)計)、Bitmaps(位圖)。
每種數(shù)據(jù)結(jié)構(gòu)都是為了解決特定問題而設(shè)計的,適用不同的場景。想要用好Redis,必須了解底層實現(xiàn)原理和使用技巧,同時結(jié)合具體的業(yè)務(wù)場景和需求進(jìn)行選擇和使用。無論是工作還是面試中,這些必備的知識。
下面就詳細(xì)介紹一下每種數(shù)據(jù)類型的使用方式、實現(xiàn)原理和適用場景。
2. String(字符串)
String(字符串)是Redis中最基本的數(shù)據(jù)結(jié)構(gòu)之一,它可以存儲任意類型的數(shù)據(jù),包括數(shù)字、文本、序列化的對象等。Redis中的字符串最大可以存儲512MB的數(shù)據(jù)。
使用方式
字符串類型的操作是最基本的,包括設(shè)置值、獲取值、修改值、追加值等。字符串類型支持的操作包括:
應(yīng)用場景
- 緩存:將計算結(jié)果、數(shù)據(jù)庫查詢結(jié)果或者配置數(shù)據(jù)存儲在Redis中,可以提高應(yīng)用的響應(yīng)速度和吞吐量。
- 計數(shù)器:使用Redis的自增和自減操作,實現(xiàn)簡單的計數(shù)器功能,如網(wǎng)站的訪問次數(shù)統(tǒng)計
- 限流:使用Redis的incr和expire命令,實現(xiàn)固定窗口算法的流量控制,防止系統(tǒng)過載。
- 分布式鎖:使用SETNX操作實現(xiàn)分布式鎖,保證同一時刻只有一個線程訪問臨界資源。
- 會話管理:將用戶會話信息存儲在Redis中,可以實現(xiàn)分布式Session。
內(nèi)部編碼
Redis字符串的內(nèi)部編碼有三種:
- int編碼:當(dāng)字符串長度小于等于12字節(jié)并且字符串可以表示為整數(shù)時,Redis會使用int編碼。這樣可以節(jié)省內(nèi)存,并且在執(zhí)行一些命令時可以直接進(jìn)行數(shù)值計算。
- embstr編碼:當(dāng)字符串長度小于等于39字節(jié)時,Redis會使用embstr編碼。這種編碼方式會將字符串和存儲它的結(jié)構(gòu)體一起分配在內(nèi)存中,這樣可以減少內(nèi)存碎片和結(jié)構(gòu)體的開銷。
- raw編碼:當(dāng)字符串長度大于39字節(jié)或者字符串不能表示為整數(shù)時,Redis會使用raw編碼。這種編碼方式直接將字符串存儲在一個結(jié)構(gòu)體中,沒有進(jìn)行任何優(yōu)化。
3. Hash(哈希)
使用方式
哈希類型是一種鍵值對的集合,其中鍵值對的值可以是字符串、列表或者其他哈希類型。哈希類型支持的操作包括:
應(yīng)用場景
- 存儲對象:將對象的屬性和屬性值存儲在哈希類型中,可以很方便地進(jìn)行查詢和更新操作,比如常見的用戶信息就適合使用哈希類型存儲。
內(nèi)部編碼
Redis哈希類型的內(nèi)部編碼有兩種:
- ziplist(壓縮列表):當(dāng)Hash類型的元素比較少,且元素的大小比較小(小于64字節(jié))時,Redis采用ziplist作為Hash類型的內(nèi)部編碼。ziplist是一種緊湊的、壓縮的列表結(jié)構(gòu),可以節(jié)省內(nèi)存空間。但是,ziplist只能進(jìn)行線性查找,不支持快速的隨機(jī)訪問。
- hashtable(字典):當(dāng)Hash類型的元素比較多,或者元素的大小比較大(大于64字節(jié))時,Redis采用hashtable作為Hash類型的內(nèi)部編碼。hashtable是一種基于鏈表的哈希表結(jié)構(gòu),可以快速地進(jìn)行隨機(jī)訪問。但是,hashtable需要占用更多的內(nèi)存空間。
4. List(列表)
使用方式
Redis List類型是一個有序的字符串列表,支持在列表的頭部或尾部添加元素,也支持在列表任意位置插入或刪除元素。支持的操作包括:
使用場景
Redis List類型由于支持在列表的頭部或尾部添加元素,也支持在列表任意位置插入或刪除元素,因此非常適合以下場景:
- 消息隊列:Redis List類型常被用作輕量級的消息隊列,生產(chǎn)者將消息插入隊列尾部,消費者從隊列頭部彈出消息進(jìn)行處理,可以使用LPUSH、RPUSH、BLPOP、BRPOP等命令實現(xiàn)。
- 時間序列:使用Redis的LPUSH和RPUSH命令,將時間序列的數(shù)據(jù)按照時間順序添加到列表的頭部或尾部,然后使用LRANGE命令,查詢一段時間范圍內(nèi)的數(shù)據(jù),實現(xiàn)時間序列的查詢。
- 排行榜:Redis List類型可以用于實現(xiàn)排行榜功能,將每個用戶的得分作為元素值插入到列表中,使用LINSERT、LREM、LINDEX等命令進(jìn)行排名操作,使用LRANGE命令查詢排名前幾的用戶,可以使用LPUSH、LINSERT、LREM、LINDEX、LRANGE等命令實現(xiàn)。
- 計數(shù)器:Redis List類型可以將每個元素視為計數(shù)器的值,可以使用LPUSH、RPUSH、LINDEX、LREM等命令實現(xiàn)。
- 最近訪問記錄:Redis List類型可以用于記錄最近訪問的記錄,將最新的訪問記錄插入列表頭部,當(dāng)列表長度超過設(shè)定的值時,使用LTRIM命令刪除最舊的記錄,可以使用LPUSH、LINDEX、LTRIM等命令實現(xiàn)。
內(nèi)部編碼
Redis List類型內(nèi)部編碼有兩種,分別是ziplist和linkedlist。
- ziplist
ziplist是一種特殊的編碼方式,它可以將小數(shù)據(jù)量的列表存儲在一個連續(xù)的內(nèi)存塊中,節(jié)省了內(nèi)存空間,同時還可以提高存取效率。
ziplist編碼的列表最大長度為2^16-1個元素,每個元素可以是字符串類型、整數(shù)類型或浮點數(shù)類型。在ziplist中,每個元素都被存儲為一個字節(jié)數(shù)組,并包含一個前綴和一個后綴,用于標(biāo)識該元素的類型和長度。
- linkedlist
linkedlist是一種常規(guī)的雙向鏈表結(jié)構(gòu),它可以存儲任意長度的列表,并且支持高效的插入和刪除操作。在linkedlist中,每個節(jié)點都包含了一個指向前一個節(jié)點和后一個節(jié)點的指針,以及一個存儲元素數(shù)據(jù)的指針。
linkedlist適用于存儲大數(shù)量的列表,它沒有像ziplist那樣的內(nèi)存限制,但是會占用更多的內(nèi)存空間。
5. Set(集合)
使用方式
Redis Set(集合)是一個無序的字符串集合,其中每個元素都是唯一的,不允許重復(fù)。Redis Set類型支持的操作包括:
使用場景
Redis Set類型的使用場景包括:
- 標(biāo)簽系統(tǒng):使用Set類型存儲每個標(biāo)簽對應(yīng)的對象列表,以便快速查找包含特定標(biāo)簽的對象。可以使用SADD、SREM、SISMEMBER、SMEMBERS等命令實現(xiàn)。
- 好友關(guān)系:將每個用戶的好友列表作為一個集合,可以使用SADD、SREM、SISMEMBER、SDIFF、SINTER、SUNION等命令實現(xiàn)。
- 共同好友:使用SINTER命令計算出兩個用戶的共同好友,可以使用SADD、SINTER、SUNION等命令實現(xiàn)。
- 排名系統(tǒng):將每個用戶的得分作為元素值插入到集合中,使用ZADD、ZREM、ZRANK、ZSCORE等命令進(jìn)行排名操作,使用ZREVRANGE命令查詢排名前幾的用戶,可以使用ZADD、ZREM、ZRANK、ZSCORE、ZREVRANGE等命令實現(xiàn)。
- 訂閱關(guān)系:使用Set類型存儲用戶訂閱的內(nèi)容,以便快速獲取用戶訂閱的內(nèi)容。
總的來說,Set類型適用于需要存儲一組不重復(fù)的數(shù)據(jù),并支持集合操作的場景。
內(nèi)部編碼
Redis Set類型的內(nèi)部編碼有兩種:
- intset(整數(shù)集合):當(dāng)Set類型只包含整數(shù)類型的數(shù)據(jù),并且元素數(shù)量較少(小于512個)時,Redis會使用intset作為Set類型的內(nèi)部編碼。intset是一種緊湊的、壓縮的整數(shù)集合結(jié)構(gòu),可以節(jié)省內(nèi)存空間,并且支持快速的查找、插入和刪除操作。在intset中,所有元素都按照從小到大的順序排列,并且可以使用不同的編碼方式(16位、32位、64位)存儲不同大小范圍內(nèi)的整數(shù)。
- hashtable(字典):當(dāng)Set類型包含字符串類型或者元素數(shù)量較多時,Redis會使用hashtable作為Set類型的內(nèi)部編碼。hashtable是一種基于鏈表的哈希表結(jié)構(gòu),可以快速地進(jìn)行隨機(jī)訪問、插入和刪除操作。在hashtable中,每個元素都被存儲為一個字符串,并且使用哈希函數(shù)將字符串映射到一個桶中,然后在桶中進(jìn)行查找、插入和刪除操作。
在實際使用中,當(dāng)Set類型的元素全部為整數(shù)類型時,建議使用intset編碼;而當(dāng)Set類型的元素包含非整數(shù)類型時,才使用hashtable編碼。
6. Zset(有序集合)
使用方式
Redis中的Zset(有序集合)是一個鍵值對集合,其中每個元素都關(guān)聯(lián)一個分值(score),通過分值進(jìn)行排序,可以看作是一個字典(dict)和一個跳躍列表(skip list)的混合體,它可以存儲多個相同的元素,但每個元素必須有一個唯一的score值。
支持的操作包括:
使用場景
Redis Zset是一種有序集合,其使用場景主要包括以下幾個方面:
- 排行榜:使用Zset類型可以實現(xiàn)排行榜功能,將每個用戶的得分作為元素值插入到集合中,使用ZADD、ZINCRBY、ZREM等命令進(jìn)行排名操作,使用ZRANGE、ZREVRANGE命令查詢排名前幾的用戶。
- 最近訪問記錄:使用Zset類型可以用于記錄最近訪問的記錄,將最新的訪問記錄插入集合中,使用ZREMRANGEBYRANK命令刪除最舊的記錄,使用ZRANGE命令查詢最近訪問的記錄。
- 計數(shù)器:Redis Zset可以用于實現(xiàn)計數(shù)器功能,比如統(tǒng)計某個頁面的訪問次數(shù)、統(tǒng)計某個廣告的點擊量等。將頁面ID或廣告ID作為成員(member)存儲在Zset中,以訪問次數(shù)或點擊量作為分?jǐn)?shù)(score)存儲。
- 好友關(guān)系:Redis Zset可以用于存儲用戶之間的關(guān)注關(guān)系以及用戶之間的互動,比如點贊、評論等。可以將用戶ID作為成員(member)存儲在Zset中,將時間戳或者其他標(biāo)識作為分?jǐn)?shù)(score)存儲,以此記錄用戶之間的互動情況。
內(nèi)部編碼
Redis Zset的內(nèi)部編碼有兩種:
- ziplist編碼:當(dāng)Zset中元素個數(shù)小于128個,并且所有元素的長度都小于64字節(jié)時,Redis會使用ziplist編碼存儲Zset。這種編碼方式可以節(jié)省內(nèi)存空間,并且可以提高存取效率,但是不支持隨機(jī)訪問和范圍查詢。
- skiplist編碼:當(dāng)Zset中元素個數(shù)大于等于128個,或者有一個元素的長度大于64字節(jié)時,Redis會使用skiplist編碼存儲Zset。這種編碼方式支持高效的隨機(jī)訪問和范圍查詢,但是需要占用更多的內(nèi)存空間。
7. Geo(地理位置)
使用方式
Redis Geo(地理位置)是一個鍵值對集合,其中每個元素都包含一個經(jīng)度和緯度,可以用于存儲地理位置信息并支持基于位置的搜索。Redis Geo支持的操作包括:
Redis Geo類型適用于需要存儲地理位置信息并支持基于位置的搜索的場景,比如附近的人、附近的商家等。
使用場景
Redis Geo類型的使用場景如下:
- 位置服務(wù):用于存儲地理位置信息,如餐廳、商店、機(jī)場、醫(yī)院等的經(jīng)緯度信息,可以通過 Geo 庫提供的命令查詢指定范圍內(nèi)的所有商家信息。
- 車輛監(jiān)控:用于車輛位置跟蹤和監(jiān)控,可以將車輛的經(jīng)緯度信息存儲在 Redis 中,并通過 Geo 庫提供的命令查詢車輛的位置,以及在指定半徑內(nèi)的其他車輛信息。
- 物流配送:用于存儲配送員的位置信息,以及需要配送的訂單信息的經(jīng)緯度信息,可以通過 Geo 庫提供的命令查詢配送員在指定范圍內(nèi)的訂單信息,以提高配送效率。
- 電商推薦:用于存儲用戶的位置信息,以及商家和商品的經(jīng)緯度信息,可以通過 Geo 庫提供的命令查詢指定范圍內(nèi)的商家和商品信息,以提供更加精準(zhǔn)的推薦服務(wù)。
- 游戲地圖:用于存儲游戲地圖的位置信息和玩家的位置信息,可以通過 Geo 庫提供的命令查詢玩家在游戲地圖上的位置,以及在指定半徑內(nèi)的其他玩家信息,以提供更加豐富的游戲體驗。
- 社交應(yīng)用:用于存儲用戶的位置信息,以及附近的其他用戶的位置信息,可以通過 Geo 庫提供的命令查詢指定范圍內(nèi)的用戶信息,以提供更加精準(zhǔn)的社交服務(wù)。
內(nèi)部編碼
Redis Geo類型內(nèi)部使用zset來存儲地理位置信息,其中元素的score值為經(jīng)度,member值為經(jīng)緯度組合的字符串。在使用GEORADIUS和GEORADIUSBYMEMBER命令搜索元素時,Redis會構(gòu)建一個跳躍表,以實現(xiàn)高效的搜索。
8. HyperLogLog(基數(shù)統(tǒng)計)
使用方式
Redis HyperLogLog(基數(shù)統(tǒng)計)是一種基于概率統(tǒng)計的數(shù)據(jù)結(jié)構(gòu),用于估計大型數(shù)據(jù)集合的基數(shù)(不重復(fù)元素的數(shù)量),以及對多個集合進(jìn)行并、交運算等。HyperLogLog的優(yōu)點是可以使用極少的內(nèi)存空間,同時可以保證較高的準(zhǔn)確性。
每個 HyperLogLog 鍵只需要花費 12 KB 內(nèi)存,就可以計算接近 2^64 個不同元素的基數(shù)。
使用場景
HyperLogLog的使用場景主要包括以下幾個方面:
- 用戶去重:使用HyperLogLog可以對海量的用戶數(shù)據(jù)進(jìn)行去重,快速地統(tǒng)計出不重復(fù)的用戶數(shù)量。
- 網(wǎng)站UV統(tǒng)計:使用HyperLogLog可以對網(wǎng)站的訪問日志進(jìn)行分析,統(tǒng)計出每天、每周、每月的獨立訪客數(shù)量。
- 廣告點擊統(tǒng)計:使用HyperLogLog可以對廣告的點擊數(shù)據(jù)進(jìn)行分析,統(tǒng)計出獨立點擊用戶的數(shù)量,以及對多個廣告進(jìn)行并、交運算等。
- 數(shù)據(jù)庫查詢優(yōu)化:使用HyperLogLog可以對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行去重,減少查詢的數(shù)據(jù)量,提高查詢效率。
- 分布式計算:使用HyperLogLog可以在分布式系統(tǒng)中對數(shù)據(jù)進(jìn)行去重、并、交等操作,以支持分布式計算。
使用HyperLogLog可以大大減少內(nèi)存占用和計算時間,是處理大數(shù)據(jù)量去重計數(shù)的有效工具。
內(nèi)部編碼
Redis HyperLogLog類型的內(nèi)部編碼使用的"稀疏矩陣"和”稠密矩陣“。
當(dāng)計數(shù)較少時,采用”稀疏矩陣“,其中絕大部分元素都是0。計數(shù)增多后,超過閾值后,會轉(zhuǎn)換成”稠密矩陣“。
9. Bitmaps(位圖)
使用方式
Redis Bitmaps(位圖)是一種緊湊的數(shù)據(jù)結(jié)構(gòu),可以用于表示一個只有0和1的數(shù)組。位圖可以用于高效地存儲大規(guī)模的布爾值,以及進(jìn)行位運算、位圖圖形化等操作。Redis Bitmaps支持的操作包括:
使用場景
Redis Bitmaps適用于需要高效地存儲大規(guī)模的布爾值,并進(jìn)行位運算、統(tǒng)計等操作的場景。比如:
- 統(tǒng)計在線用戶數(shù):使用Bitmaps類型來表示用戶的在線狀態(tài),例如一個bit位表示一個用戶,當(dāng)用戶登錄時將對應(yīng)的bit位置為1,當(dāng)用戶退出時將其位置為0。這樣可以非常方便地進(jìn)行在線用戶的統(tǒng)計。
- 黑白名單統(tǒng)計:在網(wǎng)絡(luò)安全中,可以使用位圖記錄IP地址的訪問情況、黑白名單等信息。
- 統(tǒng)計用戶訪問行為:例如將每個頁面或功能點表示為一個bit位,用戶訪問時將對應(yīng)的bit位置為1,未訪問則為0。這樣就可以方便地統(tǒng)計用戶的訪問習(xí)慣,了解用戶對產(chǎn)品的喜好和熱點等信息。
- 布隆過濾器:這是最常用的場景,布隆過濾器是一種用于快速判斷某個元素是否在集合中的算法,在大數(shù)據(jù)量場景下其效率非常高。Redis的Bitmaps類型可以用來實現(xiàn)布隆過濾器,節(jié)約存儲空間,并提高查詢效率。
內(nèi)部編碼
Redis Bitmaps類型的內(nèi)部編碼使用了一種稱為“壓縮位圖”的數(shù)據(jù)結(jié)構(gòu)。它通過使用兩個數(shù)組來存儲位圖數(shù)據(jù):一個存儲實際位的值,另一個存儲每個字節(jié)中1的個數(shù)。這種編碼方式可以大大壓縮位圖數(shù)據(jù)的大小。