Labs 導讀
redis ( Remote Dictionary Server)遠程字典服務，是一款通過Key-Value存儲的NoSql數據庫，數據緩存在內存中，支持網絡、可持久化日志，提供多種語言的API，常用的場景有高速緩存、分布式數據共享、分布式鎖、限流和消息隊列等。通常項目研發中，結合springframework封裝的RedisTemplate API使用。
Part 01、 環境搭建
● 操作系統：centos7
● 集成環境：CLion
● 編譯環境：GCC9
● 代碼版本：redis-6.2.6
1.1 環境安裝
操作系統和集成環境的可自行安裝。由于Centos 7默認gcc版本較低，因此需要升級GCC版本，通過如下命令可完成編譯環境的升級：
# 安裝centos-release-scl
% yum -y install centos-release-scl
# 安裝devtoolset GGC9
% yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils
# 激活對應的devtoolset
% echo “source /opt/rh/devtoolset-9/enable” >> /etc/profile
# 查看版本
% gcc -v
1.2 編譯和運行
從官方網站下載源碼，解壓，編譯和運行。
% wget http://download.redis.io/releases/redis-6.2.6.tar.gz
% tar -zxvf redis-6.2.6.tar.gz -C /home/jay/redis/redis-6.2.6/ && rm -rf redis-6.2.6.tar.gz
% cd /home/jay/redis/redis-6.2.6/
% make
% make install
# 啟動Redis
% cd src
% ./redis-server
# 驗證
% cd src
% ./redis-cli
圖片
使用Clion建立C工程，并導入源代碼，確保GCC9是對應的編譯環境，以調試模式啟動“redis-server”模塊，使用“redis-cli”客戶端連接服務端，設置斷點，鍵入相應的命令進行調試。
圖片
Part 02、 數據庫的組織結構
首先從宏觀層面了解數據庫的結構及組織關系。redisDB,dict,dictht,dictEntry,
redisObject等相關數據庫結構定義在server.h, dict.h,sds.h和zipList.h等頭文件中。
//server.h
typedef struct redisDb {
dict *dict; /* The keyspace for this DB */
dict *expires; /* Timeout of keys with a timeout set */
dict *blocking_keys; /* Keys with clients wAIting for data (BLPOP)*/
dict *ready_keys; /* Blocked keys that received a PUSH */
dict *watched_keys; /* WATCHED keys for MULTI/EXEC CAS */
int id; /* Database ID */
long long avg_ttl; /* Average TTL, just for stats */
unsigned long expires_cursor; /* Cursor of the active expire cycle. */
list *defrag_later; /* List of key names to attempt to defrag one by one, gradually. */
} redisDb;
下圖通過UML類圖的方式，梳理各個數據結構之間的組織關系。
圖片
通過上圖，可以了解到如下內容：
（1） RedisDB可有多個，通過“redis.conf”中的“databases”參數進行配置，默認是16個；
（2） 每個RedisDB有兩個"dictht"哈希表組成，分別是ht[0]和ht[1]，這樣做的目的是為了rehash，主要解決擴容和縮容的問題，通過ht[0]和ht[1]相互搬遷數據完成rehash工作，而且每次命令只搬遷一個索引下面的數據，減少系統操作時間，避免因數據量過大而影響性能；其實現在“dict.c”的dictRehash函數中。
（3） HASH表中存儲的每個元素是“dictEntry”結構組成的鏈表。通過鏈式，解決兩個key的哈希值正好落在同一個哈希桶中的哈希沖突問題。
int dictRehash(dict *d, int n) {
int empty_visits = n*10; /* Max number of empty buckets to visit. */
if (!dictIsRehashing(d)) return 0;
while(n-- && d->ht[0].used != 0) {
dictEntry *de, *nextde;
/* Note that rehashidx can't overflow as we are sure there are more
* elements because ht[0].used != 0 */
assert(d->ht[0].size > (unsigned long)d->rehashidx);
while(d->ht[0].table[d->rehashidx] == NULL) {
d->rehashidx++;
if (--empty_visits == 0) return 1;
}
/*在HASH桶中找到非空的索引后，開始鏈表的數據移動工作*/
de = d->ht[0].table[d->rehashidx];
/* Move all the keys in this bucket from the old to the new hash HT */
while(de) {
uint64_t h;
nextde = de->next;
/* 在新的hash表中找到對應鍵值的索引 */
h = dictHashKey(d, de->key) & d->ht[1].sizemask;
/* 把要增加的數據放在新的hash表對應索引鏈表的開始 */
de->next = d->ht[1].table[h];
d->ht[1].table[h] = de;
/* 更新計數器 */
d->ht[0].used--;
d->ht[1].used++;
/* 鏈表中的下一個Node */
de = nextde;
}
/* 因數據已完成移動，因此清空老的hash表對應的桶 */
d->ht[0].table[d->rehashidx] = NULL;
/* 指向下一個桶 */
d->rehashidx++;
}
/* 如果已經rehashed了所有的表，釋放HT[0]的表空間，將HT[1]設置為當前的表，重置HT[1] */
if (d->ht[0].used == 0) {
zfree(d->ht[0].table);
d->ht[0] = d->ht[1];
_dictReset(&d->ht[1]);
d->rehashidx = -1;
return 0;
}
/* More to rehash... */
return 1;
}
（4） “dictEntry”中的"key"由sds（簡單動態字符串）結構組成。redis根據數據的長度，定義了不同類型的sds結構。例如：sdshdr8，sdshdr16,sdshdr32,sdshdr64；這樣的結構定義，既節省了空間，也解決了二進制安全（例如C語言的‘’）和緩沖區溢出（通過alloc-len可計算剩余空間）等問題。
//SDS.H
struct __attribute__ ((__packed__)) sdshdr8 {
uint8_t len; /* used */
uint8_t alloc; /* excluding the header and null terminator */
unsigned char flags; /* 3 lsb of type, 5 unused bits */
char buf[];
};
struct __attribute__ ((__packed__)) sdshdr16 {
uint16_t len; /* used */
uint16_t alloc; /* excluding the header and null terminator */
unsigned char flags; /* 3 lsb of type, 5 unused bits */
char buf[];
};
（5） redis有“STRING, LIST,SET,ZSET,HASH,MODULE,STREAM”七種數據類型；有“sds, quicklist,ziplist,dict,zskiplist,stream”七種底層數據結構；每種數據類型根據存儲數據的大小，多少等，分別由不同的底層數據結構實現。例如list數據類型，由“quicklist，ziplist”分別實現；HASH數據類型，由“dict，ziplist”分別實現。
（6） dictEntry”中的"*val"指向redisObject"結構，此結構中“redisObject->type”存儲的是數據類型；“redisObject->encoding”存儲的是底層的數據結構類型；redisObject->ptr”存儲具體的數據；相應的實現在“object.c”中。
//object.c
robj *createQuicklistObject(void) {
quicklist *l = quicklistCreate();
robj *o = createObject(OBJ_LIST,l);
o->encoding = OBJ_ENCODING_QUICKLIST;
return o;
}
robj *createZiplistObject(void) {
unsigned char *zl = ziplistNew();
robj *o = createObject(OBJ_LIST,zl);
o->encoding = OBJ_ENCODING_ZIPLIST;
return o;
}
robj *createSetObject(void) {
dict *d = dictCreate(&setDictType,NULL);
robj *o = createObject(OBJ_SET,d);
o->encoding = OBJ_ENCODING_HT;
return o;
}
robj *createIntsetObject(void) {
intset *is = intsetNew();
robj *o = createObject(OBJ_SET,is);
o->encoding = OBJ_ENCODING_INTSET;
return o;
}
robj *createHashObject(void) {
unsigned char *zl = ziplistNew();
robj *o = createObject(OBJ_HASH, zl);
o->encoding = OBJ_ENCODING_ZIPLIST;
return o;
}
Part 03、 源碼調試
3.1 入口
正如所有的C代碼一樣，入口是service.c中的main函數。
圖片
3.2 redis命令入口
所有的redis命令定義在“redisCommandTable”數組中，類型為"redisCommand"，通過函數指針的方式調用。例如下圖中的Get和Set命令。
圖片
圖片
Part 04、 總結
以上分別從環境搭建，數據庫的結構組織關系和源碼調試進行了介紹，如果你對redis源代碼感興趣，行動起來吧！
