1. 引言
之前我們聊過 redis 的主從同步（復(fù)制）主題，這期我們來聊 Redis 的哨兵機(jī)制。
上期我們說過，在實(shí)際互聯(lián)網(wǎng)架構(gòu)上，Redis 為了保證高可用和分擔(dān)讀寫壓力，幾乎都會(huì)采取主從復(fù)制的部署架構(gòu)。
一方面讓架構(gòu)易于擴(kuò)展，另一方面防止單體故障：當(dāng)主庫(kù)掛了，可以立即拉起從庫(kù)，不至于讓業(yè)務(wù)停滯太久。
江湖門派林立
如果把所有互聯(lián)網(wǎng)應(yīng)用看做是一個(gè)江湖，Redis 是武林中的門派，為了讓門派更加穩(wěn)定，每個(gè)門派都有掌門和副掌門。
在一些小門派里面，掌門仙逝以后，都會(huì)開追悼大會(huì)，然后從副掌門中再選一個(gè)掌門出來主持大局，這個(gè)過程可能會(huì)持續(xù)好幾天。
但是，在一些大門派里面，比如武林之中一些有名望的派別：武當(dāng)、少林（如淘寶、微信）之流，卻不可一日無掌門。
放到如今的雙 11，電商應(yīng)用掛幾秒鐘可能都是千萬甚至億萬級(jí)別的損失，所以對(duì)系統(tǒng)的可用性要求非常高。
一般大型應(yīng)用的可用性都需要達(dá)到 4 個(gè) 9：即 99.99%，一年宕機(jī)時(shí)間不超過 53 分鐘。
那以武當(dāng)（淘寶 Redis）為例，需要如何保證門派的穩(wěn)定性呢？
首先我們得依賴副掌門機(jī)制（主從復(fù)制）做備份，上篇我們已經(jīng)說過了。
這期我們來說一下在掌門掛了后如何高效交接事務(wù)（故障轉(zhuǎn)移），武林門派大會(huì) 2.8 后，每個(gè)門派有一個(gè)單獨(dú)的部門來負(fù)責(zé)掌門交接事宜——哨兵部門。
Redis2.8 版本以后提供的哨兵機(jī)制（Sentinel）。
2. 哨兵部門的職責(zé)
在武當(dāng)派，張真人之下有武當(dāng)七俠，從聲望和資歷來看，派內(nèi)將前兩位弟子作為副掌門人選，他們平時(shí)也會(huì)輔助掌門處理門派事務(wù)。
而哨兵部門的職責(zé)，主要有四點(diǎn)：
圖片
- 監(jiān)控：檢查掌門和副掌門狀態(tài)，查看他們的生命體征和情緒狀態(tài)是否正常；
- 自動(dòng)故障轉(zhuǎn)移：當(dāng)掌門人閉關(guān)或者嗝屁了后，立馬從副掌門選一個(gè)新掌門接手門派事務(wù)；
- 配置提供者：外賓（客戶端）來訪時(shí)，通過哨兵部門來獲取掌門人的聯(lián)系方式；
- 通知：掌門更換以后，哨兵部門將新掌門已更新的信息發(fā)布到外界。
其中監(jiān)控和故障轉(zhuǎn)移功能主要是為了維系系統(tǒng)的穩(wěn)定，可以第一時(shí)間感知幾位掌門的狀態(tài)，當(dāng)掌門人閉關(guān)或者嗝屁以后，能快速地選出一個(gè)新的掌門接替門派事務(wù)。
而配置提供和通知功能主要是和客戶端交互，可以理解為哨兵部門是外賓和門派建立聯(lián)系的橋梁。
并且，當(dāng)掌門人易主以后，哨兵機(jī)制會(huì)向客戶端發(fā)布新的主節(jié)點(diǎn)地址。仿佛在向外界宣布，新掌門聯(lián)系方式變了，望周知！
3. 哨兵部門如何工作
哨兵部門這么強(qiáng)橫，那它究竟是怎么做到的呢？接下來我們從分別從監(jiān)控、節(jié)點(diǎn)切換、發(fā)布通知和節(jié)點(diǎn)恢復(fù)來詳細(xì)介紹一下。
3.1 監(jiān)控-感知各掌門的狀態(tài)
雖然說是監(jiān)控，但哨兵只是對(duì)各掌門人的狀態(tài)是否正常做一個(gè)判斷，門派事務(wù)哨兵是一概不參與的（畢竟人家是掌門&副掌門，哨兵還管不著這么寬）！
在武當(dāng)派，不管是哨兵部門的成員，還是副掌門之上，都會(huì)一招 “千里傳音”，以便更好地傳遞事務(wù)消息。
那既然不能參與事務(wù)，哨兵如何監(jiān)控它們的狀態(tài)呢？
圖片
如圖所示，哨兵成員會(huì)定期給掌門人們千里傳音，各掌門如果定時(shí)回復(fù)，那掌門人就處于正常狀態(tài)。
反之，如果掌門在規(guī)定時(shí)間內(nèi)不回復(fù)就說明狀態(tài)不正常，哨兵就會(huì)采取行動(dòng)。
主觀下線
在 Redis 服務(wù)器中，哨兵每隔 1 秒會(huì)給主從節(jié)點(diǎn)發(fā)送 PING 命令，如果在一定時(shí)間內(nèi)收到響應(yīng)，就說明節(jié)點(diǎn)正常運(yùn)行。
如果任意一個(gè)主/從節(jié)點(diǎn)沒有在規(guī)定時(shí)間內(nèi)（down-after-milliseconds 可配置，單位是毫秒）響應(yīng)，哨兵就認(rèn)為這個(gè)節(jié)點(diǎn)掛了，將其標(biāo)記為主觀下線。
為什么是主觀下線呢？
因?yàn)?Redis 中為了保證監(jiān)控的穩(wěn)定性，當(dāng)一個(gè)哨兵沒收到回復(fù)時(shí)，就說明這個(gè)節(jié)點(diǎn)有概率掛了，但是不一定完全是節(jié)點(diǎn)的問題，也有可能是網(wǎng)絡(luò)故障，或者阻塞了導(dǎo)致消息沒有正常傳播。
在武當(dāng)，哨兵部門就出過洋相！
那天，某個(gè)哨兵監(jiān)控到掌門人長(zhǎng)時(shí)間不回復(fù)消息，于是主觀判斷掌門人嗝屁了。于是開始換掌門，發(fā)通知，一頓操作下來，掌門人又傳來回復(fù)說晚飯吃得有點(diǎn)飽，千里傳音可能聲音比較小，哨兵沒聽到。
這讓武林同道看盡了笑話，至今傳為茶余飯后的談資。
客觀下線
于是，為了防止這種情況的發(fā)生，哨兵部門決定加派人手，每個(gè)部門至少 3 個(gè)人，每次判斷掌門嗝屁時(shí)如果有多個(gè)人得出相同的判斷，才能說明這個(gè)判斷有效。
在 Redis 里，每次部署哨兵集群時(shí)至少三臺(tái)機(jī)器來部署，當(dāng)某個(gè)哨兵判斷節(jié)點(diǎn)主觀下線后，就會(huì)向其它哨兵發(fā)起命令，其它哨兵根據(jù)自己的監(jiān)控情況，給出贊同或者反對(duì)的投票。
圖片
當(dāng)多數(shù)節(jié)點(diǎn)（比如 3 個(gè)哨兵有 2 個(gè)都認(rèn)可，quorum 可配置這個(gè)值）支持節(jié)點(diǎn)已下線，該節(jié)點(diǎn)會(huì)被標(biāo)記為客觀下線。
當(dāng)判斷主節(jié)點(diǎn)客戶下線后，哨兵機(jī)制會(huì)進(jìn)行故障轉(zhuǎn)移操作，即選出一個(gè)從節(jié)點(diǎn)升級(jí)為主節(jié)點(diǎn)。
不難理解，如果掌門人掛了，則哨兵部門會(huì)重新選一個(gè)新的掌門，來接替門派事務(wù)。
3.2 節(jié)點(diǎn)切換：如何選出新掌門
領(lǐng)頭哨兵：主持掌門更換儀式
首先，哨兵部門會(huì)先選一個(gè)領(lǐng)頭哨兵（leader sentinel），來主持換掌門的儀式。
圖片
領(lǐng)頭哨兵的選舉需要從領(lǐng)頭候選人（leader candidate）里面選，而只有發(fā)現(xiàn)掌門客觀下線的哨兵成員才可以成為候選人。
通過所有哨兵節(jié)點(diǎn)給候選人投票，至少得票數(shù)過半的候選人才能成為領(lǐng)頭哨兵。
為了防止票數(shù)重疊（刷票行為），每個(gè)節(jié)點(diǎn)只可以投一票，并且當(dāng)節(jié)點(diǎn)成為哨兵候選人時(shí)，會(huì)首先給自己投一票。
不難理解，畢竟換掌門儀式和下任新掌門息息相關(guān)，所以每個(gè)哨兵都想當(dāng)這個(gè) leader。
在 Redis 里面，參選領(lǐng)頭哨兵的候選人不止需要拿到半數(shù)以上的票，還需要超過配置文件中的 quorum 值才可以成為 leader sentinel。
為了防止投票數(shù)一致的問題，哨兵個(gè)數(shù)和 Redis 的節(jié)點(diǎn)數(shù)一樣，一般為單數(shù)個(gè)。
主從故障轉(zhuǎn)移：選出新掌門
哨兵集群中選出一個(gè) leader哨兵 之后，就開始進(jìn)行主從故障轉(zhuǎn)移。
在武當(dāng)，老掌門掛了，誰來當(dāng)這個(gè)新掌門呢？
為了公平起見，哨兵部門制定了一個(gè)策略，會(huì)從副掌門的向上管理能力、業(yè)務(wù)熟悉程度以及資歷來考慮。
對(duì)應(yīng) Redis 里選主節(jié)點(diǎn)的三大策略：優(yōu)先級(jí)、復(fù)制進(jìn)度、節(jié)點(diǎn) ID 號(hào)。
1. 優(yōu)先級(jí)
哨兵會(huì)根據(jù)從節(jié)點(diǎn)的優(yōu)先級(jí)進(jìn)行排序，優(yōu)先級(jí)越小排名越靠前。
在門派中，這可能是看哪個(gè)副掌門的向上管理做得更好，和領(lǐng)導(dǎo)走得更近，畢竟，掌門在選接班人時(shí)也會(huì)有優(yōu)先級(jí)的側(cè)重。
2. 復(fù)制進(jìn)度
如果節(jié)點(diǎn)的優(yōu)先級(jí)不分上下，則查看數(shù)據(jù)復(fù)制的 slave_repl_offset 參數(shù)，這個(gè)參數(shù)指向了從節(jié)點(diǎn)復(fù)制數(shù)據(jù)的偏移量，偏移量越大（復(fù)制數(shù)據(jù)越多）的那個(gè)從節(jié)點(diǎn)勝出。
想了解更多的，可以看我上一篇文章：救命！只有我還不明白R(shí)edis主從復(fù)制的原理嗎？
這就好比掌門不偏不倚，對(duì)待副掌門都一視同仁。這就得考量副掌門的業(yè)務(wù)熟悉能力了，誰在掌門那里學(xué)的本事越多，誰就來當(dāng)這個(gè)新掌門。
3. 節(jié)點(diǎn) ID 號(hào)
當(dāng)優(yōu)先級(jí)和復(fù)制程度都相同時(shí)，就選擇從節(jié)點(diǎn) ID 較小的那個(gè)（說明排行越高）。
當(dāng)副掌門的受重視程度和能力不相上下時(shí)，就得論資排輩了，看誰資歷更高，排行更靠前（大師兄 > 二師兄 > 三師弟），誰就來當(dāng)這個(gè)新掌門。
3.3 通知機(jī)制：更換掌門后告知武林同道
在哨兵機(jī)制的協(xié)助下，從節(jié)點(diǎn)晉升為主節(jié)點(diǎn)，這時(shí)機(jī)器節(jié)點(diǎn)的 IP 等信息都更換了，所以需要知會(huì)客戶端和新的主節(jié)點(diǎn)進(jìn)行通信，這是通過發(fā)布/訂閱者機(jī)制實(shí)現(xiàn)的。
圖片
每個(gè)門派可能有諸多事宜，但是客戶端（外賓）不會(huì)關(guān)心所有的事件，它們只關(guān)心一些像掌門更換這種大事情。
在 Redis 里面，哨兵機(jī)制提供的訂閱事件主要有如下三種：
- 主節(jié)點(diǎn)下線事件：如節(jié)點(diǎn)主觀下線（+sdown）、客觀下線（+odown）等；
- 從庫(kù)更新配置事件：如重新同步（+slave-reconf-sent）、主從同步完成（+slave-reconf-done）等；
- 主節(jié)點(diǎn)更換：主庫(kù)地址發(fā)生變化（+switch-master）。
如果客戶端訂閱了主節(jié)點(diǎn)更換的事件，就會(huì)收到哨兵的通知事件，進(jìn)而調(diào)整自身連接的節(jié)點(diǎn)信息。
3.4 節(jié)點(diǎn)恢復(fù)：老掌門出關(guān)，擔(dān)任副掌門
所謂一山不容二虎，哨兵部門在更換掌門后要做的職責(zé)是，繼續(xù)監(jiān)控老掌門的體征信息。
圖片
一當(dāng)老掌門有消息回復(fù)時(shí)，哨兵部門就會(huì)告訴它，現(xiàn)在已經(jīng)有新掌門人了，老掌門失聯(lián)這么久，對(duì)門派事務(wù)的了解難免落后，所以會(huì)讓它先擔(dān)任副掌門。
Redis 中，哨兵集群會(huì)向重新上線的舊主節(jié)點(diǎn)發(fā)送 SLAVEOF 命令，讓它成為新主節(jié)點(diǎn)的從節(jié)點(diǎn)。
當(dāng)哨兵集群同步這個(gè)事件以后，會(huì)接著發(fā)布從庫(kù)更新配置事件的訂閱消息，讓客戶端也知曉。
4. 小結(jié)
在大型的互聯(lián)網(wǎng)應(yīng)用上，Redis 為了保證高可用，會(huì)在主從復(fù)制的部署架構(gòu)上進(jìn)一步引入哨兵機(jī)制。
如果說主從同步是 Redis 高可用的數(shù)據(jù)保障基礎(chǔ)，那哨兵機(jī)制就是 Redis 高可用的進(jìn)階支撐，有了它，就不用擔(dān)心 Redis 掛了后得人工升級(jí)，并且還非常低效的問題了。
畢竟，亂世江湖，門派中一旦群龍無首，就很容易陷入危機(jī)，導(dǎo)致四分五裂！
接下來我們總結(jié)一下，哨兵機(jī)制的工作流程：
- 監(jiān)控各節(jié)點(diǎn)狀態(tài)，判斷是否下線（千里傳音，了解各掌門狀態(tài)）；
- 當(dāng)主節(jié)點(diǎn)主觀下線以后，選出一個(gè)領(lǐng)頭哨兵做故障轉(zhuǎn)移（掌門人掛了，選一個(gè)leader主持掌門更換儀式）；
- 選出一個(gè)從節(jié)點(diǎn)，晉升為從節(jié)點(diǎn)，并發(fā)布通知（選出新掌門，向武林同道發(fā)布這個(gè)消息）；
- 繼續(xù)監(jiān)控，如果老節(jié)點(diǎn)恢復(fù)，就讓它作為新主節(jié)點(diǎn)的備份從節(jié)點(diǎn)（老掌門出關(guān)，先給個(gè)副掌門當(dāng)當(dāng)）。
而 Redis 精準(zhǔn)無誤地執(zhí)行上述流程，是通過發(fā)布訂閱、投票算法等機(jī)制做到的，這讓系統(tǒng)的高可用進(jìn)一步得到了保障。
在派系林立的江湖也這樣，哨兵部門如果能很好地處理掌門人之間的權(quán)力和事務(wù)關(guān)系，門派發(fā)展擴(kuò)大亦是指日可待！
