日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.ylptlb.cn 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會員:747

Paxos算法在分布式領域具有非常重要的地位。但是Paxos算法有兩個比較明顯的缺點:1.難以理解 2.工程實現更難。

網上有很多講解Paxos算法的文章,但是質量參差不齊。看了很多關于Paxos的資料后發現,學習Paxos最好的資料是論文《Paxos Made Simple》,其次是中、英文版維基百科對Paxos的介紹。本文試圖帶大家一步步揭開Paxos神秘的面紗。

Paxos是什么

Paxos算法是基于消息傳遞且具有高度容錯特性一致性算法,是目前公認的解決分布式一致性問題最有效的算法之一。

google Chubby的作者Mike Burrows說過這個世界上只有一種一致性算法,那就是Paxos,其它的算法都是殘次品

雖然Mike Burrows說得有點夸張,但是至少說明了Paxos算法的地位。然而,Paxos算法也因為晦澀難懂而臭名昭著。本文的目的就是帶領大家深入淺出理解Paxos算法,不僅理解它的執行流程,還要理解算法的推導過程,作者是怎么一步步想到最終的方案的。只有理解了推導過程,才能深刻掌握該算法的精髓。而且理解推導過程對于我們的思維也是非常有幫助的,可能會給我們帶來一些解決問題的思路,對我們有所啟發。

問題產生的背景

在常見的分布式系統中,總會發生諸如機器宕機網絡異常(包括消息的延遲、丟失、重復、亂序,還有網絡分區)等情況。Paxos算法需要解決的問題就是如何在一個可能發生上述異常的分布式系統中,快速且正確地在集群內部對某個數據的值達成一致,并且保證不論發生以上任何異常,都不會破壞整個系統的一致性。

注:這里某個數據的值并不只是狹義上的某個數,它可以是一條日志,也可以是一條命令(command)。。。根據應用場景不同,某個數據的值有不同的含義。

Paxos算法原理與推導

 

 

相關概念

在Paxos算法中,有三種角色:

  • Proposer
  • Acceptor
  • Learners

在具體的實現中,一個進程可能同時充當多種角色。比如一個進程可能既是Proposer又是Acceptor又是Learner

還有一個很重要的概念叫提案(Proposal)。最終要達成一致的value就在提案里。

注:

  • 暫且認為『提案=value』,即提案只包含value。在我們接下來的推導過程中會發現如果提案只包含value,會有問題,于是我們再對提案重新設計
  • 暫且認為『Proposer可以直接提出提案』。在我們接下來的推導過程中會發現如果Proposer直接提出提案會有問題,需要增加一個學習提案的過程。

Proposer可以提出(propose)提案;Acceptor可以接受(accept)提案;如果某個提案被選定(chosen),那么該提案里的value就被選定了。

回到剛剛說的『對某個數據的值達成一致』,指的是Proposer、Acceptor、Learner都認為同一個value被選定(chosen)。那么,Proposer、Acceptor、Learner分別在什么情況下才能認為某個value被選定呢?

  • Proposer:只要Proposer發的提案被Acceptor接受(剛開始先認為只需要一個Acceptor接受即可,在推導過程中會發現需要半數以上的Acceptor同意才行),Proposer就認為該提案里的value被選定了。
  • Acceptor:只要Acceptor接受了某個提案,Acceptor就任務該提案里的value被選定了。
  • Learner:Acceptor告訴Learner哪個value被選定,Learner就認為那個value被選定。

 

Paxos算法原理與推導

 

 

問題描述

假設有一組可以提出(propose)value(value在提案Proposal里)的進程集合。一個一致性算法需要保證提出的這么多value中,只有一個value被選定(chosen)。如果沒有value被提出,就不應該有value被選定。如果一個value被選定,那么所有進程都應該能學習(learn)到這個被選定的value。對于一致性算法,安全性(safaty)要求如下:

  • 只有被提出的value才能被選定。
  • 只有一個value被選定,并且
  • 如果某個進程認為某個value被選定了,那么這個value必須是真的被選定的那個。

我們不去精確地定義其活性(liveness)要求。我們的目標是保證最終有一個提出的value被選定。當一個value被選定后,進程最終也能學習到這個value。

Paxos的目標:保證最終有一個value會被選定,當value被選定后,進程最終也能獲取到被選定的value。

假設不同角色之間可以通過發送消息來進行通信,那么:

  • 每個角色以任意的速度執行,可能因出錯而停止,也可能會重啟。一個value被選定后,所有的角色可能失敗然后重啟,除非那些失敗后重啟的角色能記錄某些信息,否則等他們重啟后無法確定被選定的值。
  • 消息在傳遞過程中可能出現任意時長的延遲,可能會重復,也可能丟失。但是消息不會被損壞,即消息內容不會被篡改(拜占庭將軍問題)。

推導過程

最簡單的方案——只有一個Acceptor

假設只有一個Acceptor(可以有多個Proposer),只要Acceptor接受它收到的第一個提案,則該提案被選定,該提案里的value就是被選定的value。這樣就保證只有一個value會被選定。

但是,如果這個唯一的Acceptor宕機了,那么整個系統就無法工作了!

因此,必須要有多個Acceptor

Paxos算法原理與推導

 

 

多個Acceptor

多個Acceptor的情況如下圖。那么,如何保證在多個Proposer和多個Acceptor的情況下選定一個value呢?

Paxos算法原理與推導

 

 

下面開始尋找解決方案。

如果我們希望即使只有一個Proposer提出了一個value,該value也最終被選定。

那么,就得到下面的約束:

P1:一個Acceptor必須接受它收到的第一個提案。

但是,這又會引出另一個問題:如果每個Proposer分別提出不同的value,發給不同的Acceptor。根據P1,Acceptor分別接受自己收到的value,就導致不同的value被選定。出現了不一致。如下圖:

Paxos算法原理與推導

 

 

剛剛是因為『一個提案只要被一個Acceptor接受,則該提案的value就被選定了』才導致了出現上面不一致的問題。因此,我們需要加一個規定:

規定:一個提案被選定需要被半數以上的Acceptor接受

這個規定又暗示了:『一個Acceptor必須能夠接受不止一個提案!』不然可能導致最終沒有value被選定。比如上圖的情況。v1、v2、v3都沒有被選定,因為它們都只被一個Acceptor的接受。

最開始講的『提案=value』已經不能滿足需求了,于是重新設計提案,給每個提案加上一個提案編號,表示提案被提出的順序。令『提案=提案編號+value』。

雖然允許多個提案被選定,但必須保證所有被選定的提案都具有相同的value值。否則又會出現不一致。

于是有了下面的約束:

P2:如果某個value為v的提案被選定了,那么每個編號更高的被選定提案的value必須也是v。

一個提案只有被Acceptor接受才可能被選定,因此我們可以把P2約束改寫成對Acceptor接受的提案的約束P2a。

P2a:如果某個value為v的提案被選定了,那么每個編號更高的被Acceptor接受的提案的value必須也是v。

只要滿足了P2a,就能滿足P2。

但是,考慮如下的情況:假設總的有5個Acceptor。Proposer2提出[M1,V1]的提案,Acceptor2~5(半數以上)均接受了該提案,于是對于Acceptor2~5和Proposer2來講,它們都認為V1被選定。Acceptor1剛剛從宕機狀態恢復過來(之前Acceptor1沒有收到過任何提案),此時Proposer1向Acceptor1發送了[M2,V2]的提案(V2≠V1且M2>M1),對于Acceptor1來講,這是它收到的第一個提案。根據P1(一個Acceptor必須接受它收到的第一個提案。),Acceptor1必須接受該提案!同時Acceptor1認為V2被選定。這就出現了兩個問題:

  1. Acceptor1認為V2被選定,Acceptor2~5和Proposer2認為V1被選定。出現了不一致。
  2. V1被選定了,但是編號更高的被Acceptor1接受的提案[M2,V2]的value為V2,且V2≠V1。這就跟P2a(如果某個value為v的提案被選定了,那么每個編號更高的被Acceptor接受的提案的value必須也是v)矛盾了。

 

Paxos算法原理與推導

 

 

所以我們要對P2a約束進行強化!

P2a是對Acceptor接受的提案約束,但其實提案是Proposer提出來的,所有我們可以對Proposer提出的提案進行約束。得到P2b:

P2b:如果某個value為v的提案被選定了,那么之后任何Proposer提出的編號更高的提案的value必須也是v。

由P2b可以推出P2a進而推出P2。

那么,如何確保在某個value為v的提案被選定后,Proposer提出的編號更高的提案的value都是v呢?

只要滿足P2c即可:

P2c:對于任意的N和V,如果提案[N, V]被提出,那么存在一個半數以上的Acceptor組成的集合S,滿足以下兩個條件中的任意一個:
  • S中每個Acceptor都沒有接受過編號小于N的提案。
  • S中Acceptor接受過的最大編號的提案的value為V。

Proposer生成提案

為了滿足P2b,這里有個比較重要的思想:Proposer生成提案之前,應該先去『學習』已經被選定或者可能被選定的value,然后以該value作為自己提出的提案的value。如果沒有value被選定,Proposer才可以自己決定value的值。這樣才能達成一致。這個學習的階段是通過一個『Prepare請求』實現的。

于是我們得到了如下的提案生成算法

  1. Proposer選擇一個新的提案編號N,然后向某個Acceptor集合(半數以上)發送請求,要求該集合中的每個Acceptor做出如下響應(response)。

(a) 向Proposer承諾保證不再接受任何編號小于N的提案

(b) 如果Acceptor已經接受過提案,那么就向Proposer響應已經接受過的編號小于N的最大編號的提案

我們將該請求稱為編號為NPrepare請求

  1. 如果Proposer收到了半數以上的Acceptor的響應,那么它就可以生成編號為N,Value為V的提案[N,V]。這里的V是所有的響應中編號最大的提案的Value。如果所有的響應中都沒有提案,那 么此時V就可以由Proposer自己選擇
  2. 生成提案后,Proposer將該提案發送給半數以上的Acceptor集合,并期望這些Acceptor能接受該提案。我們稱該請求為Accept請求。(注意:此時接受Accept請求的Acceptor集合不一定是之前響應Prepare請求的Acceptor集合)

Acceptor接受提案

Acceptor可以忽略任何請求(包括Prepare請求和Accept請求)而不用擔心破壞算法的安全性。因此,我們這里要討論的是什么時候Acceptor可以響應一個請求。

我們對Acceptor接受提案給出如下約束:

P1a:一個Acceptor只要尚未響應過任何編號大于NPrepare請求,那么他就可以接受這個編號為N的提案

如果Acceptor收到一個編號為N的Prepare請求,在此之前它已經響應過編號大于N的Prepare請求。根據P1a,該Acceptor不可能接受編號為N的提案。因此,該Acceptor可以忽略編號為N的Prepare請求。當然,也可以回復一個error,讓Proposer盡早知道自己的提案不會被接受。

因此,一個Acceptor只需記住:1. 已接受的編號最大的提案 2. 已響應的請求的最大編號。

Paxos算法原理與推導

 

 

Paxos算法描述

經過上面的推導,我們總結下Paxos算法的流程。

Paxos算法分為兩個階段。具體如下:

  • 階段一:

(a) Proposer選擇一個提案編號N,然后向半數以上的Acceptor發送編號為N的Prepare請求

(b) 如果一個Acceptor收到一個編號為N的Prepare請求,且N大于該Acceptor已經響應過的所有Prepare請求的編號,那么它就會將它已經接受過的編號最大的提案(如果有的話)作為響應反饋給Proposer,同時該Acceptor承諾不再接受任何編號小于N的提案

  • 階段二:

(a) 如果Proposer收到半數以上Acceptor對其發出的編號為N的Prepare請求的響應,那么它就會發送一個針對[N,V]提案Accept請求半數以上的Acceptor。注意:V就是收到的響應編號最大的提案的value,如果響應中不包含任何提案,那么V就由Proposer自己決定

(b) 如果Acceptor收到一個針對編號為N的提案的Accept請求,只要該Acceptor沒有對編號大于NPrepare請求做出過響應,它就接受該提案

Paxos算法原理與推導

 

 

Learner學習被選定的value

Learner學習(獲取)被選定的value有如下三種方案:

Paxos算法原理與推導

 

 

如何保證Paxos算法的活性

Paxos算法原理與推導

 

 

通過選取主Proposer,就可以保證Paxos算法的活性。至此,我們得到一個既能保證安全性,又能保證活性分布式一致性算法——Paxos算法

分享到:
標簽:算法 Paxos
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定