業務系統常用限流算法淺析-魔扣目錄

Part 01

什么是限流？

業務系統限流是指系統在面臨高并發或者大流量請求的情況下，限制新的請求對系統的訪問，從而保證系統的穩定性和安全性。

Part 02

為什么要限流？

系統資源和處理能力都是有限的，如果一個系統不限制流量，比如在秒殺活動、大促銷等場景下，瞬時間大量的流量訪問將超出系統的負載，最終會導致服務異常、機器宕機。

Part 03

常用的限流算法

常用的限流算法有固定窗口算法、滑動窗口算法、漏桶算法和令牌桶算法，下面將對這幾種算法分別進行介紹，這也是所有限流框架實現限流的基礎。

Part 04

固定窗口算法

固定窗口限流算法是最基礎的一種限流算法。原理是將一段固定時間當做一個窗口，通過計數器記錄這個窗口接收到的請求次數。當請求次數大于限流閾值，就拒絕訪問；反之就允許訪問，并將計數器加1。當時間窗口結束后將計數器重置為0。

該算法易于理解，實現也簡單。但是缺點也很明顯，會產生突刺現象和臨界問題：

突刺現象是指窗口一段時間內服務不可用，導致流程曲線不夠平滑。假如窗口大小為1分鐘，限流閾值為10，然后窗口的第1秒恰好進來10個請求，導致以后59秒的請求都被拒絕。
臨界問題是指窗口切換時產生兩倍閾值流量的請求。假如窗口大小還是1分鐘，限流閾值還是10，然后第一個窗口前期沒有請求，恰好在第59秒進來10個請求，此時這10個請求都會放行。下一個窗口的第1秒恰好又來了10個請求，也全部放行了，相當于2秒之內通過了20個請求，而系統設定的閾值是10。惡意用戶有可能通過算法的這個漏洞，在時間窗口的重置節點處突發請求，瞬間壓垮業務系統。

Part 05

滑動窗口算法

為了解決固定窗口算法中的臨界問題，讓流量限制更加平滑，產生了滑動窗口算法。該算法將固定窗口中分割出多個小窗口，分別記錄每個小窗口內的訪問次數，然后根據時間將窗口往前滑動并刪除過期的小窗口。

假設窗口時間還是1分鐘，滑動窗口算法把它劃分為6個小周期，每個小周期是10秒，對應滑動窗口被劃分為6個小格子。每隔10秒時間窗口就會往右滑動一格，每個小窗口都有獨立的計數器，如果請求是43秒到達的，40秒到50秒小窗口對應的計數器就會加1。

我們看下滑動窗口是如何解決臨界問題的，假設1分鐘內的限流閥值還是10，50秒到60秒內（比如58秒的時候）來了10個請求，落在綠色格子里。時間過了60秒這個點之后又來10個請求，落在紅色格子里。滑動窗口過了60秒這個點后會右移一個小格，當前的窗口時間段是10秒到70秒，這個區域的請求已經超過限定的10了，所以紅色格子的請求都會被拒絕。

滑動窗口算法雖然解決了臨界問題，但是一旦到達限流閾值后，請求都會被直接拒絕。在實際應用中我們要的限流效果不是把流量一下子掐斷，而是讓流量平滑地進入系統當中。

Part 06

漏桶算法

如何更加平滑的限流，我們來看看漏桶算法。漏桶算法的限流原理可以認為就是進水漏水的過程。請求像水一樣以任意速率注入漏桶，而漏桶會按照固定的速率將水漏掉；當進水速度超過漏水速度時，漏桶會裝滿，此后進入的水會溢出，也就是請求被丟棄。

漏桶算法主要目的是將網絡中的突發流量整合成平滑穩定的流量，不過由于漏桶對流量的控制過于嚴格，導致部分場景下不能充分利用系統資源。因為漏桶的漏水速率是固定的，即使在某一時刻下游系統處理能力富余，漏桶也不會允許突發流量通過。流量突發時我們希望系統在穩定的同時，能盡可能快的處理用戶請求，接下來介紹的令牌桶算法能夠在一定程度上解決流量突發的問題。