由于hystrix官方已經停止維護了,目前spring-cloud推薦使用resilience4j來代替hystrix實現熔斷、限流。
熔斷一般指客戶端調用服務端接口出現異常時客戶端側的處理,當然也可以是服務端的處理出現異常時熔斷快速返回,可以暫時切斷對下游服務的調用,是一種犧牲局部保全整體的有效措施(同時此客戶端也可能是服務端)。
限流一般是指限制在指定時間間隔內的請求量,避免因請求過多導致服務崩潰,限流被看作是服務端的自我保護能力。
1、客戶端openfeign使用resilience4j實現熔斷
模擬一個客戶端,通過feign調用一個服務端接口來模擬此功能
使用spring-boot的版本為2.7.3,spring-cloud版本為2021.0.4,關鍵的依賴如下
- 1.1、引入關鍵依賴
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-circuitbreaker-resilience4j</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-openfeign</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-loadbalancer</artifactId>
</dependency>
<dependency>
<groupId>io.github.resilience4j</groupId>
<artifactId>resilience4j-feign</artifactId>
</dependency>
- 1.2、Application.yaml增加以下熔斷配置
resilience4j:
circuitbreaker:
instances:
ApiService:
registerHealthIndicator: true
slidingwindowsize: 7
slidingWindowType: COUNT_BASED
waitDurationInOpenState: 5000
permittedNumberOfCallsInHalfOpenState: 6
feign:
client:
config:
default:
readTimeout: 1000
connectTimeout: 1000
circuitbreaker:
enabled: true
logging:
level:
root: info
pattern:
console: "%d{${LOG_DATEFORMAT_PATTERN:HH:mm:ss.SSS}} %m%n"
需要注意的是feign需要開啟circuitbreaker,并在啟動類中增加@EnableFeignClients,
spring-boot默認情況下會使用logback來管理日志,為了便于觀察調整參數后的效果調整一下日志格式,在此案例中默認的日志格式在
org.springframework.boot.logging.logback.DefaultLogbackConfiguration類中defaults方法中定義,此類在包spring-boot:2.7.3中。
增加feign客戶端請求類并需要增加fallback方法處理熔斷后的默認返回,簡單寫一個測試類完成測試,觀察對應的參數情況
- 1.3、編寫一個feign client端
//ApiClient.JAVA
@FeignClient(name = "ApiService", url = "http://localhost:8082")
public interface ApiClient {
@GetMapping("/api/test")
@CircuitBreaker(name = "ApiService", fallbackMethod = "getUserFallback")
String getUser(@RequestParam(name = "param") String param, @RequestParam(name = "time") int time);
default String getUserFallback(String param, int time, Exception exc) {
return "default value";
}
}
- 1.3、編寫一個單元測試模擬調用
//ResilienceTest.java
@Slf4j
@SpringBootTest
class ResilienceTest {
@Autowired
private ApiClient apiClient;
@Autowired
private CircuitBreakerRegistry circuitBreakerRegistry;
@Test
void test() throws Exception {
for (int i = 0; i < 1000; i++) {
apiClient.getUser("test", 500);
status();
Thread.sleep(500);
}
}
private void status() {
CircuitBreaker breaker = circuitBreakerRegistry.circuitBreaker("ApiService");
CircuitBreaker.Metrics metrics = breaker.getMetrics();
log.info("state={},metrics[failureRate={},bufferedCalls={},failedCalls={},successCalls={},maxBufferCalls={},notPermittedCalls={}]"
, breaker.getState(), metrics.getFailureRate(), metrics.getNumberOfBufferedCalls(), metrics.getNumberOfFailedCalls()
, metrics.getNumberOfSuccessfulCalls(), metrics.getNumberOfBufferedCalls(), metrics.getNumberOfNotPermittedCalls());
}
}
在沒有任務服務端的情況下,運行單元測試即可模擬熔斷的效果。另外需要注意配置的feign調用的超時,單元測試中增加獲取metrics并打印以便觀察效果;
運行結果如下
簡單分析一下,滑動窗口的大小slidingWindowSize為7,滑動窗口類型slidingWindowType為計數器,熔斷器從打開到半開的狀態等待時間為5秒,熔斷器半開狀態下允許的數量
permittedNumberOfCallsInHalfOpenState為6。
failureRateThreshold的含義:如60(即%60),這個閾值控制兩個狀態的變化,從CLOSE=>OPEN時,表示當錯誤率高于60%時開啟熔斷,而狀態從HALF_OPEN=>CLOSE時,表示當錯誤率低于60%時關閉熔斷;
2、服務端使用resilience4j實現限流
使用一個服務端的接口簡單模擬一下限流的方式,如設定5秒內最多10個請求,觀察異常情況;
同樣是使用spring-boot的版本2.7.3,spring-cloud版本2021.0.4進行模擬
- 2.1、引入關鍵依賴
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-circuitbreaker-resilience4j</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-aop</artifactId>
</dependency>
- 2.2、application.yaml配置文件增加ratelimiter配置
resilience4j:
ratelimiter:
instances:
ApiService:
limitForPeriod: 10
limitRefreshPeriod: 5s
timeoutDuration: 0
limitRefreshPeriod表示刷新周期,limitForPeriod表示一個時間周期內請求的總數,配置表示5秒內允許10個請求。
- 2.3、寫一個controller接收請求,service處理請求并增加限流控制,同時增加一個限流后異常處理
//ApiController.java
@Slf4j
@RequestMapping("/api")
@RestController
public class ApiController {
@Autowired
private ApiService apiService;
@GetMapping("/limit")
public String limit() {
return apiService.limit();
}
}
//ApiService.java
@Slf4j
@Service
public class ApiService {
@RateLimiter(name = "ApiService", fallbackMethod = "testFallback")
public String limit() {
return "success";
}
@SneakyThrows
public String testFallback(java.lang.Throwable exception) {
throw exception;
}
}
//Advice.java
@Slf4j
@ControllerAdvice
public class Advice {
@ExceptionHandler(RequestNotPermitted.class)
@ResponseStatus(HttpStatus.TOO_MANY_REQUESTS)
public void error(){
log.error("Too Many Requests");
}
}
編寫一個ControllerAdvice通過處理RequestNotPermitted異常,返回客戶端響應碼429。
- 2.3、編寫一個測試類模擬限流情況
@Slf4j
@SpringBootTest
class ResilienceTest {
private RestTemplate restTemplate = new RestTemplate();
@Test
void limit() throws Exception {
for (int i = 1; i <= 99; i++) {
try {
ResponseEntity<String> response = restTemplate.getForEntity("http://localhost:9999/api/limit", String.class);
log.info("status code {} {}", String.format("%02d", i), response.getStatusCode());
} catch (HttpClientErrorException e) {
log.error("status code {}", e.getStatusCode());
}
Thread.sleep(400);
}
}
}
可以適當減少單元測試的休眠時間,觀察發生限流的情況。