在分布式服務中,原來的單體服務會被拆分成一個個微服務,服務注冊實例到注冊中心,服務消費者通過注冊中心獲取實例列表,直接請求調用服務。
服務是如何注冊到注冊中心,服務如果掛了,服務是如何檢測?帶著這些問題,我們從源碼上對服務注冊進行簡單的源碼分析。
版本 2.1.1
- Nacos Server:2.1.1
- spring-cloud-starter-alibaba:2.1.1.RELEASE
- spring-boot:2.1.1.RELEASE
方便統一版本,客戶端和服務端版本號都為2.1.1。
客戶端
啟動nacos服務注冊和發現需要添加maven依賴:
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
<version>${latest.version}</version>
</dependency>
根據maven依賴找到對應的spring.factories文件:
在spring.factories文件里找到啟動配置類信息,SpringBoot服務啟動時會將這些配置類信息注入到bean容器中。
org.springframework.boot.autoconfigure.EnableAutoConfiguration=
com.alibaba.cloud.nacos.NacosDiscoveryAutoConfiguration,
com.alibaba.cloud.nacos.ribbon.RibbonNacosAutoConfiguration,
com.alibaba.cloud.nacos.endpoint.NacosDiscoveryEndpointAutoConfiguration,
com.alibaba.cloud.nacos.discovery.NacosDiscoveryClientAutoConfiguration,
com.alibaba.cloud.nacos.discovery.configclient.NacosConfigServerAutoConfiguration
org.springframework.cloud.bootstrap.BootstrapConfiguration=
com.alibaba.cloud.nacos.discovery.configclient.NacosDiscoveryClientConfigServiceBootstrapConfiguration
服務注冊的核心配置類為:NacosDiscoveryAutoConfiguration,該類配置三個bean對象:
- NacosServiceRegistry
- NacosRegistration
- NacosAutoServiceRegistration
NacosAutoServiceRegistration
NacosAutoServiceRegistration繼承了抽象類AbstractAutoServiceRegistration。AbstractAutoServiceRegistration抽象類又實現了ApplicationListener接口。
實現ApplicationListener接口的方法,會在Spring容器初始化完成之后調用onApplicationEvent方法:
public void onApplicationEvent(WebServerInitializedEvent event) {
bind(event);
}
調用bind方法:
public void bind(WebServerInitializedEvent event) {
ApplicationContext context = event.getApplicationContext();
if (context instanceof ConfigurableWebServerApplicationContext) {
if ("management".equals(((ConfigurableWebServerApplicationContext) context)
.getServerNamespace())) {
return;
}
}
this.port.compareAndSet(0, event.getWebServer().getPort());
// 調用 start 方法
this.start();
}
調用了start方法:
public void start() {
if (!isEnabled()) {
if (logger.isDebugEnabled()) {
logger.debug("Discovery Lifecycle disabled. Not starting");
}
return;
}
if (!this.running.get()) {
this.context.publishEvent(
new InstancePreRegisteredEvent(this, getRegistration()));
register();
if (shouldRegisterManagement()) {
registerManagement();
}
this.context.publishEvent(
new InstanceRegisteredEvent<>(this, getConfiguration()));
this.running.compareAndSet(false, true);
}
}
調用了register方法,最終調用的是NacosServiceRegistry類的register方法。
NacosServiceRegistry
根據上文可知,服務器啟動后調用NacosServiceRegistry類的register方法,該方法實現將實例注冊到服務端:
public void register(Registration registration) {
if (StringUtils.isEmpty(registration.getServiceId())) {
log.warn("No service to register for nacos client...");
return;
}
String serviceId = registration.getServiceId();
String group = nacosDiscoveryProperties.getGroup();
// 創建實例
Instance instance = getNacosInstanceFromRegistration(registration);
try {
// 注冊實例
namingService.registerInstance(serviceId, group, instance);
log.info("nacos registry, {} {} {}:{} register finished", group, serviceId,
instance.getIp(), instance.getPort());
}
catch (Exception e) {
log.error("nacos registry, {} register failed...{},", serviceId,
registration.toString(), e);
}
}
創建實例,然后通過namingService.registerInstance方法注冊實例,然后查看registerInstance方法:
@Override
public void registerInstance(String serviceName, String groupName, Instance instance) throws NacosException {
if (instance.isEphemeral()) {
// 封裝心跳包
BeatInfo beatInfo = new BeatInfo();
beatInfo.setServiceName(NamingUtils.getGroupedName(serviceName, groupName));
beatInfo.setIp(instance.getIp());
beatInfo.setPort(instance.getPort());
beatInfo.setCluster(instance.getClusterName());
beatInfo.setWeight(instance.getWeight());
beatInfo.setMetadata(instance.getMetadata());
beatInfo.setScheduled(false);
long instanceInterval = instance.getInstanceHeartBeatInterval();
beatInfo.setPeriod(instanceInterval == 0 ? DEFAULT_HEART_BEAT_INTERVAL : instanceInterval);
// 發送心跳包
beatReactor.addBeatInfo(NamingUtils.getGroupedName(serviceName, groupName), beatInfo);
}
// 發送實例
serverProxy.registerService(NamingUtils.getGroupedName(serviceName, groupName), groupName, instance);
}
registerInstance主要做兩件事:
- 發送心跳包
beatReactor.addBeatInfo使用定時服務,每隔5s向服務端發送一次心跳請求,通過http請求發送心跳信息,路徑為/v1/ns/instance/beat。
心跳請求定時任務使用線程池ScheduledThreadPoolExecutor.schedule(),而該方法只會調用一次,定時任務的實現是在每次請求任務只會再調用一次ScheduledThreadPoolExecutor.schedule(), 簡單說就是nacos在發送心跳的時候,會調用schedule方法,在schedule要執行的任務中,如果正常發送完心跳,會再次調用schedule方法。
那為什么不直接調用周期執行的線程池ScheduledThreadPoolExecutor.scheduleAtFixedRate()?可能是由于發送心跳服務發生異常后,定時任務還會繼續執行,但是周期執行的線程池遇到報錯后也不會重復調用執行的任務。
線程任務BeatTask的run方法,,每次執行會先判斷isStopped,如果是false,說明心跳停止,就不會觸發下次執行任務。如果使用定時任務scheduleAtFixedRate,即使心跳停止還會繼續執行任務,造成資源不必要浪費。
- 注冊實例
registerService主要封裝實例信息,比如ip、port、servicename,將這些信息通過http請求發送給服務端。路徑為/v1/ns/instance。
根據上面流程,查看以下的流程圖:
服務端
服務端就是注冊中心,服務注冊到注冊中心,在https://github.com/alibaba/nacos/releases/tag/2.1.1下載源碼部署到本地,方便調式和查看,部署方式詳見我的另外一篇文章Nacos 源碼環境搭建。
服務端主要接收兩個信息:心跳包和實例信息。
心跳包
客戶端向服務請求的路徑為/v1/ns/instance/beat,對應的服務端為InstanceController類的beat方法:
@PutMapping("/beat")
@Secured(action = ActionTypes.WRITE)
public ObjectNode beat(HttpServletRequest request) throws Exception {
ObjectNode result = JacksonUtils.createEmptyJsonNode();
result.put(SwitchEntry.CLIENT_BEAT_INTERVAL, switchDomain.getClientBeatInterval());
String beat = WebUtils.optional(request, "beat", StringUtils.EMPTY);
RsInfo clientBeat = null;
// 判斷是否有心跳,存在心跳就轉成RsInfo
if (StringUtils.isNotBlank(beat)) {
clientBeat = JacksonUtils.toObj(beat, RsInfo.class);
}
String clusterName = WebUtils
.optional(request, CommonParams.CLUSTER_NAME, UtilsAndCommons.DEFAULT_CLUSTER_NAME);
String ip = WebUtils.optional(request, "ip", StringUtils.EMPTY);
int port = Integer.parseInt(WebUtils.optional(request, "port", "0"));
if (clientBeat != null) {
if (StringUtils.isNotBlank(clientBeat.getCluster())) {
clusterName = clientBeat.getCluster();
} else {
// fix #2533
clientBeat.setCluster(clusterName);
}
ip = clientBeat.getIp();
port = clientBeat.getPort();
}
String namespaceId = WebUtils.optional(request, CommonParams.NAMESPACE_ID, Constants.DEFAULT_NAMESPACE_ID);
String serviceName = WebUtils.required(request, CommonParams.SERVICE_NAME);
NamingUtils.checkServiceNameFormat(serviceName);
Loggers.SRV_LOG.debug("[CLIENT-BEAT] full arguments: beat: {}, serviceName: {}, namespaceId: {}", clientBeat,
serviceName, namespaceId);
// 獲取實例信息
BeatInfoInstanceBuilder builder = BeatInfoInstanceBuilder.newBuilder();
builder.setRequest(request);
int resultCode = getInstanceOperator()
.handleBeat(namespaceId, serviceName, ip, port, clusterName, clientBeat, builder);
result.put(CommonParams.CODE, resultCode);
// 下次發送心跳包間隔
result.put(SwitchEntry.CLIENT_BEAT_INTERVAL,
getInstanceOperator().getHeartBeatInterval(namespaceId, serviceName, ip, port, clusterName));
result.put(SwitchEntry.LIGHT_BEAT_ENABLED, switchDomain.isLightBeatEnabled());
return result;
}
在handleBeat方法中執行線程任務ClientBeatProcessorV2的run方法,延長lastHeartBeatTime時間。注冊中心會定時查詢實例,當前時間 - lastHeartBeatTime > 設置時間(默認15秒),就標記實例為不健康實例。如果心跳實例不健康,發送通知給訂閱方,變更實例。
服務端在15秒沒有收到心跳包會將實例設置為不健康,在30秒沒有收到心跳包會將臨時實例移除掉。
實例注冊
客戶端請求的地址是/nacos/v1/ns/instance, 對應的是服務端是在InstanceController類。找到類上對應的post請求方法上。
注冊流程:
InstanceController#register ——>InstanceOperatorClientImpl#registerInstance ——>ClientOperationServiceProxy#registerInstance ——>EphemeralClientOperationServiceImpl#registerInstance
創建 Service
服務注冊后,將服務存儲在一個雙層map集合中:
private final Map<String, Map<String, Service>> serviceMap = new ConcurrentHashMap<>();
通過是否存在ephemeral,為true,走AP模式,否則走CP模式。
Nacos 默認就是采用的AP模式使用Distro協議實現。實現的接口是EphemeralConsistencyService對節點信息的持久化主要是調用put方法,
會先寫入到DataStore中:
public void onPut(String key, Record value) {
if (KeyBuilder.matchEphemeralInstanceListKey(key)) {
Datum<Instances> datum = new Datum<>();
datum.value = (Instances) value;
datum.key = key;
datum.timestamp.incrementAndGet();
// 數據持久化到緩存中
dataStore.put(key, datum);
}
if (!listeners.containsKey(key)) {
return;
}
notifier.addTask(key, DataOperation.CHANGE);
}
總結
- 從依賴上找到需要啟動的是要加載的服務注冊類NacosDiscoveryAutoConfiguration,主要配置三個對象 NacosServiceRegistryNacosRegistrationNacosAutoServiceRegistration
- NacosServiceRegistry類的register方法,封裝實例和心跳信息 通過http請求,定時發送發送心跳包,默認時間間隔是5秒。通過http請求,發送實例信息。
- 服務端 接收到心跳請求,更新心跳包最新時間。服務端在15秒沒有收到心跳包會將實例設為不健康,在30秒沒有收到心跳包會將臨時實例移除掉。接收到服務注冊接口,通過ephemeral判斷是否走AP還是走CP,AP模式使用Distro協議。通過調用EphemeralConsistencyService接口實現,持久化實例信息。
參考
- Nacos源碼之注冊中心的實現 https://juejin.cn/post/7170224661014249502
- Nacos 服務注冊源碼分析 https://juejin.cn/post/6983614902540140558