想要在程序里監(jiān)控數(shù)據(jù)庫的操作耗時,想要在底層框架中自動傳遞鏈路跟蹤信息,這些需求經(jīng)常會碰到,特別是在構(gòu)建基礎(chǔ)框架的時候。
核心目標(biāo)只有一個,那就是在底層封裝好,不用上層使用人員關(guān)心。今天跟大家聊聊常用的底層擴展埋點方式是怎么處理的。
框架自帶擴展點
如果你使用的框架在設(shè)計的時候,就預(yù)留了擴展點就很方便了。比如 Mybatis 的攔截器,我們可以在攔截器中對 Sql 進行監(jiān)控,改寫。
比如阿里的 Sentinel 框架,可以通過 SPI 來擴展 Slot,調(diào)整編排順序,新增自定義的 Slot 來實現(xiàn)限流告警等。
開源框架的質(zhì)量參差不齊,有在早期設(shè)計比較好的,留足了各種擴展點,方便使用者。也有一些沒有考慮那么全面,導(dǎo)致你在使用的時候需要進行擴展,發(fā)現(xiàn)找不到擴展點,對于框架本身沒有提供擴展點的場景,請接著看下面。
修改源碼
如果框架沒有擴展點,最直接的方式就是修改開源框架的源碼來擴展自己想要的功能,通常的做法就是克隆源碼到自己的私有倉庫中,然后修改,測試,重新打包使用。
像我們之前用了 XXL-JOB 做任務(wù)調(diào)度,也是修改了某些代碼,在界面上擴展了監(jiān)控通知的配置信息,默認是只支持郵箱,可以擴展出手機,釘釘?shù)取?/p>
修改源碼不好的點在于需要跟原框架的版本進行對齊,如果不對齊,隨便改都沒事。不對齊意味著修復(fù)了某些 bug 和新增了某些功能,就無法使用了。要對齊,就需要不斷的將新版本的代碼合并到你自己的分支上。
還有很多公司,就是基于開源的版本,構(gòu)建了公司內(nèi)部自己的版本,后續(xù)直接就是跟著內(nèi)部的使用需求去擴展和維護了,不會跟社區(qū)的版本進行同步,如果你們有專門的團隊去做這件事情,也是一種方式。
同名文件覆蓋
改源碼的方式需要經(jīng)常同步新版本的代碼,有的時候往往只想修改某一個類而已,比如對底層的某些操作進行埋點監(jiān)控,如果框架本身沒有提供擴展點的話只能改源碼來實現(xiàn)。
其實還有個投機取巧的方式,就是在項目中創(chuàng)建一個跟你要修改的一模一樣的類,包名+類目都一樣,方法名也一樣,方法的實現(xiàn)你可以改。這樣就能覆蓋 jar 包中的類了,還是跟類加載順序有關(guān)系,先加載你自己定義的。
這樣的方式好處在于不用經(jīng)常去同步新版本的代碼,如果你用的框架版本升級了,只要包名和類名不變,你這個覆蓋的只是那個類而已,新增的功能和修復(fù)的 bug 都不會有影響。
切面攔截
切面在做很多統(tǒng)一處理的時候非常有用,同樣在做底層埋點的場景也適用。
比如我們要對項目中 Mongodb 的所有操作都進行埋點監(jiān)控,可以修改 MongoDB 的驅(qū)動源碼,可以創(chuàng)建同名文件進行覆蓋,方式有很多種,找到一個合適,又能實現(xiàn)需求的最重要。
以 Spring 中操作 Mongodb 來說明,在 Spring Data Mongodb 中會 MongoTemplate 來操作 Mongodb。最簡單的方式就是直接對 MongoTemplate 類進行埋點,這樣所有的操作都可以監(jiān)控起來。
用切面直接切到 MongoTemplate 的所有方法上,然后進行埋點,就很簡單了。
@Aspect
public class MongoTemplateAspect {
@Pointcut("execution(* org.springframework.data.mongodb.core.MongoTemplate.*(..))")
public void pointcut() {}
@Around("pointcut()")
public Object around(final ProceedingJoinPoint pjp) throws Throwable {
String callMethod = pjp.getSignature().getDeclaringType().getSimpleName() + "." + pjp.getSignature().getName();
Map<String, Object> data = new HashMap<>();
data.put("params", JsonUtils.toJson(pjp.getArgs()));
return CatTransactionManager.newTransaction(() -> {
try {
return pjp.proceed();
} catch (Throwable throwable) {
throw new RuntimeException(throwable);
}
}, "Mongo", callMethod, data);
}
}
又比如,你還想監(jiān)控 redis 相關(guān)的,Redis 用的也是跟 Spring 整合的框架,那么也有 RedisTemplate 這個類,同樣也可以用切面來實現(xiàn)。
基于 Template 類來埋點,相對比較上層,如果還想在底層一點進行監(jiān)控,也就是 Connection 這層,Template 里面的操作都是基于 Connection 來實現(xiàn)的。
同樣我們可以用切面來替換 Connection 相關(guān)的實現(xiàn),比如可以用切面切到獲取 Connection 的方法,然后替換 Connection 的對象為具備埋點監(jiān)控的對象。
@Aspect
public class RedisAspect {
@Pointcut("target(org.springframework.data.redis.connection.RedisConnectionFactory)")
public void connectionFactory() {}
@Pointcut("execution(org.springframework.data.redis.connection.RedisConnection *.getConnection(..))")
public void getConnection() {}
@Pointcut("execution(org.springframework.data.redis.connection.RedisClusterConnection *.getClusterConnection(..))")
public void getClusterConnection() {}
@Around("getConnection() && connectionFactory()")
public Object aroundGetConnection(final ProceedingJoinPoint pjp) throws Throwable {
RedisConnection connection = (RedisConnection) pjp.proceed();
return new CatMonitorRedisConnection(connection);
}
@Around("getClusterConnection() && connectionFactory()")
public Object aroundGetClusterConnection(final ProceedingJoinPoint pjp) throws Throwable {
RedisClusterConnection clusterConnection = (RedisClusterConnection) pjp.proceed();
return new CatMonitorRedisClusterConnection(clusterConnection);
}
}
CatMonitorRedisConnection 中對原生的 RedisConnection 做了增強,也不會影響原有的 RedisConnection 的功能。
public class CatMonitorRedisConnection implements RedisConnection {
private final RedisConnection connection;
private CatMonitorHelper catMonitorHelper;
public CatMonitorRedisConnection(RedisConnection connection) {
this.connection = connection;
this.catMonitorHelper = new CatMonitorHelper();
}
@Override
public byte[] get(byte[] key) {
return catMonitorHelper.execute(RedisCommand.GET, key, () -> connection.get(key));
}
}
JAVA Agent
Java Agent 可以在運行期將已經(jīng)加載的類的字節(jié)碼進行變更,可以加入我們需要進行監(jiān)控的代碼邏輯。無需對原有代碼進行改造,零侵入性。
在非常多優(yōu)秀的開源框架中都看到了 Java Agent 的應(yīng)用,像 APM 框架 SkyWalking,異步傳遞上下文 transmittable-thread-local 等。
Java Agent 相對其他的方式來說,還是有一定的門檻,畢竟不是日常開發(fā)中經(jīng)常會用到的技術(shù)點。如果想了解這種擴展方式,可以看看一些已經(jīng)用了的開源框架的源碼,就知道大概怎么使用了。下面貼一段 transmittable-thread-local 中對線程池進行擴展的代碼吧,主要就是利用了 javassist 操作字節(jié)碼。
try {
final CtMethod afterExecute = clazz.getDeclaredMethod("afterExecute", new CtClass[]{runnableClass, throwableClass});
// unwrap runnable if IsAutoWrApper
String code = "$1 = com.alibaba.ttl.threadpool.agent.internal.transformlet.impl.Utils.unwrapIfIsAutoWrapper($1);";
logger.info("insert code before method " + signatureOfMethod(afterExecute) + " of class " + afterExecute.getDeclaringClass().getName() + ": " + code);
afterExecute.insertBefore(code);
modified = true;
} catch (NotFoundException e) {
// clazz does not override afterExecute method, do nothing.
}
關(guān)于作者:尹吉歡,簡單的技術(shù)愛好者,《Spring Cloud 微服務(wù)-全棧技術(shù)與案例解析》, 《Spring Cloud 微服務(wù) 入門 實戰(zhàn)與進階》作者, 公眾號猿天地發(fā)起人。