IT之家 9 月 18 日消息,騰訊在其公眾號“騰訊開源”中宣布,旗下開源分布式數據科學組件項目 Fast-Causal-Inference 目前已經在 Github 中公布。
▲ 圖源 “騰訊開源”公眾號
據悉,這是由騰訊微信研發,采用 SQL 交互的,基于分布式向量化的統計分析、因果推斷計算庫,據稱“解決已有統計模型庫 (R / Python/ target=_blank class=infotextkey>Python) 在大數據下的性能瓶頸,提供百億級數據秒級執行的 Causal inference 能力,同時通過 SQL 語言降低統計模型使用門檻,易用于生產環境中,目前已在微信視頻號、微信搜一搜等微信內部多個業務進行了應用。”
官方介紹:
提供海量數據秒級執行的 Causal inference 能力
基于向量化 OLAP 執行引擎 ClickHouse / StarRocks,速度上更益于極致化用戶體驗。
極簡的 SQL 使用方式
SQLGateway WebServer 通過 SQL 語言降低統計模型使用門檻,并在上層提供極簡的 SQL 使用方式,透明做引擎相關的 SQL 展開和優化。
提供基礎算子、高階算子的因果推斷能力,及上層的應用封裝
支持 ttest, OLS, Lasso, Tree-based model, matching, bootstrap, DML 等。
IT之家同時得知,官方表示,首個版本已經支持如下特性:
基礎因果推斷工具進階因果推斷工具
- 基于 deltamethod 的 ttest,支持 CUPED
- OLS,億行數據,亞秒級
- 以 OLS 為基礎的 IV,WLS,以及其他 GLS,DID,合成控制,CUPED,mediation 正在孵化
- uplift:千萬數據分鐘級別運算
- bootstrap / permutation 等數據模擬框架,解決沒有顯示解的方差估計問題