此前,企業(yè)進行 A/B 測試時每個試驗指標(biāo)都需要單獨配置,在業(yè)務(wù)發(fā)展初期還可以接受,但當(dāng)你的公司有 5 個業(yè)務(wù)部門、每個部門有 50 個試驗、每個試驗需要配置 10 個指標(biāo)時,該怎么辦?
在神策數(shù)據(jù) A/B 測試產(chǎn)品服務(wù)客戶的過程中,我們收到了不少基于試驗高質(zhì)量增長的反饋,但與此同時,也進一步收集到了客戶對 A/B 測試產(chǎn)品的更多需求,比如多產(chǎn)品線的指標(biāo)配置口徑統(tǒng)一、更細(xì)顆粒度的試驗直觀分析報告等。
針對此,神策數(shù)據(jù) A/B 測試產(chǎn)品團隊秉承著“給客戶帶來價值”的理念,深入客戶痛點,完成指標(biāo)管理與試驗報告兩大模塊的重磅升級,明確了試驗指標(biāo)的類型、配置方式和計算原理并可以統(tǒng)一調(diào)用,顯著提升試驗配置效率;另一方面,新版試驗報告拆分化,無論你是企業(yè)的什么角色,在使用 A/B 測試的時候,都可以快速獲取更豐富、方便閱讀的報告內(nèi)容,以及多角度、細(xì)顆粒度的試驗洞察和報告產(chǎn)出,全面提升產(chǎn)品體驗。
關(guān)注神策數(shù)據(jù)公眾號,了解更多 A/B 測試功能與實踐。
接下來將詳細(xì)介紹。
一、試驗指標(biāo)管理升級,把指標(biāo)配置時間從「分鐘」縮短到「秒」
為了幫助企業(yè)更好地進行試驗指標(biāo)管理,神策數(shù)據(jù) A/B 測試在此次升級后,進一步完善了指標(biāo)的類型、配置方式、計算原理,分析師等同學(xué)可以明確計算邏輯,最大可能減少歧義和與技術(shù)同學(xué)溝通的成本,輕松實現(xiàn)公司內(nèi)部信息的有效統(tǒng)一。
比如,對于通用指標(biāo) DAU 來說,部分客戶的公司內(nèi)部有統(tǒng)一的口徑,不同的業(yè)務(wù)部門做試驗的時候如果跟著試驗單獨配置,容易造成 DAU 口徑差異,帶來指標(biāo)口徑和計算方案核對的額外成本。而通過試驗指標(biāo)管理功能,企業(yè)可以通過統(tǒng)一創(chuàng)建 DAU 指標(biāo),對齊后續(xù)所有試驗涉及 DAU 指標(biāo)的計算口徑。
通過神策數(shù)據(jù) A/B 測試的指標(biāo)管理功能完成統(tǒng)一配置后,相較于過去每個試驗都需要進行指標(biāo)配置的情況,針對相關(guān)性較強的試驗,企業(yè)可以告別費時費力的重復(fù)配置,有效減少操作量。過去需要數(shù)十分鐘的配置工作,現(xiàn)在只需一鍵調(diào)用即可快速完成。
值得關(guān)注的是,神策數(shù)據(jù) A/B 測試在此次升級后也將為客戶提供常見業(yè)務(wù)指標(biāo)的觀測能力,幫助客戶更全面地評估試驗效果。
二、試驗報告升級,不只有統(tǒng)計學(xué)指標(biāo),業(yè)務(wù)數(shù)據(jù)也一目了然
企業(yè)可以通過試驗報告綜合了解試驗情況、同步了解業(yè)務(wù)狀況、對試驗進行小時/分鐘粒度的監(jiān)測、自定義主題分析等。通過此次升級,神策數(shù)據(jù) A/B 測試將試驗報告拆分化,同時豐富了每個細(xì)分部分的內(nèi)容,全面提升報告的整體可讀性和易用性。
具體表現(xiàn)在:
第一,綜合了解試驗情況。觀測試驗運行至今的進組情況、重要指標(biāo)的數(shù)據(jù)表現(xiàn)、指標(biāo)的統(tǒng)計檢驗結(jié)果。也就是說,相較于之前的試驗報告,試驗負(fù)責(zé)人可以通過新的報告總覽直觀了解進組人數(shù)、重要指標(biāo)的表現(xiàn),并統(tǒng)計檢驗指標(biāo)結(jié)果。
第二,同步了解業(yè)務(wù)狀況。除了關(guān)注試驗本身的數(shù)據(jù),同時觀測常用業(yè)務(wù)數(shù)據(jù)在試驗期間的變化情況。
第三,實時監(jiān)測。對于實時性較強的試驗,如活動落地頁試驗等需要進行短期高頻觀測的場景,可以進行小時/分鐘粒度的監(jiān)測。
第四,自定義主題分析。通過自選指標(biāo)和觀測時間范圍,進行主題式分析邏輯的構(gòu)建,輔助產(chǎn)出報告或分享試驗洞察。
第五,發(fā)布報告增加指標(biāo)選擇。可切換指標(biāo)查看發(fā)布策略情況。
升級后的試驗報告不再只有單純的統(tǒng)計數(shù)據(jù)結(jié)果,對于關(guān)注業(yè)務(wù)類指標(biāo)的產(chǎn)品運營同學(xué),可直接查看試驗的業(yè)務(wù)報告;對于技術(shù)同學(xué)來說,參考檢驗類指標(biāo)相對更嚴(yán)謹(jǐn);對于試驗負(fù)責(zé)人,只需查看報告的試驗總覽,即可獲得進組人數(shù)、重要指標(biāo)的表現(xiàn),以及檢驗指標(biāo)結(jié)果。
通過指標(biāo)的統(tǒng)一管理,報告可讀性和透明性提升,打消客戶 A/B 測試使用成本的顧慮,可以讓客戶更加聚焦業(yè)務(wù)本身,而不是反復(fù)的配置和需求溝通上。
除此之外,神策數(shù)據(jù) A/B 測試在此次更新過程中,還進一步明確了試驗進組事件,減少對指標(biāo)計算邏輯的誤解;同時,樣本量計算器適配最新的指標(biāo)管理邏輯,支持多個檢驗指標(biāo)切換去預(yù)估樣本量,自動配置計算模板。
關(guān)注神策數(shù)據(jù)公眾號,了解更多 A/B 測試功能與實踐。
