作者：阿宅的產(chǎn)品筆記
本文在PMCAFF社區(qū)發(fā)布（www.pmcaff.com），轉(zhuǎn)載請注明作者及出處。
大家在聊增長的時候必定會聊到實驗，而聊實驗的時候也必然聊到AB test。而且很多用人單位也把會不會用AB test作為考察增長產(chǎn)品或運營的關鍵指標之一。那么聽起來這么高大上的AB test到底是個啥？
|| 什么是AB test？
A/B TesT，也叫AB測試，有時你也會看到 AB testing的說法。簡單來說，它是指針對想調(diào)研的問題提供兩種不同的備選解決方案（比如兩個下單頁面），然后讓一部分用戶使用方案A，另一部分用戶使用方案B，最終通過數(shù)據(jù)觀察對比確定最優(yōu)方案。
其本質(zhì)還是對照試驗。這就像初中時學的鼠婦試驗：把鼠婦等額分為兩組，在其他條件相同的情況下對一側(cè)遮光，另一側(cè)不遮，再觀察兩組鼠婦在兩種條件下的反應，從而得出光對鼠婦的影響。
|| AB test的特點
作為一種科學的實驗方法，AB 測試具有以下特點：
-
先驗性： A/B測試能夠先于上線，得出結論；不再需要先將版本發(fā)布，再通過數(shù)據(jù)驗證效果，從而一定程度上減少改版帶來的風險。
-
并行性： A/B測試是將兩個或以上的方案同時在線試驗，這樣做的好處在于保證了每個版本對應的時間環(huán)境、數(shù)據(jù)環(huán)境保持一致，便于更加科學客觀地對比優(yōu)劣。
-
科學性：如果能保證流量分配的科學性，將相似特征的用戶均勻的分配到試驗組中，就可以避免出現(xiàn)數(shù)據(jù)偏差，使得試驗的結果更有代表性。
簡單來說，AB測試可以讓你以對照試驗的方法在小范圍內(nèi)對多個方案進行測試，并得出改版的最優(yōu)解。
|| AB test的應用場景
作為增長的常用工具，它的應用場景非常廣泛，小到一個文案，大到一套算法
1. 產(chǎn)品UI：紅色還是紫色？會動的icon還是靜態(tài)icon？
2. 文案內(nèi)容：“免費注冊”還是“注冊送188元大禮包”？
3. 頁面布局：登錄框置于導航欄，還是懸浮于放在頁面左側(cè)？
4. 產(chǎn)品功能：要不要把看似冗余的資訊簽下掉，還是將它留著？
5. 算法/算法：是根據(jù)用戶的歷史記錄推薦相似內(nèi)容，還是根據(jù)相似興趣用戶的行為推薦相關內(nèi)容，又或是根據(jù)商品/內(nèi)容本身的相關性給用戶推薦？
以下是幾個通過AB測試得到較好的產(chǎn)品改進的例子（引用自《增長黑客：創(chuàng)業(yè)公司的用戶與收入增長秘》）
-
Airbnb曾測試過把“保存到心愿單”的收藏圖標由星形改為愛心，結果僅憑這一改動就讓心愿列表的使用率提升了30％。
變?yōu)閻坌膱D標后的“保存到心愿單”按鈕
-
37Signals在對旗下CRM產(chǎn)品的注冊頁面標題進行A/B測試后，發(fā)現(xiàn)“30-day Free Trial on All Accounts”（所有賬戶享受30天免費試用）可以比原來的“Start a Highrise Account”（注冊高額回報賬戶）多帶來30％以上的新用戶。他們還試著挑戰(zhàn)傳統(tǒng)網(wǎng)頁必須把所有重要信息都放在第一屏的慣例，做了一個長達5000多像素高的展示網(wǎng)頁，結果竟成功讓注冊率增加了37.5％。
37Signals旗下產(chǎn)品Highrise的注冊引導文案
-
EA在發(fā)布游戲《模擬城市》時，發(fā)現(xiàn)刪除掉官網(wǎng)頂部的“PRE-ORDER”（預購）廣告橫幅可使得頁面更加干凈整潔，并因此使訂購量由之前的5.8％上漲到10.2％。
《模擬城市》訂購頁面測試前的廣告文案
|| AB test的實施步驟
與我們寫論文時做的實證分析類似，AB 測試也有一套成熟的實施步驟：
1.現(xiàn)狀分析：分析業(yè)務數(shù)據(jù)，確定當前最關鍵的改進點。
2.假設建立：根據(jù)現(xiàn)狀分析作出優(yōu)化改進的假設，提出優(yōu)化建議。
3.設定目標：設置主要目標，用來衡量各優(yōu)化版本的優(yōu)劣；設置輔助目標，用來評估優(yōu)化版本對其他方面的影響。
4.界面設計：制作2（或多）個優(yōu)化版本的設計原型。
5.技術實現(xiàn)：
網(wǎng)站、App(Android/IOS) 、微信小程序和服務器端需要添加各類A/B測試平臺提供的SDK代碼，然后制作各個優(yōu)化版本。Web平臺、Android和iOS APP需要添加各類A/B測試平臺提供的SDK代碼，然后通過編輯器制作各個優(yōu)化版本。通過編輯器設置目標，如果編輯器不能實現(xiàn)，則需要手工編寫代碼。使用各類A/B測試平臺分配流量。初始階段，優(yōu)化方案的流量設置可以較小，根據(jù)情況逐漸增加流量。
6.采集數(shù)據(jù)：通過各大平臺自身的數(shù)據(jù)收集系統(tǒng)自動采集數(shù)據(jù)。
7.分析A/B測試結果：統(tǒng)計顯著性達到95%或以上并且維持一段時間，實驗可以結束；如果在95%以下，則可能需要延長測試時間；如果很長時間統(tǒng)計顯著性不能達到95%甚至90%，則需要決定是否中止試驗。
上面說的可能有些復雜，核心便是假設檢驗和對照試驗。接下來我們對上述步驟的一些要點和注意事項進行說明。
|| AB test的注意事項
1. 樣本規(guī)模
在統(tǒng)計中樣本量過小的話，樣本特征相較總體特征便會存在一定偏差，實驗結果便也不準確。樣本量越大，樣本特征才能越接近總體特征。所以，在進行實驗設計時，為了保證實驗結果的有效性，我們需要對樣本規(guī)模進行約定。那么至少需要多大的樣本規(guī)模才能在特定顯著性下反應總體特征呢？這里涉及了一些統(tǒng)計學的概念。對于比率類指標可以按以下公式計算。
例如：“XX提交”按鈕由紅色變?yōu)槌壬?，統(tǒng)計的指標是點擊UV轉(zhuǎn)化率UV_rate，測試時間是20200801～20200814，則計算“XX提交”按鈕的歷史月均值mean(UV_rate)為下面數(shù)據(jù)的均值avg(UV_rate)：
圖片來源：知乎@livan，公眾號：livandata
看起來確實挺頭疼的，但你可以用一個小小的工具解決這個難題：
在這個工具里只要輸入原始版本的轉(zhuǎn)化率、優(yōu)化版本的轉(zhuǎn)化率和統(tǒng)計顯著性，就可以計算出所需樣本的數(shù)量大小了。是不是很好玩？
留言回復“樣本”獲取樣本數(shù)量計算器
順嘴提一句，在算出AB測試所需樣本數(shù)量大小后，根據(jù)網(wǎng)站或App每天的訪問數(shù)，即可計算出試驗所需的時間。
試驗所需的時間 = 所需樣本數(shù)量大小 / 每天訪問數(shù)
2. 測試結果分析
前面說過，AB測試的本質(zhì)是假設檢驗，所以我們也需要進行顯著性檢驗以拒絕或同意原假設。怎么進行假設檢驗就不扯了，太掉頭發(fā)，即使大學概率論滿績但也吃不住折磨人的小妖精，還是給個小工具吧。
當然，學霸朋友們也可以看看這篇 AB-Test 雙樣本顯著性計算，我等就蹭現(xiàn)成的了。
這個小工具可以根據(jù)A、B版本的訪問數(shù)和轉(zhuǎn)化數(shù)，計算出轉(zhuǎn)化率和統(tǒng)計顯著性數(shù)值，并給出可信度結論。
有了這倆，媽媽再也不擔心我不會概率論啦。
依然，回復“測試結果”獲取AB測試結果檢驗工具
3.辛普森悖論
這個悖論也是AB測中常常說到的話題，它是指某些條件下的兩組數(shù)據(jù)，分別討論時都會滿足某種性質(zhì)，可是一旦合并考慮，卻可能導致相反的結論。這個理論由英國統(tǒng)計學家辛普森提出。
用一個腎結石手術療法的 AB 測試結果作為例子：
看上去無論是對于大型結石還是小型結石，A療法都比B療法的療效好。但是總計而言，似乎B療法比A療法要好。
