教戰守則一,理解問題、定義目標
『全面性與局部性的思考問題的原因,有助於釐清當時的情境並訂立有意義的目標,可以使實驗的結果更可能有實質上的幫助』
這句話就是篇文章的所想要討論的你可能會納悶怎樣叫做全面性、怎樣叫做局部性?什麼要叫做有意義的目標?接下來會一一帶你看到:
本文重點
- 遇到的問題有多大?
- 目標該怎麼訂?
- 指標怎麼選?
________________________________________________________________
Step 1. 遇到的問題有多大?
#問題- 局部性的問題?還是全面性的影響?
在這裡你可以簡單把『全面性』、『局部性』以『影響的範圍』來區分,而有意義的目標則是在釐清問題後,清點手頭上的資源後,確認有可能被執行的『方案』,打個比方來說,假設近期營收下跌,你可能會想到以下幾個原因:
- 可能是季節性造成的結果,流量較少。
- 可能是上次的改版讓付款流程變得太複雜,導致轉換率下降。
- 可能是近期的熱銷商品的圖片畫質太差、照片太醜,商品的頁面瀏覽次數下降而導致轉換率下降。
就上面的幾個原因來說,看似1, 2 兩者是屬於全面性、而3相較於前面兩著則可能是處於局部性的問題,但實際上則是要依照『影響使用者的比例』來做為判斷,但既使是1.2主因,也可能因為手頭上的資源不足、或是執行的時間太長,導致目標無法執行或是不易檢測、或是為了衝刺指標而對導致使用者體驗不佳、或是犧牲更多無法被量化的指標,所以在定義目標時,建議先思考以下兩點:
a. 你想把時間、精力花在哪裡,多久會創造影響力?
b. 你認為這對使用者的體驗是好的嗎?
所以你會發現在定義目標的同時,你可能也已經定義了指標,後面會提到關於指標的定義與方法。
________________________________________________________________
Step 2. 目標的訂定
#目標與指標
誠如前面所說,在定義目標的同時你就會同時決定了『關鍵指標』,一個好的關鍵指標有『質化』與『量化』的分別,如『感受』就是一種質化的指標,而『轉換率、訂單數』則是一種量化的表示。
但有時量化的分析並不能完全解釋你所看到的現象,
舉以下例子來說:
#放棄的情境
如果今天你發現有一定比例 User 會到你的網站搜尋特定的商品,然後就離開了,所以你定義了一個目標叫做『減少 User 進站後的不做任何事就跳離頁面的比率(Bounce Rate)』,而在觀測這個指標時,我們可以得到兩個解釋:
- User 有想要找到她想要的東西,還想多看看、多考慮。
- User 沒有找到他想要的東西,網站沒有滿足他的需求。
是價錢上的問題是他離開,還是網站體驗上的問題?這時你可以選擇透過各式各樣的實驗來找尋答案,但光是用這個指標其實並不能找到根本的原因。
有時有些情境會使得我們不容易從『指標』上找到問題的原因,所以這時你可以結合使用『訪談、問卷』等等質性的分析方式,搭配你的數據來找尋可能的解釋,而有時質性的分析,也是減少實驗成本的好做法。
________________________________________________________________
因為怕太長大家看不完...
所以這邊提供原文連結給真正對 A/B testing 有興趣的人~~
原文在這邊👉https://medium.com/codeformarketing-8D%E9%96%8B%E5%A7%8Ba-b-test-%E5%89%8D-3b1af1cd9b3a
文章最後還有關於【Step3. 指標的選擇】的分享!
分享給大家~