AIM AI SOFTWARE LAB
A/B 測試樣本數試算
要跑多少流量、幾天，結果才可信。
範例結果
目前轉換率：1.80%・想偵測的改善：+15%（達到 2.07%） 每個版本需要樣本：40,814 次 兩個版本合計：81,628 次 （95% 信心水準、80% 檢定力） 以每天 900 次流量計：約需 91 天 超過一個月——改善幅度訂太小或流量不夠，建議先測更大的改動。
使用前先知道
- 樣本數只確保統計顯著，不代表實際轉換一定會改善，結果仍須驗證。
- 若每日流量忽高忽低或季節性波動大，試算結果可能不準，建議拉長測試時間。
常見問題
為什麼要算樣本數？直接跑一段時間看數字不行嗎？
流量太少時，結果容易受隨機波動影響，可能誤判成有效改善。樣本數夠大，才能區分是真實差異還是巧合。就像擲硬幣，只擲10次可能連續5次人頭，不代表硬幣有問題。
「想偵測的最小改善」填多少才合理？
實務上通常填5%-20%的相對改善。填太小，像0.1%會需要極大量流量，成本太高；填太大，例如30%，可能錯過有價值的微幅提升。建議參考過去實驗或業界常見的改善幅度來設定。
每天分流流量不填會怎樣？填了有什麼用？
不填時，只算出總樣本需求；填了才能估算測試天數，避免跑太久。例如總樣本需要2萬，每天分流1,000，就約需20天。若天數過長，可考慮加大改善幅度或換更高流量頁面測試。
接下來可以用
- ROAS 損益兩平試算 純計算 廣告要做到幾倍才不是在燒錢。
- 廣告受眾假設產生器 AI 投廣之前，先想清楚要打給誰。
- 蝦皮商品標題與賣點產生器 AI 貼上商品資訊，一次拿到標題、賣點條列與規格區塊。
這個工具每天都會自動測試一次；如果壞掉，系統狀態頁會寫出來。 我們不會為了拿你的 Email 而擋住結果。