ABテスト

設計

• 誰をABにするか。
• いつまで同じグループに固定するか。
• 何のイベントを記録するか。
• どのKPIと紐づけるか。
• 統計的にどう判定するか。

技術

自前で実装するなら

• ユーザーIDで振り分ける。
• ユーザーの行動をイベントトラッキングとして送る。
• 集計する。

ツールを使うなら

Feature Flag + Analytics + Experiment

を組み合わせたサービスを使うことも多い。

例えば、

• LaunchDarkly
• Optimizely
• Amplitude
• PostHog

あたり。

Feature Flag

コードをデプロイせずに、機能のON/OFFや対象ユーザーを制御できる。

ルール設定の方式などは用意されてる。

カナリアリリース

新しいバージョンをいきなり全ユーザーに出さず、一部のユーザーだけに先にリリースする方法。

昔、炭鉱でカナリアを入れて有毒ガスが出ないか確認したことが起源。

段階的リリース。

ABテストとの違い

エラー率・離脱率・性能などを監視することが目的。

ABテストはユーザー行動の成果を図るのが目的。

弱点

v1.1をリリースした後に、v1.2をリリースしたい場合などに前のリリースを待たないといけないのがかなり面倒。