A/Bテストの実施方法

こちらの記事では、Ptenngine Experience 2.0（※2021年12月より提供）でA/Bテストを行う方法をご説明します。初めての方でも簡単に実行することができるのでぜひご活用ください。

体験設定全体の流れや具体的なクリエイティブ作成については別記事で解説しておりますので、そちらをご覧ください（参照：体験作成、クリエイティブ作成）

A/Bテストを実施する理由は？ #

A/Bテストとは、2つ以上のパターンの変数（バナーやキャッチコピーなどのページ要素）を用い、どのパターンがWebサイト上のユーザー行動に最も影響を与え、サイトのゴールに貢献するかを判断する方法です。

A/Bテストを行うことにより、Webサイトの最適化を図っていく上で勘や推測ではなくデータに裏付けされた決定を下せるようになります。

シンプルなパターン検証ではなく、より自由度の高い、または全面的なクリエイティブテストをしたい場合はリダイレクトテストもご活用ください。

1. 新規作成する #

Experienceでは、新規からA/Bテストを作成するか、または既存の体験にテストパターンを追加することができます。以下では新規作成の方法を記載します。

• 1体験を新規作成
  
• 2A/Bテストを選択
  
• 3実施したいテストの種類を選択
  
• 4クリエイティブを作成（詳細はこちら）
• 5保存後、パターンを追加作成するか、オリジナルページと比較テストを選択
  （パターンは、最大 5 パターンまで追加することができます。）
  
• 6配信割合やその他の表示条件等の設定を行う
  
• 7公開

2. 既存の体験に追加する #

既存の体験にA/Bテストを追加したい場合は、以下の手順をご参照ください。

• 1追加したい体験の編集画面に入り、A/BテストをONにする
  
• 2パターンを追加作成するか、オリジナルページと比較テストを選択
  （パターンは、最大 5 パターンまで追加することができます。）
  
• 3配信割合やその他の表示条件等の設定を行う
  

3. 詳細設定 #

設定では、配信割合や最小テスト期間、勝率、アンチフリッカー機能の無効化などの詳細設定が可能です。

3-1. 配信割合 #

デフォルトは均等配信となりますが、配信割合をカスタムすることも可能です。

均等配信：各パターンにトラフィックを均等に振り分けて配信します。

カスタム：合計で100%になるように配分してください。ABテスト配信後、パフォーマンスの良いパターンに対しトラフィックを増やしたい場合にもご活用ください。

3-2. 判定基準に関する設定 #

PtengineのA/Bテストの実施期間は、基本的に「勝率」というものによって完了、または継続を判断します。この「勝率」そして「最低テスト期間」の閾値を設けることで、テストの精度と判定が下されるまでの期間をコントロールすることができます。

3-2-1. 勝率

勝率とは、そのバージョンが、他のバージョンに比べ優位であると判定して良い確率となります。
初期値では、{95%以上}としています。勝率が95%を超えると、テストの勝敗を確信して良いと判断し、最低テスト期間を踏まえた上で、レポート画面に判定結果が表示されます。

勝率の判定区間「95%」は「90%」、「98%」に変更可能です。
パーセンテージが低いほど、テスト期間は短く精度としては低下します。
逆に、パーセンテージが高いほどテスト期間は長くなる傾向があり、精度は高くなります。

3-2-2. 最低テスト期間

最低テスト期間の設定は、テストを開始してから設定した期間内はテスト結果を判定しないようにする設定です。

曜日による影響を鑑み、初期値は推奨としている 7 日間としています。
最低テスト期間は 3 日間 〜 14 日間の間で変更可能です。

Tip：勝率と最低テスト期間の設定例
下記のように、ワークフローやテストの重要性に合わせて設定しましょう。

＜ガンガン早く回したい！（期間：短い / 精度：低い）＞
・勝率：90%
・最低テスト期間：3日間

＜精度を保ちながら週単位で回したい（期間：標準 / 精度：推奨）＞
・勝率：95%
・最低テスト期間：7日間

＜時間要しても確実に結論を出しながら進みたい（期間：長い / 精度：高い）＞
・勝率：98%
・最低テスト期間：14日間

3-3. アンチフリッカー機能 #

アンチフリッカー(チラツキ防止)とは、ページ編集でページ内容を編集し体験を配信する際に、元のページが一瞬表示されてしまう現象を緩和する機能です。Ptengineでは、デフォルトでアンリフリッカー機能が有効になっています。

アンチフリッカー機能を正しく使用するためには、Ptengineの基本タグをページのHTMLソースの内へ直貼りする必要があります。GTMまたはその他のタグ管理ツールでタグが設置されていると、アンチフリッカーが正しく機能せず、ユーザー体験の阻害に繋がってしまうためご注意ください。詳しくはこちらの記事をご確認ください。

4. ゴールを設定する #

体験の編集が終わったら、この体験を配信したいページと、体験を閲覧させたいユーザーを設定しましょう。つまり、Ptengineではユーザー体験を簡単にパーソナライズできます！

また、体験のパフォーマンスを測定するために、ゴールの設定は必須です。ゴール設定の方法はこちらをご参照ください。

注意 #

Warning：
・オリジナルページ（何も編集を加えていないページ）を、「パターン」として追加すると、配信がされないためご注意ください。

Note：
・テストパターンで設定したデバイスは、オリジナルパターンにも自動的に適用されます。

ABテスト実施完了後、A/Bテストの結果を分析してみましょう！