A/Bテスト分析

ユーザーに対してエンゲージメントを高めるための施策を実行し、A/Bテストなどリアルタイムに効果検証をしましょう。

Tip：A/Bテストの結果がある程度蓄積されたら、分析してみてください。A/Bテストをまだ設定していない場合は、まずABテストを作成してください。

体験管理画面から確認 #

体験一覧リストからA/Bテストを指定すると、A/Bテスト実施している全ての体験一覧が表示されます。

体験配信状態や、表示ユーザー数、ゴールなどの全体数値を確認できる以外、更にパターン別で「配信割合、表示、ゴール、成績、信頼度」のデータも確認可能です。また優勝したパターンには分かりやすくように、冠のアイコンが標識されます。

A/Bテスト分析で確認 #

該当体験の「レポート」ボタンで「A/Bテスト分析」画面に入ります。

• 1評価指標を選定
  A/Bテストは特定の評価指標を元にテストしながら、どのパターンの貢献度が高いを判断する仕組みになっていて、またPtengine でA/Bテスト結果分析の全体データも全て特定の評価指標を元に表示されるため、画面左上より評価指標を選定した上、結果をご確認ください。
  該当指標で優勝したパターンがある場合、その結果はレポートの一番上に表示されます。
  
• 2A/Bテスト結果
  体験一覧リストで確認できるパターン別の「配信割合、表示、ゴール、成績、信頼度」のデータ以外、編集やプレビューなどのクリック操作も追加されています。
  その中で以下三つ指標について詳しく説明したいです。

  ゴール率：ゴール率にマウス合わせると、長期的なゴール率の推定値や最良値を確認できます。
  成績：ゴール率における基準とテストパターンの差分です。いわゆるオリジナルパターンとテストパターンのゴール率の差分です。
  信頼度：パターンAとBの結果の差が信頼できるかを統計学の有意差検定を用いて判断できる機能を信頼度と言います。該当パターンが他全てのパターンと比較して優位である確率です。通常、「①確率が95％以上」、「②各パターンの表示ユーザー数が100人以上」、「③ゴール到達ユーザー数が30人以上」であれば、そのパターンは他のパターンよりも優れているといえます。

  Tip：ゴールが設定されている場合、Ptengineは自動的に信頼値が計算されます。簡単に説明すると、信頼度は95％～100％の範囲内でしたら、テストパターンとオリジナルトに有意な差があることがわかります。95%以下でしたら有意な差ではないため、各パターンの内容調整を推奨します。

  更に「クリック、表示ユーザー数、ゴールと成績」など指標別の推移も確認でき、また期間単位を日別、週別、月別で確認できます。
  

• 3詳細分析
  詳細分析ページでは各指標別における、パターン別のデータを確認できます。指標には「表示ページ、デバイス、流入元、新規/再訪、地域、ユーザーラベル」があります。また検索やCSVダウンロードもできます。
  例えば全体的に二つパターンのパフォーマンスに差が出なく、しかし詳細分析のレポートでFaceBook流入の結果だと、テストパターンが優勝している場合、FaceBook流入のユーザーにとって、テストパターンの効果が良いと判断できます。次のアクションとしてFaceBook流入のユーザーのみに対しテストパターンを配信することができます。

  この記事についてどう思いますか？

  • いいですね！
  • よくないです

  評価いただきありがとうございました

    申しわけありません！理由を教えてください。

      サポートチームに直接問合せたい場合、こちらをクリックしてチャットしましょう。

  フィードバックを送信

   

  フィードバックいただき、ありがとうございました。

  フィードバックはちゃんと届きました。ご意見を元に、より良いコンテンツをお届けしてまいります。アップデートした後また連絡します。