A/Bテスト分析

A/Bテスト分析では、どの体験パターンが目標に対して高い貢献をしているかをレポート形式で確認できます。

Tip：十分な分析をするためには、ある程度のデータが蓄積されてから分析を開始しましょう。A/Bテストをまだ設定していない場合は、まずABテストを作成してください。

評価指標を指定する #

A/Bテストの結果を確認するには、評価指標を指定する必要があります。左上から評価指標を指定すると、その指標を基にしたレポート内容が表示されます。

成績と勝率について #

A/Bテストの結果を分析する前に、まずは成績と勝率について理解する必要があります。

成績
成績は、評価指標における基準（Baseline）とテストパターンの差分を表示しています。通常、基準（Baseline）は、コントロールパターンもしくは最初のパターンを指します。
例えば、体験のゴールとして「購入」を設定していた場合、テストパターンのゴール到達率が5％で、コントロールパターンのゴール到達率が4％だとすると、成績が25％になります。

勝率
勝率は、該当パターンが他の全てのパターンよりも優れたパフォーマンスを発揮する確率です。優位パターンを判断するための最も重要な指標です。
Ptengineでは、ベイズ統計学用いて勝率を算出しています。（最低テスト期間終了後、各バージョンの閲覧ユーザー数が100人以上、ゴール到達ユーザー数が30人以上で、かつ勝率が設定したスコア以上であれば優位と判定されます）

優位パターンの判定方法 #

以下3つの条件を全て満たし、更に優位が出た場合、優位パターンがレポートの一番上に明記されます。

• 1勝率はデフォルト95％として設定されてあります。また勝率の閾値は、右上の設定から「勝率」を変更することでカスタマイズ可能です。
• 2A/Bテストの公開から一定期間を経過する必要があります。デフォルトでは、曜日や祝日といった時期要因を加味して、最小テスト期間を7日間と設定していますが、カスタマイズも可能です。右上の設定から、「最小テスト期間」を変更してください
• 3各パターンの表示ユーザー数が100人以上、そしてゴール到達ユーザー数が30人以上であることが必要です。

評価指標の推定値 #

長期的なゴール率の推定値とは、現在のデータに基づいて長期的に予想できる評価指標の推定値を意味します。A/Bテストのレポートでは各パターンの95%の確率、50%の確率と最良の推定値の三つを提供してあります。
以下の画像のように該当パターンのゴール到達率が95％の確率が12.1%から15.1%になり、50%の確率が13%から14.1%、そして最良推定値が13.6%です。
下部が長期的なゴール率の推定値の図形となります。青線が選択したパターンで、黒線がコントロールグループです。線にマウス合わせると各パターンのゴール到達率を確認でき、線のトップが最良推定値になります。

推定値分布表の見方

• 1線が右にあるパターンは左にあるパターンよりパフォーマンスがより、そして二つパターン線の重なり合う部分が小さければ小さいほど、二つパターンのパフォーマンスに優劣が付けます。その中で直帰率はネガティブな指標のため例外です。直帰率は左のある方が右よりも優れています。
• 2線が鋭いほど推定値がより確実になり、そしてサンプルデータが多いほど線は鋭くなります。

ドリルダウン分析による深い分析 #

A/Bテストの結果をユーザー属性別またはその他指標別でドリルダウンし、深く分析することでより適切なインサイトが得られます。
例えば体験配信ページ別、流入元別、デバイス、新規・再訪ユーザー、地域別など必要に応じてテスト結果を分析することが可能です。またユーザー識別でユーザー属性データを取得している場合、年齢や業界などのユーザー属性別で確認することもできます。

ドリルダウン分析で更なるインサイトを得ることができます。
例えば流入元のキャンペーンXから来たユーザーがパターンAでのパフォーマンスが良い、一方でキャンペーンYから来たユーザーがパターンBでのパフォーマンスが良いというインサイトとかも得られます。
このようなインサイトから流入元別でパーソナライズされた体験を提供するアクションにも繋げることができ、CVRを向上に役立ちます。

優位パターンを判定できない場合 #

体験を長期間配信しても優位パターンが判定できない場合、以下のように調整してみてください。

• 1ドリルダウン分析する
  サイトに訪問したユーザーはそれぞれ異なるニーズを持っている可能性があるため、ドリルダウンよりインサイトを深掘りすることができます。
  例えば、Facebookから流入したユーザーはAパターンの方が効果がよく、逆にYouTubeから流入したユーザーは、Bパターンの方が効果が良いというインサイトも得られます。
  全体で優位パターンを判定できなくても、上記のようなインサイトが得られた場合、ユーザーに対してより適切な体験を提供できます。
• 2ヒートマップを確認する
  パターン別にヒートマップを確認することで、各パターンのパフォーマンスを直感的に把握できます。優位パターンを判定できなくても、特定のパターンにユーザーのアテンションが集中していることや、インタラクティブが多いなどのインサイトを得ることができます。
• 3ゴール設定を変更する
  設定した最終ゴールが、体験から遠く離れているかもしれません。
  例えばECサイトの商品一覧ページで、最終ゴールを「購入」として設定したとします。そして、商品の特徴がより分かりやすくなるようなバナーを設置しA/Bテストを実施しました。しかし、ユーザーの購入行動を後押しする要素がバナー以外にもあると、当該A/Bテストでの優位パターンの判明はなかなか付きません。
  このような場合、ユーザージャーニーにおけるより手前の部分をゴールとして設定してみてください。例えば「詳細ページのクリック」や「カゴ入り」などを設定し、効果を検証してみましょう。