Help Center
A/Bテスト分析では、どの体験パターンが目標に対して高い貢献をしているかをレポート形式で確認できます。
Tip:十分な分析をするためには、ある程度のデータが蓄積されてから分析を開始しましょう。A/Bテストをまだ設定していない場合は、まずABテストを作成してください。
A/Bテストの結果を確認するには、評価指標を指定する必要があります。左上から評価指標を指定すると、その指標を基にしたレポート内容が表示されます。
A/Bテストの結果を分析する前に、まずは成績と勝率について理解する必要があります。
成績 成績は、評価指標における基準(Baseline)とテストパターンの差分を表示しています。通常、基準(Baseline)は、コントロールパターンもしくは最初のパターンを指します。 例えば、体験のゴールとして「購入」を設定していた場合、テストパターンのゴール到達率が5%で、コントロールパターンのゴール到達率が4%だとすると、成績が25%になります。
勝率 勝率は、該当パターンが他の全てのパターンよりも優れたパフォーマンスを発揮する確率です。優位パターンを判断するための最も重要な指標です。 Ptengineでは、ベイズ統計学用いて勝率を算出しています。(最低テスト期間終了後、各バージョンの閲覧ユーザー数が100人以上、ゴール到達ユーザー数が30人以上で、かつ勝率が設定したスコア以上であれば優位と判定されます)
以下3つの条件を全て満たし、更に優位が出た場合、優位パターンがレポートの一番上に明記されます。
長期的なゴール率の推定値とは、現在のデータに基づいて長期的に予想できる評価指標の推定値を意味します。A/Bテストのレポートでは各パターンの95%の確率、50%の確率と最良の推定値の三つを提供してあります。 以下の画像のように該当パターンのゴール到達率が95%の確率が12.1%から15.1%になり、50%の確率が13%から14.1%、そして最良推定値が13.6%です。 下部が長期的なゴール率の推定値の図形となります。青線が選択したパターンで、黒線がコントロールグループです。線にマウス合わせると各パターンのゴール到達率を確認でき、線のトップが最良推定値になります。
推定値分布表の見方
A/Bテストの結果をユーザー属性別またはその他指標別でドリルダウンし、深く分析することでより適切なインサイトが得られます。 例えば体験配信ページ別、流入元別、デバイス、新規・再訪ユーザー、地域別など必要に応じてテスト結果を分析することが可能です。またユーザー識別でユーザー属性データを取得している場合、年齢や業界などのユーザー属性別で確認することもできます。
ドリルダウン分析で更なるインサイトを得ることができます。 例えば流入元のキャンペーンXから来たユーザーがパターンAでのパフォーマンスが良い、一方でキャンペーンYから来たユーザーがパターンBでのパフォーマンスが良いというインサイトとかも得られます。 このようなインサイトから流入元別でパーソナライズされた体験を提供するアクションにも繋げることができ、CVRを向上に役立ちます。
体験を長期間配信しても優位パターンが判定できない場合、以下のように調整してみてください。
この記事についてどう思いますか?
評価いただきありがとうございました
申しわけありません!理由を教えてください。
サポートチームに直接問合せたい場合、こちらをクリックしてチャットしましょう。
フィードバックいただき、ありがとうございました。
フィードバックはちゃんと届きました。ご意見を元に、より良いコンテンツをお届けしてまいります。アップデートした後また連絡します。