KARTEのA/Bテストはここが違う!意味あるA/Bテストの設計方法と振り返り方を解説【後編】

前回、効果的なA/Bテストを実施する際のテスト内容や、実施にあたって気をつけたいポイントについて解説しました。この記事では、KARTEを利用したA/Bテストの「振り返り方」についてご紹介していきます。

前回、効果的なABテストを実施する際のテスト内容や、実施にあたって気をつけたいポイントについて解説しました。
この記事では、KARTEを利用したA/Bテストの「振り返り方」についてご紹介していきます。

A/Bテストを「アップ率」や「ゴール率」だけで見ていませんか!?

KARTEでは、より高い成果が得られるパターンがどれか?という量的評価と同様に、改善案につなげていくなぜ良かったのか / 悪かったのか?という質的評価も大事にしています。量的評価・質的評価でお使いいただける機能とその見方についてご紹介します。

abtest_1

どのパターンがより高い成果があったのか?接客詳細画面でA/Bテストの量的評価

KARTEでは、接客サービスに複数アクションを登録することでA/Bテストが可能です。A/Bテストの結果は、接客詳細画面でクリック率やゴール率をひと目で比較でき、接客サービスの配信数、ゴール回数、未実施グループとのゴール数差分を統計的に算出した信頼度も併せて表示されています。
※信頼度が90%以上と高の場合は、コントロールグループである未実施グループとの比較によりWin / Loseも表示されます。

一定のサンプルサイズが確保できていて、一ヶ月以上経ってもWin / Loseの表示がされない場合、A/Bテストでパターン分けをして検証したポイントは、最終的にゴールに影響を及ぼさない可能性が高いと考えられるため、そのA/Bテストは終了とし、次の検証ポイントに関するA/Bテスト実施に向けて動き出しましょう。

abtest_2

配信最適化プラグインで効果が良くないアクションの配信比率を自動で調整

KARTEでは、機械学習を用いたアルゴリズム(Thompson Sampling) により、信頼度が高い状態であれば効果の良い(ゴールにより寄与する)アクションに配信を自動的に寄せ、配信結果を最適化することができるプラグインをご用意しています。

こんな方にオススメ

  • 効果が悪いと分かった時点で、効果が良いアクションだけ配信したい!成果を取りこぼしたくない!
  • 自分で各アクションの配信比率を変更するのは手間!
  • こっちのパターンの方が効果がありそうだけど、どう配信比率を決めたらいいの?

活用ポイント

  • ストアから「アクション配信の最適化」プラグインをインストール。配信を最適化したい接客サービスのアクション編集項目で、最適化を”有効”にするだけ!
  • このプラグインをオンにしておくことによるデメリットはゼロ!そのため、どのA/Bテストでもこのプラグインをオンにしておくことで、効果の最大化を図ることが可能です。

A/Bテストの改善ヒントが満載!「効果の分析」タブで質的評価をチェック

接客詳細画面にある「効果の分析」タブは、効果の良いセグメント / ページ、効果の悪いセグメント / ページをそれぞれランキング形式で確認したり、ディメンション(※次章参照)毎に接客サービスの効果を把握することが可能です。
どこで効果がでているか、どこに問題があるかを把握することで、接客の質的評価・ブラッシュアップを図ることができます。

接客サービスの効果を見る「効果の分析」タブ機能

  • どこで効果がでているか、どこに問題があるか
  • ディメンション毎の効果

A/Bテストへの活用方法

  • 狙い通りにターゲットを動かせたのかA/Bテストの仮説検証
  • なぜ効果が出たのか / 出なかったのか理由を考え、テストパターンの改善方向性を見出す
  • 効果の悪いセグメントを配信対象から外し、効果の良いセグメントのみに配信することで施策効果を高める
abtest_3

A/Bテストの効果検証・ブラッシュアップの精度が高まる!接客の効果をディメンション軸で分析する

ディメンションとは、お客様を可視化したり、より理解するために重要な分析軸で、来訪回数、総購入金額、購入回数などKARTEにプリセットされているものと、個社ごとに設定できるものがあります。

効果の分析タブの中にあるディメンション毎の効果を開き、見たいディメンションを選択すると、選んだディメンションごとに、どの層に効果があったのか比較できます。

A/Bテストの場合でも、施策を実施したグループ(テストグループ)の結果として、来訪回数(共通ディメンション)を軸とした時にどこに効果があるのか、会員ランク(作成したディメンション)ごとに見た時にどこに効果があるのかといった発見だけでなく、なぜこの層にこの接客が刺さったのか、接客が刺さった層と刺さらなかった層の違いは何かといった「なぜ?」の仮説を立てることにもご活用ください。

abtest_4

A/Bテストを「学び」に変えて、顧客理解を深めよう

今回は、A/Bテストの結果を振り返る点にフォーカスして、KARTEの機能を解説してきました。KARTEには、他にも顧客を深く知るための機能が充実しています。

アクセス数やファネルによる離脱率など、サイト全体の特徴や傾向を俯瞰するだけではなく、「人軸(セグメント)」で情報をドリルダウンして具体的な行動を捉えることができます。
例えば、個別のお客様の行動を時系列で把握することができる「ユーザーストーリー」、さらにその様子を動画で確認することができる「KARTE Live」。
誰が?どこで?といった「なぜ」を探ることができるため、より精度の高い仮説を立てることができます。
A/Bテストの勝ち負けだけに着目するのではなく、その理由をしっかり考えることで顧客体験の改善やサイトの成長につなげることができます。

KARTEについて詳しく知りたい方は、こちらからお問い合わせください。

SHARE