KARTEのA/Bテストはここが違う！意味あるA/Bテストの設計方法と振り返り方を解説【前編】

A/Bテストとは、ウェブサイトやアプリを改善する手段の一つです。同じ条件のもと、コンテンツやデザインが異なる2つ以上のパターンを比べ、目的に対してどちらがより良い反応（CTR、CVR）を得られるかを探るテスト手法です。

参考：A/Bテストとは？仮説検証を繰り返し、最適な施策を導き出すテスト手法

この記事では、意味のあるA/Bテストの設計方法と、KARTEを利用したA/Bテストの実施方法と振り返り方について、前編（本記事）、後編に分けて解説していきます。

A/Bテストで検証する3つの内容

A/Bテストと聞いて、何を思い浮かべますか？
バナーのデザインを変える、メールの件名を変える、訴求ポイントを変える、など様々考えられますが、A/Bテストで検証する内容は、以下の3つに大別されます。

1. コンセプトテスト
2. ワーディングテスト
3. デザインテスト

A/Bテストは、より高い成果を得るために実施するものです。細かい違いによるパターンでのA/Bテストは、どちらのパターンもほぼ同様、もしくは僅差のパフォーマンスになることが少なくありません。その施策のパフォーマンスに大きく影響を及ぼすであろう本質的で「実施する意味」があるA/Bテストを設計・実施する必要があります。

例えば、訴求内容は同じで記号が「ある・ない」だけや、表記を「お得からおトクに変えるだけ」といった、細部の違いによるA/Bテストでは大きな改善は見込みにくいため、施策の方向性やパフォーマンスに大きく影響するコンセプトテストからぜひ検証してみましょう！

A/Bテストを設計・実施する6つのポイント

本質的で「実施する意味」があるA/Bテストとは、どのようなものでしょうか。それはズバリ、より良い成果につながるだけでなく、なぜ良かった / 悪かったのか検証でき「学び」があるA/Bテストであるかどうかだと言えます。
以下の6つのポイントを押さえて、「成果」も「学び」を得られるA/Bテストに仕立てましょう。

1.目的・効果測定指標を決める
2.検証したい仮説を明確にする
3.パターンごとに変える場所は一箇所
4.十分なサンプルサイズを確保
5.コントロールグループを作る
6.テスト期間を決めておく

1.目的・効果測定指標を決める

より効果的なA/Bテストを実施するためには、１. どのような問題点・課題に対して、２. 何をどうしたいのか、３. そのためのテスト箇所はどこか、４. 効果測定の指標は何にするか、という4点を含むA/Bテストの目的について明確にしておくことが重要です。この4点を整理しておくことで、どのようなA/Bテストにするべきか、ブレないテスト設計がしやすくなります。

A/Bテストの目的（例）

2.検証したい仮説を明確にする

より良い成果につながるだけでなく、なぜ良かった / 悪かったのか検証でき「学び」があるA/Bテストにするためには、各パターンごとに明確な仮説を持っておくことが鍵となります。仮説が明確にあることで、なぜそのような結果になったのかを検討し、次の改善につながる手がかりを得ることができます。

タクシーが呼べるアプリ「Japan Taxi」を提供する株式会社Japan TaxiでのA/Bテスト実施事例をご紹介します。

課題目的
アプリインストール後の会員未登録ユーザーに、会員登録を促したい
施策
アプリの利用モチベーションの高い「初回起動から1日後のユーザー」に会員登録を促すプッシュ通知を配信する
訴求内容
どういう訴求内容がお客様に刺さり、より会員登録を促進できるのか？（検証したい仮説）
A：乗りたいときにすぐにタクシーに乗れる（ベネフィット訴求）
B：簡単に会員登録可能（会員登録簡易訴求）
結果
Aのベネフィット訴求の方が、クリック率が高かった

参考：初回起動1日後のプッシュ通知により会員未登録ユーザーの登録を促進 (JapanTaxi)｜App

3.パターンごとに変える場所は一箇所

複数の変更箇所を同時に検証してしまうと、結果の良し悪しに何がポイントとして効いたのか解釈しにくくなります。なぜそのような結果になったのか「学び」を得るためには、検証する軸が明確になるようパターンごとに変更を加える場所は一箇所にしましょう。

訴求内容、クリエイティブ、ターゲット、CTA（Call To Action）、配信ページ、配信タイミング、テスト実施期間、デバイスなど、検証する軸以外の比較条件をできる限り合わせることが、信用性の高いA/Bテスト実施の鍵となります。

4.十分なサンプルサイズを確保

A/Bテストの対象となるサンプル数が少ない場合、お客様1人ひとりの寄与度が大きいため、母集団の傾向と誤差が大きくなる可能性があります。そのため、傾向に差異があるかを把握するために十分なサンプル数の確保が必要となります。

BtoB企業を対象にWeb制作を行うベイジ株式会社は、目安として「1日に100以下にしか訪問されないページやクリックされない要素」はA/Bテストに適さないと指摘しています。
また、統計的に妥当な結果を得るために必要なサンプル数について、マーケティングの専門家によって1,000サンプル、5,000サンプルと様々ですが、以下のようなサンプルサイズを計算するサイトで調べることも可能です。

参考：ABテストのサンプルサイズの計算機（CASIO）

5.コントロールグループを作る

コントロールグループとは、A/Bテストの期間中にあえて何もしないグループのことをいいます。A/Bテストの結果は、AパターンとBパターンの比較ではなく、コントロールグループ（未実施）とテストグループ（A / Bパターン）の比較によって判断する必要があります。こうすることで、A/Bテストの内容以外でCVに貢献している施策や要素があった場合でも、テストパターン自体が持つパフォーマンスを押し上げる力を純粋に評価することができます。

6.テスト期間を決めておく

A/Bテストではどれだけ時間をかけても明確な違いが出ない場合もあるため、予めテスト期間を決めておきましょう。平日・休日やその他の施策の実施有無によってお客様の行動は変化するため、最低でも1週間はテストを継続することをオススメします。また一方で、A/Bテストを長期間継続しているとその差が次第に縮まっていくこともあるので（平均への回帰）、一定のサンプルサイズが確保できていて、一ヶ月以上経っても差が見られない場合は、そのテストを中断して別のテストを実施するようにしましょう。

「KARTE」でABテストを実施する

「誰に・どこで・いつ・何を」を柔軟に決めて施策を実施できる

CXプラットフォーム「KARTE」ではポップアップやネイティブプッシュといった多様なアクションを、テンプレートを用いて簡単に配信することができます。最大の特徴は、「誰に・どこで・いつ・何を配信するか」を、非常に細かく柔軟に設定できること。
例えば、「1回以上購入したことのある人」に、「定期購入ページ」にて、「再来訪してページを70%スクロールしたタイミング」で「500円引きのクーポン」をポップアップで出す、といった細やかな設定も難しい操作なく実施することができます。A/Bテストを行う時も、スライドバーで配信比率を変えるだけで簡単です。
また、自動的に効果の良いアクションに配信を寄せる「配信最適化」機能も用意されています。

KARTEならA/Bテストで負けても「なぜ？」まで分かる

KARTEでは、より高い成果が得られるパターンがどれか？という量的評価と同様に、改善案につなげていくなぜ良かったのか / 悪かったのか？という質的評価についても示唆を得ることができます。
配信した施策を、クリックした/しなかった、クリックから購入した/しなかった、といった詳細を個別のユーザーの行動履歴まで深掘りしてみたり、属しているセグメント毎に分析することができるので、顧客体験を実感値としてリアルに理解することができます。

詳しくは、本稿の続編「KARTEでABテストの結果を見る」をご確認ください。

KARTE Blocksで誰でも簡単にページ要素を書き換える

ページに掲出しているバナーのデザインを変更すべきか、CTA（Call to Action）変更で効果が上がるか、LPO（ランディングページ最適化）施策など、A/Bテストを用いてアイデアが効果的かどうか検証する時に役立つのが、KARTE Blocksです。
KARTE Blocksは、サイトをブロックの集合体として捉え、ブロックごとに直感的なサイト管理を実現するプロダクトです。タグを1行設置するだけで、ノーコードでサイトの編集・更新ができるだけでなく、ブロックごとの効果計測、A/Bテストの実施や振り返り、パーソナライズも一気通貫に実施可能です。

画像イメージなどの単一ブロックでA/Bテストを行うことができるのはもちろん、複数ブロックをまとめてパターンA・パターンBと分けてテストをすることも可能です。

参考：ステップ3. ABテストで素早く仮説検証・改善を繰り返す

意味あるA/Bテストで「学び」を繰り返し、顧客に良い体験を届けよう

効果的なA/Bテストを実施する際のテスト内容や、実施にあたって気をつけたいポイントについて解説してきました。
実施したA/Bテストを「学び」に変えるためのKARTEの機能について詳しく知りたい方は、続編「KARTEでA/Bテストの結果を見る」をご覧ください。