2019.11.14用語解説

ABテストとは？仮説検証を繰り返し、最適な施策を導き出すテスト手法

実際にユーザーに試してもらい、反応を確かめることができれば、より最適なメッセージやデザインにたどり着けます。そうした仮説検証を素早く行う方法がABテストです。

サイトに掲示するバナー、ボタンの位置やデザイン、商品を紹介するメッセージなど、企業と顧客の無数の接点において、どういった表現であれば期待した反応が得られるのか、実施する前にはなかなかわかりません。

実際に顧客に試してもらい、反応を確かめることができれば、より最適なメッセージやデザインにたどり着けます。そうした仮説検証を素早く行う方法がABテストです。

今回はABテストとは何か、ABテストを行う上での基本ステップや注意点、ABテストを実施した事例を解説していきます。

ABテストとは？

ABテストは、同じ条件のもとで2つ以上の選択肢を比べ、どちらがより良い反応を得られるかを決めるテスト手法です。

Webマーケティングにおいては、Webサービスやアプリ、バナー広告、ランディングページなどを改善するために行われます。改善する対象は、ボタンの色やテキスト、トップページに表示する文字や画像、ページやバナーのレイアウトなどさまざまです。

例えば、米国のクリントン・ブッシュ・ハイチ基金はより多くの寄付を集めるため、寄付の申し込みボタンのABテストを実施しました。

「ユーザーがクリックする意義を感じられるテキストなら多くの寄付を獲得できる」という仮説のもと、「SUBMIT（申し込み）」と書かれた元のボタンと、「SUPPORT HAITI（ハイチをサポートする）」と書かれたボタンをつくり、寄付金の額を比べました。

すると「SUPPORT HAITI」ではページビューあたりの平均寄付金額が8ドルも向上。同ボタンを採用し、より多くの寄付を集められました。

このようにABテストでは、あらかじめ立てた仮説をユーザーの反応をもとに確かめながら、改善を重ねていくことができます。

ABテストを行う際の基本ステップ

ABテストによって仮説を検証し、改善につなげるには、どのような手順を踏む必要があるのでしょうか。ここではバナー広告の改善を例に、ABテストの基本ステップを説明します。

1.ABテストの目的を明確化する

まずはWebサービスやアプリのKPIや現状の数値を踏まえ、何のためにABテストを行うのかを決めます。

バナー広告であれば、クリック数の増加やコンバージョン率の向上などが挙げられます。今回は、クリックからプロダクトの購入に至るユーザーの割合向上を目的に考えてみましょう。

2.何をテストするか決定する

目的が整理できたら、何をテストをするかを考えます。現状から改善できそうな箇所はあるか、どのように改善できそうか仮説を立てましょう。

バナー広告なら、現状のテキストや画像、レイアウトからどこを改善できそうか、どうすればより多くのユーザーが購入してくれそうかを考えていきます。例えば「価格を示すテキストを目立たせたら購買意欲が高まるはず」「プロダクトを利用している人の写真があれば利用イメージが湧き、購買につながるのでは」などが考えられます。

3.ABテストの結果から次の検証箇所を決める

ABテストを実施した後は結果を分析します。仮説が当たっていたかより、結果から新たな仮説を立て、次のABテストに活かすことが重要です。

例えば、プロダクトを利用している人の写真が載ったバナーから購入するユーザーの割合が高かったとします。その場合「テキストも利用イメージの湧く内容にすると購入率が上がる」という新たな仮説を立て、テキストの内容をABテストできるでしょう。

より正確なABテストを行うための注意点

ABテストでより正確に仮説を検証するには、どのような点に注意すれば良いのでしょうか。以下に気をつけるべき点を説明します。

“何となく”でテストを実施しない

明確な目的や仮説を持たずABテストを実施してしまうと、仮に明確な差が出たとしても、「なぜそうなったか」が判断できず、次の改善につながる手がかりも得られません。またABテストにかかったリソースも無駄になってしまいます。

ABテストはあくまで事前に考え抜いた仮説を検証する手段です。何となくでテストを繰り返すことのないよう注意しましょう。

対象となるユーザーが十分にいるかを確認する

ABテストの対象となるユーザーが少なすぎると、特殊な行動をしたユーザーのデータが反映されやすくなり、正確な結果が得づらくなります。

BtoB企業を対象にWeb制作を行うベイジ株式会社は、目安として「1日に100以下にしか訪問されないページやクリックされない要素」はABテストに適さないと指摘しています。

あらかじめABテスト期間を定めておく

ABテストではどれだけ時間をかけても明確な違いが出ない場合もあります。違いの出ないABテストを続けても、リソースの無駄になってしまいます。必ず実施前に期間を決めておきましょう。それとは逆に、短期間で明確に差が出ている場合は、テスト期間終了を待たずに効果の良い方を選択し、次のABテストを始めることでPDCAサイクルの短縮化が見込めます。

期間を決める際には、まったく同じパターンでABテストを実施し、どのくらいの期間で十分なデータが集まるかを確認します。

一度のテストで変更する箇所を一つに絞る

一度に複数の変更を加えてABテストを行うと、結果に差が生まれても、どの要素が成果に影響したか判断できず、改善に活かせません。一度のABテストで変更を加える箇所は一つに絞りましょう。

ABテストの対象ユーザーの条件を揃える

新規顧客かリピーターか、利用しているデバイスや流入元によって、ユーザーのニーズや行動は異なります。それらのユーザーをまとめて全員にABテストを実施しても、どのユーザーにどの施策が効果的だったのか、わかりづらくなってしまいます。なるべく同じ条件、近い属性のユーザーにテストを実施しましょう。

一方、決まったユーザーを対象にABテストを繰り返していくと、意図せず他のユーザーの体験が損なわれてしまうこともあります。限られたユーザーに最適化されすぎていないか注意しておきましょう。

KARTEを用いて素早く気軽にABテストを行う

従来、上記のような点を押さえてABテストを行うには、データを収集・分析するためのツールの導入や大規模な開発が必要でした。しかし、近年はそうしたプロセスを簡略化し、より気軽にABテストを行えるツールが登場しています。

ABテストを行うためのツールは色々ありますが、この記事ではCXプラットフォーム「KARTE」を使って、アプリのプッシュ通知、サイト上でのポップアップ、ヘッダーテキストの書き換えを行った事例をご紹介します。

KARTEでのABテストでは、クリエイティブや配信ターゲット、配信率を管理画面上から簡単に設計することができます。また、機械学習を用いたアルゴリズムによりABテストの結果、効果の良い（よりゴールに寄与する）アクションに配信を自動的に寄せ、配信結果を最適化する事が出来ます。

KARTE管理画面のアクション設計イメージ。クリエイティブや配信率をコントロールできる。

以下にKARTEを活用してABテストを実施、成果の上がる施策を実現した事例を解説します。

カートページ内で、送料の表示方法をABテスト。購入完了率が約16%向上（ストライプデパートメント）

大人のためのECデパートメント「STRIPE DEPARTMENT」では、KARTE Blocksを活用し、カートページに送料の表示をよりわかりやすい形式に変更するABテストをエンジニアに頼らず自部門でクイックに実施。
結果、未実施と比較してテストパターンを表示したユーザーの購入完了ページへ到達した割合が16.3％高くなりました。（2021年4月株式会社ストライプデパートメント調べ）

参照：【アイデアを試す・ABテスト】KARTE Blocks活用事例集

17パターンでテストを行い、会員登録率50%アップを達成

経営者の課題解決を目的としたニュースメディア「BizHint HR」では、検索で訪れたユーザーの会員登録率を高めるために、KARTEを活用してABテストを行いました。

同社はKARTEを用いて、検索から流入したユーザーが記事を30%スクロールしたタイミングで、会員登録を促す案内を表示。KARTEでクリック率と会員登録率をチェックしながら、17パターンものメッセージやデザインを3ヶ月でテストしました。

その結果、会員登録ページからの会員登録率に効果的なメッセージとデザインを特定でき、登録者数は大幅に増加しました。

参照：記事ページ閲覧ユーザーにメディアの価値を伝えてスムーズに会員登録に誘導（ビズヒント）

プッシュ通知のABテストで22.4％クリック率が向上

Japan Taxi株式会社の開発するタクシー配車アプリ「Japan Taxi」では、KARTE for AppとKARTE Datahubを用いて、クーポン利用を促すプッシュ通知を最適化するためのABテストを行いました。KARTE Datahubは、社内外のツールで別々に管理されているデータを統合・分析できるプラットフォームです。

同社はKARTE Datahubを用いて、クーポン失効日のデータを持つ自社のデータベースとKARTEを連携し、ABテストの対象となるユーザーの抽出を自動化。ABテストを繰り返し、テキストの改善を重ね、クリック率を22.4%も向上させることに成功しました。