「顧客を知る」事例｜N1の目線に立つと負けた施策の“なぜ”まで分かる。ABテストを重ねて顧客理解を深める（JTB）

国内外の旅行・宿泊を取り扱うJTBの公式サイトでは、ABテスト等を繰り返しながらサイト体験の改善に取り組んできました。

より顧客に寄り添ったサイトを目指すためには、集計データから仮説を立ててABテストを実施するだけではなく、データの裏側にある行動の要因を把握する必要があると考え、個々の顧客行動まで深掘りした分析を始めました。

JTBが顧客体験の向上を目指して行ったUI/UXの分析、ABテストの結果分析/効率的な実施のプロセスをご紹介します。

※JTBでは、Google Analyics（以後GAと表記）のユーザーエクスプローラー機能とKARTE Liveをあわせて分析を行っています。

課題

ログデータを見ることでユーザーの閲覧時間や遷移など、ある程度の把握はできますが、個々のユーザーのマウスの動きや、心理状況の察知などはデータを見ても推測ができません。詳細を把握するためにログデータを手元のブラウザで再現するプロセスを行なっていましたが、課題を特定するのに時間がかかっていました。行動分析がボトルネックとなって、ABテストのサイクルを的確に回せないことが課題でした。

実際に行った分析

分析のフレーム

n1分析からABテスト実施までの詳細プロセスは、大体以下のようになります。

STEP1: n1分析のテーマを定める
サイトの課題や社内需要などを考量し、n1分析のテーマと対象ページを決めます。（だいたい1テーマにおいて1～2回のサイクルで個票分析を実施します。）テーマは国内・国外などの領域軸や検索・ログイン・予約などの機能軸、既に実施中のABテストなど施策軸などが挙げられます。

STEP2: ボトルネックを特定し、ユーザーの行動録画を見る
KARTEで、特定の期間・行動・属性でセグメントを作り、該当セグメントのユーザーの行動録画をランダムで見ていきます。ゴールはABテスト案を個票分析から導くことであり、見たユーザーの行動の気づきやポイントを押さえながらメモ書きを残すことがおすすめです。

STEP3: 気付きからABテスト案をプロットする
個票分析から見つけたユーザーの行動に基づき、ABテスト案を考案し、以下のようなリストにプロットします。

STEP4: ABテストを実施するか否かの量的把握を行う
ABテスト案のリストにプロットされた案を実行するためには、実際にn1分析で見つけたユーザーと同じ行動を取っているユーザーの量的把握をしなければなりません。

ここでは、GAを併用しシーケンス分析（※）を行い、特定行動を取っていたユーザーのボリュームを確認し、数字的根拠をまとめます。チーム内で実行するか否かの判断材料として用意します。（※ユーザー行動の細かさにより、量的把握ができない場合もあります）
※段階的なステップなどあらかじめユーザー行動の順番を指定した条件設定を用いてセグメントを作成したり、行動を分析できる機能

STEP5: ABテスト配信中の状況把握
ABテストの配信開始後は、KARTE側で配信ユーザーのセグメントを作り、KARTE Liveでユーザーの利用状況を確認します。

STEP6: ABテストの勝敗判別を元に、ユーザーの動画を見る
ユーザーの動画を通して、勝ち判定の場合は当初想定していたユーザーの動きと異なるかをチェックし、負け判定の場合、負けた理由を特定します。

運用は、UIUX課の分析チームを中心に、1〜2名の体制で週2回の頻度でKARTE LiveとGAのユーザーエクスプローラーを兼用してn1分析を行い、気付き/課題を課内で共有するようにしています。その後、デザインチームがその気付き/課題を拾い、改善パターンを作り、また分析チームで実装する段取りになっています。

分析の具体例

日本国内航空券+ホテル予約画面の予約ボタン体験改善の例をご紹介します。

取組み当初、GAの数字分析から、スマートフォン（SP）ユーザーの日本国内航空券＋ホテル予約の「選択内容確認」画面から「予約入力」画面までの遷移率が非常に低いという課題が出ていました。

ページ上の体験に負があり改善要素があると考え、まずは原因を特定するために、KARTEで「選択内容確認」画面を閲覧したSPユーザーに絞り、「予約入力画面」に「進んだユーザー」と「進んでいないユーザー」両方の行動を見比べました。

その結果、下記のようなユーザーの動きを察知することができました。

・画像Aの「このプランで予約する」エリアまでスクロールして、またページの上部へスクロールして戻る、その行動を2〜3回繰り返していた
・その後、該当ユーザーは離脱した、あるいは戻るボタンを押した

KARTEとKARTE Liveで見つけたユーザーの行動に基づき、下記の仮説を作りました。

1. 画像Aのように「ログインして予約を続ける」ボタンがタイトルの「このプランで予約する」から離れすぎて、今のボタンはあまり目立たなくスルーされた可能性がある
2. 画像Bのように、実際このページには会員と非会員それぞれを対象に予約ボタンが配置され、どちらでも予約画面には進められる。ただし、一見同じように見えるし、じっくり内容を読まないと理解できない

上記分析からの仮説に基づき、デザインチームでは下記案を考案しました。

案1. 色を変更。一番CVに繋がりそうな「ログインして予約を続ける」と「予約を続ける」を赤にし、「新規登録をして予約を続ける」ボタンとの違いを分かりやすく表現し、迷いなく進めるようにする。

案2. テキスト変更。ボタンテキストの「予約を続ける」を「予約する」に変更し、予約ボタンをシンプルに見せる。

結果

まず、案1をKARTEでABテストしました。仮説に基づいた案1が勝ち傾向となった後、案1をベースに案2を追加で実装し、案2も同様に勝ち傾向となりました。

結果として、SPだけではなく、PCでも効果が見られました。SPでは遷移率がで13%向上し、PCでは予約完了率が10%向上（※）しています。現在は、PCとSP共に案1+案2をあわせた設計で100%配信を行っています。
※セッションベースで有意差が見られた結果。計測期間: 2020年8月11～8月27日

まとめ

KARTE Liveでユーザーの生の行動を動画で再現することにより、厳密なイベント実装がなくても動画でユーザーの行動履歴を見ることができ、課題特定がしやすくなりました。行動分析→課題特定→仮説・ABテスト作成までのプロセスがより簡単になったことを実感しています。

もうひとつKARTE Liveが優れているのは、ABテストの検証も動画で確認できる点。以前は、全て数字目標（トランザクション数、遷移率、クリック数など）を設定し、ABテストツール上で勝ち負け判定を行い、負けたABテスト案に対して、なぜ負けたか不明なまま終了したケースが多くありました。ですが、KARTE Liveを使うことにより、負けた案の対象ユーザーの行動を動画で見ることによって、原因特定までのプロセスが明快になりました。チームでのより良い施策立案、より深い顧客理解に役立っています。