KARTEのアンケート接客からマス広告の効果を把握する（設計・運用篇）

こんにちは、プレイドのジェームズです。
CX ClipではKARTEを使う中で役立つTipsをブログ形式で発信しています。今回は弊社プレイドでの「KARTE」活用事例紹介です。

プレイドでは「KARTE」自体のマーケティング活動やカスタマーサポート、セールスの場面でもドッグフーディングとしてKARTEを全面的に活用しています。
2019年5月には初のTVCMキャンペーンを行いました。一般的にマス広告展開には「どのようにその効果を把握するか？」という課題が付きものですよね。その効果測定（キャンペーントレース）にKARTEをどう活用したかをご紹介します。

今回のエントリ（前篇）ではキャンペーントレースの設計と開始以降の運用についてです。

実施の目的

初めてのTVCMキャンペーンということもあり、どこまでマス広告がお客さま（以下「ユーザー」とします）に受け入れられるものなのか正確な予測はできていない状態でした。従って、キャンペーンの受容性を測ること・どのような効果があったかを多面的に可視化することが目的となりました。

どう実施するか

今回はユーザーに「聞く」ことが主となります。従ってアンケートタイプの接客サービス（※以下「アンケート接客」）を活用して、キャンペーントレース用途のアンケート設計に沿ってクリエイティブを制作します。
KARTEのアンケート接客では回答データはユーザーごとに保存されるため、その結果から、

• ユーザーごとにドリルダウンして分析する
• 回答結果を軸にセグメント化して別のアクションに活かす
• 単純集計やKARTE Datahubを用いて柔軟な分析を行う

などの展開を考えることができます。

アンケートを設計する

まずアンケート接客の内容設計を行います。
設定した目的に対して、下記を決めていきます。

• どのようなユーザーに（調査対象者）
• どんなことを（調査項目・内容）
• どのシーンで（調査タイミング）
• どのくらいの規模で（調査母数）

前提として、KARTEでアンケートを配信する以上「Webサイト/モバイルアプリ上」になるため、既に自社チャネルに来訪しているユーザーが対象となります。一般市場に調査を行うネットリサーチ等の手法とは母集団が異なるため若干のバイアス（「既にサイト来訪している」点）がかかることは、KARTEでキャンペーントレースを行う上での留意点となります。

Webサイト（サービスサイト）に来訪するユーザーは何か「KARTE」について気になったり知りたいポイントがあって訪れます。そのためユーザーの情報体験をできる限り邪魔しない、でもある程度多くの方に答えてもらえるような体験デザインが必要です。

それらを踏まえて下記のように設計を行いました。

各設計のポイントを説明していきます。

どのようなユーザーに（調査対象者）
サイトを訪れるユーザーの属性は様々です。
初めてKARTEを知って訪れるユーザー、ある程度サービスを知っている状態で訪れるユーザー、既存のKARTEユーザーなど。それぞれの属性で広告に対して質問したい項目や言い回しが異なるため、属性ごとにセグメントを作り、アンケート接客自体を分けて作成しました。

例えば、Web動画広告からの直流入ユーザーであれば、多少でも「動画広告を見てクリックしてサイト遷移している」方が大半です。従って「広告認知」の設問は飛ばして、冒頭から「どのメディアで見たか」を聞くように設計を変えることや、アンケートの最後に遷移元以外の動画のレコメンドを行うなど、ユーザー像によって違和感ない形式にアンケート体験を最適化しています。一方、できる限り各セグメントに同条件で質問を行い、個別に余計なバイアスがかからない状態で設問を設計することも重要になります。

どんなことを（調査項目・内容）
理想的な状態でまず項目案を練り、各項目に目的から優先度を付けて絞り込むことがポイントです。
今回ははじめて、かつ交通広告も絡めたクロスチャネルのキャンペーンだったので、広告自体の認知とチャネル別・素材別認知、態度変容指標を入れ込み、態度変容指標は「興味関心」「理解深化」「利用意向」「内容共感」をセグメント毎に分けて設計しました。
例えば「新規来訪ユーザー」であれば興味関心と利用意向を聞く一方、「KARTEユーザー」への同項目聴取ではあまり有用な結果は得られないため、広告によるKARTEの理解深化と内容共感を聞くような出し分けを行っています。
※KARTEの市場での認知や競合比較、クリエイティブ表現の評価などは今回は調査項目の対象外としています。

どのシーンで（調査タイミング）
特別な設定はせず、実際のユーザー反応を見ながら適切なタイミングを見つけていく形を取りました。
フリークエンシーは「1日1回まで表示」かつ「すべての期間で2回まで表示」とやや厳しく設定します。
後述する接客サービス詳細とKARTE Liveによる分析から体験の改善運用を行います。

どのくらいの規模で（調査母数）
最低でも有効回答数全体で分析に耐えうる母数を担保するため「400」回答を集めることを前提に設計しました。

最終的に下記のようなクリエイティブを制作し、セグメント毎にアンケート接客を分けて配信を開始します。

アンケート接客を改善する

配信を開始してからは、ユーザーの体験をいかに損ねずに回答数を積み重ねるかを目指していきますが、初動ではそれほど回答数は伸びない状態でした。そこで運用フェーズではアンケート接客の配信実績から体験改善に向けた仮説を生み出し、施策のチューニングを実行し続けることが必要です。

KARTEでは接客サービス単位の分析、実際に配信されたユーザーの行動分析、マクロでのユーザー全体分析などができるため、下記の点を意識して分析〜仮説だし〜改善実行を進めます。

• セグメント毎（接客サービス毎）に回答数やそもそもの配信数に差はないか
• アンケートのクリエイティブに課題はないか、直感的に回答できるか
• 配信のトリガー、配信のタイミングは適切か
• 回答してくれたユーザーにどのような特徴があるか

実際にアンケート接客に当たったユーザーのリスト表示

実際にどのような体験だったかをLiveで確認

回答ユーザー/非回答ユーザーの特徴を俯瞰して見る

幾つかの仮説からアンケート接客の改善を行ったので、今回はその例を２つほど紹介します。

例1）クリエイティブの改善

• そもそも回答開始まで到達しないユーザーが多い
  ↓
• 実際の体験をLiveで見るとあまり気づかれずにスルーされるケースが多々あり、アンケート接客の1st viewからはどういった内容のものなのか？がわかりずらいことに気づく
  ↓
• TVCMのサムネをランダムで1st view表示するようにクリエイティブを変更

例2）配信タイミングの最適化

• あるセグメントではアンケート接客を閉じられる数が多い
  ↓
• 実際の表示をLiveで見ると直後に閉じられているユーザーが散見され、表示タイミングとして適切ではない可能性が高いと考える
  ↓
• アンケート接客の配信タイミングを数秒ごとに検証して表示までの時間を「2秒」で設定

結果

配信開始直後ではリアルタイム・日次で結果を確認しながら、上記のようなポイントを確認してよりよい体験が届けられるようチューニングを進めることが大切です。
わずか数問とはいえ、何問も連続で答えることはそれなりにユーザーに負荷がかかるものですが、結果として無事目標としていた400を超える回答を得ることができました。

この結果をどう分析したか？については後篇をご覧ください。