2019.10.28Product Story

KARTEのアンケート接客からマス広告の効果を把握する（分析篇）

今回は「KARTE」のマス広告の効果測定（キャンペーントレース）における活用事例後篇として、集まったアンケート回答結果の分析についてです。分析の方針や方法だけでなく、実際の結果も公開してご紹介します。

こんにちは、プレイドのジェームズです。
CX ClipではKARTEを使うなかで役立つTipsをブログ形式で発信しています。

今回は「KARTE」のマス広告の効果測定（キャンペーントレース）における活用事例後篇として、集まったアンケート回答結果の分析についてです。分析の方針や方法だけでなく、実際の結果も公開してご紹介します。
なお前篇はこちらから見れるので、合わせてお読みください。

KARTEのアンケート接客からマス広告の効果を把握する（設計・運用篇）

分析の方針を立てる

キャンペーントレースの目的は広告の受容性を多面的に把握することでした。
はじめに、アンケートの質問項目から見るべき分析軸を出していきます。

ユーザー軸

・回答者全体
・調査対象者セグメント別

質問項目から見た内容軸

・広告の強認知(しっかり記憶している状態)はどの程度あったか
・クロスチャネル展開をしたが各チャネルでどの程度の人に届いたか
・マス広告3種類、交通広告5種類の素材別でどの程度見られたかか
★広告を見た人たちにどのような気持ちの変化があったか
★広告を見た人たちからどんな声が上がったか

今回の広告はコミュニケーションターゲットをかなり絞って「マーケター向け」に訴求しています。かつプロダクトブランディングの目的も多分に含んでいたため、広告接触者に どういった反応があったか が特に知りたいことでした。こちらのエントリでも★を付けている「具体的な反応」部分にフォーカスしてご紹介します。

ちなみに広告制作の意図詳細はこちらの記事でも触れているので、より詳しく知りたい方はぜひお読みください。

「KARTE」初CMの舞台裏。15秒の映像に込めたメッセージとは？

KARTEのアンケート接客では回答結果を全体集計・ユーザーリストそれぞれでエクスポートすることが可能です。今回は行っていませんが、KARTE Datahubを用いることでデモグラ情報や設問間でのクロス集計など、より深掘りした示唆を得ることも可能です。

結果を見る

まずは回答者の属性割合についてです。
450少々の回答数の属性(セグメント)割合は以下のような結果でした。

新規ユーザーが過半数を占める回答結果となりました。まずは各セグメントの母数を見ながら、全体だけではなく新規ユーザー・既存ユーザー・直流入ユーザーでセグメントごとに結果分析を行うことができることを確認します。

態度変容「広告を見た人たちにどのような気持ちの変化があったか」

記事前編でもあった通り、セグメントによって質問内容(指標)を変えています。

新規来訪ユーザー: 興味関心、利用意向
再来訪ユーザー: 理解深化、利用意向
既存ユーザー: 理解深化、内容共感
広告直流入ユーザー: 興味関心、利用意向

態度変容指標は「興味関心」「理解深化」「利用意向」「内容共感」をセグメント毎に分けて設計しました。例えば「新規来訪ユーザー」であれば興味関心と利用意向を聞く一方、すでにKARTEをご利用中の「KARTEユーザー」への同項目聴取ではあまり有用な結果は得られないため、広告によるKARTEの理解深化と内容共感を聞くような出し分けを行っています。

まずは全体の傾向から見ていきます。

数値はTop2で集計（※興味関心であれば「興味がある」「やや興味がある」回答の合計)

回答者のうち、興味関心ありが約90%、利用意向ありが約70%。一方、理解促進の観点では過半数の方からは広告内容の理解を得られない結果となりました。
既存KARTEユーザーにだけ聴取している内容共感では、67.9%と7割近い方からポジティブな反応をいただくことができています。

次にセグメント単体の結果がこちらです。

広告に反応して直接サイトへ流入したユーザーはやはり相対的にも高評価となりました。
広告接触後の利用意向変化ではユーザーの来訪回数を問わず高い利用意向を得ることができています。

注意点としては、そもそも調査対象者が当然「KARTE」のサービスサイト来訪ユーザーであるため、市場全体からの評価とは異なります。より精緻に反応を把握するためにも実際の声を深堀りして分析してみます。

自由回答「広告を見た人たちからどんな声が上がったか」

回答ユーザーの3割から、自由回答コメントも集まりました。
自由回答の場合は、一つひとつのコメントを社内や制作チームへ届けることももちろんですが、今回は「アフターコーディング」という手法を用いて分析を行ったのでそちらをご紹介します。

アフターコーディングとは
自由回答（自由記述、フリーアンサー、FA）の選択肢化を指す。
自由回答の中から類似の回答をまとめ上げてカテゴリーに分類し、少数の選択肢に絞り込んでいく。定性情報を定量化することで集計をしやすくする手法。
出典: https://www.macromill.com/research-words/after-coding.html

回答内容を表す特定のワードでまとめあげてグルーピングする方法で、回答結果からそのニュアンスを含めて次のワード群でまとまっていきました。

例えば「意味がわからない」には下記のような回答が含まれます。

ごめんなさい
全く意味がわからないです。

同じように「面白い(興味深い)」だと下記のような回答が含まれます。

ペルソナを顧客から収集してしまうというのが面白いと思った。
ペルソナという概念が周知されていないからこそできることだし、ペルソナという言葉を使うことでその周知も狙っていると感じた。

アフターコーディングの結果がこちらです。

「何のサービスかわからない」、「意味がわからない」という回答が多く出ていることは今後の課題として受け止めつつ、一方で今回はコミュニケーションターゲットを明確に絞っているため、ターゲット外のユーザーからの声としては「適切な反応」だという判断もしています。

回答内容にはポジティブな意味、ネガティブな意味、どちらとも判断がつかないものが混在するためそれらを振り分けたものがこちらです。

50%以上はポジティブな声が挙がったことがわかりました。

このように一人ひとりの声を定性的に分析することに加え、n=1の声を集計して全体傾向やポジ・ネガの割合を把握するなど複数の角度から自由回答を見ることで、より深い示唆を得ることが可能です。

「KARTE」でキャンペーントレース調査をやる時のポイント

ご紹介した結果抜粋と共に、こういった調査を実施するうえでのポイントを記載します。

実際の行動から対象者を決める

KARTEでは一人ひとりのユーザー行動を解析することで、はじめてサイトに訪れた/広告から訪れた/前から何度もサイトに訪れたことがある/既存ユーザーなど声を聞きたい相手を精緻に決めることができます。回答者のその後の行動も継続的に分析することができる点も踏まえてリサーチの設計ができるとなお良いかもしれません。

リアルタイムに行う

広告出稿期間中に合わせてアンケート配信を行うことが極めて重要です。いち生活者として考えれば当たり前ですが、広告に接触したことの記憶はすぐさま薄れていくものです。せっかくWebサイトに来訪してくれているのであれば、できる限り早く良い形でアンケート体験を提供できることが望ましいです。

顧客体験を重視して設問設計を行う

インターネットリサーチと同じ程度の内容量を質問することはの回答者負荷が高く、あまり良い体験とはいえないことが多いと思います。文脈に沿って適切な分量でリサーチを設計することでより多くの声を集めることができます。

回答集計は目的によって対象を使い分ける

「そう思う」「ややそう思う」/ 「とても好き」「あまり好きではない」など、マーケティングリサーチでは複数の段階の選択形式で質問を行うことが多くあります。
質問の目的によってTop1の回答だけ、Top2回答まで含めるなどの使い分けが重要です。今回では広告認知については正確な認知者を把握したい意図があったためTop1のみで効果を確認し、前述した態度変容についてはざっくり広告接触をした人たちがどう感じたのか？を把握するためにTop2で集計を行いました。

今後について

前後篇にわたってKARTEのアンケート接客を用いた効果計測方法をご紹介しましたが、全体の効果測定としてはアンケートだけではなくトラフィックやCVへの効果などの分析も並行して行いました。
ただ、一人ひとりの「生な反応」を知ることができるのは従来の手法だけでは補完できない重要な部分だと思います。
既存顧客であれば広告表現にどういったイメージを持っていただけたかを把握し日常のサポートに活かす、新規顧客であればその後どういった行動をされたのか/お問い合わせいただいた時に広告への反応情報も踏まえたコミュニケーションができる、などB2B SaaSのマス広告反応結果はさまざまなシーンで掛け算して活用することができます。

KARTEを活用することで、更には次のような活用も考えられます。