有益なデータを得るための「AB テストの作法」
インターネット広告は、フレキシブルに出稿情報を変更できるため、非常に短いスパンで検証→改善を繰り返すことができる。そのため、広告運用に於いて AB テストは、もはや欠かせない運用手段となっている。しかし、特にリスティング広告のクリエイティブなど、 AB テストを行っている広告を見ても「ただ2パターン流しているだけ」といった、あまり効果的でない検証を行っているケースも目にする。
「分かっている」ことと「できている」ことの間には、大きな隔たりがある。
当たり前と言われている AB テストではあるが、きちんと有益なデータを得る検証を行うために、今一度その守るべき作法をおさらいしてみたい。
●「何を検証するのか」を明確にする
AB テストで最も重要なことは「この検証を通じて、どのような答えが欲しいのか」を明確にしてから、検証を行うことである。AB テストは「答えを生み出す手段」ではなく「答えを確認するための手段」といった認識が近い。とりあえず1パターン流して後から答えを読み取る、といった行き当たりばったりな方法では、結局答えを得られない場合が多い。
まず行うべきは、仮説を立てることである。要素 A と要素 B では A の方が優れているのではないか。そして、その仮説が当っていた場合、外れていた場合、次はどうするのか。次のアクションを始めの段階から用意することで、目的が明確になり効果的な検証を行うことが可能となる。
●検証対象は欲張らない
AB テストを実施しようとすると、つい「あれも」「これも」と検証個所が増えてしまうことがある。例えば、キャッチコピーの AB パターンそれぞれに対して、レイアウトもそれぞれ違ったパターンで作成してしまうことなど。この場合、何が要因となって差が出たのかを明確に判断する材料を失い、結果何も得られない検証となってしまう。
検証する要素は、1つに絞ることが重要である。訴求点の差を検証したいのであれば、キャッチコピーだけを変更し、その他の要素全てを同一にすることが望ましい。
また、同時に走らせる比較パターンも、多くなりすぎることも好ましくない。検証には、一定のトラフィックが必要であり、トラフィックを集めるには一定の期間が必要である。つまり、例えば2パターンのテストを行った場合と4パターンの場合、同じ検証結果を得られるまでに2倍の期間がかかってしまうことになり、大きな機会コストとなる。
AB テストの検証対象は、可能な限りシンプルに欲張らないことが、短期的な効果改善の大きなポイントである。
●検証は、基礎戦略となりうる要素から
それでは、どの要素から順番に検証をするべきか。これは今後の仮説に於いて今後の検証の基礎戦略となる要素から検証していくことが望ましい。ユーザーの行動に最も影響を与えるのは「情報」である。ボタンの位置や色調などが若干の影響を与えることはあるが、それは非常に軽微なもので決定的に効果を左右する要素には成りえない。
A.サービスの魅力として何を訴求するのが最も好ましいか。
…「安さ」が最も効果が良ければ、今後コンテンツでは安さを強調したページとする。
B.ページの情報量が、細かく充実している方とシンプルな方、どちらがいいか。
…シンプルなページの効果が良ければ、今後は短めの構造の LP とする。
といった、今後の基礎戦略となりうる要素から順番に検証対象にすることが重要である。
●A と B の違いは極端に
既に一定の効果のあるクリエイティブ A に対して、やや挑戦的なBのクリエイティブを当てる場合、CPA の悪化を恐れて、つい B の訴求を和らげて A 寄りなクリエイティブにしてしまうことがある。この場合、A と B の差は薄まり違いが見えにくくなってしまい、仮に差が出た場合でも「本当に B の要素が良かったのか？」といった疑問が残る検証になってしまう。
答えに疑問が残る検証は、検証としては成り立たない。 AB テストを行うからには、その A と B は極端なほどに差異を明確し、結果に疑問を残す余地を無くすことが重要である。 AB テストをする際は、まず「情報を得ること」を第一の目的として考え、決して情報と効率の二兎を追ってはいけない。
●「量」が溜まるまで待つ
まだ量が十分でないデータに惑わされてしまうことも、検証に於いて陥りがちな注意点である。
平均値は母数が増えるほどに信頼性は高まるので、母数が数百の段階では見えていた傾向が、数千単位になると見えなくなることも多々ある。早い判断で焦って検証をすることは、誤った答えを導く原因となってしまう。
検証をする際は、一定のボリュームのある広告に対して行い、「この数値になるまで一切データを参考にしない」という基準値を事前に決めておくことが必要である。検索ボリュームが多い広告であれば、AAB テスト(※)を行うことが理想的である。（※A,A,B を1/3ずつ配信することで、A 同士の数値が落ち着いた時点から検証に値する時期が特定できる）
●同じ条件で比較する
A と B は必ず同じ条件で比較しなくてはならない。当然とも思えることではあるが、一見フェアな比較のつもりで、フェアでない比較をしてしまっているケースもしばしばある。
AB テストの検証対象は大きく「誘導方法」と「着地点」の2つがあるが、これら2つはお互いに強く影響しあうため、必ずセットで比較しなくてはならない。例えば、ページ A はキーワード A から、ページ B はキーワード B から、といったそれぞれが異なる「誘導方法」となっていた場合、一見ページ A とページ B のフェアな比較であるように見えて、「誘導方法」の質が影響している場合があるので注意したい。
「着地点」の効果を検証する場合には、それぞれの「誘導方法」を。「誘導方法」を検証する場合には「着地点」を、それぞれ異なっていないかを踏まえて比較をする必要がある。
以上が、効果的な AB テストを行う上で気をつけておきたい要素である。
最新の広告や効果測定技術が生まれる今日ではあるが、これらの基本的なルールが実践できているか、今一度再確認をしてみることも必要である。
（執筆：株式会社フルスピード 上村謙輔）
記事提供：株式会社フルスピード
http://rss.rssad.jp/rss/artclk/IpzPL9ZuTgAc/5017e66eaeacb5e96f16fa8bbbeb62c2?ul=SireSBZ4thSrZetiLCQlLsSQNJ6XHVC7xBy1EvrqQtgIJfmL64ZTiIHdF0LTG_PWsulcrGl7o4AhdIx48IdsanNrJVKv
「穴埋めをする」といいますね。
不足や欠損、また、落ち度などを補う。
人生失敗しても、何とか穴埋めして生きていきましょうｗ
PICKUP
司法書士費用任意整理版根掘り葉掘り鳥取で引越しの準備 部屋選びの重要ポイント探偵は人の生身の姿を追う仕事 盗聴・盗撮器発見レーシックのわからないこと家族の負担を減らしたい介護保険信頼できる探偵社火災保険新潟で会社設立〜登記・法人化〜杏野はるな アイドル情報PR
