意外と知らない?!ABテストの成功率を上げる鉄板5ステップ
※読了時間（約10分）
「ABテストはやりたいんだけど、忙しくて手が回らない」
「前はやっていたんだけど、コストが合わずにやめてしまった」
「ABテストって時間ばかりかかって、全然進まないイメージ」
2013年にABテスト専門の制作会社を立ち上げ、5年間で1,500本以上のABテスト案を作ってきた牧野です。
WebサイトでのABテストが一般的になってから5年あまり経ち、これまでABテストに取り組んだ経験のあるマーケターは確実に増えています。あなたもその一人かもしれません。
でもその一方で、ABテストによる改善活動が絶大な効果を出すと分かっていても、うまく導入や運用ができないケースもよく耳にします。
今回はそんな「ABテストツールを導入したが全く使われていない」「ABテストで成果を出せない」といった悩みを持ったマーケターの皆さんの悩みを解決するために、実践的な導入方法と、序盤のテストを成功させるまでのコツをステップに分けてご紹介します。
これで停滞しているABテスト運用を動かし、CVR向上につなげましょう！
目次
STEP1.テストしたいページに十分なトラフィックがあるか確認する
いきなり序盤の序盤でがっかりさせてしまったかもしれません。
ですがこれはとても重要なステップです。
基本的な話ですが、この条件を満たさないままやみくもにABテストしても失敗に終わるでしょう。
ABテストには必ず「ある程度のトラフィック量（サンプル数）」が必要です。
トラフィック量が足りないと、正確なジャッジができず、結局AとBのどちらが勝ったの？と迷ってしまうのがオチです。
「そんな事いわれても、うちにはそんなにトラフィックが無いよ・・・」
もしかするとこんなふうに思われる方もいるかも知れません。
でも大丈夫。そんな方向けのやり方を後ほど伝えますのでご安心を。
まずはなぜトラフィックが必要か、基本的な知識をおさらいしましょう。
（1）なぜトラフィック量が必要か
一つ例を挙げます。
例えば、A案とB案それぞれでコンバージョン率を比較するABテストをしたとします。
100訪問数に対しAは5件コンバージョン（コンバージョン率5%）、Bは10件コンバージョン（コンバージョン率10%）した場合、Bの方がその後もコンバージョン率が高いといえるでしょうか？
あるいは、以下の場合はどうでしょう。
10,000訪問者に対しAは500件コンバージョン（コンバージョン率5%）、Bは1,000件コンバージョン（コンバージョン率10%）。
Bの方がその後もコンバージョン率が高いといえるでしょうか？
統計的に考えると、後者の方がより「Bの方がその後もコンバージョン率が高い」といえるのは分かりますよね。
同じコンバージョン率でもトラフィック量の多さによって信頼性が全く違います。
このように、正しいABテストには充分なトラフィック量が必要なのです。
では、必要なトラフィック量とはどれぐらいなのでしょうか？
（2）必要なトラフィック量の目安
実はこれを予測するのは簡単ではありません。
なぜならAとBにどれだけ差がつくのか、によって必要なトラフィック量は変動するからです。
例えばオリジナル案（A案）のコンバージョン率を1%だった場合、このコンバージョン率を1.1%にするのと、2%にするのでは、2%の方がはるかに少ないトラフィック量で済みます。
つまり「大きな差がでるほど、少ないトラフィック量で差を検出できる」のです。
でも差が大きいか小さいかなんて、テスト前にわかりませんよね？
だから予測が簡単では無いのです。
ただ、簡単でないからといって何もできないわけではなく「期待値」を元に算出することは可能です。
例えば以下のような感じです。
- このページのCVRは3%
- B案で期待できる上がり幅は20%
- 統計的な信頼度は95%
→B案に必要なトラフィック量は13,000UU
さらに、このような数値を簡単に算出できる計算機能が各ABテストツールのベンダーから提供されているのでご紹介します。（上記の計算はOptimizelyのカリキュレータで計算しました）
A/B Test Sample Size Calculator – Optimizely
https://www.optimizely.com/sample-size-calculator/
A/B, Split, And Multivariate Test Duration Calculator | VWO
https://vwo.com/ab-split-test-duration/
また、現場ではとりあえず経験則で以下のような独自の目安を置いている場合もあります。
例）A案、B案それぞれ100コンバージョン以上
もちろん正確性には欠けますが、すばやいPDCAを回すうえでは便利な目安です。
（3）もしトラフィックが足りない場合
冒頭でお伝えしたとおり、トラフィック量が少ない場合はどうすれば良いでしょうか？
それは以下を計測するのです。
- その施策で変化すると想定される動きを計測する
例）追加したボタンのクリック数や、遷移させたいページへの遷移率 - 最重要KPIの途中にある中間KPIを計測する
例）カート投入ページや詳細到達、会員登録
つまりコンバージョン数やトラフィック量が少なくても、それ以外に違いの出る場所を比較すれば、有益な判断材料になるのです。
もちろんコンバージョン率で比較できればベストですが、実際はこのように間接的な指標で判断することもあります。複数の指標を総合的に見ることが大事なポイントになるでしょう。
トラフィックの条件をクリアできたら、2つ目の事前準備「課題のリストアップ」へ移りましょう。
STEP2.課題をリストアップする
1でトラフィック数を確認したときに、あなたはきっと課題となりそうなページが頭に思い浮かんだかも知れません。担当者や当事者であればすぐに思い浮かぶ課題箇所はいくつかあるものです。
すぐにその箇所をテストし改善したいところでしょうが、ちょっとストップ！
せっかくなので、まずはこの機会に「課題の棚卸し」をしましょう。
しっかり課題を洗い出しきって「あっちを先にやっておけばよかった・・」というようなことが無いようにしましょう。
では、どうやって課題の棚卸しをするのか？
課題の洗い出し方を4つご紹介します。
（1）自社が把握している課題をリストアップする
まずは担当者やそれ以外の関係者から、課題を洗いざらい出してもらいましょう。つまりこれまで担当者や関係者が感じていたであろう隠れた課題感をきちんと明文化するのです。
少々手間はかかりますが、コストもかからずすぐに取り組める方法です。
また、現場の担当者や関係者が持っている課題というのは得てして的を得ているものでもあります。
次はユーザー目線を取り入れていきましょう。
（2）アクセス（ログ）解析からボトルネックを洗い出す
あなたのサイトにはおそらくGoogle AnalyticsやAdobe Analyticsなど何かしらアクセス解析ツールが入っていると思います。
このようなツールはユーザーの経路を分析しているのに適しているので、まずはサイトの中で重要な経路を特定しましょう。
例えばEコマースサイトであれば、以下のような経路が考えられます。
まずはあなたのサイトでユーザーがよく辿るであろう経路を3-5個ほどピックアップしましょう。
次に、これらの経路の中で離脱率の高い場所を特定しましょう。
離脱率が高いということは、そのページではユーザーが目的を達成できなかった可能性があります。
つまりはそこが改善すべきページです。
（3）ヒートマップ分析で課題を洗い出す
上記のようなログ解析ではボトルネックとなるページは分かっても、「そのページのどこが悪いか」は分かりません。
そのときに活躍するのがヒートマップツールです。ヒートマップツールではページ内のユーザー行動や、コンテンツの注目度合いがサーモグラフィのように直感的に分かるため、多くの気づきを得ることが可能です。
（4）ヒューリスティック分析で課題を洗い出す
もし予算があるなら、プロの力を借りるのも良い選択です。
ヒューリスティック分析とは、ユーザビリティ調査の専門家によってサイトの課題を洗い出してもらうやり方です。 専門家はチェック項目にもとづきサイトをチェックし、課題を出していきます。比較的多くの課題を短期間で出せることが特徴です。
（5）ユーザー調査で課題を洗い出す
ユーザー調査とは、一般人に被験者となってもらい、実際にサイトを使っている様子を観察することで課題を洗い出すやり方です。
ユーザビリティ研究の第一人者であるニールセン博士によれば、ユーザー調査を3-5人行なうのが最も費用対効果が高いそうです。
筆者の経験でも、3人行えば課題の8割方が出てくると感じます。
まずは3人でやってみましょう。
これで課題が多くリストアップされました。次はその課題に対して「優先順位」をつけていきましょう。
STEP3. 課題に優先順位をつける
このステップでは課題に優先順位をつけていきます。
分かっているけど面倒で端折りがち、、それが優先順位づけですよね。
今回はフレームワークを使ってできるだけ効率的に順位付けが進むようなやり方を紹介します。
（1）重複チェック
順位付けする前に、まずは重複チェックです。
さまざまな方法で洗いだした課題ですが、それぞれ重複していることも多いです。まずは重複しているもの、似ているものを一つにまとめましょう。ある程度この作業で数を減らすことで、後の作業が楽になります。
重複チェックが終わるとだいぶ見通しが良くなるはずです。
（2）優先順位づけ
次に優先順位をつけていきます。
優先順位付けを効率良く進めるためのコツは「スコア付け」です。
全ての課題にスコア付けをしていきましょう。
スコアの軸はいくつかありますが、Web改善ではPIE™フレームワークがおすすめの一つでしょう。
以下の3つの軸でスコアリングする手法です。
Potential（可能性・潜在力） ・・・重要な経路上のページやユーザーの評判が良いコンテンツ
Importance（重要性） ・・・トラフィック量の多いページや、広告費をかけて集客しているページ
Ease（難易度） ・・・作業難易度が低いページ（一般的にカート内や検索結果など、システムで動的に生成されるページは難易度が高い）
この3つを軸にして、それぞれの課題を5段評価でスコアリングしましょう。
表計算ソフトなどで計算し、スコアの高い課題から順に解決していくことで、効率よく改善を進めることができます。
さあ、次はいよいよABテスト開始です。
STEP4.初めてのテストを成功させる
さあ、いよいよテストの実行です。
基本的には、前のステップで決めた優先順位通りに進めるのが良いでしょう。
ただし、初めてのテストは、あえて別のアプローチをします。
「一番簡単で、勝ちやすい」テストを行なうのです。
初回のテスト結果というのは、上司やチームメンバーへ与えるインパクトが非常に大きいものです。初回のテスト結果がABテストという施策そのものへの評価（有用度）へつながることも珍しくありません。
もし仮に成果を上げられなかったり、特に変わらない（成果に結びつかない）となると、今後の改善活動が社内でやりづらくなってしまうこともにもなりかねません。
そうならないために必要なのは、一刻も早く成功体験することです。
そのためには、少しでも成功の確率が高く、かつ実装の早いテストを行うことが重要です。
そうすればあなたの取り組みが上司やメンバーに認められ、その後の改善活動はしやすくなるでしょう。
では「一番簡単で、勝ちやすい」テストとはどんなものでしょうか？
（1）おすすめは「ランディングページ」
実装がたやすく、売上に直結し、成果を上げやすいのはランディングページです。
ランディングページには3つの特徴があります。
ランディングページはほとんどが静的に作られているため、さまざまな変更を比較的簡単に行える。
ランディングページはカートボタンや資料請求ボタンなどのCTA（コールトゥアクション）が設置されており、コンバージョンに直結しやすい。さらにコンバージョンした時の利益が明確になっていることが多く、評価し（され）やすい。
ランディングページは自由度が高く、効果の振れ幅が大きいため、大きなアップリフトを実現できる可能性がある。
ただ、もちろんサイトにランディングページが無い場合もあるでしょう。
その場合は「商品詳細ページ」がおすすめです。
（2）二番手は「商品詳細ページ」
理由は以下の2点。
導線上、コンバージョン完了ページに近いため、アップリフトの可能性が高い。
商品詳細ページは一般的にページ数が多いため、トラフィック量を確保しやすい。
必ずCTA（コールトゥアクション）が設置されており、コンバージョンに直結しやすい。
ただし、商品詳細はシステムで生成されているページが多く、ABテストの結果を本番反映させるのに時間や費用がかかる場合もあります。その点はご注意ください。
（3）やるべきでないページ
ここまではおすすめのページを紹介しましたが、逆に「やるべきでない」ページも合わせてお伝えしましょう。
やるべきでないのはずばり「複雑な処理が必要なページ」です。
間違ってもログイン前、ログイン後の出し分けテストなど、この段階でやるべきではありません。
なぜなら、テスト実装に時間がかかったり、技術的なハードルが立ちはだかったりと、予定通り進まないことが多いからです。
やりたい気持ちは一旦抑え、一番最初のテストは「リスクが低く」「素早く」「アップリフトしやすい」テストを選びましょう。
そういう意味では、前述したランディングページや商品ページがおすすめです。
そして今一度認識していただきたいのが、最初のテストは成果を“上げなければならない”という点です。
なぜか。
繰り返しになりますが、素早く成功体験することが、チームや上司の協力を得られることにつながり、自社に改善活動を浸透させやすくするからです。
できる限りシンプルなテストをやりましょう。
STEP5.二度目のテストを成功させる
改善活動は一度だけでは終わりません。一度で満足するのは目の前のチャンスをみすみす逃しているようなものです。
一度目で成果を上げたらすばやく二度目のテストを実行しましょう。
（1）理想は、一度目のテストの2ラウンド目
二度目のテストで一番のおすすめは、一度目の別案を作ることです。
理由は3つあります。
- 素早く行えるから。一度目で行なった作業の大部分をそのまま活かせるので、工数がかからず、すぐにテスト開始できる。
- PDCAサイクルを実感できるから。一度目のテスト結果を元に別案を考えることで、自然とPDCAサイクルを回していることになる。これをチーム全員で体験することが重要だ。
- 更なる成果をあげられる可能性があるから。一度目でうまく成果が上がれば更に上を狙い、計2回のテストで驚くような成果を上げられるかもしれない。
特に3については、実際に筆者は何度も経験しており、これは大きなインパクトをもたらします。また、もし一度目に成果を上げられなかったとしても、二度目で挽回できる可能性は高いです。
なぜなら一度目で失敗している分、仮説は絞りこまれているはずなので、次に成功する可能性が他のテストよりも高いに違いありません。
ここまでのSTEP4、STEP5でお伝えした通り、序盤のテストは“狙って”成果を取りに行くことが重要です。
まとめ
本記事ではABテスト導入から、運用序盤までの流れを説明しました。
これを読めば、ABテスト序盤の攻略方法が理解いただけるはずです。
もしABテストを導入する段階の方や、導入済だけど成果を上げられていない方は、ぜひここに書かれていることができているかどうか、ステップごとに今一度見直してみてください。
- 牧野 健太郎
- 株式会社UNCOVER TRUTH Creative Team General Manager
- 株式会社スプリットエンジン 代表取締役
制作会社でWebデザイナーとして従事後独立し、Webコーディング専門会社を設立。 2013年には日本初のA/Bテスト専門制作会社であるスプリットエンジンを設立。 累計1,500以上のA/Bテスト案を作成し、グロースハッカーアワード2017で大賞受賞。 2018年にスプリットエンジン子会社化に伴いUNCOVER TRUTHへジョイン。
最後に、UNCOVER TRUTHではGoogle Optimizeをはじめ様々なABテストツールを使ったテスト案作成、実行、振り返りまでを得意としており、多くの実績があります。ABテストツールを使ったサイト改善を行いたい企業様やインハウス化（自走）化を目指したいがノウハウがないといった企業様は、私たちがその一歩目をスムーズに踏み出すお手伝いをしますので、ご興味のある方はぜひお問い合わせください。