「A/Bテストはスタートアップの業績にどこまで影響するか」の科学的な回答

ABテスト

 

ハーバード大学のワーキングペーパーによると、ABテストはPVや製品の発売数増加と関連していると判明しました。

 

ABテストがスタートアップの業績に与える影響

この研究(1)はABテストがスタートアップの業績に与える影響を調査したものです。対象となったのは世界にある35,918のハイテクスタートアップでした。

データの収集は2008-2014年に行われ、以下のようなデータが集められました。

 

質問内容

  1. スタートアップの製品
  2. 資金調達状況
  3. スタートアップの設立年数
  4. PV
  5. ABテストツールの使用

 

データは173週間分収集しています。ちなみにPVに関してはSimilarWebからデータを得ているので、実際の数値とズレている可能性があります。

結果は以下のような感じ。

 

結果

  • ABテストツールは16.75%の企業が使用していた
  • ABテストを採用している企業は採用していない企業よりもPVが280%も多かった
  • ABテストはPVの10%の増加と関連していた
  • ABテストが製品の発売数を9-18%増加させた
  • 2年前に設立された新しいスタートアップよりも5年以上前に設立された古いスタートアップの方がABテストの恩恵を受ける可能性が高かった
  • ABテストを採用すると、若い企業ほど「早く失敗する」可能性が高くなった
  • 成熟した企業は後に規模が拡大する可能性が高く、10万PV以上になる可能性が高い

 

結果はABテストがPVや製品発売数の増加と関連していると示されました。ABテストツールを使用しているのが16%しかいなかったのもびっくり。

また面白いのが、ABテストがスタートアップのスケールと失敗の高速化にも関連していた点です。これはABテストで得られたデータを活用して、起業家が有望なアイデアや会社に固執するか、撤退するかについて決定的な行動をとることができます。

 

メモ

成長している実務家の研究では、効率的なスタートアップには「急速なスケーリング」と「高速な失敗」の2つがあると主張しています。つまり、失敗の高速化は起業家にとっては効率的でより高いポテンシャルのアイデアを磨くことにつながります。

 

一方で注意したいのはすべてのスタートアップが恩恵を受けるわけではない点です。結果は経験豊富な創業者がやっているスタートアップほど効果が顕著になりました。ABテストの効果が設立年数によっても変わるのは面白いですね。データの蓄積量なのか経験による差なのかは不明ですが。

著者は今回の結果について以下のように述べています。

 

この文献では、企業が収集した膨大な量の取引データによって、消費者データの前例のない分析が可能になり、企業の戦略を知ることができると論じられている。我々は、A/Bテストが企業に過去の分析以上のことを可能にすることを実証する。新しいアイデアを生み出し、テストし、実行することによって、企業はデジタル実験で得られたデータを将来の設計に利用することができる。

 

ちなみにこの研究ではABテストツールのシェアも調査されていて、多くの企業が使っているのは以下のツールでした。

 

ABテストツール

  1. Optimizely:55%
  2. Google:22%
  3. Visual Website Optimizer:18%

 

データ分析が重要という話はよく聞く話ではありますが、想像以上に利用していない企業が多くて驚きました。今回の研究でも16%程度だったので、データを利用して意思決定をするだけでも大きなアドバンテージになりそうですね。

それではぜひ参考に。

 

この記事が気に入ったら
いいね ! しよう

Copyright© ネクストサピエンス│ビジネスマンの科学メディア , 2019 All Rights Reserved.