「A/Bテストはスタートアップの業績にどこまで影響するか」の科学的な回答

ハーバード大学のワーキングペーパーによると、ABテストはPVや製品の発売数増加と関連していると判明しました。

ABテストがスタートアップの業績に与える影響

この研究（1）はABテストがスタートアップの業績に与える影響を調査したものです。対象となったのは世界にある35,918のハイテクスタートアップでした。

データの収集は2008-2014年に行われ、以下のようなデータが集められました。

データは173週間分収集しています。ちなみにPVに関してはSimilarWebからデータを得ているので、実際の数値とズレている可能性があります。

結果は以下のような感じ。

結果はABテストがPVや製品発売数の増加と関連していると示されました。ABテストツールを使用しているのが16%しかいなかったのもびっくり。

また面白いのが、ABテストがスタートアップのスケールと失敗の高速化にも関連していた点です。これはABテストで得られたデータを活用して、起業家が有望なアイデアや会社に固執するか、撤退するかについて決定的な行動をとることができます。

一方で注意したいのはすべてのスタートアップが恩恵を受けるわけではない点です。結果は経験豊富な創業者がやっているスタートアップほど効果が顕著になりました。ABテストの効果が設立年数によっても変わるのは面白いですね。データの蓄積量なのか経験による差なのかは不明ですが。

著者は今回の結果について以下のように述べています。

この文献では、企業が収集した膨大な量の取引データによって、消費者データの前例のない分析が可能になり、企業の戦略を知ることができると論じられている。我々は、A/Bテストが企業に過去の分析以上のことを可能にすることを実証する。新しいアイデアを生み出し、テストし、実行することによって、企業はデジタル実験で得られたデータを将来の設計に利用することができる。

ちなみにこの研究ではABテストツールのシェアも調査されていて、多くの企業が使っているのは以下のツールでした。

データ分析が重要という話はよく聞く話ではありますが、想像以上に利用していない企業が多くて驚きました。今回の研究でも16%程度だったので、データを利用して意思決定をするだけでも大きなアドバンテージになりそうですね。

それではぜひ参考に。