データに基づいた仮説検証はじめました

Diver Downで開発者をしているen30と申します。

きっかけ

Buildersconの発表、

tech.gunosy.io

のなかの

データで確信が持てない施策は極力許さない

という言葉に感銘を受けて、チームに共有しました。

これを実現することでチームにとってどのような良いことが起こるのかを議論したり、実際に試しにデータに基づいて考えるという作業を行っていったことで、これはいい方向に進めそうだという認識が共有できるようになりました。

実際にしたこと

良くなったこと

  • KPIをより強く意識するようになりました。
  • データをきちんと見ていくと、思っていた以上にユーザについて知らなかったことがわかりました。
  • 施策の立案段階でデータによる検証が入り、望みの薄い施策に開発コストを割かなくてよくなりました。結果納得感を持って開発に取り組めるようになりました。
  • 宗教論争を避けやすくなりました。根拠のない仮説どうしをぶつけ合う進展のない議論（のようなもの）を続けて時間をつかってしまっていたような場合にも、実際に検証してみようと思えるようになり早く話を切り上げられるようになりました。

今後施策を考える精度も上がることも期待できますし、時間という貴重な資源をより有効に使えるようになるであろうことが実感を伴って理解できました。

課題

  • データに基づいた仮説でも、効果のある施策を考えるのはそれだけで十分難しい。むしろ純粋にその難しさに向き合えるようになったとも言えます。
  • 結果を解釈することの難しさ。環境も変化する中、純粋に施策の結果であるとどう判断するか。
  • 短期的な指標を追いすぎて局所最適に陥ることをどう避けるか
  • サンプル数の少ない部分ではどう考えるか
  • どうやってうまく仕組み化するか

正直まだまだ手探りの部分だらけです。 しかし、データに基づいた仮説検証を積み重ねていけば、もっと強いチームになれるという手応えを感じています。