スマホゲームの分析を行っていると、プロデューサーやディレクター、はたまたプランナーから「この前行った○○キャンペーンの効果測定をお願いしたい」という依頼が来ることが多い (むしろ、分析を行っている人間からすれば、そのような依頼が来る前に自発的に効果測定を行って、その結果をチームにフィードバックする方が普通かもしれないが)。
ただこの施策の効果測定、ある程度分析の業務を行った人間であれば分かるのだが、思っているよりも簡単に明確な結果が出てくるものではない。
よくあるのが鶏卵問題で、例えばインストールした日にチュートリアルを突破したユーザーはそうでないユーザーと比較して継続率が高いだとか、課金したユーザーの方が継続率が高くなるとか...といった類のものである。前者に関しては、そもそもやる気のあるユーザーのほうが継続率が高くなるし、そうなればチュートリアルは簡単に突破するし、後者に関しても課金したことで継続率が高くなるのか、そもそも継続意向の強いユーザーの方が課金しやすいだけなのか...結局のところ、相関関係は見いだせてもそれが明確な因果関係であるとは言えないケースが多々ある。
また、例えばキャンペーン系の施策の効果に関しても、例えば年末年始にゲームをたくさん遊んでもらうために経験値2倍キャンペーンのようなものを打ったとしよう。そして、その結果、年末年始のユーザーのアクティビティ (ここではバトルの回数のようなものを想定) が増えたとしよう。
分析の経験が十分でない場合、キャンペーン前後とキャンペーン期間中のアクティビティを比較して、キャンペーンの効果によってアクティビティが増えたと結論づけてしまうかもしれない。だが、年末年始というのは一般的にユーザーの可処分時間が増え、その分ゲームを遊ぶ時間が増える時期でもある。
前述のアクティビティの増加は、本当にキャンペーンの効果によるものなのか、それともただ単に可処分時間が増えたからによるものなのか...本来効果測定とは、その要因の切り分けを行い、相関と因果の違いを見極めるものでなくてはならないし、そうでないと効果のない施策に誤ってポジティブな効果があると判断してしまい、それに基づいてそれ以降の施策判断が行われた結果、当人たちはPDCAを回しているつもりでも、実際にやっていることは効果のない施策を垂れ流しているだけ...という目も当てられない状況を招きかねない。
それゆえに、ゲームの分析を行う際には、施策とKPIの関係が相関に過ぎないのか、それともそこに因果関係があるのかを切り分けることが重要になってくる。
とはいうものの、因果関係をはっきりと明らかにすることはかなり難しい。なぜならば、そのためにはABテストなどの実験が必要になるからであり、これが例えばバナーのイラストや文言レベルのものであればまだしも、例えばABテストを行うために、一部のユーザーは経験値2倍...というような施策は到底打てないからである (公平性が損なわれる)。
なので、実際に現場で分析を行う際には、あまたの制約や混沌とした状況のなかで、可能な限り蓋然性の高いアウトプットを出す必要があるし、それに苦心されている分析者も数多く存在することと思う。
だが一方で、因果関係の特定に関しては、一定テクニックというか学術的な手法というものが存在する。統計的因果推論というのがそれで、実際に現場で悩まれている分析者、これから分析の業務に取り掛かる人、はたまた将来分析の仕事をやってみたい方々には、少なくとも基本的な考え方は一通り頭に入れておくことをお勧めする。
特に、初学者でもわかりやすい本として、私がお勧めしたいのは以下の2冊だ。双方とも、複雑さをなるべく抑えて基本的な概念の説明に重点を置いており、専門的な訓練を受けていない方でも読みやすい良書となっている。
そのうえで、もう少し踏み込んだ内容としては、以下の本もお勧めしたい。この辺りの本を一通り読んでおくと、因果推論の基本的な部分はマスターできるはずだ。
世の中で行われている施策には、意味があると思ってやっていることでも、実際にはほとんど意味がなかった...というものが少なくない。
分析にかかわる人間であっても、実際に施策を打ち出す側の人間であっても、データから因果関係を読み解く考え方については、教養として知っておいて損はないと思う。
