アプリやゲームの分析をする際、どういう人が継続に繋がっているのかという疑問は頻繁に生じる。もしくは、どういう行動が継続に結び付いているかという問いだ。
ただし、この問いの立て方には注意が必要だと言える。分析を進めていく中で数字の罠にはまってしまい、意味のない分析に時間を浪費してしまう危険があるためだ。
安易なマジックナンバー分析で疑似相関に陥らないようにしよう。このテーマについて、事例も交えて紹介しようと思う。
マジックナンバーとは？
マジックナンバー：ユーザーが特定のアクションを規定回数以上行うとサービスの継続率や収益などの重要指標が飛躍的に向上する数字*1。
有名な例では、Facebookの「10日以内に7人以上と友だちになる」やTwitterの「30人以上とフォロー、10人以上フォローバック」などが挙げられる。
これらの条件を満たしたユーザーは継続率や収益などが高いと言われていることから、その指標と数値を目標としてアプリの改善が行われる。上のFacebookの事例を使って、仮の具体例を考えてみよう。10日以内に7人以上と友だちになったユーザー数や、10日以内に7人以上と友だちになった新規ユーザーの割合をKPIとし、目標値を定めてその数値を上げるための努力を続けるといった具合だ。
マジックナンバーとは、アプリの運営において進むべき道を照らしてくれる灯台のようだ。目標が明確になる。アクションの仮説が浮かぶ。チームの団結力が上がる。そして事業も成長する。なんと素晴らしい数字だろうか。
疑似相関とは？
疑似相関：2つの事象に因果関係がないのに、見えない要因（潜伏変数）によって因果関係があるかのように推測されること*2。
有名な例では「1年間にプールで溺死する人の数とニコラス・ケイジが出演する映画のリリース本数」や「アメリカのメーン州の離婚率と1人当たりのマーガリンの消費量」などだ。
これらには強い相関関係が認められるが、当然ながら両者に因果関係はない。プールで溺死する人が増えても、ニコラス・ケイジの映画が増えるわけではない。このように全く因果関係がないもの同士にも、強い相関が見られることで因果関係があるように推測されてしまう。これが分析をするときの「罠」だ。
上の例は滑稽だが、なぜ相関が強いかはよく分からない。より分かりやすい例をあげよう。例えば「アイスクリームの消費量と水難事故の発生件数」などだ。当然、アイスクリームを食べれば水難事故が発生するわけではない。その逆もしかりだ。
これは背景に「気温」という要因が隠れている。つまり、気温が暑くなればアイスを食べる人が増える。気温が暑くなれば海やプールで泳ぐ人が増えてその分水難事故も増える、ということに過ぎない。
そのため、何かに強い相関関係が認められたからと言って、それをすぐさま因果関係と解釈しないようにすることが大切だ。まずは立ち止まって、そのメカニズムや背景に潜む要因について考察をめぐらしてほしい。
疑似相関に過ぎないものをマジックナンバーにしない
上2つの例を見てきてもうお分かりの読者も多いかと思う。マジックナンバーは素晴らしい数字だ。適切に設定されればアプリをグロースさせる北極星のような存在になる。
一方で、疑似相関に過ぎないものを安易にマジックナンバーに設定してしまえばどうなるか。当然、その数字が改善されても継続率や収益には何ら影響がない。単なるコストの浪費だ。コストを浪費するだけなら企業の自己責任で済むが、それがUXの悪化に繋がるとユーザー側が不利益を被ることになる。
ただし、筆者が周囲の分析を見ている中で、こういった安易なマジックナンバーの設定を目にすることも少なくない。特にゲームの分析においては、背後に「ユーザーの熱量」を仮定してみてほしい。それだけでも疑似相関だと見破れるものが多いはずだ。
ユーザーの熱量で疑似相関が生じているだろう事例
DL初日にバトルを〇回したユーザーは継続率が高い
バトルを〇回繰り返すことでゲームのルールも分かり、面白さも理解されて継続に繋がる......実際に、こんなもっともらしい説明がなされたりすることがゼロではない。
当然ながら、やる気のあるユーザーほど初日からたくさん遊ぶし、次の日以降も続けて遊びやすい。アイスクリームの事例並みに分かりやすいケースだ。
DL初日に武器の強化を行ったユーザーは継続率が高い
上の例の亜流だ。開発側が想定している育成のサイクルに乗ることで目標が提示され、継続に繋がる。強化をしていないユーザーにはそれが認知されておらず、目標も生まれないので継続されない......ゲームのプレイサイクル絡みの誤謬は枚挙にいとまがない。
これも正直、ユーザーのやる気の問題に過ぎない。武器を強化して先に進めて行こうとする意欲のあるユーザーが結果翌日以降も継続しているだけだ。
DLから〇日以内にギルドに加入した人は継続率が高い
ギルドで人と交流し、その楽しみを感じてもらうことで継続に繋がりやすくなるという寸法だ。その結果、チュートリアルで無理やりギルドに入れさせられたり、ギルドに入ればミッションで豪華報酬ゲット！みたいな施策が入れられたりする。
ギルドへの加入はハードルが高い。そのハードルを無理やりにでも下げるための運営の涙ぐましい努力とも言えるだろう。しかし、お通夜みたいなギルドに入れられたユーザー側の心理はたまったものじゃない。
多くの人にギルドに入ってもらおうという運営側の意志ならば百歩譲るが、もし上記のような「分析」の結果としてこういう施策が検討されるのであれば危険だ。
DLから〇日以内にギルドチャットで◇回つぶやいた人は継続率が高い
実際、筆者が普段プレイしているゲームで少し前にアップデートが入った。突如デイリーミッションの内容が更新され、ギルドチャットでつぶやくがミッションに加えられたのだ。
その結果何が生まれたか。それまでお通夜だったギルドで突如メンバーがBotのように毎日1回、スタンプを投稿し始めたわけだ。当然、そこにコミュニケーションというものは一切生まれないので何も面白くはない。人間の意思の喪失ともいうようなある種の恐怖感さえ覚えた。
そのアップデートの意図は分からないので、筆者はここでそのゲームを批判したいわけではない。ただ、もしそれが上記のような疑似相関に過ぎない分析結果に基づいてなされたものであるならば注意すべきだし、他のタイトルでも気を付けるべきだろう。
ギルドで積極的に交流しようとする人ほどゲームやコミュニケーションにそもそも意欲が高いし、そういう人は当然もとから継続しやすい。単にそういう関係を示しているにすぎないからだ。
マジックナンバーと疑似相関の罠を避けるために
因果関係を分析する方法論として「因果推論」というものがある。初心者でも分かりやすい書籍を紹介しているので、気になった方はこちらもチェックしてみてほしい。
