効果検証における注意すべき点 ~概念編~ - AITC - ISID | AI トランスフォーメンションセンターコラム

キーワード

効果検証、マーケティング、

この記事を読むとわかること

ほとんどの企業において売上などのKPIの目標値を達成するため日々業務に取り組んでいます。そしてKPIの目標値を達成するため、何かしらの施策を講じています。例として、売上向上のために広告出稿をするなどです。 施策を実施するにあたって、その効果を定量的に評価するためには効果検証の実施が必要になります。 効果検証することで、「効果のあった施策は引き続き実施する」や「効果のない施策は取りやめる」など将来施策を実施する際の意思決定に役立てることができます。

効果検証をする際、単純には施策を講じる前後でKPIが変化したのか確認すればよいですが、多くの場合KPIの変化は施策以外の要因によって影響を受けて変化します。例えば、広告を出稿して売上が上がったのか検証したい場合、広告の出稿以外に商品のリニューアルなどの要因によって売上が上がっただけで広告には効果がなかったかもしれません。単純に広告出稿後の売上の上昇値を見るだけでは間違った意思決定につながる可能性があります。

そこで間違った効果検証を少しでも減らすために、この記事では効果検証をする際にどんなことに注意すればよいのか解説します。また、今回の記事は概念的な話がメインなので続きの実践編も合わせて見ていただけるとより分かりやすいと思います。

対象読者

効果検証したい/する必要がある、または興味がある
具体的にどのように効果検証すればいいのかわからない
効果検証をする際にどんなことに注意していいかわからない

効果検証ってなに？

この記事ではビジネス上での効果検証を想定して、ある企業が顧客に対して何か施策を実施して売上が上がるのか検証したいとします。効果検証の究極の形は同じ顧客に対して施策を実施した場合の結果と施策を実施していない場合の売上結果を比べることですが、これは不可能です。

現実で効果検証をする際は、施策の影響を受けた顧客と受けていない顧客という異なる顧客の間で売上結果を比較します。一般に施策の影響を受けている/受けていない顧客は複数人存在するため、施策の影響を受けた顧客の売上の平均値と受けていない顧客の売上の平均値を比較します。このとき、単純に平均値の差を施策の効果として受け取ってもよいのでしょうか？答えは否です。もちろん、平均値の差をそのまま施策の効果として受け取ることができる場合もありますが、多くの場合それは成り立ちません。

平均の差を施策の効果として見るための条件が3つあります。

介入を受けた人と受けていない人を仮に入れかえても結果が変わらない(交換可能性)
仮に介入を受けたとして、介入を受けた場合に観測されるはずの結果と観測される結果が一致する。また、介入を受けていないとして、介入を受けていない場合に観測されるはずの結果と観測される結果が一致する(一貫性)
介入を受けた人及び介入を受けていない人を両方観測している(正値性)

ここで介入という言葉が出てきましたが、この場合介入＝施策と読み替えてしまって構いません。効果を検証したい施策などの何かしらの行動を効果検証の分野では介入と呼びます。条件を一つずつ見ていきましょう。

交換可能性

交換可能性とは「介入を受けた人と受けていない人を仮に入れかえても結果が変わらない」ことです。これは「介入を受けた人と受けていない人の間で共変量の偏りがない」ことを意味します。共変量の偏りがないとはどういうことでしょうか。

例えば、ある企業は自社の顧客に対してメルマガを配信するといったメールマーケティングを実施したとします。そして、メールマーケティング後の売上を見てメールマーケティングに効果があったのか検証したいとしましょう。このとき、顧客は全員同じような人だとは考えられず、一般的に趣味嗜好や性格が異なる人であると考えるのが普通でしょう。例えば、年齢は顧客間で異なります。このような年齢のような特徴量ないし属性を共変量と呼んでいます。そして、共変量が年齢である場合の共変量の偏りがないとは、メールマーケティングを受けた人の年齢の分布と受けていない人の年齢の分布が同じであることを意味します。これは一般的に成り立つでしょうか？メールを出した担当者が、ランダムに配信したとすると年齢の偏りがない状態になっているかもしれません。しかし、仮に若者に優先的にメールを配信したとするとどうでしょう。介入を受けた(メールが送られた)人の年齢の分布と介入を受けていない(メールが送らていない)人の年齢の分布は異なり、偏りが生じています。このような状況では交換可能性、つまり「介入を受けた人と受けていない人を仮に入れかえても結果が変わらない」ことが成り立たなくなる可能性があります。

交換可能性が成り立たないとどうなってしまうのでしょうか。例えば、若者ほどそもそもの購買量が多いと仮定します。すると、メールを配信した人はそもそも購買量が多いため、メールを配信した人の売上とメールを配信していない人の売上を比較すると、メールを配信した人の売上が過剰に高くなってしまいます。メールを配信した人の売上のほうが大きくなると予想されますが、これはそもそも購買する気があったから売上が上がったのかメールを配信したから売上が上がったのか判別できません。したがって、交換可能性を担保する必要があります。

条件付き交換可能性

交換可能性が成り立っていない場合は、条件付きの交換可能性を成立させることを目指します。条件付きの交換可能性は、共変量が同じものでデータを区切ると交換可能性が成り立つという状態です。例えば、20代の人だけでデータを区切ると年齢の影響はなくなり交換可能性が成立します。今回は年齢だけでしたが、施策以外で売上に大きな影響を与える共変量を意識してデータを区切ります。

一貫性

次に一貫性とは何か見ていきましょう。一貫性とは「仮に介入を受けたとして、介入を受けた場合に観測されるはずの結果と観測される結果が一致する。また、介入を受けていないとして、介入を受けていない場合に観測されるはずの結果と観測される結果が一致する」ことです。具体例を1つ上げると、メールを配信された人はメールを配信された場合に観測されるはずの結果と観測される結果が一致する、ということです。すごく当たり前のことを言っているように見えるかもしれませんが、実は成り立たない場合があります。例えば、メールを配信したと言っても何回、何曜日の何時になど色々なパターンがあります。仮に介入を受けた場合、介入を受けた場合に観測されるはずの結果というのが定義できなくなるため、このようにメールを配信したという介入に色々なパターンがあると一貫性は成り立ちません。このような状況下で効果検証すると、様々な効果が混じってしまい本来計測したかった効果とは異なる場合があります。一貫性がない場合は、介入のパターンごとに効果検証を実施する必要があります。

ここで注意していただきたいのが、色々なパターンがあることが問題なのではなく介入のパターンによって結果が変わることが問題です。ですので、介入のパターンによって結果は大きく変わらないことが想定される場合(例えば何曜日の何時に送ろうが特に結果に影響しない場合) は一貫性が成り立っていると考えることができます。

正値性

最後に正値性とは何か見ていきましょう。正値性とは「介入を受けた人及び介入を受けていない人を両方観測している」ことです。当たり前ですが、効果検証をするためには介入を受けた人及び介入を受けていない人を両方観測している必要があります。どちらかが欠けていると、効果の検証のしようがありません。今更何を当たり前の条件を議論しているんだとお思いかもしれませんが、交換可能性と組み合わせると正値性が成り立たなくなる場合があるため注意する必要があります。

効果検証を意識して介入対象の決定をしていない限り基本的に交換可能性は成り立つことは少ないです。ですので、条件付き交換可能性を目指していきます。このとき共変量がたくさんあると困ったことがおきます。例えば、年齢のほかに居住地、子供の有無、結婚の有無、学歴、喫煙の有無に影響を受けるとします。すると、条件付き交換可能性を成り立たせるためには、20代で関東在住、子供はいなくて結婚もしていない、大卒で喫煙者の人に絞ってメールを配信された人と配信されていない人の間で売上が上がったのか検証する必要があります。共変量が増えるとデータの区切りが多くなり、ある区切りではメールを配信された人と配信されていない人のどちらかが欠けてしまう場合があります。つまり、「介入を受けた人及び介入を受けていない人を両方観測している」という条件を満たさないので正値性が成り立ちません。正値性が成り立たないと効果の計測ができないため効果検証をすることができません。

ただし、正値性が成り立たないと絶対に効果検証をすることができないというわけではなく、統計的なモデルや機械学習を使い補完などをすることで効果検証をすることができます。

最後に

本記事では効果検証における注意すべき点の概念を解説しました。次回は「効果検証における注意すべき点 ~実践編~」と題しまして、効果検証を疑似データで実践しながら効果検証における注意点を解説する予定です。次の記事を合わせて読んでいただけると、理解が深まると思いますのでぜひご覧ください。ここで解説した以外の観点でも気を付ける点はありますが、より詳細が知りたい方は効果検証についての本や記事などをご参照ください。少しでも効果検証をする際の手助けになれば幸いです。