知財求人 - 知財ポータルサイト「IP Force」
特開2024-2569情報処理装置、情報処理システム、情報処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024002569
(43)【公開日】2024-01-11
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法、及びプログラム
(51)【国際特許分類】
G06Q 30/0202 20230101AFI20231228BHJP
【ＦＩ】
G06Q30/02 310
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022101837
(22)【出願日】2022-06-24
(71)【出願人】
【識別番号】519059340
【氏名又は名称】株式会社ＪＤＳＣ
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100145481
【弁理士】
【氏名又は名称】平野 昌邦
(74)【代理人】
【識別番号】100181722
【弁理士】
【氏名又は名称】春田 洋孝
(72)【発明者】
【氏名】杉崎 琢人
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049BB01
(57)【要約】
【課題】ダイレクトマーケティングにおける介入効果の予測精度を向上させること。
【解決手段】情報処理装置は、顧客情報および購買情報を取得する取得部と、キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得部が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習部と、前記将来の介入効果の予測値を、トレンドを用いて補正する予測部と、を備える。
【選択図】図２
【解決手段】情報処理装置は、顧客情報および購買情報を取得する取得部と、キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得部が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習部と、前記将来の介入効果の予測値を、トレンドを用いて補正する予測部と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
顧客情報および購買情報を取得する取得部と、
キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得部が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習部と、
前記将来の介入効果の予測値を、トレンドを用いて補正する予測部と、
を備える情報処理装置。
キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得部が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習部と、
前記将来の介入効果の予測値を、トレンドを用いて補正する予測部と、
を備える情報処理装置。
【請求項2】
キャンペーン介入した期間と、前記キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習部と、
前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測部と、
を備える情報処理装置。
前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測部と、
を備える情報処理装置。
【請求項3】
前記予測部は、前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータのサンプリング数と、前記キャンペーン介入した期間における前記ユーザごとの条件付き介入効果を示すデータのサンプリング数とを変化させて前記影響を抑制する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記トレンドは、類似の実績をモデル化することで得られる予測値である、
請求項１または請求項２に記載の情報処理装置。
請求項１または請求項２に記載の情報処理装置。
【請求項5】
前記トレンドは、類似の傾向を示す指標をモデル化することで得られる予測値である、
請求項１または請求項２に記載の情報処理装置。
請求項１または請求項２に記載の情報処理装置。
【請求項6】
顧客情報および購買情報を取得する取得部と、
キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得部が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習部と、
前記将来の介入効果の予測値を、トレンドを用いて補正する予測部と、
を備える情報処理システム。
キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得部が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習部と、
前記将来の介入効果の予測値を、トレンドを用いて補正する予測部と、
を備える情報処理システム。
【請求項7】
キャンペーン介入した期間と、前記キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習部と、
前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測部と、
を備える情報処理システム。
前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測部と、
を備える情報処理システム。
【請求項8】
情報処理装置のコンピュータが、
顧客情報および購買情報を取得する取得過程と、
キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得過程により取得された顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習過程と、
前記将来の介入効果の予測値を、トレンドを用いて補正する予測過程と、
を有する情報処理方法。
顧客情報および購買情報を取得する取得過程と、
キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得過程により取得された顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習過程と、
前記将来の介入効果の予測値を、トレンドを用いて補正する予測過程と、
を有する情報処理方法。
【請求項9】
情報処理装置のコンピュータが、
キャンペーン介入した期間と、前記キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習過程と、
前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測過程と、
を有する情報処理方法。
キャンペーン介入した期間と、前記キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習過程と、
前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測過程と、
を有する情報処理方法。
【請求項10】
情報処理装置のコンピュータに、
顧客情報および購買情報を取得する取得ステップと、
キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得ステップにより取得された顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習ステップと、
前記将来の介入効果の予測値を、トレンドを用いて補正する予測ステップと、
を実行させるためのプログラム。
顧客情報および購買情報を取得する取得ステップと、
キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得ステップにより取得された顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習ステップと、
前記将来の介入効果の予測値を、トレンドを用いて補正する予測ステップと、
を実行させるためのプログラム。
【請求項11】
情報処理装置のコンピュータに、
キャンペーン介入した期間と、前記キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習ステップと、
前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測ステップと、
を実行させるためのプログラム。
キャンペーン介入した期間と、前記キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習ステップと、
前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
ダイレクトマーケティングとは、企業が顧客と直接コミュニケーションを図りながら購入を働きかける手法である。例えば、ある百貨店が顧客にカタログ発行し、カタログ経由での注文を受注する。この場合、百貨店は、カタログ作成やその配布に必要とするコストと、カタログ経由で発生した売上、利益を比較することで、そのマーケティング施策に投下したコストに対してどの程度のリターンがあったかを定量的に計測することが可能である。
【0003】
ダイレクトマーケティング活動における損益分岐点の構造は、固定生産費用、変動生産費用、およびプロモーション費用に関連する。ダイレクトマーケティングにおける意思決定では、固定生産費と変動生産費との構造が所与である場合、自らの利益を最大化するようにプロモーション費用を決定する。一方で、プロモーション費用に関する正確な意思決定のためには、プロモーション費用が需要に及ぼす影響を把握している必要がある。プロモーション費用が需要に及ぼす影響は、そのキャンペーンにおけるターゲット、タイミング、クリエイティブ、オファー内容などにより変動する。そのため、ダイレクトマーケティング全体としては、プロモーション費用あたりの需要獲得を最大化するようなキャンペーンを企画しつつ、最終利益が最大化するようなプロモーション費用の総額を決定するという２つの意思決定要素から成り立つ。
【0004】
ここで、キャンペーンの対象とした場合のｉＲＯＡＳ（ｉｎｃｒｅｍｅｎｔａｌ Ｒｅｔｕｒｎ ｏｎ Ａｄ Ｓｐｅｎｄ：広告支出によって増加する収入）が顧客ごとに正確に算定できると仮定する。この場合、意思決定要素のうち、最適なターゲティングとプロモーション費用との総額は、一度に求めることが可能である。例えば、ｉＲＯＡＳが正となる顧客全てをキャンペーンの対象とし、その場合に必要な費用が最適なプロモーション費用の総額となる。
しかしながら、現実のダイレクトマーケティングにおいては、必ずしもそのような理想的意思決定が行われていない。主な要因としては次のようなものがある。
しかしながら、現実のダイレクトマーケティングにおいては、必ずしもそのような理想的意思決定が行われていない。主な要因としては次のようなものがある。
【0005】
（１）Ｕｐｌｉｆｔの予測
因果推論の根本的問題により、キャンペーンによる増幅効果（Ｕｐｌｉｆｔ）を推定、予測するには困難が伴う。
因果推論の根本的問題により、キャンペーンによる増幅効果（Ｕｐｌｉｆｔ）を推定、予測するには困難が伴う。
【0006】
（２）消費者異質性の考慮
顧客一人一人によってキャンペーンによるＵｐｌｉｆｔ効果は異なるが、これを高精度で予測するためには、機械学習等の手法が必要となる。機械学習を活用する組織的ノウハウの無い場合は、ＲＦＭ（Ｒｅｃｅｎｃｙ Ｆｒｅｑｕｅｎｃｙ Ｍｏｎｅｔａｒｙ）ベースでのセグメンテーションなどを用いて消費者異質性を加味する方法が採用されていることが多い。ただし、この場合も多くはＲｅｓｐｏｎｓｅベースでの異質性の予測に止まっている。ダイレクトマーケティングにＵｐｌｉｆｔ Ｍｏｄｅｌｉｎｇを活用し、Ｕｐｌｉｆｔ効果における消費者異質性を加味した意思決定を行う先行研究は幾つか存在する。
顧客一人一人によってキャンペーンによるＵｐｌｉｆｔ効果は異なるが、これを高精度で予測するためには、機械学習等の手法が必要となる。機械学習を活用する組織的ノウハウの無い場合は、ＲＦＭ（Ｒｅｃｅｎｃｙ Ｆｒｅｑｕｅｎｃｙ Ｍｏｎｅｔａｒｙ）ベースでのセグメンテーションなどを用いて消費者異質性を加味する方法が採用されていることが多い。ただし、この場合も多くはＲｅｓｐｏｎｓｅベースでの異質性の予測に止まっている。ダイレクトマーケティングにＵｐｌｉｆｔ Ｍｏｄｅｌｉｎｇを活用し、Ｕｐｌｉｆｔ効果における消費者異質性を加味した意思決定を行う先行研究は幾つか存在する。
【0007】
（３）時間的異質性の考慮
顧客毎にＵｐｌｉｆｔ効果が異なるだけでなく、キャンペーンの実施タイミングによってもＵｐｌｉｆｔ効果は異なる。介入時と非介入時におけるアウトカムの数値的変化を元に介入効果を推定する技術は、経済学分野を中心に数多く存在する。しかしながら、Ｕｐｌｉｆｔ効果自体が時間とともに変動することを前提として、将来のＵｐｌｉｆｔ効果の予測からダイレクトマーケティングの意思決定を行う技術は、存在しない。
現実のダイレクトマーケティングにおいては、ＵｐｌｉｆｔではなくＲｅｓｐｏｎｓｅベースで季節ごとのキャンペーン結果の傾向を定量化し、季節ごとにＲＦＭセグメントの異なる閾値を用いたり、前年同時期のキャンペーン結果を元にターゲットを選定するなどの方法により季節性やトレンドを極力反映させるように工夫したりする技術も存在する。
顧客毎にＵｐｌｉｆｔ効果が異なるだけでなく、キャンペーンの実施タイミングによってもＵｐｌｉｆｔ効果は異なる。介入時と非介入時におけるアウトカムの数値的変化を元に介入効果を推定する技術は、経済学分野を中心に数多く存在する。しかしながら、Ｕｐｌｉｆｔ効果自体が時間とともに変動することを前提として、将来のＵｐｌｉｆｔ効果の予測からダイレクトマーケティングの意思決定を行う技術は、存在しない。
現実のダイレクトマーケティングにおいては、ＵｐｌｉｆｔではなくＲｅｓｐｏｎｓｅベースで季節ごとのキャンペーン結果の傾向を定量化し、季節ごとにＲＦＭセグメントの異なる閾値を用いたり、前年同時期のキャンペーン結果を元にターゲットを選定するなどの方法により季節性やトレンドを極力反映させるように工夫したりする技術も存在する。
【0008】
（４）クリエイティブ・オファー内容によるＵｐｌｉｆｔへの影響の定量化
マーケティングの効果を事前に予測するには、ターゲットやそのタイミングだけでなく、どのようなオファー、クリエイティブが提示されるかによる影響も考慮する必要がある。一方で、顧客の反応をモデリングするには、オファー、クリエイティブなどの要素を定量的に示すことが難しい。オファーにおける対象商品が毎回異なる、クリエイティブが毎回異なるなどの性質を持つキャンペーンの予測は、モデルに含めることができないオファー・クリエイティブによる変動要因が大きいほど難易度が増大する。
マーケティングの効果を事前に予測するには、ターゲットやそのタイミングだけでなく、どのようなオファー、クリエイティブが提示されるかによる影響も考慮する必要がある。一方で、顧客の反応をモデリングするには、オファー、クリエイティブなどの要素を定量的に示すことが難しい。オファーにおける対象商品が毎回異なる、クリエイティブが毎回異なるなどの性質を持つキャンペーンの予測は、モデルに含めることができないオファー・クリエイティブによる変動要因が大きいほど難易度が増大する。
【0009】
例えば、非特許文献１に記載の技術では、シミュレーションデータが一定の精度を示す。
【先行技術文献】
【非特許文献】
【0010】
【非特許文献1】Ｓｈｕ Ｌｉ ａｎｄ Ｐｅｔｅｒ Ｂｕｈｌｍａｎｎ， Ｅｓｔｉｍａｔｉｎｇ ｈｅｔｅｒｏｇｅｎｅｏｕｓｔｒｅａｔｍｅｎｔ ｅｆｆｅｃｔｓ ｉｎ ｎｏｎ－ｓｔａｔｉｏｎａｒｙ ｔｉｍｅ ｓｅｒｉｅｓ ｗｉｔｈ ｓｔａｔｅ－ｓｐａｃｅ ｍｏｄｅｌｓ， Ｄｅｃｅｍｂｅｒ， ２０１８．
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、非特許文献１に記載の技術では、実データを用いた検証した場合に、将来トレンドの推定をする際に季節成分が消失してしまうことがある。このため、ダイレクトマーケティングにおけるトレンドを算出できないことがあった。また、季節成分の消失により介入効果の予測ができないことがあった。このように、ダイレクトマーケティングにおける介入効果の予測精度が十分でないという課題があった。
【0012】
本発明は、上記の課題を解決すべくなされたもので、その目的は、ダイレクトマーケティングにおける介入効果の予測精度を向上させることができる情報処理装置、情報処理システム、情報処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0013】
本発明の一態様は、上記課題を鑑みてなされたものであり、顧客情報および購買情報を取得する取得部と、キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得部が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習部と、前記将来の介入効果の予測値を、トレンドを用いて補正する予測部と、を備える情報処理装置である。
【0014】
また、本発明の一態様は、上記課題を鑑みてなされたものであり、キャンペーン介入した期間と、前記キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習部と、前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測部と、を備える情報処理装置である。
【0015】
また、本発明の一態様は、上記課題を鑑みてなされたものであり、顧客情報および購買情報を取得する取得部と、キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得部が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習部と、前記将来の介入効果の予測値を、トレンドを用いて補正する予測部と、を備える情報処理システムである。
【0016】
また、本発明の一態様は、上記課題を鑑みてなされたものであり、キャンペーン介入した期間と、前記キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習部と、前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測部と、を備える情報処理システムである。
【0017】
また、本発明の一態様は、上記課題を鑑みてなされたものであり、情報処理装置のコンピュータが、顧客情報および購買情報を取得する取得過程と、キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得部が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習過程と、前記将来の介入効果の予測値を、トレンドを用いて補正する予測過程と、を有する情報処理方法である。
【0018】
また、本発明の一態様は、上記課題を鑑みてなされたものであり、情報処理装置のコンピュータが、キャンペーン介入した期間と、前記キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習過程と、前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測過程と、を有する情報処理方法である。
【0019】
また、本発明の一態様は、上記課題を鑑みてなされたものであり、情報処理装置のコンピュータに、顧客情報および購買情報を取得する取得ステップと、キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、前記取得部が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習ステップと、前記将来の介入効果の予測値を、トレンドを用いて補正する予測ステップと、を実行させるためのプログラムである。
【0020】
また、本発明の一態様は、上記課題を鑑みてなされたものであり、情報処理装置のコンピュータに、キャンペーン介入した期間と、前記キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習ステップと、前記キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測ステップと、を実行させるためのプログラムである。
【発明の効果】
【0021】
上記少なくとも一つの態様によれば、ダイレクトマーケティングにおける介入効果の予測精度を向上させることができる。
【図面の簡単な説明】
【0022】
【図1】第１実施形態に係る情報処理システムの構成の一例を示す概略図である。
【図2】本実施形態に係る情報処理装置の機能構成を示す概略ブロック図である。
【図3】本実施形態に係るＣＣＥＵＴの一例を示す概略図である。
【図4】本実施形態に係るＣＣＥＰＴＡの一例を示す概略図である。
【図5】本実施形態に係る顧客情報の構成の一例を示すテーブルである。
【図6】本実施形態に係る購買情報の構成の一例を示すテーブルである。
【図7】本実施形態に係るＤＭ情報の構成の一例を示すテーブルである。
【図8】本実施形態に係る送付先情報の構成の一例を示すテーブルである。
【図9】本実施形態に係る情報処理装置のハードウェア構成を示す概略ブロック図である。
【図10】本実施形態に係る学習処理の一例を示すフローチャートである。
【図11】本実施形態に係る予測処理の一例を示すフローチャートである。
【図12】本実施形態に係る予測処理の一例を示すフローチャートである。
【図13】本実施形態に係る検証データの一例を示す図である。
【図14】本実施形態に係る各共変量の分布の一例を示す図である。
【図15】本実施形態に係る各共変量の分布の他の一例を示す図である。
【図16】本実施形態に係る各共変量の分布の他の一例を示す図である。
【図17】本実施形態に係る各共変量と潜在アウトカムの関係性の一例を示す図である。
【図18】本実施形態に係る各個体の真の介入効果の時系列プロットの一例を示す図である。
【図19】本実施形態に係る学習・予測期間のデータ諸元の一例を示す図である。
【図20】本実施形態に係る各Ｐｏｌｉｃｙでサンプリングされたデータの一例を示す図である。
【図21】本実施形態に係る各Ｐｏｌｉｃｙでのトレンドの一例を示す図である。
【図22】本実施形態に係るサンプリングの検証結果の一例を示す図である。
【図23】本実施形態に係るＣａｌｉｂｒａｔｉｏｎ方式の検証結果の一例を示す図である。
【発明を実施するための形態】
【0023】
（第１実施形態）
以下、図面を参照して、第１実施形態について詳しく説明する。
以下、図面を参照して、第１実施形態について詳しく説明する。
【0024】
＜情報処理システム＞
図１は、第１実施形態に係る情報処理システムＳｙｓの一例を示す概略図である。
情報処理システムＳｙｓは、情報処理装置１と、企業Ｂと、ユーザＵ１、ユーザＵ２とを含む。情報処理装置１は、企業Ｂから顧客情報、購買情報、ダイレクトメッセージ（ＤＭ）情報、その他情報などの各種情報ＩＤを受け付ける。情報処理装置１は、受け付けた各種情報ＩＤに対応する情報に基づいて機械学習し、学習結果として、ダイレクトメッセージ等の送信先などの予測情報ＯＤを出力する。
図１は、第１実施形態に係る情報処理システムＳｙｓの一例を示す概略図である。
情報処理システムＳｙｓは、情報処理装置１と、企業Ｂと、ユーザＵ１、ユーザＵ２とを含む。情報処理装置１は、企業Ｂから顧客情報、購買情報、ダイレクトメッセージ（ＤＭ）情報、その他情報などの各種情報ＩＤを受け付ける。情報処理装置１は、受け付けた各種情報ＩＤに対応する情報に基づいて機械学習し、学習結果として、ダイレクトメッセージ等の送信先などの予測情報ＯＤを出力する。
【0025】
企業Ｂは、予測情報ＯＤに基づいて、ユーザにダイレクトメッセージを送信する。例えば、企業Ｂは、ユーザＵ１に対して商品紹介などのダイレクトメッセージＤＭ１を送信する。また、企業ＢはユーザＵ２に対して商品紹介などのダイレクトメッセージＤＭ２を送信する。これに対して、ユーザＵ１は、応答Ｒ１として商品の購入などを行わなかったとする。一方、ユーザＵ２は、応答Ｒ２として商品紹介のダイレクトメッセージＤＭ２を受けて、商品の購入を行ったとする。
ダイレクトマーケティングにおいて、企業Ｂは、ダイレクトメッセージに対して購買などのアクションにつながるユーザＵ２のようなユーザに対してより多くのダイレクトメッセージを送付できれば、高い広告効果が得られる。
ダイレクトマーケティングにおいて、企業Ｂは、ダイレクトメッセージに対して購買などのアクションにつながるユーザＵ２のようなユーザに対してより多くのダイレクトメッセージを送付できれば、高い広告効果が得られる。
【0026】
情報処理装置１は、広告費用に対する需要獲得を最大化するようなキャンペーンを企画しつつ、最終利益が最大化するような広告費用の総額を決定する。また、情報処理装置１は、トレンドを考慮したユーザごとの条件付き介入効果の予測と将来の介入効果の予測とを行う。ここで、トレンドには、トレンド成分と季節成分とが含まれる。また、トレンドを考慮するとは、トレンドを用いて予測値の補正を行うことである。情報処理装置１は、介入効果の側に基づいて、ダイレクトメッセージの送付先やダイレクトメッセージの送付タイミングを予測する。換言すれば、情報処理装置１は、ダイレクトマーケティングにおける意思決定の一要素であるターゲティングの最適化を行い、広告効果が高い、つまり広告の内容への親和性が高いと見込まれるユーザを抽出するために、ユーザごとの条件付き介入効果の予測を行う。また、情報処理装置１は、親和性が高いと見込まれるユーザのみがダイレクトメッセージを受けられるように、ダイレクトメッセージの送付先を決定する。このため、情報処理装置１は、この最適化の核となるプロセスである介入効果の推定（Ｕｐｌｉｆｔ Ｍｏｄｅｌｉｎｇ）において、個人ごとの違い（消費者異質性）とタイミングによる違い（時間的異質性）の両者を共に考慮することで、より精度の高いＵｐｌｉｆｔ Ｍｏｄｅｌｉｎｇを行う。
【0027】
ここで、個人別に広告によるＵｐｌｉｆｔの多寡を予測した場合のＵｐｌｉｆｔ Ｍｏｄｅｌの精度は、理想的には、真のＵｐｌｉｆｔ値と予測値の二乗誤差などで測定することが可能である。しかしながら、実キャンペーンにおいてＵｐｌｉｆｔ Ｍｏｄｅｌの精度を評価・測定しようとする場合は、先述の因果推論の根本問題により、直接的に二乗誤差などを測定することが不可能である。このような実キャンペーンにおけるＵｐｌｉｆｔ Ｍｏｄｅｌの精度評価には、ＡＵＵＣ（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｕｐｌｉｆｔ Ｃｕｒｖｅ）などを用いることがある。しかしながら、本願における検証には、直接的に真のＵｐｌｉｆｔ値を知ることが可能な人工データを利用するため、通常の機械学習の評価に使われるようなＭＳＥ、ＭＡＥなどの指標を利用する。この場合、予想されるＵｐｌｉｆｔ値が、人工データの実際のＵｐｌｉｆｔ値に近いほど精度が高いとして評価する。
【0028】
ここで、顧客情報は、ユーザ名、氏名、住所、電話番号、メールアドレス、性別、年齢、世帯構成などを含むデータである。購買情報は、ユーザごとの購買履歴のデータであり、購入日、ジャンル、商品名、購買店などを含むデータである。ＤＭ情報は、ダイレクトメッセージごとのＤＭ識別情報、ジャンル、依頼元、ターゲット、種別などを含むデータである。なお、顧客情報は、顧客の属性や顧客ごとの購買履歴等によってあらかじめグルーブ、サブグループに分類されていてもよい。
【0029】
また、ダイレクトメッセージは、宛名を指定して送付するメール、カタログや手紙・はがきなどの郵便送付、営業電話などである。不特定多数を対象とする新聞折り込みチラシ、無記名ダイレクトメール、エリアポスティング、屋外広告、雑誌広告、新聞広告、ラジオコマーシャル、テレビコマーシャル、インターネットコマーシャルなどはダイレクトメッセージに含まれないものとする。また、トレンドは、季節要素、時期要素、流行要素などの時限的傾向要素（成分）である。
【0030】
【0031】
記憶部１３０は、例えば、ハードディスクドライブ、ＳＳＤ、メモリなどの記憶装置である。記憶部１３０は、ファームウェアやアプリケーションプログラムなど、制御部１１０が実行するための各種プログラム、及び、制御部１１０が実行した処理の結果などを記憶する。
【0032】
制御部１１０は、中央演算装置（ＣＰＵ）などのプロセッサである。制御部１１０は、例えば、入力部１４０から入力された入力情報と記憶部１３０が記憶する情報に基づいて、入力情報に対する出力情報を生成する。
具体的には、制御部１１０は、記憶部１３０に記憶された、購買情報と、ＤＭ情報と、送付先情報とを読み出し、読み出した情報に基づいて学習データセットを生成する。制御部１１０は、生成した学習データセットに基づいて個人別の条件付き介入効果を学習する。当該学習モデルは、例えば、Ｕｐｌｉｆｔ Ｍｏｄｅｌｉｎｇを用いる。詳細は後述する。
具体的には、制御部１１０は、記憶部１３０に記憶された、購買情報と、ＤＭ情報と、送付先情報とを読み出し、読み出した情報に基づいて学習データセットを生成する。制御部１１０は、生成した学習データセットに基づいて個人別の条件付き介入効果を学習する。当該学習モデルは、例えば、Ｕｐｌｉｆｔ Ｍｏｄｅｌｉｎｇを用いる。詳細は後述する。
【0033】
制御部１１０は、顧客情報、購買情報、ＤＭ情報、送付先情報などの統計に基づいて、ユーザごと、すなわち、個人別の条件付き介入効果（ＣＡＴＥ）を推定する。また、制御部１１０は、Ｕｐｌｉｆｔ値と類似の傾向を示すと考えられる指標の季節成分・トレンド成分をモデル化し、Ｕｐｌｉｆｔ値の予測値を補正する。つまり、制御部１１０は、個人別の条件付き介入効果を推定し、また、将来の介入効果をＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅとして予測することで、個人別のＡｄｊｕｓｔｅｄ ＣＡＴＥを予測する。制御部１１０は、予測したＡｄｊｕｓｔｅｄ ＣＡＴＥに基づいて、ダイレクトメッセージの送付先を決定する。
【0034】
入力部１４０は、例えば、キーボードやタッチパネルなどの入力装置である。入力部１４０は、ユーザ操作に基づく入力情報を受け付ける。入力部１４０は、受け付けた入力情報を制御部１１０に出力する。
【0035】
出力部１５０は、例えば表示部であり、制御部１１０から入力された出力情報を表示する。
【0036】
なお、入力部１４０、出力部１５０に代えて、または加えて通信部（不図示）によって、外部装置からの入力情報を受け付け、また、外部装置への出力情報を出力してもよい。
【0037】
制御部１１０について、より詳細に説明する。
【0038】
制御部１１０は、取得部１１１と、学習部１１２と、予測部１１３と、出力処理部１１４と、を含んで構成される。
取得部１１１は、入力部１４０を介して入力情報を取得する。また、取得部１１１は、記憶部１３０に記憶された各種情報を読み出して取得する。取得部１１１は、取得した情報を、学習部１１２、予測部１１３に出力する。
取得部１１１は、入力部１４０を介して入力情報を取得する。また、取得部１１１は、記憶部１３０に記憶された各種情報を読み出して取得する。取得部１１１は、取得した情報を、学習部１１２、予測部１１３に出力する。
【0039】
学習部１１２は、取得部１１１が取得した情報、および記憶部１３０に記憶された情報に基づいて、機械学習する。具体的には、学習部１１２は、記憶部１３０に記憶された購買情報と、ＤＭ情報と、送付先情報とを読み出し、読み出した情報に基づいて学習データセットを生成する。学習部１１２は、生成した学習データセットに基づいて個人別の条件付き介入効果を学習する。ここで、個人別の条件付き介入効果の学習モデルには、Ｕｐｌｉｆｔ Ｍｏｄｅｌｉｎｇを用いる。
【0040】
Ｕｐｌｉｆｔ Ｍｏｄｅｌｉｎｇは、ｉＲＯＡＳを最大化するために個人ごとの介入効果をモデル化・予測するモデルである。本実施形態では、消費者異質性及び時間的異質性を要素として加味し、状態空間モデルのような複雑なモデル設定を行うことなく将来の個人ごとの介入効果である個人別Ｕｐｌｉｆｔ値を予測する。
【0041】
本実施形態では、このような性質を満たすモデルとして、ＣＡＬＩＢＲＡＴＥＤ ＣＡＴＥ Ｅｓｔｉｍａｔｏｒを用いる。ＣＡＬＩＢＲＡＴＥＤ ＣＡＴＥ Ｅｓｔｉｍａｔｏｒには、２つのモデルが含まれる。１つ目のモデルは、過去データから消費者異質性を学習するＣＡＴＥ Ｅｓｔｉｍａｔｏｒである。２つ目のモデルは、過去データにおけるＵｐｌｉｆｔの時間経過に伴う振る舞いの変化を捉え、将来の予測したい時点におけるＵｐｌｉｆｔの水準を示すＴｉｍｅｓｅｒｉｅｓ Ｆｏｒｅｃａｓｔｅｒである。制御部１１０は、ＣＡＴＥ Ｅｓｔｉｍａｔｏｒの個人別Ｕｐｌｉｆｔ値を、Ｔｉｍｅｓｅｒｉｅｓ Ｆｏｒｅｃａｓｔｅｒによって得られるＣＡＴＥ Ｅｓｔｉｍａｔｏｒの学習時点と予測時点とにおけるＵｐｌｉｆｔ水準の差である、Ｃａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅによって補正する。これにより、制御部１１０は、ＣＡＴＥ Ｅｓｔｉｍａｔｏｒの学習時点から予測時点における時間的異質性を加味した予測を行う。ここで、ＣＡＴＥは、Ｃｏｎｄｉｔｉｏｎａｌ Ａｖｅｒａｇｅ Ｔｒｅａｔｍｅｎｔ Ｅｆｆｅｃｔ、すなわち条件付き介入効果のことであり、時間的異質性を含む。
【0042】
消費者異質性を加味したＵｐｌｉｆｔ Ｍｏｄｅｌｉｎｇは、その精度やデータに対する制約は様々ながらも多くの手法が存在する。本実施形態では、Ｍｅｔａ－Ｌｅａｒｎｅｒの一種であるＸ－ＬｅａｒｎｅｒをＣＡＴＥ Ｅｓｔｉｍａｔｏｒとして用い、消費者異質性を推定する。なお、本発明は、適用範囲をＸ－Ｌｅａｒｎｅｒに限定するものではなく、条件付き介入効果（ＣＡＴＥ）を推定するあらゆるアルゴリズムを利用することが可能である。この性質により、分析者は、自らが利用するデータセットの量は複雑さに応じて、或いは自身の慣れ親しんだアルゴリズムを選択して利用することができる。
【0043】
Ｍｅｔａ Ｌｅａｒｎｅｒは、単一のアルゴリズムの中で介入効果を推定するのではなく、通常の機械学習モデルの結果に対してメタ的な操作を加えることで、介入効果を推定する。Ｍｅｔａ Ｌｅａｒｎｅｒには、Ｔ－ｌｅａｒｎｅｒ、Ｓ－ｌｅａｒｎｅｒ、Ｘ－ｌｅａｒｎｅｒなどがある。Ｔ－ｌｅａｒｎｅｒは、介入を受けたグループだけで学習されたモデルと、介入を受けないグループだけで学習されたモデルの出力を比較することで介入効果を推定する。Ｓ－ｌｅａｒｎｅｒは、対象群と処置群双方を同時に学習し、介入条件ｗをｗ＝０とした時の出力とｗ＝１とした時の出力を比較する。Ｘ－ｌｅａｒｎｅｒは、Ｔ－ｌｅａｒｎｅｒの方に介入グループごとにモデリングをした後、介入グループごとに処置効果を求め、予測したい個体のＣＡＴＥの算出のために、両モデルのＣＡＴＥを、それぞれのグループに対する傾向スコアで重み付けを行う。
【0044】
Ｍｅｔａ－Ｌｅａｒｎｅｒの特徴は、介入群と非介入群のデータ量が不均衡な場合であっても良好な推定精度が期待できる点である。また、Ｍｅｔａ－Ｌｅａｒｎｅｒの特徴は、ベースとなる学習器を自由に指定できるため、データの特性に合ったアルゴリズムを利用することができる点にもある。後者は、例えば線形性が仮定できるデータ量が少ないケースでは線形モデルを用い、逆に非線形な関係が期待されデータ量が多い場合は勾配ブースティングなどの表現力の高いアルゴリズムを利用するなどの使い分けができる。
【0045】
時間的異質性の推定は、一般的な時系列データ解析、ＳＡＲＩＭＡ、ＥＴＳ、Ｐｒｏｐｈｅｔなどを用いることが可能である。本実施形態では、季節トレンドや外生変数の取り込みやその解釈が容易で、精度も良好なＰｒｏｐｈｅｔをＴｉｍｅｓｅｒｉｅｓ Ｆｏｒｅｃａｓｔｅｒとして用いる場合について説明する。
【0046】
Ｔｉｍｅｓｅｒｉｅｓ Ｆｏｒｅｃａｓｔｅｒにおいてトレンドや季節性を予測するためには、予測対象の過去の一定期間のデータが必要である。この時、過去データには介入があった期間と介入がなかった期間が入り交じることになる。ＣＣＥＰＴＡでは、並行トレンドの仮定を置く指標が介入の影響を受ける場合、本来のトレンドとは関係ない、介入による指標の変動がトレンド推定に含まれてしまうことがある。対応策としては、トレンド推定時に介入の有無やこの規模を外生変数として加えることも可能である。しかしながら、介入回数が１～２回しかなかったり、特定の曜日などに集中していたりした場合、介入による影響を正確に本来のトレンド変動から排除するのは困難である。また、介入を受けていないデータのみでトレンドを推定する場合には、介入がない期間で全データの平均を用いることになるが、介入があった期間は、介入がなかったデータの平均となってしまう。このため、介入前後で平均を算出するための前提となる母集団の分布が変化することによるバイアスを生じる。
【0047】
このバイアスを回避するために、トレンドや季節性の予測には、Ｔｉｍｅｓｅｒｉｅｓ Ｆｏｒｅｃａｓｔｅｒの学習に用いるデータに対するＰｒｏｐｅｎｓｉｔｙ Ｂａｓｅｄ Ｓａｍｐｌｉｎｇ（式（１））を用いる。介入が発生していないタイムウィンドウにおいては、介入を受ける確率であるｐｒｏｐｅｎｓｉｔｙ ｓｃｏｒｅ，ｅ（Ｘ）を１から減じた確率でサンプリングする。介入期間においては、介入を受けなかった全ての個体をサンプルリングする。これにより、情報処理装置１は、学習期間に介入がある期間と介入がない期間が混在している場合においてもバイアスのないトレンドの推定が可能となる。
【0048】
【数1】
【0049】
ＣＡＴＥ Ｅｓｔｉｍａｔｏｒにより一時点で学習された予測値を、時間的異質性を加味する形で変換することは、Ｄａｔａｓｅｔ Ｓｈｉｆｔの一種であるＣｏｎｃｅｐｔ Ｓｈｉｆｔの問題として捉えることができる。Ｃｏｎｃｅｐｔ Ｓｈｉｆｔの定義は式（２）の通り、学習時と予測時とにおいて、ｘ（共変量）で条件付けた時のｙ（ターゲット）の分布、またｙで条件付けた時のｘの分布が変化している状況である。
【0050】
【数2】
【0051】
Ｄａｔａｓｅｔ Ｓｈｉｆｔが発生している際には、一般的にはモデルの再トレーニングを頻繁に実施したり、直近の学習サンプルにより強い重みを付けて学習させたりする。本実施形態では、将来時点であるＰｔｅｓｔ（ｙ｜ｘ）の水準を予測することで、Ｐｔｒａｉｎｉｎｇ（ｙ｜ｘ）を変換してＰｔｅｓｔ（ｙ｜ｘ）と一致させるスコアｚを算出することで、時間的異質性を考慮する際のＣｏｎｃｅｐｔ Ｓｈｉｆｔの問題を対処する。
【0052】
【数3】
【0053】
なお、式（３）では、予測結果を補正するためにＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを利用しているが、それ以外にも過去データの学習時にＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅによって補正した値を学習することも可能である。
【0054】
この場合、スコアｚの算出に用いるｘｔｓと、Ｙの予測に用いるｘｃａｔｅが異なるものである。個人別の細かなｕｐｌｉｆｔ値（効果）を予測するためのｘｃａｔｅは、通常の機械学習のプロセスのように、有効と考えられる特徴量は基本的に全て含めることが望ましい。ＵｎｃｏｎｆｏｕｎｄｅｄｎｅｓｓをＣＡＴＥ算出の前提としている場合は、未観測の交絡因子が無いことを担保する上でも、特徴量の範囲は広い方が望ましい。
【0055】
一方で、Ｃａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅ（スコアｚ）を算出する際のｘｔｓは、「どの単位で時系列トレンドが異なるか」というグルーピングの単位に過ぎない。ここで、ｘｔｓを必要以上に細かくしても、スコアｚの推定精度には寄与せず、過学習を引き起こす可能性もある。ｘｔｓの例としては、旅行関連のマーケティングの場合には夏休み、冬休みに対する時間的異質性が異なるグルーピングとして、「小中学生の子供の有無」などの変数を含めることも可能である。
【0056】
本実施形態で用いる時間的異質性の推定には、利用可能なデータの制約からＣＡＬＩＢＲＡＴＥＤ ＣＡＴＥ Ｅｓｔｉｍａｔｏｒ ｗｉｔｈ Ｕｐｌｉｆｔ Ｔｒｅｎｄ（ＣＣＥＵＴ）と、ＣＡＬＩＢＲＡＴＥＤ ＣＡＴＥ Ｅｓｔｉｍａｔｏｒ ｗｉｔｈ Ｐａｒａｌｌｅｌ Ｔｒｅｎｄ Ａｓｓｕｍｐｔｉｏｎ（ＣＣＥＰＴＡ）を用いる。
【0057】
ＣＣＥＵＴは、Ｕｐｌｉｆｔ値自体の推移を時系列データとして扱い、そのトレンドをモデル化することでＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを算出する手法である。ＣＣＥＵＴは、Ｕｐｌｉｆｔ値の推定に足るデータが、ある程度複数期間にまたがって利用可能な場合に適用可能である。
【0058】
一方、ＣＣＥＰＴＡは、Ｕｐｌｉｆｔ値自体とは別の観察可能な指標（Ｃｏｎｔｒｏｌ群の売上水準など）がＵｐｌｉｆｔ値のトレンドと並行トレンドを持つと仮定し、当該指標の推移を時系列データとしてトレンドをモデル化することでＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを算出する手法である。
【0059】
ＣＣＥＵＴについてより詳細に説明する。
図３は、本実施形態で用いるＣＣＥＵＴの一例を示す概略図である。
ＣＣＥＵＴは、ＣＡＴＥ Ｅｓｔｉｍａｔｏｒとして用いるＭｅｔａ Ｌｅａｒｎｅｒによって推定される個人別の条件付き介入効果（ＣＡＴＥ）に対する補正値であるＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを算出するため手法である。ＣＣＥＵＴは、過去のキャンペーンのＵｐｌｉｆｔ実績から、Ｕｐｌｉｆｔの季節成分、トレンド成分をモデル化することで、個人別のＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅ、すなわち、未来の介入効果を予測する。Ｍｅｔａ Ｌｅａｒｎｅｒによって推定されるＣＡＴＥに対して、ＣＣＥＵＴによって算出されるＣｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを乗算することでＡｄｊｕｓｔｅｄ ＣＡＴＥを得る。
図３は、本実施形態で用いるＣＣＥＵＴの一例を示す概略図である。
ＣＣＥＵＴは、ＣＡＴＥ Ｅｓｔｉｍａｔｏｒとして用いるＭｅｔａ Ｌｅａｒｎｅｒによって推定される個人別の条件付き介入効果（ＣＡＴＥ）に対する補正値であるＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを算出するため手法である。ＣＣＥＵＴは、過去のキャンペーンのＵｐｌｉｆｔ実績から、Ｕｐｌｉｆｔの季節成分、トレンド成分をモデル化することで、個人別のＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅ、すなわち、未来の介入効果を予測する。Ｍｅｔａ Ｌｅａｒｎｅｒによって推定されるＣＡＴＥに対して、ＣＣＥＵＴによって算出されるＣｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを乗算することでＡｄｊｕｓｔｅｄ ＣＡＴＥを得る。
【0060】
次いで、ＣＣＥＰＴＡについてより詳細に説明する。
図４は、本実施形態で用いるＣＣＥＰＴＡの一例を示す概略図である。
ＣＣＥＰＴＡは、ＣＡＴＥ Ｅｓｔｉｍａｔｏｒとして用いるＭｅｔａ Ｌｅａｒｎｅｒによって推定される個人別の条件付き介入効果（ＣＡＴＥ）に対する補正値であるＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを算出するため手法である。ＣＣＥＰＴＡは、Ｕｐｌｉｆｔ値と類似の傾向を示すと考えられる指標の季節成分、トレンド成分をモデル化することで、個人別のＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅ、すなわち、未来の介入効果を予測する。Ｍｅｔａ Ｌｅａｒｎｅｒによって推定されるＣＡＴＥに対して、ＣＣＥＰＴＡによって算出されるＣｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを乗算することでＡｄｊｕｓｔｅｄ ＣＡＴＥを得る。
図４は、本実施形態で用いるＣＣＥＰＴＡの一例を示す概略図である。
ＣＣＥＰＴＡは、ＣＡＴＥ Ｅｓｔｉｍａｔｏｒとして用いるＭｅｔａ Ｌｅａｒｎｅｒによって推定される個人別の条件付き介入効果（ＣＡＴＥ）に対する補正値であるＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを算出するため手法である。ＣＣＥＰＴＡは、Ｕｐｌｉｆｔ値と類似の傾向を示すと考えられる指標の季節成分、トレンド成分をモデル化することで、個人別のＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅ、すなわち、未来の介入効果を予測する。Ｍｅｔａ Ｌｅａｒｎｅｒによって推定されるＣＡＴＥに対して、ＣＣＥＰＴＡによって算出されるＣｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを乗算することでＡｄｊｕｓｔｅｄ ＣＡＴＥを得る。
【0061】
ＣＣＥＰＴＡは、Ｕｐｌｉｆｔ値自体の推移を時系列データとして扱えるほど潤沢に過去データが存在しない場合にも適用可能である。並行トレンドの仮定は、一見強い制約となり得る。しかしながら、例えば製品のプロモーション効果を考えた場合、全く需要がないタイミングでプロモーションを行ってもその効果は限られる。一方で、一定の需要があるタイミングでプロモーションを行った場合にはより大きなＵｐｌｉｆｔ効果を見込むことができる。
【0062】
このようなケースを考えると、例えば、プロモーションを除いた素の需要トレンドは、プロモーション効果のトレンドとある程度は正の相関を持つことが予想される。ドメイン知識をもつ実務家であれば、そのようなＣＣＥＰＴＡに好ましい特性を持つ観測可能な指標を見つけることは、ＣＣＥＵＴのために反復的なキャンペーンの効果検証とデータ蓄積を行うことよりも容易である。ただし、例外として、素の需要トレンドが高まり過ぎて、もはやプロモーションによるＵｐｌｉｆｔの余地がなくなるような局面においては、素の需要トレンドとプロモーション効果が負の相関関係となるような可能性もある。このように、一定条件下で並行トレンドの仮定をすることが困難な状況もあるため、並行トレンドの仮定が本当に成り立つのかを慎重に判断する必要がある。
本実施形態では、ＣＣＥＰＴＡを用いる場合の一例について説明する。
本実施形態では、ＣＣＥＰＴＡを用いる場合の一例について説明する。
【0063】
図２に戻って、学習部１１２は、顧客情報、購買情報、ＤＭ情報、送付先情報に基づいて機械学習し、個人別の条件付き介入効果を学習する。学習部１１２は、学習結果を記憶部１３０に記憶させる。また、学習部１１２は、過去のキャンペーンのＵｐｌｉｆｔ実績からＵｐｌｉｆｔの季節成分、トレンド成分を学習することでモデル化し、個人別のＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを学習する。
【0064】
予測部１１３は、学習部１１２による学習結果に基づいて、個人別ＣＡＴＥおよびＣａｌｉｂｒａｔｉｏｎ ＳｃｏｒｅによってＡｄｊｕｓｔｅｄ ＣＡＴＥを算出する。予測部１１３は、Ａｄｊｕｓｔｅｄ ＣＡＴＥに基づいて、ダイレクトメッセージの送付先を決定し、記憶部１３０に記憶させる。
【0065】
出力処理部１１４は、記憶部１３０に記憶された送付先情報を読み出して、出力部１５０に出力させる。
【0066】
次いで、記憶部１３０について、より詳細に説明する。
【0067】
記憶部１３０は、顧客情報記憶部１３１と、購買情報記憶部１３２と、ＤＭ情報記憶部１３３と、送付先情報記憶部１３４と、学習結果記憶部１３５と、を含んで構成される。
顧客情報記憶部１３１は、顧客情報を記憶する。顧客情報は、識別情報、ユーザ名、氏名、住所、電話番号、メールアドレス、性別、年齢、世帯構成などが対応付けられた情報である。図５を参照して説明する。
顧客情報記憶部１３１は、顧客情報を記憶する。顧客情報は、識別情報、ユーザ名、氏名、住所、電話番号、メールアドレス、性別、年齢、世帯構成などが対応付けられた情報である。図５を参照して説明する。
【0068】
図５は、顧客情報記憶部１３１が記憶する顧客情報の構成の一例を示すテーブルである。
図示する例では、識別情報に、ユーザ名、氏名、住所、電話番号、メールアドレス、性別、年齢、世帯構成が対応付けられている。
識別情報は、ユーザを識別するための情報である。ユーザ名は、ユーザの登録名である。氏名は、ユーザの氏名である。住所は、ユーザの住所である。電話番号は、ユーザの電話番号である。メールアドレスは、ユーザの電子メールアドレスである。性別、年齢は、ユーザの性別および年齢である。世帯構成は、ユーザが属する世帯の世帯構成である。
これらの各項目の情報は、例えば、各ユーザによって予め登録された情報である。
図示する例では、識別情報に、ユーザ名、氏名、住所、電話番号、メールアドレス、性別、年齢、世帯構成が対応付けられている。
識別情報は、ユーザを識別するための情報である。ユーザ名は、ユーザの登録名である。氏名は、ユーザの氏名である。住所は、ユーザの住所である。電話番号は、ユーザの電話番号である。メールアドレスは、ユーザの電子メールアドレスである。性別、年齢は、ユーザの性別および年齢である。世帯構成は、ユーザが属する世帯の世帯構成である。
これらの各項目の情報は、例えば、各ユーザによって予め登録された情報である。
【0069】
図２に戻って、購買情報記憶部１３２は、購買情報を記憶する。購買情報は、顧客ごとの購買履歴を示す情報であり、購入日、ジャンル、商品名、購入店などの情報が対応付けられた情報である。図６を参照して説明する。
【0070】
図６は、購買情報記憶部１３２が記憶する購買情報の構成の一例を示すテーブルである。
図示する例では、ユーザを識別する識別情報ごとに、購入日、ジャンル、商品名、購入店が対応付けられている。
購入日は、商品を購入した日付である。ジャンルは、商品のジャンルである。商品名は、商品の名称である。購入店は、商品を購入した店舗などである。
これらの各項目の情報は、各ユーザによって予め登録されてもよいし、決済履歴情報等に基づいて作成されてもよい。
図示する例では、ユーザを識別する識別情報ごとに、購入日、ジャンル、商品名、購入店が対応付けられている。
購入日は、商品を購入した日付である。ジャンルは、商品のジャンルである。商品名は、商品の名称である。購入店は、商品を購入した店舗などである。
これらの各項目の情報は、各ユーザによって予め登録されてもよいし、決済履歴情報等に基づいて作成されてもよい。
【0071】
図２に戻って、ＤＭ情報記憶部１３３は、ＤＭ情報を記憶する。ＤＭ情報は、ダイレクトメッセージの情報であり、ＤＭ識別情報、ジャンル、依頼元、ターゲット、種別などの情報が対応付けられた情報である。図７を参照して説明する。
【0072】
図７は、ＤＭ情報記憶部１３３が記憶するＤＭ情報の構成の一例を示すテーブルである。
図示する例では、ＤＭ識別情報に、ジャンル、依頼元、ターゲット、種別が対応づけられている。
ＤＭ識別情報は、ダイレクトメッセージを識別する識別情報である。ジャンルは、ダイレクトメッセージが関連するジャンルである。依頼元は、ダイレクトメッセージの送付を依頼する依頼元である。ターゲットは、ダイレクトメッセージを送付するターゲットである。種別は、ダイレクトメッセージの送付方法である。
これらの各項目の情報は、依頼元からの依頼によって作成される。
図示する例では、ＤＭ識別情報に、ジャンル、依頼元、ターゲット、種別が対応づけられている。
ＤＭ識別情報は、ダイレクトメッセージを識別する識別情報である。ジャンルは、ダイレクトメッセージが関連するジャンルである。依頼元は、ダイレクトメッセージの送付を依頼する依頼元である。ターゲットは、ダイレクトメッセージを送付するターゲットである。種別は、ダイレクトメッセージの送付方法である。
これらの各項目の情報は、依頼元からの依頼によって作成される。
【0073】
【0074】
図８は、送付先情報記憶部１３４が記憶する送付先情報の構成の一例を示すテーブルである。
図示する例では、ＤＭ識別情報ごとに、送付先となるユーザの識別情報が対応付けられている。
当該送付先情報は、予測部１１３によってダイレクトメッセージの送付先候補として決定されることで生成される。
図示する例では、ＤＭ識別情報ごとに、送付先となるユーザの識別情報が対応付けられている。
当該送付先情報は、予測部１１３によってダイレクトメッセージの送付先候補として決定されることで生成される。
【0075】
図２に戻って、学習結果記憶部１３５は、学習部１１２による学習結果を記憶する。
【0076】
＜ハードウェア構成＞
次いで、情報処理装置１のハードウェア構成について説明する。図９は、本実施形態に係る情報処理装置１のハードウェア構成の一例を示すブロック図である。
情報処理装置１は、ＣＰＵ１１と、ドライブ部１２と、記憶媒体１３と、入力部１４と、出力部１５と、ＲＯＭ１６（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ１７（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、補助記憶部１８と、インターフェース部１９と、を備える。ＣＰＵ１１と、ドライブ部１２と、入力部１４と、出力部１５と、ＲＯＭ１６と、ＲＡＭ１７と、補助記憶部１８と、インターフェース部１９とは、バスを介して相互に接続される。
次いで、情報処理装置１のハードウェア構成について説明する。図９は、本実施形態に係る情報処理装置１のハードウェア構成の一例を示すブロック図である。
情報処理装置１は、ＣＰＵ１１と、ドライブ部１２と、記憶媒体１３と、入力部１４と、出力部１５と、ＲＯＭ１６（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ１７（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、補助記憶部１８と、インターフェース部１９と、を備える。ＣＰＵ１１と、ドライブ部１２と、入力部１４と、出力部１５と、ＲＯＭ１６と、ＲＡＭ１７と、補助記憶部１８と、インターフェース部１９とは、バスを介して相互に接続される。
【0077】
なお、ここで言うＣＰＵ１１は、プロセッサ一般のことを示すものであって、狭義のいわゆるＣＰＵと呼ばれるデバイスのことだけではなく、例えばＧＰＵやＤＳＰ等も含む。また、ここで言うＣＰＵ１１は、一つのプロセッサで実現されることに限られず、同じ、または異なる種類の複数のプロセッサを組み合わせることで実現されてもよい。
【0078】
ＣＰＵ１１は、補助記憶部１８、ＲＯＭ１６およびＲＡＭ１７が記憶するプログラムを読み出して実行し、また、補助記憶部１８、ＲＯＭ１６およびＲＡＭ１７が記憶する各種データを読み出し、補助記憶部１８、ＲＡＭ１７に対して各種データを書き込むことにより、情報処理装置１を制御する。また、ＣＰＵ１１は、ドライブ部１２を介して記憶媒体１３が記憶する各種データを読み出し、また、記憶媒体１３に各種データを書き込む。記憶媒体１３は、光磁気ディスク、フレキシブルディスク、フラッシュメモリなどの可搬記憶媒体であり、各種データを記憶する。
【0079】
ドライブ部１２は、光ディスクドライブ、フレキシブルディスクドライブなどの記憶媒体１３の読み出し装置である。
【0080】
入力部１４は、マウス、キーボード、タッチパネル、電源ボタン、設定ボタンなどの入力装置である。
【0081】
出力部１５は、表示部、スピーカなどの出力装置である。
【0082】
ＲＯＭ１６、ＲＡＭ１７は、表示装置１０の各機能部を動作させるためのプログラムや各種データを記憶する。
【0083】
補助記憶部１８は、ハードディスクドライブ、フラッシュメモリなどであり、情報処理装置１の各機能部を動作させるためのプログラム、各種データを記憶する。
【0084】
インターフェース部１９は、通信インターフェースを有し、有線または無線によりネットワークＮＷに接続される。
【0085】
例えば、後述する図２における情報処理装置１の機能構成における制御部１１０は、図９におけるＣＰＵ１１に対応する。また、図２における入力部１４０は、図９における入力部１４に対応する。また、図２における出力部１５０は、図９における出力部１５に対応する。また、図２における記憶部１３０は、図９における記憶媒体１３に対応する。
【0086】
＜動作について＞
図１０は、本実施形態に係る情報処理装置１の動作の一例を示すフローチャートである。この図は、学習段階における情報処理装置１の動作を示す。
図１０は、本実施形態に係る情報処理装置１の動作の一例を示すフローチャートである。この図は、学習段階における情報処理装置１の動作を示す。
【0087】
（ステップＳ１００）取得部１１１は、記憶部１３０から顧客情報、ＤＭ情報、購買情報、送付先情報、学習結果、を読み出す。取得部１１１は処理が終了すると処理をステップＳ１０２に進める。
（ステップＳ１０２）取得部１１１は、読み出した各情報に基づいて、学習データセットを作成し、記憶部１３０に記憶させる。取得部１１１は処理が終了すると、処理をステップＳ１０４に進める。
（ステップＳ１０４）学習部１１２は、記憶部１３０から学習データセットを読み出し、読み出した情報に基づいて学習を行う。学習部１１２は、学習が終了すると、学習結果を記憶部１３０に記憶させる。その後、本図の動作を終了する。
（ステップＳ１０２）取得部１１１は、読み出した各情報に基づいて、学習データセットを作成し、記憶部１３０に記憶させる。取得部１１１は処理が終了すると、処理をステップＳ１０４に進める。
（ステップＳ１０４）学習部１１２は、記憶部１３０から学習データセットを読み出し、読み出した情報に基づいて学習を行う。学習部１１２は、学習が終了すると、学習結果を記憶部１３０に記憶させる。その後、本図の動作を終了する。
【0088】
図１１は、本実施形態に係る情報処理装置１の動作の別の一例を示すフローチャートである。この図は、ＣＡＴＥ、Ｃａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅ推定（算出）段階における情報処理装置１の動作を示す。
【0089】
（ステップＳ２００）学習部１１２は、顧客情報記憶部１３１から顧客情報を取得する。ＤＭ情報記憶部１３３からＤＭ情報を取得する。学習部１１２は、処理が終了すると、処理をステップＳ２０２に進める。ステップＳ２０２～ステップＳ２０４までは、個人ごと（ユーザごと）に行う。
（ステップＳ２０２）学習部１１２は、顧客情報に含まれる顧客の識別情報に対応する購買情報を、購買情報記憶部１３２から取得する。学習部１１２は、処理が終了すると、処理をステップＳ２０４に進める。
（ステップＳ２０２）学習部１１２は、顧客情報に含まれる顧客の識別情報に対応する購買情報を、購買情報記憶部１３２から取得する。学習部１１２は、処理が終了すると、処理をステップＳ２０４に進める。
【0090】
（ステップＳ２０４）学習部１１２は、学習結果と購買履歴とに基づいて、ＣＡＴＥおよびＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを予測する。学習部１１２は、学習結果と予測結果を記憶部１３０に記憶させる。学習部１１２は、全てのユーザについて、処理が終了すると、本図の動作を終了する。
【0091】
図１２は、本実施形態に係る情報処理装置１の動作の別の一例を示すフローチャートである。
（ステップＳ３００）予測部１１３は、顧客情報に含まれる顧客の識別情報を顧客情報記憶部１３１から取得する。予測部１１３は、顧客の識別情報に対応する購買情報を購買情報記憶部１３２から取得する。予測部１１３は、ＤＭ情報を、ＤＭ情報記憶部１３３から取得する。予測部１１３は、処理が終了すると、処理をステップＳ３０２に進める。
（ステップＳ３０２）予測部１１３は、ＤＭ情報と購買情報都に基づいて、顧客ごとのＣＡＴＥを算出する。予測部１１３は、処理が終了すると、処理をステップＳ３０４に進める。
（ステップＳ３００）予測部１１３は、顧客情報に含まれる顧客の識別情報を顧客情報記憶部１３１から取得する。予測部１１３は、顧客の識別情報に対応する購買情報を購買情報記憶部１３２から取得する。予測部１１３は、ＤＭ情報を、ＤＭ情報記憶部１３３から取得する。予測部１１３は、処理が終了すると、処理をステップＳ３０２に進める。
（ステップＳ３０２）予測部１１３は、ＤＭ情報と購買情報都に基づいて、顧客ごとのＣＡＴＥを算出する。予測部１１３は、処理が終了すると、処理をステップＳ３０４に進める。
【0092】
（ステップＳ３０４）予測部１１３は、ＤＭ情報と購買情報都に基づいて、顧客ごとのＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅを算出する。予測部１１３は、処理が終了すると、処理をステップＳ３０６に進める。
（ステップＳ３０６）予測部１１３は、ＣＡＴＥおよびＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅに基づいて、Ａｄｊｕｓｔｅｄ ＣＡＴＥを算出する。情報処理装置１は、処理が終了すると、処理をステップＳ３０８に進める。
（ステップＳ３０６）予測部１１３は、ＣＡＴＥおよびＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅに基づいて、Ａｄｊｕｓｔｅｄ ＣＡＴＥを算出する。情報処理装置１は、処理が終了すると、処理をステップＳ３０８に進める。
【0093】
（ステップＳ３０８）予測部１１３は、顧客情報に含まれる識別情報と、算出したＡｄｊｕｔｅｄ ＣＡＴＥに基づいて、送付先を予測する。情報処理装置１は、処理が終了すると、処理をステップＳ３１０に進める。
【0094】
（ステップＳ３１０）出力処理部１１４は、送付先情報記憶部１３４から送付先情報を取得し、出力画像を生成する。出力処理部１１４は、生成した画像を、出力部１５０に出力させる。情報処理装置１は、処理が終了すると、本図の処理を終了する。
【0095】
このように、本実施形態に係る情報処理装置１は、顧客情報および購買情報を取得する取得部１１１と、キャンペーン介入によるユーザごとの条件付き介入効果を示すデータと、キャンペーン介入による将来の介入効果を示すデータとを学習データセットとして学習された学習モデルに、取得部１１１が取得した顧客情報および購買情報を入力することで、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とを算出する学習部１１２と、将来の介入効果の予測値を、トレンドを用いて補正する予測部１１３と、を備える。
【0096】
これにより、情報処理装置１は、将来の介入効果の予測値を、トレンドを用いて補正することで、ダイレクトマーケティングにおける意思決定の一要素であるターゲティングの最適化を行うことができる。このため、ユーザごとの条件付き介入効果の予測値と、将来の介入効果の予測値とに基づいて、広告効果が高い、つまり広告の内容への親和性が高いと見込まれる人物を抽出することできる。また、ダイレクトマーケティングにおける介入効果の予測精度を向上させることができる。
【0097】
また、本実施形態に係る情報処理装置１は、キャンペーン介入した期間と、キャンペーン介入しない期間とを少なくとも含む所定期間におけるユーザごとの条件付き介入効果を示すデータと、将来の介入効果を示すデータとを学習データセットとして学習する学習モデルによって、将来の介入効果の予測値を算出する学習部１１２と、キャンペーン介入しない期間における前記ユーザごとの条件付き介入効果を示すデータによる影響を抑制して前記将来の介入効果の予測値を補正するためのトレンドを算出する予測部１１３と、を備える。
【0098】
これにより、情報処理装置１は、学習期間にキャンペーン介入がある期間とキャンペーン介入がない期間が混在している場合であっても、介入前後で平均を算出するための前提となる母集団の分布が変化を抑制することができる。そのため、母集団の分布が変化することによるバイアスがないトレンドを推定することができる。そのため、ダイレクトマーケティングにおける介入効果の予測精度を向上させることができる。
【0099】
次いで、上記で説明した内容についての検証結果について説明する。
【0100】
Ｃａｌｉｂｒａｔｅｄ ＣＡＴＥ Ｅｓｔｉｍａｔｏｒを利用する前提としては、異質性の推定に足るだけの個体数と、時系列予測が行えるだけの期間に亘り利用可能なパネルデータ形式で、且つ、推定されたＵｐｌｉｆｔ値の精度を評価するために、ＲＣＴまたは反実アウトカムが計測可能な人工データを利用する必要がある。しかしながら、そのような理想的な条件で実施され、且つ検証に利用可能な形でオープンにされているデータは存在しない。そのため、本検証では人工データを用いて検証を行う。
【0101】
一方で、理想的な条件下で生成された人工データでの時系列予測の精度が高かったとしても、現実のマーケティングにおいて、複雑なトレンドの変化を捉えることができるとは必ずしも限らない。このことから、本検証では、実際のマーケティングキャンペーンに対する反応データをトレンド成分のベースとして用い、そこに人工的に生成した個体レベルの異質性を加えた、実データと人工データとのハイブリッド形式のパネルデータを分析対象として用いる。これにより、人工データの長所である、反実アウトカムを観測できることからなる個体レベルでのＵｐｌｉｆｔ値の検証と、時系列成分の予測に関してある程度実データと同等の条件での検証することができる。
【0102】
時系列成分のベースとなるデータには、Ｇｅｏｅｘｐｅｒｉｍｅｎｔｓ Ｒｅｓｅａｒｃｈ ｖｅｒｓｉｏｎ １．０．３を用いる。図１３を参照して説明する。図１３は、本実施形態に係る検証データの一例を示す図である。この検証では、１００地域を売上の合計が概ね等しくなるようＴｒｅａｔｍｅｎｔ群とＣｏｎｔｒｏｌ群にランダムに割り振り、Ｐｒｅｔｅｓｔ、ｉｎｔｅｒｖｅｎｔｉｏｎ、ｃｏｏｌｄｏｗｎの３つの期間において各地域の日次の売上げを観測したものである。Ｔｒｅａｔｍｅｎｔ群のｉｎｔｅｒｖｅｎｔｉｏｎ期間のみオンライン広告が配信され、それ以外の対象、期間における介入はないものとする。当該データは、２０１５年１月１日から２０１５年４月７日という比較的長期間におけるＲＣＴのパネルデータである。当該データは、本検証において理想的なデータに近いが、１００地域しか存在しないために異質性をモデル化するためのサンプル数としては十分ではない。Ｐｒｅｔｅｓｔ期間においては、Ｔｒｅａｔｍｅｎｔ群とＣｏｎｔｒｏ群のＳａｌｅｓの動きが極めて高い精度で一致しているが、２月１５日から始まるＩｎｔｅｒｖｅｎｔｉｏｎ期間において、Ｔｒｅａｔｍｅｎｔ群のＳａｌｅｓが上昇し、Ｃｏｏｌｄｏｗｎ期間にまたＣｏｎｔｒｏｌ群と同等の水準に戻る。
【0103】
また、Ｓａｌｅｓの水準が週次と思われる周期性を持ちながら、データ収集期間の後半に掛けて緩やかに上昇トレンドを持つ。このように時系列データにおいて、時間の経過とともに観察データの平均や分散が変化するデータは、非定常データと呼ばれ、分析の前提として独立同時分布（ｉ．ｉ．ｄ）を仮定している通常の機械学習等では分析が難しい。このため、分析前に差分変換、対数差分変換などを用いて定常性を持たせるよう変換することが多い。
【0104】
Ｇｅｏｅｘｐｅｒｉｍｅｎｔｓ Ｒｅｓｅａｒｃｈ ｖｅｒｓｉｏｎ １．０．３のデータのみでは、異質性の推定のために利用可能な個体が１００地域（１００通り）しか存在しない。ここでは、１００００人の顧客がランダムに１００地域のいずれかに属し、各顧客がランダム生成された共変量を持つようなデータを式（４）、式（５）により生成する。生成した各共変量の分布は、図１４～図１６の通りである。図１４～図１６は、本実施形態に係る各共変量の分布の一例を示す図である。
【0105】
【数4】
【0106】
【数5】
【0107】
各顧客は、それぞれ潜在アウトカムＹ（０）とＹ（１）とを持ち、実際に観測されるのは介入条件と一致するＹ（ｗ）＝Ｙと設定する。潜在アウトカムは、それぞれ式（６）、式（７）、式（８）のように生成する。なお、ｂａｓｅｉｔは、図１３のデータにおいて個体ｉが所属するグループのその時点ｔにおけるＳａｌｅｓの値であり、時間的異質性を表現しているｗはｘｉｔが実際に受けた介入の有無を表す。
【0108】
【数6】
【0109】
【数7】
【0110】
【数8】
【0111】
各共変量と潜在アウトカムの関係性をＤＡＧ（Ｄｉｒｅｃｔｅｄ Ａｃｙｃｌｉｃ Ｇｒａｐｈ）で示した結果は、図１７のようになる。図１７は、本実施形態に係る各共変量と潜在アウトカムの関係性の一例を示す図である。
【0112】
このＤＡＧから生成された各個体の真の介入効果τｉｔの時系列プロットを図１８に示す。図１８は、本実施形態に係る各個体の真の介入効果の時系列プロットの一例を示す図である。
それぞれの個体ごとに異なる介入効果の水準（消費者異質性）があり、かつ曜日によって大きく介入効果が変動する個体から、ほぼ介入効果がない個体まで、様々な時間的異質性を持っている。
それぞれの個体ごとに異なる介入効果の水準（消費者異質性）があり、かつ曜日によって大きく介入効果が変動する個体から、ほぼ介入効果がない個体まで、様々な時間的異質性を持っている。
【0113】
本検証で用いた学習・予測期間のデータ諸元は、図１９の通りである。図１９は、本実施形態に係る検証で用いた学習・予測期間のデータ諸元の一例を示す図である。
介入については、各個体が紐づく地域ごとにＲＣＴで割付けた場合と、ｘｉｕを、介入を受ける確率（ｐｒｏｐｅｎｓｉｔｙ ｓｃｏｒｅ）とした場合と、のそれぞれで検証を行った。
介入については、各個体が紐づく地域ごとにＲＣＴで割付けた場合と、ｘｉｕを、介入を受ける確率（ｐｒｏｐｅｎｓｉｔｙ ｓｃｏｒｅ）とした場合と、のそれぞれで検証を行った。
【0114】
Ｃａｌｉｂｒａｔｅｄ ＣＡＴＥ Ｅｓｔｉｍａｔｏｒは、メタ的な学習アルゴリズムであり、ＣＡＴＥ ＥｓｔｉｍａｔｏｒとＴｉｍｅｓｅｒｉｅｓ Ｆｏｒｅｃａｓｔｅｒとのそれぞれに、任意のアルゴリズムを利用することが可能である。
本検証では、実施形態と同様にＭｅｔａ Ｌｅａｒｎｅｒの一種であるＸ－ＬｅａｒｎｅｒをＣＡＴＥ Ｅｓｔｉｍａｔｏｒとして用いる。Ｘ－ＬｅａｒｎｅｒのアウトカムモデルおよびＣＡＴＥモデルには、Ｍｉｃｒｏｓｏｆｔ社（登録商標）が開発するＬｉｇｈｔｇｂｍ のｖｅｒｓｉｏｎ３．２．１を用いた。
本検証では、実施形態と同様にＭｅｔａ Ｌｅａｒｎｅｒの一種であるＸ－ＬｅａｒｎｅｒをＣＡＴＥ Ｅｓｔｉｍａｔｏｒとして用いる。Ｘ－ＬｅａｒｎｅｒのアウトカムモデルおよびＣＡＴＥモデルには、Ｍｉｃｒｏｓｏｆｔ社（登録商標）が開発するＬｉｇｈｔｇｂｍ のｖｅｒｓｉｏｎ３．２．１を用いた。
【0115】
また、本検証では、Ｆａｃｅｂｏｏｋ社（登録商標）が開発するＰｒｏｐｈｅｔ のｖｅｒｓｉｏｎ０．７．１をＴｉｍｅｓｅｒｉｅｓＦｏｒｅｃａｓｔｅｒとして用いた。なお、Ｐｒｏｐｈｅｔの学習に用いるデータは、Ｐｒｏｐｅｎｓｉｔｙ ｂａｓｅｄ ｓａｍｐｌｉｎｇ後のものを用いたが、Ｐｒｏｐｅｎｓｉｔｙ ｂａｓｅｄ ｓａｍｐｌｉｎｇ自体の有効性も検証をする。
【0116】
検証における評価は、以下の３つのパターンにおいて学習および予測を行い、介入効果の予測と介入効果の真値とを比較した次の３つの指標により評価を行った。
【0117】
（１）Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ（ＭＡＥ）
ＭＡＥは、式（９）で表される。ＭＡＥは、誤差の絶対値の平均であるため、精度として解釈しやすい指標である。
ＭＡＥは、式（９）で表される。ＭＡＥは、誤差の絶対値の平均であるため、精度として解釈しやすい指標である。
【0118】
【数9】
【0119】
（２）Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ（ＭＳＥ）
ＭＳＥは、式（１０）で表される。ＭＳＥは、誤差を二乗した値の平均であるため、ＭＡＥと比較して、外れ値の影響を受けやすい指標である。本検証では、大きく外したケースが他の試行と比べて極端に多くないかどうかを確認する意味合いで、補助的な指標として用いている。
ＭＳＥは、式（１０）で表される。ＭＳＥは、誤差を二乗した値の平均であるため、ＭＡＥと比較して、外れ値の影響を受けやすい指標である。本検証では、大きく外したケースが他の試行と比べて極端に多くないかどうかを確認する意味合いで、補助的な指標として用いている。
【0120】
【数10】
【0121】
（３）Ｍｅａｎ Ｅｒｒｏｒ（ＭＥ）
ＭＥは、式（１１）で表される。ＭＥは、通常あまり使われることがないが、今回のケースではＴｉｍｅｓｅｒｉｅｓ Ｆｏｒｅｃａｓｔｅｒによって時間的異質性によって起こるバイアスを軽減できるかどうかがを評価することから、予測値にバイアスがどの程度残っているかを判断するための指標として用いる。誤差が正規分布に従っている場合、０に近いほどバイアスなく予測できていると解釈できる。
ＭＥは、式（１１）で表される。ＭＥは、通常あまり使われることがないが、今回のケースではＴｉｍｅｓｅｒｉｅｓ Ｆｏｒｅｃａｓｔｅｒによって時間的異質性によって起こるバイアスを軽減できるかどうかがを評価することから、予測値にバイアスがどの程度残っているかを判断するための指標として用いる。誤差が正規分布に従っている場合、０に近いほどバイアスなく予測できていると解釈できる。
【0122】
【数11】
【0123】
ここではまず、Ｐｒｏｐｅｎｓｉｔｙ Ｂａｓｅｄ Ｓａｍｐｌｉｎｇの有効性を検証する。以下４通りのパターンでデータのサンプリングおよびＣａｌｉｂｒａｔｉｏｎ Ｓｃｏｒｅの算定を実施した。
【0124】
（１）Ｇｒｏｕｎｄ Ｔｒｕｔｈ
Ｇｒｏｕｎｄ Ｔｒｕｔｈは、シミュレーションデータでのみ利用可能な、全個体に対して、実際の観測値Ｙｉｔではなく、介入が一切発生しなかった場合のデータＹ（０）ｉｔを集計したものである。
Ｇｒｏｕｎｄ Ｔｒｕｔｈは、シミュレーションデータでのみ利用可能な、全個体に対して、実際の観測値Ｙｉｔではなく、介入が一切発生しなかった場合のデータＹ（０）ｉｔを集計したものである。
【0125】
（２）Ｐｒｏｐｅｎｓｉｔｙ Ｂａｓｅｄ Ｓａｍｐｌｉｎｇ
Ｐｒｏｐｅｎｓｉｔｙ Ｂａｓｅｄ Ｓａｍｐｌｉｎｇは、実施形態と同様にしてサンプリングされたデータである。
Ｐｒｏｐｅｎｓｉｔｙ Ｂａｓｅｄ Ｓａｍｐｌｉｎｇは、実施形態と同様にしてサンプリングされたデータである。
【0126】
（３）Ａｌｌ Ｓａｍｐｌｅｓ
Ａｌｌ Ｓａｍｐｌｅｓは、介入を受けた／受けなかったかを問わず、全てのデータを抽出したものである。
Ａｌｌ Ｓａｍｐｌｅｓは、介入を受けた／受けなかったかを問わず、全てのデータを抽出したものである。
【0127】
（４）Ｕｎｔｒｅａｔｅｄ Ｓａｍｐｌｅｓ
Ｕｎｔｒｅａｔｅｄ Ｓａｍｐｌｅｓは、介入ありの期間／なしの期間を問わず、介入がなかったＹｉｔの全てを抽出したデータである。
Ｕｎｔｒｅａｔｅｄ Ｓａｍｐｌｅｓは、介入ありの期間／なしの期間を問わず、介入がなかったＹｉｔの全てを抽出したデータである。
【0128】
（１）～（４）のそれぞれのＰｏｌｉｃｙでサンプリングされたデータを可視化した。図２０は、本実施形態に係る各Ｐｏｌｉｃｙでサンプリングされたデータの一例を示す図である。
図示する例では、Ａｌｌ Ｓａｍｐｌｅｓは、非介入期間においてはＧｒｏｕｎｄ Ｔｒｕｔｈと完全に一致しているものの、介入期間に入るとＧｒｏｕｎｄ Ｔｒｕｔｈに比べて上方乖離する。これは、単純に介入の効果によって実際のトレンドよりも強い数字が観測されたために生じている。
一方、Ｕｎｔｒｅａｔｅｄ Ｓａｍｐｌｅｓは、同じく非介入期間においてはＧｒｏｕｎｄ Ｔｒｕｔｈと完全に一致しているものの、介入期間に入るとＧｒｏｕｎｄ Ｔｒｕｔｈに比べて下方乖離する。これは、今回の検証データにおいて、売上期待値が高い個体ほど介入を受けやすいような傾向があるため、介入期間において介入を受けていない個体の売上平均は、全サンプルの平均である介入前の売上平均を下回ってしまうことから生じるバイアスである。
図示する例では、Ａｌｌ Ｓａｍｐｌｅｓは、非介入期間においてはＧｒｏｕｎｄ Ｔｒｕｔｈと完全に一致しているものの、介入期間に入るとＧｒｏｕｎｄ Ｔｒｕｔｈに比べて上方乖離する。これは、単純に介入の効果によって実際のトレンドよりも強い数字が観測されたために生じている。
一方、Ｕｎｔｒｅａｔｅｄ Ｓａｍｐｌｅｓは、同じく非介入期間においてはＧｒｏｕｎｄ Ｔｒｕｔｈと完全に一致しているものの、介入期間に入るとＧｒｏｕｎｄ Ｔｒｕｔｈに比べて下方乖離する。これは、今回の検証データにおいて、売上期待値が高い個体ほど介入を受けやすいような傾向があるため、介入期間において介入を受けていない個体の売上平均は、全サンプルの平均である介入前の売上平均を下回ってしまうことから生じるバイアスである。
【0129】
Ｐｒｏｐｅｎｓｉｔｙ Ｂａｓｅｄ Ｓａｍｐｌｉｎｇのデータは、同様の理由から非介入期間、介入期間のいずれもＧｒｏｕｎｄ Ｔｒｕｔｈに比べて下方乖離する。しかしながら、上記とは異なり、介入期間に入った際にもトレンドに変化がなく、可視化の結果からは安定したトレンドが抽出可能となる。
【0130】
図２１は、本実施形態に係る各Ｐｏｌｉｃｙでのトレンドの一例を示す図である。
図２１の通り、（３）及び（４）のデータにより抽出されたトレンドは、真のデータから抽出されたトレンド１と比較して、上方および下方乖離する。（２）のデータから抽出されたトレンドは、ここでも真のトレンドと並行なトレンドを構成している。
図２１の通り、（３）及び（４）のデータにより抽出されたトレンドは、真のデータから抽出されたトレンド１と比較して、上方および下方乖離する。（２）のデータから抽出されたトレンドは、ここでも真のトレンドと並行なトレンドを構成している。
【0131】
図２２は、本実施形態に係るサンプリングの検証結果の一例を示す図である。
上記のように、それぞれ抽出されたトレンドに基づいて、学習期間および予測期間でＣａｌｉｂｒａｔｉｏｎＳｃｏｒｅを計算すると、Ｐｒｏｐｅｎｓｉｔｙ Ｂａｓｅｄ Ｓａｍｐｌｉｎｇが最もＧｒｏｕｎｄ Ｔｒｕｔｈに近く、誤差にして０．００１７と、他手法に比べて１０分の１以下の誤差を達成した。
上記のように、それぞれ抽出されたトレンドに基づいて、学習期間および予測期間でＣａｌｉｂｒａｔｉｏｎＳｃｏｒｅを計算すると、Ｐｒｏｐｅｎｓｉｔｙ Ｂａｓｅｄ Ｓａｍｐｌｉｎｇが最もＧｒｏｕｎｄ Ｔｒｕｔｈに近く、誤差にして０．００１７と、他手法に比べて１０分の１以下の誤差を達成した。
【0132】
このことから、Ｐｒｏｐｅｎｓｉｔｙ Ｂａｓｅｄ Ｓａｍｐｌｉｎｇは今回比較対象とした（１）、（３）、（４）の他のサンプリングと比べて、介入期間と非介入期間が入り交じるような状況におけるトレンド推定に効果的な手法である。
【0133】
次いで、以下の検証の前提の２通りとＣａｌｉｂｒａｔｉｏｎの３通りとの組み合わせによる６通りのパターンにより予測期間における個人別の介入効果を推定し、その結果を正の値と比較した。
【0134】
検証の前提
（１）完全ランダムな介入割付であるＲＴＣデータ
（２）各個体に対する割付確率だけが既知である準実験データ
Ｃａｌｉｂｒａｔｉｏｎ方式
（１）予測結果をＣａｌｉｂｒａｔｉｏｎする（Ｐｏｓｔ－Ｔｒａｉｎ）
（２）学習データをＣａｌｉｂｒａｔｉｏｎする（Ｐｒｅ－Ｔｒａｉｎ）
（３）Ｃａｌｉｂｒａｔｉｏｎを行わない（Ｎｏ Ｃａｌｉｂｒａｔｉｏｎ）
（１）完全ランダムな介入割付であるＲＴＣデータ
（２）各個体に対する割付確率だけが既知である準実験データ
Ｃａｌｉｂｒａｔｉｏｎ方式
（１）予測結果をＣａｌｉｂｒａｔｉｏｎする（Ｐｏｓｔ－Ｔｒａｉｎ）
（２）学習データをＣａｌｉｂｒａｔｉｏｎする（Ｐｒｅ－Ｔｒａｉｎ）
（３）Ｃａｌｉｂｒａｔｉｏｎを行わない（Ｎｏ Ｃａｌｉｂｒａｔｉｏｎ）
【0135】
図２３は、本実施形態に係るＣａｌｉｂｒａｔｉｏｎの検証結果の一例を示す図である。
図示するように、検証の前提におけるＲＣＴデータ、準実験データのいずれにおいても、Ｃａｌｉｂｒａｔｅｄ ＣＡＴＥ Ｅｓｔｉｍａｔｏｒが、Ｃａｌｉｂｒａｔｉｏｎを行わない通常のモデルＮｏ Ｃａｌｉｂｒａｔｉｏｎや、学習データをＣａｌｉｂｒａｔｉｏｎするＰｒｅ－ｔｒａｉｎと比べて精度が向上していることが示されている。
図示するように、検証の前提におけるＲＣＴデータ、準実験データのいずれにおいても、Ｃａｌｉｂｒａｔｅｄ ＣＡＴＥ Ｅｓｔｉｍａｔｏｒが、Ｃａｌｉｂｒａｔｉｏｎを行わない通常のモデルＮｏ Ｃａｌｉｂｒａｔｉｏｎや、学習データをＣａｌｉｂｒａｔｉｏｎするＰｒｅ－ｔｒａｉｎと比べて精度が向上していることが示されている。
【0136】
このように、上記実施形態で説明した内容の有効性検証のために人工データを用いて有効性を検証した結果、特徴量と学習・予測データの指定のみで精度高い消費者異質性の推定が可能という機械学習ベースの利点を残しながらも、目的変数の非定常性から生じる予測値のバイアスを、通常の機械学習ベースと比較して抑えることができ、また、高精度な予測が実現できることを確認した。
【0137】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0138】
例えば、上述した各実施形態では、情報処理装置１が学習、予測する例を説明したが、これには限られない。例えば、情報処理装置１のうち、学習を行う学習装置と、予測を行う予測装置とが個別のものであってもよい。
【0139】
また、上述した各実施形態における情報処理装置１の一部、例えば、制御部１１０などをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、情報処理装置１に内蔵されたコンピュータシステムであって、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。
【0140】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0141】
また、上述した実施形態における情報処理装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。サーバ装置２０（２０ａ）の各機能部は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【0142】
Ｓｙｓ 情報処理システム
１ 情報処理装置
Ｂ 企業
Ｕ１、Ｕ２ ユーザ
１１０ 制御部
１１１ 取得部
１１２ 学習部
１１３ 予測部
１１４ 出力処理部
１３０ 記憶部
１３１ 顧客情報記憶部
１３２ 購買情報記憶部
１３３ ＤＭ情報記憶部
１３４ 送付先情報記憶部
１３５ 学習結果記憶部
１４０ 入力部
１５０ 出力部
１１ ＣＰＵ
１２ ドライブ部
１３ 記憶媒体
１４ 入力部
１５ 出力部
１６ ＲＯＭ
１７ ＲＡＭ
１８ 補助記憶部
１９ インターフェース部
１ 情報処理装置
Ｂ 企業
Ｕ１、Ｕ２ ユーザ
１１０ 制御部
１１１ 取得部
１１２ 学習部
１１３ 予測部
１１４ 出力処理部
１３０ 記憶部
１３１ 顧客情報記憶部
１３２ 購買情報記憶部
１３３ ＤＭ情報記憶部
１３４ 送付先情報記憶部
１３５ 学習結果記憶部
１４０ 入力部
１５０ 出力部
１１ ＣＰＵ
１２ ドライブ部
１３ 記憶媒体
１４ 入力部
１５ 出力部
１６ ＲＯＭ
１７ ＲＡＭ
１８ 補助記憶部
１９ インターフェース部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】