ホーム > 特許ランキング > 楽天グループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024088222
(43)【公開日】2024-07-02
(54)【発明の名称】施策評価装置、施策評価方法、及び施策評価プログラム
(51)【国際特許分類】
G06Q 30/0242 20230101AFI20240625BHJP
【ＦＩ】
G06Q30/0242
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022203285
(22)【出願日】2022-12-20
(71)【出願人】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】石川 詩苑
(72)【発明者】
【氏名】劉 雲青
【テーマコード（参考）】
5L030
5L049
【Ｆターム（参考）】
5L030BB08
5L049BB08
(57)【要約】
【課題】オフライン評価におけるバイアスに対処することができる施策評価装置、施策評価方法、及び施策評価プログラムを提供する。
【解決手段】施策評価装置３０は、１以上のプロセッサ３２と１以上のメモリ３４とを備える。メモリ３４には、第１施策を実施したときの記録である複数のデータセットを含む履歴データ３８が格納されている。プロセッサ３２は、第１施策に関する少なくとも１つの要件が不変であることに基づいて複数のデータセットを区分することにより、複数の区分データを生成することと、機械学習のアルゴリズムを各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、各区分データから近似した推定量を用いて、第２施策をオフライン評価することと、を実行するように構成される。
【選択図】図１
【解決手段】施策評価装置３０は、１以上のプロセッサ３２と１以上のメモリ３４とを備える。メモリ３４には、第１施策を実施したときの記録である複数のデータセットを含む履歴データ３８が格納されている。プロセッサ３２は、第１施策に関する少なくとも１つの要件が不変であることに基づいて複数のデータセットを区分することにより、複数の区分データを生成することと、機械学習のアルゴリズムを各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、各区分データから近似した推定量を用いて、第２施策をオフライン評価することと、を実行するように構成される。
【選択図】図１
【特許請求の範囲】
【請求項1】
１以上のプロセッサと１以上のメモリとを備え、
前記メモリには、第１施策を実施したときの記録である複数のデータセットを含む履歴データが格納されており、
前記プロセッサは、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行するように構成される、施策評価装置。
前記メモリには、第１施策を実施したときの記録である複数のデータセットを含む履歴データが格納されており、
前記プロセッサは、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行するように構成される、施策評価装置。
【請求項2】
前記アルゴリズムは多腕バンディットアルゴリズムであり、
前記各データセットは、特徴量と、前記特徴量に対応する行動と、前記行動の結果と、に関するデータを含む、
請求項１に記載の施策評価装置。
前記各データセットは、特徴量と、前記特徴量に対応する行動と、前記行動の結果と、に関するデータを含む、
請求項１に記載の施策評価装置。
【請求項3】
前記推定量の算出は、前記第１施策の結果を示す指標値を、前記第１施策と前記第２施策の行動選択確率の比を用いて重み付けすることを含む、
請求項２に記載の施策評価装置。
請求項２に記載の施策評価装置。
【請求項4】
前記第１施策及び前記第２施策は、複数の候補画像のうちの１つを表示枠に表示することを含み、
前記複数の候補画像が前記各区分において不変である、
請求項１～３のうち何れか一項に記載の施策評価装置。
前記複数の候補画像が前記各区分において不変である、
請求項１～３のうち何れか一項に記載の施策評価装置。
【請求項5】
前記各データセットは、ユーザからのウェブサイトの表示要求の都度に取得された複数のデータを含み、
前記ウェブサイトは１以上の広告枠を含み、
前記第１施策及び前記第２施策は、前記各広告枠に広告画像を表示することを含み、
前記特徴量が前記ユーザの属性であり、前記行動が各候補画像であり、前記行動の結果が表示された前記広告画像を前記ユーザがクリックしたか否かであり、
前記複数の候補画像が前記各区分において不変である、
請求項２又は３に記載の施策評価装置。
前記ウェブサイトは１以上の広告枠を含み、
前記第１施策及び前記第２施策は、前記各広告枠に広告画像を表示することを含み、
前記特徴量が前記ユーザの属性であり、前記行動が各候補画像であり、前記行動の結果が表示された前記広告画像を前記ユーザがクリックしたか否かであり、
前記複数の候補画像が前記各区分において不変である、
請求項２又は３に記載の施策評価装置。
【請求項6】
前記第１施策及び前記第２施策は、複数の対象候補から１以上の対象を選択することを含み、
前記複数の対象候補が前記各区分において不変である、
請求項１～３のうち何れか一項に記載の施策評価装置。
前記複数の対象候補が前記各区分において不変である、
請求項１～３のうち何れか一項に記載の施策評価装置。
【請求項7】
前記第１施策及び前記第２施策は、１つの表示枠に順次に表示される複数の画像の表示順序を決定することを含み、
前記複数の画像が前記各区分において不変である、
請求項１～３のうち何れか一項に記載の施策評価装置。
前記複数の画像が前記各区分において不変である、
請求項１～３のうち何れか一項に記載の施策評価装置。
【請求項8】
前記第１施策及び前記第２施策は、複数の物品又は複数のサービスからユーザに推薦する１以上の物品又はサービスを選択することを含み、
前記各区分において、前記複数の物品又は前記複数のサービスの価格と、前記複数の物品又は前記複数のサービスの品揃えと、のうち少なくとも一方が不変である、
請求項１～３のうち何れか一項に記載の施策評価装置。
前記各区分において、前記複数の物品又は前記複数のサービスの価格と、前記複数の物品又は前記複数のサービスの品揃えと、のうち少なくとも一方が不変である、
請求項１～３のうち何れか一項に記載の施策評価装置。
【請求項9】
前記各データセットは、検索画面におけるユーザからの検索要求の都度に取得された複数のデータを含み、
前記第１施策及び前記第２施策は、検索結果画面に表示する複数の検索結果の表示順位を決定することを含み、
前記各区分において、複数の検索対象と前記複数の検索結果のうち少なくとも一方が不変である、
請求項１～３のうち何れか一項に記載の施策評価装置。
前記第１施策及び前記第２施策は、検索結果画面に表示する複数の検索結果の表示順位を決定することを含み、
前記各区分において、複数の検索対象と前記複数の検索結果のうち少なくとも一方が不変である、
請求項１～３のうち何れか一項に記載の施策評価装置。
【請求項10】
１以上のコンピュータに、
第１施策を実施したときの記録である複数のデータセットを含む履歴データを取得することと、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行させることを含む、施策評価方法。
第１施策を実施したときの記録である複数のデータセットを含む履歴データを取得することと、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行させることを含む、施策評価方法。
【請求項11】
１以上のコンピュータに、
第１施策を実施したときの記録である複数のデータセットを含む履歴データを取得することと、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行させるための、施策評価プログラム。
第１施策を実施したときの記録である複数のデータセットを含む履歴データを取得することと、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行させるための、施策評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、施策評価装置、施策評価方法、及び施策評価プログラムに関する。
【背景技術】
【0002】
例えばウェブページのバナー広告など、１つの広告枠に表示する広告の内容を決定する場合に、機械学習モデルを用いて広告効果を予測することがある。例えば、特許文献１は、広告デザイン案である画像を入力した場合に、広告効果の予測結果を出力する学習モデルを開示している。
【0003】
実際に広告を出すにあたっては、広告用画像を決定した後に、その画像をどのようなタイミングでどのようなユーザに表示するか、といった施策（policy）を決定する必要がある。この施策を評価するために、例えばオンライン広告であれば、一時的にその広告を実装するオンライン実験を行うことがある。ただし、広告の実装にはコストがかかるだけではなく、施策が適切でなければ、ユーザの心証が悪くなったり、売上が低下したりするなどのリスクを伴う。
【0004】
これに対して、非特許文献１は、リスクの低い施策の評価手法である、オフライン評価について開示している。こうした施策の評価は、広告に限らず、各種のマーケティング又は顧客とのコミュニケーションを行う場合など、様々な分野において使用可能である。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２２－０３２２０４号公報
【非特許文献】
【0006】
【非特許文献1】齋藤優太，他３名，“Open Bandit Dataset and Pipeline: Towards Realistic and Reproducible Off-Policy Evaluation”，［online］，令和３年１０月２６日（ｖ５），arXivLabs，［令和４年１２月１６日検索］，インターネット＜URL：https://arxiv.org/abs/2008.07146＞
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述のオフライン評価では、過去に施策を実施したときのデータを用いて、過去の施策とは異なる新たな施策の性能の評価を行う。しかしながら、当該評価はバイアスの影響を受けることがある。
【0008】
本開示は、オフライン評価におけるバイアスに対処することができる施策評価装置、施策評価方法、及び施策評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本開示の一態様に係る施策評価装置は、１以上のプロセッサと１以上のメモリとを備え、前記メモリには、第１施策を実施したときの記録である複数のデータセットを含む履歴データが格納されており、前記プロセッサは、前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、を実行するように構成される。
【0010】
本開示の一態様に係る施策評価方法は、１以上のコンピュータに、第１施策を実施したときの記録である複数のデータセットを含む履歴データを取得することと、前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、を実行させることを含む。
【0011】
本開示の一態様に係る施策評価プログラムは、１以上のコンピュータに、第１施策を実施したときの記録である複数のデータセットを含む履歴データを取得することと、前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、を実行させるためのプログラムである。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
本開示の施策評価装置及び施策評価方法の例を、以下に図面を参照しつつ説明する。
［システムの概要］
図１に示すように、本開示に係る施策評価システム１１は、ウェブサーバ２０及び施策評価装置３０を含む。ウェブサーバ２０と施策評価装置３０は、ネットワーク１４を通じて互いに通信する。ウェブサーバ２０及び施策評価装置３０の各々は、コンピュータの一例である。
［システムの概要］
図１に示すように、本開示に係る施策評価システム１１は、ウェブサーバ２０及び施策評価装置３０を含む。ウェブサーバ２０と施策評価装置３０は、ネットワーク１４を通じて互いに通信する。ウェブサーバ２０及び施策評価装置３０の各々は、コンピュータの一例である。
【0014】
ウェブサーバ２０は１以上の端末１３とネットワーク１４を通じて互いに通信する。端末１３は、例えば、スマートフォン、パーソナルコンピュータ、タブレットなどの情報処理装置である。端末１３はユーザによって操作されるユーザ端末である。ウェブサーバ２０は、商品又はサービスを提供又は推薦するためのウェブサイト４０を提供してもよい。ウェブサイト４０は、商品又はサービスを検索するため検索窓（図示は省略するが、例えば、テキストボックス）を有してもよい。ウェブサーバ２０は、１以上の端末１３からの要求に応じて、種々の情報又は処理結果を各端末１３に提供する。
【0015】
ネットワーク１４は、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、プロバイダ端末、無線通信網、無線基地局、専用回線等を含む。図１に示す各装置の全ての組み合わせが相互に通信可能である必要はなく、ネットワーク１４は、一部にローカルなネットワークを含んでもよい。
【0016】
ウェブサーバ２０は、プロセッサ２２、メモリ２４、および通信機２３を備える。通信機２３は、ネットワーク１４を介して他の装置、例えば端末１３及び施策評価装置３０との通信を可能とする。メモリ２４には、広告を表示するための表示プログラム２５及び広告データ２７と、履歴データ２８が格納される。メモリ２４には、さらに、広告のターゲットとなり得る顧客データ２９が格納されてもよい。
【0017】
顧客データ２９は、例えば、ウェブサイト４０を利用するユーザの登録情報を含む。登録情報は、例えば、各ユーザの氏名、年齢、性別、住所、アカウント、メールアドレス、及び決済情報を含むが、これらに限られない。決済情報の例は、クレジットカード番号、デビットカード番号、又は引き落とし口座の番号である。顧客データ２９には、各ユーザのウェブサイト４０及び他の店舗での購買履歴を含んでもよい。購買履歴は、例えば、購入した商品の品目、購入の日時、及び購入金額を含む。
【0018】
履歴データ２８は、各ユーザによるウェブサイト４０での閲覧履歴、購入履歴、又は利用履歴を含んでもよい。履歴データ２８は、ウェブサイト４０に含まれるリンク（例えば、広告又は商品画面へのリンク）に対する各ユーザによるアクセス履歴（例えば、クリック履歴）を含む。履歴データ２８は顧客データ２９と連動することにより、ユーザの登録情報の少なくとも一部をユーザの属性情報として含んでもよい。履歴データ２８に含まれるユーザの属性情報は、例えば、各ユーザの年齢、性別、閲覧履歴、利用履歴、及びアクセス履歴などである。
【0019】
施策評価装置３０は、１以上のプロセッサ３２、１以上のメモリ３４、および通信機３３を備える。施策評価装置３０は、例えばサーバのようなコンピュータである。通信機３３は、ネットワーク１４を介して他の装置、例えばウェブサーバ２０との通信を可能とする。メモリ３４には、区分データ生成プログラム３５、学習プログラム３６、評価プログラム３７が格納されている。メモリ３４は、さらに、履歴データ３８及び１以上の学習モデル３９が格納されるように構成される。施策評価装置３０のプロセッサ３２は、メモリ３４に格納されている学習プログラム３６を実行することで、学習モデル３９を生成する。
【0020】
ウェブサーバ２０は、施策評価装置３０の要求に応じて、あるいは、データ送付のためのプログラムに従って、メモリ２４に格納された履歴データ２８を施策評価装置３０に送信する。施策評価装置３０は、受信した履歴データ２８を履歴データ３８としてメモリ３４に格納する。履歴データ２８は、持ち運び可能な別のメモリを介して、施策評価装置３０のメモリ３４に履歴データ３８として格納されてもよい。
【0021】
プロセッサ２２，３２は、例えば、ＣＰＵ、ＧＰＵ、およびＴＰＵのような演算ユニットを含む。プロセッサ２２，３２は、各種ソフトウェア処理を実行するように構成される処理回路である。処理回路は、ソフトウェア処理の少なくとも一部を処理する専用のハードウェア回路（たとえばＡＳＩＣ等）を備えてもよい。すなわち、ソフトウェア処理は、１又は複数のソフトウェア処理回路及び１又は複数の専用のハードウェア回路の少なくとも一方を備えた処理回路（processing circuitry）によって実行されればよい。
【0022】
メモリ２４，３４は、コンピュータ可読媒体である。メモリ２４，３４は、例えば、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＲＯＭ（Read Only Memory）などの非一過性の記憶媒体を含む。プロセッサ２２，３２は、与えられる信号に応じて、又は、予め定められた条件が成立したことに応じて、それぞれメモリ２４，３４に格納されているプログラムに含まれる一連の命令を実行する。
【0023】
［広告システム］
図２に示すように、ウェブサイト４０は、例えば、各種商品又はサービスを提供するための情報を提示する。ウェブサイト４０の一例は、複数の商品を販売するショッピングサイトである。ウェブサイト４０で提供される商品又はサービスの例は、旅行プラン、宿泊施設、切符、チケット、書籍、雑誌、音楽、動画、映画、保険、又は証券であるが、これらに限られない。
図２に示すように、ウェブサイト４０は、例えば、各種商品又はサービスを提供するための情報を提示する。ウェブサイト４０の一例は、複数の商品を販売するショッピングサイトである。ウェブサイト４０で提供される商品又はサービスの例は、旅行プラン、宿泊施設、切符、チケット、書籍、雑誌、音楽、動画、映画、保険、又は証券であるが、これらに限られない。
【0024】
ウェブサイト４０は、１以上の広告枠４１（４１Ａ，４１Ｂ，４３Ｃ，４３Ｄ）を含んでもよい。ウェブサイト４０は、おすすめの商品を表示する複数の推薦枠４２を含んでもよい。広告枠４１及び推薦枠４２は表示枠の一例である。１つの広告枠４１Ａには、１つの広告画像（例えば、バナー広告）が表示されてもよい。あるいは、１つの広告枠４１Ｂに複数の候補画像が順次に表示されてもよい。複数の広告枠４１Ａ～４１Ｄがある場合、表示の方法及び内容が互いに異なっていてもよい。また、同じ種類の広告枠４１Ｂ（又は４１Ｃ）が複数あってもよい。
【0025】
ウェブサイト４０に表示される広告画像又は商品画像は、規定のルールに従って変更されてもよい。例えば、ある期間毎に画像が変更されてもよいし、閲覧するユーザの属性に応じて画像が変更されてもよい。一例として、販売促進イベントの期間（例えば、１ヶ月）のうちに、１つのバナー広告枠に表示する複数（例えば５つ）の候補画像を用意しておき、規定された順序でそれら画像を順次に表示するようにしてもよい。さらに、複数の候補画像（例えば、割引クーポン）のいくつかは、イベント期間中に別の候補画像（別の割引クーポン）に入れ替えられてもよい。
【0026】
広告データ２７は、各広告枠４１の種類、各広告枠４１に対応する１以上の候補画像、各広告枠４１に対する表示変更履歴、及び、期間毎の広告施策を含む。表示変更履歴は、広告の単位毎（例えばイベント毎）に、使用される又は使用候補となる１以上の広告画像、各広告画像が使用開始される日時、及び各広告が表示される広告枠４１に係るデータを含む。
【0027】
履歴データ３８は複数のデータセットを含み、各データセットは、ユーザからウェブサーバ２０へのウェブサイト４０（及びウェブサイト４０に含まれる広告）の表示要求の都度に取得された複数のデータを含む。これら複数のデータは、各広告枠４１について、例えば、表示を要求したユーザの属性、表示時刻、各時刻に表示された広告、及び、その広告がクリックされたか否か、に係るデータを含む。さらに、各データセットは、クリックしたユーザがその広告に係る商品を購入したか否かに係るデータを含んでもよい。
【0028】
［施策の策定］
施策（Policy）とは、ユーザに何らかのコンテンツを推薦したり、何らかの行動を促したりするための手法又は計画を指す。例えば、バナー広告を用いた広告施策では、広告に係る商品の購入をユーザに促すために、ユーザにバナー広告（リンクを伴う広告画像）をクリックさせることを目的とする。あるいは、メールマーケティングにおいては、メールを受信したユーザに、メール本文中に含まれるリンクをクリックさせることを目的とする。
施策（Policy）とは、ユーザに何らかのコンテンツを推薦したり、何らかの行動を促したりするための手法又は計画を指す。例えば、バナー広告を用いた広告施策では、広告に係る商品の購入をユーザに促すために、ユーザにバナー広告（リンクを伴う広告画像）をクリックさせることを目的とする。あるいは、メールマーケティングにおいては、メールを受信したユーザに、メール本文中に含まれるリンクをクリックさせることを目的とする。
【0029】
クリック率は、「クリック先のリンクに表示される商品を購入させる」という目標を達成するための指標の一例である。他に、クリック当たりのコンバージョン率（クリック経由のコンバージョン率）、又は広告コストあたりの収益を指標とすることもできる。
【0030】
実施済みの広告施策におけるクリック率は、履歴データ３８に基づいて算出することができる。クリック率は、広告施策、すなわち、広告を表示する場所及びタイミング、又はターゲットとなるユーザの属性などにより変化し得る。そのため、新たな施策の策定にあたっては、より広告効果を高めるために、広告内容の最適化が望まれる。
【0031】
新たな施策を最適化するために、機械学習モデルを使用することができる。プロセッサ３２は、学習プログラム３６の実行により、例えば、強化学習の一例である多腕バンディット（マルチアームバンディット、Multi-armed Bandit）アルゴリズムを用いて、施策を最適化するように構成される。多腕バンディットアルゴリズムは、複数のアームと呼ばれる候補の中から、最も良いものを逐次的に探す問題である。学習プログラム３６は、一例として、トンプソンサンプリング（Thompson Sampling）を用いる。
【0032】
例えば、特徴量（特徴量ベクトル）をｘ∈Ｘ、取り得るｍ個の行動をａ∈Ａ＝｛１，２，…，ｍ｝として、多腕バンディット問題を解くことにより、一定期間における報酬Ｙを最大化する行動ａを探索する。特徴量ｘは、例えば、ユーザの年齢、性別、購入履歴のようなユーザ属性である。行動ａは、例えば、広告の対象となる商品である。報酬Ｙは、例えば、クリック率であってもよいし、ある商品の広告を出した場合の売上であってもよい。
【0033】
施策πは、特徴量ｘ∈Ｘから行動空間Ａ上の確率分布への写像π：Ｘ→Δ（Ａ）として定義される。π（ａ｜ｘ）は、あるｘというベクトルで特徴付けられるデータに対して、ａという行動を選択する確率（行動選択確率）である。π（ａ｜ｘ）は、どんな状況でどの行動をとるべきかを司る意思決定のための施策であるとも言える。例えば、π（ａ｜ｘ）は、ｘ（あるユーザ属性）を入力した場合に、どの商品を広告の対象にすべきか（どの広告画像を表示すべきか）を示す関数となり得る。
【0034】
［施策の評価］
プロセッサ３２は、評価プログラム３７を実行することにより、新たな施策の評価を行うように構成される。新たな施策を実装することなく評価することをオフライン施策評価（ＯＰＥ：Off-Policy Evaluation、オフポリシー評価又はオフラインポリシー評価）という。評価に供される施策を評価施策π（Evaluation policy）と呼び、評価施策の比較対象となる施策を行為施策πｂ（Behavior policy）と呼ぶことがある。
プロセッサ３２は、評価プログラム３７を実行することにより、新たな施策の評価を行うように構成される。新たな施策を実装することなく評価することをオフライン施策評価（ＯＰＥ：Off-Policy Evaluation、オフポリシー評価又はオフラインポリシー評価）という。評価に供される施策を評価施策π（Evaluation policy）と呼び、評価施策の比較対象となる施策を行為施策πｂ（Behavior policy）と呼ぶことがある。
【0035】
本開示では、行為施策を第１施策と呼び、評価施策を第２施策と呼ぶことがある。第１施策は、一般的には実施済みの過去の施策であって、本例では、第１施策を実施したときの記録が履歴データ３８である。履歴データ３８は複数のデータセットを含む。ただし、第１施策と第２施策が共に実施済みの施策であってもよい。
【0036】
施策πの性能は以下の目的変数Ｖ（π）として定義される。
【0037】
【数1】
【0038】
第２施策πの性能は、第１施策πｂを実施した時の履歴データ３８を用いて評価することができる。例えば、履歴データ３８は以下の数式２で示されるＴ個のデータセットを含む。
【0039】
【数2】
【0040】
ここで、ユーザがある行動ａを選択した場合、履歴データ３８には、その行動ａに基づく報酬Ｙｔのデータしか含まれない。例えば、第１の商品と第２の商品のうち、第１の商品の購入をユーザに薦めた場合（行動ａ＝第１の商品）の結果（クリックの有無）はわかるが、第１の商品を薦めなかった場合の結果はわからない。言い換えると、過去の施策で第１の商品を推薦対象としてその結果である報酬Ｙを得た場合に、新たな施策で第２の商品を推薦対象にすると、第２の商品を薦めた場合（行動ａ＝第２の商品）のデータは、履歴データ３８に含まれていない。そのため、履歴データ３８に基づいて新たな施策πについて真の性能を得ることは困難である。
【0041】
新たな施策πの性能は、真の性能であるＶ（π）に対して、履歴データ３８から近似した推定量として、以下の数式３で代替し得る。
【0042】
【数3】
【0043】
数式３に代えて、以下の数式４によって推定量を得ることもできる。数式４は、ＤＲ（Doubly Robust）と呼ばれる手法である。
【0044】
【数4】
【0045】
一例として、広告枠４１Ａにバナー広告を表示する場合に、広告対象とするユーザ属性を最適化した第２施策を評価する場合について説明する。バナー広告は、複数（例えば５つ）の候補画像を含み、これら候補画像は、施策が規定する法則に沿って広告枠４１Ａに表示される。例えば、第１施策（行為施策πｂ）は、５つの候補画像を広告枠４１Ａに表示する割合を規定する。第１施策において、５つの候補画像は、例えば、一定の順番で、あるいはランダムに、同じ比率で表示されたものとする。この場合、履歴データ３８に基づいて算出したクリック率は、第１施策の性能を示す。
【0046】
本例の第２施策（評価施策π）は、第１施策と同じ５つの候補画像を１つずつ同じ広告枠４１Ａに表示する場合に、ユーザ属性に基づいてどの候補画像を表示させるかを規定する。そのため、第２施策では、ユーザに応じて、５つの候補画像が表示される比率が変化し得る。本例では、第２施策を実施した場合の推定量（例えば、クリック率）を算出する。推定量としてクリック率を算出した場合、クリック当たりのコンバージョン率と、コンバージョン当たりの収益に基づいて、新たな施策を適用した場合の期待利益を見積もることが可能になる。
【0047】
ここで、数式３又は数式４により算出される推定量は、第１施策の実施中に広告内容が不変であることを前提としている。しかし、実際には、第１施策の実施中に広告内容に係る１以上の要件が変化していることがある。例えば、履歴データ３８を記録した期間中に、１回又は複数回、５つの候補画像のうちの一部が別の候補画像と変更されていたとする。この場合の変化する要件は、広告に使用される候補画像のラインナップである。
【0048】
また、ここで、数式３又は数式４により算出される推定量は、上記広告内容（ラインナップ）が不変であることに起因してバイアスが生じる。例えば、５つの候補画像のうち、クリック率が最も低い１つの画像が、より広告効果の高い１つの画像と変更されることにより、その変更の前後で、変更された画像及び残る４つの画像のクリック率が変動する可能性がある。
【0049】
上記バイアスに対処するため、本開示では、履歴データ３８に含まれる複数のデータセットを、第１施策に関する少なくとも１つの要件（例えば、複数の候補画像のラインナップ）が不変であることに基づいて区分する。そして、区分（セグメンテーション）により生成した区分データを用いて、区分（セグメント）毎に推定量を算出する。
【0050】
例えば、プロセッサ３２が、区分データ生成プログラム３５を実行して、履歴データ３８に含まれるｎ個のデータセットをＫ個に区分して、Ｋ個の区分データを作成する。このとき、プロセッサ３２は、複数のデータセットを、第１施策に関する少なくとも１つの要件が不変である区分に基づいて、複数の区分データを生成するように構成された、区分データ生成部として使用される。さらに、プロセッサ３２は、区分データ生成プログラム３５又は別の分割プログラム（図示略）を実行して、各区分データを訓練用データと評価用データとに分割する。
【0051】
各データセットは、例えば、広告を表示した時刻（タイムスタンプ）と、特徴量ｘ（ユーザの属性）と、対応する行動ａ（各時刻の表示画像）と、行動の結果ｒ（画像がクリックされたか否か）、に関するデータを含む。例えば、４週間に亘って実施される広告イベントにおいて、５つの候補画像のうちの１つが一週間毎に変更される場合、５つの候補画像が不変の１週間分の区分データが４つ作成される。
【0052】
区分データについて、ｋ番目の区分は以下のように定義される。
【0053】
【数5】
【0054】
【数6】
【0055】
【0056】
本例では、履歴データ３８は、広告キャンペーンの実施中に取得された複数のデータセットを含む。各データセットは、ユーザからのウェブサイト４０の表示要求の都度に取得された複数のデータを含む。ウェブサイト４０は１以上の広告枠４１（又は１以上の推薦枠４２）を含み、第１施策及び第２施策は、各広告枠４１（又は推薦枠４２）に広告画像（又は商品画像）を表示することに関する。また、特徴量ｘがユーザの属性であり、行動ａが複数の候補画像であり、行動の結果ｒが表示された広告画像（又は商品画像）をユーザがクリックしたか否かである。第１施策の結果を示す指標値はクリック率である。そして、複数の候補画像が各区分において不変であることを前提にしている。
【0057】
まず、ステップＳ１１で、プロセッサ３２が第２施策を策定するための機械学習のアルゴリズム（例えば、多腕バンディットアルゴリズム）を取得する。具体的には、プロセッサ３２が学習プログラム３６を取得して、メモリ３４に格納する。
【0058】
ステップＳ１２で、プロセッサ３２が履歴データ３８を取得する。具体的には、プロセッサ３２がウェブサーバ２０から履歴データ２８を受信して、履歴データ３８としてメモリ３４に格納する。ステップＳ１２は、ステップＳ１１より先に行われてもよいし、ステップＳ１１と同時に行われてもよい。
【0059】
ステップＳ１３で、プロセッサ３２が、区分データ生成プログラム３５を実行して、履歴データ３８に含まれる複数のデータセットから、第１施策に関する少なくとも１つの要件が不変であることに基づいて、複数の区分データを生成する。さらに、プロセッサ３２は、区分データ生成プログラム３５又は別の分割プログラムを実行して、各区分データを訓練用データと評価用データとに分割する。
【0060】
ステップＳ１４で、プロセッサ３２が、ステップＳ１１で得たアルゴリズムにおいて、ステップＳ１３で生成した区分データを用いてシミュレーションし、第２施策を最適化する。具体的には、プロセッサ３２が、区分データを分割した訓練用データを用いて学習プログラム３６を実行して、機械学習のアルゴリズムを各区分データにより訓練することにより、区分毎に最適化された学習モデル３９を作成する。このとき、プロセッサ３２は、第２施策に係る学習モデルを区分毎に生成するように構成された、学習モデル生成部として使用される。また、プロセッサ３２は、生成した学習モデル３９をメモリ３４に格納する。
【0061】
ステップＳ１４で、プロセッサ３２が評価プログラム３７を実行することにより、区分データから近似したオフライン評価（ＯＰＥ）の推定量を算出する。具体的には、プロセッサ３２が、上記数式３又は数式４において、Ｄ＝Ｄｋとして、区分毎に生成された学習モデルと区分データを分割した評価用データとを用いて、第２施策に係る推定量を算出する。この場合、上記数式３又は数式４において、πｂは履歴データ３８全体のデータセットの頻度の分布として計算される。このとき、プロセッサ３２は、区分データから近似した推定量を用いて、第２施策をオフライン評価するように構成された、評価部として使用される。
【0062】
［本開示の作用］
オフライン評価では、過去の履歴データ３８を利用することで、オンライン評価に伴うリスク及びコスト増加を避けつつ、新たな施策（第２施策）を評価することができる。ただし、第１施策を実施する間に、第１施策に関する１以上の要件（例えば、広告のための画像）が変更されていると、履歴データ３８には、その要件変更に起因するデータの変動が含まれ得る。そのため、第１施策の履歴データ３８を、第１施策とは異なる第２施策のオフライン評価に用いると、評価のための推定量にバイアスを含むことになる。
オフライン評価では、過去の履歴データ３８を利用することで、オンライン評価に伴うリスク及びコスト増加を避けつつ、新たな施策（第２施策）を評価することができる。ただし、第１施策を実施する間に、第１施策に関する１以上の要件（例えば、広告のための画像）が変更されていると、履歴データ３８には、その要件変更に起因するデータの変動が含まれ得る。そのため、第１施策の履歴データ３８を、第１施策とは異なる第２施策のオフライン評価に用いると、評価のための推定量にバイアスを含むことになる。
【0063】
その点、本開示では、履歴データ３８に含まれる複数のデータセットを、第１施策に関する１以上の要件が不変である区分に分けることにより、複数の区分データを生成している。そして、その区分毎に第２施策に係る学習モデル３９を生成した上で、区分データから近似した推定量を用いて第２施策をオフライン評価している。そのため、オフライン評価におけるバイアスが対処される。
【0064】
［本開示の効果］
本開示によれば、以下の効果を奏することができる。
（１）第２施策に係る学習モデルを区分毎に生成した後、区分データから近似した推定量を用いて第２施策をオフライン評価することにより、オフライン評価におけるバイアスに対処することができる。
本開示によれば、以下の効果を奏することができる。
（１）第２施策に係る学習モデルを区分毎に生成した後、区分データから近似した推定量を用いて第２施策をオフライン評価することにより、オフライン評価におけるバイアスに対処することができる。
【0065】
（２）多腕バンディットアルゴリズムのような強化学習のアルゴリズムを用いて学習モデルを生成することにより、累積報酬を最大化するための方策を策定することができる。
（３）推定量を算出する際に、第１施策の結果を示す指標値を、第１施策と第２施策の行動選択確率の比を用いて重み付けすることにより、第１施策を実施したときの履歴データ３８を用いて第２施策を評価することができる。
（３）推定量を算出する際に、第１施策の結果を示す指標値を、第１施策と第２施策の行動選択確率の比を用いて重み付けすることにより、第１施策を実施したときの履歴データ３８を用いて第２施策を評価することができる。
【0066】
（４）各広告枠４１に表示され得る複数の候補画像が不変であることに基づいて区分データを生成することにより、オフライン評価におけるバイアスに対処することができる。
（５）ユーザ属性を含む履歴データ３８を第２施策のオフライン評価に用いることにより、ユーザ属性に応じた広告を表示することが可能な第２施策を策定することができる。これにより、広告のクリック率の上昇が見込める。
（５）ユーザ属性を含む履歴データ３８を第２施策のオフライン評価に用いることにより、ユーザ属性に応じた広告を表示することが可能な第２施策を策定することができる。これにより、広告のクリック率の上昇が見込める。
【0067】
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
［変更例１］
第１施策及び第２施策は、ウェブサイト４０の広告枠４１又は推薦枠４２に限らず、任意の表示枠に画像を表示することを含んでもよい。例えば、表示枠は、駅、店舗、施設、又はオフィスなどに、ディスプレイ又はプロジェクターのような映像表示装置を設置して情報を発信するデジタルサイネージにおける表示枠であってもよい。映像表示装置により情報を発信する場合、特徴量ｘは、情報を設置する場所の属性であってもよいし、情報を発信する方法の属性であってもよい。また、行動ａが各候補画像であってもよく、行動の結果ｒが表示内容に関する問合せ又は販売促進効果であってもよい。
［変更例１］
第１施策及び第２施策は、ウェブサイト４０の広告枠４１又は推薦枠４２に限らず、任意の表示枠に画像を表示することを含んでもよい。例えば、表示枠は、駅、店舗、施設、又はオフィスなどに、ディスプレイ又はプロジェクターのような映像表示装置を設置して情報を発信するデジタルサイネージにおける表示枠であってもよい。映像表示装置により情報を発信する場合、特徴量ｘは、情報を設置する場所の属性であってもよいし、情報を発信する方法の属性であってもよい。また、行動ａが各候補画像であってもよく、行動の結果ｒが表示内容に関する問合せ又は販売促進効果であってもよい。
【0068】
あるいは、第１施策及び第２施策は、検索サイトにおいて、検索結果の候補となる複数の結果候補のうちの１つを、検索結果を示すための表示枠に表示することを含んでもよい。この場合、特徴量ｘは、検索を行ったユーザの属性であってもよく、行動ａが各検索結果であってもよく、行動の結果ｒが表示された検索結果をユーザがクリックしたか否かであってもよい。
【0069】
［変更例２］
第１施策及び第２施策は、画像に限らず、複数の対象候補から１以上の対象を選択することを含んでもよい。一例として、第１施策及び第２施策は、広告又はマーケティングの対象となる商品、サービス、ユーザ、又はユーザ属性を決定することを含んでもよい。例えば、対象候補は、郵便広告を送るユーザ又は送付住所であってもよいし、ポスティングの対象エリアであってもよいし、メールの送付先であってもよい。あるいは、対象候補は、モニター募集、営業又はサービスに関する案内をするための電話営業又はテレフォンアポイントメントの候補とするユーザ、ユーザ属性、又は電話番号であってもよい。その他、対象候補は、ユーザに様々な媒体（紙媒体又は電子媒体）により配布するクーポン又は商品サンプルであってもよい。
第１施策及び第２施策は、画像に限らず、複数の対象候補から１以上の対象を選択することを含んでもよい。一例として、第１施策及び第２施策は、広告又はマーケティングの対象となる商品、サービス、ユーザ、又はユーザ属性を決定することを含んでもよい。例えば、対象候補は、郵便広告を送るユーザ又は送付住所であってもよいし、ポスティングの対象エリアであってもよいし、メールの送付先であってもよい。あるいは、対象候補は、モニター募集、営業又はサービスに関する案内をするための電話営業又はテレフォンアポイントメントの候補とするユーザ、ユーザ属性、又は電話番号であってもよい。その他、対象候補は、ユーザに様々な媒体（紙媒体又は電子媒体）により配布するクーポン又は商品サンプルであってもよい。
【0070】
この場合、特徴量ｘが対象候補の属性であってもよく、行動ａが複数の対象候補であってもよく、行動の結果ｒがリアクションの有無又はリアクションの良否（すなわち、望ましい応答が得られたか否か）であってもよい。
【0071】
第２変更例によれば、複数の対象候補が不変であることに基づいて区分データを生成することにより、オフライン評価におけるバイアスに対処することができる。
［変更例３］
第１施策及び第２施策は、１つの表示枠に順次に表示される複数の画像の表示順序を決定することを含んでもよい。この場合、複数の画像が各区分において不変であればいい。この場合の表示枠は、例えば、カルーセル広告の表示枠であってもよいし、バナー広告の表示枠であってもよいし、おすすめ商品の表示枠であってもよいし、更新情報を告知する告知枠であってもよい。これら表示枠は、変更例１のような映像表示装置によって表示される画像に含まれていてもよいし、ウェブサイトに含まれていてもよい。
［変更例３］
第１施策及び第２施策は、１つの表示枠に順次に表示される複数の画像の表示順序を決定することを含んでもよい。この場合、複数の画像が各区分において不変であればいい。この場合の表示枠は、例えば、カルーセル広告の表示枠であってもよいし、バナー広告の表示枠であってもよいし、おすすめ商品の表示枠であってもよいし、更新情報を告知する告知枠であってもよい。これら表示枠は、変更例１のような映像表示装置によって表示される画像に含まれていてもよいし、ウェブサイトに含まれていてもよい。
【0072】
第３変更例によれば、複数の画像が不変であることに基づいて区分データを生成することにより、オフライン評価におけるバイアスに対処することができる。
［変更例４］
第１施策及び第２施策は、複数の物品又は複数のサービスからユーザに推薦する１以上の物品又はサービスを選択することを含んでもよい。この場合、複数の物品又は複数のサービスの価格が各区分において不変であってもよいし、複数の物品又は複数のサービスの品揃えが各区分において不変であってもよいし、価格と品揃えの両方が不変であってもよい。サービスは、例えば、音楽、映画、動画、テレビ番組、保険商品、金融商品などであってもよい。
［変更例４］
第１施策及び第２施策は、複数の物品又は複数のサービスからユーザに推薦する１以上の物品又はサービスを選択することを含んでもよい。この場合、複数の物品又は複数のサービスの価格が各区分において不変であってもよいし、複数の物品又は複数のサービスの品揃えが各区分において不変であってもよいし、価格と品揃えの両方が不変であってもよい。サービスは、例えば、音楽、映画、動画、テレビ番組、保険商品、金融商品などであってもよい。
【0073】
この場合、特徴量ｘがユーザの属性（例えば、年齢、性別、過去の視聴履歴、過去の購入履歴など）であってもよく、行動ａが物品又はサービスの種類であってもよく、行動の結果ｒが推薦に対するリアクションの有無、購買の有無、又は視聴時間であってもよい。
【0074】
第４変更例によれば、値段又は品揃えのうち少なくとも一方が不変であることに基づいて区分データを生成することにより、オフライン評価におけるバイアスに対処することができる。
【0075】
［変更例５］
ウェブサイト４０は、複数の商品又は複数のサービスを検索するための検索画面及びその検索結果画面を提示するように構成されてもよい。このとき、履歴データに含まれる各データセットは、検索画面におけるユーザからの検索要求の都度に取得された複数のデータを含んでもよい。そして、第１施策及び第２施策は、検索結果画面に表示する複数の検索結果の表示順位（ランキング）を決定することと、検索結果画面に検索意図に沿った順位で複数の検索結果を表示することと、を含む。複数の検索結果は、例えば検索アルゴリズムの変更により変化し得る。この場合、複数の検索結果が各区分において不変であってもよいし、検索対象となる商品又はサービスの品揃えが各区分において不変であってもよいし、検索結果と検索対象の両方が不変であってもよい。
ウェブサイト４０は、複数の商品又は複数のサービスを検索するための検索画面及びその検索結果画面を提示するように構成されてもよい。このとき、履歴データに含まれる各データセットは、検索画面におけるユーザからの検索要求の都度に取得された複数のデータを含んでもよい。そして、第１施策及び第２施策は、検索結果画面に表示する複数の検索結果の表示順位（ランキング）を決定することと、検索結果画面に検索意図に沿った順位で複数の検索結果を表示することと、を含む。複数の検索結果は、例えば検索アルゴリズムの変更により変化し得る。この場合、複数の検索結果が各区分において不変であってもよいし、検索対象となる商品又はサービスの品揃えが各区分において不変であってもよいし、検索結果と検索対象の両方が不変であってもよい。
【0076】
第５変更例によれば、複数の検索対象と複数の検索結果のうち少なくとも一方が不変であることに基づいて区分データを生成することにより、オフライン評価におけるバイアスに対処することができる。
【0077】
［変更例６］
施策評価装置３０は、区分データを生成する区分データ生成装置（例えば、コンピュータ）と、第２施策に係る学習モデルを生成する学習装置（例えば、コンピュータ）と、第２施策をオフライン評価する評価装置（例えば、コンピュータ）と、を備える施策評価システムであってもよい。この施策評価システムは、さらに、ウェブサーバ２０を備えてもよい。すなわち、施策評価装置３０は、物理的に１つの筐体に収容される装置に限らず、履歴データを取得するデータ取得部、区分データ生成部、学習モデル生成部、及び評価部といった複数の機能部を実現するための複数のコンピュータを含む、仮想的な装置であってもよい。
施策評価装置３０は、区分データを生成する区分データ生成装置（例えば、コンピュータ）と、第２施策に係る学習モデルを生成する学習装置（例えば、コンピュータ）と、第２施策をオフライン評価する評価装置（例えば、コンピュータ）と、を備える施策評価システムであってもよい。この施策評価システムは、さらに、ウェブサーバ２０を備えてもよい。すなわち、施策評価装置３０は、物理的に１つの筐体に収容される装置に限らず、履歴データを取得するデータ取得部、区分データ生成部、学習モデル生成部、及び評価部といった複数の機能部を実現するための複数のコンピュータを含む、仮想的な装置であってもよい。
【0078】
［変更例７］
第２施策を策定するための機械学習のアルゴリズムは、多腕バンディットアルゴリズムに限らない。例えば、他の強化学習に係るアルゴリズムなど、任意のアルゴリズムを利用することができる。
第２施策を策定するための機械学習のアルゴリズムは、多腕バンディットアルゴリズムに限らない。例えば、他の強化学習に係るアルゴリズムなど、任意のアルゴリズムを利用することができる。
【0079】
［変更例８］
施策の結果を示す指標値、特徴量ｘ、行動ａ、及び行動の結果ｒは、本開示で例示したものに限らず、任意に変更することができる。例えば、施策に係る表示等にアクセスするユーザの属性情報が取得できない場合、特徴量ｘは、広告対象の商品又はサービスの属性であってもよいし、表示枠の属性（例えば、大きさ又は表示位置など）、任意の特徴量に変更することができる。
施策の結果を示す指標値、特徴量ｘ、行動ａ、及び行動の結果ｒは、本開示で例示したものに限らず、任意に変更することができる。例えば、施策に係る表示等にアクセスするユーザの属性情報が取得できない場合、特徴量ｘは、広告対象の商品又はサービスの属性であってもよいし、表示枠の属性（例えば、大きさ又は表示位置など）、任意の特徴量に変更することができる。
【0080】
［変更例９］
区分データを生成する場合の条件は任意に変更することができる。例えば、政策又は税率の変更、社会情勢又は行動様式の変化、季節又は天候の変化など、ユーザを取り巻く環境変化を区分の起点としてもよい。また、区分と区分との間に、変化が落ち着くまでの一定のマージンを設けてもよい。こうした環境変化に伴って、ユーザの行動も変化し得るためである。また、区分データを作成するときに、複数のデータセットを複数の要件が不変である区分に分けてもよい。特に、バイアスを多く含むと想定される１以上の要件が不変となるように、区分データを生成するとよい。逆に、要件変更の影響が小さければ、その要件に基づく区分を行わなくてもよい。すなわち、本開示における「少なくとも１つの要件」は、オフライン評価に有意な影響を生じ得る要件を意味する。
区分データを生成する場合の条件は任意に変更することができる。例えば、政策又は税率の変更、社会情勢又は行動様式の変化、季節又は天候の変化など、ユーザを取り巻く環境変化を区分の起点としてもよい。また、区分と区分との間に、変化が落ち着くまでの一定のマージンを設けてもよい。こうした環境変化に伴って、ユーザの行動も変化し得るためである。また、区分データを作成するときに、複数のデータセットを複数の要件が不変である区分に分けてもよい。特に、バイアスを多く含むと想定される１以上の要件が不変となるように、区分データを生成するとよい。逆に、要件変更の影響が小さければ、その要件に基づく区分を行わなくてもよい。すなわち、本開示における「少なくとも１つの要件」は、オフライン評価に有意な影響を生じ得る要件を意味する。
【0081】
以下に、上記実施形態及び変更例から把握される態様を列挙する。
［１］１以上のプロセッサと１以上のメモリとを備え、
前記メモリには、第１施策を実施したときの記録である複数のデータセットを含む履歴データが格納されており、
前記プロセッサは、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行するように構成される、施策評価装置。
［１］１以上のプロセッサと１以上のメモリとを備え、
前記メモリには、第１施策を実施したときの記録である複数のデータセットを含む履歴データが格納されており、
前記プロセッサは、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行するように構成される、施策評価装置。
【0082】
［２］前記アルゴリズムは多腕バンディットアルゴリズムであり、
前記各データセットは、特徴量と、前記特徴量に対応する行動と、前記行動の結果と、に関するデータを含む、
上記［１］に記載の施策評価装置。
前記各データセットは、特徴量と、前記特徴量に対応する行動と、前記行動の結果と、に関するデータを含む、
上記［１］に記載の施策評価装置。
【0083】
［３］前記推定量の算出は、前記第１施策の結果を示す指標値を、前記第１施策と前記第２施策の行動選択確率の比を用いて重み付けすることを含む、
上記［２］に記載の施策評価装置。
上記［２］に記載の施策評価装置。
【0084】
［４］前記第１施策及び前記第２施策は、複数の候補画像のうちの１つを表示枠に表示することを含み、
前記複数の候補画像が前記各区分において不変である、
上記［１］～［３］のうち何れかに記載の施策評価装置。
前記複数の候補画像が前記各区分において不変である、
上記［１］～［３］のうち何れかに記載の施策評価装置。
【0085】
［５］前記各データセットは、ユーザからのウェブサイトの表示要求の都度に取得された複数のデータを含み、
前記ウェブサイトは１以上の広告枠を含み、
前記第１施策及び前記第２施策は、前記各広告枠に広告画像を表示することを含み、
前記特徴量が前記ユーザの属性であり、前記行動が各候補画像であり、前記行動の結果が表示された前記広告画像を前記ユーザがクリックしたか否かであり、
前記複数の候補画像が前記各区分において不変である、
上記［２］又は［３］に記載の施策評価装置。
前記ウェブサイトは１以上の広告枠を含み、
前記第１施策及び前記第２施策は、前記各広告枠に広告画像を表示することを含み、
前記特徴量が前記ユーザの属性であり、前記行動が各候補画像であり、前記行動の結果が表示された前記広告画像を前記ユーザがクリックしたか否かであり、
前記複数の候補画像が前記各区分において不変である、
上記［２］又は［３］に記載の施策評価装置。
【0086】
［６］前記第１施策及び前記第２施策は、複数の対象候補から１以上の対象を選択することを含み、
前記複数の対象候補が前記各区分において不変である、
上記［１］～［３］のうち何れかに記載の施策評価装置。
前記複数の対象候補が前記各区分において不変である、
上記［１］～［３］のうち何れかに記載の施策評価装置。
【0087】
［７］前記第１施策及び前記第２施策は、１つの表示枠に順次に表示される複数の画像の表示順序を決定することを含み、
前記複数の画像が前記各区分において不変である、
上記［１］～［３］のうち何れかに記載の施策評価装置。
前記複数の画像が前記各区分において不変である、
上記［１］～［３］のうち何れかに記載の施策評価装置。
【0088】
［８］前記第１施策及び前記第２施策は、複数の物品又は複数のサービスからユーザに推薦する１以上の物品又はサービスを選択することを含み、
前記各区分において、前記複数の物品又は前記複数のサービスの価格と、前記複数の物品又は前記複数のサービスの品揃えと、のうち少なくとも一方が不変である、
上記［１］～［３］のうち何れかに記載の施策評価装置。
前記各区分において、前記複数の物品又は前記複数のサービスの価格と、前記複数の物品又は前記複数のサービスの品揃えと、のうち少なくとも一方が不変である、
上記［１］～［３］のうち何れかに記載の施策評価装置。
【0089】
［９］前記各データセットは、検索画面におけるユーザからの検索要求の都度に取得された複数のデータを含み、
前記第１施策及び前記第２施策は、検索結果画面に表示する複数の検索結果の表示順位を決定することを含み、
前記各区分において、複数の検索対象と前記複数の検索結果のうち少なくとも一方が不変である、
上記［１］～［３］のうち何れかに記載の施策評価装置。
前記第１施策及び前記第２施策は、検索結果画面に表示する複数の検索結果の表示順位を決定することを含み、
前記各区分において、複数の検索対象と前記複数の検索結果のうち少なくとも一方が不変である、
上記［１］～［３］のうち何れかに記載の施策評価装置。
【0090】
［１０］第１施策を実施したときの記録である複数のデータセットを含む履歴データが格納されたメモリと、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成するように構成された区分データ生成部と、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、前記区分毎に第２施策に係る学習モデルを生成するように構成された学習モデル生成部と、
前記各区分データを用いて、前記区分毎に前記第２施策をオフライン評価するように構成された評価部と、
を備える、施策評価装置。
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成するように構成された区分データ生成部と、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、前記区分毎に第２施策に係る学習モデルを生成するように構成された学習モデル生成部と、
前記各区分データを用いて、前記区分毎に前記第２施策をオフライン評価するように構成された評価部と、
を備える、施策評価装置。
【0091】
［１１］１以上のプロセッサと１以上のメモリとを備え、
前記メモリには、第１施策を実施したときの記録である複数のデータセットを含む履歴データが格納されており、
前記プロセッサは、
前記第１施策を実施した期間内における環境変化を起点として前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行するように構成される、施策評価装置。
前記メモリには、第１施策を実施したときの記録である複数のデータセットを含む履歴データが格納されており、
前記プロセッサは、
前記第１施策を実施した期間内における環境変化を起点として前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行するように構成される、施策評価装置。
【0092】
［１２］上記［１］～［１１］のうち何れかに記載の施策評価装置と、
第１施策を実施したときの記録である複数のデータセットを含む履歴データが格納されたメモリを備えるサーバと、
を備える、施策評価システム。
第１施策を実施したときの記録である複数のデータセットを含む履歴データが格納されたメモリを備えるサーバと、
を備える、施策評価システム。
【0093】
［１３］１以上のコンピュータに、
第１施策を実施したときの記録である複数のデータセットを含む履歴データを取得することと、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行させることを含む、施策評価方法。
第１施策を実施したときの記録である複数のデータセットを含む履歴データを取得することと、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行させることを含む、施策評価方法。
【0094】
［１４］１以上のコンピュータに、
第１施策を実施したときの記録である複数のデータセットを含む履歴データを取得することと、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行させるための、施策評価プログラム。
第１施策を実施したときの記録である複数のデータセットを含む履歴データを取得することと、
前記第１施策に関する少なくとも１つの要件が不変であることに基づいて前記複数のデータセットを区分することにより、複数の区分データを生成することと、
機械学習のアルゴリズムを前記各区分データにより訓練することにより、第２施策に係る学習モデルを区分毎に生成することと、
前記各区分データから近似した推定量を用いて、前記第２施策をオフライン評価することと、
を実行させるための、施策評価プログラム。
【符号の説明】
【0095】
１１…システム、１３…端末、１４…ネットワーク、２０…ウェブサーバ、２２…プロセッサ、２３…通信機、２４…メモリ、２５…表示プログラム、２７…広告データ、２８…履歴データ、２９…顧客データ、３０…施策評価装置、３２…プロセッサ、３３…通信機、３４…メモリ、３５…区分データ生成プログラム、３６…学習プログラム、３７…評価プログラム、３８…履歴データ、３９…学習モデル、４０…ウェブサイト、４１（４１Ａ～４１Ｄ）…広告枠、４２…推薦枠。
【図1】
【図2】
【図3】