特許 7164508 補正された効果に基づいてアイテムを選択するプログラム、装置及び方法、並びにアイテム効果推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-24

(45)【発行日】2022-11-01

(54)【発明の名称】補正された効果に基づいてアイテムを選択するプログラム、装置及び方法、並びにアイテム効果推定プログラム

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20221025BHJP

   G06N 20/00 20190101ALI20221025BHJP

【ＦＩ】

G06Q30/02 382

G06N20/00

【請求項の数】 9

(21)【出願番号】P 2019193741

(22)【出願日】2019-10-24

(65)【公開番号】P2021068238

(43)【公開日】2021-04-30

【審査請求日】2021-11-16

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(74)【代理人】

【識別番号】100141313

【弁理士】

【氏名又は名称】辰巳 富彦

(72)【発明者】

【氏名】石川 雄一

(72)【発明者】

【氏名】小林 亮博

【審査官】永野 一郎

(56)【参考文献】

【文献】特開２０１７－１８２６６３（ＪＰ，Ａ）

【文献】特開２０１８－０７７６７１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１０２６９３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０２０５７９４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

複数のアイテムからアイテムを選択するコンピュータを機能させるアイテム選択プログラムであって、
前記複数のアイテムにおける各アイテムの効果を、学習済みのアイテム効果推定モデルを用いて推定する効果推定手段と、
ある学習データの少なくとも一部を用いて、アイテムの効果を推定する検証用効果推定モデルを生成し、前記ある学習データの少なくとも一部に基づき、生成した検証用効果推定モデルの評価を行って、推定された効果と正解の効果との関係に係る効果関係情報を生成する効果関係情報生成手段と、
当該アイテム効果推定モデルによって推定された当該各アイテムの効果から、当該効果関係情報に基づき、当該各アイテムの補正された効果を決定する推定効果補正手段と、
当該各アイテムの補正された効果に基づいて、前記複数のアイテムからアイテムを選択するアイテム選択手段と
してコンピュータを機能させることを特徴とするアイテム選択プログラム。

【請求項2】

前記効果関係情報生成手段は、当該学習データを複数のサブセットに分割して、各サブセットを評価データとした、互いに評価データ部分の異なる複数の検証用データセットを生成し、当該検証用データセット毎に、当該評価データであるサブセット以外のサブセットを訓練データとして検証用効果推定モデルを生成し、当該評価データに含まれている特徴量に基づき当該検証用効果推定モデルを用いて、当該推定された効果を決定し、一方、当該評価データに含まれている当該効果に係る正解データから、対応する当該正解の効果を決定することによって、当該効果関係情報を生成することを特徴とする請求項１に記載のアイテム選択プログラム。

【請求項3】

当該効果は、当該効果に係る行為又は現象が発生する確率に係る量であって、当該学習データに含まれている当該効果に係る正解データは、当該効果に係る行為又は現象の発生の有無に係る量であり、
前記効果関係情報生成手段は、当該推定された効果と、対応する当該効果に係る正解データとの組から構成されるテーブルにおいて、当該組を当該推定された効果の大きさの順にソートした上で、当該組毎に、当該推定された効果として、当該組を含む所定範囲内の組における当該推定された効果の統計値を採用し、一方、対応する当該正解の効果として、前記所定範囲内の組における当該効果に係る正解データの統計値を採用する
ことを特徴とする請求項１又は２に記載のアイテム選択プログラム。

【請求項4】

前記複数のアイテムに含まれるアイテム毎に又はアイテム群毎に、当該アイテム又は当該アイテム群に係る学習データによって当該アイテム効果推定モデルを生成する効果推定モデル構築手段としてコンピュータを更に機能させ、
前記効果関係情報生成手段は、当該アイテム又は当該アイテム群に係る学習データの少なくとも一部によって当該検証用効果推定モデルを生成することを特徴とする請求項１から３のいずれか１項に記載のアイテム選択プログラム。

【請求項5】

前記ある学習データは、前記複数のアイテムに係るデータの少なくとも一部、及び／又は当該アイテム効果推定モデルに係る学習データの少なくとも一部を含むことを特徴とする請求項１から４のいずれか１項に記載のアイテム選択プログラム。

【請求項6】

当該アイテムは広告クリエイティブであって、当該学習データに係る特徴量は、当該広告クリエイティブについての画像特徴量、メッセージ特徴量、動画特徴量、及び音声特徴量のうちの少なくとも１つと、広告提示対象である人についての属性に係る属性特徴量とを含むことを特徴とする請求項１から５のいずれか１項に記載のアイテム選択プログラム。

【請求項7】

その効果を評価すべきアイテムの効果を推定するコンピュータを機能させるアイテム効果推定プログラムであって、
当該評価すべきアイテムの効果を、学習済みのアイテム効果推定モデルを用いて推定する効果推定手段と、
ある学習データの少なくとも一部を用いて、アイテムの効果を推定する検証用効果推定モデルを生成し、前記ある学習データの少なくとも一部に基づき、生成した検証用効果推定モデルの評価を行って、推定された効果と正解の効果との関係に係る効果関係情報を生成する効果関係情報生成手段と、
当該評価すべきアイテムの推定された効果から、当該効果関係情報に基づき、当該評価すべきアイテムの補正された効果を決定する推定効果補正手段と
してコンピュータを機能させることを特徴とするアイテム効果推定プログラム。

【請求項8】

複数のアイテムからアイテムを選択するアイテム選択装置であって、
前記複数のアイテムにおける各アイテムの効果を、学習済みのアイテム効果推定モデルを用いて推定する効果推定手段と、
ある学習データの少なくとも一部を用いて、アイテムの効果を推定する検証用効果推定モデルを生成し、前記ある学習データの少なくとも一部に基づき、生成した検証用効果推定モデルの評価を行って、推定された効果と正解の効果との関係に係る効果関係情報を生成する効果関係情報生成手段と、
当該各アイテムの推定された効果から、当該効果関係情報に基づき、当該各アイテムの補正された効果を決定する推定効果補正手段と、
当該各アイテムの補正された効果に基づいて、前記複数のアイテムからアイテムを選択するアイテム選択手段と
を有することを特徴とするアイテム選択装置。

【請求項9】

複数のアイテムからアイテムを選択するコンピュータにおけるアイテム選択方法であって、
前記複数のアイテムにおける各アイテムの効果を、学習済みのアイテム効果推定モデルを用いて推定し、また、ある学習データの少なくとも一部を用いて、アイテムの効果を推定する検証用効果推定モデルを生成し、前記ある学習データの少なくとも一部に基づき、生成した検証用効果推定モデルの評価を行って、推定された効果と正解の効果との関係に係る効果関係情報を生成するステップと、
当該各アイテムの推定された効果から、当該効果関係情報に基づき、当該各アイテムの補正された効果を決定するステップと、
当該各アイテムの補正された効果に基づいて、前記複数のアイテムからアイテムを選択するステップと
を有することを特徴とするアイテム選択方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広告クリエイティブ等のアイテムを作成・選択する技術に関する。

【背景技術】

【0002】

近年、インターネットの普及に伴い、ウェブ（Web）広告に使用される広告クリエイティブとして、如何なるものを作成して選択し、提供するかが重要な課題となっている。例えば、スマートフォン等でウェブページを閲覧するユーザにとって好適な広告クリエイティブを、的確に作成・選択・配信して広告効果をより高めることが非常に重要となっている。

【0003】

ここで従来、ウェブページ等に掲載するバナー広告の作成・選択・配信は、典型的には以下の通りに行われてきた（例えば、非特許文献１及び２を参照）。
（ａ）最初に広告主が、広告の対象とする商材の特徴と、配信先となるターゲット層の属性（性別、年代、職業、年収、ライフステージ、趣味嗜好等)とを決定し、
（ｂ）上記（ａ）の決定事項に基づいて、クリエイタが、メッセージや写真等から構成される広告クリエイティブを複数作成し、
（ｃ）作成された複数の広告クリエイティブを少数の配信先にテスト配信し、その中から、クリック率やコンバージョン率といった広告効果の高い広告クリエイティブを選択し、
（ｄ）上記（ｃ）で選択した広告クリエイティブを、ターゲット層全体に配信する。

【0004】

このような典型例における配信では最終的に、ターゲット層の全受信者に対し、上記（ｃ）で選択された同一の広告クリエイティブが配信されることになる。しかしながら、より高いクリック率やコンバージョン率を獲得するためには、例えば受信者の属性に応じ、受信者毎に異なる広告クリエイティブを配信したほうがよい可能性も考えられる。

【0005】

こうした可能性を踏まえ、例えば非特許文献３や非特許文献４には、受信者の属性、特に受信者の心理特性に基づき、準備された各広告クリエイティブに対する受信者のクリック率やコンバージョン率を予測し、受信者に応じて、予測される広告効果のより高い広告クリエイティブを配信し分ける技術が提案されている。

【0006】

ここで、非特許文献３の技術は具体的に、予めのアンケート調査により、被験者に同一商材の広告クリエイティブを複数提示して、各広告クリエイティブの好ましさを回答させ、この回答結果と、別途計測した被験者の心理特性とに基づいて、受信者の心理特性から当該受信者にとっての各広告クリエイティブの好ましさを予測するモデルを構築し、このモデルの予測した、好ましさが最も高い広告クリエイティブを各受信者に提示し分けるものとなっている。

【先行技術文献】

【非特許文献】

【0007】

【文献】インプレス ビジネスメディア、「［A／Bテスト］最強のクリエイティブ理論大公開！ネット広告のレスポンス効率を上げ続ける方法はこれだ！」、[online]、［令和１年１０月１６日検索］、インターネット＜URL: https://netshop.impress.co.jp/node/3636＞

【文献】Google広告ヘルプ、「レスポンシブ ディスプレイ広告について」、[online]、［令和１年１０月１６日検索］、インターネット＜URL: https://support.google.com/adwords/answer/6363750?hl=ja＞

【文献】Matz, S. C., Segalin, C., Stillwell, D., Muller, S. R., & Bos, M. W., " Predicting the Personal Appeal of Marketing Images Using Computational Methods ", Journal of Consumer Psychology 29(3). https://doi.org/10.1002/jcpy.1092, ２０１９年

【文献】Yuichi Ishikawa, Akihiro Kobayashi, and Atsunori Minamikawa. "Predicting Advertising Appeal from Receiver's Psychological Traits and Ad Design Features", In Adjunct Publication of the 27th Conference on User Modeling, Adaptation and Personalization (UMAP'19 Adjunct). ACM, New York, NY, USA, ４５～４９頁.２０１９年, DOI: https://doi.org/10.1145/3314183.3324979

【発明の概要】

【発明が解決しようとする課題】

【0008】

このような非特許文献３の技術によってモデルを構築するためには、被験者に対し同一商材の広告クリエイティブを複数提示して、各クリエイティブの好ましさを相対評価させる必要がある。しかしながら、このような複数提示も相対評価の取得も、実際には実施困難となっている。

【0009】

すなわち、同一の受信者に対し複数の広告クリエイティブを提示することは、広告配信コストが高くなってしまい、また、何度も同じ商材の広告が配信されるのであるから広告商材や広告主に対する受信者のもつ好感度が劣化するリスクを抱えており、その実施は非現実的である。さらに、実際の広告の配信結果から取得されるのは、クリックやコンバージョンが行われたか否かの離散値データであって、相対的な好ましさといった相対評価を表現する連続値データは通常、収集不可能である。

【0010】

これに対し、非特許文献４の技術はたしかに、広告クリエイティブをクリック／コンバージョンしたか否かのデータ（反応の有無のデータ）のみから、各広告クリエイティブに対し受信者がクリック／コンバージョンを行う確率を予測するモデルを構築し、このモデルを利用して広告クリエイティブを受信者によって提示し分け、クリック率／コンバージョン率の向上を図っている。

【0011】

しかしながら、本願発明者等は、非特許文献４で開示されたような広告効果予測モデルを用いた場合において、そのモデルの出力するクリック／コンバージョンの予測確率が、実際の確率に対し上振れしたり下振れしたりする現象が起こり得ることを発見した。

【0012】

したがって実際には、従来技術である公知の広告効果予測モデルを用い、予測確率を判断基準として広告クリエイティブの選択を行う、より具体的には予測確率のより高い広告クリエイティブを選択し配信するという手法では、広告クリエイティブの選択配信の効果が十分に得られない場合が生じてしまうのである。

【0013】

そこで、本発明は、その効果に基づきアイテムを選択する場合において、実際に取得可能な又は取得容易なデータから、より正確なアイテムの効果を推定することができるプログラム、装置及び方法を提供することを目的とする。

【課題を解決するための手段】

【0014】

本発明によれば、複数のアイテムからアイテムを選択するコンピュータを機能させるアイテム選択プログラムであって、
これら複数のアイテムにおける各アイテムの効果を、学習済みのアイテム効果推定モデルを用いて推定する効果推定手段と、
ある学習データの少なくとも一部を用いて、アイテムの効果を推定する検証用効果推定モデルを生成し、この学習データの少なくとも一部に基づき、生成した検証用効果推定モデルの評価を行って、推定された効果と正解の効果との関係に係る効果関係情報を生成する効果関係情報生成手段と、
当該アイテム効果推定モデルによって推定された当該各アイテムの効果から、当該効果関係情報に基づき、当該各アイテムの補正された効果を決定する推定効果補正手段と、
当該各アイテムの補正された効果に基づいて、前記複数のアイテムからアイテムを選択するアイテム選択手段と
してコンピュータを機能させるアイテム選択プログラムが提供される。

【0015】

この本発明によるアイテム選択プログラムの一実施形態として、効果関係情報生成手段は、当該学習データを複数のサブセットに分割して、各サブセットを評価データとした、互いに評価データ部分の異なる複数の検証用データセットを生成し、当該検証用データセット毎に、当該評価データであるサブセット以外のサブセットを訓練データとして検証用効果推定モデルを生成し、当該評価データに含まれている特徴量に基づき当該検証用効果推定モデルを用いて、当該推定された効果を決定し、一方、当該評価データに含まれている当該効果に係る正解データから、対応する当該正解の効果を決定することによって、当該効果関係情報を生成することも好ましい。

【0016】

さらに、本発明によるアイテム選択プログラムの他の実施形態として、
当該効果は、当該効果に係る行為又は現象が発生する確率に係る量であって、当該学習データに含まれている当該効果に係る正解データは、当該効果に係る行為又は現象の発生の有無に係る量であり、
効果関係情報生成手段は、当該推定された効果と、対応する当該効果に係る正解データとの組から構成されるテーブルにおいて、当該組を当該推定された効果の大きさの順にソートした上で、当該組毎に、当該推定された効果として、当該組を含む所定範囲内の組における当該推定された効果の統計値を採用し、一方、対応する当該正解の効果として、前記所定範囲内の組における当該効果に係る正解データの統計値を採用する
ことも好ましい。

【0017】

また、本発明に係るモデル生成処理について、本プログラムは、複数のアイテムに含まれるアイテム毎に又はアイテム群毎に、当該アイテム又は当該アイテム群に係る学習データによって当該アイテム効果推定モデルを生成する効果推定モデル構築手段としてコンピュータを更に機能させ、また、効果関係情報生成手段は、当該アイテム又は当該アイテム群に係る学習データの少なくとも一部によって当該検証用効果推定モデルを生成することも好ましい。

【0018】

さらに、本発明に係るモデル生成処理に使用される学習データについて、上記の「ある学習データ」は、複数のアイテムに係るデータの少なくとも一部、及び／又は当該アイテム効果推定モデルに係る学習データの少なくとも一部を含むことも好ましい。

【0019】

また本発明において具体的に、当該アイテムは広告クリエイティブであって、当該学習データに係る特徴量は、
（ａ）当該広告クリエイティブについての画像特徴量、メッセージ特徴量、動画特徴量、及び音声特徴量のうちの少なくとも１つと、
（ｂ）広告提示対象である人（配信先ユーザ）についての属性に係る属性特徴量と
を含むことも好ましい。

【0020】

本発明によれば、また、その効果を評価すべきアイテムの効果を推定するコンピュータを機能させるアイテム効果推定プログラムであって、
当該評価すべきアイテムの効果を、学習済みのアイテム効果推定モデルを用いて推定する効果推定手段と、
ある学習データの少なくとも一部を用いて、アイテムの効果を推定する検証用効果推定モデルを生成し、この学習データの少なくとも一部に基づき、生成した検証用効果推定モデルの評価を行って、推定された効果と正解の効果との関係に係る効果関係情報を生成する効果関係情報生成手段と、
当該評価すべきアイテムの推定された効果から、当該効果関係情報に基づき、当該評価すべきアイテムの補正された効果を決定する推定効果補正手段と
してコンピュータを機能させるアイテム効果推定プログラムが提供される。

【0021】

本発明によれば、さらに、複数のアイテムからアイテムを選択するアイテム選択装置であって、
これら複数のアイテムにおける各アイテムの効果を、学習済みのアイテム効果推定モデルを用いて推定する効果推定手段と、
ある学習データの少なくとも一部を用いて、アイテムの効果を推定する検証用効果推定モデルを生成し、この学習データの少なくとも一部に基づき、生成した検証用効果推定モデルの評価を行って、推定された効果と正解の効果との関係に係る効果関係情報を生成する効果関係情報生成手段と、
当該各アイテムの推定された効果から、当該効果関係情報に基づき、当該各アイテムの補正された効果を決定する推定効果補正手段と、
当該各アイテムの補正された効果に基づいて、前記複数のアイテムからアイテムを選択するアイテム選択手段と
を有するアイテム選択装置が提供される。

【0022】

本発明によれば、さらにまた、複数のアイテムからアイテムを選択するコンピュータにおけるアイテム選択方法であって、
これら複数のアイテムにおける各アイテムの効果を、学習済みのアイテム効果推定モデルを用いて推定し、また、ある学習データの少なくとも一部を用いて、アイテムの効果を推定する検証用効果推定モデルを生成し、この学習データの少なくとも一部に基づき、生成した検証用効果推定モデルの評価を行って、推定された効果と正解の効果との関係に係る効果関係情報を生成するステップと、
当該各アイテムの推定された効果から、当該効果関係情報に基づき、当該各アイテムの補正された効果を決定するステップと、
当該各アイテムの補正された効果に基づいて、前記複数のアイテムからアイテムを選択するステップと
を有するアイテム選択方法が提供される。

【発明の効果】

【0023】

本発明によれば、その効果に基づきアイテムを選択する場合において、実際に取得可能な又は取得容易なデータから、より正確なアイテムの効果を推定することが可能となる。

【図面の簡単な説明】

【0024】

【図1】本発明によるアイテム選択装置の一実施形態における機能構成を示す機能ブロック図である。

【図2】本発明に係る学習データ生成部で生成される学習データの一実施形態を示す模式図である。

【図3】本発明に係る効果関係テーブル生成部による効果関係テーブル生成処理の一実施形態を説明するための模式図である。

【図4】本発明に係る効果関係テーブル生成部による効果関係テーブル生成処理の一実施形態を説明するための模式図である。

【図5】本発明に係る推定効果補正部による推定効果補正処理の一実施例を説明するためのグラフである。

【発明を実施するための形態】

【0025】

以下、本発明の実施形態について、図面を用いて詳細に説明する。

【0026】

［アイテム選択装置］
図１は、本発明によるアイテム選択装置の一実施形態における機能構成を示す機能ブロック図である。

【0027】

図１に示した本実施形態のクリエイティブ選択装置１は、取得したアイテムとしての広告クリエイティブ（広告制作物）群の中から、その提示効果である広告効果に基づいて、広告提示対象である配信先ユーザに提示すべき広告クリエイティブを選択するアイテム選択装置である。

【0028】

このクリエイティブ選択装置１は、本実施形態において、インターネット上のサーバ装置又はクラウドサーバとして設置されており、または、事業者通信網内に事業者設備として設置されていて、インターネット上に設置されたクリエイティブデータベース（ＤＢ）２、契約情報ＤＢ３、及びクリエイティブ配信結果ＤＢ４から、それぞれ広告クリエイティブ群、契約情報、及びクリエイティブ配信結果情報を取得可能となっている。なお、クリエイティブ選択装置１は、これらの情報を通信以外の方法で取得する、例えばスタンドアローンの装置として設置されることも可能である。

【0029】

ここで、取得される広告クリエイティブ群は、クリエイティブ選択装置１が、その中から配信すべき広告クリエイティブを選択することになる配信候補群となっている。例えば、一人又は複数のクリエイタが、広告主から提示された（ａ）広告対象である商材の特徴及び（ｂ）配信先となるターゲット層の属性（性別、年代、職業、年収、ライフステージ、趣味嗜好等)に基づいて作成した多数の広告クリエイティブとすることができる。

【0030】

また、取得される契約情報は、例えば通信事業者とユーザとの間の通信回線契約であってもよく、いずれにしても提示対象（配信対象ユーザ）の属性（性別、年代、職業、年収、ライフステージ、趣味嗜好等)を含む情報となっている。ここで、本クリエイティブ選択装置１は、当該通信事業者の管理の下で当該契約情報の取得を許可されているものとすることができる。

【0031】

なお、クリエイティブ選択装置１は、当該契約情報とともに、提示対象（配信先ユーザ）の属性情報として性格・心理特性情報を取得することも好ましい。この性格・心理特性情報は、例えば契約者に対して行われたアンケート調査の結果から生成されたものであってもよく、または、契約者に係る情報（例えばウェブアクセス履歴等）から公知の性格・心理特性推定技術を用いて推定されたものであってもよい。

【0032】

さらに、取得されるクリエイティブ配信結果情報は、本実施形態において、本クリエイティブ選択装置１が選択対象とする複数の広告クリエイティブについて過去に実施された配信テストの結果（例えば各広告クリエイティブのクリック率やコンバージョン率）を含む。例えば通常、全ての配信対象ユーザに広告クリエイティブを配信する前の準備として、一部のユーザに対し広告クリエイティブをテスト配信する運用が行われるが、クリエイティブ配信結果情報は、このテスト配信結果であってもよい。

【0033】

ちなみに、このクリエイティブ配信結果情報は、本実施形態において、
（ａ）後述する「クリエイティブ効果想定モデル」を構築する際に使用される学習データを生成するためのデータとして使用され、また、
（ｂ）後述する「検証用効果推定モデル」を構築する際に使用される訓練データ（学習データ）を生成するためのデータとしても使用され、さらに、後述する「効果関係情報（効果関係テーブル）」を生成するのにも使用されるのである。

【0034】

同じく図１に示すように、クリエイティブ選択装置１は、具体的にその特徴として、
（Ａ）複数の広告クリエイティブ（アイテム）における各広告クリエイティブの効果を、学習済みの「クリエイティブ（アイテム）効果推定モデル」を用いて推定するクリエイティブ効果推定部１１４と、
（Ｂ１）ある学習データ（本実施形態では、テスト配信結果等のクリエイティブ配信結果情報から生成された学習データ）の少なくとも一部を用いて、広告クリエイティブの効果を推定する「検証用効果推定モデル」を生成し、さらに、
（Ｂ２）この学習データの少なくとも一部（前述の「一部」と一致していてもよいが、通常の交差検証のように異なる部分であることも好ましい）に基づき、生成した「検証用効果推定モデル」の評価を行って、推定された効果と正解の効果との関係に係る「効果関係情報」（本実施形態では、効果関係テーブル）を生成する効果関係テーブル生成部１１５と、
（Ｃ）「クリエイティブ効果推定モデル」によって推定された各広告クリエイティブの効果から、「効果関係情報（効果関係テーブル）」に基づき、各広告クリエイティブの補正された効果を決定する推定効果補正部１１６と、
（Ｄ）各広告クリエイティブの補正された効果に基づいて、上記の複数の広告クリエイティブから広告クリエイティブを選択するクリエイティブ選択部１１７と
を有している。
ここで、上記構成（Ａ）～（Ｃ）までの機能構成手段は、アイテム（広告クリエイティブ）の効果を推定する、本発明によるアイテム効果推定装置又はプログラムを構成すると捉えることも可能である。

【0035】

このように、クリエイティブ選択装置１は、複数の広告クリエイティブの中からその広告効果に基づき広告クリエイティブを選択する場合において、「クリエイティブ効果推定モデル」による推定結果（広告効果）を、「実際に取得可能な又は取得容易なデータ」（本実施形態ではテスト配信結果等のクリエイティブ配信結果情報）によって生成した「効果関係情報（効果関係テーブル）」を利用して、より正解に近いものに補正している。

【0036】

これにより、選択対象である複数の広告クリエイティブの各々に対しより正確な（より正解に近い）広告効果を推定することができる。またその結果、より有効な広告クリエイティブを選択することが可能となるのである。

【0037】

なお、上記の「実際に取得可能な又は取得容易なデータ」ではないデータ例としては、複数の選択肢を配信先ユーザが相対評価したデータや、配信先ユーザが複数の選択肢を提示された上で選択を行った結果のデータが挙げられる。このようなデータは、配信コストや好感度劣化リスクの観点から実際には取得が非常に困難となっているが、クリエイティブ選択装置１は、このようなデータに依らずに上記の効果を奏功するのである。

【0038】

また本実施形態において、クリエイティブ選択装置１は、選択した広告クリエイティブ又はそのＩＤ（識別子）を成果物として、通信インタフェース部１０１からインターネットを介して、例えば、広告主から配信業務を受注した広告配信業者に係る端末へ送信することもできる。このような選択された広告クリエイティブ又はそのＩＤを取得した広告配信業者は、これにより、配信すべき広告クリエイティブをより適切に決定することも可能となるのである。

【0039】

ちなみに、本願発明者等は、「クリエイティブ効果推定モデル」を用いた場合において、そのモデルの出力する推定広告効果が、実際のクリック率やコンバージョン率に対し上振れしたり下振れしたりする現象が起こり得ることを発見した。そこで、このような推定誤差を解消するべくその振れ具合を定量化し、上記構成（Ｂ）の「効果関係情報（効果関係テーブル）」を生成して活用することを発明したのである。

【0040】

ここで、広告クリエイティブの「広告効果」としては、例えば、
（ａ）当該広告クリエイティブを提示されたユーザが、当該広告クリエイティブに対してクリックする確率であるクリック率、
（ｂ）当該広告クリエイティブの表示されたウェブサイトにおいて、当該ウェブサイトの目標（例えば商品の購入、資料請求、会員（メルマガ）登録等）が達成された割合であるコンバージョン率、及び
（ｃ）当該広告クリエイティブを提示されたユーザが、当該広告クリエイティブで訴求されている企業や商品・サービスについてポジティブな印象を持つ確率であるブランド認知率
のうちの少なくとも１つを含むものとすることができる。

【0041】

上記（ａ）～（ｃ）の「広告効果」はいずれも、例えばウェブ広告の費用対効果を図る上での指標として頻用されているものであるが、勿論、広告（提示）の有効度として数値化されるものならば、他の様々な指標を「広告効果」として採用することも可能である。

【0042】

なお、本発明によるアイテム選択装置が取り扱い可能なアイテムは当然、広告クリエイティブに限定されるものではない。例えば、視聴可能なコンテンツや書籍等、提示・提供対象に提示・提供することによって何らかの「数値化可能な効果」が得られるものならば種々のものが、本発明に係るアイテムに該当し得るのである。

【0043】

［装置機能構成，アイテム選択プログラム・方法］
同じく図１の機能ブロック図によれば、クリエイティブ選択装置１は、通信インタフェース部１０１と、クリエイティブデータベース（ＤＢ）１０２と、属性・性格情報ＤＢ１０３と、配信結果ＤＢ１０４と、キーボード（ＫＢ）１０５と、ディスプレイ（ＤＰ）１０６と、プロセッサ・メモリとを有する。

【0044】

ここで、このプロセッサ・メモリは、本発明によるアイテム選択プログラムの一実施形態を保存しており、また、コンピューティング機能を有していて、このアイテム選択プログラムを実行することによって、アイテム選択処理を実施する。このことから、クリエイティブ選択装置１は、本発明によるアイテム選択プログラムを搭載した、例えばパーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等であってもよい。

【0045】

さらに、プロセッサ・メモリは、クリエイティブ・ユーザ特徴量生成部１１１と、学習データ生成部１１２と、効果推定モデル構築部１１３と、クリエイティブ効果推定部１１４と、効果関係把握部１１５ａを含む効果関係テーブル生成部１１５と、推定効果補正部１１６と、クリエイティブ選択部１１７と、通信制御部１２１と、入出力制御部１２２とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存されたアイテム選択プログラムの機能と捉えることができる。また、図１におけるクリエイティブ選択装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明によるアイテム選択方法の一実施形態としても理解される。

【0046】

同じく図１の機能ブロック図において、クリエイティブデータベースＤＢ１０２は、通信インタフェース部１０１及び通信制御部１２１を介して取得された広告クリエイティブ群を保存・管理する。ここで、保存する広告クリエイティブ毎に関連情報、例えば、作成したクリエイタＩＤ、作成の際のコンセプト・作成基準情報（例えば、商材の特徴、ターゲット層の属性等）を紐づけて管理することも好ましい。

【0047】

属性・性格情報ＤＢ１０３は、通信インタフェース部１０１及び通信制御部１２１を介して取得された契約情報やアンケート調査結果情報等に含まれる、提示対象（配信先ユーザ）の属性情報（性別、年代、職業、年収、ライフステージ、趣味嗜好、性格・心理特性等）を、ユーザＩＤに紐づけて保存・管理する。また、配信結果ＤＢ１０４は、通信インタフェース部１０１及び通信制御部１２１を介して取得された、上述したようなクリエイティブ配信結果情報を保存・管理する。

【0048】

クリエイティブ・ユーザ特徴量生成部１１１は、
（ア）クリエイティブデータベースＤＢ１０２に保存・管理された広告クリエイティブから、当該広告クリエイティブのクリエイティブ特徴量を生成し、また、
（イ）属性・性格情報ＤＢ１０３に保存・管理された提示対象（配信先ユーザ）の属性情報から、当該配信先ユーザのユーザ特徴量を生成する。

【0049】

このうち上記（ア）のクリエイティブ特徴量は、広告クリエイティブについての
（ａ）画像特徴量、
（ｂ）メッセージ特徴量、
（ｃ）動画特徴量、及び
（ｄ）音声特徴量
のうちの少なくとも１つ、好ましくはこれらのうちで算出可能である特徴量の全てを含むことも好ましい。

【0050】

＜（ａ）画像特徴量＞
上記（ａ）の画像特徴量は例えば、（ａ１）画像ヒストグラムに係る特徴量成分、及び（ａ２）物体種別ラベルの単語ベクトルに係る特徴量成分のうちの少なくとも１つを含むものとすることができる。

【0051】

ここで、（ａ１）の画像ヒストグラムに係る特徴量成分は、広告クリエイティブの画像部分における、輝度やＲＧＢ各色の階級毎における該当するピクセルの数の分布を示す画像ヒストグラムから決定されたデータである。例えば、各ピクセル値が、ＲＧＢ各色における強さとして0から3までの値をとるとして、ＲＧＢ各色の強さ（0～3）毎に、該当するピクセルの数をとった場合、当該数の組が、画像ヒストグラムに係る特徴量成分となる。

【0052】

より具体的には、例えば合計100ピクセルの画像であって、
Ｒ：[10,20,30,40]， Ｇ：[10,40,30,10]，Ｂ：[5,5,80,10]
ここで、括弧[]内の各数値は、左から強さ0,1,2,3のピクセル数
となる場合、これら３つのベクトルのベクトル成分を全て、画像ヒストグラムに係る特徴量成分とすることができる。

【0053】

または、ＲＧＢ各色の強さの組合せ毎に、該当するピクセルの数をとり、当該数の組を特徴量成分に採用してもよい。例えば、[1,3,5,8,…,2]のように、左からＲＧＢ各色の強さがそれぞれ000，001，010，011，・・・であるピクセルの数を示す、合計64（＝4×4×4）個のベクトル成分を持つベクトルを構成し、当該ベクトルの各ベクトル成分を、画像ヒストグラムに係る特徴量成分としてもよい。

【0054】

次に、（ａ２）の物体種別ラベルの単語ベクトルに係る特徴量成分としては、例えば公知の画像認識技術を用いて、広告クリエイティブにおける（写真部分、絵画部分やイラスト部分を含む）画像部分に含まれている物体の種別を識別し、その際取得された物体種別ラベルについて算出された数値を採用することができる。ちなみに、上記の画像認識技術として例えば、高速Ｒ-ＣＮＮ（Faster Regions with Convolutional Neural Networks）等による識別器を用いた画像認識処理が周知となっている。

【0055】

また、上記の取得された物体種別ラベルについて算出される数値については、例えば取得された物体種別ラベルに対し、単語の意味を表現する特徴ベクトルを算出可能な公知の手法、例えばword2vecを適用して、当該物体種別ラベルの特徴ベクトルを算出し、当該特徴ベクトル成分を当該数値として採用してもよい。

【0056】

ここで、物体種別ラベルの分類する内容としては、「人物」、「犬」、「自動車」、「男性」、「家」等が挙げられ、さらには、「人物」が著名である場合（例えば俳優である場合）には、当該著名人物の「人物名」を含めてもよい。さらに、１つの広告クリエイティブの画像部分から抽出される物体は複数であってもよく、この場合、それらの物体に付与された物体種別ラベル毎に特徴量成分が算出される実施形態も可能である。または、当該広告クリエイティブの画像部分の中で最も大きい面積を占める物体のみについて特徴量成分が算出されてもよい。

【0057】

さらに、取得された物体種別ラベルに係る物体がバナー内に占める面積の割合や、バナー中心から当該物体中心までの距離等の情報を算出し、当該情報を、物体種別ラベルに係る特徴量成分として採用することも可能である。

【0058】

さらにまた、画像特徴量として勿論、画像内における人の顔の数やその表情、性別や年代等を、手動で（人手で）ラベリングしたデータを採用することも可能である。

【0059】

＜（ｂ）メッセージ特徴量＞
上記（ｂ）のメッセージ特徴量は例えば、広告クリエイティブに含まれる文書ベクトルに係る特徴量成分を含むものとすることができる。具体的に、この文書ベクトルに係る特徴量成分としては、広告クリエイティブに含まれる文書データを抽出し、取得された文書データに対し、単語の意味を表現する特徴ベクトルを算出可能な公知の手法、例えばword2vecを適用して特徴ベクトルを算出し、当該特徴ベクトルの成分を、文書ベクトルに係る特徴量成分に採用してもよい。

【0060】

ちなみに、抽出される文書データには、構成素材の動画や音楽等で音声として出力される文書データも含めることも好ましい。また、広告クリエイティブに複数の文書データが含まれる場合、その全てを抽出し、抽出された文書データの各々について特徴量成分を決定してもよく、または、広告クリエイティブ内において最も大きい面積をもって表示される文書データのみについて、特徴量成分が算出される実施形態も可能である。

【0061】

さらに、抽出される文書データに係る特徴量成分として、当該文書データにおける文字数や、（文書データが文字で構成されている場合に）文字のフォントサイズ、また、文書データが広告クリエイティブ内に占める面積の割合や、バナー中心から文書中心までの距離、さらには、（文書データが音声データである場合に）文書読み上げの音量や、文書読み上げの時間長等も、追加で採用可能である。

【0062】

＜（ｃ）動画特徴量＞
上記（ｃ）の動画特徴量は例えば、（ｃ１）色分布の特徴量成分、（ｃ２）動き分布の特徴量成分、及び（ｃ３）物体種別ラベルの単語ベクトルに係る特徴量成分のうちの少なくとも１つを含むものとすることができる。

【0063】

ここで、（ｃ１）の色分布の特徴量成分は、動画データの各フレームを静止画として扱い、当該静止画について上記（ａ１）の画像ヒストグラムに係る特徴量成分を算出して、全てのフレームにおける当該特徴量成分の平均値を、動画データの特徴量成分とするものである。なお、動画の圧縮・伸長方式によってはキーフレームの差分情報しか含まないフレームが存在するが、この場合、キーフレームのみを対象として色分布の特徴量成分を算出することができる。

【0064】

また、（ｃ２）の動き分布の特徴量成分は、動画データのキーフレームに対してオプティカルフローを計算し、オプティカルフローを構成するベクトルの速度及び角度を集計して、それらの平均及び分散をもって特徴量成分とするものである。

【0065】

さらに、（ｃ３）の物体種別ラベルの単語ベクトルに係る特徴量成分は、動画データの各フレームを静止画として扱い、当該静止画について上記（ａ２）の物体種別ラベルの単語ベクトルに係る特徴量成分を算出し、当該特徴量成分をそのまま動画データの特徴量成分とするものである。

【0066】

なお、このような特徴量成分に加えてさらに、（i）各物体種別ラベルの被写体が動画に映っていた時間、（ii）各物体種別ラベルの被写体がフレーム画像に占める面積の割合におけるフレーム間平均値、及び（iii）各物体種別ラベルの被写体の中心とフレーム画像の中心との距離におけるフレーム間平均値の逆数と、動画に映っていた時間との積算値
のうちの少なくとも１つを特徴量成分として採用してもよい。ちなみに、上記（ii）の面積割合の平均値は、被写体がより長時間より大きく映っているほど大きな値となり、また、上記（iii）の積算値は、被写体がより長時間フレーム画像のより中央に映っているほど大きな値となる。

【0067】

＜（ｄ）音声特徴量＞
上記（ｄ）の音声特徴量は、広告クリエイティブにおける音声データに係る特徴量成分を含むものとすることができる。例えば、当該音声データに対しフーリエ変換を行い、取得される周波数成分毎の振幅値を、音声特徴量成分とすることができる。

【0068】

以上、上記（ア）のクリエイティブ特徴量について説明したが、次いで、上記（イ）のユーザ特徴量の説明を行う。ユーザ特徴量は、配信先ユーザの属性情報として取得された、性別、年代、職業、年収、ライフステージ、趣味嗜好、性格・心理特性のうちの少なくとも１つを含むことも好ましい。またこのうち、心理特性としては、Goldberg等によって提唱されているＦＦＭ（Five Factor Model）で用いられる主要５因子（Big Five）
（ａ）Extraversion（外向性）、
（ｂ）Agreeableness（協調性）、
（ｃ）Conscientiousness（勤勉性）、
（ｄ）Neuroticism（情緒不安定性）、及び
（ｅ）Openness to Experience（経験への開放性）
の値の組を採用することも好ましい。

【0069】

なお、ＦＦＭについては例えば、非特許文献：Lewis R. Goldberg, "The structure of phenotypic personality traits", American Psychologist, 48(1), pp.26-34, １９９３年に記載されている。

【0070】

ちなみに、１つの実施形態として、属性・性格情報ＤＢ１０３は、外部から配信先ユーザのウェブアクセス履歴情報を取得して保存・管理し、クリエイティブ・ユーザ特徴量生成部１１１は、このウェブアクセス履歴情報に基づいて、配信先ユーザについての心理特性（Big Fiveスコア）を推定し、この推定結果からユーザ特徴量を生成してもよい。

【0071】

このような心理特性（Big Fiveスコア）の推定は、本願発明者の一人を発明者として含む特願２０１８－０９０２８２号に記載されている通り、
（ａ）ユーザが閲覧したページ毎に、当該ページに含まれるテキストから単語を抽出する第１のステップと、
（ｂ）第１の機械学習エンジンを用いて、第１のステップによって抽出された単語と心理特性用語との全ての組み合わせについて、単語間距離を算出する第２のステップと、
（ｃ）心理特性用語の要素毎に、当該単語間距離に基づく統計値を対応付けた心理特性ベクトルを、当該ユーザにおける心理特性の遷移履歴として生成する第３のステップと
を有する心理特性の推定方法によって実現される。

【0072】

ここで、第１の機械学習エンジンは、教師データとなるコーパスから学習し、各単語を意味に基づいてベクトル表現化する機能を有しており、また、心理特性用語は、ＦＦＭ（５因子モデル）に基づく形容詞とすることができるのである。

【0073】

さらに変更態様として、クリエイティブ・ユーザ特徴量生成部１１１は、上記（ア）のクリエイティブ特徴量や、上記（イ）のユーザ特徴量以外にも、例えば、
（ウ）広告対象である商材に係る特徴量、及び
（エ）広告主に係る特徴量
のうちの一方又は両方を生成することも好ましい。

【0074】

このうち、（ウ）の商材に係る特徴量については、例えば広告対象である商品やサービスにおけるジャンル、価格帯や、商材訴求要素等に関する情報を、その特徴量成分に設定することができる。具体的に、例えば当該ジャンルとしては、予め商品やサービスのジャンル毎に数字で表現されるラベル、例えば食料品ならば100、乗用車ならば200、教材ならば300、清涼飲料水ならば110、アルコール飲料ならば120、ビールならば121といったラベルを紐づけておき、広告対象の商品やサービスについての当該ラベルを特徴量としてもよい。

【0075】

また、商材訴求要素であれば、訴求軸毎に数字で表現されるラベル、例えば価格ならば1、デザインならば2、アフターサポートならば3といったラベルを予め紐づけておき、広告対象の遡及要素における当該ラベルを特徴量とすることができる。

【0076】

一方、（エ）の広告主に係る特徴量としては、例えば広告主の知名度、好感度や、広告主の企業規模、株価等を特徴量成分として採用することができる。なお、これらの情報は例えば、これらの情報が公表されているウェブサイト等から取得することが可能である。なお勿論、広告効果の予測に使用可能なデータであれば、他にも種々のものが、クリエイティブ・ユーザ特徴量生成部１１１における生成対象の特徴量とすることができる。

【0077】

同じく図１の機能ブロック図において、学習データ生成部１１２は、
（ａ）クリエイティブ・ユーザ特徴量生成部１１１で生成された特徴量を多数取得し、
（ｂ）取得した各特徴量に係る広告クリエイティブ及び／又は配信先ユーザについての配信結果（例えばクリックやコンバージョンの有無）の情報を、配信結果ＤＢ１０４から取得し、
（ｃ）当該特徴量データと対応する当該配信結果情報（正解データ）との多数の組で構成される学習データを生成する。

【0078】

ここで、上記（ａ）の特徴量は、少なくともクリエイティブ特徴量及びユーザ特徴量を含むことも好ましい。勿論さらに、広告対象（商材）に係る特徴量や広告主に係る特徴量も含んでいてもよい。また、互いに異なる複数（多数）の広告クリエイティブについて特徴量を生成する態様であるならば、クリエイティブ特徴量のみを含む特徴量とすることも可能である。

【0079】

ちなみに、このように生成された学習データは、本実施形態において、
（ａ）後述する「クリエイティブ効果想定モデル」を構築する際に使用され、また、
（ｂ）後述する「検証用効果推定モデル」を構築する際にも（訓練データとして）使用され、さらに、後述する「効果関係情報（効果関係テーブル）」を生成するのにも使用されるのである。

【0080】

図２は、学習データ生成部１１２で生成される学習データの一実施形態を示す模式図である。

【0081】

図２に示した実施形態によれば、学習データ生成部１１２で生成された学習データは、一人のユーザのユーザ特徴量と、１つの広告クリエイティブのクリエイティブ特徴量との組に対し、反応の有無の正解データを紐づけた複数（多数）のデータセットから構成されている。

【0082】

具体的には、例えばユーザX（ユーザＩＤ＝Xのユーザ）のユーザ特徴量1，2，3,・・・と、広告クリエイティブA（クリエイティブＩＤ＝Aの広告クリエイティブ）のクリエイティブ特徴量1，2，3,・・・との組に対して、広告クリエイティブAをユーザXへ配信（提示）した場合において実際にクリック又はコンバージョンが行われたか否かを調査した結果としての「反応の有無」のデータ（行われた場合は1，行われなかった場合は0）が紐づけられるのである。

【0083】

図１の機能ブロック図に戻って、効果推定モデル構築部１１３は、クリエイティブデータベースＤＢ１０２に保存・管理された、
（ａ）選択対象である複数の広告クリエイティブに含まれる広告クリエイティブ毎に、（学習データ生成部１１２で生成された）当該広告クリエイティブに係る学習データによって、当該広告クリエイティブ用の「クリエイティブ効果推定モデル」を構築することも好ましく、または、
（ｂ）選択対象である複数の広告クリエイティブに含まれる所定の広告クリエイティブ群毎に、（学習データ生成部１１２で生成された）当該広告クリエイティブ群に係る学習データによって、当該広告クリエイティブ群用の「クリエイティブ効果推定モデル」を構築することも好ましい。

【0084】

ここで変更態様として、選択対象である複数の広告クリエイティブ全体に共通の「クリエイティブ効果推定モデル」を構築してもよい。さらに、他の広告クリエイティブ源から調達した広告クリエイティブを用いて当該モデルを構築することも可能である。しかしながら、広告効果の予測を行う状況・条件に応じて、上記（ａ）や上記（ｂ）のような「モデル」を適切に設定し利用することにより、より高い精度で広告効果を推定することも可能となるのである。

【0085】

またさらに言えば、上記（ａ）のように広告クリエイティブ毎の「クリエイティブ効果推定モデル」を展開した方が、この後詳細に説明する推定された広告効果の補正処理において、より高い精度で補正を実施できる可能性が高くなる。したがって、本実施形態では特に断りのない限り、「クリエイティブ効果推定モデル」は、広告クリエイティブ毎に構築されたものとする。

【0086】

また、「クリエイティブ効果推定モデル」を構築するのに使用される統計・機械学習アルゴリズムは特に限定されず、例えば二項ロジットモデル、ロジスティック回帰、ランダムフォレスト（Random Forest）、XGboost、LightGBM、ニューラルネットワーク（Neural Network）等の公知のアルゴリズムが採用可能である。

【0087】

いずれにしても、「クリエイティブ効果推定モデル」は、例えばクリエイティブ特徴量やユーザ特徴量等を説明変数とし、広告クリエイティブ毎の反応確率（クリック確率やコンバージョン確率等）を目的変数とするモデルとすることができる。すなわち、例えば特定の広告クリエイティブを特定のユーザに配信した際に見込まれる反応確率を予測するモデルとして構築可能となっているのである。

【0088】

同じく図１の機能ブロック図において、クリエイティブ効果推定部１１４は、効果推定モデル構築部１１３で構築された学習済みの「クリエイティブ効果推定モデル」を用いて、選択対象である複数の広告クリエイティブの各々における、所定条件下での（例えば所定の属性を有するユーザに提示した際の）予測反応確率（クリック確率やコンバージョン確率等）を決定する。

【0089】

また、効果関係テーブル生成部１１５は、クリエイティブ効果推定部１１４で決定された予測反応確率（推定された広告効果）を補正するのに使用される「効果関係テーブル（効果関係情報）」を生成する。

【0090】

ここで本実施形態においては、この効果関係テーブル生成部１１５の効果関係把握部１１５ａが、
（ア）ある「学習データ」における所定の一部を用いて、広告効果を推定する「検証用効果推定モデル」を生成し、
（イ）この「学習データ」における残りの部分に基づき、生成した「検証用効果推定モデル」の評価（交差検証）を行い、
（ウ）推定された広告効果と正解の広告効果との関係を把握・決定する。
次いで、上記（ウ）の把握・決定された関係に基づいて、この関係を表した「効果関係テーブル」が生成されるのである。

【0091】

このうち上記（ア）及び（イ）の「学習データ」は、
（ａ）選択対象である複数の広告クリエイティブに係るデータ（例えばクリエイティブ特徴量データ）の少なくとも一部、及び
（ｂ）「クリエイティブ効果推定モデル」に係る学習データの少なくとも一部
のうちのいずれか一方又は両方を含むことも好ましい。これにより、この後説明する推定効果補正部１１６における推定広告効果（予測反応確率）の補正処理において、より高い精度で補正を実施できる可能性が高くなる。

【0092】

さらに言えば、「クリエイティブ効果推定モデル」が、上述したように広告クリエイティブ毎に又は所定の広告クリエイティブ群毎に、当該広告クリエイティブ又は当該広告クリエイティブ群に係る学習データによって生成される場合において、上記の検証モデル生成・評価用の「学習データ」も、当該広告クリエイティブ又は当該広告クリエイティブ群に係る学習データの少なくとも一部を含むことも好ましいのである。

【0093】

ここで以下、効果関係テーブル生成部１１５で実施される効果関係テーブル生成処理の内容を、図３及び４を用いてより具体的に説明する。

【0094】

図３及び４は、効果関係テーブル生成部１１５による効果関係テーブル生成処理の一実施形態を説明するための模式図である。

【0095】

図３に示すように、効果関係テーブル生成部１１５（の効果関係把握部１１５ａ）は、
（ａ）学習データ生成部１１２で生成された「学習データ」を複数のサブセット（図３では1，2，3の３つ）に分割して、各サブセットを評価データとした、互いに評価データ部分の異なる複数の「交差検証用データセット」（図３ではイ，ロ，ハの３つ）を生成し、
（ｂ）「交差検証用データセット」毎に、当該評価データであるサブセット以外のサブセットを訓練データとして「検証用効果推定モデル」（図３では広告クリエイティブ毎にモデルが生成されるので検証用効果推定モデル群イ，ロ，ハの３群）を生成し、
（ｃ）当該評価データに含まれている特徴量に基づき「検証用効果推定モデル」（検証用効果推定モデル群イ，ロ，ハの３群）を用いて「予測反応確率（推定された広告効果）」を決定し、一方、当該評価データに含まれている当該広告効果に係る「反応の有無（正解データ）」から、対応する「正解反応率（正解の効果）」を決定し、
（ｄ）上記（ｃ）の決定内容から「効果関係テーブル」を生成する
のである。

【0096】

ここで上記（ａ）～（ｃ）のモデル生成・評価処理においては具体的に、交差検証用データセットイでは、サブセット2及び3が訓練データとなって、サブセット1が評価データとなる。また、データセットロでは、サブセット1及び3が訓練データとなって、2が評価データとなる。さらに、データセットハでは、サブセット1及び2が訓練データ、3が評価データとして扱われる。なお当然、分割数はこのように3に限定されるものではなく、2以上の可能な数を設定することができる。また、サブセットへの分割は等分であることも好ましいが、必ずしもそれに限定されない。

【0097】

次に、上記（ｃ）及び（ｄ）の効果関係テーブル生成処理をより具体的に説明する。図４に示すように効果関係テーブル生成部１１５（効果関係把握部１１５ａ）は最初に、上述したモデル生成・評価処理によって、「予測反応確率（推定された広告効果）」と対応する「反応の有無（正解データ）」との組であるレコードから構成される予測結果格納テーブルを生成する。

【0098】

効果関係テーブル生成部１１５は次いで、この予測結果格納テーブルにおいて、レコードを「予測反応確率（推定された広告効果）」の大きさの順に（図４では昇順に）ソートした上で、レコード（組）毎に、
（ｃ１）当該レコードを含む所定範囲内のレコード（図４では昇順先の2つを含む計3つのレコード）における推定された効果の統計値（図４では平均値）を算出して、効果関係テーブルの「予測反応確率」とし、一方、
（ｃ２）同じ所定範囲内のレコードにおける当該効果に係る正解データの統計値（図４では平均値）を算出して、効果関係テーブルの対応する「正解反応率（正解の効果）」とする
ことにより、予測反応確率補正用テーブルである「効果関係テーブル」を生成する。

【0099】

ここで、上述したようなレコード毎に統計値を算出する手順は具体的に、予測結果格納テーブルに対し、図４に示したようなスライディングウィンドウＡ，Ｂ，Ｃ，Ｄ，・・・を適用し、各ウィンドウ内において統計値（図４では平均値）としての予測反応確率及び正解反応率を計算するものとすることができる。

【0100】

以上説明したように、予測結果格納テーブルに対しスライディングウィンドウを適用することによって、元来0又は1の離散値データであった「反応の有無（正解データ）」から、モデルの出力である推定効果の補正値として相応しい0～1の連続値データである「正解反応率（正解の効果）」を算出し、さらにそれに対応する「予測反応確率（推定された広告効果）」を導出することが可能となる。

【0101】

すなわち言い換えれば、本実施形態のクリエイティブ選択装置１は、広告効果推定のための情報として取得可能な又は取得容易な（実際にクリックやコンバージョンが行われたか否かの情報を含む）クリエイティブ配信結果から、連続値である推定広告効果を補正するのに好適な「効果関係テーブル（予測反応確率補正用テーブル）」を生成することができるのである。

【0102】

なお、「効果関係テーブル」の生成処理において、図４ではレコード数について固定長（3レコード）のスライディングウィンドウが適用されているが当然、所定条件に従う変動長のスライディングウィンドウを適用することも可能である。また、スライディングウィンドウの他にも、離散値である実際の反応有無から連続値である正解反応率を算出すると共にそれに対応する予測反応確率を導出することができるものならば、様々な手法を適用することができる。

【0103】

図１の機能ブロック図に戻って、推定効果補正部１１６は、クリエイティブ効果推定部１１４において「クリエイティブ効果推定モデル」によって推定された、選択対象である各広告クリエイティブの「広告効果」から、効果関係テーブル生成部１１５で生成された「効果関係テーブル」に基づき、各広告クリエイティブの「補正された広告効果」を決定する。

【0104】

図５は、推定効果補正部１１６による推定効果補正処理の一実施例を説明するためのグラフである。

【0105】

図５に示された補正用グラフは、２つの広告クリエイティブＡ及びＢのそれぞれについて生成された「広告クリエイティブＡの検証用モデル」及び「広告クリエイティブＢの検証用モデル」を交差検証して生成された「広告クリエイティブＡの効果関係テーブル」及び「広告クリエイティブＢの効果関係テーブル」を、それぞれグラフ化したものである。

【0106】

推定効果補正部１１６は、「広告クリエイティブＡのクリエイティブ効果推定モデル」及び「広告クリエイティブＢのクリエイティブ効果推定モデル」それぞれの出力である「広告クリエイティブＡの予測反応確率（広告効果）」及び「広告クリエイティブＢの予測反応確率（広告効果）」を、この補正用グラフ（効果関係テーブル）を参照して補正するのである。

【0107】

ここで、この補正用グラフでは、横軸が予測反応確率（推定された広告効果）であって、縦軸がそれに対応する正解反応率（正解の広告効果）となっており、また、広告クリエイティブＡ（Ｂ）のグラフ曲線は、「広告クリエイティブＡ（Ｂ）の予測反応確率」と「広告クリエイティブＡ（Ｂ）の正解反応率」との実際の関係を示している。

【0108】

このうち広告クリエイティブＡのグラフ曲線については、予測反応確率が小さい範囲（0.200辺りまでの範囲）では、予測反応確率が大きくなっても正解反応率はそれほど大きくならないが、その後、予測反応確率と正解反応率とは、相当の変動を含みながらも概ね同様の値をとる傾向を示している。これに対し、広告クリエイティブＢのグラフ曲線については、予測反応確率が0.275辺りまでの範囲で、予測反応確率が大きくなっても正解反応率はそれほど大きくならないが、その後、予測反応確率が増加するにつれ、正解反応率はより急に増大する傾向を示している。このように、予測反応確率は、個々の広告クリエイティブに特有の推定誤差を包含していることが理解される。

【0109】

ここで、例えば予測反応確率が0.23～0.28の範囲内の値である場合、その値に依らず、正解反応率は広告クリエイティブＡの方が高くなっている。したがってこの場合に、補正処理を施していない予測反応確率に基づき広告クリエイティブＢを選択して配信したとすると、実際に奏功する広告効果は、広告クリエイティブＡを配信するのと比較してより小さくなってしまう。また一方で、例えば予測反応確率が0.3を超える範囲内の値である場合、以上説明したものとはＡ及びＢに関して全く逆の事象が起こり得るのである。

【0110】

このような課題を解決するため、推定効果補正部１１６は、例えば広告クリエイティブＡの予測反応確率がA1の場合、広告クリエイティブＡのグラフ（効果関係テーブル）を用いてA1に対応する正解反応率A2を決定し、広告クリエイティブＡの推定される広告効果をA1からA2に補正する。また、例えば広告クリエイティブＢの予測反応確率がB1（＞A1）の場合、広告クリエイティブＢのグラフ（効果関係テーブル）を用いてB1に対応する正解反応率B2（＜A2）を決定し、広告クリエイティブＢの推定される広告効果をB1からB2に補正する。

【0111】

その結果、補正処理を施さない予測反応確率に基づくと、推定される広告効果のより高い（すなわちA1よりも大きいB1を有する）広告クリエイティブＢを選択してしまうところ、推定効果補正部１１６で補正処理を実施することによって、正解反応率ではより高い値を示す（すなわちB2よりも大きいA2を有する）広告クリエイティブＡを選択することが可能となるのである。

【0112】

図１の機能ブロック図に戻って、クリエイティブ選択部１１７は、選択対象である複数の広告クリエイティブの各々について決定された、補正された広告効果（予測反応確率）に基づいて、これら複数の広告クリエイティブから配信すべき広告クリエイティブを選択する。ここで例えば、所定の配信先ユーザを条件として導出された補正広告効果（補正予測反応確率）に関し上位N個（Nは1以上の整数）の広告クリエイティブを、当該配信先ユーザへの配信用として選別することも好ましい。

【0113】

また、クリエイティブ選択部１１７で選択された広告クリエイティブ、又は当該広告クリエイティブのクリエイティブＩＤは、本発明に係る補正・選択処理の成果物として、通信制御部１２１及び通信インタフェース部１０１を介し、外部の情報処理装置、例えば広告配信業者に係る端末へ送信されてもよい。また、選択された広告クリエイティブは、キーボード１０５からの表示指示の下、入出力制御部１２２を介してディスプレイ１０６に表示され、種々の処理、例えば確認・修正処理やタグ等の情報追加処理を施されてもよい。

【0114】

一方、クリエイティブ選択装置１を本発明によるアイテム効果推定装置として捉えた場合の成果物である、推定効果補正部１１６で補正された予測反応確率（広告効果）についても、対応するクリエイティブＩＤを紐づけた上で、通信制御部１２１及び通信インタフェース部１０１を介し、外部の情報処理装置へ送信してもよい。またさらに、キーボード１０５からの表示指示の下、入出力制御部１２２を介してディスプレイ１０６に表示してもよい。

【0115】

以上に説明した推定効果補正部１１６及びクリエイティブ選択部１１７での処理によって、例えば広告クリエイティブの選択配信におけるクリック率やコンバージョン率といった反応率を、より向上させることが可能となる。ここで上述したように、本願発明者等は、統計・機械学習モデルにより予測した反応確率の包含する推定誤差を定量化するのに成功したのであり、これにより、より正解に近い（正確な）予測反応確率を決定し、その結果、より有効な広告クリエイティブを選択することが可能となったのである。

【0116】

ちなみに、予測反応確率を補正せずに直接用いて広告クリエイティブの選択配信を行う非特許文献４の方式と、本発明の上記の実施形態における方式との間で、広告効果の比較実験を行ったところ、本発明の上記の実施形態の方式によれば、非特許文献４の方式を基準として、反応率が最大で12.6％向上するとの結果が得られている。

【0117】

また、すでに述べたことではあるが、本発明の推定効果補正・アイテム選択処理の適用対象は当然、広告クリエイティブの選択配信に限定されるものではない。例えば、広告クリエイティブをクリックした際に表示されるランディングページ（ＬＰ）デザインの評価・選択も、この適用対象に該当する。このＬＰについても、広告クリエイティブ同様に複数のデザインを用意しておき、個々のユーザに対し、購買確率が最も高くなるデザインのＬＰを提示するという運用が考えられ、ここで、予測購買確率を本発明によって補正した上でＬＰを選択することができるのである。ちなみに、ＬＰについては、実際の運用では購買につながったか否かのデータしか取得できず、また、同一ユーザによる相対評価結果や複数選択肢からの選択結果を得ることもできない。このようにＬＰは、広告クリエイティブと同様の事情を抱えたアイテムであると言えるのである。

【0118】

さらに、本発明の推定効果補正・アイテム選択処理の適用対象として、店舗における接客係の評価・選択を挙げることもできる。例えば携帯端末の販売店や不動産仲介サービスの提供店のように、顧客と比較的長時間対面して接客を行う店舗においては、接客係の評価・選択は契約成否を左右する重要な課題となっている。ここで、顧客の属性に合わせて、成約確率の高い接客係を選択することができれば成約率の向上が見込まれるが、同一顧客から複数の接客係に関する相対評価を得たり選択結果を取得したりすることは、非現実的であって通常不可能である。そこで、本発明に基づき、構築モデルから出力させた予測成約確率を補正し、この補正結果から接客係の選択を行うことにより、そのような相対評価・選択結果に依らずに、より適切な接客係が選択可能となるのである。

【0119】

いずれにしても、それ（アイテム）の奏する効果が当該効果に係る行為又は現象が発生する確率に係る量として表現されるアイテムであって、また、学習データに含まれる当該効果に係る正解データが当該効果に係る行為又は現象の発生の有無に係る量、すなわち離散値データとなるようなアイテムであるならば、またさらに、複数の選択肢から選択する必要のあるアイテムならば、様々なものが、本発明の推定効果補正・アイテム選択処理の適用対象となり得るのである。

【0120】

以上、詳細に説明したように、本発明によれば、複数のアイテムの中からその効果に基づきアイテムを選択する場合において、アイテム効果推定モデルによる推定結果を、実際に取得可能な又は取得容易なデータによって生成した効果関係情報を利用して、より正解に近いものに補正している。これにより、選択対象である複数のアイテムの各々に対しより正確な（より正解に近い）効果を推定することができる。またその結果、より有効なアイテムを選択することが可能となるのである。

【0121】

また、本発明によれば、その効果を評価すべきアイテムの効果を推定する場合において、アイテム効果推定モデルによる推定結果を、実際に取得可能な又は取得容易なデータによって生成した効果関係情報を利用して、より正解に近いものに補正することができる。またこれにより、評価対象であるアイテムに対しより正確な（より正解に近い）効果を推定することが可能となるのである。

【0122】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0123】

１ クリエイティブ選択装置（アイテム選択装置）
１０１ 通信インタフェース部
１０２ クリエイティブデータベース（ＤＢ）
１０３ 属性・性格情報ＤＢ
１０４ 配信結果ＤＢ
１０５ キーボード（ＫＢ）
１０６ ディスプレイ（ＤＰ）
１１１ クリエイティブ・ユーザ特徴量生成部
１１２ 学習データ生成部
１１３ 効果推定モデル構築部
１１４ クリエイティブ効果推定部
１１５ 効果関係テーブル生成部（効果関係情報生成部）
１１５ａ 効果関係把握部
１１６ 推定効果補正部
１１７ クリエイティブ選択部
１２１ 通信制御部
１２２ 入出力制御部
２ クリエイティブＤＢ
３ 契約情報ＤＢ
４ クリエイティブ配信結果ＤＢ

【図1】

【図2】

【図3】

【図4】

【図5】