特許 7536771 クリック率予測モデル構築装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】クリック率予測モデル構築装置

(51)【国際特許分類】

   G06Q 30/0241 20230101AFI20240813BHJP

【ＦＩ】

G06Q30/0241

【請求項の数】 5

(21)【出願番号】P 2021542938

(86)(22)【出願日】2020-08-25

(86)【国際出願番号】 JP2020032050

(87)【国際公開番号】W WO2021039797

(87)【国際公開日】2021-03-04

【審査請求日】2023-06-27

(31)【優先権主張番号】P 2019158314

(32)【優先日】2019-08-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(74)【代理人】

【識別番号】100183438

【弁理士】

【氏名又は名称】内藤 泰史

(72)【発明者】

【氏名】出水 宰

(72)【発明者】

【氏名】深澤 佑介

【審査官】鈴木 和樹

(56)【参考文献】

【文献】米国特許出願公開第２０１３／０３４６１８２（ＵＳ，Ａ１）

【文献】特開２０１９－０４０３８６（ＪＰ，Ａ）

【文献】特開２０１８－０２６１２２（ＪＰ，Ａ）

【文献】出水宰、ほか２名，深層学習による時間減衰を考慮したインフィード広告のＣＴＲ予測，情報処理学会 研究報告 高度交通システムとスマートコミュニティ（ＩＴＳ） ２０１９－ＩＴＳ－０７７ ，日本，情報処理学会，2019年05月17日，第２０１９－ＩＴＳ－７７巻，第１１号，ｐ．１－７

【文献】Junxuan Chen、ほか４名，Deep CTR Prediction in Display Advertising，MM'16: Proceedings of the 24th ACM international conference on Multimedia [ONLINE]，ＡＣＭ，2016年10月19日，ｐ．８１１－８２０，[検索日:2020/11/05]，[URL:https://dl.acm.org/doi/10.1145/2964284.2964325]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

広告として表示される基礎画像に類似する複数の画像を生成する画像生成部と、
前記基礎画像のクリック率の実績値、及び、前記基礎画像のクリック数に基づくクリック率の信頼度を示す確信度に基づいて、前記複数の画像それぞれのクリック率の推定値を導出する導出部と、
前記基礎画像のクリック率の実績値と、前記複数の画像それぞれのクリック率の推定値とを学習し、クリック率予測モデルを構築するモデル構築部と、を備え、
前記導出部は、前記基礎画像のクリック率の実績値に、前記基礎画像のクリック率の確信度に応じたノイズを付与した値を、前記複数の画像それぞれのクリック率の推定値として導出する、クリック率予測モデル構築装置。

【請求項2】

前記導出部は、前記基礎画像のクリック率の確信度が低いほど前記ノイズを大きくし、前記基礎画像のクリック率の確信度が高いほど前記ノイズを小さくする、請求項１記載のクリック率予測モデル構築装置。

【請求項3】

前記導出部は、前記基礎画像のクリック率の実績値をパラメータとしたベータ分布に応じて前記ノイズを付与する、請求項１又は２記載のクリック率予測モデル構築装置。

【請求項4】

表示される広告と該広告の周囲のコンテンツとの関連度を取得する取得部を更に備え、
前記モデル構築部は、前記関連度を特徴量としてさらに学習し、前記クリック率予測モデルを構築する、請求項１～３のいずれか一項記載のクリック率予測モデル構築装置。

【請求項5】

前記取得部は、前記表示される広告に係る画像と前記周囲のコンテンツに係る画像との類似度、または、前記表示される広告のジャンルと前記周囲のコンテンツのジャンルとの類似度を、前記表示される広告と前記周囲のコンテンツとの関連度として取得する、請求項４記載のクリック率予測モデル構築装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一態様は、クリック率予測モデル構築装置に関する。

【背景技術】

【0002】

特許文献１には、複数の広告が表示されているウェブページ内の広告のクリックに関するログデータを取得し、クリック率を算出することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２８５９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

オンライン広告の買付けは、例えば広告のクリック率及び入札額に基づくスコアを基準にして実施される。このため、正確なクリック率を把握することは重要である。ここで、例えば一度も表示されたことがない広告や表示回数が少ない広告については、信頼性の高いクリック率の情報を取得することが困難である。このような広告については、何らかの手法でクリック率を予測する必要がある。

【0005】

本発明の一態様は上記実情に鑑みてなされたものであり、クリック率を高精度に予測することができるクリック率予測モデルを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係るクリック率予測モデル構築装置は、広告として表示される基礎画像に類似する複数の画像を生成する画像生成部と、基礎画像のクリック率の実績値及び確信度に基づいて、複数の画像それぞれのクリック率の推定値を導出する導出部と、基礎画像のクリック率の実績値と、複数の画像それぞれのクリック率の推定値とを学習し、クリック率予測モデルを構築するモデル構築部と、を備え、導出部は、基礎画像のクリック率の実績値に、基礎画像のクリック率の確信度に応じたノイズを付与した値を、複数の画像それぞれのクリック率の推定値として導出する。

【0007】

本発明の一態様に係るクリック率予測モデル構築装置では、基礎画像に類似する複数の画像が生成されると共に、該複数の画像のクリック率の推定値が導出される。クリック率予測モデルを構築するに際しては、クリック率の実績値取得済みの画像（基礎画像）に類似する画像を生成し、学習データを増やす（水増しする）ことが考えられる。この場合、類似する画像のクリック率については基礎画像と同じであるとして学習することが考えられる。しかしながら、実際にはクリック率の実績値を取得していない、上述した類似する画像のクリック率を、単に基礎画像と同じとみなして学習する方法においては、高精度なクリック率予測モデルを構築することができない。この点、本発明の一態様に係るクリック率予測モデル構築装置では、類似する複数の画像それぞれのクリック率について、推定値が導出されている。具体的には、基礎画像のクリック率の実績値に、基礎画像のクリック率の確信度に応じたノイズが付与された値が、複数の画像それぞれのクリック率の推定値として導出される。このように、基礎画像のクリック率の実績値をそのまま用いるのではなく、基礎画像のクリック率の確信度に応じたノイズが付与された値が、複数の画像のクリック率の推定値とされることにより、構築されるクリック率予測モデルの汎化性能を向上させることができる。これにより、クリック率を高精度に予測することができるクリック率予測モデルを提供することができる。

【発明の効果】

【0008】

本発明の一態様によれば、クリック率を高精度に予測することができるクリック率予測モデルを提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係るクリック率予測モデル構築装置の概要を説明する図である。

【図2】基礎画像から複数の類似画像を生成する処理を説明する図である。

【図3】確信度に応じてノイズを付与する処理を説明する図である。

【図4】クリック率予測モデル構築装置の機能構成を示す図である。

【図5】画像データの水増し及びクリック率のノイズ付与を説明する図である。

【図6】学習用データセットの準備について説明する図である。

【図7】クリック率予測モデル構築装置が実行する処理を示すフローチャートである。

【図8】クリック率予測モデル構築装置のハードウェア構成を示す図である。

【図9】変形例に係るクリック率予測モデル構築装置を説明する図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

【0011】

本実施形態に係るクリック率予測モデル構築装置は、インターネットを利用したオンライン広告（以下単に「広告」と記載）のクリック率（ＣＴＲ：Click Through Rate）を予測する予測モデルを構築する装置である。クリック率とは、広告が表示された数（インプレッション数）のうちクリックされた数の割合を示すものである。クリック率は、例えば広告の買付けが行われる際の指標として用いられる。

【0012】

図１は、本実施形態に係るクリック率予測モデル構築装置の概要を説明する図であり、従来及び本実施形態の広告買付けの態様（具体的には、クリック率の実績がない新たな広告についての広告買付けの態様）を示している。図１において、左図は従来の広告買付けの態様を示しており、右図は本実施形態の広告買付けの態様を示している。広告の買付けは、広告の入札額及びクリック率から導出されるスコアが高いものから優先的に行われる。図１の左図に示されるように、クリック率の実績がない新たな広告（以下、未知の広告と記載する場合がある）についての広告買付けが行われる場合、従来は、入札額（定数）と、一律の値で仮定されるクリック率とから、上述したスコアが導出されていた。このように、未知の広告のクリック率を一律に設定した値としてスコアを導出して広告買付けが行われることにより、スコアが実際のクリック率を考慮したものから乖離するおそれがある。この場合、広告買付けの効率性が悪化することが問題となる。

【0013】

この点、図１の右図に示されるように、本実施形態では、クリック率予測モデル構築装置が、未知の広告のクリック率を予測するクリック率予測モデルを構築し、該クリック率予測モデルによって、未知の広告のクリック率が予測される。このようなクリック率予測モデルを用いた未知の広告のクリック率予測においては、未知の広告に類似する広告の過去データ（クリック率の実績値）が考慮される。そして、入札額（定数）と予測されたクリック率とからスコアが導出され、高いスコアの広告が買付けられることにより、従来と比較して、広告買付けの効率性を向上させて、広告による収益の最大化を実現することができる。以下、クリック率予測モデル構築装置の機能構成について詳細に説明する。

【0014】

図４は、本実施形態に係るクリック率予測モデル構築装置１の機能構成を示す図である。なお、クリック率予測モデル構築装置１は、構築したクリック率予測モデルによって自らクリック率を予測する装置であっても、構築したクリック率予測モデルを外部装置に送信する装置であってもよいが、本実施形態では、クリック率予測モデル構築装置１のクリック率予測モデル構築に係る機能のみを説明する。図４に示されるように、クリック率予測モデル構築装置１は、その機能構成として、取得部１１と、記憶部１２と、画像生成部１３と、導出部１４と、モデル構築部１５と、を備えている。

【0015】

取得部１１は、クリック率予測モデルの構築に係る情報を取得する。取得部１１は、例えば、配信済みであってクリック率の実績値が取得されている、一又は複数の広告の画像（以下、基礎画像Ｂと記載する場合がある）、並びに、基礎画像Ｂのクリック数及びクリック率を取得する。取得部１１は、上述した各情報をどのような手段によって取得してもよく、例えば外部装置（不図示）から取得してもよいし、広告配信事業者の担当者等からの入力に応じて取得してもよい。取得部１１は、取得した基礎画像Ｂ、並びに、基礎画像のクリック数及びクリック率を、記憶部１２に格納する。記憶部１２は、取得部１１によって取得された各情報を記憶するデータベースである。また、記憶部１２は、後述する画像生成部１３及び導出部１４によって生成（導出）された情報についても記憶する。

【0016】

画像生成部１３は、広告として表示される基礎画像Ｂ（配信済みであってクリック率の実績値が取得されている広告の画像）に類似する複数の画像（類似画像Ｓ）を生成する。画像生成部１３によって複数の類似画像Ｓが生成されることにより、クリック率予測モデルを構築するための学習データを増やす（水増しする）ことができる。画像生成部１３は、記憶部１２から基礎画像Ｂを取得して複数の類似画像Ｓを生成し、生成した複数の類似画像Ｓを記憶部１２に格納する。

【0017】

図２は、基礎画像Ｂから複数の類似画像Ｓを生成する処理を説明する図である。図２に示される例では、画像生成部１３は、既にクリック率の実績値が取得されている基礎画像Ｂに基づき、該基礎画像Ｂの色を変更した８枚の類似画像Ｓを生成している。このように、画像生成部１３は、例えば基礎画像Ｂの色を変更した複数の類似画像Ｓを生成する。画像生成部１３による類似画像Ｓの生成パターンは、これに限定されず、例えば、画像生成部１３は、基礎画像Ｂを反転させた画像、基礎画像Ｂを回転させた画像、または基礎画像Ｂにノイズを付与した画像を、類似画像Ｓとしてもよい。

【0018】

導出部１４は、基礎画像Ｂのクリック率の実績値及び確信度に基づいて、複数の類似画像Ｓそれぞれのクリック率の推定値を導出する。導出部１４は、記憶部１２から基礎画像Ｂのクリック数及びクリック率（実績値）を取得する。導出部１４は、例えば基礎画像Ｂのクリック数に基づいて、クリック率の確信度を導出する。すなわち、導出部１４は、クリック数が多いほど、クリック率の信頼性を示す確信度を高くしてもよい。導出部１４は、例えばクリック数が数～数十程度と少ない場合には、クリック率の実績値の確信度を比較的低い値とし、例えばクリック数が数千程度と多い場合には、クリック率の実績値の確信度を比較的高い値としてもよい。

【0019】

そして、導出部１４は、基礎画像Ｂのクリック率の実績値に、導出した確信度に応じたノイズを付与した値を、複数の類似画像Ｓそれぞれのクリック率の推定値として導出する。図３は、確信度に応じてノイズを付与する処理を説明する図である。図３に示されるように、導出部１４は、基礎画像Ｂのクリック率の確信度が低いほど上述したノイズを大きくし、基礎画像Ｂのクリック率の確信度が高いほど上述したノイズを小さくして、類似画像Ｓのクリック率の推定値を導出してもよい。なお導出部１４は、基礎画像Ｂのクリック率の確信度が低いほど、例えばランダムに付与されるノイズの値がとりうる範囲を広くし、基礎画像Ｂのクリック率の確信度が高いほど、例えばランダムに付与されるノイズの値がとりうる範囲を狭くしてもよい。

【0020】

図５を参照して、確信度に応じたノイズ付与についてより具体的に説明する。図５は、画像データの水増し及びクリック率のノイズ付与を説明する図である。図５に示される例では、画像の特徴量Ｉ_iで表される基礎画像Ｂから、画像の特徴量Ｉ_i,(1)～Ｉ_i,(n)で表されるｎ個の類似画像Ｓが生成されて、画像データが水増しされている。画像の特徴量とは、例えば２２４×２２４のピクセル情報等を含んだ画像の特徴を表す情報である。図５に示されるように、特徴量Ｉ_i,(1)で表される類似画像Ｓは基礎画像Ｂを反転した画像であり、特徴量Ｉ_i,(2)で表される類似画像Ｓは基礎画像Ｂを回転させた画像であり、特徴量Ｉ_i,(3)で表される類似画像Ｓは基礎画像Ｂにノイズを加えた画像である。そして、図５の右図に示されるように、導出部１４は、基礎画像Ｂのクリック率の実績値をパラメータとしたベータ分布に応じて、各類似画像Ｓにノイズを付与して、各類似画像Ｓのクリック率の推定値ＣＴＲ_i,(1)～ＣＴＲ_i,(n)を導出している。すなわち、導出部１４は、基礎画像Ｂについてクリックされた回数α_iとクリックされなかった回数β_iとをパラメータしたベータ分布からサンプリングして、ノイズが付与された各類似画像Ｓのクリック率の推定値ＣＴＲ_i,(1)～ＣＴＲ_i,(n)（人工的なクリック率）を導出している。上述したベータ分布からサンプリングされて類似画像Ｓのクリック率の推定値が導出されることにより、インプレッション数が少なく（クリック数が少なく）クリック率の確信度が低い場合には付与されうるノイズの値の範囲が広くなり、類似画像Ｓのクリック率の推定値がとりうる範囲も広くなる。反対に、インプレッション数が多く（クリック数が多く）クリック率の確信度が高い場合には付与されうるノイズの値の範囲が狭くなり、類似画像Ｓのクリック率の推定値がとりうる範囲も狭くなる。

【0021】

導出部１４は、複数の広告それぞれについて、基礎画像Ｂ及び複数の類似画像Ｓに基づく学習用データセットを準備する。図６は、学習用データセットの準備について説明する図である。図６の上図は、複数の広告それぞれについて基礎画像Ｂ（水増し前の画像）から学習用データセットを準備する場合を示す図であり、図６の下図は、複数の広告それぞれについての基礎画像Ｂ及び複数の類似画像Ｓ（水増し後の画像）から学習用データセットを準備する場合を示す図である。図６の上図に示されるように、各広告の学習用データセットは、広告のベーシック特徴量Ｂ_iと、画像特徴量Ｉ_iと、テキスト特徴量Ｔ_iとにより表される。ベーシック特徴量Ｂ_iとは、広告の基本情報を表す情報であり、例えば広告主ＩＤ、広告の対象ユーザ属性、広告配信可能時間帯等の情報である。画像特徴量Ｉ_iとは、広告における画像の特徴を表す情報（クリエイティブの画像情報）であり、例えば２２４×２２４のピクセル情報である。テキスト特徴量Ｔ_iとは、広告におけるテキストの特徴を表す情報（クリエイティブのテキスト情報）である。

【0022】

図６の上図（詳細には上図の右側）に示されるように、例えば画像の水増しを行わずに、各広告（i=1,…,k）から学習用データセットを準備する場合には、学習用データセットとして、各広告（i=1,…,k）についてのクリック率Ｙ_iと、説明変数Ｘ_iとが準備される。すなわち、ｋ個のクリック率Ｙ_i及び説明変数Ｘ_iが準備される。この場合のクリック率Ｙ_iは以下の（１）式で示され、説明変数Ｘ_iは以下の（２）式で示される。なお、ここでのＣＴＲ_iは、各広告についてのクリック率の実績値である。
Ｙ_i＝ＣＴＲ_i・・・（１）
Ｘ_i＝［Ｂ_i，Ｉ_i，Ｔ_i］・・・（２）

【0023】

本実施形態では、画像の水増しを行って学習用データセットを準備している。この場合、図６の下図に示されるように、複数の広告それぞれについて基礎画像Ｂ及び類似画像Ｓによりｎ個のバリエーション画像が存在している。すなわち、各広告について、画像特徴量Ｉ_i,(1)～Ｉ_i,(n)のバリエーションが存在する。同一の広告においては、広告のベーシック特徴量Ｂ_i及びテキスト特徴量Ｔ_iは同一とされる。よって、水増し後の学習用データセットにおいては、各広告について、ベーシック特徴量Ｂ_i及びテキスト特徴量Ｔ_iが互いに同じで画像特徴量Ｉ_i,が互いに異なるｎ個の学習用データセットが存在する。

【0024】

図６の下図（詳細には下図の右側）に示されるように、画像の水増しを行って、各広告（i=1,…,k）から学習用データセットを準備する場合には、学習用データセットとして、各広告それぞれのｎ個のバリエーション画像（j=1,…,n）についてのクリック率Ｙ_i,(j)と、説明変数Ｘ_i,(j)とが準備される。すなわち、ｋｎ個のクリック率Ｙ_i,(j)及び説明変数Ｘ_i,(j)が準備される。この場合のクリック率Ｙ_i,(j)は以下の（３）式で示され、説明変数Ｘ_i,(j)は以下の（４）式で示される。なお、ここでのＣＴＲ_i,(j)は、基礎画像Ｂの広告についてはクリック率の実績値であり、類似画像Ｓの広告については推定値である。導出部１４は、学習用データセットを記憶部１２に格納する。上述したように、学習用データセットには、各広告についての基礎画像Ｂのクリック率の実績値と、複数の類似画像Ｓそれぞれのクリック率の推定値とが含まれている。
Ｙ_i,(j)＝ＣＴＲ_i,(j)・・・（３）
Ｘ_i,(j)＝［Ｂ_i，Ｉ_i,(j)，Ｔ_i］・・・（４）

【0025】

モデル構築部１５は、各広告についての、基礎画像Ｂのクリック率の実績値と複数の類似画像Ｓそれぞれのクリック率の推定値とが含まれた学習用データセットを学習し、クリック率予測モデルを構築する。上述したように、学習用データセットには、各広告のクリック率の実績値及び推定値だけでなく、各広告の説明変数が含まれている。モデル構築部１５は、例えば深層学習の技術を利用して、学習用データセットを学習してクリック率予測モデルを構築する。そして、モデル構築部１５によって構築されたクリック率予測モデルが用いられることにより、上述したように、例えば未知の広告のクリック率を適切に推定し、広告買付けの効率性を向上させることができる。

【0026】

次に、図７を参照して、クリック率予測モデル構築装置１が実行する処理を説明する。図７は、クリック率予測モデル構築装置１が実行する処理を示すフローチャートである。

【0027】

図７に示されるように、クリック率予測モデル構築装置１は、最初に、クリック率予測モデルの構築に係る情報を取得する（ステップＳ１）。具体的には、クリック率予測モデル構築装置１は、例えば、配信済みであってクリック率の実績値が取得されている、一又は複数の広告の画像（以下、基礎画像Ｂと記載する場合がある）、並びに、基礎画像Ｂのクリック数及びクリック率を取得する。

【0028】

つづいて、クリック率予測モデル構築装置１は、基礎画像Ｂ（配信済みであってクリック率の実績値が取得されている広告の画像）に類似する複数の画像（類似画像Ｓ）を生成し画像の水増しを行う（ステップＳ２）。

【0029】

つづいて、クリック率予測モデル構築装置１は、基礎画像Ｂのクリック率の実績値及び確信度に基づいて、複数の類似画像Ｓそれぞれのクリック率の推定値を導出する（ステップＳ３）クリック率予測モデル構築装置１は、例えば基礎画像Ｂのクリック数に基づいて、クリック率の確信度を導出する。クリック率予測モデル構築装置１は、基礎画像Ｂのクリック率の実績値に、導出した確信度に応じたノイズを付与した値を、複数の類似画像Ｓそれぞれのクリック率の推定値として導出する。そして、クリック率予測モデル構築装置１は、各広告についての基礎画像Ｂのクリック率の実績値と、複数の類似画像Ｓそれぞれのクリック率の推定値とを含む学習用セットを準備する。

【0030】

つづいて、クリック率予測モデル構築装置１は、各広告についての、基礎画像Ｂのクリック率の実績値と複数の類似画像Ｓそれぞれのクリック率の推定値とが含まれた学習用データセットを学習し、クリック率予測モデルを構築する（ステップＳ４）。モデル構築部１５は、例えば深層学習の技術を利用して、学習用データセットを学習してクリック率予測モデルを構築する。

【0031】

次に、本実施形態に係るクリック率予測モデル構築装置１の作用効果について説明する。

【0032】

本実施形態に係るクリック率予測モデル構築装置１は、広告として表示される基礎画像Ｂに類似する複数の類似画像Ｓを生成する画像生成部１３と、基礎画像Ｂのクリック率の実績値及び確信度に基づいて、複数の類似画像Ｓそれぞれのクリック率の推定値を導出する導出部１４と、基礎画像Ｂのクリック率の実績値と、複数の類似画像Ｓそれぞれのクリック率の推定値とを学習し、クリック率予測モデルを構築するモデル構築部１５と、を備え、導出部１４は、基礎画像Ｂのクリック率の実績値に、基礎画像Ｂのクリック率の確信度に応じたノイズを付与した値を、複数の類似画像Ｓそれぞれのクリック率の推定値として導出する。

【0033】

本実施形態に係るクリック率予測モデル構築装置１では、基礎画像Ｂに類似する複数の類似画像Ｓが生成されると共に、該複数の類似画像Ｓのクリック率の推定値が導出される。クリック率予測モデルを構築するに際しては、クリック率の実績値を取得済みの画像（基礎画像）に類似する画像を生成し、学習データを増やす（水増しする）ことが考えられる。この場合、類似する画像のクリック率については基礎画像と同じであるとして学習することが考えられる。しかしながら、実際にはクリック率の実績値を取得していない、上述した類似する画像のクリック率を、単に基礎画像と同じとみなして学習する方法においては、高精度なクリック率予測モデルを構築することができない。この点、本実施形態に係るクリック率予測モデル構築装置１では、複数の類似画像Ｓそれぞれのクリック率について、推定値が導出されている。具体的には、基礎画像Ｂのクリック率の実績値に、基礎画像Ｂのクリック率の確信度に応じたノイズが付与された値が、複数の類似画像Ｓそれぞれのクリック率の推定値として導出される。このように、基礎画像Ｂのクリック率の実績値をそのまま用いるのではなく、基礎画像Ｂのクリック率の確信度に応じたノイズが付与された値が、複数の類似画像Ｓのクリック率の推定値とされることにより、構築されるクリック率予測モデルの汎化性能を向上させることができる。すなわち、ノイズを付与して学習することにより、未知の情報を用いて学習用データを水増しする場合において、構築されるクリック率予測モデルのロバスト化を図ることができる。これにより、クリック率を高精度に予測することができるクリック率予測モデルを提供することができる。また、学習用データの水増しを効率よく行うことができるため、学習に関して、ＣＰＵ等の処理部における処理負荷を軽減するという技術的効果も併せて奏する。

【0034】

導出部１４は、基礎画像Ｂのクリック率の確信度が低いほどノイズを大きくし、基礎画像Ｂのクリック率の確信度が高いほどノイズを小さくしてもよい。これにより、例えば基礎画像Ｂのクリック数が十分に多くなく、クリック率の信頼性（確信度）が低い場合には、類似画像Ｓに付与するノイズを大きくすると共に、例えば基礎画像Ｂのクリック数が十分に多く、クリック率の信頼性（確信度）が高い場合には、類似画像Ｓに付与するノイズを小さくしクリック率の推定値を基礎画像Ｂのクリック率の実績値に近い値とすることができる。このことで、確信度が低い場合には推定値に十分にノイズを付与しクリック率予測モデルの汎化性能を適切に向上させながら、確信度が高い場合には推定値に無駄なノイズを付与せずにクリック率予測モデルの予測精度をより向上させることができる。

【0035】

導出部１４は、ベイズ推定のアプローチにより、基礎画像Ｂのクリック率の実績値をパラメータとしたベータ分布に応じてノイズを付与してもよい。ユーザがクリックするかどうか、といったベルヌーイ型の分布からデータを取る場合、事前分布としてベータ分布を選択すれば、事後分布もベータ分布で表現することができる。このようにして、基礎画像Ｂのクリック率の実績値に基づき、類似画像Ｓのクリック率の推定値を適切に導出することができる。

【0036】

最後に、クリック率予測モデル構築装置１のハードウェア構成について、図８を参照して説明する。上述のクリック率予測モデル構築装置１は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0037】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。クリック率予測モデル構築装置１のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0038】

クリック率予測モデル構築装置１における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

【0039】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、クリック率予測モデル構築装置１の導出部１４等の制御機能はプロセッサ１００１で実現されてもよい。

【0040】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、クリック率予測モデル構築装置１の導出部１４等の制御機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0041】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0042】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

【0043】

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0044】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0045】

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

【0046】

また、クリック率予測モデル構築装置１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

【0047】

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

【0048】

例えば、クリック率予測モデル構築装置１は、表示される広告と該広告の周囲のコンテンツとの関連度を特徴量としてさらに学習し、クリック率予測モデルを構築してもよい。すなわち、クリック率予測モデル構築装置１は、例えば図９に示されるように、広告がコンテンツ間に表示されるインフィード広告であるような場合において、広告とコンテンツとの関連度を特徴量として学習してもよい。この場合、取得部１１は、表示される広告と該広告の周囲のコンテンツとの関連度を取得する。取得部１１は、例えば、表示される広告に係る画像と周囲のコンテンツに係る画像との類似度、または、表示される広告のジャンルと周囲のコンテンツのジャンルとの類似度を、表示される広告と前記周囲のコンテンツとの関連度として取得する。関連度は、例えば、広告とコンテンツとの内容面の類似度、広告の掲載ジャンルとコンテンツのジャンルとの交互作用、コンテンツに対する広告の配置、広告及びコンテンツの形状等から導出されるものであってもよい。そして、モデル構築部１５は、関連度（例えば画像の類似度やジャンルの交互作用項）を特徴量として学習し、クリック率予測モデルを構築する。

【0049】

クリック率は、広告だけでなく広告とその周囲のコンテンツとの関連度に応じて変化すると考えられる。このため、広告と該広告の周囲のコンテンツとの関連度が特徴量として学習されクリック率予測モデルが構築されることにより、周囲のコンテンツの影響を考慮してより高精度にクリック率を予測することができる。また、画像の類似度及びジャンルの類似度は、広告と周囲のコンテンツとの関連度を適切に示す情報であると考えられる。このため、画像の類似度またはジャンルの類似度が関連度とされて特徴量が学習され、クリック率予測モデルが構築されることにより、周囲のコンテンツの影響をより適切に考慮して、高精度にクリック率を予測することができる。

【0050】

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broad-band）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-Wide Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

【0051】

本明細書で説明した各態様／実施形態の処理手順、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0052】

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0053】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0054】

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0055】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0056】

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0057】

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0058】

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

【0059】

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

【0060】

ユーザ端末は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。

【0061】

本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

【0062】

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0063】

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0064】

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0065】

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

【0066】

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

【符号の説明】

【0067】

１…クリック率予測モデル構築装置、１１…取得部、１３…画像生成部、１４…導出部、１５…モデル構築部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】