特開 2024-84332 広告効果推定用の学習モデルの学習方法、広告効果の推定方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024084332

(43)【公開日】2024-06-25

(54)【発明の名称】広告効果推定用の学習モデルの学習方法、広告効果の推定方法、およびプログラム

(51)【国際特許分類】

   G06Q 30/0242 20230101AFI20240618BHJP

【ＦＩ】

G06Q30/0242

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022198538

(22)【出願日】2022-12-13

(71)【出願人】

【識別番号】519424445

【氏名又は名称】ｎｅｇｏｃｉａ株式会社

(71)【出願人】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】230116816

【弁護士】

【氏名又は名称】成川 弘樹

(74)【代理人】

【識別番号】100174850

【弁理士】

【氏名又は名称】大崎 絵美

(74)【代理人】

【識別番号】100159248

【弁理士】

【氏名又は名称】齋藤 修

(74)【代理人】

【識別番号】100117444

【弁理士】

【氏名又は名称】片山 健一

(72)【発明者】

【氏名】石塚 湖太

(72)【発明者】

【氏名】黒木 開

(72)【発明者】

【氏名】川上 孝介

(72)【発明者】

【氏名】柴山 大

(72)【発明者】

【氏名】神谷 寛

(72)【発明者】

【氏名】中田 和秀

【テーマコード（参考）】

5L030

5L049

【Ｆターム（参考）】

5L030BB08

5L049BB08

(57)【要約】

【課題】広告グループ内におけるランク予測精度の向上。
【解決手段】本発明に係る広告効果推定用の学習モデルの学習方法は、一つまたは複数の広告アカウントに含まれるすべての広告のデータを学習データとして取得するステップ（ステップＡ）と、一つまたは複数の広告アカウントに含まれるすべての広告を、広告を特徴づける条件別に複数のランク学習用グループにグループ分けするステップ（ステップＢ）と、グループ分けされた複数のランク学習用グループの中からひとつのランク学習用グループを選択するステップ（ステップＣ）と、選択されたひとつのランク学習用グループについて損失関数値を算出するステップ（ステップＤ）と、選択されたひとつのランク学習用グループ内でランク学習を実行する一方、異なるランク学習用グループ間でのランク学習は実行しないランキング学習のステップ（ステップＥ）を含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

下記のステップＡ～Ｅを含むことを特徴とする、広告効果推定用の学習モデルの学習方法。
ステップＡ：一つまたは複数の広告アカウントに含まれるすべての広告のデータを学習データとして取得するステップ；
ステップＢ：前記一つまたは複数の広告アカウントに含まれるすべての広告を、広告を特徴づける条件別に複数のランク学習用グループにグループ分けするステップ；
ステップＣ：前記グループ分けされた複数のランク学習用グループの中からひとつのランク学習用グループを選択するステップ；
ステップＤ：前記選択されたひとつのランク学習用グループについて損失関数値を算出するステップ；
ステップＥ：前記選択されたひとつのランク学習用グループ内でランク学習を実行する一方、異なるランク学習用グループ間でのランク学習は実行しないランキング学習のステップ。

【請求項2】

前記ステップＤおよびステップＥは、前記選択されたひとつのランク学習用グループの損失関数値を最小化するようにランク学習を実行して学習モデルを修正するステップである、請求項１に記載の学習モデルの学習方法。

【請求項3】

さらに、前記ステップＣからＥを前記グループ分けされた複数のランク学習用グループのすべてに対して実行するステップＦを備え、該ステップＦの実行により前記学習データの全体に対する学習モデルが修正されることを特徴とする、請求項１または２に記載の学習モデルの学習方法。

【請求項4】

前記ステップＦは、前記ランク学習用グループのそれぞれの損失関数値の合計を前記学習モデルの損失関数値として設定するサブステップを備えている、請求項３に記載の学習モデルの学習方法。

【請求項5】

前記広告を特徴づける条件は、少なくとも、配信設定、画像サイズ、配信日時、広告グループの何れかを含む、請求項１または２に記載の学習モデルの学習方法。

【請求項6】

前記損失関数値は、ペアワイズまたはリストワイズの損失関数で算出される、請求項１または２に記載の学習モデルの学習方法。

【請求項7】

広告を特徴づける条件に基づき、ランキング対象となる配信済み若しくは配信前の複数の広告からなるランキンググループを作成するステップと、
請求項１または２に記載の方法で学習した学習モデルを用いて、前記ランキンググループに含まれる複数の広告ごとにスコアを算出するステップと、
前記算出された広告ごとのスコアに基づき配信優先度を決定するステップと、を含む、
広告効果の推定方法。

【請求項8】

コンピュータに、広告効果推定用の学習モデルを学習させる方法を実行させるためのプログラムであって、前記方法は、
ステップＡ：一つまたは複数の広告アカウントに含まれるすべての広告のデータを学習データとして取得するステップ；
ステップＢ：前記一つまたは複数の広告アカウントに含まれるすべての広告を、広告を特徴づける条件別に複数のランク学習用グループにグループ分けするステップ；
ステップＣ：前記グループ分けされた複数のランク学習用グループの中からひとつのランク学習用グループを選択するステップ；
ステップＤ：前記選択されたひとつのランク学習用グループについて損失関数値を算出するステップ；
ステップＥ：前記選択されたひとつのランク学習用グループ内でランク学習を実行する一方、異なるランク学習用グループ間でのランク学習は実行しないランキング学習のステップ、を含む、
プログラム。

【請求項9】

前記ステップＤおよびステップＥは、前記選択されたひとつのランク学習用グループの損失関数値を最小化するようにランク学習を実行して学習モデルを修正するステップである、請求項８に記載のプログラム。

【請求項10】

前記方法は、さらに、前記ステップＣからＥを前記グループ分けされた複数のランク学習用グループのすべてに対して実行するステップＦを備え、該ステップＦの実行により前記学習データの全体に対する学習モデルが修正されることを特徴とする、請求項８または９に記載のプログラム。

【請求項11】

前記ステップＦは、前記ランク学習用グループのそれぞれの損失関数値の合計を前記学習モデルの損失関数値として設定するサブステップを備えている、請求項１０に記載のプログラム。

【請求項12】

前記広告を特徴づける条件は、少なくとも、配信設定、画像サイズ、配信日時、広告グループの何れかを含む、請求項８または９に記載のプログラム。

【請求項13】

前記損失関数値は、ペアワイズまたはリストワイズの損失関数で算出される、請求項８または９に記載のプログラム。

【請求項14】

コンピュータに、広告効果を推定する方法を実行させるためのプログラムであって、前記方法は、
広告を特徴づける条件に基づき、ランキング対象となる配信済み若しくは配信前の複数の広告からなるランキンググループを作成するステップと、
請求項１または２に記載の方法で学習した学習モデルを用いて、前記ランキンググループに含まれる複数の広告ごとにスコアを算出するステップと、
前記算出された広告ごとのスコアに基づき配信優先度を決定するステップと、を含む、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は広告効果の推定技術に関し、より詳細には、広告効果のランク付けの精度を向上させる技術に関する。

【背景技術】

【0002】

Google（登録商標）やYahoo!（登録商標）などの広告媒体の広告は階層構造になっており、以下の順番で階層が上位のものから作成する。１：アカウント、２：キャンペーン、３：広告グループ、４：広告。

【0003】

ここで、Google（登録商標）やYahoo!（登録商標）などの広告媒体には、広告グループ内に設定された広告の内、他の広告よりも優れた掲載結果を期待できる広告が優先的に配信される最適化機能があり、この機能により、データの蓄積に伴い、統計的に掲載結果の良い広告が優先的に配信されるようになる。しかし、このような最適化機能はデータの蓄積を前提にするものであるため、データが十分に蓄積されるまでは掲載結果の良くない広告が配信されてしまうという問題がある。そのような背景のもと、広告グループ内において、他の広告よりも優れた掲載結果を期待できる広告を優先して入稿するために、広告の配信効果を予測する技術が開発されている。なお、広告の配信効果の指標としては、表示回数、クリック数、クリック率、配信金額などがある。

【0004】

例えば、特開２０２１－１８２３４０号公報（特許文献１）や「ランク学習を用いた広告クリエイティブの配信優先度の推定」（非特許文献１）では、広告クリエイトに対して、配信前に広告クリエイトの品質の指標の一つである配信金額の日単位の平均額を予測することによって配信優先度を決定する技術が提案されている。具体的には、配信優先度を決定するためには広告の効果の実数値を厳密に推定する必要はなく、与えられた広告群の広告効果の順序さえわかれば良いとの着想のもと、ランク学習技術を利用することで、広告クリエイトの品質を昇順で推奨する手法が提案されている。なお、この手法では、ペアワイズのランク学習により、広告クリエイティブのスコアを算出している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－１８２３４０号公報

【0006】

【非特許文献1】「ランク学習を用いた広告クリエイティブの配信優先度の推定」（岩崎祐貴、谷口和輝：人工知能学会全国大会論文集、2020、JSAI2020巻、第34回（2020）、セッションID：1H4-OS-12b-04、公開日：2020年6月19日）

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述したような従来手法による広告配信効果の予測モデルは、データセット内の全ての広告の中での順位を学習している。しかし、広告運用において、全ての広告間の優劣を知る必要はなく、一部の比較したい広告間での優劣が判明すれば十分である。ここで「一部の比較したい広告」の条件としては、広告グループ、画像サイズや、ユーザ属性などの配信設定が挙げられる。例えば、同じ広告グループに含まれかつ同じ画像サイズの広告に対して、広告間の優劣を判明できれば、広告グループ内において似たような位置に表示される広告画像の優劣が判定することが可能となり、配信すべき広告画像を決定できる。

【0008】

このように、配信すべき広告画像を決定するためには、一部の比較したい広告間での優劣の比較のみが必要である。しかしながら、特許文献１や非特許文献１に記載された手法では、全ての広告間の優劣を判定している。一般にシンプソンのパラドックスとして知られているように、母集団での相関と母集団を分割した集団での相関は一致しない。このため、「全ての広告間の優劣」を学習する従来の手法では、「一部の比較したい広告間の配信効果の優劣」に対して予測精度が低くなるという問題がある。

【0009】

例えば、図１に示したような広告間での配信効果の例を考える。この図は、母集団での特徴量と広告効果の相関と母集団を分割した集団での特徴量と広告効果の相関は一致しない例を簡単に説明するための図である。

【0010】

図１（ａ）には４つの広告画像（広告ＩＤ１～４）が例示されており、図１（ｂ）はこれら４つの広告画像の特徴量と広告の効果の相関を求めた散布図である。広告ＩＤ１と２は「車」の販売を目的とした広告画像であり、販売目的がいずれも「車」であるという意味において同一グループ（グループＡ）に属する広告画像である。一方、広告ＩＤ３と４は「家」の販売を目的とした広告画像であり、販売目的がいずれも「家」であるという意味において同一グループ（グループＢ）に属する広告画像である。この例では、広告の効果はクリック率（CTR）とし、広告の特徴量は文字のフォントサイズとしている。グループＡ内についてみると、広告ＩＤ２の広告の特徴量（文字のフォントサイズ）は広告ＩＤ１よりも大きく、グループＢ内についてみると、広告ＩＤ４の広告の特徴量（文字のフォントサイズ）は広告ＩＤ３よりも大きい。

【0011】

この例では、グループＡについてみると広告ＩＤ１よりも特徴量が大きい広告ＩＤ２のCTRが高く、グループＢについてみても広告ＩＤ３よりも特徴量が大きい広告ＩＤ４のCTRが高いから、同一グループ内ではフォントサイズとCTRに正の相関がある。一方で、異なる広告グループに属する広告ＩＤ２と広告ＩＤ３を比較すると、広告の特徴量が小さい広告ＩＤ３の方が広告の特徴量が大きい広告ＩＤ２よりCTRが高く、４つの広告画像全体としては、フォントサイズとCTRに負の相関がある。このように、広告グループを考慮せずに全体で学習すると、本来学習したい正の相関とは逆の相関（負の相関）を学習してしまい、その結果、ランク付けしたいグループ内におけるランク予測精度が低下する問題がある。

【0012】

このような問題に鑑み、本発明者らは、広告グループ別にランク学習を実行すれば、広告クリエイトの品質を正しく推定することが可能となると着想し、本発明をなすに至った。

【課題を解決するための手段】

【0013】

上記課題を解決するために、本発明に係る広告効果推定用の学習モデルの学習方法は、下記のステップＡ～Ｅを含むことを特徴とする。
ステップＡ：一つまたは複数の広告アカウントに含まれるすべての広告のデータを学習データとして取得するステップ；
ステップＢ：前記複数の広告アカウントに含まれるすべての広告を、広告を特徴づける条件別に複数のランク学習用グループにグループ分けするステップ；
ステップＣ：前記グループ分けされた複数のランク学習用グループの中からひとつのランク学習用グループを選択するステップ；
ステップＤ：前記選択されたひとつのランク学習用グループについて損失関数値を算出するステップ；
ステップＥ：前記選択されたひとつのランク学習用グループ内でランク学習を実行する一方、異なるランク学習用グループ間でのランク学習は実行しないランキング学習のステップ。

【0014】

一態様において、前記ステップＤおよびステップＥは、前記選択されたひとつのランク学習用グループの損失関数値を最小化するようにランク学習を実行して学習モデルを修正するステップである。

【0015】

好ましい態様では、前記ステップＣからＥを前記グループ分けされた複数のランク学習用グループのすべてに対して実行するステップＦを備え、該ステップＦの実行により前記学習データの全体に対する学習モデルが修正される。

【0016】

一態様において、前記ステップＦは、前記ランク学習用グループのそれぞれの損失関数値の合計を前記学習モデルの損失関数値として設定するサブステップを備えている。

【0017】

例えば、前記広告を特徴づける条件は、少なくとも、配信設定、画像サイズ、配信日時、広告グループの何れかを含む。

【0018】

また、例えば、前記損失関数値は、ペアワイズまたはリストワイズの損失関数で算出される。

【0019】

本発明に係る広告効果の推定方法は、広告を特徴づける条件に基づき、ランキング対象となる配信済み若しくは配信前の複数の広告からなるランキンググループを作成するステップと、本発明に係る広告効果推定用の学習モデルの学習方法で学習した学習モデルを用いて、前記ランキンググループに含まれる複数の広告ごとにスコアを算出するステップと、前記算出された広告ごとのスコアに基づき配信優先度を決定するステップとを含む、広告効果の推定方法である。

【0020】

また、本発明に係るプログラムは、コンピュータに、広告効果推定用の学習モデルを学習させる方法を実行させるためのプログラムであって、前記方法は、下記のステップＡ～Ｅを含むことを特徴とする。
ステップＡ：一つまたは複数の広告アカウントに含まれるすべての広告のデータを学習データとして取得するステップ；
ステップＢ：前記一つまたは複数の広告アカウントに含まれるすべての広告を、広告を特徴づける条件別に複数のランク学習用グループにグループ分けするステップ；
ステップＣ：前記グループ分けされた複数のランク学習用グループの中からひとつのランク学習用グループを選択するステップ；
ステップＤ：前記選択されたひとつのランク学習用グループについて損失関数値を算出するステップ；
ステップＥ：前記選択されたひとつのランク学習用グループ内でランク学習を実行する一方、異なるランク学習用グループ間でのランク学習は実行しないランキング学習のステップ。

【0021】

本発明に係るプログラムにおいても、一態様において、前記ステップＤおよびステップＥは、前記選択されたひとつのランク学習用グループの損失関数値を最小化するようにランク学習を実行して学習モデルを修正するステップである。

【0022】

好ましい態様では、前記ステップＣからＥを前記グループ分けされた複数のランク学習用グループのすべてに対して実行するステップＦを備え、該ステップＦの実行により前記学習データの全体に対する学習モデルが修正される。

【0023】

一態様において、前記ステップＦは、前記ランク学習用グループのそれぞれの損失関数値の合計を前記学習モデルの損失関数値として設定するサブステップを備えている。

【0024】

例えば、前記広告を特徴づける条件は、少なくとも、配信設定、画像サイズ、配信日時、広告グループの何れかを含む。

【0025】

また、例えば、前記損失関数値は、ペアワイズまたはリストワイズの損失関数で算出される。

【0026】

さらに、本発明に係るプログラムは、コンピュータに、広告効果を推定する方法を実行させるためのプログラムであって、前記方法は、広告を特徴づける条件に基づき、ランキング対象となる配信済み若しくは配信前の複数の広告からなるランキンググループを作成するステップと、本発明に係る広告効果推定用の学習モデルの学習方法で学習した学習モデルを用いて、前記ランキンググループに含まれる複数の広告ごとにスコアを算出するステップと、前記算出された広告ごとのスコアに基づき配信優先度を決定するステップと、を含む、プログラムである。

【発明の効果】

【0027】

本発明では、広告効果を推定するランク学習をランク付けしたいグループごとに実施することとしたので、ランク付けしたいグループ内におけるランク予測精度が向上する。

【図面の簡単な説明】

【0028】

【図1】母集団での特徴量と広告効果の相関と母集団を分割した集団での特徴量と広告効果の相関は一致しない例を簡単に説明するための図である。

【図2】広告の階層構造を概念的に説明するためのブロック図である。

【図3】取得する学習データを構成する複数の広告アカウントの例を示すための図である。

【図4】学習データとして取得した複数の広告アカウントに含まれるすべての広告を、広告を特徴づける条件別に複数のランク学習用グループにグループ分けする例を概念的に示す図である。

【図5】本発明に係る広告効果推定用の学習モデルの学習方法で実行される処理の概略を説明するためのフローチャートである。

【図6】取得した広告データ全体についてひとつの学習モデルを仕上げるようにするための手順の例を説明するためのフローチャートである。

【図7】本発明に係る広告効果推定用の学習モデルの学習方法を利用したランキング予測の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0029】

以下に、図面を参照して、本発明に係る広告効果推定用の学習モデルの学習方法、広告効果の推定方法、およびプログラムについて説明する。

【0030】

図２は、広告の階層構造を概念的に説明するためのブロック図である。この図に示したように、広告は階層構造をもち、「広告アカウント」は「キャンペーン」の集合であり、それぞれの「キャンペーン」は「広告グループ」の集合であり、「広告グループ」のそれぞれは、「広告」の集合である。「広告」は、実際に広告媒体に表示する画像のことであり、「広告グループ」の中から媒体によって適切と考えられるものが表示される。

【0031】

この図に示した例では、「広告アカウント」は２つの「キャンペーン」の集合であり、「キャンペーン１」は「広告グループＡ」と「広告グループＢ」の集合であり、「広告グループＡ」は「広告ａ」と「広告ｂ」と「広告ｃ」の集合であり、「広告グループＢ」は「広告ｄ」と「広告ｅ」と「広告ｆ」の集合である。「キャンペーン２」についても同様であり、「キャンペーン２」は「広告グループＣ」と「広告グループＤ」の集合であり、「広告グループＣ」は「広告ｇ」と「広告ｈ」と「広告ｉ」の集合であり、「広告グループＤ」は「広告ｊ」と「広告ｋ」と「広告ｌ」の集合である。

【0032】

本発明に係る広告効果推定用の学習モデルの学習方法では、先ず、一つまたは複数の広告グループから構成される複数の広告アカウントに含まれるすべての広告のデータ（広告データ）を学習データとして取得する。

【0033】

図３は、取得する学習データを構成する一つまたは複数の広告アカウント（のデータ）の例を示すための図であり、この図に示した例では、Ａ社～Ｎ社の各広告アカウントに含まれるすべての広告のデータを学習データとして取得することになる。

【0034】

本発明に係る広告効果推定用の学習モデルの学習方法では、学習データとして取得した一つまたは複数の広告アカウントに含まれるすべての広告を、広告を特徴づける条件別に複数のランク学習用グループにグループ分けする。

【0035】

図４は、学習データとして取得した一つまたは複数の広告アカウントに含まれるすべての広告を、広告を特徴づける条件別に複数のランク学習用グループにグループ分けする例を概念的に示す図である。この図に示した例では、Ａ社～Ｎ社の各広告アカウントに含まれるすべての広告のデータが学習データとして取得され、この学習データが４つの「学習用グループ」（Ａ～Ｄ）にグループ分けされ、各「学習用グループ」は複数の「広告」の集合である。

【0036】

図５は、本発明に係る広告効果推定用の学習モデルの学習方法で実行される処理の概略を説明するためのフローチャートである。この図に示すように、上述したように、ステップＳ１０１で、すべての広告のデータを学習データ（データセット）として取得する。そして、ステップＳ１０２で、取得された学習データが、広告を特徴づける条件別に複数のランク学習用グループにグループ分けされる。

【0037】

続いて、グループ分けされた複数のランク学習用グループの中からひとつのランク学習用グループが選択され（ステップＳ１０３）、選択されたひとつのランク学習用グループについて損失関数値が算出され（ステップＳ１０４）、この損失関数値に基づいて、当該選択されたひとつのランク学習用グループ内でのランク学習が実行され（ステップＳ１０５）、学習モデルの修正が行われる（ステップＳ１０６）。

【0038】

本発明においては、上記ステップＳ１０５のランク学習が、選択されたひとつのランク学習用グループ内で実行される一方、異なるランク学習用グループ間でのランク学習は実行されない。これにより、同じ広告グループ内の広告間の優劣が学習される一方、異なる広告グループ間の広告の優劣は学習しないこととなる結果、上述した「シンプソンのパラドックス」の問題が解決されることになる。

【0039】

なお、図５に示した例では、ステップＳ１０５のランク学習は、選択されたひとつのランク学習用グループの損失関数値を最小化するようにランク学習を実行して学習モデルを修正している。

【0040】

このように、本発明に係る広告効果推定用の学習モデルの学習方法は、一つまたは複数の広告グループから構成される一つまたは複数の広告アカウントに含まれるすべての広告のデータを学習データとして取得するステップ（ステップＡ）と、前記一つまたは複数の広告アカウントに含まれるすべての広告を、広告を特徴づける条件別に複数のランク学習用グループにグループ分けするステップ（ステップＢ）と、前記グループ分けされた複数のランク学習用グループの中からひとつのランク学習用グループを選択するステップ（ステップＣ）と、前記選択されたひとつのランク学習用グループについて損失関数値を算出するステップ（ステップＤ）と、前記選択されたひとつのランク学習用グループ内でランク学習を実行する一方、異なるランク学習用グループ間でのランク学習は実行しないランキング学習のステップ（ステップＥ）を備えており、ステップＥでのランク学習が、選択されたひとつのランク学習用グループ内で実行される一方、異なるランク学習用グループ間でのランク学習は実行されない。このような構成を採用することにより、同じ広告グループ内の広告間の優劣が学習される一方、異なる広告グループ間の広告の優劣は学習しないこととなる結果、「シンプソンのパラドックス」の問題が解決されることになる。

【0041】

なお、上述したように、本発明の一態様として、ランク学習は、選択されたひとつのランク学習用グループの損失関数値を最小化するように実行して学習モデルを修正するようにしてもよい。

【0042】

上記の学習モデルの修正により、理論的には、選択されたひとつのランク学習用グループについての学習モデルを最適化できる。しかし、選択されたひとつのランク学習用グループに含まれる学習データが十分に多くない場合には、「最適化」したはずの学習モデルが最適なものではない可能性がある。また、選択されたひとつのランク学習用グループについて「最適化」した学習モデルは、一般に、学習データとして取得したデータセット全体についての「最適化」した学習モデルではない。

【0043】

そこで、本発明に係る広告効果推定用の学習モデルの学習方法では、学習データとして取得したデータセット全体についての「最適化」した学習モデルを得るために、図５に示したステップに続き、下記のステップを備えることとして、取得したデータセット全体についての「最適化」した学習モデル、すなわち、取得した広告データ全体についてひとつの学習モデルを仕上げるようにすることもできる。

【0044】

図６は、取得した広告データ全体についてひとつの学習モデルを仕上げるようにするための手順の例を説明するためのフローチャートである。

【0045】

図５で示した手順により「選択した学習グループ内での学習」が終了した後に、別の学習グループをひとつ選択する（ステップS２０１）。そして、この選択した学習グループ内での損失関数値を算出し（ステップＳ２０２）、この損失関数値に基づいて、当該選択されたひとつのランク学習用グループ内でのランク学習が実行され（ステップＳ２０３）、学習モデルの修正が行われる（ステップＳ２０４）。なお、図６に示した例でも、ステップＳ２０３のランク学習は、選択されたひとつのランク学習用グループの損失関数値を最小化するようにランク学習を実行して学習モデルを修正している。

【0046】

ステップＳ２０４に続き、「未処理の学習グループが存在する」かどうかを判断し（ステップS２０５）、「未処理の学習グループが存在」する（Yes）場合にはステップＳ２０１以降の処理を繰り返す。「未処理の学習グループが存在」しない（No）場合には学習モデルの学習を終了する。

【0047】

このように、本発明に係る広告効果推定用の学習モデルの学習方法では、学習データとして取得したデータセット全体についての「最適化」した学習モデルを得るために、好ましい態様として、上述したステップＣからＥをグループ分けされた複数のランク学習用グループのすべてに対して実行するステップ（ステップＦ）を備え、該ステップＦの実行により、学習データの全体に対する学習モデルを修正するようにしてもよい。このようにして得られた学習モデルは、個々の「ランク学習用グループ」についてみれば「最適化」されていないとしても、学習データとして取得したデータセット全体について「最適化」されており、選択されたひとつのランク学習用グループに含まれる学習データが十分に多くない場合には、「最適化」したはずの学習モデルが最適なものではない可能性があるというような問題が生じない。

【0048】

なお、上述したステップＦは、ランク学習用グループのそれぞれの損失関数値の合計を学習モデルの損失関数値として設定するサブステップを備えるようにしてもよい。

【0049】

本発明において、広告を特徴づける条件は、例えば、少なくとも、配信設定、画像サイズ、配信日時、広告グループの何れかを含む。

【0050】

また、本発明において、損失関数値は、例えば、ペアワイズまたはリストワイズの損失関数で算出される。

【0051】

このような本発明に係る広告効果推定用の学習モデルの学習方法を利用して、広告効果を推定（ランキング予測）することができる。

【0052】

図７は、本発明に係る広告効果推定用の学習モデルの学習方法を利用したランキング予測の一例を説明するためのフローチャートである。

【0053】

先ず、広告効果をランク付けしたいランキンググループを作成（ステップＳ３０１）し、学習済み学習モデルでランキンググループ内の各広告のスコアを算出する（ステップＳ３０２）。そして、算出したスコアに基づいてランキング予測して配信優先度を決定（ランキング）する（ステップＳ３０３）。

【0054】

このように、本発明に係る広告効果の推定方法は、広告を特徴づける条件に基づき、ランキング対象となる配信済み若しくは配信前の複数の広告からなるランキンググループを作成するステップと、本発明に係る広告効果推定用の学習モデルの学習方法で学習した学習モデルを用いて、前記ランキンググループに含まれる複数の広告ごとにスコアを算出するステップと、前記算出された広告ごとのスコアに基づき配信優先度を決定するステップとを含む、広告効果の推定方法である。

【0055】

本発明に係る広告効果推定用の学習モデルを学習させる方法は、プログラムにより、コンピュータに実行させることができる。

【0056】

すなわち、本発明に係るプログラムは、コンピュータに、広告効果推定用の学習モデルを学習させる方法を実行させるためのプログラムであって、前記方法は、下記のステップＡ～Ｅを含むことを特徴とする。
ステップＡ：一つまたは複数の広告アカウントに含まれるすべての広告のデータを学習データとして取得するステップ；
ステップＢ：前記一つまたは複数の広告アカウントに含まれるすべての広告を、広告を特徴づける条件別に複数のランク学習用グループにグループ分けするステップ；
ステップＣ：前記グループ分けされた複数のランク学習用グループの中からひとつのランク学習用グループを選択するステップ；
ステップＤ：前記選択されたひとつのランク学習用グループについて損失関数値を算出するステップ；
ステップＥ：前記選択されたひとつのランク学習用グループ内でランク学習を実行する一方、異なるランク学習用グループ間でのランク学習は実行しないランキング学習のステップ。

【0057】

本発明に係るプログラムにおいても、一態様において、前記ステップＤおよびステップＥは、前記選択されたひとつのランク学習用グループの損失関数値を最小化するようにランク学習を実行して学習モデルを修正するステップである。

【0058】

好ましい態様では、前記ステップＣからＥを前記グループ分けされた複数のランク学習用グループのすべてに対して実行するステップＦを備え、該ステップＦの実行により前記学習データの全体に対する学習モデルが修正される。

【0059】

一態様において、前記ステップＦは、前記ランク学習用グループのそれぞれの損失関数値の合計を前記学習モデルの損失関数値として設定するサブステップを備えている。

【0060】

例えば、前記広告を特徴づける条件は、少なくとも、配信設定、画像サイズ、配信日時、広告グループの何れかを含む。

【0061】

また、例えば、前記損失関数値は、ペアワイズまたはリストワイズの損失関数で算出される。

【0062】

さらに、本発明に係るプログラムは、コンピュータに、広告効果を推定する方法を実行させるためのプログラムであって、前記方法は、広告を特徴づける条件に基づき、ランキング対象となる配信済み若しくは配信前の複数の広告からなるランキンググループを作成するステップと、本発明に係る広告効果推定用の学習モデルの学習方法で学習した学習モデルを用いて、前記ランキンググループに含まれる複数の広告ごとにスコアを算出するステップと、前記算出された広告ごとのスコアに基づき配信優先度を決定するステップと、を含む、プログラムである。

【実施例0063】

以下に、実施例により、本願発明による広告の構造を考慮したランク学習の効果を、広告の構造を考慮しないランク学習との比較により確認する。なお、効果を評価する指標として、順位相関係数の平均を用いた。

【0064】

［データの作成］
学習データとして取得するデータには、各広告の「インプレッション(impressions)」、「画像サイズ」（画像横幅（image_width）および画像縦幅（image_height））、「日付」（date）、「画像」（image_id）および「広告グループＩＤ（ad_group_id）」が含まれる。

【0065】

蓄積されたデータの中から１０カ月分のデータを抜粋し、広告の構造を考慮したデータを作成した。具体的な手順は下記のとおりである。上記１０カ月分のデータのうち、初めの８ケ月分のデータを学習データとし、その後の２ケ月分のデータをテストデータとして、学習データとテストデータに分割する。これらのデータをそれぞれ１ケ月毎に分割し、分割した月別のデータについて、「広告グループＩＤ（ad_group_id）」、「画像横幅」（image_width）および「画像縦幅」（image_height）が共通のレコードでグループ化する。グループ化の際に「画像横幅」（image_width）および「画像縦幅」（image_height）を考慮する理由は、広告入稿の優先度を決めるとき同じ画像サイズの画像同士での配信効果の優劣が重要だからである。続いて、グループ内の画像数（image_idのユニーク数）が１枚だけのグループを取り除き、２枚以上の画像を含むグループを抽出し、グループ内で、「画像」（image_id）毎に、「インプレッション」(impressions)を合計する。これにより、「画像」（image_id）、「インプレッション」(impressions)をカラムとするグループが複数作成される。そして、「画像」（image_id）、「インプレッション」(impressions)を、学習とテストに用いる。

【0066】

一方、広告の構造を考慮しないデータの作成手順は下記のとおりである。先ず、「広告の構造を考慮したデータ」の学習データを用意する。そして、「グループ」を無視して、「画像」（image_id）毎に、「インプレッション」(impressions)を合計する。これにより、「画像」（image_id）、「インプレッション」(impressions)をカラムとするデータが作成される。そして、「画像」（image_id）、「インプレッション」(impressions)を、学習に用いる。

【0067】

［学習方法］
ランク学習の指標として、「インプレッション」(impressions)を用いる。広告の構造を考慮した学習の手順は下記のとおりである。先ず、上述したように、「画像」（image_id）、「インプレッション」(impressions)をカラムとするグループが複数ある学習データを用意する。次いで、グループをひとつずつ順番に取り出し、取り出したグループから２行のレコードをランダムに取り出す。そして、取り出したレコードでペアワイズ（pairwise）学習を行う。損失関数は非特許文献１と同様にRankNetを用いる。全てのグループから一度ずつレコードを取り出したら、学習１エポックが終了とする。この学習エポックを１０エポック繰り返す。

【0068】

一方、広告の構造を考慮しない学習の手順は下記のとおりである。先ず、上述したように、「画像」（image_id）、「インプレッション」(impressions)をカラムとする学習データを用意する。次いで、２行のレコードをランダムに取り出す。そして、取り出したレコードでペアワイズ学習を行う。「広告の構造を考慮した学習」のグループ数と同じ回数レコードを取り出したら、学習１エポックが終了とする。この学習エポックを１０エポック繰り返す。

【0069】

テストの手順は下記のとおりである。１０エポック学習後にテストデータに対して順位相関係数の平均を算出し記録する。順位相関係数の算出は、先ず、全ての画像に対してモデルの出力（スコア）を計算し、そのスコアと学習対象とする指標（impressions）との順位相関係数をグループ毎に算出し、平均する。

【0070】

表１に学習の実験結果を示す。この表に示された値は、１０エポック学習後のテストデータに対する順位相関係数の平均値である。

【0071】

【表1】

【0072】

この結果から分かるように、テストデータに対する順位相関係数の平均は、広告の構造を考慮した学習（0.2349）の方が、考慮しない学習（0.1026）より高くなっている。この結果は、広告の構造を考慮して学習する方が、広告の構造を考慮せず学習する場合より、順位を正確に予測できることを示している。

【0073】

上述のとおり、本願発明による広告の構造を考慮したランク学習によれば、広告の構造を考慮しないランク学習と比較して、ランク予測精度が向上する。その結果、広告効果をランク付けしたいグループ内における広告クリエイトの品質をより正確に推定することが可能となる。

【0074】

以上説明したように、本発明では、広告クリエイトの配信優先度をグループ単位でランク学習を実行するという手法を採用し、学習の際に同じグループ内の広告をペアとして取り出して学習させることとした。そのようなグループ単位の学習により、データセット全体内でランクを予測するよりもランク予測精度が向上する。その結果、広告効果をランク付けしたいグループ内における広告クリエイトの品質をより正確に推定することが可能となる。

【産業上の利用可能性】

【0075】

本発明により、広告効果をランク付けしたいグループ内におけるランク予測精度が向上する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】