(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-07-24
(45)【発行日】2023-08-01
(54)【発明の名称】情報処理システム、コンピュータプログラム、及び情報処理方法
(51)【国際特許分類】
G06Q 30/0242 20230101AFI20230725BHJP
【ＦＩ】
G06Q30/0242
【請求項の数】
11
(21)【出願番号】P 2022174867
(22)【出願日】2022-10-31
【審査請求日】2022-10-31
【早期審査対象出願】
(73)【特許権者】
【識別番号】507009009
【氏名又は名称】株式会社博報堂ＤＹホールディングス
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】柴田 一輝
(72)【発明者】
【氏名】熊谷 雄介
(72)【発明者】
【氏名】道本 龍
【審査官】加舎 理紅子
(56)【参考文献】
【文献】特開２０２２－０８８３３９（ＪＰ，Ａ）
【文献】特開２０１９－１６９０７９（ＪＰ，Ａ）
【文献】特開２０１５－０２８７３２（ＪＰ，Ａ）
【文献】特表２０１６－５０５９９６（ＪＰ，Ａ）
【文献】特開２０１３－０４１３３５（ＪＰ，Ａ）
【文献】米国特許出願公開第２００９／００９９９０２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００７／０１４３１８６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ － ９９／００
(57)【特許請求の範囲】
【請求項1】
第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示するように構成される出稿指示部と、前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別するように構成される第一実績判別部と、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別するように構成される第二実績判別部と、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別するように構成されるスケジュール判別部と、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記出稿指示部は、強化学習及びコンテキスチュアルバンデットアルゴリズムの少なくとも一方に従って、複数の時点に関し、時点毎に、
対応する時点における状態又はコンテキストに基づき、前記対応する時点における広告出稿に関する行動として、前記第一の出稿量及び前記第二の出稿量を決定し、
前記第一の実績及び前記第二の実績に基づき、前記対応する時点までの広告出稿により新たに露出された前記予約型広告及び前記非予約型広告の広告効果を、前記行動に対する報酬として決定し、
前記対応する時点での広告出稿と、前記対応する時点での前記第一の実績及び前記第二の実績とを加味して、前記状態又はコンテキストを更新し、
前記報酬に基づいて、前記行動の選択に関するポリシーを更新する
ように構成され、
前記状態又はコンテキストは、可能な残り出稿量と、前記未露出広告の露出スケジュールと、前記第一の実績と、前記第二の実績と、を用いて定義される情報処理システム。
【請求項2】
第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示するように構成される出稿指示部と、前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別するように構成される第一実績判別部と、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別するように構成される第二実績判別部と、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別するように構成されるスケジュール判別部と、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記出稿指示部は、状態、報酬、及び行動が定義された強化学習により、複数の時点に関し、時点毎に、対応する時点での前記第一の出稿量及び前記第二の出稿量を前記行動として決定するように構成され、
前記状態は、前記対応する時点での可能な残り出稿量、前記第一の実績、前記第二の実績、及び、前記未露出広告のスケジュールを用いて定義され、
前記報酬は、前記第一の実績及び前記第二の実績から判別される前記対応する時点での広告効果を用いて定義される情報処理システム。
【請求項3】
第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示するように構成される出稿指示部と、前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別するように構成される第一実績判別部と、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別するように構成される第二実績判別部と、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別するように構成されるスケジュール判別部と、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記出稿指示部は、コンテキスト、報酬、及び行動が定義されたコンテキスチュアルバンデットアルゴリズムにより、複数の時点に関し、時点毎に、対応する時点での前記第一の出稿量及び前記第二の出稿量を前記行動として決定するように構成され、
前記コンテキストは、前記対応する時点での可能な残り出稿量、前記第一の実績、前記第二の実績、及び、前記未露出広告のスケジュールを用いて定義され、
前記報酬は、前記第一の実績及び前記第二の実績から判別される前記対応する時点での広告効果を用いて定義される情報処理システム。
【請求項4】
第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示するように構成される出稿指示部と、前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別するように構成される第一実績判別部と、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別するように構成される第二実績判別部と、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別するように構成されるスケジュール判別部と、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記出稿指示部は、例えばカルマンフィルタ等の状態空間モデルを用いて、複数の時点に関し、時点毎に、可能な残り出稿量と、前記未露出広告の露出スケジュールと、前記第一の実績と、前記第二の実績とに基づき、対応する時点での前記第一の出稿量及び前記第二の出稿量を決定するように構成され、
前記状態空間モデルは、前記未露出広告の露出スケジュールの情報を含むモデルであって、状態量と、観測量と、入力量との間の関係を定義し、前記未露出広告の露出スケジュールの情報は、前記入力量と前記観測量との間の関係が前記露出スケジュールに従って数式表現されることによって前記状態空間モデルに組み込まれ、
前記入力量は、前記第一の出稿量と前記第二の出稿量とを用いて定義される広告出稿に関する量であり、
前記状態量は、前記広告出稿により変化する状態量であり、前記可能な残り出稿量と、前記第一の実績と、前記第二の実績と、を用いて定義され、
前記観測量は、前記第一の実績及び前記第二の実績に基づいて判別される出稿された前記予約型広告及び前記非予約型広告の広告効果を定義する量である情報処理システム。
【請求項5】
前記総量のうち、第一の量が、前記予約型広告に対する出稿量として予め定められ、第二の量が、前記予約型広告及び前記非予約型広告に共用の出稿量として定められ、前記出稿指示部には、前記第二の量の前記予約型広告及び前記非予約型広告に対する配分の決定権が与えられており、前記第一の量の少なくとも一部に対応する前記予約型広告の広告出稿は、前記複数の時点よりも前の時点である最初の時点で完了しており、前記露出スケジュールは、前記最初の時点で出稿済の前記予約型広告であって、露出待ちにある未露出広告の露出スケジュールを含み、
前記出稿指示部は、前記最初の時点で出稿済の前記予約型広告を含む未露出広告の露出スケジュールを前記状態又は前記コンテキストとして加味して、前記時点毎に、前記第一の出稿量及び前記第二の出稿量を決定する請求項１記載の情報処理システム。
【請求項6】
前記第一の出稿量は、前記予約型広告の出稿金額であり、前記第二の出稿量は、前記非予約型広告の出稿金額であり、
前記総量は、前記予約型広告及び前記非予約型広告を含む広告の出稿予算である請求項１～請求項５のいずれか一項記載の情報処理システム。
【請求項7】
請求項１～請求項５のいずれか一項記載の情報処理システムにおける出稿指示部と、第一実績判別部と、第二実績判別部と、スケジュール判別部としての機能をコンピュータに実現させるためのコンピュータプログラム。
【請求項8】
コンピュータにより実行される情報処理方法であって、第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示することと、
前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別することと、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別することと、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別することと、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記広告出稿を指示することは、強化学習及びコンテキスチュアルバンデットアルゴリズムの少なくとも一方に従って、複数の時点に関し、時点毎に、
対応する時点における状態又はコンテキストに基づき、前記対応する時点における広告出稿に関する行動として、前記第一の出稿量及び前記第二の出稿量を決定し、
前記第一の実績及び前記第二の実績に基づき、前記対応する時点までの広告出稿により新たに露出された前記予約型広告及び前記非予約型広告の広告効果を、前記行動に対する報酬として決定し、
前記対応する時点での広告出稿と、前記対応する時点での前記第一の実績及び前記第二の実績とを加味して、前記状態又はコンテキストを更新し、
前記報酬に基づいて、前記行動の選択に関するポリシーを更新すること
を含み、
前記状態又はコンテキストは、可能な残り出稿量と、前記未露出広告の露出スケジュールと、前記第一の実績と、前記第二の実績と、を用いて定義される情報処理方法。
【請求項9】
コンピュータにより実行される情報処理方法であって、第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示することと、
前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別することと、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別することと、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別することと、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記広告出稿を指示することは、状態、報酬、及び行動が定義された強化学習により、複数の時点に関し、時点毎に、対応する時点での前記第一の出稿量及び前記第二の出稿量を前記行動として決定することを含み、
前記状態は、前記対応する時点での可能な残り出稿量、前記第一の実績、前記第二の実績、及び、前記未露出広告のスケジュールを用いて定義され、
前記報酬は、前記第一の実績及び前記第二の実績から判別される前記対応する時点での広告効果を用いて定義される情報処理方法。
【請求項10】
コンピュータにより実行される情報処理方法であって、第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示することと、
前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別することと、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別することと、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別することと、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記広告出稿を指示することは、コンテキスト、報酬、及び行動が定義されたコンテキスチュアルバンデットアルゴリズムにより、複数の時点に関し、時点毎に、対応する時点での前記第一の出稿量及び前記第二の出稿量を前記行動として決定するように構成され、
前記コンテキストは、前記対応する時点での可能な残り出稿量、前記第一の実績、前記第二の実績、及び、前記未露出広告のスケジュールを用いて定義され、
前記報酬は、前記第一の実績及び前記第二の実績から判別される前記対応する時点での広告効果を用いて定義される情報処理方法。
【請求項11】
コンピュータにより実行される情報処理方法であって、第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示することと、
前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別することと、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別することと、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別することと、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記広告出稿を指示することは、例えばカルマンフィルタ等の状態空間モデルを用いて、複数の時点に関し、時点毎に、可能な残り出稿量と、前記未露出広告の露出スケジュールと、前記第一の実績と、前記第二の実績とに基づき、対応する時点での前記第一の出稿量及び前記第二の出稿量を決定することを含み、
前記状態空間モデルは、前記未露出広告の露出スケジュールの情報を含むモデルであって、状態量と、観測量と、入力量との間の関係を定義し、前記未露出広告の露出スケジュールの情報は、前記入力量と前記観測量との間の関係が前記露出スケジュールに従って数式表現されることによって前記状態空間モデルに組み込まれ、
前記入力量は、前記第一の出稿量と前記第二の出稿量とを用いて定義される広告出稿に関する量であり、
前記状態量は、前記広告出稿により変化する状態量であり、前記可能な残り出稿量と、前記第一の実績と、前記第二の実績と、を用いて定義され、
前記観測量は、前記第一の実績及び前記第二の実績に基づいて判別される出稿された前記予約型広告及び前記非予約型広告の広告効果を定義する量である情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システム及び方法に関する。
【背景技術】
【0002】
従来、放送とネットワークにおける広告を融合させる技術、特には広告のタイミングを自動的に同期させると共に、その表示態様を最適化し、高い広告効果を得るための技術が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２００８／０８１５９６号
【発明の概要】
【発明が解決しようとする課題】
【0004】
効果的な広告を実現するためには、選択可能な媒体に対する広告予算の配分もまた重要である。広告の例には、予約型広告及び運用型広告が含まれる。
予約型広告は、配信に事前の予約が必要なタイプの広告であり、予約時に定められたスケジュールに従って配信される。ここでいう配信は、デジタル配信だけではなく、放送を含む。予約型広告の例には、テレビジョン放送を通じた広告であるテレビコマーシャルが含まれる。
予約型広告は、配信に事前の予約が必要なタイプの広告であり、予約時に定められたスケジュールに従って配信される。ここでいう配信は、デジタル配信だけではなく、放送を含む。予約型広告の例には、テレビジョン放送を通じた広告であるテレビコマーシャルが含まれる。
【0005】
運用型広告は、予約型の広告とは異なり、配信条件をリアルタイムで変更できるタイプの広告である。運用型広告の例には、通信ネットワーク、特にはインターネットを通じた広告が含まれる。運用型広告は、事前予約なしに広告主から指定されたタイミングで配信され得る。
【0006】
予約型広告では、広告効果の高い広告枠が存在する一方で、事前に出稿を決めておく必要がある。一方、運用型広告では、リアルタイム配信が可能な一方で、広告効果が予約型広告よりも低い場合がある。このように予約型広告及び運用型広告には、メリット及びデメリットが存在する。
【0007】
そこで、本開示の一側面によれば、可能な出稿量の総量が定められた条件下で、複数回に亘る予約型広告及び非予約型広告の出稿量の決定を通じて、広告効果の高い配分で予約型広告及び非予約型広告を出稿可能な技術を提供できることが望ましい。
【課題を解決するための手段】
【0008】
本開示の一側面によれば、情報処理システムが提供される。情報処理システムは、出稿指示部と、第一実績判別部と、第二実績判別部と、スケジュール判別部と、を備える。出稿指示部は、第一の出稿量、及び、第二の出稿量を決定し、第一の出稿量に基づいた第一の媒体に対する広告出稿、及び、第二の出稿量に基づいた第二の媒体に対する広告出稿を指示するように構成される。第一の出稿量は、第一の媒体を通じて露出される予約型広告に対する出稿量である。第二の出稿量は、第二の媒体を通じて露出される非予約型広告に対する出稿量である。
【0009】
第一実績判別部は、第一の媒体を通じて露出された予約型広告の露出に関する実績である第一の実績を判別するように構成される。第二実績判別部は、第二の媒体を通じて露出された非予約型広告の露出に関する実績である第二の実績を判別するように構成される。スケジュール判別部は、予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別するように構成される。
【0010】
本開示の一側面によれば、予約型広告及び非予約型広告に対して可能な出稿量の総量が、予め定められる。出稿指示部は、複数の時点に関し、時点毎に、可能な残り出稿量と、未露出広告の露出スケジュールと、第一の実績と、第二の実績とに基づき、第一の出稿量及び第二の出稿量を決定するように構成される。
【0011】
予約型広告及び非予約型広告の露出に関する実績に基づいて、更には、未露出広告の露出スケジュールに基づいて、予約型広告及び非予約型広告の出稿量を決定するシステムを用いれば、可能な出稿量の総量が定められた条件下で、複数回に亘る予約型広告及び非予約型広告の出稿量の決定を通じて、広告効果の高い配分で予約型広告及び非予約型広告を出稿可能である。
【0012】
本開示の一側面によれば、可能な出稿量の総量のうち、第一の量が、予約型広告に対する出稿量として予め定められ得る。総量のうち、第二の量が、予約型広告及び非予約型広告に共用の出稿量として定められ得る。出稿指示部には、第二の量の予約型広告及び非予約型広告に対する配分の決定権が与えられる。
【0013】
本開示の一側面によれば、第一の量の少なくとも一部に対応する予約型広告の広告出稿が、複数の時点よりも前の時点である最初の時点で完了する場合があり得る。この場合、上述の露出スケジュールは、最初の時点で出稿済の予約型広告であって、露出待ちにある未露出広告の露出スケジュールを含み得る。
【0014】
出稿指示部は、最初の時点で出稿済の予約型広告を含む未露出広告の露出スケジュールを加味して、時点毎に、第一の出稿量及び第二の出稿量を決定し得る。
【0015】
この情報処理システムを用いれば、ユーザは、予約型広告に対する最低出稿量を理解し、予約型広告の初期出稿を済ませた状態から、情報処理システムに広告効果の高い予約型広告及び非予約型広告の出稿量を計算させることができる。すなわち、情報処理システムは、予約型広告に対する最低出稿量を制御しつつ、複数回に亘る予約型広告及び非予約型広告の出稿量の決定を通じて、広告効果の高い予約型広告及び非予約型広告の出稿を指示可能である。
【0016】
本開示の一側面によれば、第一の出稿量は、予約型広告の出稿金額であり得る。第二の出稿量は、非予約型広告の出稿金額であり得る。可能な出稿量の総量は、予約型広告及び非予約型広告を含む広告の出稿予算であり得る。従って、本開示の一側面に係る情報処理システムを用いれば、ユーザは、限られた予算の中で、広告効果の高い予約型広告及び非予約型広告の出稿を実現可能である。
【0017】
本開示の一側面によれば、出稿指示部は、動的最適化アルゴリズムに従って、時点毎に、第一の出稿量及び第二の出稿量を決定し得る。本開示の一側面によれば、動的最適化アルゴリズムは、強化学習、コンテキスチュアルバンデットアルゴリズム、及びカルマンフィルタの少なくとも一つを含み得る。
【0018】
本開示の一側面によれば、出稿指示部は、強化学習又はコンテキスチュアルバンデットアルゴリズムに従って、時点毎に、第一の出稿量及び第二の出稿量を決定し得る。こうしたアルゴリズムを通じた出稿量の決定によれば、ユーザは、広告効果の高い予約型広告及び非予約型広告の出稿を実現することが可能である。
【0019】
本開示の一側面によれば、出稿指示部は、時点毎に、対応する時点における状態又はコンテキストに基づき、対応する時点における広告出稿に関する行動として、第一の出稿量及び第二の出稿量を決定し得る。状態又はコンテキストは、可能な残り出稿量と、未露出広告の露出スケジュールと、第一の実績と、第二の実績と、を用いて定義され得る。
【0020】
出稿指示部は、時点毎に、第一の実績及び第二の実績に基づき、対応する時点までの広告出稿により新たに露出された予約型広告及び非予約型広告の広告効果を、行動に対する報酬として決定し得る。
【0021】
出稿指示部は、時点毎に、対応する時点での広告出稿と、対応する時点での第一の実績及び第二の実績と、を加味して、状態又はコンテキストを更新し得る。出稿指示部は、時点毎に、報酬に基づいて、行動の選択に関するポリシーを更新し得る。
【0022】
本開示の一側面によれば、出稿指示部は、状態、報酬、及び行動が定義された強化学習により、複数の時点に関して、時点毎に、対応する時点での第一の出稿量及び第二の出稿量を行動として決定するように構成され得る。
【0023】
本開示の一側面によれば、状態は、対応する時点での可能な残り出稿量、第一の実績、第二の実績、及び、未露出広告のスケジュールを用いて定義され得る。報酬は、第一の実績及び第二の実績から判別される対応する時点での広告効果を用いて定義され得る。
【0024】
本開示の一側面によれば、出稿指示部は、コンテキスト、報酬、及び行動が定義されたコンテキスチュアルバンデットアルゴリズムにより、複数の時点に関して、時点毎に、対応する時点での第一の出稿量及び第二の出稿量を行動として決定するように構成され得る。
【0025】
コンテキストは、対応する時点での可能な残り出稿量、第一の実績、第二の実績、及び、未露出広告のスケジュールを用いて定義され得る。報酬は、第一の実績及び第二の実績から判別される対応する時点での広告効果を用いて定義され得る。
【0026】
本開示の一側面によれば、出稿指示部は、例えばカルマンフィルタ等の状態空間モデルを用いて、時点毎に、対応する時点での第一の出稿量及び第二の出稿量を決定するように構成され得る。
【0027】
状態空間モデルは、状態量と、観測量と、入力量との間の関係を定義するモデルであり得る。状態空間モデルは、未露出広告の露出スケジュールの情報を含むモデルであり得る。入力量は、第一の出稿量と第二の出稿量とを用いて定義される広告出稿に関する量であり得る。
【0028】
状態量は、広告出稿により変化する状態量であり得る。状態量は、可能な残り出稿量と、第一の実績と、第二の実績と、を用いて定義され得る。観測量は、第一の実績及び第二の実績に基づいて判別される出稿された予約型広告及び非予約型広告の広告効果を定義する量であり得る。
【0029】
本開示の一側面によれば、上述の情報処理システムにおける出稿指示部と、第一実績判別部と、第二実績判別部と、スケジュール判別部としての機能をコンピュータに実現させるためのコンピュータプログラムが提供されてもよい。コンピュータプログラムは、コンピュータ読取可能な記録媒体に記録されて、提供されてもよい。
【0030】
本開示の一側面によれば、次の情報処理方法が提供されてもよい。情報処理方法は、第一の出稿量、及び、第二の出稿量を決定し、第一の出稿量に基づいた第一の媒体に対する広告出稿、及び、第二の出稿量に基づいた第二の媒体に対する広告出稿を指示することを含み得る。第一の出稿量は、第一の媒体を通じて露出される予約型広告に対する出稿量であり得る。第二の出稿量は、第二の媒体を通じて露出される非予約型広告に対する出稿量であり得る。
【0031】
情報処理方法は、第一の媒体を通じて露出された予約型広告の露出に関する実績である第一の実績を判別することを含み得る。情報処理方法は、第二の媒体を通じて露出された非予約型広告の露出に関する実績である第二の実績を判別することを含み得る。
【0032】
情報処理方法は、予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別することを含み得る。予約型広告及び非予約型広告に対して可能な出稿量の総量は、予め定められ得る。
【0033】
広告出稿を指示することは、複数の時点に関し、時点毎に、可能な残り出稿量と、未露出広告の露出スケジュールと、第一の実績と、第二の実績とに基づき、第一の出稿量及び第二の出稿量を決定することを含み得る。
【0034】
こうした方法を用いれば、情報処理システムと同様に、可能な出稿量の総量が定められた条件下で、複数回に亘る予約型広告及び非予約型広告の出稿量の決定を通じて、広告効果の高い予約型広告及び非予約型広告の出稿を実現可能である。
【0035】
本開示の一側面によれば、情報処理方法は、コンピュータにより実行されてもよい。本開示の一側面によれば、強化学習、コンテキスチュアルバンデットアルゴリズム、及びカルマンフィルタ等の動的最適化アルゴリズムに従って、時点毎に、第一の出稿量及び第二の出稿量が決定されてもよい。その他、上述の情報処理システムに対応する情報処理方法が提供されてもよい。
【図面の簡単な説明】
【0036】
【図1】情報処理システムの構成を表すブロック図である。
【図2】第一実施形態において、プロセッサが実行する第一の出稿関連処理を表すフローチャートである。
【図3】予備予算の使用に関する説明図である。
【図4】第一実施形態において、プロセッサが実行する第二の出稿関連処理を表すフローチャートである。
【図5】第二実施形態において、プロセッサが実行する第一の出稿関連処理を表すフローチャートである。
【図6】第二実施形態において、プロセッサが実行する第二の出稿関連処理を表すフローチャートである。
【発明を実施するための形態】
【0037】
以下に本開示の例示的実施形態を、図面を参照しながら説明する。
［第一実施形態］
本実施形態の情報処理システム１は、汎用のコンピュータシステムに、本実施形態に特有のコンピュータプログラムがインストールされることにより構成される。図１に示す情報処理システム１は、プロセッサ１１と、メモリ１２と、ストレージ１３と、ディスプレイ１５と、入力デバイス１７と、メディアリーダ／ライタ１８と、通信デバイス１９とを備える。
［第一実施形態］
本実施形態の情報処理システム１は、汎用のコンピュータシステムに、本実施形態に特有のコンピュータプログラムがインストールされることにより構成される。図１に示す情報処理システム１は、プロセッサ１１と、メモリ１２と、ストレージ１３と、ディスプレイ１５と、入力デバイス１７と、メディアリーダ／ライタ１８と、通信デバイス１９とを備える。
【0038】
プロセッサ１１は、ストレージ１３が記憶するコンピュータプログラムに従う処理を実行するように構成される。メモリ１２は、ＲＡＭを含む。メモリ１２は、プロセッサ１１がコンピュータプログラムに従う処理を実行する際に、作業領域として使用される。メモリ１２は、ストレージ１３から読み出されたコンピュータプログラム及びデータを一時記憶する。
【0039】
ストレージ１３は、コンピュータプログラム及び各種データを格納する。ストレージ１３に格納されるコンピュータプログラムの一つには、プロセッサ１１が、指定された広告予算の中で広告効果を最大化するように、予約型広告及び非予約型広告のそれぞれに対する出稿量を、動的最適化アルゴリズムに基づいて段階的に決定するためのコンピュータプログラムが含まれる。ストレージ１３の例には、ハードディスクドライブ及びソリッドステートドライブが含まれる。
【0040】
ディスプレイ１５は、ユーザに向けて各種情報を表示するように構成される。ディスプレイ１５は、例えば液晶ディスプレイである。入力デバイス１７は、ユーザからの操作信号をプロセッサ１１に入力するように構成される。入力デバイス１７は、ユーザが操作可能なキーボード及びポインティングデバイスを備える。
【0041】
メディアリーダ／ライタ１８は、メモリカードなどの記録メディアに記録された情報を読取可能、及び、記録メディアに新規情報を書込可能に構成される。通信デバイス１９は、プロセッサ１１により制御されて、ローカルエリアネットワーク内の、及び／又は、広域ネットワーク内の外部システムと通信するように構成される。
【0042】
プロセッサ１１は、入力デバイス１７を通じてユーザから入力される指令に従って、ストレージ１３が記憶するコンピュータプログラムに基づく出稿関連処理を実行する。出稿関連処理は、第一の出稿関連処理（図２参照）と、第二の出稿関連処理（図４参照）とを含む。プロセッサ１１は、第一の出稿関連処理の実行後、入力デバイス１７を通じてユーザから入力される更なる指令に従って、第二の出稿関連処理を実行する。
【0043】
第一の出稿関連処理では、指定された条件で、複数の媒体に対する広告の最低出稿予算が決定され、出稿計画が出力される。第二の出稿関連処理では、出稿計画で定められた最低出稿予算に基づいて、複数の媒体への出稿量が決定され、広告出稿が指示される。
【0044】
複数の媒体には、予約型広告を配信する複数の媒体（以下「予約型媒体」という）と、非予約型広告を配信する複数の媒体（以下「非予約型媒体」という）と、が含まれる。ここでいう広告の配信は、広告を流すことを意味し、インターネットを通じた広告の配信だけでなく、テレビジョン放送やラジオ放送等を通じた広告の放送を含むと、広義に理解されたい。広告は、媒体を通じて消費者に露出される。広告は、例えば、広告主が販売する商品又は広告主が提供するサービスに関するものであり得る。
【0045】
一例としての非予約型広告は、出稿とほぼ同時に配信される運用型広告であって、インターネットを通じて配信されるデジタル広告である。一例としての予約型広告は、テレビジョン放送を通じて、テレビコマーシャル（ＣＭ）の形態で配信される広告である。テレビＣＭは、スポットＣＭを含む。テレビＣＭとしての予約型広告は、広告出稿時に定められたスケジュールに従って、所定の放送枠で放送される。以下では、予約型広告としてテレビＣＭを想定し、非予約型広告としてデジタル広告を想定した例を説明する。
【0046】
出稿関連処理の第一ステップでは、ユーザから実行条件として次の情報が与えられる。
・・広告予算
・・キャンペーン期間
・・広告効果の推定モデル
・・ターゲット情報
・・ペナルティ
プロセッサ１１は、第一の出稿関連処理（図２参照）を開始すると、Ｓ１１０において、ストレージ１３を通じて又は入力デバイス１７を通じて、これらの情報を取得する。
・・広告予算
・・キャンペーン期間
・・広告効果の推定モデル
・・ターゲット情報
・・ペナルティ
プロセッサ１１は、第一の出稿関連処理（図２参照）を開始すると、Ｓ１１０において、ストレージ１３を通じて又は入力デバイス１７を通じて、これらの情報を取得する。
【0047】
広告予算は、キャンペーンで使用可能な予約型広告及び非予約型広告を含む広告の出稿予算の総額である。キャンペーン期間は、広告活動を行う期間に対応する。広告効果の推定モデルは、広告の露出実績に関する指標から、広告効果を推定するための数理モデルである。
【0048】
広告効果は、目標の消費者に広告が到達した数であるリーチ数として数値化され得る。あるいは、広告効果は、コンバージョン率として数値化され得る。あるいは、広告効果は、ブランドリフトの大小を数値化して表現され得る。広告効果は、リーチ数、コンバージョン率、及びブランドリフト等の複数の指標を総合したスコアとして数値表現されてもよい。
【0049】
ターゲット情報は、広告目標の消費者セグメントを指定する情報である。広告効果は、ターゲット情報で指定された消費者セグメントに対する効果として推定される。消費者セグメントは、例えば、性別及び年齢層により指定される。
【0050】
ペナルティは、可能な出稿量の総量である、指定された広告予算を超える広告出稿を、出稿関連処理が指示するのを抑制するためのパラメータである。予算を超える広告出稿に対する広告主の許容度が低いほど、予算を超える広告出稿の指示を抑えるために、ペナルティは大きい値として指定される。この説明から理解できるように、「可能な」出稿量の総量は、対応する量までは、少なくとも出稿が可能な出稿量の総量の意味であり、「可能な」出稿量を超える出稿が禁止されていることを意味する表現ではないことに留意されたい。
【0051】
続くＳ１２０において、プロセッサ１１は、キャンペーン期間開始前の時点ｔ＝０での広告出稿に関する行動を、強化学習アルゴリズムに従って選択する。具体的には、プロセッサ１１は、与えられた初期状態ｓ（ｔ＝０）に基づき、キャンペーン期間開始前の時点ｔ＝０での行動として、複数の予約型媒体、及び、複数の非予約型媒体に対する最低出稿予算ｂ１
Ｒ（０），ｂ２
Ｒ（０），…，ｂｍ
Ｒ（０），…，ｂＭ
Ｒ（０），ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂｎ
Ｐ（０），…，ｂＮ
Ｐ（０）を決定する。ここでの出稿予算は、広告枠の買い付け予算である。
【0052】
ｂｍ
Ｒ（０）は、複数の予約型媒体のうち、第ｍの予約型媒体に対する出稿予算である。Ｍは、予約型媒体が、第１の予約型媒体から第Ｍの予約型媒体まで存在するときの予約型媒体の数である。Ｍは、１以上の整数値を採り、ｍは、値１から値Ｍまでの整数値を採る。
【0053】
ｂｎ
Ｐ（０）は、複数の非予約型媒体のうち、第ｎの非予約型媒体に対する出稿予算である。Ｎは、非予約型媒体が、第１の非予約型媒体から第Ｎの非予約型媒体まで存在するときの非予約型媒体の数である。Ｎは、１以上の整数値を採り、ｎは、値１から値Ｎまでの整数値を採る。
【0054】
初期状態ｓ（０）は、広告予算によって定義される。強化学習アルゴリズムでは、指定された広告予算の情報に基づいて、更には予め学習された行動選択に関するポリシーに基づいて、複数の予約型媒体及び複数の非予約型媒体に対する最低出稿予算ｂ１
Ｒ（０），ｂ２
Ｒ（０），…，ｂＭ
Ｒ（０），ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂＮ
Ｐ（０）が決定される。
【0055】
続くＳ１３０において、プロセッサ１１は、出稿計画として、Ｓ１２０で決定された媒体毎の最低出稿予算ｂ１
Ｒ（０），ｂ２
Ｒ（０），…，ｂＭ
Ｒ（０），ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂＮ
Ｐ（０）を、広告予算と予備予算と共に出力する。
【0056】
広告予算は、上述した通りである。予備予算は、広告予算から、最低出稿予算ｂ１
Ｒ（０），ｂ２
Ｒ（０），…，ｂＭ
Ｒ（０），ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂＮ
Ｐ（０）の合計を減算した値に対応する。広告予算に、変数Ｂを割り当て、予備予算に、変数Ｂｒを割り当てるとき、予備予算は、Ｂｒ＝Ｂ－（ｂ１
Ｒ（０）＋ｂ２
Ｒ（０）＋…＋ｂＭ
Ｒ（０）＋ｂ１
Ｐ（０）＋ｂ２
Ｐ（０）＋…＋ｂＮ
Ｐ（０））である。すなわち、予備予算は、広告予算のうち、予約型媒体及び非予約型媒体のいずれにも割り当てられていない予算に対応する。
【0057】
Ｓ１３０において、プロセッサ１１は、ディスプレイ１５を通じた表示により出稿計画を出力することができる。プロセッサ１１は、ストレージ１３に、ユーザが閲覧可能なデータファイルとして出稿計画を出力することができる。プロセッサ１１は、第二の出稿関連処理に必要な出稿計画の情報をストレージ１３に記憶することができる。その後、プロセッサ１１は、第一の出稿関連処理を終了する。
【0058】
出稿計画は、キャンペーン期間開始前に広告主に提示される。出稿計画が広告主により採用された場合、キャンペーン期間開始前に、予約型媒体に関して、出稿計画に従う最低出稿予算ｂ１
Ｒ（０），ｂ２
Ｒ（０），…，ｂＭ
Ｒ（０）分の広告枠が買い付けられ、各予約型媒体に対する出稿作業が完了する。この出稿作業は、広告代理店の担当者によって手作業で、あるいは、媒体との中継システム３１を通じて自動で行われる。
【0059】
その後、出稿済予約型広告についての配信スケジュールがストレージ１３に記録される。プロセッサ１１は、配信スケジュールを、中継システム３１を通じて自動で取得することができる。あるいは、広告代理店の担当者は、配信スケジュールを媒体側の企業から取得し、入力デバイス１７やメディアリーダ／ライタ１８を通じて、情報処理システム１に入力することができる。
【0060】
第一の出稿関連処理の終了後、プロセッサ１１は、出稿計画に基づく処理の実行指示が入力デバイス１７を通じてユーザから入力されると、第二の出稿関連処理（図４参照）を開始する。第二の出稿関連処理では、出稿計画に従う広告予算Ｂ、各媒体の最低出稿予算ｂ１
Ｒ（０），ｂ２
Ｒ（０），…，ｂＭ
Ｒ（０），ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂＮ
Ｐ（０）、予備予算Ｂｒに基づき、非予約型媒体への広告出稿、及び、予約型媒体への追加の広告出稿が決定される。
【0061】
第二の出稿関連処理の開始時であるキャンペーン期間の開始時において、上述の通り、最低出稿予算ｂ１
Ｒ（０），ｂ２
Ｒ（０），…，ｂＭ
Ｒ（０）に基づく予約型媒体への広告出稿は完了している。一方、最低出稿予算ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂＮ
Ｐ（０）に基づく非予約型媒体への広告出稿は行われていない。最低出稿予算ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂＮ
Ｐ（０）に基づく非予約型媒体への広告出稿は、キャンペーン期間の開始後に行われる。
【0062】
本実施形態では、図３に示すように、予備予算Ｂｒが、キャンペーン期間において、予約型広告又は非予約型広告の出稿に段階的に使用される。図３によれば、キャンペーン期間開始前における予約型媒体への出稿予算は「４０」であり、非予約型媒体への出稿予算は「２０」であり、予備予算は、「１０」である。数値は例示であり、その単位は任意である。
【0063】
キャンペーン期間の途中において、予備予算「１０」のうちの「４」が、予約型媒体に割り当てられ、「２」が非予約型媒体に割り当てられ、それぞれの媒体に対する追加の広告出稿が行われる。更に後の時点で、残り予備予算「４」のうちの「２」が、予約型媒体に割り当てられ、更に「２」が、非予約型媒体に割り当てられ、それぞれの媒体に対する追加の広告出稿が行われる。これにより予備予算が消化される。図３を用いた説明は、予備予算の消化が段階的に行われることを説明する目的でなされたものであり、数値に何ら意味はなく、単なる例示であることを理解されたい。
【0064】
この予備予算の段階的割当は、強化学習アルゴリズムに従って、広告効果を最大化するように実行される。第二の出稿関連処理（図４参照）において、プロセッサ１１は、出稿計画に従って予め出稿された出稿済予約型広告の配信スケジュールを、ストレージ１３から読み込む（Ｓ２１０）。
【0065】
更にプロセッサ１１は、強化学習アルゴリズムに従って各媒体への出稿量を決定するために、キャンペーン期間の開始時点であるキャンペーン期間１日目の時点ｔ＝１における状態ｓ（１）を次のように設定する（Ｓ２３０）。
【0066】
【数1】
【0067】
状態変数は、６つの項から構成される。第１項「１／Ｔ」は、キャンペーン期間の１日目におけるキャンペーン期間の経過割合を示す。ｔ／Ｔは、時点ｔにおけるキャンペーン期間の経過割合を示す。
【0068】
以下において時点ｔは、キャンペーン期間のｔ日目の時点であることを意味する。すなわち、ｔは、キャンペーン期間内の時点を、日単位で表す離散時間である。Ｔは、キャンペーン期間の長さを表し、具体的には、キャンペーン期間の日数を表す。
【0069】
第２項「Ｂ（１）／Ｂ」は、広告予算Ｂに対する時点ｔ＝１での予算残高Ｂ（１）の割合を示す。すなわち、Ｂ（ｔ）／Ｂは、キャンペーン期間ｔ日目の広告予算Ｂに対する予算残高Ｂ（ｔ）の割合である。予算残高Ｂ（１）は、次式により算出される。
【0070】
【数2】
【0071】
第３項は、第１の予約型媒体から第Ｍの予約型媒体までの各予約型媒体の広告配信に関するコストパフォーマンスを表す。キャンペーン期間１日目、すなわち時点ｔ＝１においてはコストパフォーマンスが不明であることから、時点ｔ＝１での第３項は、各予約型媒体のコストパフォーマンスがゼロであることを示している。すなわち｛０｝１≦ｍ≦Ｍは、要素数がＭで、各要素の値がゼロの一次元配列である。
【0072】
第４項は、第１の非予約型媒体から第Ｎの非予約型媒体までの各非予約型媒体の広告配信に関するコストパフォーマンスを表す。キャンペーン期間１日目においてはコストパフォーマンスが不明であることから、時点ｔ＝１での第４項は、各非予約型媒体のコストパフォーマンスがゼロであることを示している。すなわち｛０｝１≦ｎ≦Ｎは、要素数がＮで、各要素の値がゼロの一次元配列である。但し、第３項及び第４項ともゼロに代えて過去の類似の広告出稿で計測されたコストパフォーマンスが用いられてもよい。
【0073】
第５項は、時点ｔ＝１において推定される第１の予約型媒体から第Ｍの予約型媒体までの各予約型媒体におけるキャンペーン期間中（１≦τ≦Ｔ）の各日τのＧＲＰ（Ｇｒｏｓｓ Ｒａｔｉｎｇ Ｐｏｉｎｔ）の配列である。
【0074】
Ｇｍ，τ（１）は、キャンペーン期間１日目において推定されるＧＲＰ（延べ視聴率）であって、配信スケジュールによれば、対応する日τに、対応する予約型媒体（ｍ）で配信される出稿済の未配信予約型広告の推定視聴率の合計である。すなわち、第５項は、１≦ｍ≦Ｍ及び１≦τ≦Ｔのｍ，τの組合せ毎のＧｍ，τ（１）の配列｛Ｇｍ，τ（１）｝１≦ｍ≦Ｍ，１≦τ≦Ｔである。
【0075】
プロセッサ１１は、Ｓ２１０で取得した配信スケジュールに従って、配列｛Ｇｍ，τ（１）｝１≦ｍ≦Ｍ，１≦τ≦Ｔを生成することができる。推定ＧＲＰは、過去の同時間帯の視聴率の実績から算出され得る。算出に必要な視聴率の実績データは、予めストレージ１３に格納され得る。
【0076】
第６項は、時点ｔ＝１における各非予約型媒体に対する出稿予算の残高の配列｛Ｗｎ（１）｝１≦ｎ≦Ｎである。残高Ｗｎ（１）は、時点ｔ＝１における第ｎの非予約型媒体に対する出稿予算の残高であり、第一の出稿関連処理で算出された第ｎの非予約型媒体に対する最低出稿予算ｂｎ
Ｐ（０）にセットされる。すなわち、｛Ｗ１（１），Ｗ２（１），…，ＷＮ（１）｝＝｛ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂＮ
Ｐ（０）｝である。
【0077】
続くＳ２４０において、プロセッサ１１は、現在の時点ｔ＝１に関し、この時点ｔの状態ｓ（ｔ）に基づき、時点ｔでの広告出稿に関する行動として、時点ｔにおける予約型媒体及び非予約型媒体のそれぞれに対する出稿量を、強化学習アルゴリズムを用いて決定する。
【0078】
すなわち、プロセッサ１１は、出稿量（ｂ１
Ｒ（ｔ），ｂ２
Ｒ（ｔ），…，ｂＭ
Ｒ（ｔ），ｂ１
Ｐ（ｔ），ｂ２
Ｐ（ｔ），…，ｂＮ
Ｐ（ｔ））を、状態ｓ（ｔ）と行動選択に関するポリシーとに基づいて決定する。ここで、ｂｍ
Ｒ（ｔ）は、時点ｔにおける第ｍの予約型媒体に対する出稿量である。ｂｎ
Ｐ（ｔ）は、時点ｔにおける第ｎの非予約型媒体に対する出稿量である。各媒体に対する出稿量は、具体的には、各媒体に対する出稿金額、換言すれば、各媒体の広告枠の購入額である。
【0079】
強化学習アルゴリズムによれば、ポリシーは、後述する報酬ｒ（ｔ）によって更新される。本実施形態によれば、数量の異なる複数の出稿量が、行動の選択肢として定義される。ポリシーに従う行動選択として、選択肢の中から、一つの数量が選択されることにより、出稿量が決定される。
【0080】
続くＳ２５０において、プロセッサ１１は、出稿量（ｂ１
Ｒ（ｔ），ｂ２
Ｒ（ｔ），…，ｂＭ
Ｒ（ｔ），ｂ１
Ｐ（ｔ），ｂ２
Ｐ（ｔ），…，ｂＮ
Ｐ（ｔ））に基づく各媒体への広告出稿を指示する。
【0081】
Ｓ２５０において、プロセッサ１１は、例えば中継システム３１に広告出稿を指示することができる。中継システム３１は、指示された内容に従って、各媒体のシステムに対する広告出稿を自動で行うことができる。プロセッサ１１は、ディスプレイ１５を通じた出稿量の表示により各媒体への広告出稿をユーザに向けて指示してもよい。ユーザは、表示された内容に従って、各媒体に対する広告出稿作業を少なくとも部分的に手作業で行うことができる。
【0082】
続くＳ２６０において、プロセッサ１１は、第１の予約型媒体から第Ｍの予約型媒体までの各予約型媒体を通じて配信された予約型広告の平均視聴率Ｐｍ
Ｒ（ｔ）を露出実績として判別する。プロセッサ１１は更に、各予約型媒体に対する広告出稿コストｃｍ
Ｒ（ｔ）＝ｂｍ
Ｒ（ｔ）と、各予約型媒体における予約型広告の平均視聴率Ｐｍ
Ｒ（ｔ）と、に基づき、各予約型媒体の時点ｔにおける露出量Ｉｍ
Ｒ（ｔ）＝ｃｍ
Ｒ（ｔ）×Ｐｍ
Ｒ（ｔ）を算出する。
【0083】
Ｉｍ
Ｒ（ｔ）は、第ｍの予約型媒体を通じて配信された予約型広告の時点ｔにおける露出量を表す。Ｐｍ
Ｒ（ｔ）は、第ｍの予約型媒体における時点ｔでの平均視聴率を表し、ｃｍ
Ｒ（ｔ）は、時点ｔにおいて第ｍの予約型媒体を通じて配信された広告の出稿コスト、すなわち出稿金額を表す。プロセッサ１１は、各予約型媒体の平均視聴率Ｐｍ
Ｒ（ｔ）の情報を、例えば、視聴行動を計測する計測システム３５から通信デバイス１９を通じて取得して、平均視聴率Ｐｍ
Ｒ（ｔ）を判別することができる。
【0084】
続くＳ２７０において、プロセッサ１１は、第１の非予約型媒体から第Ｎの非予約型媒体までの各非予約型媒体に関して、時点ｔで非予約型媒体を通じて配信された非予約型広告のＣＰＭ（Ｃｏｓｔ ｐｅｒ Ｍｉｌｌｅ）：Ｐｎ
Ｐ（ｔ）を露出実績として判別し、各非予約型媒体に対する広告出稿コストｃｎ
Ｐ（ｔ）と、各非予約型媒体における非予約型広告のＣＰＭ：Ｐｎ
Ｐ（ｔ）と、に基づき、各予約型媒体の時点ｔにおけるインプレッションＩｎ
Ｐ（ｔ）＝ｃｎ
Ｐ（ｔ）／Ｐｎ
Ｐ（ｔ）を算出する。
【0085】
Ｉｎ
Ｐ（ｔ）は、第ｎの非予約型媒体の時点ｔにおけるインプレッションを表す。Ｐｎ
Ｐ（ｔ）は、第ｎの非予約型媒体における時点ｔでの非予約型広告のＣＰＭを表し、ｃｎ
Ｐ（ｔ）は、第ｎの非予約型媒体における時点ｔの広告出稿コストを表す。ｃｎ
Ｐ（ｔ）は、ｂｎ
Ｐ（ｔ）に基づく出稿で実際に要する出稿金額を表す。
【0086】
続くＳ２８０において、プロセッサ１１は、時点ｔにおける報酬ｒ（ｔ）を算出する。具体的には、プロセッサ１１は、時点ｔまでの予約型媒体を通じた予約型広告の露出量｛Ｉｍ
Ｒ（ｓ）｝１≦ｍ≦Ｍ，１≦ｓ≦ｔと、時点ｔまでの非予約型媒体を通じた非予約型広告の露出量であるインプレッション｛Ｉｎ
Ｐ（ｓ）｝１≦ｎ≦Ｎ，１≦ｓ≦ｔと、を、広告効果の推定モデルに入力することにより、推定モデルから時点ｔでの広告効果Ｚ（ｔ）を得る。プロセッサ１１は、時点ｔでの広告効果Ｚ（ｔ）と、一つ前の時点での広告効果Ｚ（ｔ－１）との差分Ｚ（ｔ）－Ｚ（ｔ－１）を、報酬ｒ（ｔ）として、算出する。
【0087】
ｒ（ｔ）＝Ｚ（ｔ）－Ｚ（ｔ－１）
但し、予算残高Ｂ（ｔ）がゼロ未満の場合、すなわち、予算超過の状況における報酬ｒ（ｔ）は、負の報酬－Ｃとして定義される。値Ｃは、正の値であり、上述したペナルティである。
但し、予算残高Ｂ（ｔ）がゼロ未満の場合、すなわち、予算超過の状況における報酬ｒ（ｔ）は、負の報酬－Ｃとして定義される。値Ｃは、正の値であり、上述したペナルティである。
【0088】
ｒ（ｔ）＝－Ｃ
続くＳ２９０において、プロセッサ１１は、次の時点ｔの到来に応じて、状態ｓ（ｔ）を、到来した現時点ｔの状態に更新する。すなわち、プロセッサ１１は、状態ｓ（ｔ）を次のように設定する。この際、状態ｓ（ｔ）の設定のために、時点ｔにおける最新の配信スケジュールを取得する。
続くＳ２９０において、プロセッサ１１は、次の時点ｔの到来に応じて、状態ｓ（ｔ）を、到来した現時点ｔの状態に更新する。すなわち、プロセッサ１１は、状態ｓ（ｔ）を次のように設定する。この際、状態ｓ（ｔ）の設定のために、時点ｔにおける最新の配信スケジュールを取得する。
【0089】
【数3】
【0090】
状態ｓ（ｔ）の第１項及び第２項は上述した通りである。現時点ｔが、キャンペーン期間２日目の時点であれば（すなわちｔ＝２であれば）、第１項は、２／Ｔに更新され、第２項は、Ｂ（２）／Ｂに更新される。Ｂ（２）は、キャンペーン期間２日目の時点における予算残高である。
【0091】
第３項は、時点ｔにおける各予約型媒体の広告配信に関するコストパフォーマンスを表す。第ｍの予約型媒体のコストパフォーマンスは、キャンペーン期間の初日から現在より一つ前の時点ｔ－１までの各時点τにおける第ｍの予約型媒体での平均視聴率Ｐｍ
Ｒ（τ）の平均値で数値化される。第３項は、第１の予約型媒体から第Ｍの予約型媒体までの各媒体における平均値（１／（ｔ－１））ΣＰｍ
Ｒ（τ）を要素に有する配列である。
【0092】
第４項は、時点ｔにおける各非予約型媒体の広告配信に関するコストパフォーマンスを表す。第ｎの非予約型媒体のコストパフォーマンスは、キャンペーン期間の初日から現在より一つ前の時点ｔ－１までの各時点τにおける第ｎの非予約型媒体でのＣＲＭ：Ｐｎ
Ｐ（τ）の平均値で数値化される。第４項は、第１の非予約型媒体から第Ｎの非予約型媒体までの各媒体におけるＣＲＭ平均値（１／（ｔ－１））ΣＰｎ
Ｐ（τ）を要素に有する配列である。
【0093】
第５項は、時点ｔにおいて推定される第１予約型媒体から第Ｍ予約型媒体までの各予約型媒体におけるキャンペーン期間の（１≦τ≦Ｔ）の各日τのＧＲＰ（Ｇｒｏｓｓ Ｒａｔｉｎｇ Ｐｏｉｎｔ）の配列である。すなわち、第５項は、１≦ｍ≦Ｍ及び１≦τ≦Ｔの範囲におけるｍ，τの組合せ毎のＧｍ，τ（ｔ）の配列｛Ｇｍ，τ（ｔ）｝１≦ｍ≦Ｍ，１≦τ≦Ｔである。
【0094】
Ｇｍ，τ（ｔ）は、キャンペーン期間ｔ日目において推定されるＧＲＰであって、配信スケジュールによれば、対応する日τに、対応する予約型媒体（ｍ）で配信される出稿済の未配信予約型広告の推定視聴率の合計である。
【0095】
Ｇｍ，τ（ｔ）の計算には、キャンペーン期間の開始後において追加で出稿された予約型広告の配信スケジュールに従う視聴率も考慮される。一方で、配信済の広告に関する視聴率は、ＧＲＰの算出に用いられない点に留意されたい。従って、現時点ｔよりも前の期間τ＜ｔに対応するＧｍ，τ（ｔ）は全てゼロである。配信済の予約型広告は、配信された時点ｔで、上述の通り露出量Ｉｍ
Ｒ（ｔ）に基づく広告効果として、報酬ｒ（ｔ）に反映される。
【0096】
第６項は、時点ｔにおける各非予約型媒体に対する出稿予算の残高の配列｛Ｗｎ（ｔ）｝である。残高Ｗｎ（ｔ）は、時点ｔにおける第ｎの非予約型媒体に対する出稿予算の残高である。残高Ｗｎ（ｔ）は、次式に従って更新される。
【0097】
【数4】
【0098】
上述したように、ｃｎ
Ｐ（ｔ－１）は、時点ｔ－１において第ｎ非予約型媒体を通じて配信された広告に関する出稿コストである。この他、時点ｔにおける予算残高Ｂ（ｔ）は、次式により算出される。
【0099】
【数5】
【0100】
ここで関数Ｅ（ｃｎ
Ｐ（ｔ－１））は、時点ｔ－１における第ｎ非予約型媒体への出稿コストｃｎ
Ｐ（ｔ－１）が、時点ｔ－１における第ｎ非予約型媒体の予算残高Ｗｎ（ｔ－１）より大きいとき値１を出力し、それ以外のときには、値０を出力する関数である。
【0101】
すなわち、時点ｔにおける予算残高Ｂ（ｔ）は、時点ｔ－１における予算残高Ｂ（ｔ－１）から、時点ｔ－１において予約型広告及び非予約型広告の出稿のために消化された予備予算の合計を減算した値に対応する。
【0102】
その後、プロセッサ１１は、Ｓ２４０に処理を戻し、現在の時点ｔ＝２以降に関して、Ｓ２９０で設定した現時点ｔの状態ｓ（ｔ）に基づき、時点ｔにおける予約型媒体及び非予約型媒体のそれぞれに対する出稿量を、強化学習アルゴリズムを用いて決定する。
【0103】
プロセッサ１１は更に、Ｓ２５０において、出稿量（ｂ１
Ｒ（ｔ），ｂ２
Ｒ（ｔ），…，ｂＭ
Ｒ（ｔ），ｂ１
Ｐ（ｔ），ｂ２
Ｐ（ｔ），…，ｂＮ
Ｐ（ｔ））に基づく各媒体への広告出稿を指示する。Ｓ２６０において、プロセッサ１１は、各予約型媒体の平均視聴率Ｐｍ
Ｒ（ｔ）を判別し、各予約型媒体を通じて配信された予約型広告の時点ｔにおける露出量Ｉｍ
Ｒ（ｔ）＝ｃｍ
Ｒ（ｔ）×Ｐｍ
Ｒ（ｔ）を算出する。
【0104】
続くＳ２７０において、プロセッサ１１は、各非予約型媒体に関して、時点ｔでのＣＰＭ：Ｐｎ
Ｐ（ｔ）を判別し、各予約型媒体の時点ｔにおけるインプレッションＩｎ
Ｐ（ｔ）＝ｃｎ
Ｐ（ｔ）／Ｐｎ
Ｐ（ｔ）を算出する。続くＳ２８０において、プロセッサ１１は、報酬ｒ（ｔ）を算出する。続くＳ２９０において、状態ｓ（ｔ）を更新する。
【0105】
このようにして、プロセッサ１１は、Ｓ２４０～Ｓ２９０において、状態ｓ（ｔ）に基づく行動選択（すなわち出稿量の決定）、行動に基づく報酬ｒ（ｔ）の算出、状態ｓ（ｔ）の更新を繰返し行うことにより、強化学習アルゴリズムに従って、報酬ｒ（ｔ）である広告効果を最大化する方向に、各時点における予約型媒体及び非予約型媒体に対する出稿量を、予備予算Ｂｒを使用しながら決定する。行動選択に関するポリシーは、強化学習アルゴリズムに従って、報酬ｒ（ｔ）に基づき調整される。
【0106】
プロセッサ１１は、キャンペーン期間が終了することにより、終了条件が満足されると（Ｓ３００でＹｅｓ）、第二の出稿関連処理を終了する。
【0107】
以上に説明した本実施形態の情報処理システム１によれば、強化学習アルゴリズムに従って、予約型媒体及び非予約型媒体を含む複数の媒体への出稿を、予め定められた広告予算で広告効果を最大化するように決定する。
【0108】
予約型広告には、出稿から広告効果が得られるまでに遅延がある。この遅延のために、単なる強化学習アルゴリズムでは、適切な行動選択ができないところ、本実施形態では、状態ｓ（ｔ）に、未配信広告のＧＲＰの情報を付与することによって、この問題を解決した。
【0109】
本実施形態では、予約型広告における出稿から配信までのタイムラグの情報を、未配信広告のＧＲＰの形態により、状態ｓ（ｔ）として保持するために、遅延の影響を抑えて、広告効果を最大化するように、予約型媒体及び非予約型媒体を含む複数の媒体への出稿量を決定することができる。
【0110】
従って、本実施形態によれば、予約型媒体及び非予約型媒体を含む異なる媒体を横断した広告出稿に有意義な情報処理システム１を提供することができる。
【0111】
以上には、予約型広告がテレビＣＭであり、非予約型広告がデジタル配信される運用型広告である例を説明したが、予約型広告は、ラジオＣＭであってもよいし、デジタル配信される広告であってもよい。
【0112】
この他、キャンペーン期間開始前の時点ｔ＝０において、非予約型広告の最低出稿予算ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂＮ
Ｐ（０）がゼロとなる状態を回避するために、報酬ｒ（ｔ）には、負の報酬ｒ１（ｔ）が追加されてもよい。
【0113】
【数6】
【0114】
この報酬ｒ１（ｔ）によれば、ｂｎ
Ｐ（０）が小さいほど大きな負の報酬ｒ１（ｔ）が算出することになるため、結果として、行動選択のポリシーとして、キャンペーン期間開始前あるいはキャンペーン期間の早い時期の出稿に積極的な、出稿量の決定が行われることになる。
【0115】
プロセッサ１１は、この報酬ｒ１（ｔ）のチューニングパラメータαの情報を、出稿関連処理の第一ステップ（Ｓ１１０）において、ストレージ１３を通じて又は入力デバイス１７を通じて取得することができる。αは、正の実数である。
【0116】
［第二実施形態］
続いて第二実施形態の情報処理システム１の詳細を、図５及び図６を用いて説明する。第二実施形態の情報処理システム１は、出稿量の段階的決定に、強化学習アルゴリズムに代えて、コンテキスチュアルバンデットアルゴリズムを用いる点で、第一実施形態とは異なるが、その他の点において、基本的に第一実施形態の情報処理システム１と同様に構成される。情報処理システム１のハードウェア構成は、第一実施形態と同じである。従って、以下では、コンテキスチュアルバンデットアルゴリズムに関係する処理の内容を選択的に説明し、その他の説明を省略する。
続いて第二実施形態の情報処理システム１の詳細を、図５及び図６を用いて説明する。第二実施形態の情報処理システム１は、出稿量の段階的決定に、強化学習アルゴリズムに代えて、コンテキスチュアルバンデットアルゴリズムを用いる点で、第一実施形態とは異なるが、その他の点において、基本的に第一実施形態の情報処理システム１と同様に構成される。情報処理システム１のハードウェア構成は、第一実施形態と同じである。従って、以下では、コンテキスチュアルバンデットアルゴリズムに関係する処理の内容を選択的に説明し、その他の説明を省略する。
【0117】
知られているように、強化学習アルゴリズムは、定義された状態、行動、及び報酬に基づいて、報酬を最大化するように行動を選択する。第一実施形態によれば、行動は、各媒体への出稿量の決定である。
【0118】
これに対し、コンテキスチュアルバンデットアルゴリズムは、定義されたコンテキスト、行動、及び報酬に基づいて、報酬を最大化するように行動を選択するアルゴリズムである。第二実施形態における、行動及び報酬は、第一実施形態と同様に定義される。すなわち、行動は、各媒体への出稿量の決定である。報酬は、各媒体を通じた広告配信により得られる広告効果である。
【0119】
本実施形態では、プロセッサ１１が、ユーザからの指令に基づき、出稿関連処理として、コンテキスチュアルバンデットアルゴリズムを用いた第一の出稿関連処理（図５参照）及び第二の出稿関連処理（図６参照）を実行する。
【0120】
処理内容を説明するにあたって変数等を次のように定義する。キャンペーン期間の日数は、Ｔである。予約型広告の媒体数は、Ｍであり、Ｍ個の予約型媒体は、第ｍの予約型媒体を含む。ｍは、１，２，…，Ｍまでの範囲の整数値を採る。非予約型広告の媒体数は、Ｎであり、Ｎ個の非予約型媒体は、第ｎの非予約型媒体を含む。ｎは、１，２，…，Ｎまでの範囲の整数値を採る。行動空間Ａは、各次元が、出稿量の選択肢に対応する複数の要素をもつ、（Ｍ＋Ｎ）次元の離散行動空間である。
【0121】
時点ｔにおいて、第ｍの予約型媒体で平均視聴率Ｐｍ
Ｒ（ｔ）が観測される。時点ｔにおいて、第ｎの非予約型媒体で、ＣＰＭ：Ｐｎ
Ｐ（ｔ）が観測される。時点ｔにおいて推定される「第ｍの予約型媒体を通じてキャンペーン期間のτ日目に配信される予約型広告のＧＲＰ」が、Ｇｍ，τ（ｔ）である。
時点ｔ＞１におけるコンテキストｘｔ、及び、時点ｔ＝０におけるコンテキストｘ０は、次式で表される。
時点ｔ＞１におけるコンテキストｘｔ、及び、時点ｔ＝０におけるコンテキストｘ０は、次式で表される。
【0122】
【数7】
【0123】
第一の出稿関連処理（図５参照）において、プロセッサ１１は、まず、指定条件に関する情報を、Ｓ１１０の処理と同様に取得する（Ｓ３１０）。続くＳ３２０において、プロセッサ１１は、キャンペーン期間開始前の時点ｔ＝０での広告出稿に関する行動を、コンテキスチュアルバンデットアルゴリズムに従って選択する。
【0124】
具体的には、プロセッサ１１は、状態ｓ（０）に代わる、与えられたコンテキストｘ０に基づき、時点ｔ＝０で選択し得る各行動のＵＣＢ（Ｕｐｐｅｒ Ｃｏｎｆｉｄｅｎｃｅ Ｂｏｕｎｄ）スコアを計算し、ＵＣＢスコアが最大となる行動ａ＊（０）＝（ｂ１
Ｒ（０），ｂ２
Ｒ（０），…，ｂｍ
Ｒ（０），…，ｂＭ
Ｒ（０），ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂｎ
Ｐ（０），…，ｂＮ
Ｐ（０））を選択する。
【0125】
これにより、複数の予約型媒体、及び、複数の非予約型媒体に対する最低出稿予算ｂ１
Ｒ（０），ｂ２
Ｒ（０），…，ｂｍ
Ｒ（０），…，ｂＭ
Ｒ（０），ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂｎ
Ｐ（０），…，ｂＮ
Ｐ（０）を決定する。
【0126】
続くＳ３３０において、プロセッサ１１は、Ｓ１３０での処理と同様に、出稿計画として、Ｓ３２０で決定された媒体毎の最低出稿予算ｂ１
Ｒ（０），ｂ２
Ｒ（０），…，ｂＭ
Ｒ（０），ｂ１
Ｐ（０），ｂ２
Ｐ（０），…，ｂＮ
Ｐ（０）を出力する。その後、プロセッサ１１は、第一の出稿関連処理を終了する。
【0127】
第一の出稿関連処理の終了後、プロセッサ１１は、出稿計画に基づく処理の実行指示が入力デバイス１７を通じてユーザから入力されると、図６に示す第二の出稿関連処理を開始する。第二の出稿関連処理において、プロセッサ１１は、出稿計画に従って予め出稿された予約型広告の配信スケジュールを、ストレージ１３から読み込む（Ｓ４１０）。
【0128】
更にプロセッサ１１は、コンテキスチュアルバンデットアルゴリズムに従って各媒体への出稿量を決定するために、キャンペーン期間の開始時点であるキャンペーン期間１日目の時点ｔ＝１におけるコンテキストｘ１及び予算残高Ｂ（１）を次のように設定する（Ｓ４３０）。
【0129】
【数8】
【0130】
プロセッサ１１は、Ｓ４１０で取得した配信スケジュールに従って、第一実施形態と同様に、配列｛Ｇｍ，τ（１）｝１≦ｍ≦Ｍ，１≦τ≦Ｔを生成することができる。
【0131】
続くＳ４４０において、プロセッサ１１は、現在の時点ｔ＝１に関し、この時点ｔのコンテキストｘｔに基づき、選択し得る各行動のＵＣＢスコアを計算し、ＵＣＢスコアが最大となる行動ａ＊（ｔ）＝（ｂ１
Ｒ（ｔ），ｂ２
Ｒ（ｔ），…，ｂｍ
Ｒ（ｔ），…，ｂＭ
Ｒ（ｔ），ｂ１
Ｐ（ｔ），ｂ２
Ｐ（ｔ），…，ｂｎ
Ｐ（ｔ），…，ｂＮ
Ｐ（ｔ））を選択する。
【0132】
これにより、プロセッサ１１は、時点ｔでの広告出稿に関する行動として、時点ｔにおける予約型媒体及び非予約型媒体のそれぞれに対する出稿量（ｂ１
Ｒ（ｔ），ｂ２
Ｒ（ｔ），…，ｂＭ
Ｒ（ｔ），ｂ１
Ｐ（ｔ），ｂ２
Ｐ（ｔ），…，ｂＮ
Ｐ（ｔ））を、コンテキスチュアルバンデットアルゴリズムを用いて決定する。ｂｍ
Ｒ（ｔ）は、時点ｔにおける第ｍの予約型媒体に対する予約型広告の出稿量である。ｂｎ
Ｐ（ｔ）は、時点ｔにおける第ｎの非予約型媒体に対する非予約型広告の出稿量である。
【0133】
続くＳ４５０において、プロセッサ１１は、出稿量（ｂ１
Ｒ（ｔ），ｂ２
Ｒ（ｔ），…，ｂＭ
Ｒ（ｔ），ｂ１
Ｐ（ｔ），ｂ２
Ｐ（ｔ），…，ｂＮ
Ｐ（ｔ））に基づく各媒体への広告出稿を指示する。
【0134】
続くＳ４６０において、プロセッサ１１は、第１の予約型媒体から第Ｍの予約型媒体までの各予約型媒体を通じて配信された予約型広告の平均視聴率Ｐｍ
Ｒ（ｔ）を、対応する情報の取得により判別し、Ｓ２６０での処理と同様に、各予約型媒体の時点ｔにおける露出量Ｉｍ
Ｒ（ｔ）＝ｃｍ
Ｒ（ｔ）×Ｐｍ
Ｒ（ｔ）を算出する。
【0135】
続くＳ４７０において、プロセッサ１１は、第１の非予約型媒体から第Ｎの非予約型媒体までの各非予約型媒体に関して、時点ｔで非予約型媒体を通じて配信される非予約型広告のＣＰＭ：Ｐｎ
Ｐ（ｔ）を、対応する情報の取得により判別し、Ｓ２７０での処理と同様に、各予約型媒体の時点ｔにおけるインプレッションＩｎ
Ｐ（ｔ）＝ｃｎ
Ｐ（ｔ）／Ｐｎ
Ｐ（ｔ）を算出する。
【0136】
続くＳ４８０において、プロセッサ１１は、時点ｔにおける報酬ｒ（ｔ）を、Ｓ２８０での処理と同様に、式ｒ（ｔ）＝Ｚ（ｔ）－Ｚ（ｔ－１）に従って算出する。予算残高Ｂ（ｔ）がゼロ未満の場合の報酬ｒ（ｔ）は、負の報酬－Ｃである（ｒ（ｔ）＝－Ｃ）。
【0137】
続くＳ４９０において、プロセッサ１１は、次の時点ｔの到来を待ち、その後、コンテキストｘｔを更新する。すなわち、プロセッサ１１は、コンテキストｘｔを次のように設定する。
【0138】
【数9】
【0139】
Ｇｍ，τ（ｔ）の計算は、第一実施形態におけるＳ２９０での処理と同様である。時点ｔにおける予算残高Ｂ（ｔ）は、次のように計算される。
【0140】
【数10】
【0141】
その後、プロセッサ１１は、Ｓ４４０に処理を戻し、現在の時点ｔ＝２以降に関して、Ｓ４９０で設定した、現時点ｔのコンテキストｘｔに基づき、時点ｔでの広告出稿に関する行動として、時点ｔにおける予約型媒体及び非予約型媒体のそれぞれに対する出稿量を、コンテキスチュアルバンデットアルゴリズムを用いて決定する。更に、Ｓ４５０において、出稿量（ｂ１
Ｒ（ｔ），ｂ２
Ｒ（ｔ），…，ｂＭ
Ｒ（ｔ），ｂ１
Ｐ（ｔ），ｂ２
Ｐ（ｔ），…，ｂＮ
Ｐ（ｔ））に基づく各媒体への広告出稿を指示する。
【0142】
このようにして、プロセッサ１１は、Ｓ４４０～Ｓ４９０において、コンテキストｘｔに基づく行動選択（すなわち出稿量の決定）、行動に基づく報酬ｒ（ｔ）の算出、コンテキストｘｔの更新を繰返し行うことにより、コンテキスチュアルバンデットアルゴリズムに従って、報酬ｒ（ｔ）である広告効果を最大化する方向に、各時点における予約型媒体及び非予約型媒体に対する出稿量を決定する。
【0143】
プロセッサ１１は、キャンペーン期間が終了することにより、終了条件が満足されると（Ｓ５００でＹｅｓ）、第二の出稿関連処理を終了する。
【0144】
以上に説明した本実施形態の情報処理システム１によれば、コンテキスチュアルバンデットアルゴリズムに従って、更には予約型広告における出稿から配信までのタイムラグを考慮して、広告効果を最大化するように、予約型媒体及び非予約型媒体を含む複数の媒体への出稿を適切に決定することができる。従って、この情報処理システム１は、予約型媒体及び非予約型媒体を含む異なる媒体を横断した広告出稿に有意義である。
【0145】
［その他の実施形態］
本開示は、上記実施形態に限定されるものではなく、種々の態様を採ることができる。
以上には、動的最適化アルゴリズムとして、強化学習アルゴリズム（第一実施形態）及びコンテキスチュアルバンデットアルゴリズム（第二実施形態）を用いて、予約型媒体及び非予約型媒体を含む異なる媒体を横断した最適な広告出稿を実現する情報処理システム１の例を説明した。
本開示は、上記実施形態に限定されるものではなく、種々の態様を採ることができる。
以上には、動的最適化アルゴリズムとして、強化学習アルゴリズム（第一実施形態）及びコンテキスチュアルバンデットアルゴリズム（第二実施形態）を用いて、予約型媒体及び非予約型媒体を含む異なる媒体を横断した最適な広告出稿を実現する情報処理システム１の例を説明した。
【0146】
しかしながら、動的最適化アルゴリズムとして、他のアルゴリズムを用いて同様の機能が実現されてもよい。例えば、情報処理システム１は、状態空間モデル、特にはカルマンフィルタを用いて、キャンペーン期間における各時点での予約型媒体及び非予約型媒体への出稿量を決定するように構成されてもよい。
【0147】
カルマンフィルタは、状態方程式と観測方程式とから構成される動的制御手法の一種である。線形モデルにおける状態方程式及び観測方程式は、次式によって表され、状態量ｘｔと、観測量ｙｔと、制御入力ｕｔとの関係を定義する。
【数11】
【0148】
非線形モデルを含む一般化モデルの状態方程式及び観測方程式は、次の通りである。
【数12】
【0149】
本開示の技術思想を、カルマンフィルタを用いて実現する場合、制御入力ｕｔに対して、時点ｔにおける各媒体での出稿量を割り当てることができる。すなわち、制御入力ｕｔを強化学習アルゴリズムにおける行動に対応付けることができる。
【0150】
状態量ｘｔに対しては、時点ｔにおける予算残高、ＣＰＭ、視聴率などの割り当てることができる。すなわち、状態量ｘｔを、強化学習アルゴリズムにおける状態ｓ（ｔ）に対応付けることができる。観測量ｙｔに対しては、時点ｔにおける広告効果を割り当てることができる。すなわち、観測量ｙｔを、強化学習アルゴリズムにおける報酬ｒ（ｔ）に対応付けることができる。
【0151】
カルマンフィルタを用いる場合、予約型広告における出稿から配信までの遅延は、時刻ｔ＝０の制御入力ｕ０が観測量ｙｔに影響を与えるとして、観測方程式ｙｔ＝ｈ（ｘｔ，ｕ０，ｕｔ，ｖｔ）を定義することにより、モデル化することができる。すなわち、配信スケジュールは、制御入力ｕｔと観測量ｙｔとの関係を数式表現することにより、観測方程式に組込可能である。この観測方程式は、時刻ｔ＝０での予約型広告の出稿に関する制御入力ｕ０が観測量ｙｔに影響を与えることを示している。
【0152】
本開示の技術思想は、ＰＩＤ制御の手法を用いて実現されてもよい。報酬の指標には、リーチやフリークエンシー等の広告接触指標の他、生活者意識に関する指標が用いられてもよい。生活者意識に関する指標には、認知、興味、関心、理解、購入意向、第一想起、及び、継続購入意向の指標が含まれ得る。
【0153】
報酬の指標には、広告主側で得られる指標、具体的には、広告対象の商品の売上金額、売上個数、商品紹介サイトへのアクセス数、広告対象のサービスの利用数、関連するアプリケーションソフトウェアのインストール数、ＭＡＵ（Ｍｏｎｔｈｌｙ Ａｃｔｉｖｅ Ｕｓｅｒｓ）、及び、広告に関連する問い合わせ件数が用いられてもよい。
【0154】
広告出稿に関する行動選択を行う上で考慮すべき状態に関する指標には、リーチや獲得に要した単価に関する指標、具体的には、ＣＰＭ、ＣＰＣ（Ｃｏｓｔ Ｐｅｒ Ｃｌｉｃｋ）、ＣＰＡ（Ｃｏｓｔ ｐｅｒ Ａｃｑｕｉｓｉｔｉｏｎ）、及び、ＲＯＩ（Ｒｅｔｕｒｎ ｏｎ ｉｎｖｅｓｔｍｅｎｔ）等が含まれていてもよい。
【0155】
この他、考慮すべき状態に関する指標には、広告パフォーマンスに関する指標、具体的には、ＣＴＲ（Ｃｌｉｃｋ Ｔｈｒｏｕｇｈ Ｒａｔｅ）、ＣＶＲ（Ｃｏｎｖｅｒｓｉｏｎ Ｒａｔｅ）、ＶＴＲ（Ｖｉｅｗ Ｔｈｒｏｕｇｈ Ｒａｔｅ）、及び、ＴＡＲＰ（Ｔａｒｇｅｔ Ａｕｄｉｅｎｃｅ Ｒａｔｉｎｇ Ｐｏｉｎｔ）等が含まれていてもよい。
【0156】
また、強化学習の報酬として用いる指標に依存して、状態の指標に好ましい指標は異なる。例えば、強化学習の報酬として、リーチを採用する場合であって、予約型広告がテレビジョン放送による配信である場合、状態の指標に好ましい指標の例は、視聴率（又はＧＲＰ）や注視率であり、予約型広告がデジタル配信である場合、状態の指標に好ましい指標の例は、ＣＰＭ及びｖＣＰＭ（ｖｉｅｗａｂｌｅ Ｃｏｓｔ Ｐｅｒ Ｍｉｌｌｅ）である。非予約型広告についても同様である。
【0157】
強化学習の報酬として、売上数を採用する場合であって、予約型広告がテレビジョン放送による配信である場合、状態の指標に好ましい指標の例は、視聴率（又はＧＲＰ）及び注視率であり、予約型広告がデジタル配信である場合、状態の指標に好ましい指標の例は、ＣＰＭ、コンバージョン数、ＣＰＡ、及びＣＰＣである。
【0158】
非予約型広告がテレビジョン放送による配信である場合、状態の指標に好ましい指標の例は、コンバージョン数、及びＣＰＡであり、非予約型広告がデジタル配信である場合、状態の指標に好ましい指標の例は、コンバージョン数、ＣＰＡ、及びＣＰＣである。
【0159】
上記実施形態では、複数の予約型媒体、及び、複数の非予約型媒体に対する広告出稿を例に挙げたが、出稿対象の予約型媒体及び非予約型媒体の少なくとも一方は、一つのみであってもよい。あるいは、複数の予約型媒体に対して共用の出稿量が決定されてもよく、同様に、複数の非予約型媒体に対して共用の出稿量が決定されてもよい。
【0160】
上記実施形態は、予約型広告の追加出稿の概念を含むが、予約型広告の予約取消（換言すれば出稿取消）の概念が更に含まれていてもよい。すなわち、動的最適化アルゴリズムにおける行動の選択肢の中には、出稿済予約型広告の予約取消の行動が含まれてもよい。
【0161】
この取消行動は、広告枠の買付額の払い戻しを、予約取消により受けることに対応する。従って、動的最適化アルゴリズムには、負の出稿量を導入することにより、予約取消の概念を導入することができる。このように本開示は、予約取消を考慮して、出稿量を決定し得る。強化学習アルゴリズムによれば、負の出稿量の決定に際して、状態として保持する広告の配信スケジュールを削減し、予算残高Ｂ（ｔ）を増加方向に変更し得る。
【0162】
上記実施形態における１つの構成要素が有する機能は、複数の構成要素に分散して設けられてもよい。複数の構成要素が有する機能は、１つの構成要素に統合されてもよい。上記実施形態の構成の一部は、省略されてもよい。上記実施形態の構成の少なくとも一部は、他の上記実施形態の構成に対して付加又は置換されてもよい。特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【0163】
［本明細書が開示する技術思想］
本明細書には、次の技術思想が開示されていると理解することができる。
［項目１］
第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示するように構成される出稿指示部と、
前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別するように構成される第一実績判別部と、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別するように構成される第二実績判別部と、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別するように構成されるスケジュール判別部と、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記出稿指示部は、複数の時点に関し、時点毎に、可能な残り出稿量と、前記未露出広告の露出スケジュールと、前記第一の実績と、前記第二の実績とに基づき、前記第一の出稿量及び前記第二の出稿量を決定する情報処理システム。
［項目２］
前記総量のうち、第一の量が、前記予約型広告に対する出稿量として予め定められ、第二の量が、前記予約型広告及び前記非予約型広告に共用の出稿量として定められ、前記出稿指示部には、前記第二の量の前記予約型広告及び前記非予約型広告に対する配分の決定権が与えられており、
前記第一の量の少なくとも一部に対応する前記予約型広告の広告出稿は、前記複数の時点よりも前の時点である最初の時点で完了しており、前記露出スケジュールは、前記最初の時点で出稿済の前記予約型広告であって、露出待ちにある未露出広告の露出スケジュールを含み、
前記出稿指示部は、前記最初の時点で出稿済の前記予約型広告を含む未露出広告の露出スケジュールを加味して、前記時点毎に、前記第一の出稿量及び前記第二の出稿量を決定する項目１記載の情報処理システム。
［項目３］
前記第一の出稿量は、前記予約型広告の出稿金額であり、
前記第二の出稿量は、前記非予約型広告の出稿金額であり、
前記総量は、前記予約型広告及び前記非予約型広告を含む広告の出稿予算である項目１又は項目２記載の情報処理システム。
［項目４］
前記出稿指示部は、動的最適化アルゴリズムに従って、前記時点毎に、前記第一の出稿量及び前記第二の出稿量を決定する項目１～項目３のいずれか一項記載の情報処理システム。
［項目５］
前記動的最適化アルゴリズムは、強化学習、コンテキスチュアルバンデットアルゴリズム、及びカルマンフィルタの少なくとも一つを含む項目４記載の情報処理システム。
［項目６］
前記出稿指示部は、前記時点毎に、
対応する時点における状態又はコンテキストに基づき、前記対応する時点における広告出稿に関する行動として、前記第一の出稿量及び前記第二の出稿量を決定し、
前記第一の実績及び前記第二の実績に基づき、前記対応する時点までの広告出稿により新たに露出された前記予約型広告及び前記非予約型広告の広告効果を、前記行動に対する報酬として決定し、
前記対応する時点での広告出稿と、前記対応する時点での前記第一の実績及び前記第二の実績とを加味して、前記状態又はコンテキストを更新し、
前記報酬に基づいて、前記行動の選択に関するポリシーを更新する
ように構成され、
前記状態又はコンテキストは、前記可能な残り出稿量と、前記未露出広告の露出スケジュールと、前記第一の実績と、前記第二の実績と、を用いて定義される項目１～項目５のいずれか一項記載の情報処理システム。
［項目７］
前記出稿指示部は、状態、報酬、及び行動が定義された強化学習により、前記時点毎に、対応する時点での前記第一の出稿量及び前記第二の出稿量を前記行動として決定するように構成され、
前記状態は、前記対応する時点での前記可能な残り出稿量、前記第一の実績、前記第二の実績、及び、前記未露出広告のスケジュールを用いて定義され、
前記報酬は、前記第一の実績及び前記第二の実績から判別される前記対応する時点での広告効果を用いて定義される項目１～項目５のいずれか一項記載の情報処理システム。
［項目８］
前記出稿指示部は、コンテキスト、報酬、及び行動が定義されたコンテキスチュアルバンデットアルゴリズムにより、前記時点毎に、対応する時点での前記第一の出稿量及び前記第二の出稿量を前記行動として決定するように構成され、
前記コンテキストは、前記対応する時点での前記可能な残り出稿量、前記第一の実績、前記第二の実績、及び、前記未露出広告のスケジュールを用いて定義され、
前記報酬は、前記第一の実績及び前記第二の実績から判別される前記対応する時点での広告効果を用いて定義される項目１～項目５のいずれか一項記載の情報処理システム。
［項目９］
前記出稿指示部は、例えばカルマンフィルタ等の状態空間モデルを用いて、前記時点毎に、対応する時点での前記第一の出稿量及び前記第二の出稿量を決定するように構成され、
前記状態空間モデルは、前記未露出広告の露出スケジュールの情報を含むモデルであって、状態量と、観測量と、入力量との間の関係を定義し、
前記入力量は、前記第一の出稿量と前記第二の出稿量とを用いて定義される広告出稿に関する量であり、
前記状態量は、前記広告出稿により変化する状態量であり、前記可能な残り出稿量と、前記第一の実績と、前記第二の実績と、を用いて定義され、
前記観測量は、前記第一の実績及び前記第二の実績に基づいて判別される出稿された前記予約型広告及び前記非予約型広告の広告効果を定義する量である項目１～項目５のいずれか一項記載の情報処理システム。
［項目１０］
項目１～項目９のいずれか一項記載の情報処理システムにおける出稿指示部と、第一実績判別部と、第二実績判別部と、スケジュール判別部としての機能をコンピュータに実現させるためのコンピュータプログラム。
［項目１１］
コンピュータにより実行される情報処理方法であって、
第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示することと、
前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別することと、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別することと、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別することと、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記広告出稿を指示することは、複数の時点に関し、時点毎に、可能な残り出稿量と、前記未露出広告の露出スケジュールと、前記第一の実績と、前記第二の実績とに基づき、前記第一の出稿量及び前記第二の出稿量を決定することを含む情報処理方法。
本明細書には、次の技術思想が開示されていると理解することができる。
［項目１］
第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示するように構成される出稿指示部と、
前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別するように構成される第一実績判別部と、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別するように構成される第二実績判別部と、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別するように構成されるスケジュール判別部と、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記出稿指示部は、複数の時点に関し、時点毎に、可能な残り出稿量と、前記未露出広告の露出スケジュールと、前記第一の実績と、前記第二の実績とに基づき、前記第一の出稿量及び前記第二の出稿量を決定する情報処理システム。
［項目２］
前記総量のうち、第一の量が、前記予約型広告に対する出稿量として予め定められ、第二の量が、前記予約型広告及び前記非予約型広告に共用の出稿量として定められ、前記出稿指示部には、前記第二の量の前記予約型広告及び前記非予約型広告に対する配分の決定権が与えられており、
前記第一の量の少なくとも一部に対応する前記予約型広告の広告出稿は、前記複数の時点よりも前の時点である最初の時点で完了しており、前記露出スケジュールは、前記最初の時点で出稿済の前記予約型広告であって、露出待ちにある未露出広告の露出スケジュールを含み、
前記出稿指示部は、前記最初の時点で出稿済の前記予約型広告を含む未露出広告の露出スケジュールを加味して、前記時点毎に、前記第一の出稿量及び前記第二の出稿量を決定する項目１記載の情報処理システム。
［項目３］
前記第一の出稿量は、前記予約型広告の出稿金額であり、
前記第二の出稿量は、前記非予約型広告の出稿金額であり、
前記総量は、前記予約型広告及び前記非予約型広告を含む広告の出稿予算である項目１又は項目２記載の情報処理システム。
［項目４］
前記出稿指示部は、動的最適化アルゴリズムに従って、前記時点毎に、前記第一の出稿量及び前記第二の出稿量を決定する項目１～項目３のいずれか一項記載の情報処理システム。
［項目５］
前記動的最適化アルゴリズムは、強化学習、コンテキスチュアルバンデットアルゴリズム、及びカルマンフィルタの少なくとも一つを含む項目４記載の情報処理システム。
［項目６］
前記出稿指示部は、前記時点毎に、
対応する時点における状態又はコンテキストに基づき、前記対応する時点における広告出稿に関する行動として、前記第一の出稿量及び前記第二の出稿量を決定し、
前記第一の実績及び前記第二の実績に基づき、前記対応する時点までの広告出稿により新たに露出された前記予約型広告及び前記非予約型広告の広告効果を、前記行動に対する報酬として決定し、
前記対応する時点での広告出稿と、前記対応する時点での前記第一の実績及び前記第二の実績とを加味して、前記状態又はコンテキストを更新し、
前記報酬に基づいて、前記行動の選択に関するポリシーを更新する
ように構成され、
前記状態又はコンテキストは、前記可能な残り出稿量と、前記未露出広告の露出スケジュールと、前記第一の実績と、前記第二の実績と、を用いて定義される項目１～項目５のいずれか一項記載の情報処理システム。
［項目７］
前記出稿指示部は、状態、報酬、及び行動が定義された強化学習により、前記時点毎に、対応する時点での前記第一の出稿量及び前記第二の出稿量を前記行動として決定するように構成され、
前記状態は、前記対応する時点での前記可能な残り出稿量、前記第一の実績、前記第二の実績、及び、前記未露出広告のスケジュールを用いて定義され、
前記報酬は、前記第一の実績及び前記第二の実績から判別される前記対応する時点での広告効果を用いて定義される項目１～項目５のいずれか一項記載の情報処理システム。
［項目８］
前記出稿指示部は、コンテキスト、報酬、及び行動が定義されたコンテキスチュアルバンデットアルゴリズムにより、前記時点毎に、対応する時点での前記第一の出稿量及び前記第二の出稿量を前記行動として決定するように構成され、
前記コンテキストは、前記対応する時点での前記可能な残り出稿量、前記第一の実績、前記第二の実績、及び、前記未露出広告のスケジュールを用いて定義され、
前記報酬は、前記第一の実績及び前記第二の実績から判別される前記対応する時点での広告効果を用いて定義される項目１～項目５のいずれか一項記載の情報処理システム。
［項目９］
前記出稿指示部は、例えばカルマンフィルタ等の状態空間モデルを用いて、前記時点毎に、対応する時点での前記第一の出稿量及び前記第二の出稿量を決定するように構成され、
前記状態空間モデルは、前記未露出広告の露出スケジュールの情報を含むモデルであって、状態量と、観測量と、入力量との間の関係を定義し、
前記入力量は、前記第一の出稿量と前記第二の出稿量とを用いて定義される広告出稿に関する量であり、
前記状態量は、前記広告出稿により変化する状態量であり、前記可能な残り出稿量と、前記第一の実績と、前記第二の実績と、を用いて定義され、
前記観測量は、前記第一の実績及び前記第二の実績に基づいて判別される出稿された前記予約型広告及び前記非予約型広告の広告効果を定義する量である項目１～項目５のいずれか一項記載の情報処理システム。
［項目１０］
項目１～項目９のいずれか一項記載の情報処理システムにおける出稿指示部と、第一実績判別部と、第二実績判別部と、スケジュール判別部としての機能をコンピュータに実現させるためのコンピュータプログラム。
［項目１１］
コンピュータにより実行される情報処理方法であって、
第一の媒体を通じて露出される予約型広告に対する出稿量である第一の出稿量、及び、第二の媒体を通じて露出される非予約型広告に対する出稿量である第二の出稿量を決定し、前記第一の出稿量に基づいた前記第一の媒体に対する広告出稿、及び、前記第二の出稿量に基づいた前記第二の媒体に対する広告出稿を指示することと、
前記第一の媒体を通じて露出された前記予約型広告の露出に関する実績である第一の実績を判別することと、
前記第二の媒体を通じて露出された前記非予約型広告の露出に関する実績である第二の実績を判別することと、
前記予約型広告のうち、露出待ちにある未露出広告の露出スケジュールを判別することと、
を備え、
前記予約型広告及び前記非予約型広告に対して可能な出稿量の総量は、予め定められており、
前記広告出稿を指示することは、複数の時点に関し、時点毎に、可能な残り出稿量と、前記未露出広告の露出スケジュールと、前記第一の実績と、前記第二の実績とに基づき、前記第一の出稿量及び前記第二の出稿量を決定することを含む情報処理方法。
【符号の説明】
【0164】
１…情報処理システム、１１…プロセッサ、１２…メモリ、１３…ストレージ、１５…ディスプレイ、１７…入力デバイス、１８…メディアリーダ／ライタ、１９…通信デバイス、３１…中継システム、３５…計測システム。
【要約】
【課題】効果の高い広告出稿が可能な技術を提供する。
【解決手段】第一の出稿量、及び、第二の出稿量が決定され、第一の出稿量に基づいた第一の媒体に対する広告出稿、及び、第二の出稿量に基づいた第二の媒体に対する広告出稿が指示される（Ｓ２５０）。予約型広告の露出に関する実績である第一の実績が判別される（Ｓ２６０）。非予約型広告の露出に関する実績である第二の実績が判別される（Ｓ２７０）。露出待ちにある未露出広告の露出スケジュールが判別される（Ｓ２９０）。複数の時点に関し、時点毎に、可能な残り出稿量と、未露出広告の露出スケジュールと、第一の実績と、第二の実績とに基づき、第一の出稿量及び第二の出稿量が決定される（Ｓ２４０）。
【選択図】図４
【解決手段】第一の出稿量、及び、第二の出稿量が決定され、第一の出稿量に基づいた第一の媒体に対する広告出稿、及び、第二の出稿量に基づいた第二の媒体に対する広告出稿が指示される（Ｓ２５０）。予約型広告の露出に関する実績である第一の実績が判別される（Ｓ２６０）。非予約型広告の露出に関する実績である第二の実績が判別される（Ｓ２７０）。露出待ちにある未露出広告の露出スケジュールが判別される（Ｓ２９０）。複数の時点に関し、時点毎に、可能な残り出稿量と、未露出広告の露出スケジュールと、第一の実績と、第二の実績とに基づき、第一の出稿量及び第二の出稿量が決定される（Ｓ２４０）。
【選択図】図４
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】