特開 2023-135443 情報処理装置、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023135443

(43)【公開日】2023-09-28

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06Q 30/0242 20230101AFI20230921BHJP

【ＦＩ】

G06Q30/02 382

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022040665

(22)【出願日】2022-03-15

(71)【出願人】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】坪内 孝太

(72)【発明者】

【氏名】田口 拓明

(72)【発明者】

【氏名】寺岡 照彦

(72)【発明者】

【氏名】佐藤 潤一

(72)【発明者】

【氏名】山口 修司

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB08

(57)【要約】

【課題】複数の広告を組み合わせた組合せ広告の組合せ効果を検証するための方法論を提案すること。
【解決手段】本願に係る情報処理装置は、複数の広告を組み合わせて生成された組合せ広告を含む各広告の提供結果に基づいて、組合せ広告を構成する各広告が単体で提供されるよりも組合せ広告として提供された方がユーザにより選択される可能性が向上する組合せ効果が認められるかどうかを評価する評価部を有する。
【選択図】図７

【特許請求の範囲】

【請求項1】

複数の広告を組み合わせて生成された組合せ広告を含む各広告の提供結果に基づいて、前記組合せ広告を構成する各広告が単体で提供されるよりも前記組合せ広告として提供された方がユーザにより選択される可能性が向上する組合せ効果が認められるかどうかを評価する評価部
を有することを特徴とする情報処理装置。

【請求項2】

前記評価部は、
前記組合せ広告の広告効果を示す所定の指標値と、前記組合せ広告を構成する各広告の広告効果を示す所定の指標値との比較結果に基づいて、前記組合せ効果が認められるかどうかを評価する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記評価部は、
前記組合せ効果が認められる場合、前記組合せ広告の広告効果を示す所定の指標値から、前記組合せ広告を構成する各広告の広告効果を示す所定の指標値の合算値を差し引いた値を、前記組合せ効果を示すスコアとして算出し、
前記組合せ効果が認められる前記組合せ広告の各々について前記スコアの算出を行い、
前記組合せ効果が認められる前記組合せ広告を構成する各広告に対応付けて前記スコアを累積した累積スコアに基づいて、他の広告と組み合わせた場合に、前記ユーザにより選択される可能性を向上させる広告であるアシスト広告を特定する
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記評価部は、
前記組合せ広告を構成する各広告に関する情報と、前記組合せ広告に対応する前記スコアとの対応関係を学習した学習済みモデルを用いて、前記組合せ効果を示す前記スコアを取得する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項5】

コンピュータが実行する情報処理方法であって、
複数の広告を組み合わせて生成された組合せ広告を含む各広告の提供結果に基づいて、前記組合せ広告を構成する各広告が単体で提供されるよりも前記組合せ広告として提供された方がユーザにより選択される可能性が向上する組合せ効果が認められるかどうかを評価する評価工程
を含むことを特徴とする情報処理方法。

【請求項6】

コンピュータに、
複数の広告を組み合わせて生成された組合せ広告を含む各広告の提供結果に基づいて、前記組合せ広告を構成する各広告が単体で提供されるよりも前記組合せ広告として提供された方がユーザにより選択される可能性が向上する組合せ効果が認められるかどうかを評価する評価手順
を実行させることを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、インターネットを介した広告配信が盛んに行われている。たとえば、従来の広告配信では、ウェブページの所定の位置に設けられている広告枠に対して、企業や商品などを宣伝するための静止画像や、動画像や、テキストなどの広告コンテンツが表示される。そして、従来の広告配信では、かかる広告コンテンツがクリックされた場合、広告対象を紹介する広告主のウェブページやコンテンツなどのランディングページへ遷移させる。

【0003】

また、従来の広告配信では、広告効果を高めることを目的として、ユーザの嗜好や、性別や、年齢や、住所や、職業などのユーザ情報に対応する広告を選択的に配信するターゲティング配信が行われる場合がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－１３６３３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、複数の広告を組み合わせた組合せ広告を提供する場合、従来の広告配信とは広告の形態が異なるので、組合せ広告の広告効果を検証するための新たな方法論が求められる。

【0006】

本願は、上記に鑑みてなされたものであって、複数の広告を組み合わせた組合せ広告の組合せ効果を検証するための方法論を提案できる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本願に係る情報処理装置は、複数の広告を組み合わせて生成された組合せ広告を含む各広告の提供結果に基づいて、組合せ広告を構成する各広告が単体で提供されるよりも組合せ広告として提供された方がユーザにより選択される可能性が向上する組合せ効果が認められるかどうかを評価する評価部を有する。

【発明の効果】

【0008】

実施形態の態様の１つによれば、複数の広告を組み合わせた組合せ広告の組合せ効果を検証するための方法論を提案できる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る組合せ広告の提供方法の概要を示す図である。

【図2】図２は、実施形態に係る組合せ評価スコアの算出方法の変形例の概要（その１）を示す図である。

【図3】図３は、実施形態に係る組合せ評価スコアの算出方法の変形例の概要（その２）を示す図である。

【図4】図４は、実施形態に係る組合せ効果の評価方法の概要を示す図である。

【図5】図５は、実施形態に係る組合せ効果評価モデルの生成方法の概要を示す図である。

【図6】図６は、実施形態に係る組合せ広告の課金額の決定方法の概要を示す図である。

【図7】図７は、実施形態に係る情報処理装置の構成例を示す図である。

【図8】図８は、実施形態に係る広告情報の一例を示す図である。

【図9】図９は、実施形態に係る入札情報の一例を示す図である。

【図10】図１０は、実施形態に係る組合せ評価モデルに関する情報の一例を示す図である。

【図11】図１１は、実施形態に係る興味関心度評価モデルに関する情報の一例を示す図である。

【図12】図１２は、実施形態に係る組合せ効果評価モデルに関する情報の一例を示す図である。

【図13】図１３は、実施形態に係る組合せ広告の提供手順の一例を示すフローチャートである。

【図14】図１４は、実施形態に係る組合せ効果の評価手順の一例を示すフローチャートである。

【図15】図１５は、実施形態に係る課金額の決定手順の一例を示すフローチャートである。

【図16】図１６は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、以下に説明する複数の実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下に説明する複数の実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下に説明する複数の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0011】

［１．情報処理の概要］
（１－１．組合せ広告の提供方法）
図１を用いて、実施形態にかかる情報処理の一例を説明する。図１は、実施形態に係る組合せ広告の提供方法の概要を示す図である。なお、図１では、サービス利用者であるユーザからの要求に応じて所定のサービスに関するウェブページを提供する際、ウェブページの所定の位置に設けられている広告枠に対して広告コンテンツを表示する場合の情報処理の一例について説明する。なお、実施形態に係る情報処理は、広告媒体がウェブページである場合に限られず、広告媒体が電子メールである場合にも同様に適用できる。

【0012】

図１に示す例において、情報処理システムＳＹＳは、ユーザ端末１０と、情報処理装置１００とを有する。ユーザ端末１０と、情報処理装置１００とは、有線または無線によりネットワークＮ（たとえば、図７参照）に接続される。ユーザ端末１０と、情報処理装置１００は、ネットワークＮを介して相互に通信できる。なお、図１に示す例には特に限定される必要はなく、情報処理システムＳＹＳは、図１に示す場合よりも多くのユーザ端末１０や、情報処理装置１００を含んでいてもよい。

【0013】

図１に示すユーザ端末１０は、情報処理装置１００から提供される各種サービスの利用者であるユーザＵによって使用される情報処理端末である。ユーザ端末１０の典型例としては、スマートフォンが該当するが、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）などにより実現されてもよい。図１の例では、ユーザ端末１０として、スマートフォンが示されている。なお、以下の説明では、ユーザ端末１０をユーザＵと言い換えて表記する場合がある。つまり、ユーザＵをユーザ端末１０と読み替えることができる。また、以下の説明において、情報処理装置１００から提供される各種サービスの利用者を単に「ユーザ」と称する場合がある。

【0014】

また、ユーザ端末１０は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）などの無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）などの近距離無線通信を介してネットワークＮに接続するための通信ユニットを有する。ユーザＵは、通信ユニットを有するユーザ端末１０を操作して情報処理装置１００にアクセスし、各種サービスの情報を閲覧する。

【0015】

また、ユーザ端末１０は、情報処理装置１００により提供される各種サービスを利用するための情報を、ウェブブラウザやアプリケーションにより表示できる。このとき、ユーザ端末１０は、ウェブブラウザやアプリケーションなどによる情報の表示処理を実現するための制御情報を情報処理装置１００から受け取った場合には、受け取った制御情報に従って表示処理を実現する。

【0016】

図１に示す情報処理装置１００は、ユーザＵに対して各種サービスを提供する情報処理装置である。情報処理装置１００は、典型的にはサーバ装置であるが、メインフレームやワークステーションなどにより実現されてもよい。情報処理装置１００がサーバ装置で実現される場合、単独のサーバにより実現されてもよいし、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムなどにより実現されてもよい。

【0017】

なお、情報処理装置１００は、各種サービスの利用者が使用するユーザ端末１０に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語やＣＳＳ（Cascading Style Sheets）などのスタイルシート言語により記述される。なお、情報処理装置１００から配信されるアプリケーションそのものを制御情報とみなしてもよい。

【0018】

また、情報処理装置１００が提供する各種サービスには、各種アプリケーションに対応するＡＰＩ（Application Programming Interface）サービスや、各種オンラインサービスが含まれていてもよい。各種オンラインサービスには、Ｑ＆Ａサービスや、インターネット接続や、検索サービスや、ＳＮＳ（Social Networking Service）や、電子商取引サービスや、電子決済サービスや、オンラインゲームや、オンラインバンキングサービスや、オンライントレーディングサービスや、宿泊予約サービスや、チケット予約サービスや、動画配信サービスや、音楽配信サービスや、ニュース配信サービスや、地図情報サービスや、ルート検索サービスや、経路案内サービスや、路線情報サービスや、運行情報サービスや、天気情報サービスなどのサービスが含まれ得る。

【0019】

また、情報処理装置１００は、広告コンテンツを配信する装置としても機能する。情報処理装置１００は、広告主から入稿された広告コンテンツを管理するとともに、広告主により設定された広告の入札に関する情報を管理する。たとえば、情報処理装置１００は、ユーザからの要求に応じて提供する各種サービスのウェブページに設けられている広告枠に対して、広告主から入稿された広告コンテンツを表示する。

【0020】

ところで、ウェブページに設けられている広告枠には、１つの広告コンテンツが表示される。このため、配信対象として選択されにくく、ユーザへの影響力が弱い広告は、広告接触の機会を多くしたとしても、広告に対してユーザが興味を持つことなく、ランディングページへのアクセスなどの所定の成果に至らない場合が多い。このような事情に鑑み、実施形態に係る情報処理装置１００は、広告により所定の成果を得られる可能性を高めることを目的として、複数の広告を組み合わせた組合せ広告を広告枠に表示する。以下、実施形態に係る情報処理について、この情報処理が実施される際に想定される流れに沿って具体的に説明する。

【0021】

たとえば、ユーザ端末１０は、ユーザＵの操作に従って、所定のサービスへのアクセス要求を情報処理装置１００に送信する（ステップＳ１）。

【0022】

情報処理装置１００は、ユーザ端末１０から所定のサービスへのアクセス要求を受信すると、広告主から入稿された複数の広告の中から、組合せ候補となる複数の広告を選択する（ステップＳ２）。たとえば、情報処理装置１００は、広告配信先（ターゲット）となるユーザＵが興味関心を有する度合いを示す興味関心度スコアが所定値以上であるカテゴリに対応した複数の広告を組合せ候補として選択する。たとえば、情報処理装置１００は、興味関心度評価モデルを用いて、興味関心度スコアを取得できる。興味関心度評価モデルは、ターゲットとなり得る各ユーザが興味関心を有する対象を区分するために予め規定された所定のカテゴリごとに予め生成される。たとえば、興味関心度評価モデルは、ユーザに関する情報（たとえば、検索履歴（検索クエリ））を入力して、ユーザに対応する興味関心度スコアを出力するように機械学習により学習処理される。

【0023】

また、情報処理装置１００は、複数の組合せ評価モデルの中から、ターゲットとなるユーザＵの属性に合致した組合せ評価モデルを選択する（ステップＳ３）。図１では、ユーザＵの属性に合致した組合せ評価モデルとして、「モデルＭＡ」が選択される例が示されている。

【0024】

組合せ評価モデルは、各広告の広告効果を示す所定の指標値と各広告の組合せによる組合せ広告の広告効果を示す所定の指標値との対応関係を学習した学習済みモデルである。広告効果を示す所定の指標値には、ＣＰＡ（Cost Per Acquisition）や、ＣＰＣ（Cost Per Click）や、クリック率（ＣＴＲ：Click Through Rate）や、コンバージョン数や、コンバージョン率（ＣＶＲ：Conversion Rate）や、ＰＶ（Page View）などの任意の指標を採用できる。

【0025】

たとえば、情報処理装置１００は、配信先のユーザの属性ごとに組合せ広告の提供結果を収集し、組合せ広告を構成する各広告の広告効果を示す所定の指標値と、組合せ広告の広告効果を示す各指標値とを対応付けた学習用データサンプルを準備する。そして、情報処理装置１００は、学習用データサンプルを用いて、たとえば、配信対象となる各広告の広告効果を示す所定の指標値を入力して、各広告の組合せによる組合せ広告の広告効果を示す所定の指標値の情報を出力する組合せ評価モデルを学習する。

【0026】

組合せ評価モデルの学習処理において、情報処理装置１００は、ニューラルネットワークなどの任意の機械学習モデルを学習用モデルとして、組合せ評価モデルを学習できる。また、ニューラルネットワークを学習用モデルとする場合、情報処理装置１００は、ニューラルネットワークを構成する各層のノード間でスコア（値）が伝搬される際に考慮される重み（接続係数）の値を調整する学習処理を行う。たとえば、情報処理装置１００は、バックプロパゲーション（誤差逆伝播法）などの任意の手法を用いて、学習用モデルからの出力と、入力に対応する正解（正解データ）との誤差が少なくなるように、パラメータ（接続係数）を補正する処理を行うことにより組合せ評価モデルを学習する。なお、情報処理装置１００は、バックプロパゲーションの手法を用いる場合、所定の損失（ロス）関数を最小化するように学習処理を実行することで、学習用モデルからの出力と、入力に対応する正解（正解データ）との誤差が少なくなるようにパラメータ（接続係数）を補正できる。

【0027】

また、情報処理装置１００は、ユーザ属性ごとの組合せ広告の提供結果に基づく学習用データサンプルを用いることにより、ユーザ属性ごとに組合せ評価モデルを学習できる。ユーザ属性（ユーザコンテキスト）は、たとえば、ユーザＵの年齢や性別などのデモグラフィック属性や、ユーザＵの興味趣向などのサイコグラフィック属性などの属性を示す。

【0028】

学習済みモデルの取得後、情報処理装置１００は、ステップＳ２で選択された複数の広告の組合せごとに、組合せによる組合せ広告がユーザＵに選択される可能性を示す組合せ評価スコアを取得する（ステップＳ４）。たとえば、情報処理装置１００は、ステップＳ２で選択された複数の広告の組合せを、ステップＳ３で取得された学習済みモデル（モデルＭＡ）に入力することにより、学習済みモデルから出力される組合せ評価スコアを取得する。

【0029】

組合せ評価スコアの取得後、情報処理装置１００は、取得した組合せ評価スコアが最大となる組合せによる組合せ広告を生成する（ステップＳ５）。たとえば、情報処理装置１００は、ユーザＵからアクセス要求があった所定のサービスに対応するウェブページに設けられている１つの広告枠に対して、組合せ評価スコアが最大となる組合せを構成する各広告を任意に配置した組合せ広告を生成する。図１では、１つの広告枠内に、広告Ａと、広告Ｂと、広告Ｃとが配置された組合せ広告ＡＤ＿ａが示されている。なお、組合せ広告を構成する各広告は、完全に分離されていなくてもよく、少なくとも一部が重複していてもよい。

【0030】

組合せ広告の生成後、情報処理装置１００は、組合せ広告を含むウェブページをユーザ端末１０に送信して、ユーザＵに提供する（ステップＳ６）。

【0031】

このようにして、情報処理装置１００は、複数の広告を組み合わせた組合せ広告をユーザに提供することにより、広告の組合せによる新たな影響力を持った広告を創造でき、広告により所定の成果を得られる可能性を高めることができる。

【0032】

また、情報処理装置１００は、組合せ候補となる複数の広告を選択する際、広告配信先となるユーザ（たとえば、ユーザＵ）が興味関心を有するカテゴリに対応する複数の広告の中から、広告効果を示す指標値が所定値未満である広告を選択してもよい。これにより、広告配信先（ターゲット）となるユーザが興味関心を有するが、配信されにくい広告を含む組合せ広告をユーザに提供でき、組合せ広告の影響力の幅を広げることができる。

【0033】

また、情報処理装置１００は、組合せ広告に対応する入札を広告主から受け付けた際の入札金額に応じて、組合せ広告を構成する各広告に個別に割り当てられる表示領域の大きさ、位置、及び表示色のうちのいずれか１つを決定してもよい。たとえば、情報処理装置１００は、入札金額の大きさに比例して、表示領域の大きさを変更してもよい。また、たとえば、情報処理装置１００は、広告の入札金額が一定額未満である場合、広告をモノクロ表示し、広告の入札金額が一定額以上である場合、広告をカラー表示してもよい。また、たとえば、情報処理装置１００は、組合せ広告を構成する各広告のうち、他の広告よりも入札金額が高く、かつ、一定額を超える広告を広告枠においてクリックの実績が最も高い位置（たとえば、向かって左上）に表示してもよい。

【0034】

また、情報処理装置１００は、各広告に対応するカテゴリの類似度を加味して、組合せ広告における各広告の表示位置を決定してもよい。たとえば、情報処理装置１００は、カテゴリが類似する広告が隣り合うように、各広告の表示位置を決定してもよい。

【0035】

このように、情報処理装置１００は、組合せ広告の表示態様に変化を持たせることができる。

【0036】

また、情報処理装置１００は、組合せ広告が選択操作（たとえば、クリックやタップなど）された場合、組合せ広告を構成する各広告に対応するカテゴリの興味関心度スコアに基づく確率で表示抽選を行い、当選した広告に対応するウェブページを提供してもよい。たとえば、情報処理装置１００は、ユーザＵにより組合せ広告ＡＤ＿ａがクリックされた場合、組合せ広告ＡＤ＿ａを構成する広告Ａ、広告Ｂ、及び、広告Ｃの表示抽選を行う。そして、情報処理装置１００は、広告Ａが表示抽選に当選した場合、広告Ａに予め紐付けられるランディングページやコンテンツなどをユーザＵに提供する。

【0037】

また、情報処理装置１００は、表示抽選に当選した広告のウェブページを提供する際、表示抽選に落選した他の広告を表示抽選に当選したウェブページに設けられている広告枠に表示する。なお、情報処理装置１００は、クリック率の変化に応じて、組合せ広告における各広告の表示領域の大きさを動的に変更してもよい。

【0038】

このように、情報処理装置１００は、組合せ広告の提供態様に変化を持たせることができる。

【0039】

また、上述の例では、情報処理装置１００が、組合せ広告を生成することを前提とする情報処理の一例について説明してきたが、所定の条件を満たす場合、組合せ広告を生成する処理を実行してもよい。たとえば、情報処理装置１００は、広告枠に表示する単体の広告を決定した後、単体のまま表示するよりも、他の広告を組み合わせて表示する方が高い組合せ効果を期待できる組合せ候補があるか否かを判定する。そして、情報処理装置１００は、他の広告を組み合わせて表示する方が高い組合せ効果を期待できる組合せ候補があることを条件に、組合せ広告を生成する。

【0040】

（１－２．組合せ評価スコアの算出方法の変形例）
また、情報処理装置１００は、複数の広告の組合せごとに、各広告を組み合わせたときの表示態様と、各広告の広告効果を示す所定の指標値とに基づいて、組合せを構成する各広告がユーザにより選択される可能性を示す組合せ評価スコアを算出してもよい。図２は、実施形態に係る組合せ評価スコアの算出方法の変形例の概要（その１）を示す図である。なお、図２では、３つの広告を組み合わせる例を示しているが、組み合わせる広告の数は任意の数であってよい。

【0041】

情報処理装置１００は、組合せ広告ＡＤ＿ａを構成する広告Ａ、広告Ｂ、及び、広告Ｄの広告枠に対する表示態様を決定する。組合せ広告ＡＤ＿ａを構成する各広告の表示態様には、広告枠の領域内で組合せ広告を構成する各広告に個別に割り当てられる表示領域の大きさ（表示面積）が含まれる。図２では、広告Ａの表示領域Ａ－１の大きさが面積「Ａ」であり、広告Ｂの表示領域Ａ－２の大きさが「面積Ｂ」であり、広告Ｄの表示領域Ａ－３の大きさが「面積Ｄ」である様子が示されている。

【0042】

また、情報処理装置１００は、広告枠の領域内で組合せ広告を構成する各広告に個別に割り当てられる表示領域の大きさと、各広告の広告効果を示す指標値とに基づいて、組合せ評価スコアを算出する。たとえば、情報処理装置１００は、各広告の表示領域の大きさを示す面積と、各広告の広告効果を示す指標値とを掛け合わせて、各広告の乗算結果を合算することにより、組合せ評価スコアを算出する。具体的には、情報処理装置１００は、広告Ａの「面積Ａ」と広告Ａに対応する「指標値ＰＡ」とを掛け合わせて、広告Ａに対応するスコアＳＣ＿Ａを算出する。また、情報処理装置１００は、広告Ｂの「面積Ｂ」と広告Ｂに対応する「指標値ＰＢ」とを掛け合わせて、広告Ｂに対応するスコアＳＣ＿Ｂを算出する。また、情報処理装置１００は、広告Ｄの「面積Ｄ」と広告Ｄに対応する「指標値ＰＤ」とを掛け合わせて、広告Ｄに対応するスコアＳＣ＿Ｄを算出する。そして、情報処理装置１００は、広告Ａに対応するスコアＳＣ＿Ａと、広告Ｂに対応するスコアＳＣ＿Ｂと、広告Ｃに対応するスコアＳＣ＿Ｄとを合算することにより、組合せ広告ＡＤ＿ａに対応する組合せ評価スコアＳＣ＿（Ａ＋Ｂ＋Ｄ）を算出する。

【0043】

また、情報処理装置１００は、組合せ評価スコアを算出する際に、表示領域の位置に対応付けて予め規定される重みを反映してもよい。図３は、実施形態に係る組合せ評価スコアの算出方法の変形例の概要（その２）を示す図である。

【0044】

たとえば、組合せ広告ＡＤ＿ａを構成する各広告の表示態様には、広告枠に対して各広告を表示する際の表示位置が含まれてもよい。そして、各広告の表示位置には、予め規定された重みが対応付けられていてもよい。図３では、広告枠の表示領域のうち、図３に向かって一番左側に設けられている表示領域Ａ－１に対して重み：「１．３」が対応付けられており、図３に向かって中央に設けられている表示領域Ａ－２に対して重み：「１．２」が対応付けられており、図３に向かって一番右側に設けられている表示領域Ａ－３に対して重み：「１．１」が対応付けられている様子が示されている。表示位置は、広告枠内の領域において各広告を表示するための広告のレイアウトパターンとして予め規定されていてもよい。この場合、広告枠内に予め規定されている表示領域（たとえば、図３に示す表示領域Ａ－１～Ａ－３など）の位置が表示位置に対応する。なお、広告枠における広告のレイアウトパターンは予め複数用意されていてもよい。

【0045】

そして、情報処理装置１００は、組合せ評価スコアを算出する際に、表示領域の位置に対応付けて予め規定される重みを反映してもよい。具体的には、情報処理装置１００は、広告Ａの「面積Ａ」と広告Ａに対応する「指標値ＰＡ」と表示領域Ａ－１に対応付けられている重み「１．３」とを掛け合わせて、広告Ａに対応するスコアＳＣ＿Ａを算出する。また、情報処理装置１００は、広告Ｂの「面積Ｂ」と広告Ｂに対応する「指標値ＰＢ」と表示領域Ａ－２に対応付けられている重み「１．２」とを掛け合わせて、広告Ｂに対応するスコアＳＣ＿Ｂを算出する。また、情報処理装置１００は、広告Ｄの「面積Ｄ」と広告Ｄに対応する「指標値ＰＤ」と表示領域Ａ－３に対応付けられている重み「１．１」とを掛け合わせて、広告Ｄに対応するスコアＳＣ＿Ｄを算出する。そして、情報処理装置１００は、広告Ａに対応するスコアＳＣ＿Ａと、広告Ｂに対応するスコアＳＣ＿Ｂと、広告Ｄに対応するスコアＳＣ＿Ｄとを合算することにより、組合せ広告ＡＤ＿ａに対応する組合せ評価スコアＳＣ＿（Ａ＋Ｂ＋Ｄ）を算出する。

【0046】

このようにして、情報処理装置１００は、組合せを構成する各広告がユーザにより選択される可能性を示すスコアを、組合せ広告の表示態様に応じて取得できる。

【0047】

（１－３．組合せ効果の評価方法について）
また、情報処理装置１００は、組合せ広告を含む各広告の提供結果に基づいて、組合せ広告を構成する各広告が単体で提供されるよりも組合せ広告として提供された方がユーザにより選択される可能性が向上する組合せ効果が認められるかどうかを評価してもよい。たとえば、情報処理装置１００は、組合せ広告の広告効果を示す所定の指標値と、組合せ広告を構成する各広告の広告効果を示す所定の指標値との比較結果に基づいて、組合せ効果が認められるかどうかを評価する。

【0048】

以下、図４を用いて、情報処理装置１００が実行する組合せ効果の評価方法について説明する。図４は、実施形態に係る組合せ効果の評価方法の概要を示す図である。図４では、組合せ広告と、組合せ広告を構成する各広告の広告効果を示す指標値がクリック率である場合を示している。また、図４では、組合せ効果の評価について説明するための広告として、広告Ａと、広告Ｂと、広告Ｃと、広告Ｄと、組合せ広告Ａ＋Ｂ＋Ｃと、組合せ広告Ａ＋Ｂ＋Ｄとを例示している。

【0049】

まず、情報処理装置１００は、組合せ広告Ａ＋Ｂ＋Ｃを構成する広告Ａと広告Ｂと広告Ｃのそれぞれのクリック率を取得し、取得したクリック率を合算することにより、組合せ広告Ａ＋Ｂ＋Ｃの推定クリック率を算出する。図４では、組合せ広告Ａ＋Ｂ＋Ｃの推定クリック率が「７％」である例が示されている。次に、情報処理装置１００は、組合せ広告Ａ＋Ｂ＋Ｃの提供結果を参照して、組合せ広告Ａ＋Ｂ＋Ｃについての実際のクリック率を取得する。図４では、組合せ広告Ａ＋Ｂ＋Ｃの実際のクリック率が「１０％」である例が示されている。また、情報処理装置１００は、実際のクリック率と推定クリック率とを比較して、実際のクリック率が推定クリック率を上回っている場合、組合せ効果が認められると判断する。そして、情報処理装置１００は、実際のクリック率と推定クリック率との差分３％に対応する値である「３」を、組合せ広告Ａ＋Ｂ＋Ｃを構成する広告Ａ、広告Ｂ、及び広告Ｃに対応付けて、組合せ効果を示すアシストスコアとして登録する。

【0050】

同様に、情報処理装置１００は、組合せ広告Ａ＋Ｂ＋Ｄを構成する広告Ａと広告Ｂと広告Ｄのそれぞれのクリック率を取得し、取得したクリック率を合算することにより、組合せ広告Ａ＋Ｂ＋Ｄの推定クリック率を算出する。図４では、組合せ広告Ａ＋Ｂ＋Ｄの推定クリック率が「９％」である例が示されている。次に、情報処理装置１００は、組合せ広告Ａ＋Ｂ＋Ｄの提供結果を参照して、組合せ広告Ａ＋Ｂ＋Ｄについての実際のクリック率を取得する。図４では、組合せ広告Ａ＋Ｂ＋Ｄの実際のクリック率が「１１％」である例が示されている。また、情報処理装置１００は、実際のクリック率と推定クリック率とを比較して、実際のクリック率が推定クリック率を上回っている場合、組合せ効果が認められると判断する。そして、情報処理装置１００は、実際のクリック率と推定クリック率との差分２％に対応する値である「２」を、組合せ広告Ａ＋Ｂ＋Ｄを構成する広告Ａ、広告Ｂ、及び広告Ｄに対応付けて、組合せ効果を示すアシストスコアとして登録する。なお、アシストスコアは、組合せ広告の組合せ効果を示すスコアであるともいえる。

【0051】

また、情報処理装置１００は、他の広告と組み合わせた場合に、ユーザにより選択される可能性を向上させる広告であるアシスト広告を特定してもよい。たとえば、情報処理装置１００は、組合せ広告に組合せ効果が認められる場合、組合せ広告の広告効果を示す所定の指標値（たとえば、実際のクリック率）から、組合せ広告を構成する各広告の広告効果を示す所定の指標値の合算値（たとえば、推定クリック率）を差し引いた値を、組合せ効果を示すアシストスコアとして算出する。情報処理装置１００は、組合せ効果が認められる組合せ広告の各々についてアシストスコアの算出を行う。そして、評価部１３５は、組合せ効果が認められる組合せ広告の各々について算出した各アシストスコアを、組合せ広告を構成する各広告に対応付けて累積した累積スコアに基づいて、他の広告と組み合わせた場合に、ユーザにより選択される可能性を向上させるアシスト広告を特定する。たとえば、アシストスコアが他の広告よりも高い広告は、他の広告と組み合わせた場合に、ユーザにより選択される可能性を向上させるアシスト広告である可能性が高いと判断できる。図４によれば、組合せ広告Ａ＋Ｂ＋Ｃ、及び、組合せ広告Ａ＋Ｂ＋Ｄの組合せ効果の評価により、広告Ａおよび広告Ｂのアシストスコアが他の広告に比べて高くなっている。つまり、上述した組合せ効果の評価を通じて、他の広告と組み合わせた場合、他の広告が選択される可能性を向上させるアシスト広告を推定することが可能となる。

【0052】

このようにして、情報処理装置１００は、組合せ広告の推定クリック率と、実際のクリック率との差分から、複数の広告を組み合わせたことによる組合せ効果を評価でき、複数の広告を組み合わせて構成される組合せ広告の広告効果を検証するための１つの方法論を提案できる。なお、情報処理装置１００は、上述のアシストスコアの大きさに応じて、対応する広告の表示面積を変更したり、メインとなる広告の近くに配置したりしてもよい。

【0053】

また、情報処理装置１００は、他の広告と組み合わせた場合に、たとえば、クリック率が低下するなど、組合せ効果が認められない広告を特定してもよい。このとき、情報処理装置１００は、組合せ効果が認められていない広告については、他の広告と組み合わせる組合せ対象から予め除外してもよいし、可能な範囲で他の広告から離れた場所に小さく表示したりしてもよい。また、情報処理装置１００は、ユーザにより選択される可能性と、広告主に対する課金額との間の関係性に基づいて、組合せ対象となる広告を選択してもよい。たとえば、情報処理装置１００は、組合せ候補として、広告Ｘと広告Ｙが存在する場合、広告Ｘの方が広告Ｙに比べてアシストスコアが高いが課金額が低いという関係性にある場合、ユーザにより選択される可能性を優先するならば広告Ｘを選択し、課金額を優先するならば広告Ｙを選択するという方法で組合せ対象となる広告を選択してもよい。

【0054】

また、情報処理装置１００は、アシストスコア（推定クリック率）を算出する際、広告の出現頻度に応じた補正係数を掛け合わせて、アシストスコアを調整してもよい。これにより、出現頻度によりアシストスコアが高くなってしまうという不都合を解消できる。

【0055】

また、情報処理装置１００は、組合せ広告を構成する各広告に関する情報と、組合せ広告に対応するアシストスコアとの対応関係を学習した学習済みモデルである組合せ効果評価モデルを用いて、組合せ効果を示すスコアを取得してもよい。図５は、実施形態に係る組合せ効果評価モデルの生成方法の概要を示す図である。

【0056】

たとえば、図５に示すように、情報処理装置１００は、組合せ広告を含む広告の提供結果が記憶されている広告情報を参照して、組合せ広告を構成する各広告に関する情報と、組合せ広告の組合せ効果を示すアシストスコアとを対応付けた学習用データサンプルを準備する。なお、広告に関する情報は、広告に対応付けられている広告対象を示すカテゴリの情報や、広告の広告主に関する情報など、任意の情報を採用できる。そして、情報処理装置１００は、学習用データサンプルを用いて、たとえば、ニューラルネットワークなどの任意の機械学習モデルを学習用モデルＭＢ－１として、各広告に関する情報を入力した場合に、各広告の組合せにより構成される組合せ広告の組合せ効果を示す情報を出力する組合せ効果評価モデルＭＢ－２を学習する。情報処理装置１００は、組合せ広告を構成する組合せ候補となる各広告に関する情報を組合せ効果評価モデルＭＢ－２に入力し、各広告の組合せにより構成される組合せ広告の組合せ効果を示すアシストスコアを組合せ効果評価モデルＭＢ－２から取得できる。

【0057】

（１－４．組合せ広告の課金額の決定方法について）
また、情報処理装置１００は、複数の広告を組み合わせて生成した組合せ広告を提供する際、組合せ広告を構成する各広告に対するユーザの興味の比率に基づいて、配信対象となる組合せ広告に紐付く広告主に対する課金額を決定してもよい。図６は、実施形態に係る組合せ広告の課金額の決定方法の概要を示す図である。

【0058】

図６に示すように、情報処理装置１００は、組合せ広告を構成する各広告に関する情報と、各広告に対するユーザの興味の比率との対応関係を学習した学習済みモデルである心象推定モデルＭＣを用いて、配信対象となる組合せ広告を構成する各広告に対するユーザの興味の比率を導出する。

【0059】

たとえば、情報処理装置１００は、クラウドソーシングなどを利用して、組合せ広告を構成する各広告の広告対象のうち、どの広告対象についての広告であるという心象を抱いたかを示す心象情報を取得する。また、情報処理装置１００は、組合せ広告に関する情報と、組合せ広告に対応する心象情報とを対応付けた学習用データサンプルを準備する。そして、情報処理装置１００は、学習用データサンプルを用いて、たとえば、ニューラルネットワークなどの任意の機械学習モデルを学習用モデルとして、組合せ広告に関する情報を入力して、組合せ広告に対応する心象情報を出力する心象推定モデルＭＣを学習する。

【0060】

そして、情報処理装置１００は、心象推定モデルＭＣを用いて、配信対象となる組合せ広告を構成する各広告に対するユーザの興味の比率を導出する。たとえば、情報処理装置１００は、配信対象となる組合せ広告Ａ＋Ｂ＋Ｃに関する情報を心象推定モデルＭＣに入力することにより心象推定モデルＭＣから得られる出力を、ユーザの興味の比率として取り扱う。図６によれば、組合せ広告Ａ＋Ｂ＋Ｃに関する情報を心象推定モデルＭＣに入力することにより、広告Ａであるという心象を抱くと推定される割合：「０．７」であり、広告Ｂであるという心象を抱くと推定される割合：「０．２」であり、広告Ｃであるという心象を抱くと推定される割合：「０．１」であるという出力が心象推定モデルＭＣから得られる例が示されている。

【0061】

また、情報処理装置１００は、配信対象となる組合せ広告を構成する各広告に対するユーザの興味の比率に基づいて、組合せ広告に紐付く広告主に対する課金額を決定する。たとえば、図６に示す例を用いて説明すると、情報処理装置１００は、広告Ａの広告主Ａに対する課金額を、広告Ａに対する設定課金額Ａと、広告Ｂに対する設定課金額Ｂと、広告Ｃに対する設定課金額Ｃとを合計し、その合計金額である設定課金額Ａ＋Ｂ＋Ｃに対して、広告Ａに対するユーザの興味の比率である「０．７」を乗算した金額に決定する。同様に、情報処理装置１００は、広告Ｂの広告主Ｂに対する課金額を、設定課金額Ａ＋Ｂ＋Ｃに対して、広告Ｂに対するユーザの興味の比率である「０．２」を乗算した金額に決定する。同様に、広告Ｃの広告主Ｃに対する課金額を、設定課金額Ａ＋Ｂ＋Ｃに対して、広告Ｃに対するユーザの興味の比率である「０．１」を乗算した金額に決定する。

【0062】

このようにして、情報処理装置１００は、組合せ広告についてユーザの心象に基づく課金を実現でき、組合せ広告に対する課金方法の一手法を提案できる。

【0063】

また、情報処理装置１００は、上述のアシストスコアに基づいて、広告主に対する課金額を調整してもよい。たとえば、情報処理装置１００は、組合せ広告を構成する各広告のうち、アシストスコアが最も大きい広告の広告主に対して課金しないようにしてもよい。あるいは、情報処理装置１００は、組合せ広告を構成する各広告のうち、アシストスコアが最も小さい広告の広告主のみに対して、設定課金額を課金するようにしてもよい。このようにして、情報処理装置１００は、組合せ広告について組合せ効果を考慮した課金を実現でき、組合せ広告に対する課金方法の一手法を提案できる。

【0064】

［２．情報処理装置の構成］
図７を用いて、実施形態に係る情報処理装置１００について説明する。図７は、実施形態に係る情報処理装置の構成例を示す図である。図７に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

【0065】

（通信部１１０について）
通信部１１０は、たとえば、ＮＩＣ（Network Interface Card）などによって実現される。通信部１１０は、ネットワークＮと有線または無線で接続される。情報処理装置１００は、ネットワークＮを介して、ユーザ端末１０との間で情報の送受信を行う。

【0066】

（記憶部１２０について）
記憶部１２０は、たとえば、ＲＡＭ（Random Access Memory)や、フラッシュメモリなどの半導体メモリ素子、またはハードディスクや、光ディスクなどの記憶装置によって実現される。記憶部１２０は、広告情報記憶部１２１と、入札情報記憶部１２２と、組合せ評価モデル記憶部１２３と、興味関心度評価モデル記憶部１２４と、組合せ効果評価モデル記憶部１２５とを有する。

【0067】

（広告情報記憶部１２１）
広告情報記憶部１２１は、広告に関する広告情報を記憶する。図８は、実施形態に係る広告情報の一例を示す図である。

【0068】

なお、図８は、実施形態に係る広告情報の一例を示しており、図８に示す以外の情報を含んでいてもよい。また、図８では、広告情報が有する複数の項目に対して概念的な情報が表示される例を示しているが、実際には、数値や文字列などの具体的な情報が記憶される。

【0069】

図８に示すように、広告情報記憶部１２１に記憶される広告情報は、「広告ＩＤ」の項目や、「広告主ＩＤ」の項目や、「広告詳細情報」の項目や、「カテゴリ情報」の項目や、「関連キーワード情報」の項目などといった複数の項目を有する。広告情報が有するこれらの項目は、相互に対応付けられている。

【0070】

「広告ＩＤ」の項目には、広告を識別するための識別情報（広告ＩＤ）が記憶される。なお、組合せ広告である場合も、「広告ＩＤ」の項目には、組合せ広告に対して付与された１つの広告ＩＤが記憶されていてもよい。また、組合せ広告である場合、「広告ＩＤ」の項目には、組合せ広告を構成する各広告に付与された広告ＩＤがさらに記憶されていてもよい。

【0071】

「広告主ＩＤ」の項目には、広告を入稿した広告主を識別するための識別情報（広告主ＩＤ）が記憶される。なお、組合せ広告である場合、「広告主ＩＤ」の項目には、組合せ広告を構成する各広告の広告主ＩＤが記憶されていてもよい。

【0072】

「広告詳細情報」の項目には、広告の内容に関する詳細情報が記憶される。たとえば、詳細情報としては、広告に係る文章として表示されるタイトルや、広告が表示される広告ページ（ウェブページ）の内容を要約したディスクリプションや、表示された広告に設定されるリンク先のＵＲＬ（Uniformed Resource Locator）などが想定される。

【0073】

「カテゴリ情報」の項目には、広告対象を示すカテゴリを示す情報が記憶される。カテゴリは、同一または類似の商品や、同一または類似のサービスを所定の粒度で取りまとめる区分を示す。

【0074】

「関連キーワード情報」の項目には、広告に関連する関連キーワードを示す情報が記憶される。たとえば、関連キーワードは、自動車に関する広告であれば、「新車」や「販売」など、検索クエリとして共起されやすいワードが語句される。

【0075】

図８によれば、広告ＩＤ：「広告＃０１」で識別される広告情報の広告主は、「広告主＃０１」で識別される。また、図８によれば、広告ＩＤ：「広告＃０１」で識別される広告情報に相互に対応付けられている情報として、「広告詳細情報ＥＸ０１」や、「カテゴリ情報ＥＸ０１」や、「関連キーワード情報ＥＸ０１」などが示されている。

【0076】

（入札情報記憶部１２２）
入札情報記憶部１２２は、広告を表示する条件に関する入札情報を記憶する。図９は、実施形態に係る入札情報の一例を示す図である。

【0077】

なお、図９は、実施形態に係る入札情報の一例を示しており、図９に示す以外の情報を含んでいてもよい。たとえば、入札情報記憶部１２２は、広告主を識別するための識別情報（広告主ＩＤ）を記憶してもよい。また、入札情報記憶部１２２は、ＣＰＡ（Cost Per Acquisition）や、ＣＰＣ（Cost Per Click）や、クリック率（ＣＴＲ：Click Through Rate）や、コンバージョン数や、コンバージョン率（ＣＶＲ：Conversion Rate）や、ＰＶ（Page View）などの広告効果を示す所定の指標値を記憶してもよい。

【0078】

また、図９では、入札情報が有する複数の項目に対して概念的な情報が表示される例を示しているが、実際には、各項目に対応する数値や文字列などの具体的な情報が記憶される。

【0079】

図９に示すように、入札情報記憶部１２２に記憶される入札情報は、「入札ＩＤ」の項目や、「広告ＩＤ」の項目や、「入札価格」の項目や、「表示回数」の項目や、「クリック数」の項目などといった複数の項目を有する。入札情報が有するこれらの項目は、相互に対応付けられている。

【0080】

「入札ＩＤ」の項目には、入札を識別するための識別情報（入札ＩＤ）が記憶される。なお、実施形態では、複数の広告を組み合わせて表示する１つの広告枠に対する入札が行われる。「広告ＩＤ」の項目には、入札対象である広告を識別するための識別情報（広告ＩＤ）が記憶される。入札情報が有する「広告ＩＤ」の項目に記憶される識別情報（広告ＩＤ）は、図８に示す広告情報が有する「広告ＩＤ」の項目に記憶される識別情報（広告ＩＤ）と同一の情報であってよい。

【0081】

「入札価格」の項目には、広告（たとえば、バナー広告）がワンクリックされるごとに広告主に課金される金額の基準となる入札金額を示す情報が記憶される。「表示回数」の項目には、広告が表示された回数（インプレッション数）を示す情報が記憶される。「クリック数」の項目には、広告がクリックされた回数を示す情報が記憶される。

【0082】

図９によれば、入札ＩＤ：「入札＃０１」で識別される入札により、広告ＩＤ：「広告＃０１」、「広告＃１１」、及び「広告＃２１」で識別される各広告により広告枠が落札されたことが示されている。また、図９によれば、広告ＩＤ：「広告＃０１」、「広告＃１１」、及び「広告＃２１」で識別される各広告の入札価格が「入札価格ＥＸ０１」、「入札価格ＥＸ１１」、及び「入札価格ＥＸ２１」であり、表示回数が「表示回数ＥＸ０１」、「表示回数ＥＸ１１」、及び「表示回数ＥＸ２１」であり、クリック数が「クリック数ＥＸ０１」、「クリック数ＥＸ１１」、及び「クリック数ＥＸ２１」であることなどが示されている。

【0083】

（組合せ評価モデル記憶部１２３）
組合せ評価モデル記憶部１２３は、配信対象となる各広告の広告効果を示す所定の指標値を入力して、各広告の組合せによる組合せ広告の広告効果を示す所定の指標値の情報を出力する組合せ評価モデルに関する情報を記憶する。図１０は、実施形態に係る組合せ評価モデルに関する情報の一例を示す図である。

【0084】

なお、図１０では、実施形態に係る組合せ評価モデルに関する情報の一例を示しており、図１０に示す以外の情報を含んでいてもよい。また、図１０では、組合せ評価モデルに関する情報が有する複数の項目に対して概念的な情報が表示される例を示しているが、実際には、各項目に対応する数値や文字列などの具体的な情報が記憶される。

【0085】

図１０に示すように、組合せ評価モデル記憶部１２３に記憶される組合せ評価モデルに関する情報は、「モデルＩＤ」の項目や、「対応属性」の項目や、「モデル情報」の項目といった複数の項目を有する。組合せ評価モデルに関する情報が有するこれらの項目は、相互に対応付けられている。

【0086】

「モデルＩＤ」の項目には、モデルを識別するための識別情報（モデルＩＤ）が記憶される。

【0087】

「対応属性」の項目には、組合せ評価モデルに対応付けられている属性を示す情報が記憶される。

【0088】

「モデル情報」の項目には、組合せ評価モデルに関する情報が記憶される。たとえば、「モデル情報」の項目には、モデルの構成（ネットワーク構成）の情報やパラメータに関する情報など、そのモデルを構成する種々の情報が記憶される。すなわち、モデルを構成する種々の情報には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。

【0089】

（興味関心度評価モデル記憶部１２４）
興味関心度評価モデル記憶部１２４は、ユーザに関する情報を入力して、ユーザに対応する興味関心度スコアを出力するように機械学習により学習処理された興味関心度評価モデルに関する情報を記憶する。図１１は、実施形態に係る興味関心度評価モデルに関する情報の一例を示す図である。

【0090】

なお、図１１では、実施形態に係る興味関心度評価モデルに関する情報の一例を示しており、図１１に示す以外の情報を含んでいてもよい。また、図１１では、興味関心度評価モデルに関する情報が有する複数の項目に対して概念的な情報が表示される例を示しているが、実際には、各項目に対応する数値や文字列などの具体的な情報が記憶される。

【0091】

図１１に示すように、興味関心度評価モデル記憶部１２４に記憶される興味関心度評価モデルに関する情報は、「モデルＩＤ」の項目や、「モデル情報」の項目や、「カテゴリ」の項目といった複数の項目を有する。興味関心度評価モデルに関する情報が有するこれらの項目は、相互に対応付けられている。

【0092】

「モデルＩＤ」の項目には、モデルを識別するための識別情報（モデルＩＤ）が記憶される。

【0093】

「モデル情報」の項目には、興味関心度評価モデルに関する情報が記憶される。たとえば、「モデル情報」の項目には、モデルの構成（ネットワーク構成）の情報やパラメータに関する情報など、そのモデルを構成する種々の情報が記憶される。すなわち、モデルを構成する種々の情報には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。

【0094】

「カテゴリ」の項目には、興味関心度評価モデルに対応するカテゴリを示す情報が記憶される。カテゴリを示す情報は、ターゲットとなり得る各ユーザが興味関心を有する対象を区分するために予め規定された情報である。対象は、商品やサービスを示す情報の他、趣味やライフスタイルなどの多岐にわたる。

【0095】

（組合せ効果評価モデル記憶部１２５）
組合せ効果評価モデル記憶部１２５は、組合せ広告を構成する各広告に関する情報と、組合せ広告に対応するアシストスコアとの対応関係を学習した学習済みモデルである組合せ効果評価モデルに関する情報を記憶する。図１２は、実施形態に係る組合せ効果評価モデルに関する情報の一例を示す図である。

【0096】

図１２に示すように、組合せ効果評価モデル記憶部１２５に記憶される組合せ効果評価モデルに関する情報は、「モデルＩＤ」の項目や、「モデル情報」の項目といった複数の項目を有する。組合せ効果評価モデルに関する情報が有するこれらの項目は、相互に対応付けられている。

【0097】

「モデルＩＤ」の項目には、モデルを識別するための識別情報（モデルＩＤ）が記憶される。

【0098】

「モデル情報」の項目には、組合せ効果評価モデルに関する情報が記憶される。たとえば、「モデル情報」の項目には、モデルの構成（ネットワーク構成）の情報やパラメータに関する情報など、そのモデルを構成する種々の情報が記憶される。すなわち、モデルを構成する種々の情報には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。

【0099】

（制御部１３０について）
制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現される。

【0100】

図７に示すように、制御部１３０は、選択部１３１と、生成部１３２と、提供部１３３と、導出部１３４と、評価部１３５と、決定部１３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図７に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図７に示した接続関係に限られず、他の接続関係であってもよい。

【0101】

（選択部１３１）
選択部１３１は、ユーザが興味関心を有するカテゴリに対応する複数の広告の中から組合せ候補となる複数の広告を選択する。たとえば、選択部１３１は、広告配信先（ターゲット）となるユーザＵが興味関心を有する度合いを示す興味関心度スコアが所定値以上であるカテゴリに対応した複数の広告を組合せ候補として選択する。たとえば、選択部１３１は、興味関心度評価モデルを用いて、興味関心度スコアを取得できる。興味関心度評価モデルは、ターゲットとなり得る各ユーザが興味関心を有する対象を区分するために予め規定された所定のカテゴリごとに予め生成される。興味関心度評価モデルは、ユーザに関する情報（たとえば、検索履歴（検索クエリ））を入力して、ユーザに対応する興味関心度スコアを出力するように機械学習により学習処理される。

【0102】

また、選択部１３１は、広告配信先（ターゲット）となるユーザＵが興味関心を有するカテゴリに対応する複数の広告の中から、広告効果を示す指標値が所定値未満である広告を少なくとも１つ選択してもよい。

【0103】

（生成部１３２）
生成部１３２は、選択部１３１により選択された複数の広告を組み合わせた組合せ広告を生成する。たとえば、生成部１３２は、組合せ評価モデルを用いて、選択部１３１により選択された複数の広告の組合せごとに、組合せによる組合せ広告がユーザに選択される可能性を示す組合せ評価スコアを取得し、取得した組合せ評価スコアが最大となる組合せによる組合せ広告を生成する。

【0104】

また、生成部１３２は、組合せ広告を生成する際、複数の広告を組み合わせる際の表示領域の大きさや表示位置などの表示レイアウトを任意に決定できる。たとえば、生成部１３２は、組合せ広告に対応する入札を広告主から受け付けた際の入札金額に応じて、組合せ広告を構成する各広告に個別に割り当てられる表示領域の大きさを決定してもよい。また、生成部１３２は、組合せ広告を構成する各広告に対応するカテゴリの類似度を加味して、組合せ広告における前記各広告の表示位置を決定してもよい。また、生成部１３２は、予め準備された広告枠のレイアウトパターンを選択し、選択したレイアウトパターンに複数の広告を配置することにより、組合せ広告を生成してもよい。

【0105】

また、生成部１３２は、選択部１３１により選択された複数の広告の組合せごとに、各広告を組み合わせたときの表示態様と、各広告の広告効果を示す所定の指標値とに基づいて、組合せを構成する各広告がユーザにより選択される可能性を示す組合せ評価スコアを算出し、算出された組合せ評価スコアが最大となる組合せによる組合せ広告を生成してもよい。この場合、生成部１３２は、組合せ広告を表示する広告枠の領域内で組合せ広告を構成する各広告に個別に割り当てられる表示領域の大きさと、各広告の広告効果を示す所定の指標値とに基づいて、組合せ評価スコアを算出する。また、生成部１３２は、組合せ評価スコアを算出する際に、表示領域の位置に対応付けて予め規定される重みを反映してもよい。

【0106】

（提供部１３３）
提供部１３３は、生成部１３２により生成された組合せ広告をユーザに提供する。たとえば、提供部１３３は、通信部１１０を通じて、組合せ広告を含むウェブページをユーザ端末１０に送信することにより、ユーザＵに提供する。

【0107】

また、提供部１３３は、組合せ広告が選択操作された場合、組合せ広告を構成する各広告に対応するカテゴリの興味関心度スコアに基づく確率で各広告の表示抽選を行い、当選した広告に対応するウェブページを提供してもよい。また、提供部１３３は、表示抽選に当選したウェブページを提供する際、表示抽選に落選した他の広告をウェブページに設けられている広告枠に表示してもよい。

【0108】

（導出部１３４）
導出部１３４は、複数の広告を組み合わせて生成した組合せ広告を提供する際、組合せ広告を構成する各広告に対するユーザの興味の比率を導出する。たとえば、導出部１３４は、組合せ広告を構成する各広告に関する情報と、各広告に対するユーザの興味の比率との対応関係を学習した学習済みモデルを用いて、配信対象となる組合せ広告を構成する各広告に対するユーザの興味の比率を導出する。

【0109】

（評価部１３５）
評価部１３５は、組合せ広告を含む各広告の提供結果に基づいて、組合せ広告を構成する各広告が単体で提供されるよりも組合せ広告として提供された方がユーザにより閲覧される可能性が向上する組合せ効果が認められるかどうかを評価する。

【0110】

たとえば、評価部１３５は、組合せ広告の広告効果を示す所定の指標値と、組合せ広告を構成する各広告の広告効果を示す所定の指標値との比較結果に基づいて、前記組合せ広告に組合せ効果が認められるかどうかを評価する。具体的には、評価部１３５は、組合せ広告の実際のクリック率が、組合せ広告の推定クリック率を上回っている場合、組合せ効果があったと判断する。

【0111】

また、評価部１３５は、他の広告と組み合わせた場合に、ユーザにより選択される可能性を向上させる広告であるアシスト広告を特定してもよい。たとえば、評価部１３５は、組合せ効果が認められる場合、組合せ広告の広告効果を示す所定の指標値から、組合せ広告を構成する各広告の広告効果を示す所定の指標値の合算値を差し引いた値を、組合せ効果を示すアシストスコアとして算出する。評価部１３５は、組合せ効果が認められる組合せ広告の各々についてアシストスコアの算出を行う。そして、評価部１３５は、組合せ効果が認められる組合せ広告の各々について算出した各アシストスコアを、組合せ広告を構成する各広告に対応付けて累積した累積スコアに基づいて、他の広告と組み合わせた場合に、ユーザにより選択される可能性を向上させるアシスト広告を特定する。たとえば、アシストスコアが他の広告よりも高い広告は、他の広告と組み合わせた場合に、ユーザにより選択される可能性を向上させるアシスト広告である可能性が高いと判断できる。

【0112】

また、評価部１３５は、組合せ広告を構成する各広告に関する情報と、組合せ広告に対応する組合せ効果を示すアシストスコアとの対応関係を学習した組合せ効果評価モデルを用いて、組合せ効果を示すスコアを取得してもよい。

【0113】

（決定部１３６）
決定部１３５は、導出部１３４により導出された比率に基づいて、配信対象となる組合せ広告に紐付く広告主に対する課金額を決定する。また、決定部１３５は、組合せ広告に対応する組合せ効果を示すスコアに基づいて、課金額を調整してもよい。

【0114】

［３．処理手順］
（３－１．組合せ広告の提供手順）
以下、図面を参照して、実施形態に係る情報処理装置１００が実行する情報処理手順の一例について説明する。以下、図１３を用いて、実施形態に係る組合せ広告の提供手順の一例について説明する。図１３は、実施形態に係る組合せ広告の提供手順の一例を示すフローチャートである。図１３に示す処理手順は、情報処理装置１００の制御部１３０により実行される。図１３に示す処理手順は、情報処理装置１００の稼働中、繰り返し実行される。

【0115】

図１３に示すように、選択部１３１は、ユーザが興味関心を有するカテゴリに対応する複数の広告の中から組合せ候補となる複数の広告を選択する（ステップＳ１０１）。

【0116】

また、生成部１３２は、選択部１３１により選択された複数の広告の組合せごとに、組合せによる組合せ広告がユーザに選択される可能性を示す組合せ評価スコアを取得する（ステップＳ１０２）。

【0117】

また、生成部１３２は、取得した組合せ評価スコアが最大となる組合せによる組合せ広告を生成する（ステップＳ１０３）。

【0118】

また、提供部１３３は、生成部１３２により生成された組合せ広告をユーザに提供して（ステップＳ１０４）、図１３に示す処理手順を終了する。

【0119】

（３－２．組合せ効果の評価手順）
以下、図１４を用いて、実施形態に係る組合せ効果の評価手順の一例について説明する。図１４は、実施形態に係る組合せ効果の評価手順の一例を示すフローチャートである。図１４に示す処理手順は、情報処理装置１００の制御部１３０により実行される。図１４に示す処理手順は、情報処理装置１００の稼働中、繰り返し実行される。

【0120】

図１４に示すように、評価部１３５は、組合せ広告を含む各広告の提供結果を取得する（ステップＳ２０１）。

【0121】

また、評価部１３５は、組合せ広告の広告効果を示す所定の指標値と、組合せ広告を構成する各広告の広告効果を示す所定の指標値とを比較する（ステップＳ２０２）。

【0122】

そして、評価部１３５は、ステップＳ２０２の比較結果に基づいて、組合せ広告に組合せ効果が認められるかどうかを評価し（ステップＳ２０３）、図１４に示す処理手順を終了する。

【0123】

（３－３．課金額の決定手順）
以下、図１５を用いて、実施形態に係る課金額の決定手順の一例について説明する。図１５は、実施形態に係る課金額の決定手順の一例を示すフローチャートである。図１５に示す処理手順は、情報処理装置１００の制御部１３０により実行される。図１５に示す処理手順は、情報処理装置１００の稼働中、繰り返し実行される。

【0124】

図１５に示すように、導出部１３４は、組合せ広告を構成する各広告に対するユーザの興味の比率を導出する（ステップＳ３０１）。

【0125】

続いて、決定部１３６は、導出された比率に基づいて、配信対象となる組合せ広告に紐付く広告主に対する課金額を決定し（ステップＳ３０２）、図１５に示す処理手順を終了する。

【0126】

［４．変形例］
上記実施形態にかかる情報処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理装置１００の他の実施形態について説明する。

【0127】

（４－１．ユーザコンテキストに特化した広告選択）
上記の実施形態において、情報処理装置１００は、組合せ広告を生成する際、特定のユーザに特化した広告を選択してもよい。たとえば、情報処理装置１００は、ユーザコンテキストに基づいて、配信対象となる広告ごとに、広告を選択する可能性のあるユーザの一覧を示すユーザリストを作成する。次に、情報処理装置１００は、ユーザリストを相互に比較して、ユーザリスト間のユーザの重複率をそれぞれ求める。そして、情報処理装置１００は、ユーザの重複率が高い複数の広告を、組合せ広告の組合せ候補として選択する。たとえば、情報処理装置１００は、組合せ広告を生成する際、３つの広告を選択する場合、重複率の上位１位～３位までの広告を選択できる。これにより、ユーザリストのユーザコンテキストに特化した組合せ広告を生成できる。

【0128】

なお、情報処理装置１００は、特定のユーザに特化するのではなく、全てのユーザに普遍的な一般化された組合せ広告を生成する場合には、ユーザの重複率が低い複数の広告を、組合せ広告の組合せ候補として選択してもよい。たとえば、情報処理装置１００は、組合せ広告を生成する際、３つの広告を選択する場合、重複率の下位１位～３位までの広告を選択できる。これにより、ユーザリストのユーザコンテキストに特化していない一般化された組合せ広告を生成できる。

【0129】

（４－２．ユーザレスポンスに基づく組合せ排除）
上記の実施形態において、情報処理装置１００は、組合せ広告の配信先であるユーザに対するアンケート調査を実施し、組合せ広告における各広告の組合せに対する評価が低い組合せを排除して、組合せ広告を生成してもよい。

【0130】

（４－３．広告対象の組合せに対応するアシストスコアの導出）
上記の実施形態において、情報処理装置１００は、組合せ広告を構成する各広告の広告効果を示す指標値を、広告が宣伝する商品やサービスなどの指標値とみなし、上記の実施形態で説明した方法により、広告対象の組合せごとにアシストスコアを導出してもよい。

【0131】

［５．ハードウェア構成］
また、上述してきた実施形態に係る情報処理装置１００は、たとえば、図１６に示すような構成のコンピュータ１０００によって実現される。図１６は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【0132】

コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0133】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラムなどに基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭなど、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

【0134】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、たとえば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナなどといった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、たとえば、ＵＳＢなどにより実現される。

【0135】

なお、入力装置１０２０は、たとえば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどから情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリなどの外付け記憶媒体であってもよい。

【0136】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0137】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。たとえば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0138】

たとえば、コンピュータ１０００が上記の実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）を実行することにより、制御部１３０と同様の機能を実現する。すなわち、演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）との協働により、上記の実施形態に係る情報処理装置１００による処理を実現する。

【0139】

［６．その他］
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0140】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0141】

また、上述してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0142】

［７．効果］
実施形態に係る情報処理装置１００は、複数の広告を組み合わせて生成された組合せ広告を含む各広告の提供結果に基づいて、前記組合せ広告を構成する各広告が単体で提供されるよりも前記組合せ広告として提供された方がユーザにより選択される可能性が向上する組合せ効果が認められるかどうかを評価する評価部１３５を有する。

【0143】

また、実施形態に係る情報処理装置１００において、評価部１３５は、組合せ広告の広告効果を示す所定の指標値と、組合せ広告を含まれる各広告の広告効果を示す所定の指標値との比較結果に基づいて、組合せ効果が認められるかどうかを評価する。

【0144】

また、実施形態に係る情報処理装置１００において、評価部１３５は、組合せ効果が認められる場合、組合せ広告の広告効果を示す所定の指標値から、組合せ広告を構成する各広告の広告効果を示す所定の指標値の合算値を差し引いた値を、組合せ効果を示すスコアとして算出する。また、評価部１３５は、組合せ効果が認められる組合せ広告の各々についてスコアの算出を行う。また、評価部１３５は、組合せ効果が認められる組合せ広告を構成する各広告に対応付けてスコアを累積した累積スコアに基づいて、他の広告と組み合わせた場合に、ユーザにより選択される可能性を向上させる広告であるアシスト広告を特定する。

【0145】

また、実施形態に係る情報処理装置１００において、評価部１３５は、組合せ広告を構成する各広告に関する情報と、組合せ広告に対応するスコアとの対応関係を学習した学習済みモデルを用いて、組合せ効果を示すスコアを取得する。

【0146】

上述した各部により実行される処理、又は各部のうちのいずれかの組合せにより、実施形態に係る情報処理装置１００は、複数の広告を組み合わせた組合せ広告の組合せ効果を検証するための１つの方法論を提案できる。

【0147】

以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0148】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

【符号の説明】

【0149】

１０ ユーザ端末
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 広告情報記憶部
１２２ 入札情報記憶部
１２３ 組合せ評価モデル記憶部
１２４ 興味関心度評価モデル記憶部
１２５ 組合せ効果評価モデル記憶部
１３０ 制御部
１３１ 選択部
１３２ 生成部
１３３ 提供部
１３４ 導出部
１３５ 評価部
１３６ 決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】