(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-21
(45)【発行日】2023-05-01
(54)【発明の名称】広告評価システム、広告評価方法及び広告評価プログラム
(51)【国際特許分類】
G06Q 30/0242 20230101AFI20230424BHJP
【ＦＩ】
G06Q30/0242
【請求項の数】
7
(21)【出願番号】P 2021071917
(22)【出願日】2021-04-21
(65)【公開番号】P2022166598
(43)【公開日】2022-11-02
【審査請求日】2021-04-21
(73)【特許権者】
【識別番号】592131906
【氏名又は名称】みずほリサーチ＆テクノロジーズ株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】松崎 和敏
(72)【発明者】
【氏名】友澤 弘充
(72)【発明者】
【氏名】土屋 美恵
(72)【発明者】
【氏名】田中 融
(72)【発明者】
【氏名】下元 正義
(72)【発明者】
【氏名】笠間 俊夫
【審査官】西村 直史
(56)【参考文献】
【文献】米国特許出願公開第２０１８／００８２１２５（ＵＳ，Ａ１）
【文献】特開２０２１－０４７７１９（ＪＰ，Ａ）
【文献】国際公開第２０１２／１２７９７１（ＷＯ，Ａ１）
【文献】特開２０２０－００４２０４（ＪＰ，Ａ）
【文献】特開２００６－０１４２００（ＪＰ，Ａ）
【文献】特開２０２１－０７８５７１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
評価対象情報における広告効果を評価する制御部を備えた広告評価システムであって、前記制御部が、
評価対象の評価対象情報及びターゲット広告を取得し、
前記ターゲット広告の認識モデルを用いて、前記評価対象情報に含まれる前記ターゲット広告を抽出し、
前記ターゲット広告の周囲環境に対して、前記ターゲット広告の動きを出力状態として特定し、
前記出力状態に基づいて、ターゲット広告の動きに応じてスコアを算出する関数を用いて、スコアを付与して広告効果を算出することを特徴とする広告評価システム。
【請求項2】
前記制御部が、前記出力状態として、前記認識モデルから出力される確からしさを取得し、
前記確からしさを用いて、前記広告効果を算出することを特徴とする請求項１に記載の広告評価システム。
【請求項3】
前記制御部が、前記評価対象情報が時間的要素を含む場合、前記出力状態として、前記ターゲット広告の出力時間を算出し、
前記出力時間を用いて、前記広告効果を算出することを特徴とする請求項１又は２に記載の広告評価システム。
【請求項4】
前記制御部が、前記出力状態として、前記評価対象情報における前記ターゲット広告の出力割合を特定し、
前記出力割合を用いて、前記広告効果を算出することを特徴とする請求項１～３の何れか一項に記載の広告評価システム。
【請求項5】
前記制御部が、前記出力状態として、前記評価対象情報としての画像における前記ターゲット広告の表示位置を特定し、
前記表示位置を用いて、前記広告効果を算出することを特徴とする請求項１～４の何れか一項に記載の広告評価システム。
【請求項6】
評価対象情報における広告効果を評価する制御部を備えた広告評価システムを用いて、広告を評価する方法であって、前記制御部が、
評価対象の評価対象情報及びターゲット広告を取得し、
前記ターゲット広告の認識モデルを用いて、前記評価対象情報に含まれる前記ターゲット広告を抽出し、
前記ターゲット広告の周囲環境に対して、前記ターゲット広告の動きを出力状態として特定し、
前記出力状態に基づいて、ターゲット広告の動きに応じてスコアを算出する関数を用いて、スコアを付与して広告効果を算出することを特徴とする広告評価方法。
【請求項7】
評価対象情報における広告効果を評価する制御部を備えた広告評価システムを用いて、広告を評価する広告評価プログラムであって、前記制御部を、
評価対象の評価対象情報及びターゲット広告を取得し、
前記ターゲット広告の認識モデルを用いて、前記評価対象情報に含まれる前記ターゲット広告を抽出し、
前記ターゲット広告の周囲環境に対して、前記ターゲット広告の動きを出力状態として特定し、
前記出力状態に基づいて、ターゲット広告の動きに応じてスコアを算出する関数を用いて、スコアを付与して広告効果を算出する手段として機能させるための広告評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像等のコンテンツに含まれる広告を評価する広告評価システム、広告評価方法及び広告評価プログラムに関する。
【背景技術】
【0002】
各種媒体を介して、多様な広告が提供されている。このような広告の広告効果を評価するための技術が検討されている（例えば、特許文献１）。この特許文献に記載された管理サーバは、ドライブレコーダにより撮像された画像を含む撮像データを、ネットワークを介して取得する。ドライブレコーダは、自動車の車室内から自動車の窓を通して車外の風景を撮像する。管理サーバは、取得された撮像データに含まれる画像の中から、自動車の画像内に写っている部位に掲示されている特定の広告物の設置状況を認識する。そして、管理サーバは、認識された広告物の設置状況に基づいて、広告物による広告効果に関する評価を決定する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２０－４２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
広告を掲載しても認識されなければ、広告効果を出せない。例えば、広告を掲載したユニフォームを着た選手の試合の動画を配信する場合にも、選手の動きや、動画の撮影位置によって、広告の見え方は異なる。すなわち、コンテンツに含まれる広告の出力状況によって、ユーザに対する広告効果は異なる。このため、広告の認識状況を把握することは困難である。
【課題を解決するための手段】
【0005】
上記課題を解決する広告評価システムは、評価対象情報における広告効果を評価する制御部を備える。前記制御部が、評価対象の評価対象情報及びターゲット広告を取得し、前記ターゲット広告の認識モデルを用いて、前記評価対象情報に含まれる前記ターゲット広告を抽出し、前記ターゲット広告の出力状態を特定し、前記出力状態を用いて広告効果を算出する。
【発明の効果】
【0006】
本発明によれば、コンテンツに含まれる広告を評価することができる。
【図面の簡単な説明】
【0007】
【図1】実施形態の広告評価システムの説明図。
【図2】実施形態のハードウェア構成の説明図。
【図3】実施形態の情報記憶部の説明図であって、（ａ）は認識モデル記憶部、（ｂ）は評価指標記憶部、（ｃ）は評価対象記憶部、（ｄ）は評価結果記憶部の説明図。
【図4】実施形態の処理手順の説明図。
【図5】実施形態の広告の出力状況の説明図。
【図6】実施形態の広告の出力状況の説明図。
【図7】実施形態の広告の出力状況の説明図。
【発明を実施するための形態】
【0008】
図１～図７に従って、広告評価システム、広告評価方法及び広告評価プログラムを具体化した一実施形態を説明する。本実施形態では、コンテンツ（評価対象情報）に含まれるターゲット（広告）を評価する場合を想定する。ここでは、コンテンツとして、動画を用い、視覚により把握できる広告を評価する。
図１に示すように、本実施形態の広告評価システムは、ユーザ端末１０、支援サーバ２０を用いる。
図１に示すように、本実施形態の広告評価システムは、ユーザ端末１０、支援サーバ２０を用いる。
【0009】
（ハードウェア構成例）
図２は、ユーザ端末１０、支援サーバ２０等として機能する情報処理装置Ｈ１０のハードウェア構成例である。
図２は、ユーザ端末１０、支援サーバ２０等として機能する情報処理装置Ｈ１０のハードウェア構成例である。
【0010】
情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を有する。なお、このハードウェア構成は一例であり、他のハードウェアを有していてもよい。
【0011】
通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。
【0012】
入力装置Ｈ１２は、ユーザ等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイやタッチパネル等である。
【0013】
記憶装置Ｈ１４は、ユーザ端末１０、支援サーバ２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。
【0014】
プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、ユーザ端末１０、支援サーバ２０における各処理（例えば、後述する制御部２１における処理）を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各種処理に対応する各種プロセスを実行する。例えば、プロセッサＨ１５は、ユーザ端末１０、支援サーバ２０のアプリケーションプログラムが起動された場合、後述する各処理を実行するプロセスを動作させる。
【0015】
プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、（１）コンピュータプログラムに従って動作する１つ以上のプロセッサ、（２）各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは（３）それらの組み合わせ、を含む回路として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
【0016】
【0017】
支援サーバ２０は、コンテンツに含まれる広告を評価するためのコンピュータシステムである。この支援サーバ２０は、制御部２１、認識モデル記憶部２２、評価指標記憶部２３、評価対象記憶部２４、評価結果記憶部２５を備えている。
【0018】
制御部２１は、後述する処理（管理段階、抽出段階、評価段階等を含む処理）を行なう。このための広告評価プログラムを実行することにより、制御部２１は、管理部２１１、抽出部２１２、評価部２１３等として機能する。
【0019】
管理部２１１は、評価対象のコンテンツに含まれる広告の評価を管理する処理を実行する。
抽出部２１２は、評価対象のコンテンツにおいて、広告を抽出する処理を実行する。
評価部２１３は、評価対象のコンテンツにおいて、広告の出力状態を評価する処理を実行する。
抽出部２１２は、評価対象のコンテンツにおいて、広告を抽出する処理を実行する。
評価部２１３は、評価対象のコンテンツにおいて、広告の出力状態を評価する処理を実行する。
【0020】
図３（ａ）に示すように、認識モデル記憶部２２には、認識モデル管理データ２２０が記録される。この認識モデル管理データ２２０は、例えば、深層学習等の機械学習時に記録される。この認識モデル管理データ２２０には、認識対象ＩＤ、認識モデルに関するデータが含まれる。
【0021】
認識対象ＩＤは、各認識モデルを特定するための識別子である。
認識モデルデータは、コンテンツに含まれるオブジェクトを認識するモデルである。このオブジェクトには、ターゲットとなる広告が含まれる。コンテンツとして画像を用いる場合には、コンテンツ画像から広告画像を抽出する認識モデルを用いる。この場合、認識対象のオブジェクトが含まれる多様な教師画像を用いて、深層学習を行なうことにより、認識モデルを生成する。この教師画像には、認識対象のオブジェクトが含まれる領域が指定されている。
認識モデルデータは、コンテンツに含まれるオブジェクトを認識するモデルである。このオブジェクトには、ターゲットとなる広告が含まれる。コンテンツとして画像を用いる場合には、コンテンツ画像から広告画像を抽出する認識モデルを用いる。この場合、認識対象のオブジェクトが含まれる多様な教師画像を用いて、深層学習を行なうことにより、認識モデルを生成する。この教師画像には、認識対象のオブジェクトが含まれる領域が指定されている。
【0022】
図３（ｂ）に示すように、評価指標記憶部２３には、広告が含まれる状態を評価するための評価指標管理データ２３０が記録される。この評価指標管理データ２３０は、広告の出力状態を評価する評価要素を決定した場合に登録される。この評価指標管理データ２３０には、評価要素ＩＤに対して、スコア算出関数に関するデータが記録される。
【0023】
評価要素ＩＤは、広告の出力状態を評価する評価要素を特定するための識別子である。本実施形態では、評価要素として、広告確率、単独性、顕著性、配置、サイズ、継続性、変化状況、シーン状況等を用いる。
【0024】
広告確率は、認識モデルを用いて、コンテンツ内で認識したターゲット広告の確からしさを用いる。広告確率に対応するスコア算出関数として、広告確率が高い程、高いスコアを算出する関数を用いる。
【0025】
単独性は、コンテンツ内で認識したターゲット広告以外の他の広告の有無を用いる。混在性に対応するスコア算出関数として、他の広告が多い程、低いスコアを算出する関数を用いる。
【0026】
顕著性は、コンテンツにおいて、ターゲット広告と、その周囲環境との違いの大きさ（比較結果）を用いる。違いが大きい場合には、ターゲット広告が目立つこと（顕著）になる。ここでは、ターゲット広告の特徴量と、周囲の特徴量とを比較する。顕著性に対応するスコア算出関数として、両者の特徴量の差が大きい程、高いスコアを算出する関数を用いる。
【0027】
配置は、コンテンツにおいて、ターゲット広告を認識した表示位置を用いる。配置に対応するスコア算出関数として、ターゲット広告が、コンテンツの中央に近い程、高いスコアを算出する関数を用いる。
【0028】
サイズは、コンテンツにおいて、ターゲット広告の占める出力割合（画像の場合には面積比率）を用いる。サイズに対応するスコア算出関数として、コンテンツ画像全体の面積に対するターゲット広告の領域の面積の割合が高い程、高いスコアを算出する関数を用いる。
【0029】
継続性は、コンテンツにおいて、ターゲット広告の出力が継続した出力時間を用いる。継続性に対応するスコア算出関数として、継続時間が長い程、高いスコアを算出する関数を用いる。
【0030】
変化状況は、コンテンツにおいて、ターゲット広告の出力の変化を用いる。ターゲット広告の周囲の変化に対して、人間が認識可能な時間でターゲット広告の変化（動き）を評価する。変化状況に対応するスコア算出関数として、人間の認識可能な範囲内でターゲット広告の変化が大きい程、高いスコアを算出する関数を用いる。
【0031】
シーン状況は、広告が表示されたシーンについて、自動生成された説明文（画像キャプション）を用いる。ここでは、画像の特徴量を用いた、公知の画像キャプションモデルを用いて、説明文を生成する。そして、シーン状況に対応するスコア算出関数として、このシーン状況に対応して、コンテンツを閲覧したユーザの感情が高まる程、高いスコアを算出する関数を用いる。例えば、ターゲット広告側のチームの優勢なシーン状況（例えば、「ゴール」）に対して、高いスコアを算出する。
【0032】
図３（ｃ）に示すように、評価対象記憶部２４には、評価対象コンテンツについての評価対象管理データ２４０が記録される。この評価対象管理データ２４０は、評価対象のコンテンツが登録されたときに記録される。この評価対象管理データ２４０には、評価対象ＩＤ、コンテンツに関するデータが含まれる。
【0033】
評価対象ＩＤは、各コンテンツを特定するための識別子である。
コンテンツは、評価対象のコンテンツである。本実施形態では、コンテンツとして動画を用いる。
コンテンツは、評価対象のコンテンツである。本実施形態では、コンテンツとして動画を用いる。
【0034】
図３（ｄ）に示すように、評価結果記憶部２５には、評価結果データ２５０が記録される。この評価結果データ２５０は、広告効果評価処理時に記録される。この評価結果データ２５０には、評価対象ＩＤ、認識対象ＩＤ、広告効果に関するデータが含まれる。
【0035】
評価対象ＩＤは、広告効果を評価したコンテンツを特定する識別子である。
認識対象ＩＤは、コンテンツにおいて認識したターゲット広告を特定するための識別子である。
広告効果は、コンテンツに含まれるターゲット広告の各評価要素のスコアの合計値である。
認識対象ＩＤは、コンテンツにおいて認識したターゲット広告を特定するための識別子である。
広告効果は、コンテンツに含まれるターゲット広告の各評価要素のスコアの合計値である。
【0036】
この評価結果データ２５０には、広告を認識した各シーンについてのシーン評価データ２５１が関連付けられている。シーン評価データ２５１には、シーンＩＤ、評価要素ＩＤ、スコアに関するデータが含まれる。
【0037】
シーンＩＤは、コンテンツにおいて、ターゲット広告を認識したシーンを特定する識別子である。例えば、動画の開始からの経過時間（タイムインデックス）を用いることができる。
【0038】
評価要素ＩＤは、このシーンにおいて認識した広告の評価要素を特定するための識別子である。
スコアは、このシーンにおける評価要素により算出したスコアである。
スコアは、このシーンにおける評価要素により算出したスコアである。
【0039】
（広告効果評価処理）
次に、図４を用いて、広告効果評価処理を説明する。本実施形態では、ユーザ端末１０に保存されたコンテンツ（動画）を評価する。ここでは、評価対象のコンテンツとして、スポーツの試合の録画を用いる。
次に、図４を用いて、広告効果評価処理を説明する。本実施形態では、ユーザ端末１０に保存されたコンテンツ（動画）を評価する。ここでは、評価対象のコンテンツとして、スポーツの試合の録画を用いる。
【0040】
まず、支援サーバ２０の制御部２１は、コンテンツの取得処理を実行する（ステップＳ１００）。具体的には、制御部２１の管理部２１１は、ユーザ端末１０の表示装置Ｈ１３に評価対象入力画面を出力する。この評価設定画面には、評価対象のコンテンツ及びターゲット広告の指定欄が含まれる。評価設定画面において、コンテンツ及び広告の認識対象ＩＤが入力された場合、管理部２１１は、ユーザ端末１０からアップロードされた動画を取得する。この場合、制御部２１の管理部２１１は、コンテンツ及び認識対象ＩＤを取得する。そして、管理部２１１は、コンテンツに対して評価対象ＩＤを付与して、評価対象記憶部２４に記録する。
【0041】
次に、支援サーバ２０の制御部２１は、評価対象の特定処理を実行する（ステップＳ１０１）。具体的には、制御部２１の管理部２１１は、評価対象記憶部２４に記録されたコンテンツ（動画）から、広告の有無を確認する評価対象（シーン画像）を切り出す。例えば、コンテンツの最初から、所定の時間間隔で、順次、シーン画像を特定する。
【0042】
次に、支援サーバ２０の制御部２１は、広告の認識処理を実行する（ステップＳ１０２）。具体的には、制御部２１の抽出部２１２は、認識モデル記憶部２２に記録された認識モデルを用いて、評価対象（シーン画像）に含まれるオブジェクトを認識する。このオブジェクトには、認識対象ＩＤのターゲット広告を含む。
【0043】
次に、支援サーバ２０の制御部２１は、広告を含むかどうかについての判定処理を実行する（ステップＳ１０３）。具体的には、制御部２１の抽出部２１２は、シーン画像において、ターゲット広告の確からしさが基準値以上の場合には、広告を含むと判定する。
【0044】
広告を含むと判定した場合（ステップＳ１０３において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、広告の出力状態の特定処理を実行する（ステップＳ１０４）。具体的には、制御部２１の評価部２１３は、評価指標記憶部２３に記録された評価要素ＩＤ毎に、スコア算出関数を用いて、シーン画像に含まれるターゲット広告の出力状態に応じたスコアを算出する。
【0045】
図５～図７を用いて、サッカー試合の動画の各シーン（５１０～５３０）の出力状態を例示する。
図５に示す第１シーン５１０では、ターゲット広告５１１を認識する。このターゲット広告５１１は、第１シーン５１０の中央付近に大きく配置される。このため、広告確率、単独性、顕著性、配置、サイズにおいて高いスコアが算出される。
図５に示す第１シーン５１０では、ターゲット広告５１１を認識する。このターゲット広告５１１は、第１シーン５１０の中央付近に大きく配置される。このため、広告確率、単独性、顕著性、配置、サイズにおいて高いスコアが算出される。
【0046】
図６に示す第２シーン５２０では、ターゲット広告５２１，５２２を認識する。この第２シーン５２０のように、シーン画像において、複数のターゲット広告を認識した場合には、各ターゲット広告についてスコアを算出して合計する。このターゲット広告５２１，５２２は、第１シーン５１０に比べると、視認しにくくなっており、広告確率、配置、サイズにおいて低いスコアが算出される。この第２シーン５２０には他の広告５２３も含まれるため、単独性のスコアも低くなる。
【0047】
図７に示す第３シーン５３０では、ターゲット広告５３１を認識する。このターゲット広告５３１は、第１シーン５１０に比べると、視認しにくくなっており、広告確率において低いスコアが算出される。一方、第１シーン５１０、第２シーン５２０のドリブルシーンと異なり、第３シーン５３０はゴールシーンであるため、シーン状況は高いスコアが算出される。
【0048】
次に、支援サーバ２０の制御部２１は、評価結果の記録処理を実行する（ステップＳ１０５）。具体的には、制御部２１の評価部２１３は、シーンＩＤ、評価要素ＩＤ、算出したスコアを記録したシーン評価データ２５１を生成し、評価結果記憶部２５に記録する。
【0049】
一方、広告を抽出できず、広告を含まないと判定した場合（ステップＳ１０３において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、広告状態の特定処理（ステップＳ１０４）、評価結果の記録処理（ステップＳ１０５）をスキップする。
【0050】
次に、支援サーバ２０の制御部２１は、終了かどうかについての判定処理を実行する（ステップＳ１０６）。具体的には、制御部２１の管理部２１１は、コンテンツの最後まで、すべてのシーン画像を評価した場合には終了と判定する。
【0051】
まだ評価していないシーン画像が残っており、終了でないと判定した場合（ステップＳ１０６において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、評価対象の取得処理（ステップＳ１０１）以降の処理を繰り返す。
【0052】
一方、すべてのシーン画像を評価し、終了と判定した場合（ステップＳ１０６において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、広告効果の出力処理を実行する（ステップＳ１０７）。具体的には、制御部２１の管理部２１１は、評価結果記憶部２５に記録されたシーン評価データ２５１のスコアの合計値を広告効果として算出し、評価結果データ２５０に記録する。そして、管理部２１１は、ユーザ端末１０の表示装置Ｈ１３に、算出した広告効果を出力する。
【0053】
本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態においては、支援サーバ２０の制御部２１は、広告の認識処理を実行する（ステップＳ１０２）。これにより、動画に含まれるシーン画像において、広告を抽出することができる。
（１）本実施形態においては、支援サーバ２０の制御部２１は、広告の認識処理を実行する（ステップＳ１０２）。これにより、動画に含まれるシーン画像において、広告を抽出することができる。
【0054】
（２）本実施形態においては、広告を含むと判定した場合（ステップＳ１０３において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、広告の出力状態の特定処理（ステップＳ１０４）、評価結果の記録処理（ステップＳ１０５）を実行する。これにより、広告の出力状態に応じて、広告を評価することができる。
【0055】
（３）本実施形態においては、終了と判定した場合（ステップＳ１０６において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、広告効果の出力処理を実行する（ステップＳ１０７）。これにより、時間的要素を含むコンテンツにおいて、広告効果を的確に評価することができる。
【0056】
（４）本実施形態においては、評価指標記憶部２３には、広告が含まれる状態を評価するための評価指標管理データ２３０が記録される。ここでは、評価要素として、広告確率、単独性、顕著性、配置、サイズ、継続性、変化状況、シーン状況等を用いる。これにより、多様な評価要素を用いて、総合的に広告を評価することができる。
また、評価要素として、広告確率を用いる。これにより、予測モデルにより算出される確からしさを用いて、ユーザにおける視認性を予測することができる。そして、広告を読み取りやすいシーン画像において、高いスコアを付与することができる。
また、評価要素として、広告確率を用いる。これにより、予測モデルにより算出される確からしさを用いて、ユーザにおける視認性を予測することができる。そして、広告を読み取りやすいシーン画像において、高いスコアを付与することができる。
【0057】
また、評価要素として、単独性、顕著性を用いる。これにより、広告が出力された周囲の状況を考慮して、広告効果を評価することができる。そして、広告が目立つシーン画像において、高いスコアを付与することができる。
【0058】
また、評価要素として、配置、サイズを用いる。これにより、広告の視認性を考慮して、広告効果を評価することができる。そして、広告を読み取りやすいシーン画像において、高いスコアを付与することができる。
【0059】
また、評価要素として、継続性を用いる。これにより、広告の継続時間を考慮して、広告効果を評価することができる。そして、長い時間、広告が視認される場合には、高いスコアを付与することができる。
【0060】
また、評価要素として、変化状況を用いる。これにより、動きに着目する視認性に応じて、広告効果を評価することができる。そして、変化に注目する視線に応じて、高いスコアを付与することができる。
【0061】
また、評価要素として、シーン状況を用いる。これにより、シーン画像がユーザの感情を考慮して、広告効果を評価することができる。そして、感情が高まるシーンで出力された広告に対して、高いスコアを付与することができる。
【0062】
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、コンテンツ（評価対象情報）に含まれるターゲット（広告）を評価する場合を想定する。本発明における「広告」は、商業上の目的で積極的に世間に広く宣伝するものだけではなく、世間一般に広く出力される会社名や商品名等（ターゲット）を含むものとする。例えば、会社や商品のレピュテーションを含めた評価に用いることができる。
・上記実施形態では、深層学習等の機械学習により生成した認識モデルを用いるが、コンテンツ内のオブジェクトを認識できれば、認識手段は限定されるものではない。
・上記実施形態では、コンテンツ（評価対象情報）に含まれるターゲット（広告）を評価する場合を想定する。本発明における「広告」は、商業上の目的で積極的に世間に広く宣伝するものだけではなく、世間一般に広く出力される会社名や商品名等（ターゲット）を含むものとする。例えば、会社や商品のレピュテーションを含めた評価に用いることができる。
・上記実施形態では、深層学習等の機械学習により生成した認識モデルを用いるが、コンテンツ内のオブジェクトを認識できれば、認識手段は限定されるものではない。
【0063】
・上記実施形態では、支援サーバ２０の制御部２１は、評価対象の特定処理を実行する（ステップＳ１０１）。具体的には、制御部２１の管理部２１１は、評価対象記憶部２４に記録されたコンテンツ（動画）から、広告の有無を確認する評価対象（シーン画像）を切り出す。これに代えて、リアルタイムで広告を評価するようにしてもよい。例えば、配信されている映像において、広告効果評価処理を実行するようにしてもよい。
【0064】
・上記実施形態では、評価要素として、広告確率、単独性、顕著性、配置、サイズ、継続性、変化状況、シーン状況等を用いる。評価要素は、これらに限定されるものではない。これらの一部やその他の要素を含めてもよい。
・上記実施形態では、評価対象のコンテンツとして、スポーツの試合の録画を用いる。評価対象のコンテンツは、試合の録画に限定されるものではない。テレビ等の放映、ドライブレコーダによる録画を用いることも可能である。
・上記実施形態では、評価対象のコンテンツとして、スポーツの試合の録画を用いる。評価対象のコンテンツは、試合の録画に限定されるものではない。テレビ等の放映、ドライブレコーダによる録画を用いることも可能である。
【0065】
また、複数の画像をコンテンツに適用してもよい。この場合、コンテンツは単一のデータファイルである必要はなく、複数のデータファイルをまとめたコンテンツを用いてもよい。例えば、画像を用いたＳＮＳ（Social networking service）に適用してもよい。この場合には、ＳＮＳに含まれる複数の画像を抽出して、評価要素に基づいて、広告効果のスコアリングを行なう。この場合には、ＳＮＳに含まれるメッセージを用いて、シーン状況を特定してもよい。
【0066】
また、検索エンジン内のクローラがウェブサイトを巡回し、ウェブサイトの情報を収集するウェブクロールに適用してもよい。この場合には、各ウェブサイト（コンテンツ）に含まれるターゲット広告を抽出して、評価要素に基づいて、広告効果のスコアリングを行なう。この場合には、ウェブサイトに含まれるメッセージを用いて、シーン状況を特定してもよい。
また、ニュース記事のクリッピングに適用してもよい。
また、ニュース記事のクリッピングに適用してもよい。
【0067】
・上記実施形態では、評価対象のコンテンツとして、動画（画像）を用いて、広告効果を評価する。評価対象は、視覚に対して提供される広告に限定されるものではない。他の感覚（例えば、聴覚）に対して提供されるコンテンツ（例えば、音）を用いて、広告効果を評価してもよい。この場合には、ＲＮＮ（Recurrent Neural Network）や、ＬＳＴＭ（Long Short-Term Memory）等の時間的要素を含む認識モデルを用いる。この場合にも、認識モデルから出力される確からしさ（広告確率）、環境音との違い、広告の音量、シーン状況等を評価要素として用いることができる。
【符号の説明】
【0068】
１０…ユーザ端末、２０…支援サーバ、２１…制御部、２１１…管理部、２１２…抽出部、２１３…評価部、２２…認識モデル記憶部、２３…評価指標記憶部、２４…評価対象記憶部、２５…評価結果記憶部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
