特許 7578904 広告提供システム及び広告提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-29

(45)【発行日】2024-11-07

(54)【発明の名称】広告提供システム及び広告提供方法

(51)【国際特許分類】

   H04N 21/234 20110101AFI20241030BHJP

   G06F 3/01 20060101ALI20241030BHJP

   G06Q 30/0251 20230101ALI20241030BHJP

   G09G 5/00 20060101ALI20241030BHJP

   G09G 5/377 20060101ALI20241030BHJP

   H04N 21/24 20110101ALI20241030BHJP

【ＦＩ】

H04N21/234

G06F3/01 510

G06Q30/0251

G09G5/00 510B

G09G5/00 550C

G09G5/00 555D

G09G5/377 100

H04N21/24

【請求項の数】 6

(21)【出願番号】P 2020198236

(22)【出願日】2020-11-30

(65)【公開番号】P2022086302

(43)【公開日】2022-06-09

【審査請求日】2023-09-19

(73)【特許権者】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100089004

【弁理士】

【氏名又は名称】岡村 俊雄

(72)【発明者】

【氏名】坂本 和夫

(72)【発明者】

【氏名】佐藤 大地

(72)【発明者】

【氏名】道田 奈々江

(72)【発明者】

【氏名】岩瀬 耕二

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１０－１５４３９５（ＪＰ，Ａ）

【文献】国際公開第２０１１／０８６８７７（ＷＯ，Ａ１）

【文献】特開２０１９－０３９９８８（ＪＰ，Ａ）

【文献】国際公開第２０１７／１９９８４８（ＷＯ，Ａ１）

【文献】特開２０１９－０４７３６６（ＪＰ，Ａ）

【文献】国際公開第２０２０／０６１３５８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｑ ３０／００ － ３０／０８

Ｇ０９Ｇ ５／００ － ５／４２

(57)【特許請求の範囲】

【請求項1】

広告情報を重畳可能な広告掲示領域を含む画像を配信する画像管理手段と、この画像管理手段から配信された前記画像を表示する画像表示手段とを用いて広告を提供する広告提供システムにおいて、
前記画像を視る視聴者の視線を検出する視線検出手段と、
前記画像内における画像の重要部を表示する意義的領域を検出する意義的領域検出手段と、
前記広告掲示領域に重畳される広告情報を制御する広告表示制御手段とを有し、
前記広告表示制御手段は、前記視聴者の視線が前記意義的領域に存在しないとき、前記広告掲示領域に広告情報を重畳表示することを特徴とする広告提供システム。

【請求項2】

前記意義的領域の誘目度を検出可能な誘目度検出手段を有し、
前記広告表示制御手段は、前記視聴者の視線が前記意義的領域に存在するとき、前記意義的領域の誘目度に応じて前記重畳表示される広告情報の表示形態を変更することを特徴とする請求項１に記載の広告提供システム。

【請求項3】

前記広告表示制御手段は、前記意義的領域の誘目度が所定の閾値よりも低いとき、前記重畳表示される広告情報の表示を禁止することを特徴とする請求項２に記載の広告提供システム。

【請求項4】

前記表示された画像に関連付けて区分した領域毎に誘目度を検出可能な誘目度検出手段を有し、
前記広告表示制御手段は、前記視聴者の視線が前記意義的領域から意義的領域外に移動したとき、前記移動した先の誘目度に応じて前記重畳表示される広告情報の表示形態を変更することを特徴とする請求項１に記載の広告提供システム。

【請求項5】

前記広告表示制御手段は、前記移動した先の誘目度が高いとき、移動した先の誘目度が低いときに比べて前記重畳表示される広告情報の誘目度を高くすることを特徴とする請求項４に記載の広告提供システム。

【請求項6】

広告情報を重畳可能な広告掲示領域を含む画像を配信する画像管理手段と、この画像管理手段から配信された前記画像を表示する画像表示手段とを用いて広告を提供する広告提供方法において、
前記画像を視る視聴者の視線を検出する視線検出ステップと、
前記画像内における画像の重要部を表示する意義的領域を検出する意義的領域検出ステップと、
前記視聴者の視線が前記意義的領域に存在しないとき、前記広告掲示領域に広告情報を重畳表示する広告表示ステップと、
を有することを特徴とする広告提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広告情報を重畳可能な広告掲示領域を含む画像を配信する画像管理手段と、この画像管理手段から配信された画像を表示する画像表示手段とを用いて広告情報を提供する広告提供システム及び広告提供方法に関する。

【背景技術】

【0002】

従来より、映画等の映像情報（以下、第１画像という）の一部領域を構成する広告掲示領域、例えば、画像内の風景の一部として映し出された立て看板や街頭ビジョンのディスプレイ等、に現実の商品或いはサービスの広告情報（以下、第２画像という）を合成して新たな表示用画像である番組コンテンツを作成し、この番組コンテンツを視聴者（ユーザ）に提供する技術は知られている。

【0003】

特許文献１のマッピングシステムは、受信した表示用画像を表示するディスプレイと、メタデータ等からなるベースデータストリーム（第１画像）を入力してディスプレイに送信するデータを作成するデータ制御手段と、広告等からなるコンポジットデータストリーム（第２画像）を入力して合成条件を設定する合成条件設定手段と、この合成条件設定手段によって設定されたコンポジットデータをベースデータの広告掲示領域に合成して新たな表示用画像（番組コンテンツ）を作成する合成手段とを備えている。

【0004】

視聴者の視線が向かう対象物（視対象）は、視聴者の興味や認識の有無、更にはその程度等を反映していることから、視聴者の意思指標として用いられる傾向がある。
特許文献２のカーナビゲーションシステムは、運転者の視線を検出する視線検出手段と、進行方向の地図を表示する表示手段と、運転者に対して可聴式に方向を指示する可聴式指示手段と、これら各機器を制御する制御手段とを有し、制御手段は、運転者の視線が表示手段に向いているとき、地図を表示し、運転者の視線が表示手段に向いていないとき、運転者に方向情報を可聴式に提供する。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０１６－５１５３２７号

【文献】特表２０１４－５１６１８１号

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１のマッピングシステムは、事前に表示予定が設定されている広告情報を所定の時刻、或いは所定周期で画面中の広告掲示領域内に合成することができ、視聴者が番組コンテンツを視聴しているタイミングにおいて、広告掲示領域に重畳された広告情報（以下、オーバーレイ広告という）を風景の一部として自然に表示することができる。
しかし、特許文献１の技術では、視聴者が番組コンテンツに集中しているときにオーバーレイ広告が表示されることがあるため、番組に視入っている視聴者がオーバーレイ広告に対して煩わしさを覚える虞がある。

【0007】

視聴者は、視覚情報から１０⁹Ｂｉｔ／ｓの速度で目立つ情報（ポップアップ対象）を選択するという凝視メカニズムを有している。そして、視聴者は、意識の集中状態に応じて、ボトムアップ型注意とトップダウン型注意とを無意識的（反射的）に選択している。
ボトムアップ型注意とは、視野の中で他の物体と明らかに区別される物理的特徴を持つことで目立つ物体を認識処理するプロセスによる受動的注意である。トップダウン型注意とは、自分の中で目標とする特徴を決め、その特徴に基づいて物体を意図的に選定して認識処理するプロセスによる能動的注意である。

【0008】

それ故、例えば、視聴者が、スポーツ番組であるサッカー中継を集中して視聴している際、視聴者は、ボールやボールを操作するプレーヤにトップダウン型注意を向けている。
これに対し、フェンスに組み込まれた広告掲示領域に広告情報が表示された場合、視聴者は、突然現れたオーバーレイ広告に対して、反射的にボトムアップ型注意を向ける。
通常、広告は、誘目性（視覚的顕著性或いはサリエンシーともいう）が高い要素（輝度、色合い、方向等）で表示用画像が構成され、人間工学上、視野内で誘目性の高い領域は視聴者の視線を条件反射的に惹き付ける。それ故、一層ボトムアップ型注意が強くなる。
即ち、視聴者が煩わしさを覚えることなくオーバーレイ広告を提供することは容易ではない。

【0009】

本発明の目的は、視聴者が煩わしさを覚えることなくオーバーレイ広告を提供可能な広告提供システム及び広告提供方法等を提供することである。

【課題を解決するための手段】

【0010】

請求項１の発明は、広告情報を重畳可能な広告掲示領域を含む画像を配信する画像管理手段と、この画像管理手段から配信された前記画像を表示する画像表示手段とを用いて広告を提供する広告提供システムにおいて、前記画像を視る視聴者の視線を検出する視線検出手段と、前記画像内における画像の重要部を表示する意義的領域を検出する意義的領域検出手段と、前記広告掲示領域に重畳される広告情報を制御する広告表示制御手段とを有し、前記広告表示制御手段は、前記視聴者の視線が前記意義的領域に存在しないとき、前記広告掲示領域に広告情報を重畳表示することを特徴としている。

【0011】

この広告提供システムでは、前記画像を視る視聴者の視線を検出する視線検出手段を有するため、視聴者の視線を惹き付ける視対象を判定することができる。前記画像内における画像の重要部を表示する意義的領域を検出する意義的領域検出手段を有するため、制作者側が視聴者に興味を持って視線を向けて欲しい意義的領域を検出することができ、視覚的に表示することができる。前記広告掲示領域に重畳される広告情報を制御する広告表示制御手段を有するため、画像を中断する広告表示時間を別途必要とすることなく、広告情報を表示することができる。前記広告表示制御手段は、前記視聴者の視線が前記意義的領域に存在しないとき、前記広告掲示領域に広告情報を重畳表示するため、視聴者が画像に対して散漫状態である低集中度のとき、視聴者の集中状態を阻害することなく広告情報を表示することができる。

【0012】

請求項２の発明は、請求項１の発明において、前記意義的領域の誘目度を検出可能な誘目度検出手段を有し、前記広告表示制御手段は、前記視聴者の視線が前記意義的領域に存在するとき、前記意義的領域の誘目度に応じて前記重畳表示される広告情報の表示形態を変更することを特徴としている。
この構成によれば、視聴者の集中度に応じて広告情報の表示形態を変更することができる。

【0013】

請求項３の発明は、請求項２の発明において、前記広告表示制御手段は、前記意義的領域の誘目度が所定の閾値よりも低いとき、前記重畳表示される広告情報の表示を禁止することを特徴としている。
この構成によれば、視聴者が画像に対して没頭状態である高集中度のとき、広告情報の表示を禁止するため、視聴者の集中状態を阻害しない。

【0014】

請求項４の発明は、請求項１の発明において、前記表示された画像に関連付けて区分した領域毎に誘目度を検出可能な誘目度検出手段を有し、前記広告表示制御手段は、前記視聴者の視線が前記意義的領域から意義的領域外に移動したとき、前記移動した先の誘目度に応じて前記重畳表示される広告情報の表示形態を変更することを特徴としている。
この構成によれば、広告情報の誘目度を視聴者の集中度に合わせて設定することができる。

【0015】

請求項５の発明は、請求項４の発明において、前記広告表示制御手段は、前記移動した先の誘目度が高いとき、移動した先の誘目度が低いときに比べて前記重畳表示される広告情報の誘目度を高くすることを特徴としている。
この構成によれば、移動した先の誘目度が高いとき、視線が誘目度に反射的に引き付けられて移動する漫然状態（低集中度）であるため、広告の誘目度を高くして視聴者の広告認識度を高くすることができる。移動した先の誘目度が低いとき、視線が意図的に意識対象に移動する集注状態（中集中度）であるため、広告の誘目度を低くして集中状態の阻害を回避することができる。

【0016】

請求項６の発明は、広告情報を重畳可能な広告掲示領域を含む画像を配信する画像管理手段と、この画像管理手段から配信された前記画像を表示する画像表示手段とを用いて広告を提供する広告提供方法において、前記画像を視る視聴者の視線を検出する視線検出ステップと、前記画像内における画像の重要部を表示する意義的領域を検出する意義的領域検出ステップと、前記視聴者の視線が前記意義的領域に存在しないとき、前記広告掲示領域に広告情報を重畳表示する広告表示ステップと、を有することを特徴としている。
この構成によれば、基本的に請求項１と同様の効果を奏することができる。

【発明の効果】

【0017】

本発明の広告提供システム及び広告提供方法によれば、視聴者の視線と誘目度に基づいて集中度を判定することにより、視聴者が煩わしさを覚えることなくオーバーレイ広告を提供することができる。

【図面の簡単な説明】

【0018】

【図1】実施例１に係る広告提供システムの機能構成を示すブロック図である。

【図2】サッカー中継番組の画面例であって、（ａ）は、意義的領域が視対象である視線画像、（ｂ）は、意義的領域が視対象でない視線画像を示している。

【図3】映画番組の画面例であって、（ａ）は、意義的領域が視対象である視線画像、（ｂ）は、意義的領域が視対象でない視線画像を示している。

【図4】ニュース報道番組の画面例であって、（ａ）は、意義的領域が視対象である視線画像、（ｂ）は、意義的領域が視対象でない視線画像を示している。

【図5】広告表示制御処理のフローチャートである。

【図6】誘目度と視線頻度との関係を示すグラフである。

【図7】誘目度と確率との関係を示すグラフである。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を広告提供システムに適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。

【実施例1】

【0020】

以下、本発明の実施例１について図１～図７に基づいて説明する。
図１に示すように、広告提供システムＳは、映像制作会社１（画像管理手段）と、広告制作会社２と、ユーザ領域３と、番組配信会社４とを主な構成要素として構成され、ネットワーク５によって各々が相互通信可能に接続されている。
尚、以下の説明は、広告提供方法の説明を含むものである。

【0021】

映像制作会社１は、クライアントの要求に基づき、スポーツ中継、映画、ドラマ、バラエティ、ニュース報道等の画像コンテンツである番組情報（以下、第１画像という）を制作してネットワーク５上に配信している。この映像制作会社１は、例えば、複数の第１画像を格納する記憶部１１と、格納された複数の第１画像から指定された第１画像を記憶部１１からリアルタイムに抽出すると共に抽出された第１画像に所定の加工を施して送信する映像制御部１２等を備えている。

【0022】

広告制作会社２は、クライアントの要求に基づき、商品やサービスの購買意欲を惹起する画像コンテンツである静止画或いは動画広告情報（以下、第２画像という）を制作してネットワーク５上に配信している。この広告制作会社２は、例えば、複数の第２画像を格納する記憶部２１と、格納された複数の第２画像から指定された第２画像を記憶部２１からリアルタイムに抽出すると共に抽出された第２画像を送信する広告制御部２２等を備えている。映像制作会社１と広告制作会社２は、夫々複数であっても良く、また、一方のみが複数であっても良い。

【0023】

ユーザ領域３は、例えば、視聴者であるユーザが普段生活する自宅（居所）である。
図１に示すように、このユーザ領域３は、ユーザが自宅で視聴するディスプレイモニタ３１（画像表示手段）と、第１カメラ３２と、第２カメラ３３と、指向性スピーカ３４と、コントローラ３５を主な構成要素としている。
モニタ３１は、番組配信会社４から配信された表示用画像（以下、番組コンテンツという）を表示可能な液晶ディスプレイパネル或いはプラズマディスプレイパネル等である。

【0024】

第１カメラ３２は、ユーザと向き合うようにモニタ３１の表示面側に一体的に装着され、主にユーザの目を含む顔領域を撮像している。第２カメラ３３は、ユーザの後方或いは側方に第１カメラ３２とは独立して配設され、主にユーザ回りの周辺状況（居住環境）を撮像している。これら第１，第２カメラ３２，３３は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサである。指向性スピーカ３４は、例えば、モニタ３１の上面前方に配置した５個の無指向性ＥＣＭ（Electret Condenser Microphone）によりビームフォーミング可能に構成されている。

【0025】

コントローラ３５は、第１，第２カメラ３２，３３が撮像した撮像情報を画像処理すると共に、撮像した撮像情報に基づいてユーザの視線画像とユーザの周辺画像等を作成している。このコントローラ３５は、モニタ３１及び指向性スピーカ３４の作動を制御して番組配信会社４から配信された番組コンテンツをユーザに向かって表示している。
図１に示すように、コントローラ３５は、視線演算部３６と、表示制御部３７等を有している。

【0026】

視線演算部３６は、第１カメラ３２が撮像した撮像情報を画像処理してユーザの顔画像を作成し、また、第２カメラ３３が撮像した撮像情報を画像処理してユーザの周辺画像を作成している。更に、視線演算部３６は、ユーザの顔画像に基づきユーザの顔の向きと黒目（瞳孔）部分の方向を検出し、これらを基に視線方向を計算してユーザが現在視聴しているモニタ３１の表示用画像（番組コンテンツ）にユーザの視線が向かう先（注視点）である視対象Ｌが合成された視線画像を作成している（図２～図４参照）。

【0027】

表示制御部３７は、番組コンテンツを表示するようにモニタ３１を制御している。
また、この表示制御部３７は、後述する広告掲示領域Ａに高誘目性広告を表示する場合、指向性スピーカ３４を制御して、音声信号の位相を遅延器により広告掲示領域Ａ方向の信号を強調することで音源定位可能に構成されている。この音源分離機能を用いてユーザの視線方向を高誘目性広告（広告掲示領域Ａ）に誘導している。

【0028】

番組配信会社４は、第１画像と第２画像とを合成して番組コンテンツを作成すると共に、この番組コンテンツをユーザ領域３（コントローラ３５）に逐次配信している。
また、この番組配信会社４は、所定のタイミングで配信するユーザ領域３の属性（例えば、国籍、住所、家族構成、ユーザの年代等）に対応した第２画像を広告制作会社２に要求すると共に要求に応じた第２画像を広告制作会社２から受信している。

【0029】

図１に示すように、番組配信会社４は、意義的領域設定部４１（意義的領域検出手段）と、誘目度判定部４２（誘目度検出手段）と、集中度判定部４３と、広告仕様設定部４４と、広告合成部４５と、配信制御部４６等を備えている。
尚、広告仕様設定部４４と広告合成部４５が、広告表示制御手段に相当している。

【0030】

意義的領域設定部４１は、映像制作会社１から受信した第１画像において、その映像内の画像のうち重要部を表示する領域、所謂意義的領域Ｐ（Ｐ１，Ｐ２）を設定している。
意義的領域Ｐとは、制作者側が視聴者に興味を持って視線を向けて欲しい領域である。
それ故、意義的領域Ｐには、番組の属性により、自然発生的に形成された第１の意義的領域Ｐ１と、予め制作者によって意図的に作成された第２の意義的領域Ｐ２とが存在している。

【0031】

第１の意義的領域Ｐ１は、出場者（出演者）の挙動により、その場で自然発生的に形成される。図２（ａ），図２（ｂ）に示すように、例えば、サッカー中継番組の場合、ボール、ボールを操作するプレーヤ、ボールの近傍に滞在するプレーヤが意義的領域の設定条件に設定され、これらの条件を満足する人及び物が存在する空間領域が意義的領域Ｐ１として設定される。意義的領域Ｐ１の場合、視聴者に興味を持って視線を向けて欲しい領域が事前に判明していないため、時間経過と共に意義的領域が判定されている。
尚、図２（ａ）は、敵味方入り乱れてボールを取り合うシーンの視線画像、図２（ｂ）は、コーナキックを待つシーンの視線画像である。図２（ａ）の意義的領域Ｐ１には、ユーザの視線が集中しているが、図２（ｂ）の意義的領域Ｐ１には、ユーザの視線が集中していない。

【0032】

第２の意義的領域Ｐ２は、制作者の意思により予め意図的に作成されている。
図３（ａ），図３（ｂ）に示すように、例えば、映画番組の場合、脚本家や監督の思惑によって視聴者に興味を持って視線を向けて欲しい領域が設定されているため、予め第１画像中に俳優の表情や動作からなる意義的領域Ｐ２が存在している。尚、図３（ａ）は、レストランでの会食シーンの視線画像、図３（ｂ）は、傷心した俳優が項垂れるシーンの視線画像である。図３（ａ）の意義的領域Ｐ２には、ユーザの視線が集中しているが、図３（ｂ）の意義的領域Ｐ２には、ユーザの視線が集中していない。

【0033】

図４（ａ），図４（ｂ）に示すように、例えば、ニュース報道番組の場合、制作者側の思惑によってキャスターとモニタ画面からなる意義的領域Ｐ２が存在している。尚、図４（ａ）は、ユーザのお気に入りのキャスターが興味のあるニュースを解説するシーンの視線画像であり、図４（ｂ）は、ユーザの興味がないキャスターが興味のないニュースを解説するシーンの視線画像である。図４（ａ）の意義的領域Ｐ２には、ユーザの視線が集中しているが、図４（ｂ）の意義的領域Ｐ２には、ユーザの視線が集中していない。
以下、意義的領域Ｐ１と意義的領域Ｐ２を区別する必要がない場合、両者を総称して単に意義的領域Ｐとして説明する。

【0034】

誘目度判定部４２は、映像制作会社１から受信した第１画像において、表示された画像に関連付けて区分した領域毎に誘目度を判定している。区分した領域とは、例えば、画像中の構造物領域、空間領域、或いは、意義的領域Ｐとそれ以外の領域等後の処理に関連する区分領域である。誘目度は、視覚的顕著性或いはサリエンシーとも言われ、物理的視覚刺激（輝度、色合い、エッジ方向等）のみによって規定されるユーザの注視の集め易さと定義されている。ユーザの興味や意図等の要因を考慮しなければ、人間工学上、視野内のうち誘目度の高い領域が自然に注視されている。

【0035】

誘目度判定部４２は、第１画像とユーザの周辺画像とについて、特徴に依存しない視覚刺激の誘目度をスカラー量として計算し、二次元の誘目度マップとして夫々表現している。この誘目度マップの作成方法は、公知の技術であるため、詳細な説明は省略する。

【0036】

集中度判定部４３は、ユーザの精神状態を散漫状態、漫然状態、集注状態、没頭状態の４つの状態に分類し、これらの状態に基づき集中度を判定している。
この集中度判定部４３は、コントローラ３５から受信した視線画像と意義的領域設定部４１が設定した意義的領域Ｐを用いて、集中度を判定している。
視対象Ｌ（ユーザの注視点）が意義的領域Ｐに存在しない場合、散漫状態であり、低集中度が判定される。具体的には、視対象Ｌが判定時間のうち意義的領域Ｐに滞在した時間割合（例えば、４０％）以上を基準としており、視対象Ｌが意義的領域Ｐに滞在した時間が判定時間中４０％未満の場合、視対象Ｌが意義的領域Ｐに滞在していないと判定している。

【0037】

集中度判定部４３は、意義的領域設定部４１が設定した意義的領域Ｐと誘目度判定部４２が判定した領域毎の誘目度を用いて、ユーザの集中度を判定している。
具体的には、視対象Ｌが滞在する意義的領域Ｐの第１誘目度が第１閾値以下の場合、没頭状態であり、高集中度が判定される。他の領域に比べて誘目度が低い意義的領域Ｐに敢えて視線を向けている場合、ユーザは番組に集中した没頭状態である。

【0038】

散漫状態と没頭状態を除いた状態を更に細かく区分するため、集中度判定部４３は、視線の移動先の誘目度（第２誘目度）に基づき、漫然状態と集注状態を判定している。
集中度判定部４３は、ユーザの視線が意義的領域Ｐから意義的領域Ｐ以外に移動した場合、移動先の第２誘目度を用いて、ユーザの心理状態を判定している。視覚的注意とサッケード眼球運動は、ユーザの集中度に密接に関連しているからである。

【0039】

視対象Ｌ（注視点）が意義的領域Ｐに存在しても、ユーザの意識が向かう（興味がある）とは限らない。視対象Ｌであっても、意識対象ではないことがある。そこで、ユーザの視線が意義的領域Ｐから移動した際、直前までの状態を誘目度を用いて判定する。
具体的には、ユーザの視線が移動した移動先の第２誘目度が第２閾値（第１閾値＜第２閾値）以下の場合、集注状態（中集中度）を判定している。敢えて、誘目度が低い対象を注視することは、ユーザが意思を持って意識対象に視線を向けたと推測される。
第２誘目度が第２閾値よりも大きい場合、漫然状態（低集中度）を判定している。
誘目度が高い対象を注視することは、移動前に無意識的に意義的領域Ｐへ視線を向けていたと推測される。

【0040】

広告仕様設定部４４は、第１画像に合成する第２画像の誘目度をユーザの集中度に応じて変更している。この広告仕様設定部４４は、中集中度のとき、第２画像の誘目度を低誘目度にし、低集中度のとき、第２画像の誘目度を高誘目度にしている。
第２画像の誘目度を高誘目度にする場合、例えば、広告文字の輝度又は色の明るさを高くする、或いは広告の動きを大きくしている。低誘目度にする場合、上記の逆を行う。
これにより、中集中度のとき、ユーザの視聴の妨害を回避し、低集中度のとき、ユーザの視線をモニタ３１に惹き付けつつユーザの購買意欲を促進している。尚、高集中度のとき、第２画像は第１画像に合成されないため、第２画像の誘目度は設定されない。

【0041】

広告合成部４５は、誘目度が設定された第２画像に所定の加工を施し、第１画像の広告掲示領域Ａに合成して表示用画像（番組コンテンツ）を生成する。
この広告合成部４５は、 第１画像の一部領域を構成する広告掲示領域Ａに、第１画像の一部として第２画像が重畳されたオーバーレイ広告を形成している。
図２（ｂ），図３（ｂ），図４（ｂ）に示すように、広告掲示領域Ａは、第１画像の一部領域を構成している。具体的には、広告掲示領域Ａは、図２では、サッカー場の無地（緑色）フェンスであり、図３では、レストランの壁に装着された装飾用単色板であり、図４では、報道室の壁に設置された番組タイトルの表示板に設定されている。
配信制御部４６は、広告合成部４５で生成された番組コンテンツをコントローラ３５（ユーザ領域３）に配信する。

【0042】

次に、図５に示すフローチャートを参照しながら、広告表示制御処理の一例について説明する。尚、図中、Ｓｉ（ｉ＝１，２，…）は、各ステップを示す。
まず、適宜、必要な情報を取り込み（Ｓ１）、Ｓ２に移行する。
Ｓ２では、ユーザが所定の番組コンテンツを視聴している状況において、ユーザの視線画像とユーザの周辺画像とを逐次作成して、Ｓ３に移行する。

【0043】

Ｓ３では、ユーザが視聴する表示用画像の意義的領域Ｐを設定して、Ｓ４に移行する。
Ｓ４では、ユーザが視聴する表示用画像とユーザの周辺画像の領域毎の誘目度を演算して、Ｓ５に移行する。

【0044】

Ｓ５では、所定の判定時間において、ユーザの視対象Ｌが意義的領域Ｐの外か否か判定する。Ｓ５の判定の結果、ユーザの視対象Ｌが意義的領域Ｐの外の場合、ユーザが番組コンテンツに興味がないため、Ｓ６に移行する。Ｓ５の判定の結果、ユーザの視対象Ｌが意義的領域Ｐに存在する場合、ユーザが番組コンテンツに興味があると推定されるため、Ｓ１１に移行する。

【0045】

Ｓ６では、前回もユーザの視対象Ｌが意義的領域Ｐの外か否か判定する。
Ｓ６の判定の結果、前回もユーザの視対象Ｌが意義的領域Ｐの外である場合、ユーザが続けて意義的領域Ｐの外を視ているため、ユーザは番組コンテンツに興味がなく、低集中度と判定する（Ｓ７）。Ｓ６の判定の結果、前回の視対象Ｌが意義的領域Ｐの内であり、今回初めて意義的領域Ｐの外に外れた場合、Ｓ１０に移行する。

【0046】

Ｓ１０では、前回の視対象Ｌが意義的領域Ｐの内であって、今回、視線移動先の誘目度である第２誘目度が第２閾値よりも大きいか否か判定する。
Ｓ１０の判定の結果、第２誘目度が第２閾値よりも大きいとき、意義的領域Ｐを漫然と視ていた視線が反射的に高い誘目度に誘導されたため、Ｓ７に移行する。
Ｓ１０の判定の結果、第２誘目度が第２閾値よりも以下のとき、意義的領域Ｐを集注して視ていた視線が意識的に低い誘目度の意識対象に向けられたため、Ｓ１２に移行する。

【0047】

図６に示すように、表示用画像全体の誘目度と一般ユーザの視線による頻度との関係は、上に突出した特性Ｄ１であり、意義的領域Ｐの誘目度と一般ユーザの視線による頻度との関係は、高誘目度領域において上に突出した特性Ｄ２である。
図７に、図６を誘目度と一般ユーザの視線確率との関係に変換したグラフを示す。
図７に示すように、意義的領域Ｐの特性Ｄ３は、高誘目度、例えば平均値＋標準偏差以上の領域において、略７割以上の領域を占めている。これは、意義的領域Ｐ内では、輝度等の要素に加えて、動き等の要素が大きくなるためと推測される。従って、視対象Ｌが意義的領域Ｐ外に移動したとき、移動先の誘目度が低い場合、ユーザは興味対象に対して意識的に視線を向けている。

【0048】

図５のフローチャートの説明に戻る。
Ｓ７の後、指向性スピーカ３４の音源分離機能により音源定位してユーザの視線を広告掲示領域Ａに誘導し（Ｓ８）、広告掲示領域Ａに高誘目度の第２画像の広告を表示して（Ｓ９）、リターンする。ここで、ユーザが継続して意義的領域Ｐの外を視ている場合（Ｓ５，Ｓ６共にYES）、ユーザの視線をモニタ３１に惹き付けるため、広告掲示領域Ａに表示される第２画像の誘目度をユーザの周辺画像（家具やカーテン等を含む居住空間）の誘目度よりも高くなるように設定している。

【0049】

Ｓ１１では、ユーザの視対象Ｌが存在する意義的領域Ｐの第１誘目度が第１閾値よりも大きいか否か判定する。Ｓ１１の判定の結果、第１誘目度が第１閾値よりも大きい場合、ユーザが番組コンテンツに興味がある集注状態であるため、中集中度と判定する（Ｓ１２）。Ｓ１２の後、広告掲示領域Ａに低誘目度の第２画像の広告を表示して（Ｓ１３）、リターンする。集注状態のユーザの視聴を阻害しないように、広告表示する。

【0050】

Ｓ１１の判定の結果、第１誘目度が第１閾値以下の場合、ユーザが番組コンテンツに集中した没頭状態であるため、高集中度と判定する（Ｓ１４）。ユーザが完全に集中して番組コンテンツを視聴できる環境を整えるためである。
Ｓ１４の後、広告掲示領域の広告表示を禁止して（Ｓ１５）、リターンする。

【0051】

次に、上記広告提供システムＳの作用、効果について説明する。
本広告提供システムＳによれば、モニタ３１に表示される画像を視るユーザの視線を検出する第１カメラ３２を有するため、ユーザの視線を惹き付ける視対象Ｌ（ユーザの注視点）を判定することができる。画像内における画像の重要部を表示する意義的領域Ｐを検出する意義的領域設定部４１を有するため、制作者側がユーザに興味を持って視線を向けて欲しい意義的領域Ｐを検出することができ、視覚的に表示することができる。
広告掲示領域Ａに重畳される第２画像（広告情報）を制御する広告合成部４５を有するため、画像を中断する広告表示時間を別途必要とすることなく、第２画像を表示することができる。広告合成部４５は、視対象Ｌが意義的領域Ｐに存在しないとき、広告掲示領域Ａに第２画像を重畳表示するため、ユーザが画像に対して散漫状態である低集中度のとき、ユーザの集中状態を阻害することなく第２画像を表示することができる。

【0052】

意義的領域Ｐの誘目度を検出可能な誘目度判定部４２を有し、広告合成部４５は、視対象Ｌが意義的領域Ｐに存在するとき、意義的領域Ｐの誘目度に応じて重畳表示される第２画像の表示形態を変更するため、ユーザの集中度に応じて第２画像の表示形態を変更することができる。

【0053】

広告合成部４５は、意義的領域Ｐの誘目度が所定の閾値よりも低いとき、第２画像の重畳を行わず第２画像の表示を禁止している。これにより、ユーザが画像に対して没頭状態である高集中度のとき、広告情報である第２画像の表示を禁止するため、ユーザの集中状態を阻害しない。

【0054】

表示された画像に関連付けて区分した領域毎に誘目度を検出可能な誘目度判定部４２を有し、広告仕様設定部４４は、視対象Ｌが意義的領域Ｐから意義的領域Ｐ外に移動したとき、移動した先の誘目度に応じて重畳表示される第２画像の表示形態を変更するため、第２画像の誘目度をユーザの集中度に合わせて設定することができる。

【0055】

広告仕様設定部４４は、移動した先の誘目度が高いとき、移動した先の誘目度が低いときに比べて重畳表示される第２画像の誘目度を高くしている。
これにより、移動した先の誘目度が高いとき、視線が誘目度に反射的に引き付けられて移動する漫然状態（低集中度）であるため、第２画像の誘目度を高くしてユーザの広告認識度を高くすることができる。移動した先の誘目度が低いとき、視線が意図的に意識対象に移動する集注状態（中集中度）であるため、第２画像の誘目度を低くして集中状態の阻害を回避することができる。

【0056】

本広告提供方法は、広告情報を重畳可能な広告掲示領域Ａを含む画像を配信する番組配信会社４と、この番組配信会社４から配信された表示用画像を表示するモニタ３１を用いて広告を提供する広告提供方法において、表示用画像を視るユーザの視線を検出する視線検出ステップと、表示用画像内における画像の重要部を表示する意義的領域Ｐを検出する意義的領域検出ステップと、視対象Ｌが意義的領域Ｐに存在しないとき、広告掲示領域Ａに広告情報を重畳表示する広告表示ステップと、を有している。
本広告提供方法によれば、上記広告提供システムＳと同様の効果を奏することができる。

【0057】

次に、前記実施形態を部分的に変更した変形例について説明する。
１〕前記実施形態においては、画像管理手段が映像制作会社１である例を説明したが、映像制作会社１と番組配信会社４が一体である画像管理手段であっても良い。
また、映像制作会社１と広告制作会社２と番組配信会社４で画像管理手段を構成することも可能である。

【0058】

２〕前記実施形態においては、番組配信会社４が受信した第１画像と第２画像を予め合成し、番組配信会社４が合成した番組コンテンツをユーザ領域３のコントローラ３５に配信する例を説明したが、映像制作会社１と広告制作会社２から第１，第２画像を直接的にユーザ領域３に送信しても良い。この場合、コントローラ３５に、第１，第２画像の受信機能と、意義的領域設定部４１、誘目度判定部４２、集中度判定部４３、広告仕様設定部４４、広告合成部４５等の機能を設ける。

【0059】

３〕前記実施形態においては、番組配信会社４からユーザ領域３に番組コンテンツがネットワーク５を介して配信される例を説明したが、番組配信会社４からユーザ領域３に地上波（電波）を介して配信されるように構成しても良い。この場合、ユーザの視線画像とユーザの周辺画像は、ユーザ領域３から番組配信会社４に有線又は無線にて別途送信される。

【0060】

４〕前記実施形態においては、広告掲示領域Ａに第１画像の一部として第２画像が重畳されたオーバーレイ広告が表示された例を説明したが、第２画像の重畳方法としてスーパーインポーズ法を用いて第２画像を重畳しても良い。

【0061】

５〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。

【符号の説明】

【0062】

１ 映像制作会社
４ 番組配信会社
３１ モニタ
３２ 第１カメラ
４１ 意義的領域設定部
４２ 誘目度判定部
４４ 広告仕様設定部
４５ 広告合成部
Ｓ 広告提供システム
Ｐ 意義的領域
Ｌ 視対象

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】