特許 7476375 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-19

(45)【発行日】2024-04-30

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06Q 30/0273 20230101AFI20240422BHJP

【ＦＩ】

G06Q30/0273

【請求項の数】 13

(21)【出願番号】P 2023017700

(22)【出願日】2023-02-08

(62)【分割の表示】P 2018238276の分割

【原出願日】2018-12-20

(65)【公開番号】P2023053039

(43)【公開日】2023-04-12

【審査請求日】2023-03-09

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】水野 祥吾

【審査官】太田 龍一

(56)【参考文献】

【文献】特開２０１８－１８０６５４（ＪＰ，Ａ）

【文献】特開２００２－３５８４６２（ＪＰ，Ａ）

【文献】特開２０１２－１１８８８２（ＪＰ，Ａ）

【文献】特開２０１６－２０６４４７（ＪＰ，Ａ）

【文献】特開２００５－１７３０４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

複数の撮像装置によりそれぞれ異なる方向から撮影される複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の位置及び方向を示す仮想視点情報を取得する取得手段と、
仮想空間に予め設定された広告枠を示す情報と前記仮想視点情報とに基づいて、前記仮想視点情報が示す仮想視点に対応する前記仮想視点画像における前記広告枠に表示される広告画像の表示様態に応じた広告料を決定する決定手段と、を有し、
前記決定手段は、前記仮想視点画像に実空間に存在する広告が描画されている場合、前記描画されている広告を出している企業からの前記広告枠に表示される広告画像について、前記仮想視点画像に実空間に存在する広告が描画されていない場合よりも少ない金額の広告料を決定することを特徴とする情報処理装置。

【請求項2】

前記広告枠は、前記仮想空間における位置、向き及びサイズが予め設定されていることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記決定手段は、前記仮想視点と前記広告枠の前記仮想空間における位置関係に基づいて、前記広告料を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記決定手段は、前記仮想視点画像における前記広告枠のサイズに基づいて前記広告料を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記決定手段は、前記仮想視点画像における前記広告枠のサイズがサイズ閾値未満の場合に、前記サイズ閾値以上の場合に比べて少ない金額を決定することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記決定手段は、前記仮想視点の視線方向と前記広告枠の面のなす角に基づいて前記広告料を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記決定手段は、前記仮想視点の視線方向と前記広告枠の面のなす鋭角の角度が角度閾値未満の場合に、前記角度閾値以上の場合に比べて少ない金額を決定することを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記仮想視点と前記広告枠の前記仮想空間における位置関係に基づいて、前記仮想視点画像に広告画像を配置するか否かを判定する判定手段をさらに有し、
前記決定手段は、前記判定手段が前記広告画像を配置すると判定した場合に、配置される広告画像に対応した前記広告料を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項9】

前記決定手段は、前記広告が検知された場合に、前記広告と前記仮想視点との位置関係に基づいて、前記広告料を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項10】

前記決定手段は、前記広告が検知され、かつ前記広告と前記仮想視点との位置関係が所定の条件を満たす場合に、前記広告が含まれ、かつ前記位置関係が前記条件を満たさない場合に比べて、少ない金額を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項11】

前記広告が含まれ、かつ前記広告と前記仮想視点との位置関係が所定の条件を満たす場合に、前記広告枠に前記広告画像を重畳しないよう制御する重畳制御手段と
をさらに有し、
前記決定手段は、前記広告画像が重畳されない場合に、前記広告画像の課金を行わないよう決定することを特徴とする請求項１に記載の情報処理装置。

【請求項12】

情報処理装置が実行する情報処理方法であって、
複数の撮像装置によりそれぞれ異なる方向から撮影される複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の位置及び方向を示す仮想視点情報を取得する取得工程と、
仮想空間に予め設定された広告枠を示す情報と前記仮想視点情報とに基づいて、前記仮想視点情報が示す仮想視点に対応する前記仮想視点画像における前記広告枠に表示される広告画像の表示様態に応じた広告料を決定する決定工程とを有し、
前記決定工程では、前記仮想視点画像に実空間に存在する広告が描画されている場合、前記描画されている広告を出している企業からの前記広告枠に表示される広告画像について、前記仮想視点画像に実空間に存在する広告が描画されていない場合よりも少ない金額の広告料を決定することを特徴とする情報処理方法。

【請求項13】

複数の撮像装置によりそれぞれ異なる方向から撮影される複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の位置及び方向を示す仮想視点情報を取得する取得工程と、
仮想空間に予め設定された広告枠を示す情報と前記仮想視点情報とに基づいて、前記仮想視点情報が示す仮想視点に対応する前記仮想視点画像における前記広告枠に表示される広告画像の表示様態に応じた広告料を決定する決定工程とを有し、
前記決定工程では、前記仮想視点画像に実空間に存在する広告が描画されている場合、前記描画されている広告を出している企業からの前記広告枠に表示される広告画像について、前記仮想視点画像に実空間に存在する広告が描画されていない場合よりも少ない金額の広告料を決定する制御方法を情報処理装置に実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。複数視点画像に基づく仮想視点画像の生成及び閲覧は、サーバ等の画像処理部が複数のカメラが撮影した画像に基づいて、仮想視点に基づくレンダリングなどの処理を施し、ユーザ端末に仮想視点画像を表示することで実現できる。

【0003】

上記のような仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作することができるようになる。また、例えば、試合の映像から、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら試合観戦できるようになる。このように、従来の撮影画像と比較してユーザに高臨場感を与えることができる。

【0004】

また、仮想視点画像に広告を表示、課金する技術も知られている。特許文献１には、仮想空間上に仮想広告枠を設けておき、仮想広告枠を含む仮想視点の映像データが送信される場合に、視聴環境に応じた広告情報を仮想広告枠に表示し、表示に応じて課金する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１４－４１２５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の技術では、仮想広告による実際の広告効果に見合った広告料で課金することが困難であった。例えば、仮想広告枠の位置や大きさに基づいて広告料を設定した場合、広告料が同じであるにも関わらず、仮想視点の位置及び向きによっては、その仮想広告が視聴者にとって目につきやすい様態で仮想視点画像に表示される場合もあれば表示されない場合もある。また、表示されるとしても、視聴者にとって目につきにくい位置や角度で表示される場合もある。

【0007】

本発明はこのような問題点に鑑みなされたもので、仮想視点画像における広告効果に応じた金額を設定することを目的とする。

【課題を解決するための手段】

【0008】

そこで、本発明は、情報処理装置であって、複数の撮像装置によりそれぞれ異なる方向から撮影される複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の位置及び方向を示す仮想視点情報を取得する取得手段と、仮想空間に予め設定された広告枠を示す情報と前記仮想視点情報とに基づいて、前記仮想視点情報が示す仮想視点に対応する前記仮想視点画像における前記広告枠に表示される広告画像の表示様態に応じた広告料を決定する決定手段と、を有し、前記決定手段は、前記仮想視点画像に実空間に存在する広告が描画されている場合、前記描画されている広告を出している企業からの前記広告枠に表示される広告画像について、前記仮想視点画像に実空間に存在する広告が描画されていない場合よりも少ない金額の広告料を決定することを特徴とする。

【発明の効果】

【0009】

本発明によれば、仮想視点画像における広告効果に応じた金額を設定することができる。

【図面の簡単な説明】

【0010】

【図1】画像処理システムの全体図である。

【図2】撮像装置の設置例を示す図である。

【図3】画像生成装置のハードウェア構成を示す図である。

【図4】画像生成装置の機能構成を示す図である。

【図5】課金額決定処理を示すフローチャートである。

【図6】仮想空間における広告領域を示す図である。

【図7】広告画像の一例を示す図である。

【図8】仮想視点画像の表示例を示す図である。

【図9】第２の実施形態に係る画像生成装置の機能構成図である。

【図10】第２の実施形態に係る課金額決定処理を示すフローチャートである。

【図11】仮想空間における広告領域と、看板広告を示す図である。

【図12】仮想視点画像の表示例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について図面に基づいて説明する。

【0012】

（第１の実施形態）
図１は、本実施形態に係る画像処理システム１００の全体図である。画像処理システム１００は、複数の撮像装置１１０と、情報処理装置の一例である画像生成装置１２０と、端末装置１３０と、を有している。各撮像装置１１０と画像生成装置１２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。

【0013】

図２は、撮像装置１１０の設置例を示す図である。本実施形態においては、複数の撮像装置１１０は、それぞれサッカー場のすべて又は一部を撮影するように設置されているものとする。つまり、本実施形態の画像処理システム１００には、被写体を複数の方向から撮影するための複数の撮像装置１１０が含まれる。撮像装置１１０は、例えば画像（静止画及び動画）を撮影可能なデジタルカメラである。撮影された画像は、撮像装置１１０から画像生成装置１２０に送信される。

【0014】

画像生成装置１２０は、撮像装置１１０により得られた撮像画像を蓄積する。画像生成装置１２０は、端末装置１３０におけるユーザ操作により、仮想視点情報が入力されると、撮像画像と仮想視点とに基づいて、仮想視点画像を生成する。ここで、仮想視点情報は、撮像画像から構築される仮想空間における仮想的な視点（仮想視点）の３次元的な位置と角度（視線方向）とを示す情報である。仮想視点情報は、撮影した競技場の中央など所定位置に対する相対的な位置、つまり所定位置に対する前後、左右、左右の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とを少なくとも含むものとする。仮想視点画像は、仮想視点から撮影位置、撮影報告及び画角を仮定した場合に得られる仮想的な画像である。

【0015】

画像生成装置１２０は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。データベースには、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像として、撮像装置１１０を介して保持しておく。また競技中の選手など被写体の存在するシーンでは、被写体となる特定のオブジェクト等の前景を画像処理により分離して、特定オブジェクト画像として保持しておく。なお、特定オブジェクトは、競技する選手だけでなく、例えば、他の特定人物（控え選手、監督、審判など）であってもよく、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。

【0016】

仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像と特定オブジェクト画像とから生成されるものとする。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮像画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング手法であってもよい。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置１３０に伝送される。

【0017】

端末装置１３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットである。コントローラ１３１は、例えば、マウス、キーボード、６軸コントローラ、タッチパネルである。ユーザは、コントローラ１３１を操作し、画面上に静止画像や動画像を表示する。端末装置１３０は、例えば、画像生成装置１２０から受信した仮想視点画像を表示部１３２に表示する。端末装置１３０は、さらに、接続されたコントローラ１３１に対するユーザ操作に応じて、仮想視点の移動指示（移動量と移動方向に関する指示）を受け付け、受け付けた指示に応じた移動指示情報を示す伝送信号を画像生成装置１２０に送信する。ここで、移動指示は、仮想視点の設定指示の一例である。

【0018】

図３は、画像生成装置１２０のハードウェア構成を示す図である。画像生成装置１２０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４と、表示部３０５と、入力部３０６と、通信部３０７とを有している。ＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０４は、各種データや各種プログラム等を記憶する。表示部３０５は、各種情報を表示する。入力部３０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部３０７は、ネットワークを介して撮像装置１１０等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例としては、通信部３０７は、無線により外部装置との通信を行ってもよい。

【0019】

なお、後述する画像生成装置１２０の機能や処理は、ＣＰＵ３０１がＲＯＭ３０２又はＨＤＤ３０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、端末装置１３０のハードウェア構成は、画像生成装置１２０のハードウェア構成と同様である。

【0020】

図４は、画像生成装置１２０の機能構成を示す図である。画像生成装置１２０は、撮影画像取得部４０１と、前景背景分離部４０２と、撮影画像保持部４０３と、カメラパラメータ保持部４０４と、被写体形状生成部４０５と、入力受付部４０６と、仮想視点情報生成部４０７と、を有している。画像生成装置１２０はまた、仮想視点画像生成部４０８と、画像出力処理部４０９と、広告枠情報保持部４１０と、広告画像保持部４１１と、広告画像配置部４１２と、広告表示様態特定部４１３と、課金額設定部４１４と、を有している。

【0021】

撮影画像取得部４０１は、撮像装置１１０からＬＡＮケーブルを介して入力された伝送信号を取得し、これを撮影画像に変換する。前景背景分離部４０２は、撮影画像取得部４０１から取得した撮影画像のうち、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像データとして、撮影画像保持部４０３へ格納する。また、前景背景分離部４０２は、競技中に撮影された画像から選手など被写体を抽出し、前景画像データとして撮影画像保持部４０３へ格納する。

【0022】

撮影画像保持部４０３は、データベースであり、前景背景分離部４０２から入力された撮影画像データのうち、被写体が存在しない状態で予め撮影された画像を背景画像データとして保存する。また背景画像データと被写体の存在する撮影画像データとの差分データを前景画像データとして保存する。

【0023】

カメラパラメータ保持部４０４は、各撮像装置１１０の位置情報と、各撮像装置１１０の焦点距離やシャッタースピードなどのカメラ設定情報などをカメラパラメータとして、予め保持する。なお、各撮像装置１１０は、予め決められた位置に設置されるものとする。

【0024】

被写体形状生成部４０５は、撮影画像保持部４０３から前景画像データを取得し、カメラパラメータ保持部４０４からカメラパラメータを取得する。そして、被写体形状生成部４０５は、前景画像データとカメラパラメータとを用いて、被写体の形状を推定する。被写体形状生成部４０５は、例えば、視体積交差法などの三次元形状復元手法を用いて被写体の被写体形状情報を生成する。

【0025】

入力受付部４０６は、端末装置１３０からＬＡＮケーブルを介して入力された伝送信号をユーザ入力データに変換する。ユーザ入力データが仮想視点の設定指示である場合、設定指示を仮想視点情報生成部４０７へ送る。仮想視点情報生成部４０７は、入力受付部４０６から設定指示を取得すると、設定指示に従い、仮想空間内の位置と方向を含む仮想視点情報を更新する。なお、仮想空間の原点は競技場の中心などが仮想空間の原点として予め設定されているものとする。

【0026】

仮想視点画像生成部４０８は、撮影画像保持部４０３から前景画像データと背景画像データを取得する。仮想視点画像生成部４０８は、カメラパラメータ保持部４０４からカメラパラメータを取得する。仮想視点画像生成部４０８は、被写体形状生成部４０５から被写体形状情報を取得する。仮想視点画像生成部４０８は、仮想視点情報生成部４０７から仮想視点情報を取得する。そして、仮想視点画像生成部４０８は、前景画像データと、背景画像データと、カメラパラメータと、被写体形状情報と、仮想視点情報とに基づき、背景画像データを仮想視点から見た形状に投影変換や画像処理を施して仮想視点画像の背景を生成する。

【0027】

さらに、仮想視点画像生成部４０８は、仮想視点位置から見た被写体形状に対して、実カメラ（撮像装置１１０）で撮影された画像データの色情報でレンダリング（着色処理）して仮想視点画像を生成する。例えば、仮想視点から被写体形状情報に基づく被写体が見えている状況で、被写体形状情報の位置から所定の範囲内に撮像装置１１０が存在するとする。この場合、仮想視点画像生成部４０８は、この撮像装置１１０の前景画像データを形状モデルの色として使用する。また、仮想視点画像生成部４０８は、後述する広告画像配置部４１２から配置広告画像を取得し、仮想視点から見た背景画像と同様に、配置広告画像を投影変換して仮想視点画像の背景の一部として生成する。画像出力処理部４０９は、仮想視点画像生成部４０８が生成した画像データを、端末装置１３０へ伝送可能な伝送信号に変換して、端末装置１３０へ出力する。

【0028】

広告枠情報保持部４１０は、仮想広告枠情報を保持する。ここで、仮想広告枠情報は、三次元の仮想空間における広告枠の位置及、向き及びサイズを示す情報である。ここで、広告枠は、広告画像が配置される平面状の領域を定める矩形枠である。広告枠の位置、向き及びサイズは予め定められているものとする。ここで、広告枠の向きとは、広告枠の面がいずれの方向を向いているかの指標値である。本実施形態においては、広告枠の面に対する垂線の方向を広告枠の向きと称するものとする。また、広告枠の形状も予め定められているものとする。ただし、形状は、矩形に限定されるものではなく、他の形状でもよい。また、本実施形態においては、広告枠は２次元の領域を定めるものであるが、広告枠は三次元の領域を定めるものであってもよい。

【0029】

例えば、競技場を撮影して得られた仮想空間の観客席壁面に広告枠が設定されたとする。この場合には、実際の競技場の壁面には広告が存在しないものの、実世界に基づく仮想空間を仮想視点から見た仮想視点画像においては、観客席壁面に広告画像が重畳される。このため、ユーザは、あたかも観客席壁面に広告が表示されているような仮想視点画像を視認することができる。

【0030】

広告画像保持部４１１は、仮想空間に広告として表示する広告画像を保持する。広告画像は、例えば企業などの会社名ロゴや製品名ロゴ、製品イメージ等の画像である。広告画像は広告主から提供される。広告画像配置部４１２は、広告枠情報保持部４１０から仮想広告枠情報を取得し、広告画像保持部４１１から広告画像を取得する。広告画像配置部４１２は、仮想広告枠情報と広告画像とに基づき、仮想広告枠情報により特定される広告枠に広告画像を配置した配置広告画像を生成する。なお、本実施形態においては、説明の便宜上、広告枠情報保持部４１０には１つの広告枠情報のみが保持され、広告画像保持部４１１には、１つの広告画像のみが保存される場合の例を中心に説明する。ただしこれに限らず、広告枠情報保持部４１０に複数の広告に関する広告枠情報が保持され、広告画像保持部４１１に複数の広告画像が保持されていてもよい。この場合、各広告画像とその広告画像が配置される広告枠とを関連付ける情報が広告枠情報に含まれていてもよい。

【0031】

広告表示様態特定部４１３は、仮想視点画像生成部４０８から仮想視点画像を取得し、また広告画像配置部４１２から広告配置情報を取得する。ここで、広告配置情報は、配置広告画像における広告画像が配置された広告枠の位置、向き及びサイズ（面積）を示す情報である。広告表示様態特定部４１３は、仮想視点画像及び広告配置情報に基づいて、広告の表示様態を特定する。

【0032】

ここで、表示様態について説明する。広告枠の表示については、仮想視点画像において表示される際の、基準となるサイズ及び向きが予め定められている。この基準となるサイズ及び向きを含む表示様態を基準表示様態と称する。また、基準となるサイズ及び向きをそれぞれ基準サイズ及び基準向きと称する。

【0033】

ここで、基準サイズは、仮想視点画像における面積で定義される。例えば、幅１９２０ピクセル、高さ１０８０ピクセルの仮想視点画像に対し、広告枠の基準サイズが幅６４０ピクセル、高さ４８０ピクセルと設定されているものとする。また、基準向きは、仮想視点画像における広告枠の向きと仮想視点の視線方向のなす角で定義される。本実施形態においては、仮想視点の視線方向と一致する広告枠の向きが基準向きとして定義されているものとする。さらに、基準表示様態に対し、広告表示に係る課金額（基準額）が予め設定されている。なお、基準サイズ及及び基準向きは任意に設定することができる。

【0034】

これに対し、ユーザ操作に応じて指定された仮想視点に対応した仮想視点画像においては広告枠のサイズ及び向きは、基準サイズ及び基準向きと異なる場合がある。この差分が、ユーザ操作に応じて指定された仮想視点に対応した仮想視点画像における広告枠の表示様態である。例えば、上述の基準サイズに対し、ユーザ操作に応じて生成された仮想視点画像における広告枠のサイズが幅３２０ピクセル、高さ２４０ピクセルであるとする。この場合、面積比２５％が表示様態として特定される。また、基準向きと、ユーザ操作に応じて生成された仮想視点画像における広告枠の向きのなす鋭角の角度が４５度であるとする。この場合には、角度４５度が表示様態として特定される。広告表示様態特定部４１３はまた、広告枠の領域の一部が仮想視点画像の外側に位置する場合には、広告枠の領域全体に対する、仮想視点画像内に含まれる広告枠の領域の割合を特定する。なお、広告表示様態特定部４１３は、仮想視点の位置及び方向を示す仮想視点情報と広告配置情報とに基づいて、その仮想視点情報に応じた仮想視点画像における広告の表示様態を特定してもよい。また、広告表示様態特定部４１３は、これに限らず、広告の挿入された仮想視点画像に対する画像認識により広告の表示様態を特定してもよい。

【0035】

課金額設定部４１４は、広告表示様態特定部４１３から表示様態情報を取得する。そして、課金額設定部４１４は、表示様態情報に基づいて、広告表示に係る課金額を設定する。具体的には、課金額設定部４１４は、表示様態が減額条件を満たす場合に、減額条件に従い課金額を基準額から減額する。一方で、課金額設定部４１４は、表示様態が減額条件を満たさない場合には、基準額を課金額として設定する。

【0036】

本実施形態においては、以下の条件が減額条件としてＨＤＤ３０４に設定されているものとする。すなわち、生成された仮想視点画像における広告枠のサイズの基準サイズに対する比（面積比）が５０％未満になった場合に、基準額から５０％減額した値を課金額として設定する。また生成された仮想視点画像における広告枠の向きと基準向きとのなす鋭角が４５度未満になった場合に、基準額から５０％減額した値を課金額として設定する。

【0037】

なお、減額条件は、広告枠のサイズが第１サイズ閾値未満の場合に第１サイズ閾値以上の場合に比べて少ない課金額を決定するような条件であればよく、広告枠のサイズに係る減額条件は実施形態に限定されるものではない。また、減額条件は、広告枠の向きと基準向きとのなす鋭角が第１角度閾値未満の場合に第１角度閾値以上の場合に比べて少ない課金額を決定するような条件であればよく、広告画像の向きに係る減額条件は実施形態に限定されるものではない。

【0038】

なお、課金額設定部４１４は、サイズと角度の両方が減額条件を満たす場合には、減額割合の多い方を適用するものとする。なお、他の例としては、課金額設定部４１４は、サイズと角度の両方が減額条件を満たす場合には、両方の減額割合を積算することとしてもよい。また、他の例としては、課金額設定部４１４は、例えば、面積比が５０％未満になった場合に５０％減額し、面積比が２５％未満になった場合に７５％減額する、というように、段階的に減額するような課金額を決定してもよい。

【0039】

なお、仮想視点画像における広告枠の表示様態は、仮想視点と広告枠の仮想空間における位置関係に応じて定まるものである。すなわち、課金額設定部４１４が表示様態に基づいて課金額を設定する処理は、位置関係に基づいて課金額を決定する決定処理の一例である。

【0040】

以上、図４を用いて画像生成装置１２０の構成例について説明したが、画像生成装置１２０の構成はこれに限定されるものではない。例えば、撮影画像取得部４０１、前景背景分離部４０２、撮影画像保持部４０３、カメラパラメータ保持部４０４、及び被写体形状生成部４０５は、画像生成装置１２０とは別の装置内に構成されてもよい。この場合、画像生成装置１２０はその別の装置との間で各種のデータを通信して上述したような処理を行えばよい。

【0041】

図５は、画像生成装置１２０による課金額決定処理を示すフローチャートである。Ｓ５０１において、仮想視点情報生成部４０７は、入力受付部４０６を介して端末装置１３０から仮想視点の設定指示を受け付け、設定指示に従い、仮想視点情報を更新する。次に、Ｓ５０２において、仮想視点画像生成部４０８は、仮想視点情報に基づいて、前景画像データと背景画像データを撮影画像保持部４０３から取得する。次に、Ｓ５０３において、仮想視点画像生成部４０８は、被写体形状情報を被写体形状生成部４０５から取得する。次に、Ｓ５０４において、仮想視点画像生成部４０８は、カメラパラメータ情報をカメラパラメータ保持部４０４から取得する。次に、Ｓ５０５において、仮想視点画像生成部４０８は、仮想広告配置情報を広告画像配置部４１２から取得する。なお、Ｓ５０２～Ｓ５０５の処理は、いずれもＳ５０１の処理の後に行われればよく、Ｓ５０２～Ｓ５０５の処理順序は実施形態に限定されるものではない。

【0042】

次に、Ｓ５０６において、仮想視点画像生成部４０８は、仮想視点情報と、仮想広告配置情報と、に基づいて、仮想視点から広告画像が見えるか否かを判定する。具体的には、仮想視点画像生成部４０８は、仮想視点と広告枠の位置関係が視認可能条件を満たす場合に、広告画像が見えると判定する。ここで、視認可能条件は、仮想視点と広告枠の位置関係に係る条件で、予めＨＤＤ３０４に設定されているものとする。本実施形態においては、仮想視点画像内に広告枠が含まれ、広告枠の向きと基準向きのなす鋭角が第２角度閾値以上であり、かつ広告枠のサイズが第２サイズ閾値以上である場合に、広告画像が見えると判定するような視認可能条件が設定されているものとする。ここで、第２サイズ閾値は、上述の減額条件において定義された第１サイズ閾値よりも小さい値とする。また、第２角度閾値は、減額条件において定義された第１角度閾値よりも小さい値とする。仮想視点画像生成部４０８は、仮想視点から広告画像が見える場合には（Ｓ５０６でＹＥＳ）、処理をＳ５０７へ進める。仮想視点画像生成部４０８は、仮想視点から広告画像が見えない場合には（Ｓ５０６でＮＯ）、処理をＳ５０８へ進める。

【0043】

Ｓ５０７において、仮想視点画像生成部４０８は、仮想視点に対応した背景画像に広告画像を重畳し、射影変換する。このように、仮想視点画像生成部４０８は、仮想視点から広告画像が見える場合にのみ、広告画像を重畳する。すなわち、Ｓ５０６の処理は、仮想視点と広告枠の仮想空間における位置関係に基づいて仮想視点画像に広告画像を配置するか否かを判定する判定処理の一例である。次に、Ｓ５０８において、仮想視点画像生成部４０８は、前景画像データと、背景画像データと、カメラパラメータと、被写体形状情報と、仮想視点情報とに基づいて、仮想視点画像の背景画像を生成する。さらに、仮想視点画像生成部４０８は、仮想視点位置から見た被写体形状に対して、実カメラで撮影された画像データの色情報でレンダリング（着色処理）して仮想視点画像を生成する。

【0044】

次に、Ｓ５０９において、広告表示様態特定部４１３は、仮想視点画像と、広告配置情報と、に基づいて、広告の表示様態を特定する。次に、Ｓ５１０において、課金額設定部４１４は、Ｓ５０９において特定された表示様態と、減額条件とに基づいて、課金額を設定する。以上で、課金額決定処理が完了する。

【0045】

図６～図８は、課金額決定処理の説明図である。図６は、仮想空間における広告領域を示す図である。撮像装置１１０の撮影画像をもとに生成された仮想空間上で、仮想視点６０１に応じて撮影範囲６０２が設定され、撮影範囲６０２に含まれる被写体６０３を含んだ仮想視点画像が生成される。ここで、図６の広告領域６０４～６０７は、広告枠に対応した領域例である。広告領域６０４は、撮影範囲６０２にすべての領域が含まれ、基準サイズ及び基準向きで仮想視点画像に表示されるものとする。広告領域６０５は、そのすべての領域が撮影範囲６０２に含まれ、基準向きで仮想視点画像に表示されるものとする。ただし、広告領域６０５は、後方に位置するため、広告領域６０５のサイズは基準サイズの半分の面積であるものとする。

【0046】

広告領域６０６は、その一部が撮影範囲６０２に含まれているが、撮影範囲６０２に含まれない領域が存在する。これに対応し、仮想視点画像に表示される広告領域６０６のサイズは基準サイズの半分の面積であるものとする。なお、広告領域６０６は基準向きで仮想視点画像に表示されるものとする。また、広告領域６０７は、すべての領域が撮影範囲６０２に含まれるが、仮想視点画像における向きと基準向きのなす角が４５度であるものとする。このように、広告領域は、仮想視点の位置に応じて、多様なサイズ及び向きで表示され得る。

【0047】

図７は、広告画像の一例を示す図である。広告画像７０１は、企業などの会社名ロゴや製品名ロゴ、製品イメージ画像などであるものとする。なお、広告画像は、広告枠に収まるようなサイズや縦横比であるとする。なお、広告枠に適合しない場合は、拡大縮小、縦横比変更、余白の付与などの変更処理が行われてもよいものとする。

【0048】

図８は、図６に示す撮影範囲６０２に対応した仮想視点画像の表示例である。図８に示す仮想視点画像においては、図６を参照しつつ説明した各広告領域６０４～６０７に広告画像７０１が配置されている。広告８０１は、広告領域６０４に広告画像７０１が配置された画像である。広告８０１は、基準表示様態と同一である。したがって、１回の表示当たり１０円の広告料が基準額として設定されている場合には、１０円の広告料が課金額として設定される。

【0049】

広告領域６０５に配置された広告８０２は、基準サイズに対する面積比が５０％である。したがって、面積比が５０％以下の場合に基準額を５０％減額するという減額条件に従い、５円の広告料が課金額として設定される。広告領域６０６に配置された広告８０３は、見切れに伴い、基準サイズに対する面積比が５０％であるため、広告８０２と同様に５円の広告料が課金額として設定される。広告領域６０７に配置された広告８０４は、基準向きとのなす鋭角が４５度である。したがって、角度が４５度未満の場合に基準額を５０％減額するという減額条件に従い、５円の広告料が課金額として設定される。

【0050】

以上のように、第１の実施形態に係る画像処理システム１００は、仮想視点画像に広告を表示する場合に、広告の表示様態に応じた課金額を設定することができる。すなわち、仮想視点画像における広告効果に応じた金額を設定することができる。

【0051】

第１の実施形態の第１の変形例について説明する。画像生成装置１２０は、広告画像の表示回数や表示時間に応じて課金額を段階化してもよいものとする。例えば、画像生成装置１２０は、試合開始から終了までなどの所定時間内で、広告の表示時間や表示回数をカウントしておき、その表示時間や、回数に応じて課金額を減額するか否かを決定する。より具体的には、画像生成装置１２０において、広告の表示時間の基準時間が３０秒と予め設定されているものとする。これに対し、例えば、図８の広告８０１の試合終了までの合計表示時間が５秒であったとする。この場合には、表示時間が基準時間に達しないため、課金額設定部４１４は、課金情報５０％減額の設定をする。また、課金額設定部４１４は、合計時間に限らず、基準表示回数に対する合計表示回数に応じて課金額を設定してもよい。

【0052】

また、第２の変形例としては、広告枠情報保持部４１０は、複数の広告枠情報を保持してもよい。また、広告画像保持部４１１は、複数の広告画像を保持してもよい。この場合、各広告枠に表示される広告画像は予め定められていてもよい。また、他の例としては、広告枠に表示される広告画像は、所定の規則に従い、仮想視点画像の生成の度に複数の広告画像の中から選択されるものとしてもよい。

【0053】

（第２の実施形態）
次に、第２の実施形態に係る画像処理システムについて、第１の実施形態に係る画像処理システム１００と異なる点を主に説明する。図９は、第２の実施形態に係る画像生成装置９００の機能構成図である。画像生成装置９００は、図４を参照しつつ説明した、第１の実施形態に係る画像生成装置１２０の構成に加えて、看板広告検知部９０１を有している。

【0054】

看板広告検知部９０１は、仮想視点画像生成部４０８が生成した仮想視点画像に含まれる背景画像内において、仮想広告枠位置に配置される広告画像と同一の看板広告を検知する。看板広告の検知は、画像認識などの画像処理技術を用いて行えばよい。看板広告検知部９０１は、例えば、予め用意した広告画像と、背景画像に含まれる看板広告の画像特徴量を抽出し、両者を比較することにより、広告画像と同一内容の看板広告を検知する。

【0055】

なお、ここでは、検知対象を看板広告としているが、検知対象は実空間に物理的に存在する広告であればよく、看板として設置された広告に限定されるものではない。また、検知対象の広告内容は、広告画像と同一の内容に限定されるものではなく、例えば、デザインの異なる同一企業の看板広告であってもよい。このように、看板広告検知部９０１は、仮想視点画像に含める広告画像に関連する広告を検知すればよく、検知対象は同一の広告に係る看板広告に限定されるものではない。例えば、所定のロゴが一致、商品名が一致等、検知対象の広告内容を予め設定することで、看板広告検知部９０１は、実空間に存在する所望の広告を検知することができる。なお、仮想視点画像に挿入される仮想広告に関連する実空間内の広告が存在するか否かの判定は、仮想視点画像や撮像画像に対する画像認識を用いる方法に限定されない。例えば看板広告検知部９０１は、実空間に設置された看板広告の内容やスポンサー企業の情報と、その看板広告の設置位置を示す情報とを、ユーザ操作等に基づいて予め取得しておいてもよい。

【0056】

課金額設定部９０２は、表示様態情報と、看板広告検知部９０１から取得した看板広告検知情報とに基づき、広告料の課金額を設定する。課金額設定部９０２は、第１の実施形態に係る課金額設定部４１４と同様に、表示様態と、減額条件とに基づいて、課金額を設定する。課金額設定部９０２はさらに、仮想視点画像内に看板広告が含まれる場合には、看板広告の広告効果があるとみなし、広告画像に対する広告料をさらに減額する。課金額設定部９０２は、例えば、看板広告が含まれる場合には、看板広告が含まれない場合に対し５０％減額する。なお、課金額設定部９０２は、広告が検知された場合に、広告が検知されない場合に比べて少ない課金額を、広告画像の課金額として決定すればよく、具体的な方法（額、減額率）は実施形態に限定されるものではない。

【0057】

なお、課金額設定部９０２は、表示様態に関する減額条件と、看板広告に関する減額条件の両方を満たす場合には、２つの減額条件に応じた減額率を積算する。例えば、広告画像のサイズが基準画像のサイズの半分で、かつ看板広告が存在するとする。この場合には、課金額設定部９０２は、サイズに応じて課金額を基準額の１０円から５０％減額し、さらに広告画像に応じて課金額を５０％減額する。これにより、最終的な課金額は、２．５円になる。

【0058】

図１０は、第２の実施形態に係る画像生成装置９００による課金額決定処理を示すフローチャートである。なお、図１０に示す処理のうち、図５に示す各処理と同じ処理には同じ番号を付し、説明を省略する。Ｓ５０５の処理の後、Ｓ１００１において、仮想視点画像生成部４０８は、まず背景画像のみを使用した仮想視点画像を生成する。次に、Ｓ１００２において、看板広告検知部９０１は、看板広告を検知する。看板広告検知部９０１は、看板広告を検知した場合には（Ｓ１００２でＹＥＳ）、処理をＳ１００３へ進める。看板広告検知部９０１は、看板広告を検知しなかった場合には（Ｓ１００２でＮＯ）、処理をＳ５０６へ進める。Ｓ１００３において、課金額設定部９０２は、課金割合を変更する。課金額設定部９０２は、例えば、広告表示様態特定部４１３の表示様態情報に基づいて決定される課金額に対して、さらに５０％減額する設定を設けるなどとする。ＣＰＵ３０１は、Ｓ１００３の処理の後、処理をＳ５０６へ進める。

【0059】

図１１及び図１２は、課金設定処理の説明図である。図１１は、仮想空間における広告領域と、看板広告を示す図である。図１１に示す撮影範囲６０２には、図６に示す撮影範囲６０２と同様に、広告領域６０４～６０７が含まれている。図１１に示す撮影範囲６０２にはさらに、看板広告１１０１が含まれている。なお、看板広告１１０２は撮影範囲６０２の外に配置されている。図１２は、図１１に示す撮影範囲６０２に対応した仮想視点画像の表示例である。仮想視点画像には、広告領域６０４～６０７に対応した広告８０１～８０４に加えて、看板広告１１０１が表示される。

【0060】

このように、仮想視点画像に看板広告１１０１が含まれる場合には、広告料の割合更新が行われる（Ｓ１００３）。例えば、表示様態に応じた減額に対し、さらに５０％の減額が適用される。したがって、広告８０２の１回の表示当たり１０円の広告料である場合、表示様態（面積）により５０％減額の５円の広告料が算出され、さらに、看板広告１１０１の表示により、５０％減額の２．５円の広告料が算出される。なお、第２の実施形態に係る画像処理システムのこれ以外の構成及び処理は、第１の実施形態に係る画像処理システム１００の構成及び処理と同様である。

【0061】

以上のように、第２の実施形態の画像処理システム１００は、仮想視点画像に仮想広告を表示する場合に、実空間に存在する広告の広告効果を加味して、仮想広告の課金額を設定する。これにより、仮想視点画像全体の広告効果に応じた広告料を設定することができる。

【0062】

第２の実施形態の変形例としては、画像生成装置９００は、看板広告の有無だけでなく、看板広告のサイズや角度等の看板広告の表示様態に応じて、減額割合を変更してもよい。この場合には、看板広告検知部９０１は、看板広告の有無だけでなく、看板広告のサイズや角度も検知するものとする。課金額設定部９０２は、例えば、看板広告のサイズに応じて、減額割合を異ならせてもよい。このように、課金額設定部９０２は、看板広告と仮想視点との位置関係に基づいて、広告画像の課金額を決定してもよい。

【0063】

また、他の例としては、画像生成装置９００には、看板広告が適切なサイズや品質で表示され得る看板広告の表示様態の条件が予め設定されているものとする。そして、仮想視点画像生成部４０８は、看板広告の表示様態がこの条件を満たす場合には、仮想広告を仮想視点画像に重畳しないように制御してもよい。看板広告が表示されている状態でさらに広告画像を表示しても、広告画像による更なる広告効果が期待できないためである。本処理は、重畳制御処理の一例である。なお、さらに、この場合、課金額設定部９０２は、課金額をゼロとする。すなわち、課金額設定部９０２は、課金を行わないように決定する。

【0064】

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0065】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0066】

１００ 画像処理システム
１１０ 撮像装置
１２０ 画像生成装置
１３０ 端末装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】