特許 7277119 画像処理システム、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-10

(45)【発行日】2023-05-18

(54)【発明の名称】画像処理システム、及び画像処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230511BHJP

   G06T 7/00 20170101ALI20230511BHJP

   H04N 13/341 20180101ALI20230511BHJP

   H04N 13/293 20180101ALI20230511BHJP

   H04N 13/383 20180101ALI20230511BHJP

   H04N 13/344 20180101ALI20230511BHJP

【ＦＩ】

G06T19/00 A

G06T7/00 300F

H04N13/341

H04N13/293

H04N13/383

H04N13/344

【請求項の数】 11

(21)【出願番号】P 2018225717

(22)【出願日】2018-11-30

(65)【公開番号】P2019102091

(43)【公開日】2019-06-24

【審査請求日】2021-11-09

(31)【優先権主張番号】P 2017231152

(32)【優先日】2017-11-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】397072639

【氏名又は名称】株式会社デジタルガレージ

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(74)【代理人】

【識別番号】100206391

【弁理士】

【氏名又は名称】柏野 由布子

(72)【発明者】

【氏名】ムジビヤ アディヤン

(72)【発明者】

【氏名】丸山 幸太朗

(72)【発明者】

【氏名】奥野 達広

【審査官】松永 隆志

(56)【参考文献】

【文献】国際公開第２０１７／０５６２２９（ＷＯ，Ａ１）

【文献】特開２０１４－０４１２５９（ＪＰ，Ａ）

【文献】特開２０１７－０６８４１１（ＪＰ，Ａ）

【文献】内山 寛之、他５名，市街地構造物への拡張現実型画像情報提示手法，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2012年03月22日，Ｖｏｌ．１１１ Ｎｏ．４９９，141～146

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ １３／３４１

Ｈ０４Ｎ １３／２９３

Ｈ０４Ｎ １３／３８３

Ｈ０４Ｎ １３／３４４

(57)【特許請求の範囲】

【請求項1】

仮想空間画像に含まれる所定のパターンを認識するパターン認識部であり、ユーザの視線方向が変わることに応じて前記仮想空間画像が変形した場合、前記仮想空間画像の変形量に基づき前記所定のパターンを変形するパターン認識部と、
前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記仮想空間画像に付加する付加画像を表示させる表示領域を、前記仮想空間画像から抽出する抽出部と、
前記表示領域に応じて前記付加画像の形状を前記変形した所定のパターンの形状に対応するように変換する変換部と、
前記抽出部により抽出された前記表示領域に、前記変換部により変換された前記付加画像を表示させる表示設定部と、
を備えることを特徴とする画像処理システム。

【請求項2】

表示画像に含まれる所定のパターンを認識するパターン認識部であり、ユーザの視線方向が変わることに応じて前記表示画像が変形した場合、前記表示画像の変形量に基づき前記所定のパターンを変形するパターン認識部と、
前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記表示画像に付加する付加画像を表示させる表示領域を、前記表示画像から抽出する抽出部と、
前記抽出部により抽出された前記表示領域に、前記変形した所定のパターンの形状に対応するように変形された前記付加画像を表示させる設定を行う表示設定部と、
を備えることを特徴とする画像処理システム。

【請求項3】

前記パターン認識部は、表示中の表示画像に含まれる前記所定のパターンの認識を行う
請求項２に記載の画像処理システム。

【請求項4】

前記表示画像は、複数の静止画が連続して表示することで構成される動画であり、
前記パターン認識部は、予め設定した数の連続して表示する複数の前記静止画において、前記表示画像の同一位置に表示する前記所定のパターン、もしくは前記表示画像の表示位置を変位して表示する前記所定のパターンを認識する
請求項２または請求項３に記載の画像処理システム。

【請求項5】

前記パターン認識部により認識された前記所定のパターンに基づいて、前記付加画像の形状を変形する変換部を備えた
請求項２から請求項４の何れか一項に記載の画像処理システム。

【請求項6】

前記表示設定部は、前記付加画像の形状が所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記表示領域に前記付加画像を表示させる設定を行う
請求項２から請求項５の何れか一項に記載の画像処理システム。

【請求項7】

前記所定の条件は、前記付加画像の面積が所定の閾値以上であり、
前記表示設定部は、前記付加画像の面積が所定の閾値以上である場合に前記所定の条件を満たすと判定し、前記表示領域に前記付加画像を表示させる
請求項６に記載の画像処理システム。

【請求項8】

前記表示設定部は、前記抽出部により抽出された前記表示領域へのユーザの視線の滞留時間を取得し、前記ユーザの視線の滞留時間が所定の閾値以上か否かを判定し、前記ユーザの視線の滞留時間が所定の閾値以上となる場合に、前記表示領域に前記付加画像を表示させる設定を行う
請求項２から請求項７の何れか一項に記載の画像処理システム。

【請求項9】

前記表示設定部は、同一の対象で視点や装飾を変えた複数の仮想空間画像に対して、それぞれ独立して付加画像を選択可能とする
請求項２から請求項８の何れか一項に記載の画像処理システム。

【請求項10】

画像処理システムにおける画像処理方法であって、
パターン認識部が、仮想空間画像に含まれる所定のパターンを認識し、ユーザの視線方向が変わることに応じて前記仮想空間画像が変形した場合、前記仮想空間画像の変形量に基づき前記所定のパターンを変形し、
抽出部が、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記仮想空間画像に付加する付加画像を表示させる表示領域を、前記仮想空間画像から抽出し、
変換部が、前記表示領域に応じて前記付加画像の形状を前記変形した所定のパターンの形状に対応するように変換し、
表示設定部が、前記抽出部により抽出された前記表示領域に、前記変換部により変換された前記付加画像を表示させる
画像処理方法。

【請求項11】

画像処理システムにおける画像処理方法であって、
パターン認識部が、表示画像に含まれる所定のパターンを認識し、ユーザの視線方向が変わることに応じて前記表示画像が変形した場合、前記表示画像の変形量に基づき前記所定のパターンを変形し、
抽出部が、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記表示画像に付加する付加画像を表示させる表示領域を、前記表示画像から抽出し、
表示設定部が、前記抽出部により抽出された前記表示領域に、前記変形した所定のパターンの形状に対応するように変形された前記付加画像を表示させる設定を行う
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、及び画像処理方法に関するもので、特に、表示画像を配信する際に用いる画像処理システム、及び画像処理方法に係わる。

【背景技術】

【0002】

ヘッドマウントディスプレイ（以下、ＨＭＤという）と称される三次元画像表示デバイスでは、ユーザの左右の眼それぞれを対象として、画像を相互に独立して表示され、その独立した画像の各々を左右の眼で同時に視ることにより、ユーザは三次元の仮想空間画像を認識できる。また、ＨＭＤには、ユーザの頭部の動きや視線の動きを検出するセンサが設けられている。このようなＨＭＤを利用して、スポーツや音楽イベントの画像を仮想空間画像で配信するようなサービスが注目されている。また、このような仮想空間画像の配信サービスの普及とともに、仮想空間画像に広告画像を埋め込むことで、高い広告効果が期待できる。また、仮想空間画像から、特定の仮想物体の画像を抽出する技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－２６２６０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、画像から特徴量を算出し、算出した特徴量と、予め記憶しておいた所定の物体の特徴量とを比較し、画像に描画されている物体が所定の物体か否かを判定する技術が開示されている。このような技術を用いれば、抽出した仮想物体に応じて、広告画像を挿入したり、画像を効果的に演出させたり強調させたりする画像を追加することができ、仮想空間画像の付加価値を高めることができる。しかしながら、画像の特徴量が大きくなると、画像付加するための処理負荷が増える。

【0005】

上述の課題を鑑み、本発明は画像付加するための処理負荷を増大させずに、表示画像に対して適切な位置に付加画像を挿入できる画像処理システム、及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述の課題を解決するために、本発明の一態様に係る画像処理システムは、仮想空間画像に含まれる所定のパターンを認識するパターン認識部であり、ユーザの視線方向が変わることに応じて前記仮想空間画像が変形した場合、前記仮想空間画像の変形量に基づき前記所定のパターンを変形するパターン認識部と、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記仮想空間画像に付加する付加画像を表示させる表示領域を、前記仮想空間画像から抽出する抽出部と、前記表示領域に応じて前記付加画像の形状を前記変形した所定のパターンの形状に対応するように変換する変換部と、前記抽出部により抽出された前記表示領域に、前記変換部により変換された前記付加画像を表示させる表示設定部と、を備える。

【0007】

また、本発明の一態様に係る画像処理システムは、表示画像に含まれる所定のパターンを認識するパターン認識部であり、ユーザの視線方向が変わることに応じて前記表示画像が変形した場合、前記表示画像の変形量に基づき前記所定のパターンを変形するパターン認識部と、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記表示画像に付加する付加画像を表示させる表示領域を、前記表示画像から抽出する抽出部と、前記抽出部により抽出された前記表示領域に、前記変形した所定のパターンの形状に対応するように変形された前記付加画像を表示させる設定を行う表示設定部と、を備える。

【0008】

また、本発明の一態様に係る画像処理方法は、画像処理システムにおける画像処理方法であって、パターン認識部が、仮想空間画像に含まれる所定のパターンを認識し、ユーザの視線方向が変わることに応じて前記仮想空間画像が変形した場合、前記仮想空間画像の変形量に基づき前記所定のパターンを変形し、抽出部が、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記仮想空間画像に付加する付加画像を表示させる表示領域を、前記仮想空間画像から抽出し、変換部が、前記表示領域に応じて前記付加画像の形状を前記変形した所定のパターンの形状に対応するように変換し、表示設定部が、前記抽出部により抽出された前記表示領域に、前記変換部により変換された前記付加画像を表示させる画像処理方法である。

【0009】

また、本発明の一態様に係る画像処理システムにおける画像処理方法であって、パターン認識部が、表示画像に含まれる所定のパターンを認識し、ユーザの視線方向が変わることに応じて前記表示画像が変形した場合、前記表示画像の変形量に基づき前記所定のパターンを変形し、抽出部が、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記表示画像に付加する付加画像を表示させる表示領域を、前記表示画像から抽出し、表示設定部が、前記抽出部により抽出された前記表示領域に、前記変形した所定のパターンの形状に対応するように変形された前記付加画像を表示させる設定を行う画像処理方法である。

【発明の効果】

【0010】

本発明によれば、パターン認識により認識された所定のパターンに基づいて、表示画像に付加する付加画像を表示させる表示領域を抽出することで、より少ない処理負荷で、効果的に付加画像のコンテンツを表示させることができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施の形態の画像処理システム１の概要を示す図である。

【図2】第１の実施の形態に係る仮想空間画像配信サーバ１０または付加画像配信サーバ１１の概要を示すブロック図である。

【図3】第１の実施の形態のユーザ端末装置１２の概要を示すブロック図である。

【図4】第１の実施の形態の三次元画像表示デバイス１３の概要を示すブロック図である。

【図5】第１の実施形態の画像処理システム１の動作の概要を示す説明図である。

【図6】第１の実施形態の画像処理システム１における付加コンテンツを挿入する処理の概要を示す説明図である。

【図7】第１の実施形態の付加コンテンツにおける領域設定の説明図である。

【図8】第１の実施形態の付加コンテンツにおける領域設定の説明図である。

【図9】第１の実施形態の付加コンテンツにおける領域設定の説明図である。

【図10】射影変換の説明図である。

【図11】第１の実施形態の付加コンテンツにおける領域設定の説明図である。

【図12】第１の実施形態において各視聴ルームに付加される付加コンテンツの画像を示す説明図である。

【図13】第１の実施の形態の画像処理システム１において付加画像の処理を説明するための機能ブロック図である。

【図14】第１の実施の形態の画像処理システム１における付加コンテンツの付加処理を説明するためのフローチャートである。

【図15】第２の実施の形態の画像処理システム１における付加コンテンツの付加処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0012】

以下、本実施の形態について図面を参照しながら説明する。
＜第１の実施形態＞
図１は、第１の実施の形態の画像処理システム１の概要を示す図である。図１に示すように、第１の実施の形態に係る画像処理システム１は、仮想空間画像配信サーバ１０と、付加画像配信サーバ１１と、ユーザ端末装置１２と、三次元画像表示デバイス１３とを含む。仮想空間画像配信サーバ１０、付加画像配信サーバ１１、及びユーザ端末装置１２は、ネットワーク１５を介して接続されている。

【0013】

仮想空間画像配信サーバ１０は、表示画像の一つである仮想空間画像のコンテンツを配信するサーバである。仮想空間画像配信サーバ１０には、仮想空間画像として３６０度全天球の三次元画像が蓄積されている。仮想空間画像配信サーバ１０は、ユーザ端末装置１２からの要求に基づいて、仮想空間画像をユーザ端末装置１２に送信する。表示画像は、複数の静止画が連続して表示することで構成される動画（映像ともいう）である。なお、仮想空間画像配信サーバ１０は、仮想空間画像のコンテンツを配信しているが、配信の対象は、仮想空間画像のコンテンツに限定されるものではなく、表示が可能な表示画像のコンテンツであればよい。例えば、二次元画像のコンテンツであってもよい。

【0014】

付加画像配信サーバ１１は、主コンテンツに付加する広告画像等の付加コンテンツの画像（付加画像ともいう）を配信するサーバである。付加画像配信サーバ１１には、広告画像等の付加コンテンツの画像が蓄積されている。

【0015】

なお、この例では、ネットワーク１５上に１つの仮想空間画像配信サーバ１０及び付加画像配信サーバ１１のみ図示されているが、仮想空間画像配信サーバ１０や付加画像配信サーバ１１は１つである必要はなく、複数に分散した構成としても良い。また、仮想空間画像配信サーバ１０と付加画像配信サーバ１１とは、物理的に同一のサーバ上に構築できる。

【0016】

ユーザ端末装置１２は、ユーザ１４が保有する端末である。ユーザ端末装置１２としては、ＰＣ（Personal Computer）、タブレット端末、スマートフォン、ゲーム端末等が利用できる。また、ユーザ端末装置１２として専用の端末を用意しても良い。ユーザ端末装置１２には、三次元画像表示デバイス１３が接続されている。また、ユーザ端末装置１２には、仮想空間画像のデータから仮想空間画像を再生するためのアプリケーションプログラムがインストールされている。ここでいうユーザ１４が保有するとは、ユーザ１４が用いることができる状態のことをいう。

【0017】

三次元画像表示デバイス１３は、ユーザ１４の左右の眼夫々を対象として、表示画像を相互に独立して表示し、その独立した表示画像の夫々を左右の眼で同時に視ることにより、ユーザに三次元の仮想空間画像を認識可能とする。三次元画像表示デバイス１３としては、ユーザ１４の頭部に装着するような所謂ＨＭＤが用いられる。三次元画像表示デバイス１３には、左右の眼それぞれを対象とした表示部が設けられる。また、三次元画像表示デバイス１３には、ユーザ１４の頭部の動きを検出するセンサや、ユーザ１４の視線を検出するカメラ等の撮像部等が設けられる。

【0018】

なお、三次元画像表示デバイス１３は、ＨＭＤに限定されるものではない。メガネ型の表示デバイスや、裸眼立体ディスプレイ等、他の方式の三次元表示デバイスを用いても良い。また、ユーザ端末装置１２と三次元画像表示デバイス１３との間は、ワイヤで接続しても良いし、又はＢｌｕｅｔｏｏｔｈ（登録商標）等によりワイヤレスで接続しても良い。また、ユーザ端末装置１２と三次元画像表示デバイス１３とを一体的に構成しても良い。また、この例では、１つのユーザ端末装置１２及び三次元画像表示デバイス１３のみが図示されているが、ユーザ端末装置１２及び三次元画像表示デバイス１３は、複数存在しても良い。

【0019】

ネットワーク１５は、例えばインターネットやイントラネットと称されるＩＰ（Internet Protocol）ネットワークである。物理層及びデータリンク層の構成としては、ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＣＡＴＶ（Community Antenna TeleVision）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が想定される。

【0020】

図２は、第１の実施の形態の仮想空間画像配信サーバ１０及び付加画像配信サーバ１１の概要を示すブロック図である。図２に示すように、仮想空間画像配信サーバ１０及び付加画像配信サーバ１１は、プロセッサ１０１と、メモリ１０２と、データベース１０３と、通信インターフェース１０４とを備えている。

【0021】

プロセッサ１０１はＣＰＵ（Central Processing Unit）からなり、プログラムに基づいて、各種の処理を実行する。メモリ１０２は、ＲＯＭ( Read Only Memory)、ＲＡＭ( Random Access Memory )、ストレージデバイス等からなる。データベース１０３は、ＨＤＤ（Hard Disk Drive）等の大容量のストレージデバイスから構成されている。通信インターフェース１０４は、ネットワーク１５を介して、データを送受するためのインターフェースである。

【0022】

なお、仮想空間画像配信サーバ１０と付加画像配信サーバ１１は、その基本的な構成は同様であるが、仮想空間画像配信サーバ１０のデータベース１０３には、主コンテンツとなる仮想空間画像のデータが蓄積されているのに対して、付加画像配信サーバ１１のデータベース１０３には、広告画像等の付加コンテンツの画像が蓄積されている。

【0023】

図３は、第１の実施の形態のユーザ端末装置１２の概要を示すブロック図である。図３に示すように、ユーザ端末装置１２は、プロセッサ２０１と、メモリ２０２と、ストレージデバイス２０３と、通信インターフェース２０４と、入出力インターフェース２０５とを備えている。

【0024】

プロセッサ２０１はＣＰＵからなり、プログラムに基づいて、各種の処理を実行する。メモリ２０２は、ＲＯＭ、ＲＡＭ等からなり、プログラムに従って各種の処理を実行する。ストレージデバイス２０３は、ＨＤＤ、フラッシュメモリドライブ、光ディスクドライブ等からなり、各種のプログラムやデータを保存する。通信インターフェース２０４は、ネットワーク１５を介して、データを送受するためのインターフェースである。通信インターフェース２０４としては、有線ＬＡＮ（Ethernet（登録商標））、無線ＬＡＮ（IEEE802.11）等が用いられる。また、通信インターフェース２０４は、ＷＣＤＭＡ（登録商標）（Wideband Code Division Multiple Access）やＬＴＥ（Long Term Evolution）等の移動体通信網の規格のものであっても良い。入出力インターフェース２０５は、ユーザ端末装置１２に各種の機器を接続するインターフェースである。入出力インターフェース２０５としては、例えばＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４、及びＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）が用いられる。また、入出力インターフェース２０５としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＩｒＤＡ（Infrared Data Association）のようなワイヤレスのインターフェースを用いても良い。入出力インターフェース２０５には、三次元画像表示デバイス１３が接続される。

【0025】

図４は、第１の実施の形態の三次元画像表示デバイス１３の概要を示すブロック図である。図４に示すように、三次元画像表示デバイス１３は、入出力インターフェース３０１と、画像処理部３０２と、表示部であるディスプレイ３０３（３０３ａ及び３０３ｂ）と、プロセッサ３０５と、メモリ３０６と、操作入力部３０７と、撮像部である視線検出カメラ３０８（３０８ａ及び３０８ｂ）と、センサである姿勢センサ３０９とを含む。

【0026】

入出力インターフェース３０１は、ユーザ端末装置１２と接続されるインターフェースである。入出力インターフェース３０１としては、例えばＵＳＢ、ＩＥＥＥ１３９４、及びＨＤＭＩ等が用いられる。また、入出力インターフェース３０１としては、ＢｌｕｅｔｏｏｔｈやＩｒＤＡのようなワイヤレスのインターフェースを用いても良い。

【0027】

画像処理部３０２は、プロセッサ３０５の制御の下に、入出力インターフェース３０１から入力された仮想空間画像のデータから、左眼を対象とした左眼用の表示画像の映像信号と右眼を対象とした右眼用の表示画像の映像信号を生成する。また、画像処理部３０２は、左眼用の表示画像と右眼用の表示画像とのディスプレイ３０３への出力タイミングの同期を図る同期制御を行う。

【0028】

ディスプレイ３０３ａ及び３０３ｂは、画像処理部３０２からの左眼用の表示画像の映像信号及び右眼用の表示画像の映像信号に基づいて、それぞれ、左眼用の表示画像及び右眼用の表示画像を映し出す。ディスプレイ３０３ａ及び３０３ｂとしては、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイが用いられる。また、ディスプレイ３０３ａ及び３０３ｂは、画像処理部３０２によって左眼用の画像と右眼用の画像との出力タイミングを同期制御する同期制御信号に基づいて、左右の視界を交互に遮蔽するシャッターを備えている。

【0029】

プロセッサ３０５は、プログラムに基づいて、装置全体の制御を行っている。メモリ３０６は、プログラムに基づいて、各種の処理データの読み出し／書き込みを行う。操作入力部３０７は、各種のボタンからなり、各種の動作設定を行う。なお、操作入力部３０７としては、リモートコントローラを用いても良い。

【0030】

視線検出カメラ３０８ａ及び３０８ｂは、ユーザ１４の視点、もしくは視点及び視線を検出するために、ユーザ１４の左右の眼の画像である眼画像を撮影する。第１の実施の形態は、非接触型の測定方法によるアイトラッキングを行い、ユーザ１４の視点を検出できる視点検出用のカメラを用いている。ここでの非接触型の測定方法は、ユーザ１４の眼に弱い赤外線を当てながら視線検出カメラ３０８でユーザの眼を撮像することにより視点を検出する方法である。なお、第１の実施の形態では、視線検出カメラ３０８が、非接触型の測定方法により、赤外線を用いた撮像を行うことにより視点を検出する場合を例示した。しかしながら、これに限定されるものではなく、視線検出カメラ３０８は、少なくともユーザ１４の視点を検出することができればよく、撮像形態は問わない。また、視線検出カメラ３０８が、接触型など任意の測定方法を採用してもよいし、赤外線が用いられなくてもよい。

【0031】

姿勢センサ３０９は、ユーザ１４の姿勢を検出するために、ユーザ１４の頭部の動きを検出する。姿勢センサ３０９として、例えば三軸ジャイロセンサ、三軸加速度センサ等が用いられる。なお、本実施形態では、三次元画像表示デバイス１３としてＨＭＤを適用しているため、ユーザ１４の頭部の動きを検出している。しかしながら、これに限定されるものでなく、三次元画像表示デバイス１３は、ユーザ１４の眼の情報（視点情報や視線情報）と傾き情報とを検出できるものであれば、デバイス形態は問わない。

【0032】

次に、第１の実施の形態に係る画像処理システム１の動作の概要について説明する。図５は、第１の実施形態の画像処理システム１の動作の概要を示す説明図である。以下の説明では、主コンテンツとして、コンサートのライブ映像を、表示画像としての仮想空間画像で配信する場合について説明する。なお、主コンテンツを、コンサートのライブ映像としているが、スポーツのライブ映像や、他のエンターテインメントのライブ映像であってもよい。また、主コンテンツとして、録画された録画ライブ映像であってもよい。録画ライブ映像では、録画後に動画編集などをすることが可能である。録画ライブ映像に比べて、ライブ映像は、リアルタイムでの生の映像であるため、アクシデントが起こりやすい。しかしながら、ライブ映像は、宣伝の鮮度が良く広告効果が見込める。第１の実施の形態は、ライブ映像に適した形態である。

【0033】

主コンテンツとしてコンサートのライブ映像を仮想空間画像で配信する場合、例えば、３６０度全天球のカメラ４０２を用いてコンサートのライブ映像４０１が撮影され、この実写を基に、ライブ会場の仮想空間画像のコンテンツ画像が生成される。このコンテンツ画像が仮想空間画像配信サーバ１０に保存される。

【0034】

ユーザ１４は、三次元画像表示デバイス１３を頭部に装着し、ユーザ端末装置１２により仮想空間画像配信サーバ１０にアクセスする。そして、ユーザ操作を基に、コンサートのライブ映像の要求をユーザ端末装置１２から仮想空間画像配信サーバ１０に送信する。仮想空間画像配信サーバ１０は、コンサートのライブ映像の要求を受信すると、仮想空間画像配信サーバ１０から、コンサートの３６０度全天球のライブ映像の仮想空間画像を読み出す。

【0035】

ユーザ端末装置１２は、受信した主コンテンツの三次元画像４０３を再生し、三次元画像表示デバイス１３に送る。三次元画像表示デバイス１３は、ユーザ１４の視野（視野領域）に応じて、コンサートのライブ映像の三次元画像４０３を表示する。ここで、ユーザ１４が頭部を動かしたり、視線を動かしたりして、視野角を変化させると、三次元画像表示デバイス１３に表示される三次元画像４０３が視野に応じて変化する。これにより、ユーザ１４は、恰もコンサート会場でライブ映像を見ているような感覚でライブ映像を楽しむことができる。ここでいう視野角は、中心視領域と周辺視領域とから構成される視野領域のことを意味する（以下、同様）。

【0036】

また、ユーザ１４は、三次元画像表示デバイス１３により主コンテンツの画像（三次元画像４０３）を見ることで、ライブ映像を楽しんでいる。ここで、画像処理システム１を用いたライブ鑑賞は、直にライブを鑑賞しに行くのに比べて、次に示すメリットがある。

【0037】

例えば、図５に示すように、映像アングルを変えることで、複数の鑑賞位置から、ライブを鑑賞することができ、手軽に好きな撮影アングルからのライブ鑑賞が可能となる。特に、実際にライブに行っても、現場では見ることができない、観客席や観客エリアが存在しない例えば上空からのライブ鑑賞などができる。図５に示す例では、１つの主コンテンツに対して、４つの異なる鑑賞位置から撮影した撮影アングルの画像４０４ａ、４０４ｂ、４０４ｃ、４０４ｄとする。このように、１つの主コンテンツを予め設定した視聴条件に基づき、主コンテンツに対して複数の異なる画像を提供する。

【0038】

第１の実施の形態では、主コンテンツに対して複数の異なる画像のことを、それぞれ視聴ルームと定義し、図５では、４つの異なる撮影アングルの主コンテンツの画像４０４ａ、４０４ｂ、４０４ｃ、４０４ｄを、視聴ルーム４０４ａ、４０４ｂ、４０４ｃ、４０４ｄとする。なお、ここでは、視聴条件として、異なる撮影アングルを条件としているが、これに限定されるものではなく、ルーム属性情報（下記参照）やユーザ属性情報（下記参照）等に基づく付加価値を視聴条件としてもよい。

【0039】

例えば、コンサートのライブ映像では、撮影アングルの異なるライブ映像の視聴ルーム４０４ａ、４０４ｂ、４０４ｃ、４０４ｄに限定されずに、スタンダードルーム、スポンサードルーム、デコレートルーム、ファンルーム等、同一対象のライブ映像（主コンテンツの三次元画像４０３）で視点や装飾を変えた幾つかの視聴ルーム４０４ａ、４０４ｂ、４０４ｃ、４０４ｄが用意（設定）されてもよい。この場合、ユーザ１４は、視聴時の選択、ルーム属性情報、各自の嗜好に応じたユーザ属性情報等に応じて、視聴ルーム４０４ａ、４０４ｂ、４０４ｃ、４０４ｄを切り替えることができる。また、ユーザ１４が制作したユーザ１４の視聴ルームで視聴することもできる。ユーザ属性情報は、ユーザ１４が予め設定登録したユーザ１４の嗜好情報のことをいう。ユーザ属性情報は、予め設定した複数のユーザ１４に関する属性の属性項目の情報である。ユーザ属性情報は、属性項目に対してユーザ１４が自ら個別入力した情報であってもよい。ユーザ属性情報は、ユーザ自身がユーザ端末装置２を用いて入力し、入力したユーザ１４の行動（入力情報）を、仮想空間画像配信サーバ１０、付加画像配信サーバ１１、ユーザ端末装置２、三次元画像表示デバイス１３の少なくとも１つに記録し、記録したユーザ１４の入力情報に基づいて機械学習を行い、その結果、最適とされるユーザ行動情報であってもよい。例えば、ユーザ属性情報として、年齢、性別、出身地、現在住所などの個人情報がある。また、ユーザ属性情報として、好きなアーティスト、好きな音楽のジャンル、ライブへの視聴回数、実際のライブへの参加回数、ファン歴、会員登録しているアーティスト名などの音楽に関する音楽情報がある。また、ユーザ属性情報として、アウトドアの趣味、インドアの趣味、グルメの趣味、ファッションの趣味など、個人嗜好に関する嗜好情報がある。

【0040】

また、主コンテンツの画像５０１（図６参照）には、広告画像のような付加コンテンツの画像を挿入できる。図６は、第１の実施の形態の画像処理システム１における付加コンテンツを挿入する処理の概要を示す説明図である。前述したように、付加画像配信サーバ１１には、広告画像等の付加コンテンツの画像５１１（５１１ａ、５１１ｂ）が蓄積されている。付加コンテンツの表示領域枠５０２（５０２ａ、５０２ｂ）は、主コンテンツの画像５０１の特徴の抽出により設定される。そして、付加画像配信サーバ１１は、付加コンテンツの画像５１１をユーザ端末装置１２に配信する。これにより、図６に示すように、主コンテンツの画像５０１に、広告画像等の付加コンテンツの画像５１１ａ及び５１１ｂが付加される。

【0041】

このように、第１の実施の形態に係る画像処理システム１では、広告画像や、仮想空間画像のコンテンツを強調させる画像等を付加コンテンツの画像５１１ａ及び５１１ｂとして主コンテンツの画像５０１上に付加して表示できる。主コンテンツの画像５０１に対してこのような付加コンテンツの画像５１１ａ及び５１１ｂを付加することで、ユーザ１４に多様な情報を提供することができ、また、収益の増大を図ることができる。

【0042】

次に、第１の実施の形態に係る画像処理システム１における付加コンテンツの挿入について詳述する。付加コンテンツの画像５１１は、主コンテンツに対して自然に合致するようにするとともに、ユーザ１４の注目度が高く、広告効果が高い場所に付加することが望まれる。また、仮想空間画像では、ユーザ１４の視野角は、動的に変化する。このため、ユーザ１４の視野角によって、最適な付加コンテンツの位置や形状は変化する。そこで、第１の実施の形態では、付加コンテンツの領域を以下のような事項に基づいて決定している。なお、以下の事項では数字（１）～（４）を付けて説明しているが、付加コンテンツの領域の決定の説明をし易くするために列挙しているだけである。

【0043】

（１）表示中の表示画像に含まれる３６０度全天球空間内にある所望のパターンをパターン認識し、このパターン認識に基づいて、付加コンテンツの表示領域枠５０２を設定する。
（２）認識したパターンに対して、視線方向に応じて射影変換マトリクスを計算し、付加コンテンツの表示領域枠５０２の形状を変換する。
（３）変換した表示領域枠がユーザ１４にとって見にくい表示となる場合には、付加コンテンツを表示しない。
（４）ユーザ１４の視線滞留時間を判定し、ユーザ１４の視線滞留時間が一定時間以上の場合のみ、付加コンテンツを表示する。

【0044】

以下、（１）～（４）に示した事項について説明する。まず、事項（１）のパターン認識による付加コンテンツの領域設定について説明する。図７～図１１は、第１の実施の形態における付加コンテンツの領域設定の説明図である。図７～図１１において、破線Ｘは、主コンテンツの映像の３６０度全天球を示している。

【0045】

図７は、ユーザ１４が正面を向いているときの画像を示している。ユーザ１４が正面を向いているときには、図７に示すように、主コンテンツの画像５０１が映し出される。この場合、画像処理システム１によれば、主コンテンツの画像５０１の中で例えば長方形のパターンをパターン認識し、認識されたパターンの部分に付加コンテンツの表示領域枠５０２ａ及び５０２ｂを設定すると、自然な感覚で主コンテンツに付加コンテンツの画像５１１ａ及び５１１ｂを挿入できる。

【0046】

つまり、広告画像のような付加コンテンツの形状は、長方形であることが多い。このことから、画像処理システム１によれば、主コンテンツの画像５０１の中で長方形の形状をパターン認識し、この長方形の形状の部分に長方形の形状の付加コンテンツの画像５１１を挿入すれば、自然な感覚で付加コンテンツを挿入できる。同様に、付加コンテンツの形状が円形なら、主コンテンツの画像５０１の中で円形の形状をパターン認識し、この円形の形状の部分に円形の形状の付加コンテンツの画像５１１を挿入すれば、自然な感覚で付加コンテンツを挿入できる。また、付加コンテンツの全体の色が赤色なら、主コンテンツの画像５０１の中で、赤色の部分をパターン認識し、この赤色の部分に赤色の付加コンテンツの画像５１１を挿入すれば、自然な感覚で付加コンテンツを挿入できる。更に、特定の目印（マーク）をパターン認識しても良い。また、予め学習したパターンでも良い。このように、主コンテンツの画像５０１中の所望のパターンをパターン認識し、このパターン認識に基づいて、付加コンテンツの表示領域枠５０２を設定すれば、主コンテンツの画像５０１に溶け込んだ自然な感覚で付加コンテンツを挿入できる。

【0047】

なお、従来技術のような物体認識システムのみによって物体を特定する場合、特定しようとする物体の種類が多いと、全ての物体ごとの特徴量を予め取得しておく必要があり、物体認識の処理に負荷がかかる。また撮像対象の特徴量を全ての種類の物体の特徴量と比較する処理負荷がかかる。この例では、例えば長方形のように、特定の特徴量のみでパターン認識が行える。このため、より少ない処理負荷で、パターン認識が行える。

【0048】

次に、事項（２）について説明する。前述の図７では、主コンテンツの画像５０１は、ユーザ１４の視線が正面にあるときの仮想空間画像である。つまり、主コンテンツの画像５０１は、ユーザ１４が、仮想で主コンテンツの画像５０１に対して向かって正面に居る状態で、主コンテンツの画像５０１を視たときの仮想空間画像である。このため、主コンテンツ５０１の画像においてパターン認識した長方形の形状は、そのまま長方形の形状となる。つまり、主コンテンツ５０１の画像は視覚的な効果が生じずにパターン認識した長方形の形状のままである。このことから、画像処理システム１は、図７に示したように、主コンテンツ５０１以外の長方形の形状のパターンを認識し、認識されたパターンの部分に、付加コンテンツの表示領域枠５０２ａ及び５０２ｂを設定している。

【0049】

これに対して、図８の例では、主コンテンツの画像５０１は、ユーザが、仮想で主コンテンツの画像５０１に対して向かって正面右側に居る状態で、主コンテンツの画像５０１を視たときの仮想空間画像である。ユーザ１４は、仮想で主コンテンツの画像５０１に対して向かって正面右側に居る状態であるので、主コンテンツの画像５０１は、ユーザ１４が、視線を主コンテンツの画像５０１に向くように左側に動かした状態の画像となる。図８に示すように、遠近法に基づき、ユーザ１４の視点を軸にして対象物までの距離が近いところが大きく、対象物までの距離が多いところが小さくなるように視野が成形される。図８に示す主コンテンツの画像５０１では、主コンテンツの画像５０１の図面右側端縁が最大に視え、図面左側端縁が最小に視える台形の形状となる。つまり、仮想でユーザ１４の視点が、図７に示す視点から、図８に示す視点に変わることで、主コンテンツの画像５０１は、長方形の形状から台形の形状に変わる。このようにユーザ１４の視点が変化し、ユーザ１４の視線が動くと、図８に示すように、主コンテンツの画像５０１は、視覚的な効果から、長方形の形状は台形の形状に変化する。このことから、画像処理システム１は、主コンテンツの画像５０１を画像のパターン認識の基準とし、図８に示す表示画像では、主コンテンツの画像５０１の画像の形状に基づいて、パターン認識する形状を台形とする。そこで、付加コンテンツの表示領域枠５０２ａ及び５０２ｂを視線方向に応じて長方形の形状から台形の形状に変換する必要がある。付加コンテンツの表示領域枠５０２ａ及び５０２ｂの形状変換は、射影変換マトリクス（ホモグラフィ）を計算することで達成できる。図９は射影変換の説明図である。射影変換では、図９に示すように、長方形の形状を他の方向から見たときの形状に変換できる。このように、第１の実施の形態では、認識したパターンに対して、視線方向に応じて射影変換マトリクスを計算し、付加コンテンツの形状を設定している。

【0050】

なお、第１の実施の形態では付加コンテンツを、表示領域枠５０２ｂの形状に変換する場合、付加コンテンツの内容に応じた変換をおこなってもよい。具体的には、付加コンテンツの輪郭の形状を変換する場合に、付加コンテンツにおいて視認され易い箇所（例えば、長方形）の縦横比率を所定閾値以上に変更しないようにしてもよい。視認され易い箇所の縦横比率が大きく変化すると、視認するユーザ１４に違和感を想起させてしまう可能性があるためである。

【0051】

次に、事項（３）について説明する。図７の例では、主コンテンツの映像の３６０度全天球の仮想空間画像から、長方形のパターンを認識して付加コンテンツの表示領域枠５０２ａ及び５０２ｂを設定している。しかしながら、ユーザ１４の後ろ側の画像のように、ユーザ１４にとって死角となる位置では、付加コンテンツを表示しても、ユーザ１４は視認できない。また、図８に示したように、認識したパターンに対して、視線方向に応じて射影変換マトリクスを計算し、付加コンテンツの形状を変換すると、付加コンテンツの領域がユーザ１４にとって見にくい表示となる場合がある。このことから、第１の実施の形態では、ユーザ１４にとって見にくい表示となる場合には、図９に示すように、付加コンテンツを表示しないようにする。図９に示す形態の場合、付加コンテンツの表示領域枠５０２aが非表示もしくは別の予め設定した予備コンテンツが表示される。予備コンテンツの画像は、ユーザ１４が、主コンテンツの画像５０１や表示領域枠５０２ｂに表示された付加コンテンツの画像５１１ｂに没頭するような背景的な画像である。付加コンテンツの表示の有無のより具体的な条件は、図１０を参照して、付加コンテンツの表示領域枠５０２を射影マトリクスにより変換し、この変換した付加コンテンツの表示領域枠５０２の面積が所定の閾値以上なら付加コンテンツの画像５１１の表示を行い、付加コンテンツの表示領域枠５０２の面積が所定の閾値未満なら付加コンテンツの画像５１１の表示は行わない。更に、変換した付加コンテンツの表示領域枠５０２の形状の縦横比率、表示領域枠５０２が多角形の場合に、その内角の大きさ等を条件として、ユーザ１４にとって見にくい表示となるか否かを判定しても良い。図８，図９では、付加コンテンツの表示領域枠５０２ａ及び５０２ｂの形状を射影変換マトリクスを計算して変換した結果、付加コンテンツの表示領域枠５０２ａの面積が小さくなり、ユーザ１４にとって見にくい表示となっている。このため、図９に示す形態では、付加コンテンツの表示領域枠５０２ａには付加コンテンツを表示しないようにしている。

【0052】

次に、事項（４）について説明する。図７に示すように、主コンテンツの画像５０１が映し出されているとき、ユーザ１４の視線が一定であるとは限らない。ここで、ユーザ１４が頻繁に目線を向けている部分の表示は広告効果は高いが、ユーザ１４が殆ど目線を移動させない部分の表示では、広告効果は期待できない。そこで、第１の実施の形態では、ユーザ１４の視線滞留時間を判定し、ユーザの視線滞留時間が一定時間以上の場合のみ、付加コンテンツを表示している。例えば、ユーザ１４の視線滞留時間は付加コンテンツの表示領域枠５０２ａに対しては一定時間以上長くなっているが、付加コンテンツの表示領域枠５０２ｂに対しては一定時間未満であると判定した際、図１１に示すように、付加コンテンツの表示領域枠５０２ｂには、付加コンテンツを表示しないようにしている。

【0053】

また、第１の実施の形態では、各視聴ルームに応じて、付加コンテンツの内容が異なるようにしている。図１２は、各視聴ルームＡ，Ｂ，Ｃに付加される付加コンテンツの画像５１１を示している。図１２では、視聴ルームＡ、視聴ルームＢ、視聴ルームＣの３つの視聴ルームの画像が示されている。視聴ルームＡの付加コンテンツの画像５２１ａ及び５２１ｂ、視聴ルームＢの付加コンテンツの画像５２２ａ及び５２２ｂ、視聴ルームＣの付加コンテンツの画像５２３ａ及び５２３ｂとしては、各視聴ルームＡ，Ｂ，Ｃの属性情報（以下、ルーム属性情報とする）に基づいて互いに内容の異なる付加コンテンツの画像（５２１ａ及び５２１ｂ、５２２ａ及び５２２ｂ、５２３ａ及び５２３ｂ）が付加されている。なお、各視聴ルームＡ，Ｂ，Ｃに付加した付加コンテンツの画像（５２１ａ及び５２１ｂ、５２２ａ及び５２２ｂ、５２３ａ及び５２３ｂ）は、コンテンツが重複してもよい。ユーザ１４は、複数の視聴ルームＡ，Ｂ，Ｃの中から、所望の視聴ルームＡ，Ｂ，Ｃの画像を見ることができる。

【0054】

視聴ルームＡ，Ｂ，Ｃのルーム属性情報は、予め設定した複数の視聴に関する属性（属性項目）の情報である。ルーム属性情報は、各視聴ルームＡ，Ｂ，Ｃの趣向に合わせて予め設定した設定情報であってもよい。または、ルーム属性情報は、属性項目に対してユーザ１４が自ら個別入力した情報であってもよい。ルーム属性情報がユーザ１４が自ら個別入力した情報である場合、ユーザ１４自身がユーザ端末装置２を用いて入力し、入力した入力情報を、仮想空間画像配信サーバ１０、付加画像配信サーバ１１、ユーザ端末装置２、三次元画像表示デバイス１３の少なくとも１つに記録し、記録したユーザ１４の入力情報に基づいて機械学習を行った結果、最適とされるユーザ行動情報であってもよい。

【0055】

例えば、視聴ルームＡがスポンサードルーム、視聴ルームＢがデコレートルーム、視聴ルームＣがファンルームなら、視聴ルームＡの付加コンテンツの画像５２１ａ及び５２１ｂはそのスポンサーの製品の広告画像とし、視聴ルームＢの付加コンテンツの画像５２２ａ及び５２２ｂはゴージャスな製品の広告画像とし、視聴ルームＣの付加コンテンツの画像５２３ａ及び５２３ｂはアーティストの関連製品の広告画像とする。これにより、視聴ルームを見ているであろうユーザ１４の嗜好に合わせた製品の広告画像を表示でき、広告効果の向上が期待できる。

【0056】

さらに詳説すると、視聴ルームＡの場合、ルーム属性情報は、スポンサードに関するスポンサー属性情報である。視聴ルームＡでは、スポンサー属性情報について、ライブの開催者やスポンサーの意向に基づき、スポンサー属性情報の各情報に対して重み付けを行い、表示する付加コンテンツの画像５２１ａ及び５２１ｂの表示順、表示時間などが設定される。例えば、スポンサー属性情報には、広告対象となる製品やサービスの情報、広告ジャンルの情報、広告内容の情報などの広告に関する広告情報がある。スポンサー属性情報には、広告対象となる製品やサービスの表示順に関する情報、広告対象となる製品やサービスの表示時間に関する情報、スポンサー費用の情報、季節や曜日など表示する時期の情報などの表示出力に関する出力情報がある。スポンサー属性情報には、マーケティングで用いられるターゲット層の情報などの広告マッチングに用いるマッチング情報がある。

【0057】

視聴ルームＢの場合、ルーム属性情報は、デコレートに関するデコレート属性情報である。視聴ルームＢでは、デコレート属性情報について、ユーザ属性情報に基づきデコレート属性情報の各情報に対して重み付けを行い、表示する付加コンテンツの画像５２２ａ及び５２２ｂの表示順、表示時間などが設定される。もしくは、デコレート属性情報について、ユーザ１４によって事前にデコレート属性情報の各情報に対して任意の取捨選択による重み付けを行い、表示する付加コンテンツの画像５２２ａ及び５２２ｂの表示順、表示時間などが設定される。例えば、デコレート属性情報には、広告対象となる製品やサービスの情報、広告ジャンルの情報、広告内容の情報などの広告に関する広告情報がある。デコレート属性情報には、マーケティングで用いられるターゲット層の情報などの広告マッチングに用いるマッチング情報がある。

【0058】

視聴ルームＣの場合、ルーム属性情報は、ファンに関するファン属性情報である。視聴ルームＣでは、ファン属性情報について、ユーザ属性情報に基づきファン属性情報の各情報に対して重み付けを行い、表示する付加コンテンツの画像５２３ａ及び５２３ｂの表示順、表示時間などが設定される。もしくは、ファン属性情報について、ユーザ１４によって事前にファン属性情報の各情報に対して任意の取捨選択による重み付けを行い、表示する付加コンテンツの画像５２３ａ及び５２３ｂの表示順、表示時間などが設定される。例えば、ファン属性情報には、アーティストの関連製品や関連サービスの情報、アーティストの情報などのアーティストに関するアーティスト情報がある。ファン属性情報には、ライブへの視聴回数、実際のライブへの参加回数、ファン歴、アーティストのファンクラブの有無などのファンに関するファン情報がある。

【0059】

次に、第１の実施の形態に係る画像処理システム１における付加コンテンツの付加について具体的に説明する。

【0060】

図１３は、第１の実施の形態の画像処理システム１において付加画像の処理を説明するための機能ブロック図である。図１３に示すように、第１の実施の形態に係る画像処理システム１において付加コンテンツの画像５１１の処理を行うための機能は、コンテンツ制御部１５１とコンテンツデータベース部１５２とで実現できる。コンテンツ制御部１５１の機能は、仮想空間画像配信サーバ１０のサイト、付加画像配信サーバ１１のサイト、或いは専用のサーバのサイトのプログラムやスクリプトで実現できる。また、コンテンツ制御部１５１の機能は、ユーザ端末装置１２のプログラムやスクリプトで実現しても良い。更に、仮想空間画像配信サーバ１０のサイト、付加画像配信サーバ１１のサイト、或いは専用のサーバのサイトのプログラムやスクリプトと、ユーザ端末装置１２のプログラムやスクリプトとを協働させて、コンテンツ制御部１５１の機能を実現しても良い。コンテンツデータベース部１５２は、仮想空間画像配信サーバ１０や付加画像配信サーバ１１により構築されるデータベースである。

【0061】

コンテンツ制御部１５１は、パターン認識部１６１と、抽出部１６２と、変換部１６３と、表示設定部１６４とからなる。

【0062】

パターン認識部１６１は、ディスプレイ３０３に表示中の表示画像（主コンテンツの画像５０１）に含まれる所定のパターンを認識する。ここで、所定のパターンは、予め設定した幾何学に関するパターンであり、例えば、四角や円形などの外周端の形状である。

【0063】

また、パターン認識部１６１は、ユーザ１４の視線方向に基づき主コンテンツの画像５０１が変形した場合、主コンテンツの画像５０１の変形量に基づき所定のパターンを変形する。例えば、所定のパターンが長方形である場合、主コンテンツの画像５０１の変形量に基づき長方形が台形などに変形する。この変形に基づき、変換部１６３が付加コンテンツの画像５１１の形状を変換する。

【0064】

パターン認識部１６１は、予め設定した数の連続した複数の静止画において、主コンテンツの画像５０１の同一位置に表示される所定のパターン、もしくは主コンテンツの画像５０１の表示位置を変位して表示される所定のパターンを認識する。ここでいう予め設定した数は、例えば、フレームレートを６０ｆｐｓとした場合、１０とする。なお、本実施の形態では、数を１０としているが、これは好適な例であり、これに限定されるものではない。フレームレートに対して所定の数であればよく、最大で１秒以内での認識が可能であればよく、０．１ｓｅｃ以下であることがライブのコンテンツに対しての広告出力に好ましい。

【0065】

パターン認識部１６１は、例えば、いわゆる画像認識により主コンテンツの画像５０１に含まれる幾何学に関する形状を認識する。この場合、パターン認識部１６１は、予め記憶させた形状と、仮想空間画像に含まれる形状とを比較することにより所定のパターンを認識する。具体的には、パターン認識部１６１は、幾何学に関する形状を予め記憶した記憶部（不図示）を参照し、記憶部に記憶された形状と画像に含まれる形状とが一致すると判定した場合に、その形状に対応するものが画像に含まれていると認識する。この場合において、パターン認識部１６１は、記憶部に記憶された形状と画像に含まれる形状とが完全に一致しない場合であっても、記憶部に記憶された形状に示される複数の特徴のうちの所定の割合以上の特徴が、画像に含まれる形状に示される特徴と一致する場合に、記憶部に記憶された形状と画像に含まれる形状とが一致すると判定するようにしてもよい。

【0066】

抽出部１６２は、図６に示すように、パターン認識部１６１により認識された所定のパターンに基づいて、仮想空間画像に付加する付加コンテンツの画像５１１を表示させる表示領域枠５０２を抽出する。

【0067】

変換部１６３は、射影変換に基づいて、ユーザ１４の視野角に応じて付加コンテンツの画像５１１の形状を変換する。ここでいう射影変換に関して、射影評価（射影変換の定量的評価）のことをいう。

【0068】

表示設定部１６４は、図６に示すように、抽出部１６２により抽出された表示領域枠５０２に、変換部１６３により変換された付加コンテンツの画像５１１を表示させる設定を行う。表示設定部１６４は、変換部１６３により変換された付加コンテンツの画像５１１の形状が所定の条件を満たすか否かを判定し、所定の条件を満たす場合のみ、変換部１６３により変換された付加コンテンツの画像５１１を表示するように設定する。また、表示設定部１６４は、ユーザ１４にとって見にくい表示となる場合には、付加コンテンツの画像５１１を表示しないように設定する。すなわち、表示設定部１６４は、変換部１６３により変換された付加コンテンツの表示領域枠５０２の面積が所定の閾値以上の場合のみ、変換された付加コンテンツの画像５１１の表示を行うように設定する。つまり、表示設定部１６４は、射影評価に基づいて追加コンテンツの画像５１１の表示を制御する。また、本構成では、変換部１６３により変換された付加コンテンツの画像５１１の表示の有無としているが、これに限定されるものではなく、表示設定部１６４は、射影評価に基づいて濃淡やぼかし処理などの付加コンテンツの画像５１１の表示の変更を行ってよい。

【0069】

また、表示設定部１６４は、ユーザ１４の視線が滞留する時間を取得し、取得された時間に基づいて、所定の閾値以上の視線が滞留した場合の視線方向に表示領域枠がある場合、この表示領域枠５０２に付加コンテンツの画像５１１を表示するように設定する。つまり、表示設定部１６４は、ユーザ１４の視線の滞留時間に基づいて追加コンテンツの画像５１１の表示を制御する。また、本構成では、変換部１６３により変換された付加コンテンツの画像５１１の表示の有無としているが、これに限定されるものではなく、表示設定部１６４は、ユーザ１４の視線の滞留時間に基づいて濃淡やぼかし処理などの付加コンテンツの画像５１１の表示の変更を行ってよい。

【0070】

また、表示設定部１６４は、同一の対象で視点を変えた複数の視聴ルームの仮想空間画像に対して、それぞれ独立して付加コンテンツの画像５１１を選択可能とする。表示設定部１６４により、１つの主コンテンツを予め設定した視聴条件に基づき、主コンテンツに対して複数の異なる画像を提供することができる。

【0071】

図１４は、第１の実施の形態に係る画像処理システム１における付加コンテンツの付加処理を説明するためのフローチャートである。

【0072】

（ステップＳ１０１）ユーザ１４が仮想空間画像の視聴を開始すると、ユーザ端末装置１２は、ユーザ１４の頭部の動きを検出するセンサやユーザの視線を検出するカメラの撮影画像から、三次元画像表示デバイス１３を装着しているユーザ１４の姿勢情報を取得する。ここでいう姿勢情報とは、姿勢センサ３０９による傾き情報や、視線検出カメラ３０８による視点情報および視線情報などを含む情報群のことをいう。

【0073】

（ステップＳ１０２）ユーザ端末装置１２は、表示する主コンテンツの画像を仮想空間画像配信サーバ１０から取得する。そして、ユーザ端末装置１２は、コンテンツ制御部１５１に、表示する主コンテンツの識別と姿勢情報を送信する。

【0074】

（ステップＳ１０３）コンテンツ制御部１５１は、ユーザ１４の姿勢情報から視野角を判定し、表示する主コンテンツの識別と、この視野角の情報をコンテンツデータベース部１５２に送る。

【0075】

（ステップＳ１０４）コンテンツデータベース部１５２は、ユーザ端末装置１２に表示している主コンテンツの画像５０１のうち、ユーザ１４の視野部分の画像を仮想空間画像配信サーバ１０から取得し、コンテンツ制御部１５１に送る。ここでいう視野部分とは、ステップＳ１０３で判定した視野角の情報に基づく視野領域のことをいう（以下、同様）。

【0076】

（ステップＳ１０５）コンテンツ制御部１５１は、ユーザ１４の視野部分の主コンテンツの画像５０１からパターン認識を行い、付加コンテンツの表示領域枠５０２を設定できるか否かを判定する。付加コンテンツの表示領域枠５０２が設定できれば（ステップＳ１０５：Ｙｅｓ）、処理をステップＳ１０６に進め、表示領域枠５０２が設定できなければ（ステップＳ１０５：Ｎｏ）、処理をステップＳ１０９に進める。

【0077】

（ステップＳ１０６）コンテンツ制御部１５１は、付加コンテンツの表示領域枠５０２に対して射影変換マトリクスを計算し、表示領域枠５０２が見やすい角度にあるか否かを判定する。更に、コンテンツ制御部１５１は、視線滞留時間が十分であるか否かを判定する。表示領域枠５０２が見やすい角度にあり、且つ、視線滞留時間が十分である場合には（ステップＳ１０６：Ｙｅｓ）、処理をステップＳ１０７に進める。表示領域枠５０２が見やすい角度にない又は視線滞留時間が十分でない場合には（ステップＳ１０６：Ｎｏ）、処理をステップＳ１０９に進める。

【0078】

（ステップＳ１０７）コンテンツデータベース部１５２は、主コンテンツに付加すべき付加コンテンツの画像５１１を取得して、この付加コンテンツの画像５１１をコンテンツ制御部１５１に送る。

【0079】

（ステップＳ１０８）コンテンツ制御部１５１は、付加コンテンツの画像５１１に対して射影変換マトリクスを計算して、付加コンテンツの画像５１１の視野角の補正を行う。

【0080】

（ステップＳ１０９）コンテンツ制御部１５１は、表示画像の調整を行い、視野角補正を行った付加コンテンツの画像５１１をユーザ端末装置１２に送る。

【0081】

（ステップＳ１１０）ユーザ端末装置１２は、主コンテンツの画像５０１上に、付加コンテンツの画像５１１を挿入して、三次元画像表示デバイス１３に表示する。なお、本実施の形態では、ユーザ端末装置１２において主コンテンツの画像５０１上に、付加コンテンツの画像５１１を挿入する処理を行っているが、これは好適な例の一つである。そのため、例えば、仮想空間画像配信サーバ１０と付加画像配信サーバ１１との少なくとも一方において（つまり、ネットワーク１５上において）、主コンテンツの画像５０１上に、付加コンテンツの画像５１１を挿入する処理を行ってもよい。または、ユーザ端末装置１２の構成部材を三次元画像表示デバイス１３が含有した形態の場合、三次元画像表示デバイス１３において、主コンテンツの画像５０１上に、付加コンテンツの画像５１１を挿入する処理を行ってもよい。

【0082】

以上の処理により、前述の事項（１）から事項（４）に基づいて、付加コンテンツの表示領域枠５０２を設定し、主コンテンツの画像５０１上に付加コンテンツの画像５１１を挿入することができる。

【0083】

第１の実施の形態によれば、表示画像に没入できる付加画像の表示領域枠５０２を抽出することができる。また、第１の実施の形態によれば、ライブなどの事前に記憶していないライブなどの映像（動画）であっても、所定のパターンを認識することができる。その結果、主コンテンツの画像５０１が、ライブ映像である場合、ライブ映像における空き空間を有効活用できる。また、第１の実施の形態によれば、ユーザ１４の視線方向が変わり、表示画像が変形した場合であっても、所定のパターンも表示画像の変形量に基づいて変形させて、表示画像に没入できる所定のパターンを認識することができる。

【0084】

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。前述の第１の実施の形態では、図１３にフローチャートで示したように、主コンテンツの画像５０１のうち、ユーザ１４の視野部分の画像を取得して、この視野部分の画像から、表示中の表示画像に含まれる所定のパターンを認識して付加コンテンツの表示領域枠５０２を設定している。これに対して、この第２の実施の形態では、予め主コンテンツの画像５０１を処理して、付加コンテンツの表示領域枠５０２を設定している。

【0085】

図１５は、第２の実施の形態に係る画像処理システム１における付加コンテンツの付加処理を説明するためのフローチャートである。

【0086】

（ステップＳ２０１）コンテンツ制御部１５１は、主コンテンツのプリアノテーションを開始すると、主コンテンツの全天球画像を取得し、主コンテンツの画像５０１をコンテンツデータベース部１５２に送る。

【0087】

（ステップＳ２０２）コンテンツデータベース部１５２は、エクイレクタングラー（equirectangular）形式の主コンテンツの画像５０１のデータを抽出し、主コンテンツの全天球画像を仮想空間画像配信サーバ１０に送信する。

【0088】

（ステップＳ２０３）：コンテンツ制御部１５１は、全天球画像であるエクイレクタングラー形式の画像からキューブ（cube）投影を行う。

【0089】

（ステップＳ２０４）コンテンツ制御部１５１は、キューブ投影を行った主コンテンツの画像５０１からパターン認識を行い、付加コンテンツの表示領域枠５０２を設定できるか否かを判定する。付加コンテンツの表示領域枠５０２が設定できれば（ステップＳ２０４：Ｙｅｓ）、処理をステップＳ２０５に進め、表示領域枠５０２が設定できなければ（ステップＳ２０４：Ｎｏ）、プリアノテーションを終了する。

【0090】

（ステップＳ２０５）コンテンツデータベース部１５２は、主コンテンツに付加すべき付加コンテンツの画像５１１を取得する。

【0091】

（ステップＳ２０６）コンテンツデータベース部１５２は、該当する画像座標領域にメタデータとして付加コンテンツを格納する。

【0092】

（ステップＳ２０７）ユーザ１４が仮想空間画像の視聴を開始すると、ユーザ端末装置１２は、ユーザ１４の頭部の動きを検出する姿勢センサ３０９やユーザ１４の視線を検出する視線検出カメラ３０８の撮影画像から、三次元画像表示デバイス１３を装着しているユーザ１４の姿勢情報を取得する。

【0093】

（ステップＳ２０８）ユーザ端末装置１２は、仮想空間画像配信サーバ１０から、表示する主コンテンツの画像５０１を取得する。そして、ユーザ端末装置１２は、コンテンツ制御部１５１に姿勢情報を送信する。

【0094】

（ステップＳ２０９）コンテンツ制御部１５１は、ユーザ１４の姿勢情報から視野角を判定する。

【0095】

（ステップＳ２１０）コンテンツ制御部１５１は、メタデータから、ユーザ１４の視野内（視野部分）に付加コンテンツ領域（付加コンテンツの表示領域枠５０２）が入っているか否かを判定する。ユーザ１４の視野内に付加コンテンツ領域が入っている場合には（ステップＳ２１０：Ｙｅｓ）、処理をステップＳ２１０に進める。ユーザ１４の視野内に付加コンテンツ領域が入っていない場合には（ステップＳ２１０：Ｎｏ）、処理をステップＳ２１３に進める。

【0096】

（ステップＳ２１１）コンテンツ制御部１５１は、付加コンテンツの表示領域枠５０２に対して射影変換マトリクスを計算し、表示領域枠５０２が見やすい角度にあるか否かを判定する。更に、コンテンツ制御部１５１は、視線滞留時間が十分であるか否かを判定する。表示領域枠５０２が見やすい角度にあり、且つ、視線滞留時間が十分である場合には（ステップＳ２１１：Ｙｅｓ）、処理をステップＳ２１２に進める。表示領域枠５０２が見やすい角度にない又は視線滞留時間が十分でない場合には（ステップＳ２１１：Ｎｏ）、処理をステップＳ２１３に進める。

【0097】

（ステップＳ２１３）コンテンツ制御部１５１は、表示画像の調整を行い、視野角補正を行った付加コンテンツの画像５１１をユーザ端末装置１２に送る。

【0098】

（ステップＳ２１４）ユーザ端末装置１２は、主コンテンツの画像５０１上に、付加コンテンツの画像５１１を挿入して、三次元画像表示デバイス１３に表示する。

【0099】

第２の実施の形態では、事前に、エクイレクタングラー形式の画像からキューブ投影を行って、パターン認識しているため、パターン認識率が向上し、高精度にパターン認識を行うことができる。

【0100】

上述した第１の実施の形態と第２の実施の形態では、主コンテンツの画像５０１の主コンテンツ（例えば、コンサートのライブ映像）が描画された箇所とは異なる箇所を付加コンテンツの表示領域枠５０２として抽出する場合を例示して説明したが、これに限定されることはない。第１の実施の形態と第２の実施の形態の画像処理システム１では、主コンテンツの画像５０１における主コンテンツの領域において特定のパターンを認識するようにしてもよい。また、上述した第１の実施の形態と第２の実施の形態では、表示画像として仮想空間画像を適用しているが、これに限定されるものではなく、仮想の画像だけではなく、現在位置において、画像表示デバイスが、図示しない撮像部を通して表示させた画像や、他の通信インターフェースを介して受信した画像であってもよい。また、表示画像に関して、三次元画像に限定されるものではなく、二次元画像であってもよい。

【0101】

上述した第１の実施の形態と第２の実施の形態における画像処理システム１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0102】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0103】

（付記１）仮想空間画像に含まれる所定のパターンを認識するパターン認識部と、
前記パターン認識部により認識された前記所定のパターンに基づいて、前記仮想空間画像に付加する付加画像を表示させる表示領域を、前記仮想空間画像から抽出する抽出部と、前記表示領域に応じて前記付加画像を変換する変換部と、前記抽出部により抽出された前記表示領域に、前記変換部により変換された前記付加画像を表示させる表示設定部と、を備えることを特徴とする画像処理システム。

【0104】

（付記２）前記パターン認識部は、予め記憶させた形状と、仮想空間画像に含まれる形状とを比較することにより前記所定のパターンを認識する付記１に記載の画像処理システム。

【0105】

（付記３）前記パターン認識部は、前記仮想空間画像に含まれる人物の顔、又は前記仮想空間画像に含まれる物体の形状のうち少なくともいずれかを認識する付記１又は付記２に記載の画像処理システム。

【0106】

（付記４）前記変換部は、射影変換マトリクスに基づいて、前記付加画像を変換する付記１に記載の画像処理システム。

【0107】

（付記５）前記パターン認識部は、前記仮想空間画像のうち、ユーザの視点位置からユーザの視線方向にある所定の視野角の範囲にある画像に含まれる所定のパターンを認識する付記１に記載の画像処理システム。

【0108】

（付記６）前記パターン認識部は、全天球画像の仮想空間画像をキューブ画像に変換した画像に含まれる所定のパターンを認識する付記１に記載の画像処理システム。

【0109】

（付記７）前記表示設定部は、前記変換部により変換された前記付加画像の形状が所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記表示領域に前記変換部により変換された前記付加画像を表示させる付記１から付記４のいずれか一項に記載の画像処理システム。

【0110】

（付記８）前記所定の条件は、変換された前記付加画像の面積が所定の閾値以上である付記７に記載の画像処理システム。

【0111】

（付記９）前記表示設定部は、前記抽出部により抽出された前記表示領域へのユーザの視線の滞留時間を取得し、前記ユーザの視線の滞留時間が所定の閾値以上か否かを判定し、前記ユーザの視線の滞留時間が所定の閾値以上となる場合に、前記表示領域に前記変換部により変換された前記付加画像を表示させる付記１に記載の画像処理システム。

【0112】

（付記１０）前記表示設定部は、同一の対象で視点や装飾を変えた複数の仮想空間画像に対して、それぞれ独立して付加画像を選択可能とする付記１から付記９の何れか一項に記載の画像処理システム。

【0113】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0114】

１：画像処理システム、１０：仮想空間画像配信サーバ、１１：付加画像配信サーバ、１２：ユーザ端末装置、１３：三次元画像表示デバイス、１６１：パターン認識部、１６２：抽出部、１６３：変換部、１６４：表示設定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】