ホーム > 特許ランキング > 株式会社デジタルガレージ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-07
(45)【発行日】2023-04-17
(54)【発明の名称】画像処理システム、及び画像処理方法
(51)【国際特許分類】
G09G 5/00 20060101AFI20230410BHJP
G06T 19/00 20110101ALI20230410BHJP
G06F 3/0346 20130101ALI20230410BHJP
G06F 3/01 20060101ALI20230410BHJP
H04N 5/66 20060101ALI20230410BHJP
【ＦＩ】
G09G5/00 550C
G06T19/00 300B
G06F3/0346 423
G06F3/01 510
G09G5/00 550B
H04N5/66 Z
【請求項の数】
5
(21)【出願番号】P 2019058580
(22)【出願日】2019-03-26
(65)【公開番号】P2020160226
(43)【公開日】2020-10-01
【審査請求日】2022-03-24
(73)【特許権者】
【識別番号】397072639
【氏名又は名称】株式会社デジタルガレージ
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100189348
【弁理士】
【氏名又は名称】古都 智
(74)【代理人】
【識別番号】100206391
【弁理士】
【氏名又は名称】柏野 由布子
(72)【発明者】
【氏名】ムジビヤ アディヤン
(72)【発明者】
【氏名】藤賀 雄太
(72)【発明者】
【氏名】高田 一輝
【審査官】西島 篤宏
(56)【参考文献】
【文献】国際公開第２０１８／１９８５０３（ＷＯ，Ａ１）
【文献】特開２０１８－０４９５９３（ＪＰ，Ａ）
【文献】国際公開第２０１３／１７９４２６（ＷＯ，Ａ１）
【文献】特開２０１７－０５８８５３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０３３５８３５（ＵＳ，Ａ１）
【文献】国際公開第２０１７／２２１５０９（ＷＯ，Ａ１）
【文献】特開２０１５－２３０６３２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ５／００ － ５／４２
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０３４６
Ｇ０６Ｆ ３／０１
Ｈ０４Ｎ ５／６６
(57)【特許請求の範囲】
【請求項1】
表示画像を視るユーザの視点に関する視点情報を取得する視野情報取得部と、前記視点情報から特定される前記ユーザの視野に対応する視野領域、及び前記表示画像における予め定められたターゲットの位置に基づいて、前記ターゲットが前記視野領域における中心視野領域の外にある場合に、前記表示画像における中心視野領域の外の領域において、前記ターゲットに前記視点を誘導させる経路である変換領域を抽出する変換領域抽出部と、
前記視点情報に基づいて、前記変換領域の画像を変換するタイミングを判定し、前記ユーザにおける瞼の開閉を検出して瞼が閉じた状態から開いた状態に変化した後に前記変換領域の画像を変換すると判定する変換判定部と、
前記変換判定部により判定された判定結果に基づいて、前記変換領域における画像を、前記変換領域とは異なる領域の画像に比べて視覚的に特徴がある画像に変換する画像処理部と、
を備える画像処理システム。
【請求項2】
前記変換判定部は、前記ユーザにおける眼球の動きである眼球運動を検出し、前記眼球が所定の閾値以上の変化率で動いている場合に、前記変換領域の画像を変換すると判定する、請求項１に記載の画像処理システム。
【請求項3】
前記変換判定部は、さらに、前記変換領域の画像を変換する場合における前記変換領域の画像を変換する変換量である変換度合を時系列変化させ、瞼が閉じた状態から開いた状態に変化した直後における前記変換度合を大きくし、瞼が閉じた状態から開いた状態に変化した後に時間が経過するに従い前記変換度合が小さくなるように変化させると判定する、請求項１に記載の画像処理システム。
【請求項4】
前記ターゲットまでの距離に基づいて、前記変換領域を複数の分割領域に分割する変換領域分割部を更に備え、前記変換判定部は、さらに、前記変換領域の画像を変換する場合における前記変換領域の画像を変換する変換量である変換度合を前記複数の分割領域ごとに変化させ、前記ターゲットに近い分割領域における前記変換度合を大きくし、前記ターゲットから離れるに従い前記変換度合が小さくなるように変化させる、
請求項１に記載の画像処理システム。
【請求項5】
視野情報取得部が、表示画像を視るユーザの視点に関する視点情報を取得し、変換領域抽出部が、前記視点情報から特定される前記ユーザの視野に対応する視野領域、及び前記表示画像における予め定められたターゲットの位置に基づいて、前記ターゲットが前記視野領域における中心視野領域の外にある場合に、前記表示画像における中心視野領域の外の領域において、前記ターゲットに前記視点を誘導させる経路である変換領域を抽出し、
変換判定部が、前記視点情報に基づいて、前記変換領域の画像を変換するタイミングを判定し、前記ユーザにおける瞼の開閉を検出して瞼が閉じた状態から開いた状態に変化した後に前記変換領域の画像を変換すると判定し、
画像処理部が、前記変換判定部により判定された判定結果に基づいて、前記変換領域における画像を、前記変換領域とは異なる領域の画像に比べて視覚的に特徴がある画像に変換する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム、及び画像処理方法に関するもので、特に、表示画像を配信する際に用いる画像処理システム、及び画像処理方法に係わる。
【背景技術】
【0002】
ヘッドマウントディスプレイ（以下、ＨＭＤという）と称される三次元画像表示デバイスでは、ユーザの左右の眼夫々を対象として、画像を相互に独立して表示され、その独立した画像の各々を左右の眼で同時に視ることにより、ユーザは三次元の仮想空間画像を認識できる。また、ＨＭＤには、ユーザの頭部の動きや視点の動きを検出するセンサが設けられている。このようなＨＭＤを利用して、スポーツや音楽イベントの画像を仮想空間画像で配信し、ユーザの視野に応じて画像を表示するようなサービスが注目されている。このようなＨＭＤでは３６０度のパノラマ画像を表示することが可能である。ユーザは自身の頭部を動かしたり視点を動かしたりすることで、仮想空間画像内の様々な方向に自由に視線を向けることができ、仮想空間画像において鑑賞したい任意の領域を鑑賞することができる。このような仮想空間画像において、特にユーザに見せたい画像を見逃さないように、仮想空間画像内の特定のターゲットにユーザの視線を誘導する視線誘導を行う技術が知られている（例えば、特許文献１）。特許文献１では、矢印などの誘導オブジェクトを仮想空間に配置した画像を生成することで視線誘導を行う。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－５９２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、ＨＭＤを装着して仮想空間画像に没入しているユーザに対して、矢印などを配置した画像を提示すると、ユーザの視界の邪魔となり、違和感を与えてしまう可能性があり、ユーザは表示画像である仮想空間画像への没入感が阻害されてしまう場合があった。
【0005】
上述の課題を鑑み、本発明は、表示画像への没入感を阻害させることなくユーザの視点を誘導できる画像処理システム、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述の課題を解決するために、本発明の一態様に係る画像処理システムは、表示画像を視るユーザの視点に関する視点情報を取得する視野情報取得部と、前記視点情報から特定される前記ユーザの視野に対応する視野領域、及び前記表示画像における予め定められたターゲットの位置に基づいて、前記ターゲットが前記視野領域における中心視野領域の外にある場合に、前記表示画像における中心視野領域の外の領域において、前記ターゲットに前記視点を誘導させる経路である変換領域を抽出する変換領域抽出部と、前記視点情報に基づいて、前記変換領域の画像を変換するタイミングを判定し、前記ユーザにおける瞼の開閉を検出して瞼が閉じた状態から開いた状態に変化した後に前記変換領域の画像を変換すると判定する変換判定部と、
前記変換判定部により判定された判定結果に基づいて、前記変換領域における画像を、前記変換領域とは異なる領域の画像に比べて視覚的に特徴がある画像に変換する画像処理部を備える。
前記変換判定部により判定された判定結果に基づいて、前記変換領域における画像を、前記変換領域とは異なる領域の画像に比べて視覚的に特徴がある画像に変換する画像処理部を備える。
【0007】
また、本発明の一態様に係る画像処理方法は、視野情報取得部が、表示画像を視るユーザの視点に関する視点情報を取得し、変換領域抽出部が、前記視点情報から特定される前記ユーザの視野に対応する視野領域、及び前記表示画像における予め定められたターゲットの位置に基づいて、前記ターゲットが前記視野領域における中心視野領域の外にある場合に、前記表示画像における中心視野領域の外の領域において、前記ターゲットに前記視点を誘導させる経路である変換領域を抽出し、変換判定部が、前記視点情報に基づいて、前記変換領域の画像を変換するタイミングを判定し、前記ユーザにおける瞼の開閉を検出して瞼が閉じた状態から開いた状態に変化した後に前記変換領域の画像を変換すると判定し、画像処理部が、前記変換判定部により判定された判定結果に基づいて、前記変換領域における画像を、前記変換領域とは異なる領域の画像に比べて視覚的に特徴がある画像に変換する。
【発明の効果】
【0008】
本発明によれば、矢印などのオブジェクトを配置することなく画像を変換させる処理を行うため、表示画像への没入感を阻害させることなくユーザの視点を誘導できる。
【図面の簡単な説明】
【0009】
【図1】実施形態の画像処理システム１の概要を示す図である。
【図2】実施形態のコンテンツＤＢサーバ１０またはコンテンツ制御サーバ１１の概要を示すブロック図である。
【図3】実施形態のユーザ端末装置１２の概要を示すブロック図である。
【図4】実施形態の三次元画像表示デバイス１３の概要を示すブロック図である。
【図5】実施形態のコンテンツ制御サーバ１１の機能構成を示すブロック図である。
【図6】実施形態における視野領域を説明する図である。
【図7】実施形態における視野領域を説明する図である。
【図8】実施形態における変換領域を説明する図である。
【図9】実施形態における視野領域を説明する図である。
【図10】実施形態における分割領域の例を示す図である。
【図11】実施形態における画像を変換する変換度合の時間変化の例を示す図である。
【図12】実施形態における画像を変換する処理の例を示す図である。
【図13】実施形態における画像処理システム１の動作を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態（本実施形態）について図面を参照しながら説明する。 図１は、実施形態の画像処理システム１の概要を示す図である。図１に示すように、本発明の実施形態に係る画像処理システム１は、コンテンツＤＢ（データベース）サーバ１０と、コンテンツ制御サーバ１１と、ユーザ端末装置１２と、三次元画像表示デバイス１３とを含む。コンテンツＤＢサーバ１０、コンテンツ制御サーバ１１、及びユーザ端末装置１２は、ネットワーク１５を介して接続されている。
【0011】
コンテンツＤＢサーバ１０は、表示画像の一つである仮想空間画像のコンテンツを配信するサーバである。コンテンツＤＢサーバ１０には、仮想空間画像として３６０度全天球の三次元画像のデータ（三次元モデル）が記憶されている。コンテンツＤＢサーバ１０は、ユーザ端末装置１２からの要求に基づいて、仮想空間画像のデータをコンテンツ制御サーバ１１を介してユーザ端末装置１２に送信する。
【0012】
コンテンツ制御サーバ１１は、コンテンツＤＢサーバ１０から配信される仮想空間画像のデータに対して、仮想空間画像におけるユーザに視認させたい特定の位置（以下、ターゲットという）にユーザの視点を誘導するために画像を変換する処理を行うサーバである。コンテンツ制御サーバ１１は、人間の眼の習性を利用した画像を変換する処理を行うことで視点を誘導する。ここで、人間の眼の習性とは、人間の眼で一度に見ることができる領域の中で、他の領域の画像に比べて視覚的に特徴がありビジュアルが異なる領域の画像に注視する習性であり、例えば、はっきりした画像や目立つ画像に思わず注目してしまうような習性である。実施形態では、特定の位置にある画像をビジュアルが異なる画像に変換する手段として、画像にエフェクト処理（下記参照）を施す。
【0013】
実施形態において、視点とは、眼で視ているポイントのことをいう。また、視線とは、眼の向きであり、眼で視ている視点の方向のことをいう。また、視野とは、眼で一度に視ることができる範囲のことをいう。なお、実施形態では、ユーザの視点を誘導したいターゲットの大きさは、固有の物などが表示されているポイントであってもよいし、ある範囲により特定されるエリアであってもよい。
【0014】
コンテンツ制御サーバ１１は、ターゲットにユーザの視点を誘導するために、変換領域の画像を、当該変換領域の画像を用いて画像処理した変換画像に変換する。ここで、変換領域は、表示画像の中で画像を変換する領域である。例えば、コンテンツ制御サーバ１１は、変換領域を他の領域と比較して明るく変換する処理（フェードイン（fade in）ともいう）や、変換領域の画像を他の領域の画像と比較して暗く暗転させる処理（フェードアウト（fade out）ともいう）等のエフェクト処理を行うことにより、人間の眼の習性を利用して、ターゲットにユーザの視点を誘導する。また、エフェクト処理として、コンテンツ制御サーバ１１は、変換領域の彩度を他の領域の彩度よりも落とす処理（デサテュレーション（desaturation）ともいう）、ぼかす処理（ブラー（blur）ともいう）等を行うことにより、ターゲットにユーザの視点を誘導する。或いは、コンテンツ制御サーバ１１は、変換領域の画像を変形する処理（デフォーメーション（deformation）ともいう）を行うことによりユーザの視点を誘導するようにしてもよい。
【0015】
また、コンテンツ制御サーバ１１は、仮想空間画像を視認するユーザに表示画像への没入感を阻害させることなくターゲットにユーザの視点を誘導する。コンテンツ制御サーバ１１は、例えば、ユーザがそれほど集中して表示画像を視ていないタイミングを捉えて画像を変換する。また、コンテンツ制御サーバ１１は、画像を変換する場合には人間の眼に認識されない程度の速度で変換を行ったり、変換した後の画像を元に戻す変換を行ったりすることで没入感を阻害させることなくユーザの視点を誘導する。ここでいう人間の眼に認識されない程度の速度とは、画像が変換された瞬間を人間が意識できない人間の視覚系意識の認知閾値以下に該当する速度等のことをいう。
【0016】
なお、この実施形態では、ネットワーク１５上に１つのコンテンツＤＢサーバ１０及びコンテンツ制御サーバ１１のみ図示されているが、コンテンツＤＢサーバ１０やコンテンツ制御サーバ１１は１つである必要はなく、複数に分散した構成としても良い。また、コンテンツＤＢサーバ１０とコンテンツ制御サーバ１１とは、物理的に同一のサーバ上に構築してもよい。
【0017】
ユーザ端末装置１２は、ユーザ１４が用いる端末である。ユーザ端末装置１２としては、ＰＣ（Personal Computer）、タブレット端末、スマートフォン、ゲーム端末等が利用できる。また、ユーザ端末装置１２として専用の端末を用意しても良い。ユーザ端末装置１２には、三次元画像表示デバイス１３が接続されている。また、ユーザ端末装置１２には、仮想空間画像のデータから仮想空間画像を再生するためのアプリケーションプログラムがインストールされている。
【0018】
三次元画像表示デバイス１３は、ユーザ１４の左右の眼夫々を対象として、表示画像を相互に独立して表示し、その独立した表示画像の各々を左右の眼で同時に視ることにより、ユーザに三次元の仮想空間画像を認識可能とする。三次元画像表示デバイス１３としては、ユーザ１４の頭部に装着するような所謂ＨＭＤが用いられる。三次元画像表示デバイス１３には、図４に示すように、左右の眼それぞれを対象としたディスプレイ３０３や、ユーザの頭部の動きを検出する姿勢センサ３０９、ユーザ１４の視点を検出する撮像部３０８等が設けられる。
【0019】
なお、三次元画像表示デバイス１３は、ＨＭＤに限定されるものではない。メガネ型の表示デバイスや、裸眼立体ディスプレイ等、他の方式の三次元表示デバイスを用いても良い。また、ユーザ端末装置１２と三次元画像表示デバイス１３との間は、ワイヤで接続しても良いし、又はＢｌｕｅｔｏｏｔｈ（登録商標）等によりワイヤレスで接続しても良い。また、ユーザ端末装置１２と三次元画像表示デバイス１３とを一体的に構成しても良い。また、実施形態では、１つのユーザ端末装置１２及び三次元画像表示デバイス１３のみが図示されているが、ユーザ端末装置１２及び三次元画像表示デバイス１３は、複数存在しても良い。
【0020】
ネットワーク１５は、例えばインターネットやイントラネットと称されるＩＰ（Internet Protocol）ネットワークである。物理層及びデータリンク層の構成としては、ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＣＡＴＶ（Community Antenna TeleVision）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が想定される。
【0021】
図２は、実施形態のコンテンツＤＢサーバ１０及びコンテンツ制御サーバ１１の概要を示すブロック図である。図２に示すように、コンテンツＤＢサーバ１０及びコンテンツ制御サーバ１１は、プロセッサ１０１と、メモリ１０２と、データベース１０３と、通信インターフェース１０４とを備えている。
【0022】
プロセッサ１０１はＣＰＵ（Central Processing Unit）からなり、プログラムに基づいて、各種の処理を実行する。メモリ１０２は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ストレージデバイス等からなる。データベース１０３は、ＨＤＤ（Hard Disk Drive）等の大容量のストレージデバイスから構成されている。通信インターフェース１０４は、ネットワーク１５を介して、データを送受するためのインターフェースである。
【0023】
図３は、実施形態のユーザ端末装置１２の概要を示すブロック図である。図３に示すように、ユーザ端末装置１２は、プロセッサ２０１と、メモリ２０２と、ストレージデバイス２０３と、通信インターフェース２０４と、入出力インターフェース２０５とを備えている。
【0024】
プロセッサ２０１はＣＰＵからなり、プログラムに基づいて、各種の処理を実行する。メモリ２０２は、ＲＯＭ、ＲＡＭ等からなり、プログラムに従って各種の処理を実行する。ストレージデバイス２０３は、ＨＤＤ、フラッシュメモリドライブ、光ディスクドライブ等からなり、各種のプログラムやデータを保存する。通信インターフェース２０４は、ネットワーク１５を介して、データを送受するためのインターフェースである。通信インターフェース２０４としては、有線ＬＡＮ（Ethernet（登録商標））、無線ＬＡＮ（IEEE802.11）等が用いられる。また、通信インターフェース２０４は、ＷＣＤＭＡ（Wideband Code Division Multiple Access（登録商標））やＬＴＥ（Long Term Evolution）等の移動体通信網の規格のものであっても良い。入出力インターフェース２０５は、ユーザ端末装置１２に各種の機器を接続するインターフェースである。入出力インターフェース２０５としては、例えばＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４、及びＨＤＭＩ（High-Definition Multimedia Interface（登録商標））が用いられる。また、入出力インターフェース２０５としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＩｒＤＡ（Infrared Data Association）のようなワイヤレスのインターフェースを用いても良い。入出力インターフェース２０５には、三次元画像表示デバイス１３が接続される。
【0025】
図４は、実施形態の三次元画像表示デバイス１３の概要を示すブロック図である。図４に示すように、三次元画像表示デバイス１３は、入出力インターフェース３０１と、画像処理部３０２と、ディスプレイ３０３（ディスプレイ３０３ａ及び３０３ｂ）と、プロセッサ３０５と、メモリ３０６と、操作入力部３０７と、撮像部３０８（撮像部３０８ａ及び３０８ｂ）と、姿勢センサ３０９とを備えている。
【0026】
入出力インターフェース３０１は、ユーザ端末装置１２と接続されるインターフェースである。入出力インターフェース３０１としては、例えばＵＳＢ、ＩＥＥＥ１３９４、及びＨＤＭＩ等が用いられる。また、入出力インターフェース３０１としては、ＢｌｕｅｔｏｏｔｈやＩｒＤＡのようなワイヤレスのインターフェースを用いても良い。
【0027】
画像処理部３０２は、プロセッサ３０５の制御の下に、入出力インターフェース３０１から入力された仮想空間画像のデータから、左眼を対象とした左眼用の表示画像の映像信号と右眼を対象とした右眼用の表示画像の映像信号とを生成する。また、画像処理部３０２は、左眼用の表示画像と右眼用の表示画像とのディスプレイ３０３への出力タイミングの同期を図る同期制御を行う。
【0028】
ディスプレイ３０３は、画像処理部３０２からの左眼用の表示画像の映像信号及び右眼用の表示画像の映像信号に基づいて、それぞれ、左眼用の表示画像及び右眼用の表示画像を映し出す。そのため、ディスプレイ３０３は、ユーザの左眼用の表示画像を映し出すディスプレイ３０３ａと、右眼用の表示画像を映し出すディスプレイ３０３ｂとで構成されている。ディスプレイ３０３としては、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。
【0029】
プロセッサ３０５は、プログラムに基づいて、装置全体の制御を行っている。メモリ３０６は、プログラムに基づいて、各種の処理データの読み出し／書き込みを行う。操作入力部３０７は、各種のボタンからなり、各種の動作設定を行う。なお、操作入力部３０７としては、リモートコントローラを用いても良い。
【0030】
撮像部３０８は、ユーザの視点、もしくは視点及び視線を検出するために、ユーザの左右の眼の画像である眼画像を撮像する。撮像部３０８は、ユーザの左の眼を撮像対象とした撮像部３０８ａと、右の眼を撮像対象とした撮像部３０８ｂとで構成されている。実施形態は、非接触型の測定方法によるアイトラッキングを行い、ユーザの視点を検出できる視点検出用のカメラを用いている。ここでの非接触型の測定方法は、ユーザの眼に弱い赤外線を当てながら撮像部３０８でユーザの眼を撮像することにより視点を検出する方法である。なお、実施形態では、撮像部３０８が、非接触型の測定方法により、赤外線を用いた撮像を行うことにより視点を検出する場合を例示した。しかしながら、これに限定されるものではなく、撮像部３０８は、少なくともユーザの視点を検出することができればよく、撮像形態は問わない。また、撮像部３０８が、接触型など任意の測定方法を採用してもよいし、赤外線が用いられなくてもよい。
【0031】
姿勢センサ３０９は、ユーザの姿勢を検出するために、ユーザの頭部の動きを検出する。姿勢センサ３０９として、例えば三軸ジャイロセンサ、三軸加速度センサ等が用いられる。なお、本実施形態では、三次元画像表示デバイス１３としてＨＭＤを適用しているため、ユーザの頭部の動きを検出している。しかしながら、これに限定されるものでなく、三次元画像表示デバイス１３は、ユーザの眼の位置情報と傾き情報とを検出できるものであれば、デバイス形態は問わない。
【0032】
撮像部３０８によって検出されたユーザの視点に関する視点情報と、姿勢センサ３０９によって検出されたユーザの頭部の動きに関する動作情報とに基づいて、プロセッサ３０５は、ユーザが視る方向（視線方向）を示す視線に関する視線情報を算出する。なお、プロセッサ３０５は、視点情報と動作情報とに基づいて視線情報を算出する他に、記録時間の異なる複数の視点情報を用いて、当該複数の視点情報に含まれる時間情報に基づいて視点が移動する方向である視線方向に関する視線情報を算出する。このように、視線情報は、前者のユーザ自身の動きに起因する、ユーザが視る方向を示す視線情報と、後者のユーザの眼の動きに起因する、ユーザの視点が移動する方向を示す視線情報とがある。実施形態においては、これらのいずれの視線情報が採用されてもよいし、これら２つの視線情報が共に採用されてもよい。二つの視線情報が採用されることにより、ユーザが視る方向とユーザの視点が移動する方向の両方の情報を用いることができるため、視線情報の精度を向上させることが可能となる。
【0033】
図５は、実施形態のコンテンツ制御サーバ１１の機能構成を示すブロック図である。図５に示すように、コンテンツ制御サーバ１１において画像の処理を行うための機能は、画像データ取得部１１１と、視野情報取得部１１２と、変換領域抽出部１１３と、変換領域分割部１１４と、変換判定部１１５と、画像処理部１１６と、表示画像出力部１１７とを備えている。
【0034】
画像データ取得部１１１は、コンテンツＤＢサーバ１０から配信された仮想空間画像のデータを、コンテンツ制御サーバ１１の通信インターフェース１０４を介して取得する。
【0035】
視野情報取得部１１２は、三次元画像表示デバイス１３から、視点情報と動作情報と視線情報とを、コンテンツ制御サーバ１１の通信インターフェース１０４を介して取得する。なお、視点情報と視線情報によりユーザの視野に関する視野情報が構成される。
【0036】
変換領域抽出部１１３は、視野情報から特定されるユーザの視野に対応する視野領域、及び仮想空間画像における所定のターゲットの各々の位置に基づいて、仮想空間画像の中から画像を変換する変換領域を抽出する。変換領域は、その変換領域や変換領域の周辺にあるターゲットにユーザの視点を誘導するための経路となる領域である。ターゲットは、例えば、仮想空間画像を配信する配信業者などにより予め指定される画像であって、仮想空間画像においてユーザに視せたい画像、或いはユーザに見逃してほしくない画像である。ターゲットは、例えば、平穏な風景のなかに突然恐竜が現れるなど、特別な展開がなされる場面の画像である。ターゲットは、このようなターゲットが表示される場合に、仮想空間画像においてターゲットが含まれるポイントやエリアである。以下では、変換領域抽出部１１３が行う処理について、図６、図７、図８および図９を用いて説明する。
【0037】
図６、図７は、実施形態における視野領域Ｋを説明する図である。図６には、ユーザ１４が仮想空間画像としての３６０度全天球Ｘの三次元画像を視認する例が模式的に示されている。図７には、図６の３６０度全天球Ｘの一部の画像Ｇに対応する視野領域Ｋと、中心視野領域Ｍと、視点Ｎと、ターゲットＴＧとの位置関係が模式的に示されている。
【0038】
図６に示すように、ユーザ１４が３６０度全天球Ｘのある方向に視線を向けている場合、三次元画像表示デバイス１３にはその視線方向に対して正面となる視野領域Ｋの三次元画像が表示される。
【0039】
図７に示すように、視野領域Ｋは、視線方向ＯＰを中心として、所定の視野角ＡＯＦに対応する領域を３６０度全天球Ｘに投影させた領域である。ここで、視野角ＡＯＦは、人間が視認することが可能と考えられる範囲を、視線を基準とする角度で示したものである。一般に、視野角ＡＯＦは水平方向に２００度程度、鉛直方向に１２５度程度であるが、水平方向では左右で、鉛直方向では上下で異なる角度となる場合もある。また、実際の視野角ＡＯＦは、個人差や年齢差により値が大きく異なる。
【0040】
また、視野領域Ｋは、中心視野領域Ｍを含む。中心視野領域Ｍの中心には視点Ｎがある。中心視野領域Ｍは、視線方向ＯＰを中心として、所定の視野角ＢＯＥに対応する領域を３６０度全天球Ｘに投影させた領域である。視野角ＢＯＦは、人間が正面で視認すると考えられる範囲を、視線を基準とする角度で示したものである。視点Ｎは、視線方向ＯＰを３６０度全天球Ｘに投影させた点である。視野角ＣＯＤは、視点Ｎに対応する視野角を示したものである。以下においては、視野領域Ｋのうち、中心視野領域Ｍを除いた領域を、周辺視野領域Ｊと称する。
【0041】
視野領域Ｋは、人間が正面で視認すると考えられる中心視野領域Ｍと、その周辺とである周辺視野領域Ｊとで構成される。一般に、人間は中心視野領域Ｍにおいて空間分解能が高く、中心視野領域Ｍに存在する物体を高い解像度で詳細に観察する傾向がある。一方、人間は、周辺視野領域Ｊにおいて時間分解能が高く、周辺視野領域Ｊに動く物体がある場合にその動きをすぐに察知する傾向がある。このような、人間の眼の特性を利用して、変換領域抽出部１１３は、変換領域を抽出する。具体的には、変換領域抽出部１１３は、ターゲットＴＧが中心視野領域Ｍの外にある。すなわち中心視野領域ＭにターゲットＴＧが存在しない場合に、変換領域を抽出する。これにより、変換領域の画像を変換した場合に、人間の眼がその変化を捉え、変化した変換領域に視線を移動させることが期待でき、ユーザの視点を誘導することができる。
【0042】
図８、図９は、実施形態における変換領域を説明する図である。図８には、ユーザ１４が仮想空間画像としての３６０度全天球Ｘの三次元画像においてユーザ１４が視る画像Ｇ（表示画像）と、ターゲットＴＧとの位置関係の例が模式的に示されている。図９には、視野領域Ｋと中心視野領域Ｍ及び視点Ｎが模式的に示されている。
【0043】
図８に示すように、変換領域抽出部１１３は、ターゲットＴＧが中心視野領域Ｍの外にある場合に、変換領域を抽出する。一方、変換領域抽出部１１３は、中心視野領域ＭにターゲットＴＧがある場合には、ターゲットＴＧに表示された画像を既にユーザが視ていることから、視点を誘導する必要がないと判断できるため変換領域を抽出しない。
【0044】
図９に示すように、変換領域抽出部１１３は、中心視野領域ＭとターゲットＴＧとの間の領域を変換領域とする。図８、図９に示す実施形態で、変換領域抽出部１１３は、視点ＮとターゲットＴＧとを接続した線ＮＴＧを基準として、視点Ｎを中心とする扇形のうち中心視野領域Ｍの外となる領域（点Ｍ１、Ｍ２、及び点Ｑ１０、Ｑ２０を接続させて形成される領域）を変換領域として抽出する。
【0045】
なお、これらの場合における扇形の中心角度や半径は、ユーザ１４の状況やターゲットＴＧの位置やターゲットＴＧの内容などに応じて任意に決定されてよい。
【0046】
また、上記では、変換領域が、中心視野領域ＭとターゲットＴＧとの間の領域であって、尚且つ、上記の視点Ｎを中心とする扇形のうち中心視野領域Ｍの外の領域である場合を例示したが、これに限定されることはない。変換領域抽出部１１３は、中心視野領域ＭとターゲットＴＧとの間とは異なる領域を変換領域としてもよい。また、変換領域抽出部１１３は、中心視野領域ＭとターゲットＴＧとの間の領域とは異なる領域を変換領域としてもよい。この場合であっても、中心視野領域Ｍは、変換領域の領域外とする。
【0047】
実施形態では、変換領域の画像を、当該変換領域の画像を基にして画像処理した変換画像に変換する。画像の変換に関して、人間の眼の習性を利用した画像の変換により、視野領域Ｋ内において他の領域の画像に比べて視覚的に特徴がありビジュアルが異なる領域の画像とすることができる。
【0048】
ここで、変換領域分割部１１４について説明する。図１０は、実施形態における分割領域の例を示す図である。変換領域分割部１１４は、変換領域に対するターゲットＴＧの相対位置に基づいて変換領域を複数の分割領域に分割する。
【0049】
図１０に示す実施形態では、変換領域分割部１１４は、変換領域（点Ｍ１、Ｍ２、及び点Ｑ１０、Ｑ２０を接続させて形成される領域）を、視点Ｎを中心とする半径の異なる円の外周により複数の領域に分割する。この場合、変換領域分割部１１４は、ターゲットＴＧに近い順に、第１の分割領域（点Ｑ１０、Ｑ１１、Ｑ２０及びＱ２１を接続させて形成される領域）、第２の分割領域（点Ｑ１１、Ｑ１２、Ｑ２１及びＱ２２を接続させて形成される領域）及び第３の分割領域（点Ｑ１２、Ｍ１、Ｑ２２及びＭ２を接続させて形成される領域）に変換領域を分割する。
【0050】
ここで、変換判定部１１５について説明する。変換判定部１１５は、視点情報に基づいて、変換領域の画像を変換画像に変換するか否かを判定する。具体的には、変換判定部１１５は、視点情報に基づいて眼の視点Ｎの有無を検出し、検出結果に応じて変換領域の画像を変換画像に変換するか否かを判定する。もしくは、変換判定部１１５は、視点情報及び視線情報に基づいて、変換領域の画像を変換画像に変換するか否かを判定して、判定の精度を上げてもよい。
【0051】
以下の実施形態の説明では、変換判定を分かりやすく説明するために、変換判定部１１５によるユーザの眼の視点Ｎの有無を検出する処理を、ユーザにおける瞬き（まばたき）の有無を検出する処理として説明する場合がある。
【0052】
変換判定部１１５は、ユーザにおける瞬きの有無を検出し、瞬きの直後に変換領域の画像を変換すると判定する。具体的には、変換判定部１１５は、眼の視点Ｎの有無を検出する。ここでの眼の視点Ｎの有無に関して、変換判定部１１５は、ユーザにおける瞼の開閉によりユーザの眼の視点Ｎの有無を検出する。そして、変換判定部１１５は、瞼が閉じた後、所定時間以内に瞼が開いた場合、変換領域の画像を変換すると判定する。一般に、人間は瞬きをせずに表示画像を視ている場合よりも、瞬きをした後の方が視る集中の度合いが低いと考えられる。つまり、ユーザは瞬きの後に、中心視野領域Ｍを高い集中力で視ていない。このため、ユーザが瞬きをした後のタイミングで周辺視野領域Ｊにある変換領域の画像を変換すれば、ユーザに変化を感じさせ易くすることができ、ターゲットＴＧのある方向に視点を誘導させることができる。
【0053】
また、変換判定部１１５は、変換領域の画像を変換する場合における変換領域の画像を変換画像に変換する変換度合を判定する。変換判定部１１５は、変換領域における変換度合を、例えば、徐々に変化させていくことにより、ユーザに急激な変化を感じさせずに視点を誘導することができる。或いは、変換判定部１１５は、変換領域における変換度合を強めた後に徐々に弱くさせて元に戻すことで、ユーザが仮想空間の体験に没入している場合であっても違和感を持たせることなく視点を誘導することが可能である。ここで、変換度合が強いとは、画像を変換する際の変換量が多いことをいう。また、変換度合が弱いとは、画像を変換する際の変換量が少ないことをいう。具体的には、画像の変換が、画像にぼかし（例えば、ブラー（blur））を与える変換である場合、ブラーの強度を示す標準偏差σの値により変換度合の強弱を調整する。ブラーとして、実施形態ではガウシアンブラーを用いている。ガウシアンブラーにおいては、標準偏差σの値が小さい程、ぼかし（平滑化）の効果は小さくなり、大きい程効果が大きくなる。また、画像をぼかすように変換する処理においては、例えば、ある領域の画像の画素を平滑化することにより、その領域の画像をぼかしたように変換する。なお、ぼかし処理として、ガウシアンブラー以外に、ボックスブラー、メディアンフィルタ等がある。
【0054】
図１１は、実施形態における画像を変換する変換度合の時間変化の例を示す図である。図１１の横軸は時間、縦軸は画像を変換する変換度合を示している。また、図１１の横軸の下には、ユーザの眼の時系列の変化を模式的に示している。図１１においては、ユーザが眼を閉じたり開いたりを繰り返していることを示している。具体的には、ユーザは、時間Ｔ１～Ｔ２の間に眼を閉じ、時間Ｔ２～Ｔ３の間に眼を開けている。また、ユーザは、時間Ｔ３～Ｔ４の間に眼を閉じ、時間Ｔ４～Ｔ５の間に眼を開けている。以後、同様の眼の開閉を繰り返す。
【0055】
図１１に示すように、変換判定部１１５は、瞬きをした直後における画像の変換度合を強く（大きく）し、その後、瞬きをしてからの経過時間に応じて、画像の変換度合を徐々に弱め（小さくし）てもよい。具体的には、変換判定部１１５は、時間Ｔ２において変換度合をＬ２まで大きくして変換し、その後、時間Ｔ４に到達するまでの間に徐々に変換度合が０（ゼロ）となるまで小さくしてゆく。また、変換判定部１１５は、時間Ｔ４において変換度合をＬ２まで大きくして変換し、その後、時間Ｔ６に到達するまでの間に徐々に変換度合が０（ゼロ）となるまで小さくしてゆく。また、変換判定部１１５は、時間Ｔ２において変換度合をＬ２まで大きくして変換するというように変換度合を大きくさせた後に徐々に小さくする処理を繰り返す。
【0056】
これにより、変換判定部１１５によれば、ユーザが瞬きをした直後に大きく変化させることにより視点を変換領域の方向に誘導させることができる。また、変換判定部１１５によれば、誘導の後に変換度合を徐々に小さくすることによりユーザが没入感を損なうほどに違和感を持たせることなく画像を元の状態に戻すことができる。
【0057】
なお、変換判定部１１５は、ユーザが瞬きをしたか否かを判定するための条件を、ユーザの年齢や特徴などに応じて任意に決定してよい。具体的に、変換判定部１１５は、瞼を閉じてから再度開くまでの時間が所定時間以内である場合に瞬きと判定する場合、その所定時間をユーザ毎に任意に決定してよい。
【0058】
また、図１１に示す実施形態においては、変換判定部１１５は、ユーザの眼が瞬きする度に同じ強度の変換度合（図１１に示す実施形態では変換度合Ｌ２）で画像の変換を行う場合を例示して説明したが、これに限定されることはない。変換判定部１１５は、例えば、時間Ｔ２において変換度合をＬ２まで大きくして変換し、その後、時間Ｔ４において変換度合をＬ１まで大きくして変換してもよい。また、変換判定部１１５は、時間Ｔ２において変換度合をＬ２まで大きくして変換した後、変換度合Ｌ１となるまで徐々に変換度合を小さくしてもよい。
【0059】
また、図１１に示す実施形態では、変換度合を比例減少させているが、これに限定されない。例えば、変換度合を、時間の経過に沿って、係数の正負問わずに指数関数的に減少もしくは二次曲線的に減少をさせてもよい。また、図１１に示す実施形態では、瞼を開いて視点Ｎを検出した時間Ｔ２で変換度合をＬ２まで立ち上げて大きくし、その後、時間Ｔ２と時間Ｔ３との間で、変換度合を０まで減少させている。しかしながら、これに限定されるものではなく、時間Ｔ３の瞼を閉じて視点Ｎの検出ができない時に変換度合が０超の値であってもよい。この場合、変換判定部１１５は、視点Ｎが無いと検出したと同時に、変換度合を０に強制的にリセットしてもよい。
【0060】
また、変換判定部１１５は、ユーザにおける眼球（視点Ｎ）の動きである眼球運動を検出し、眼球が所定の閾値以上の変化率で動いている場合に、変換領域の画像を変換すると判定するようにしてもよい。一般に、人間の眼は物体を視認する場合に、眼球をほとんど動かさずに視ている（fixation、フィクセーション）場合と、眼球を頻繁に動かして視ている（saccade、サッケード）場合とがある。眼球をほとんど動かさない場合には、人間は中心視野領域Ｍを固視していると考えられる。また、眼球を頻繁に動かしている場合には、視野領域Ｋを広く視ており、視野領域Ｋの大まかな構図や目立つ物体のみを認識して細かな目立たない物体をほとんど認識していないと考えられる。ここでいうサッケードは、眼球を連続的に動かす断続性運動のことをいう。
【0061】
変換判定部１１５は、例えば、眼球運動がサッケードである場合に、変換領域における画像を変換すると判定する。変換判定部１１５は、ユーザが視野を広くして画像を視ているときに変換領域を変化させることで、ユーザにその変化を感じさせ易くすることができ、ターゲットのある方向に視点を誘導させることができる。なお、変換判定部１１５は、ユーザが眼球を頻繁に動かしている場合に画像を変換すると判定すると共に、図１１に示す実施形態で述べた場合と同様にその時系列における変換度合を判定するようにしてよい。
【0062】
また、変換判定部１１５は、変換領域分割部１１４により分割された複数の分割領域の画像の各々における画像を変換する変換度合を判定する。この際、複数の分割領域における変換度合の量を可変させてもよい。変換判定部１１５は、例えば、ターゲットに最も近い順に変換度合を大きくする。具体的に、変換判定部１１５は、第１の分割領域における変換度合を最も大きくし、第３の分割領域における変換度合を最も小さくし、第２の分割領域における変換度合を、第１の分割領域と第３の分割領域との間の値とする。つまり、中心視野領域ＭからターゲットＴＧへ向かって順に配される第１の分割領域、第２の分割領域、第３の分割領域において夫々の変換度合を段階的に小さくする。このように、変換判定部１１５は、複数の分割領域における画像の各々の変換度合を異なる度合とすることにより、ユーザの視点を徐々にターゲットの方向へ誘導させることが可能となる。
【0063】
或いは、変換判定部１１５は、例えば、ターゲットに最も近い順に変換度合を小さくするようにしてもよい。具体的には、変換判定部１１５は、第１の分割領域における変換度合を最も小さく、第３の分割領域における変換度合を最も大きくするようにしてもよい。
【0064】
ここで、画像処理部１１６について説明する。画像処理部１１６は、変換判定部１１５により判定された判定結果に基づいて、変換領域の画像を変換する。変換処理に関して、画像処理部１１６は、変換領域の画像を、当該変換領域の画像を基にして画像処理した変換画像に変換する。
【0065】
図１２は、実施形態における画像Ｇを変換する処理の例を示す図であり、図１２（ａ）、図１２（ｂ）で構成される。図１２（ａ）、図１２（ｂ）に示す実施形態では、同一の画像Ｇに対し互いに異なる箇所を「ぼかす」変換が用いられた例を示している。
【0066】
図１２（ａ）に示すように、画像Ｇの領域Ｗ２とは異なる領域に対してぼかす処理をおこなうと、領域Ｗ２に描画された物体がはっきりと視認されるが、その他の領域の画像はぼかしてしまっているために物体をはっきりと視認することができない。このような場合、人間の眼は、自然と物体がはっきりと視認できる領域Ｗ２に向けられる。この場合、人間の眼は、領域Ｗ１をほとんど認識しない。つまり、領域Ｗ２以外の領域をぼかすことで、領域Ｗ２に視点を誘導することができる。
【0067】
図１２（ｂ）に示すように、画像Ｇの領域Ｗ１とは異なる領域に対してぼかす処理をおこなうと、領域Ｗ１に描画された物体がはっきりと視認されるが、その他の領域の画像はぼかしてしまっているために物体をはっきりと視認することができない。このような場合、人間の眼は、自然と物体がはっきりと視認できる領域Ｗ１に向けられる。この場合、人間の眼は、図１２（ａ）で視認していた領域Ｗ２を今度はほとんど認識しない。つまり、図１２（ａ）の状態から領域Ｗ１以外の領域をぼかすことで、領域Ｗ２から領域Ｗ１に視点を誘導することができる。
【0068】
表示画像出力部１１７は、画像処理部１１６により変換領域の画像を変換して生成された仮想空間画像のデータ（変換画像のデータ）を三次元画像表示デバイス１３の画像処理部３０２に出力する。
【0069】
図１３は、実施形態に係る画像処理システム１における動作を示すフローチャートである。画像処理システム１の動作の概要は以下の通りとなる。視野情報取得部１１２が、仮想空間画像を視るユーザの視点Ｎに関する視点情報を取得する。変換領域抽出部１１３が、視点情報から特定されるユーザの視野に対応する視野領域Ｋ、及び仮想空間画像に含まれる所定のターゲットＴＧの位置に基づいて、仮想空間画像のうち画像を変換する変換領域を抽出する。変換判定部１１５が、視点情報に基づいて、変換領域の画像を変換するか否かを判定する。画像処理部１１６が、変換判定部１１５により判定された判定結果に基づいて、変換領域における画像を基にして画像処理した変換画像に、当該変換領域の画像を変換する。
【0070】
（ステップＳ１０１）ユーザが三次元画像表示デバイス１３を装着する。三次元画像表示デバイス１３は、姿勢センサ３０９によるユーザの頭部の動きに関する動作情報や、撮像部３０８の撮影画像に基づくユーザの視点Ｎに関する視点情報を取得する。また、三次元画像表示デバイス１３のプロセッサ３０５は、ユーザの視点Ｎに関する視点情報とユーザの頭部の動きに関する動作情報とに基づいて、ユーザの視線方向に関する視線情報を算出する。なお、視線情報の算出に関して、プロセッサ３０５は、記録時間の異なる複数の視点情報を用いて、時系列に連続した視点Ｎの位置情報に基づいて視点Ｎの移動方向である視線方向に関する視線情報を算出してもよい。もしくは、プロセッサ３０５は、ユーザの視線方向に関する視線情報と視点Ｎの移動方向である視線方向に関する視線情報との２つの情報により視線情報を算出してもよい。三次元画像表示デバイス１３は、ユーザ端末装置１２を介して、コンテンツ制御サーバ１１にユーザの視点情報、動作情報、および視線情報を送信する。
【0071】
（ステップＳ１０２）コンテンツ制御サーバ１１は、視点情報及び視線情報に基づいて、ユーザの視野領域Ｋを判定する。コンテンツ制御サーバ１１は、ユーザの視野領域Ｋに対応する仮想空間画像の情報を取得できるよう、コンテンツＤＢサーバ１０に指令を送る。
【0072】
（ステップＳ１０３）コンテンツＤＢサーバ１０は、コンテンツ制御サーバ１１から送られてきた指令に基づいて、データベース１０３を参照し、ユーザの視野領域Ｋに対応する仮想空間画像をプロセッサ１０１により算出する。コンテンツＤＢサーバ１０により算出した仮想空間画像がコンテンツ制御サーバ１１に送られることで、コンテンツ制御サーバ１１は、ユーザの視野領域Ｋに対応する仮想空間画像を取得する。
【0073】
（ステップＳ１０４）三次元画像表示デバイス１３は、撮像部３０８の撮影画像から、三次元画像表示デバイス１３を装着しているユーザの眼球の動きである眼球運動に関する眼球運動情報を取得する。三次元画像表示デバイス１３は、ユーザ端末装置１２を介して、コンテンツ制御サーバ１１にユーザの眼球運動を示す眼球運動情報を送信する。ステップＳ１０４は、ステップＳ１０１と別々に行ってもよく、同時に行ってもよい。
【0074】
（ステップＳ１０５）コンテンツ制御サーバ１１は、ステップＳ１０３で取得したユーザの視野領域Ｋに対応する仮想空間画像のデータと、ステップＳ１０１で取得したユーザの視点情報とに基づいて、ユーザの中心視野領域Ｍの中にターゲットＴＧが存在するか否かを判定する。ユーザの中心視野領域Ｍの中にターゲットＴＧが存在する場合（ステップＳ１０５：ＹＥＳ）、処理をステップＳ１０８に進め、ユーザのターゲットＴＧの中にターゲットＴＧが存在しない場合（ステップＳ１０５：ＮＯ）、処理をステップＳ１０６に進める。処理をステップＳ１０６に進める場合、コンテンツ制御サーバ１１は、ユーザの視野領域Ｋの視野情報に関して画像を変換するための処理（画像処理）の情報を取得できるよう、コンテンツＤＢサーバ１０に指令を送る。
【0075】
（ステップＳ１０６）コンテンツＤＢサーバ１０は、コンテンツ制御サーバ１１から送られてきた指令に基づいて、データベース１０３を参照し、画像処理の情報を、コンテンツ制御サーバ１１に送る。コンテンツＤＢサーバ１０により画像処理の情報がコンテンツ制御サーバ１１に送られることで、コンテンツ制御サーバ１１は、ユーザの視野領域Ｋの視野情報に関して画像を変換するための画像処理の情報を取得する。
【0076】
（ステップＳ１０７）コンテンツ制御サーバ１１は、ステップＳ１０６で取得した画像処理の情報と、ステップＳ１０４で取得したユーザの眼球運動に関する眼球運動情報とに基づいて、画像処理を実施する範囲（変換領域）と強度を決定する。コンテンツ制御サーバ１１は、例えば、視点Ｎの位置とターゲットＴＧの位置との間の領域に画像処理を実施する。また、コンテンツ制御サーバ１１は、例えば、ユーザが瞬きをした直後や眼球運動がサッケードである間に、変換領域の画像に関して変換度合を大きくし、その後、徐々に変換度合を小さくするように画像処理の設定を行う。ここでの画像処理は、ユーザの視点Ｎを誘導するための変換を行う画像処理（エフェクト処理）であり、例えば、画像のぼかしや変形に相当する画像処理である。
【0077】
（ステップＳ１０８）コンテンツ制御サーバ１１は、変換領域の画像処理を実施した仮想空間画像のデータ（変換画像のデータ）を用いて、三次元画像表示デバイス１３に表示させる表示画像を生成する。コンテンツ制御サーバ１１は、生成した表示画像のデータを、ユーザ端末装置１２を介して、三次元画像表示デバイス１３に送信する。
【0078】
（ステップＳ１０９）三次元画像表示デバイス１３は、ユーザ端末装置１２を介して取得した表示画像のデータに基づいて、ユーザの左眼用の表示画像をディスプレイ３０３ａに表示し、右眼用の表示画像をディスプレイ３０３ｂに表示する。ユーザは、ディスプレイ３０３ａとディスプレイ３０３ｂとに独立して表示された表示画像を左右の眼で同時に視ることで、三次元の仮想空間画像を認識する。以上の本動作により、ユーザは、三次元の仮想空間画像を視ながら、ユーザの視点ＮはターゲットＴＧに誘導される。
【0079】
以上説明したように、実施形態の画像処理システム１は、表示画像を視るユーザの視点Ｎに関する視点情報を取得する視野情報取得部１１２と、視点情報から特定されるユーザの視野に対応する視野領域Ｋ、及び仮想空間画像における所定のターゲットＴＧの位置に基づいて、仮想空間画像の中から画像を変換する変換領域を抽出する変換領域抽出部１１３と、視点情報に基づいて、変換領域の画像を変換するか否かを判定する変換判定部１１５と、変換判定部１１５により判定された判定結果に基づいて、前記変換領域における画像を、当該変換領域における画像を用いて画像処理した変換画像に変換する画像処理部１１６を備える。これにより、実施形態の画像処理システム１は、ユーザが画像の特定の部分を凝視しているか、画像全体を広く見ているかを判定して、画像全体を見ている場合など画像の変換に気づきやすいタイミングで、画像を変換させることができるため、ユーザの視点Ｎを誘導させることが可能となる。また、画像をぼかすような変換を行うことで、画像に矢印などの図形を追加させたりする目立ちすぎる変更を行う場合に比べてより仮想空間画像への没入感を阻害させることなくユーザの視点Ｎを誘導できる。
【0080】
また、実施形態の画像処理システム１では、視野情報取得部１１２は、ユーザが視る方向を示す視線に関する視線情報を取得し、変換判定部１１５は、視点情報及び視線情報を用いて変換領域の画像を変換するか否を判定する。これにより、実施形態の画像処理システム１は、視点Ｎの有無に加えて、ユーザが視る方向やユーザの視点が移動する方向を用いて変換領域の画像を変換するか否を判定することができるため、より精度よく視野領域Ｋを特定することが可能である。
【0081】
また、実施形態の画像処理システム１では、変換判定部１１５は、ユーザの視点Ｎの有無を検出し、視点Ｎが無い状態から有る状態に検出結果が変化した場合、変換領域の画像を変換すると判定する。これにより、実施形態の画像処理システム１は、ユーザが表示画像を視ている状態である場合に変換領域の画像を変換することができ、ユーザに変換後の画像をより確実に見せることで、ユーザの視点Ｎをより確実に誘導させることが可能となる。
【0082】
また、実施形態の画像処理システム１では、変換判定部１１５は、変換領域の画像を変換する場合における変換領域の画像を変換する変換度合を判定し、視点Ｎが有ると検出した後の経過時間に応じて、変換領域の画像を変換する変換度合を変化させると判定する。これにより、実施形態の画像処理システム１は、ユーザが表示画像を視る時間の長さにより変換度合を強めたり弱めたりすることができ、例えば、ユーザが表示画像を視た直後に変換度合を大きくすることで変換領域の方向に視点Ｎを誘導し、その後に変換度合を徐々に小さくすることにより、ユーザに違和感を持たせることなく表示画像を元の状態に戻すことができる。
【0083】
また、実施形態の画像処理システム１では、変換判定部１１５は、ユーザにおける眼球の動きである眼球運動を検出し、眼球が所定の閾値以上の変化率で動いている場合に、変換領域の画像を変換すると判定する。これにより、実施形態の画像処理システム１は、眼球を頻繁に動かして視野領域Ｋを広く視ており、目立つ物体のみを認識して細かな目立たない物体をほとんど認識していない場合に、変換領域の画像を変換することができ、ユーザに違和感を持たせることなく変換領域の方向に視点Ｎを誘導することができる。
【0084】
また、実施形態の画像処理システム１では、変換領域抽出部１１３は、ターゲットＴＧが視野領域Ｋにおける中心視野領域Ｍの外にある場合に、変換領域を抽出する。これにより、実施形態の画像処理システム１は、ターゲットＴＧが中心視野領域Ｍの外にある場合に変換領域の画像を変換し、ターゲットＴＧが中心視野領域Ｍには変換しないようにすることができ、ユーザが既にターゲットＴＧを視ており視点Ｎを誘導する必要がないと判断できる場合に変換をしないことで、無駄な処理を抑制することができる。
【0085】
また、実施形態の画像処理システム１は、ターゲットＴＧとの相対位置に基づいて、変換領域を複数の分割領域に分割する変換領域分割部１１４を更に備え、変換判定部１１５は、複数の分割領域の画像の各々における画像を変換する変換度合を判定し、複数の分割領域における前記変換度合の量を互いに変化させる。これにより、実施形態の画像処理システム１は、例えば、複数の分割領域の画像のうち、ターゲットＴＧに近い順に徐々に変換度合を大きくしたり小さくしたりすることができ、ユーザに違和感を持たせることなく視点Ｎを徐々にターゲットＴＧの方向へ誘導させることが可能となる。
【0086】
なお、上述した実施形態では、変換領域の抽出や、画像変換の処理をコンテンツ制御サーバ１１が行う場合を例示して説明したが、これに限定されることはない。コンテンツ制御サーバ１１が行う処理の全部又は一部を、ユーザ端末装置１２や三次元画像表示デバイス１３が行うようにしてもよい。
【0087】
また、上述した実施形態では、ユーザ端末装置１２及び三次元画像表示デバイス１３を用いて、仮想空間画像をユーザが視るものとしているが、これに限定されるものではない。例えば、三次元画像表示デバイス１３を用いずに、ユーザ端末装置１２のみを用いてもよい。ユーザ端末装置１２のみを用いた場合、ユーザ端末装置１２が撮像部３０８とディスプレイ３０３とを備えた第２実施形態に係る画像処理システム１となる。第２実施形態では、実施形態１と同様に撮像部３０８ａと撮像部３０８ｂ、ディスプレイ３０３ａとディスプレイ３０３ｂをユーザ端末装置１２に備えてもよく、もしくは１つの撮像部と１つのディスプレイを備えてもよい。また、第２実施形態では、ユーザは、ユーザ端末装置１２のディスプレイ３０３に表示する表示画像を視る。視点情報は、ユーザ端末装置１２の撮像部３０８の撮像手段により取得する。第２実施形態に係る画像処理システム１における動作は、実施形態と第２実施形態との構成の差異による動作の変更以外は、実施形態に係る画像処理システム１における動作とほぼ同様であり、ここでの説明は省略する。
【0088】
また、ユーザが視る表示対象について、本実施形態では、ユーザは三次元画像表示デバイス１３が表示する仮想空間画像としているが、これに限定されるものではない。例えば、三次元表示に限定されるものではなく、二次元表示を対象とした仮想画像や、拡張現実画像等を表示対象としてもよい。例えば、三次元画像表示デバイス１３を用いずにユーザ端末装置１２のみを用いた第２実施形態の場合、表示画面は、ユーザ端末装置１２のディスプレイ３０３に表示された仮想空間画像、仮想画像、拡張現実画像等の任意の表示画像であってもよい。
【0089】
上述した実施形態における画像処理システム１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0090】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0091】
１：画像処理システム、１０：コンテンツＤＢサーバ、１１：コンテンツ制御サーバ、１２：ユーザ端末装置、１３：三次元画像表示デバイス、１１２：視野情報取得部、１１３：変換領域抽出部、１１４：変換領域分割部、１１５：変換判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】