知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024076918
(43)【公開日】2024-06-06
(54)【発明の名称】プログラム、表示制御装置及び画像表示システム
(51)【国際特許分類】
G09G 5/00 20060101AFI20240530BHJP
G09G 5/36 20060101ALI20240530BHJP
G09G 5/377 20060101ALI20240530BHJP
G09G 5/38 20060101ALI20240530BHJP
G06T 19/00 20110101ALI20240530BHJP
H04N 13/344 20180101ALI20240530BHJP
H04N 13/383 20180101ALI20240530BHJP
H04N 13/361 20180101ALI20240530BHJP
H04N 13/239 20180101ALI20240530BHJP
【ＦＩ】
G09G5/00 550C
G09G5/36 500
G09G5/377 100
G09G5/00 530T
G09G5/00 550B
G09G5/38 100
G06T19/00 A
H04N13/344
H04N13/383
H04N13/361
H04N13/239
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022188764
(22)【出願日】2022-11-25
(71)【出願人】
【識別番号】506113602
【氏名又は名称】株式会社コナミデジタルエンタテインメント
(74)【代理人】
【識別番号】100140660
【弁理士】
【氏名又は名称】森本 理恵
(74)【代理人】
【識別番号】100174148
【弁理士】
【氏名又は名称】森本 和教
(72)【発明者】
【氏名】岡村 憲明
【テーマコード（参考）】
5B050
5C061
5C182
【Ｆターム（参考）】
5B050BA11
5B050DA07
5B050EA07
5B050EA19
5B050FA06
5C061AA01
5C061AB04
5C061AB08
5C061AB12
5C061AB20
5C182AA02
5C182AA03
5C182AA04
5C182AA05
5C182AA06
5C182AA26
5C182AA31
5C182AB01
5C182AB02
5C182AB08
5C182AB14
5C182AB34
5C182AC02
5C182AC03
5C182AC43
5C182AC46
5C182BA01
5C182BA03
5C182BA04
5C182BA14
5C182BA29
5C182BA35
5C182BA39
5C182BA46
5C182BA56
5C182BA66
5C182BC01
5C182BC22
5C182BC25
5C182BC26
5C182CA21
5C182CB42
5C182CB47
5C182CB52
5C182CB54
5C182CB55
5C182CC21
5C182DA02
5C182DA04
5C182DA14
5C182DA44
5C182DA52
5C182DA65
(57)【要約】
【課題】複数のカメラで撮像した複数の画像を用いてＨＭＤへＶＲ画像を表示させる場合に、たとえ近距離撮影物を含んでいても違和感の少ないＶＲ画像の表示制御を実現する。
【解決手段】視線方向特定部は、ＶＲ空間に対するユーザの視線の方向であるとする視線方向を特定する。画像生成部は、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるようにＶＲ空間に配置し、視線方向に応じたＶＲ画像を生成する。また、画像生成部は、視線方向に基づいて、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える。
【選択図】図１４
【解決手段】視線方向特定部は、ＶＲ空間に対するユーザの視線の方向であるとする視線方向を特定する。画像生成部は、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるようにＶＲ空間に配置し、視線方向に応じたＶＲ画像を生成する。また、画像生成部は、視線方向に基づいて、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える。
【選択図】図１４
【特許請求の範囲】
【請求項1】
両眼視差を利用した立体視画像として、仮想現実（ＶＲ）空間内の仮想視点からの視界を表すＶＲ画像をヘッドマウントディスプレイの表示部に表示させるための制御を実行するコンピュータを、
前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向を特定する視線方向特定部と、
実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるように前記ＶＲ空間に配置し、前記視線方向に応じた前記ＶＲ画像を生成する画像生成部と、
して機能させ、
前記画像生成部は、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替える
プログラム。
前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向を特定する視線方向特定部と、
実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるように前記ＶＲ空間に配置し、前記視線方向に応じた前記ＶＲ画像を生成する画像生成部と、
して機能させ、
前記画像生成部は、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替える
プログラム。
【請求項2】
前記画像生成部は、前記仮想視点から所定の方向に基準方向を設定し、前記基準方向に対する前記視線方向に基づいて、前記重複領域に表示する前記実写画像を特定する
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項3】
前記画像生成部は、前記仮想視点から前記重複領域内の所定の位置の方向に前記基準方向を設定する
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項4】
前記画像生成部は、前記重複領域に表示する前記実写画像を切り替えたタイミングで、前記重複領域に表示する前記実写画像に応じて前記基準方向を変更する
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項5】
前記視線方向特定部は、前記ヘッドマウントディスプレイの向きに関する検出情報を取得し、当該検出情報に基づいて前記視線方向を特定する
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項6】
前記視線方向特定部は、前記ユーザの視線に関する検出情報を取得し、当該検出情報に基づいて前記視線方向を特定する
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項7】
隣接する前記実写画像同士の領域境界に、前記ユーザが視認可能な境界線を表示する境界線表示部として前記コンピュータを機能させる
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項8】
前記境界線表示部は、前記境界線またはその付近に、前記境界線を挟んでどちら側が前記重複領域であるかを示すための付加情報を表示する
請求項７に記載のプログラム。
請求項７に記載のプログラム。
【請求項9】
前記画像生成部は、前記重複領域に表示する前記実写画像を切り替える場合に、時間経過に応じて、一方の前記実写画像から他方の前記実写画像へと漸次切り替える
請求項７に記載のプログラム。
請求項７に記載のプログラム。
【請求項10】
前記画像生成部は、前記重複領域に表示する前記実写画像を切り替える場合に、時間経過に応じて、前記境界線を切り替え完了後に表示される位置の方へと漸次移動させながら、一方の前記実写画像から他方の前記実写画像へと漸次切り替える
請求項９に記載のプログラム。
請求項９に記載のプログラム。
【請求項11】
前記画像生成部は、前記視線方向に基づいて、前記重複領域に表示する前記実写画像の切替処理をすべきとの判定をしてから当該切替処理を開始するまでに、所定の待機期間を設ける
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項12】
前記画像生成部は、前記ＶＲ画像の前記表示部への表示制御中に、複数の前記実写画像の前記ＶＲ空間への配置状態を変更する
請求項１ないし１１の何れか１項に記載のプログラム。
請求項１ないし１１の何れか１項に記載のプログラム。
【請求項13】
複数の前記実写画像を撮像した複数の前記カメラの撮像方向の変化を特定する撮像方向特定部として前記コンピュータを機能させ、
前記画像生成部は、撮像方向特定部によって特定された前記撮像方向の変化に応じて、前記ＶＲ空間に配置する複数の前記実写画像全体の視界領域の方向を変更する
請求項１ないし１１の何れか１項に記載のプログラム。
前記画像生成部は、撮像方向特定部によって特定された前記撮像方向の変化に応じて、前記ＶＲ空間に配置する複数の前記実写画像全体の視界領域の方向を変更する
請求項１ないし１１の何れか１項に記載のプログラム。
【請求項14】
両眼視差を利用した立体視画像として、仮想現実（ＶＲ）空間内の仮想視点からの視界を表すＶＲ画像をヘッドマウントディスプレイの表示部に表示させるための制御を実行する表示制御装置であって、
前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向を特定する視線方向特定部と、
実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるように前記ＶＲ空間に配置し、前記視線方向に応じた前記ＶＲ画像を生成する画像生成部と、
を含み、
前記画像生成部は、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替える
表示制御装置。
前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向を特定する視線方向特定部と、
実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるように前記ＶＲ空間に配置し、前記視線方向に応じた前記ＶＲ画像を生成する画像生成部と、
を含み、
前記画像生成部は、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替える
表示制御装置。
【請求項15】
両眼視差を利用した立体視画像として、仮想現実（ＶＲ）空間内の仮想視点からの視界を表すＶＲ画像を表示部に表示するヘッドマウントディスプレイと、前記ＶＲ画像を前記表示部に表示させるための制御を実行する表示制御装置と、を具備する画像表示システムであって、
前記表示制御装置は、
前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向を特定する視線方向特定部と、
実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるように前記ＶＲ空間に配置し、前記視線方向に応じた前記ＶＲ画像を生成する画像生成部と、
を含み、
前記画像生成部は、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替える
画像表示システム。
前記表示制御装置は、
前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向を特定する視線方向特定部と、
実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるように前記ＶＲ空間に配置し、前記視線方向に応じた前記ＶＲ画像を生成する画像生成部と、
を含み、
前記画像生成部は、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替える
画像表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はプログラム、表示制御装置及び画像表示システムに関する。
【背景技術】
【0002】
従来より、両眼視差を利用した立体視可能な仮想現実（ＶＲ：Virtual Reality）画像を表示するヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）が知られている。このＨＭＤでは、コンピュータによって生成されたＶＲ空間や実空間を撮像した実写の画像（静止画または動画）等を表示できる。実写の画像の場合、例えば広角レンズを用いた１台のステレオカメラ等でも、ある程度の視野角を確保した広視野角画像を得られるが、カメラの視軸方向から大きく離れた方向では、立体視し難くなる。この立体視し難い問題を低減すべく、複数のカメラを利用して領域を分けて撮像した複数の画像を合成処理して、広視野角画像を得る方法もある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１１－２２７３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数のカメラはそれぞれ体積を有し、撮像中心が一点に集中するように複数のカメラを配置することは物理的に不可能である。このため、複数のカメラで撮像した画像は、隣接画像間の領域境界でズレが発生し、継ぎ目（画素間の濃淡の極端な相違等）が生じることになる。このため、領域を分けた複数のカメラによる撮像では、最終的な一つの画像データにする場合、各カメラで撮像された画像を繋ぎ合わせるステッチング処理を行う必要がある。このステッチング処理は、専用のソフトウェアで自動で行うこともできるが、継ぎ目の分からないより自然な画像とするためには、人の手で手間を要して行う必要がある。ここで、隣接画像間のズレの度合いは、カメラと撮影対象との距離に依存し、撮影対象がカメラから近いほどズレの度合いも大きくなり、ステッチング処理も難しくなる。特にカメラと撮影対象との距離が一定以下（例えば２ｍ以下等）の場合、前記ズレ度合いもかなり大きなものとなり、ステッチングは困難となる。このため、複数のカメラで撮像した複数の画像をステッチングにより合成する従来技術の場合、カメラから一定距離以下となるような近距離撮影物を含むＶＲ画像を作成して、ＨＭＤに違和感の少ない表示をすることは、実質不可能であった。
【0005】
そこで、本発明の目的の一つは、複数のカメラで撮像した複数の画像を用いてＨＭＤへＶＲ画像を表示させる場合に、たとえ近距離撮影物を含んでいても違和感の少ないＶＲ画像の表示制御を実現することである。
【課題を解決するための手段】
【0006】
本発明の一態様によるプログラムは、両眼視差を利用した立体視画像として、仮想現実（ＶＲ）空間内の仮想視点からの視界を表すＶＲ画像をヘッドマウントディスプレイの表示部に表示させるための制御を実行するコンピュータを、前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向を特定する視線方向特定部と、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるように前記ＶＲ空間に配置し、前記視線方向に応じた前記ＶＲ画像を生成する画像生成部と、して機能させ、前記画像生成部は、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替える。
【図面の簡単な説明】
【0007】
【図1】本発明の一実施の形態に係る画像表示システムのハードウェア構成の一例を示す概略のブロック図である。
【図2】ＶＲ空間の方向の定義を示す図である。
【図3】ＶＲ空間内の仮想視点からの視界を表すＶＲ画像を説明するための図である。
【図4】１台のステレオカメラで撮像された実写画像の問題点を説明するための図である。
【図5】複数のステレオカメラを利用して撮像する一例を示す図である。
【図6】隣接する２台のカメラでそれぞれ撮像された画像間でズレが生じる例を説明するための図である。
【図7】撮像方向が異なる２台のカメラで領域を２つに分けて撮像する一例を示す図である。
【図8】撮像方向が異なる２台のカメラでそれぞれ撮像された実写画像の視界領域の一例を概念的に表す図である。
【図9】隣接する実写画像の視界領域の一部が互いに重なる重複領域が生じるようにＶＲ空間に配置した一例を概念的に表す図である。
【図10】ＶＲ空間において重複領域に第１の画像を表示した一例を表す図である。
【図11】ＶＲ空間において重複領域に第２の画像を表示した一例を表す図である。
【図12】重複領域外に基準方向を設定した一例を示す図である。
【図13】隣接する実写画像の現在の領域境界を基準に、重複領域に表示する実写画像を動的に切り替える一例を示す図である。
【図14】表示制御装置の機能的な構成の一例を示す概略の機能ブロック図である。
【図15】表示制御装置の処理の一例を示すフローチャートである。
【図16】基準方向を変更する一例を示す図である。
【図17】基準方向を変更する処理の一例を示すフローチャートである
【図18】ＨＭＤの表示部に表示されている画面の一例を示す図である。
【図19】ＨＭＤの表示部に表示されている画面の一例を示す図である。
【図20】表示制御装置の機能的な構成の一例を示す概略の機能ブロック図である。
【図21】境界線とともにグラデーション部を表示させた画面の一例を示す図である。
【図22】境界線とともにグラデーション部を表示させた画面の一例を示す図である。
【図23】境界線を表示する処理の一例を示すフローチャートである。
【図24】実写画像を漸次切り替える処理の一例を示すフローチャートである。
【図25】境界線が移動する画面の一例を示す図である。
【図26】３台のカメラで撮像された左画像、正面画像および右画像のそれぞれの視界領域をＶＲ空間に配置した一例を概念的に表す図である。
【図27】重複領域における実写画像の切替処理の一例を示すフローチャートである。
【図28】シーンによってＶＲ空間への画像の配置状態が変更される一例を説明する図である。
【図29】ＶＲ空間への画像の配置状態を変更する処理の一例を示すフローチャートである。
【図31】撮像方向の回転の情報を利用しない場合における、ＶＲ空間の視界領域の変化の一例を示す図である。
【図32】撮像方向の回転の情報を利用した場合における、ＶＲ空間の視界領域の変化の一例を示す図である。
【図33】ＶＲ空間の全体視界領域の方向を変更する処理の一例を示すフローチャートである。
【図34】ＨＭＤの一例を示す図である。
【図35】スタンドアローン型のＨＭＤ、又はＨＭＤとして用いられる情報処理装置のハードウェア構成の一例を示す概略のブロック図である。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態の一例を、図面を参照しながら説明する。
【0009】
［１．画像表示システムの構成例］
図１は、本発明の実施の形態に係る画像表示システム１のハードウェアの構成例を示す概略のブロック図である。この画像表示システム１は、ＨＭＤ１０と、ＨＭＤ１０に対する表示制御を実行する表示制御装置２０とを含んでいる。
図１は、本発明の実施の形態に係る画像表示システム１のハードウェアの構成例を示す概略のブロック図である。この画像表示システム１は、ＨＭＤ１０と、ＨＭＤ１０に対する表示制御を実行する表示制御装置２０とを含んでいる。
【0010】
ＨＭＤ１０は、ユーザの頭部に装着され（図２参照）、左右両眼視差を利用した立体視可能な広視野角画像（静止画または動画）を表示可能である。また、ＨＭＤ１０は、ジャイロセンサ等のＨＭＤ１０の動きや傾きを検出するセンサ１２を搭載しており、ＨＭＤ１０を装着しているユーザの頭部の動きや傾きの変化などを検出し、その変化に応じてＶＲ空間内の視界を表すＶＲ画像を表示する。例えば、ＨＭＤ１０に表示されるＶＲ画像は、ユーザの頭部が右方向を向けばＶＲ空間内の右方向の視界に対応するＶＲ画像に変化し、上をむけばＶＲ空間内の上方向の視界に対応するＶＲ画像に変化するので、あたかもその場にいるような没入感をユーザに与えることができる。
【0011】
ＨＭＤ１０は、主に、表示部１１、センサ１２、プロセッサ１３、記憶装置１４等を含む。
表示部１１は、ＶＲ画像、テキスト等の各種情報を表示するディスプレイである。表示部１１は、例えばハーフミラー等を利用することにより虚像を形成する虚像投影方式のディスプレイであってもよい。また、表示部１１は、例えば、ユーザの目の水晶体を利用して網膜に、直接、ＶＲ画像を結像させる網膜投影方式のディスプレイであってもよい。表示部１１は、ＶＲ空間内の仮想視点からの視界を表すＶＲ画像として、両眼視差を利用した立体視画像（右目用画像及び左目用画像）を表示する。
表示部１１は、ＶＲ画像、テキスト等の各種情報を表示するディスプレイである。表示部１１は、例えばハーフミラー等を利用することにより虚像を形成する虚像投影方式のディスプレイであってもよい。また、表示部１１は、例えば、ユーザの目の水晶体を利用して網膜に、直接、ＶＲ画像を結像させる網膜投影方式のディスプレイであってもよい。表示部１１は、ＶＲ空間内の仮想視点からの視界を表すＶＲ画像として、両眼視差を利用した立体視画像（右目用画像及び左目用画像）を表示する。
【0012】
センサ１２は、ＨＭＤ１０の回転角や傾きなどの姿勢情報を検出する。このセンサ１２の出力により、ＨＭＤ１０の向きに関する検出情報を得ることができる。例えば、センサ１２は、物体の角速度を検出する角速度センサ（ジャイロセンサ）である。なお、センサ１２は、方向の変化を検出するセンサであってもよいし、方向そのものを検出するセンサであってもよい。例えば、センサ１２は、ジャイロセンサに限られるものではなく、加速度センサ、角加速度センサ、傾斜センサ、地磁気センサ等であってもよく、これらを適宜組み合わせて実現することができる。
【0013】
プロセッサ１３は、ＨＭＤ１０が備える各部を制御する制御中枢として機能する。例えば、プロセッサ１３はＣＰＵ（Central Processing Unit）である。プロセッサ１３は、ＣＰＵに加え、またはＣＰＵに代えて、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、またはＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを含んで構成されてもよい。プロセッサ１３は、例えば、表示制御装置２０から受信したＶＲ画像信号を、インタフェースを介して表示部１１に供給する制御を行う。
記憶装置１４は、プロセッサ１３が実行するプログラムを記憶したり、プロセッサ１３が処理するデータやパラメータを一時的に記憶したりする。記憶装置１４は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＶＲＡＭ（Video Random Access Memory）、補助記憶装置等を含む。補助記憶装置としては、不揮発性の半導体メモリ、ハードディスクドライブ、ソリッドステートドライブ等を用いることができる。
記憶装置１４は、プロセッサ１３が実行するプログラムを記憶したり、プロセッサ１３が処理するデータやパラメータを一時的に記憶したりする。記憶装置１４は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＶＲＡＭ（Video Random Access Memory）、補助記憶装置等を含む。補助記憶装置としては、不揮発性の半導体メモリ、ハードディスクドライブ、ソリッドステートドライブ等を用いることができる。
【0014】
また、ＨＭＤ１０は、ネットワークアダプタ等を備えており、ネットワーク経由でＶＲ画像を入力できるようにしてもよい。また、ＨＭＤ１０は、その他に音声出力部、ＧＰＳ（Global Positioning System）受信部等を備えていてもよい。
【0015】
表示制御装置２０は、無線または有線でＨＭＤ１０と通信可能に接続され、ＨＭＤ１０に対する表示制御を実行する。表示制御装置２０は、例えば、据置型または携帯型のゲーム機である。表示制御装置２０は、遊戯施設等に設置される業務用（商業用）ゲーム機であってもよい。あるいは、表示制御装置２０は、パーソナルコンピュータ、タブレット型コンピュータ、スマートフォン、携帯電話端末、ＰＨＳ（Personal Handy-phone System）端末、携帯情報端末（ＰＤＡ：Personal Digital Assistant）、情報処理機能を備えた多機能型テレビジョン受像機（いわゆるスマートテレビ）等であってもよい。
【0016】
表示制御装置２０は、主に、プロセッサ２１、記憶装置２２、操作部２３、および通信部２４を備え、これらはアドレスバス、データバス及びコントロールバス等を含むバスラインを介して相互に接続されている。なお、バスラインと各構成要素との間には必要に応じてインタフェース回路、画像処理部、またはサウンド処理部等が介在しているが、ここでは図示を省略している。
【0017】
プロセッサ２１は、プログラムの命令を解釈して実行し、表示制御装置２０全体の制御を行う。例えば、プロセッサ２１はＣＰＵである。プロセッサ２１は、ＣＰＵに加え、またはＣＰＵに代えて、ＧＰＵ、ＤＳＰ、またはＦＰＧＡ等のハードウェアを含んで構成されてもよい。記憶装置２２は、例えば、ＲＯＭ、ＲＡＭ、ＶＲＡＭ、補助記憶装置等を含む。ＲＯＭは、表示制御装置２０の基本的な動作制御に必要なプログラムやデータ等を記憶している。ＲＡＭまたはＶＲＡＭは、各種プログラム及びデータを記憶し、プロセッサ２１に対する作業領域を確保する。補助記憶装置は、プログラムや各種データ等を格納するものであり、例えば、不揮発性の半導体メモリ、ハードディスクドライブ、ソリッドステートドライブ等を用いることができる。
【0018】
また、表示制御装置２０は、記録媒体ドライブを具備していてもよい。記録媒体ドライブとしては、例えば、ＤＶＤ－ＲＯＭドライブ、ＣＤ－ＲＯＭドライブ、ハードディスクドライブ、光ディスクドライブ、フレキシブルディスクドライブ、シリコンディスクドライブ、カセット媒体読み取り機等が用いられる。この場合、記録媒体としては、ＤＶＤ－ＲＯＭ、ＣＤ－ＲＯＭ、ハードディスク、光ディスク、フレキシブルディスク、半導体メモリ等が用いられる。記録媒体ドライブは、記録媒体から画像データ、音声データ及びプログラムデータを読み出し、読み出したデータをデコーダを介して記憶装置２２のＲＡＭ等に供給する。
【0019】
例えば、ＶＲ画像用にあらかじめ実空間を撮像した実写画像を含む画像データ、当該画像データを含むゲーム等のプログラムは、記憶装置２２（補助記憶装置等）に記憶されていたり、記録媒体ドライブから読み出される。
【0020】
操作部２３は、ユーザが種々の操作命令を表示制御装置２０に入力するためのものである。例えば、ユーザは、ＶＲ画像を見るための操作、またはＶＲ画像を含むゲームの操作等を行う。操作部２３の一例としては、タッチインタフェースを備えた位置入力部（タッチパネルの構成要素等）、物理的なボタン、コントローラ、アナログスティック、キーボード、ポインティングデバイス等を挙げることができる。また、マイクロフォン等の音声入力部から入力された音声を識別することにより、音声入力可能な操作部２３として構成してもよい。また、操作部２３は、ユーザのジェスチャによって操作を行うためのものであってもよい。
【0021】
通信部２４は、図示しない通信インタフェースを備え、ゲーム等の実行時にデータ通信するための通信制御機能を有している。ここで、データ通信用の通信制御機能には、例えば、インターネット接続機能、無線ＬＡＮ（Local Area Network）接続機能、所定の周波数帯（例えば２．４ＧＨｚの周波数帯）を用いた近距離無線通信機能などが含まれる。通信部２４は、プロセッサ２１からの命令に基づいて表示制御装置２０をネットワークに接続するための接続信号を発信するとともに、通信相手側から送信されてきた情報を受信してプロセッサ２１へ供給する。
【0022】
後述するように、本実施の形態の画像表示システム１または表示制御装置２０は、ＶＲ画像をＨＭＤ１０に表示させる場合に、ステッチング処理をせずとも、複数のカメラで撮像した複数の実写画像同士の継ぎ目（ズレ）の違和感を低減することができる。よって、ネットワーク経由で配信される遠隔地のライブ映像を通信部２４で受信し、略リアルタイムでライブ映像をＶＲ画像としてＨＭＤ１０に表示させるようにすることも可能である。
【0023】
また、表示制御装置２０には、ＨＭＤ１０の位置（またはＨＭＤ１０を装着したユーザの頭の位置）の位置を検出するトラッキング部が接続されていてもよい。例えば、ＨＭＤ１０はトラッキング用の複数の光源（ＬＥＤ等）を備え、トラッキング部はＨＭＤ１０を撮影するための撮影部を備える。所定位置に固定されたトラッキング部は、撮影部によって撮影される画像に写る複数の光源部の位置に基づいて、ＨＭＤ１０の位置を特定する。また、表示制御装置２０は、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示部を備えていてもよい。
【0024】
［２．ＶＲ空間の方向について］
図２は、本実施形態に係るＶＲ空間の方向の定義を示す図である。本実施形態では、ＶＲ空間内のＶＲ画像を表示するＨＭＤ１０を頭部に装着したユーザが直立する方向である垂直方向をＺ軸とする。また、Ｚ軸に直交する水平方向の軸であって、正面を向いたユーザの視線の方向（ＶＲ空間に対する基準の視線方向）をＸ軸とし、Ｚ軸及びＸ軸と直交する水平方向の軸をＹ軸とする。
図２は、本実施形態に係るＶＲ空間の方向の定義を示す図である。本実施形態では、ＶＲ空間内のＶＲ画像を表示するＨＭＤ１０を頭部に装着したユーザが直立する方向である垂直方向をＺ軸とする。また、Ｚ軸に直交する水平方向の軸であって、正面を向いたユーザの視線の方向（ＶＲ空間に対する基準の視線方向）をＸ軸とし、Ｚ軸及びＸ軸と直交する水平方向の軸をＹ軸とする。
【0025】
例えば、画像表示システム１を起動した際に、ＨＭＤ１０の視軸方向（ＨＭＤ１０の表示部１１の表示面と直交する方向）がＶＲ空間に対する基準の視線方向として設定される。また、例えば、ＨＭＤ１０を頭部に装着して正面を向いたユーザが所定の操作をすることにより、ＶＲ空間に対する基準の視線方向を調整できるようにしてもよい。
【0026】
ここで、Ｚ軸を軸とした回転方向への変化をヨー方向（左右方向）への変化、Ｙ軸を軸とした回転方向への変化をピッチ方向（上下方向）への変化、Ｘ軸を軸とした回転方向への変化をロール方向への変化という。例えば、ＨＭＤ１０の上述したセンサ１２は、各軸の回転方向（ヨー方向、ピッチ方向、およびロール方向）の角速度または角加速度を検出する。なお、ヨー方向への変化を左右方向への変化といい、また、ピッチ方向への変化を上下方向への変化ということがある。
【0027】
図３は、本実施形態に係るＶＲ空間内の仮想視点からの視界を表すＶＲ画像（視界画像）を説明するための図である。この図において、ＶＲ空間Ｖ内の仮想視点Ｐ（ユーザの仮想視点）をＸ軸、Ｙ軸およびＺ軸の交点（原点）とする。例えば、ユーザが正面を向いており、ＶＲ空間Ｖに対するユーザの視線の方向がＸ軸（基準の視線方向）にあるものとする。この場合、ＶＲ空間Ｖにおける仮想視点Ｐからの視界を表すＶＲ画像の範囲は、基準の視線方向（Ｘ軸方向）を中心としたヨー角α（破線ａと破線ｂとの内角、及び破線ｃと破線ｄとの内角）とピッチ角β（破線ａと破線ｄとの内角、及び破線ｂと破線ｃとの内角）とで定まる範囲である。ここで、ヨー角αは水平視野角、ピッチ角βは垂直視野角であり、画像表示システム１においてＨＭＤ１０に表示させるＶＲ画像の視野角として予め設定されている。
【0028】
例えば、ＨＭＤ１０を装着したユーザの頭部がピッチ方向またはヨー方向に変化すると、ＨＭＤ１０の向き・姿勢の変化（ＨＭＤ１０の視軸方向の変化）がセンサ１２等により検出される。このセンサ１２等による検出情報に基づいて、表示制御装置２０のプロセッサ２１は、ＶＲ空間Ｖに対する視線方向がＸ軸方向（基準の視線方向）からピッチ方向またはヨー方向に変化したと判断する。このＶＲ空間Ｖに対する視線方向の変化に応じて、表示部１１に表示されるＶＲ画像の範囲が変更される。同様に、ＨＭＤ１０を装着したユーザの頭部がロール方向に変化すると、その変化がセンサ１２等により検出され、視線方向はＸ軸方向のまま、表示部１１に表示されるＶＲ画像の範囲がロール方向に回転する。このように、ＨＭＤ１０の向き（姿勢）に応じて、表示部１１に表示されるＶＲ画像の範囲が変更される。
【0029】
また、ＶＲ空間Ｖ内には、各種オブジェクト、線、記号、文字等の実写以外の表示対象を必要に応じて配置することもできる。例えば、後述の「境界線」等が実写のＶＲ画像に重畳されて表示部１１に表示されるようにしてもよい。
【0030】
なお、両眼視差を利用した立体視画像を表示する場合、右目用と左目用のそれぞれの仮想視点に対応する視線方向があり、それぞれの視線方向の右目用ＶＲ画像および左目用ＶＲ画像が、ＨＭＤ１０の表示部１１に表示される。
【0031】
［３．カメラによって撮像される実写画像について］
本実施の形態の画像表示システム１では、実空間を撮像するカメラによって撮像された実写画像を用いて、両眼視差を利用した立体視可能なＶＲ画像を生成してＨＭＤ１０に表示させる。本実施の形態の画像表示システム１で使用される実写画像を説明する前に、１台のカメラによって撮像される実写画像等の問題点を説明する。
本実施の形態の画像表示システム１では、実空間を撮像するカメラによって撮像された実写画像を用いて、両眼視差を利用した立体視可能なＶＲ画像を生成してＨＭＤ１０に表示させる。本実施の形態の画像表示システム１で使用される実写画像を説明する前に、１台のカメラによって撮像される実写画像等の問題点を説明する。
【0032】
図４は、左目用カメラ１０１および右目用カメラ１０２を備えた１台のカメラ１００（いわゆるステレオカメラ）で撮像された実写画像の問題点を説明するための図である。カメラ１００は、実空間の異なる位置にあり、カメラ１００からは同じ距離に存在するオブジェクトＡおよびＢを撮像している。オブジェクトＡはカメラ１００の視軸方向（≒レンズ中心の方向）ＸＣにあり、オブジェクトＢは前記視軸方向ＸＣに対して右の方向にある。オブジェクトＡと左目用カメラ１０１および右目用カメラ１０２とのなす角度（輻輳角）θ１に比して、オブジェクトＢと左目用カメラ１０１および右目用カメラ１０２とのなす角度θ２は、オブジェクトＡおよびＢがカメラ１００から等距離にあるにも関わらず小さくなってしまう。このため、カメラ１００の視軸方向ＸＣから角度が大きく離れた方向については、距離感が認識し辛く立体視し難い画像になってしまうという問題がある。
【0033】
前記の問題を解決するためには、図５に例示するように、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラ１００を利用して、撮像領域を分けて撮像することが有効である。図５の例では、３台のカメラ１００により、撮像領域を、左、正面および右の３つの領域に分けて撮像している。このように全体の撮像領域を複数に分割することで、それぞれの撮像領域内にカメラの視軸方向ＸＣが存在し、視軸方向ＸＣから角度が大きく離れる方向を少なくすることができる。このため、撮像方向がそれぞれ異なる複数のカメラ１００で撮像した複数の画像を用いれば、立体視し難い画像になるという問題を低減することができる。
【0034】
なお、従来では、領域を分けた複数のカメラにより撮影された複数の画像を、最終的に一つの画像データにしていた。このため、各カメラで撮像された隣接する画像を繋ぎ合わせるステッチング処理を行う必要があった。このステッチング処理は、専用のソフトウェアで自動で行うこともできるが、継ぎ目の分からないより自然な画像とするためには、人の手で手間を要して行う必要がある。ステッチング処理に手間を要する要因の一つは、撮像に利用した各カメラの位置のズレにある。すなわち、複数のカメラは、互いに近接した位置に配置はするものの、実空間を撮像する以上、同時に完全に同一の位置に配置することは、物理的にできない。そのため、隣接するカメラで撮像された隣接画像間の領域境界付近でズレが生じることになる。これを以下に説明する。
【0035】
図６は、正面の領域を撮像するカメラ１００ａおよび右の領域を撮像するカメラ１００ｂでそれぞれ撮像された画像間でズレが生じる例を説明するための図である。ここでは、便宜上、２台のカメラ１００ａ・１００ｂのそれぞれの左目用カメラ１０１で撮像する場合を例示して説明するが、右目用カメラ１０２で撮像する場合も同様である。撮像対象のオブジェクトＣおよびＤは、カメラ１００ａの右側、およびカメラ１００ｂの左側に位置し、カメラ１００ａ・１００ｂの撮像領域の領域境界付近に存在する。また、オブジェクトＣは、オブジェクトＤよりも奥（カメラ１００ａ・１００ｂから離れた位置）に存在する。この場合、正面の領域を撮像するカメラ１００ａで撮像すると、オブジェクトＤが奥にあるオブジェクトＣよりも少し右側に位置するような画像が撮像される。一方、右の領域を撮像するカメラ１００ｂで撮像すると、オブジェクトＤがオブジェクトＣより少し左側に位置するような画像が撮像される。このようにカメラ１００ａ・１００ｂは、それぞれ同じオブジェクトＣおよびＤを同時に撮像しているにもかかわらず、両者の撮像した画像には明らかなズレが生じる。
【0036】
従来のステッチング処理では、前述のような隣接する画像間のズレを、より自然な画像とするために、人の手で画像を加工する（ごまかす）必要があり、手間がかかることになる。前述の隣接画像間の領域境界付近のズレの度合いは、カメラ１００ａ・１００ｂと撮像対象との距離に依存する。すなわち、領域境界付近にある撮像対象（前記のオブジェクトＣ・Ｄ等）がカメラ１００ａ・１００ｂから十分遠い位置にある場合、隣接画像間のズレの度合いも小さくなるため、従来のステッチング処理も比較的容易である。一方、領域境界付近にある撮像対象がカメラ１００ａ・１００ｂから近い位置にある場合、隣接画像間のズレの度合いも相対的に大きくなり、ステッチングも難しくなる。特に、領域境界付近にある撮像対象とカメラ１００ａ・１００ｂとが一定以下（例えば２ｍ以下など）の場合、隣接画像間のズレの度合いもかなり大きなものとなり、ステッチング処理は困難となる。そのため、複数のカメラで撮像した複数の画像をステッチングにより最終的に一つのＶＲ画像データにしていた従来の場合、カメラから一定距離以下となるような近距離撮影物を含むＶＲ画像データを作成することは、実質不可能であった。
【0037】
そこで、本実施の形態の画像表示システム１または表示制御装置２０では、複数のカメラで撮像された複数の画像に対して、従来のステッチング処理を行わずに、以下に説明するＶＲ画像の表示制御を実行する。
【0038】
［４．ＶＲ画像の表示制御］
本実施の形態の画像表示システム１または表示制御装置２０において実行するＶＲ画像表示制御の概要は、次のとおりである。すなわち、画像表示システム１または表示制御装置２０は、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、ステッチング処理を行うことなく、ＶＲ空間に配置するという特徴的な処理を実行する。ここで、前記の複数の実写画像をＶＲ空間に配置するに際して、隣接する実写画像の視界領域の一部が互いに重なる重複領域が生じるようにＶＲ空間に配置する。そして、ＶＲ空間に対する視線方向（ユーザの視線の方向であると判断し得る方向）に応じて、前記重複領域における隣接する実写画像同士の領域境界を動的に変更する。これにより、隣接する実写画像の領域境界に発生し易い画像のズレをできるだけ視線方向から遠ざけ、ステッチング処理を行うことなく、前記画像のズレによる不自然さを低減したＶＲ画像をＨＭＤ１０に表示させるという特徴的な表示制御を実現する。
本実施の形態の画像表示システム１または表示制御装置２０において実行するＶＲ画像表示制御の概要は、次のとおりである。すなわち、画像表示システム１または表示制御装置２０は、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、ステッチング処理を行うことなく、ＶＲ空間に配置するという特徴的な処理を実行する。ここで、前記の複数の実写画像をＶＲ空間に配置するに際して、隣接する実写画像の視界領域の一部が互いに重なる重複領域が生じるようにＶＲ空間に配置する。そして、ＶＲ空間に対する視線方向（ユーザの視線の方向であると判断し得る方向）に応じて、前記重複領域における隣接する実写画像同士の領域境界を動的に変更する。これにより、隣接する実写画像の領域境界に発生し易い画像のズレをできるだけ視線方向から遠ざけ、ステッチング処理を行うことなく、前記画像のズレによる不自然さを低減したＶＲ画像をＨＭＤ１０に表示させるという特徴的な表示制御を実現する。
【0039】
この本実施の形態のＶＲ画像表示制御を説明するに際し、以下では、説明を簡略化するため、水平視野角を拡大するために左右の２方向の領域に分けた例（すなわち、左方向および右方向をそれぞれ撮像する２台のカメラで撮像された２つの実写画像を用いた例）として説明する。なお、領域の分割数については、２以上であればよいので、例えば前述のように左方向、正面方向、右方向の３方向に分割してもよいし、さらに後方を加えた４方向に分割してもよい。さらに細かく例えば８方向の領域に分割してもよい。また、垂直視野角を拡大するために、例えば上下の２方向（または３以上の方向）に分割してもよい。
また、以下では、説明を簡略化するため、ＨＭＤ１０の傾きについては、ピッチ方向（上下方向）およびロール方向（視軸回転方向）を考慮せず、ヨー方向（左右方向）のみを考慮するものとする。
また、両眼視差を利用した立体視可能なＶＲ画像がＨＭＤ１０の表示部１１に表示される場合、右目用ＶＲ画像および左目用ＶＲ画像がそれぞれ表示されるが、以降では説明を簡略化するために、右目用と左目用とを区別せずに説明する。
また、以下では、説明を簡略化するため、ＨＭＤ１０の傾きについては、ピッチ方向（上下方向）およびロール方向（視軸回転方向）を考慮せず、ヨー方向（左右方向）のみを考慮するものとする。
また、両眼視差を利用した立体視可能なＶＲ画像がＨＭＤ１０の表示部１１に表示される場合、右目用ＶＲ画像および左目用ＶＲ画像がそれぞれ表示されるが、以降では説明を簡略化するために、右目用と左目用とを区別せずに説明する。
【0040】
図７は、撮像方向がそれぞれ異なる２台のステレオカメラで水平画角１８０度の領域を２つに分けて撮像する一例を示す図である。左方向の領域を撮像する第１のカメラ１００Ｌの水平画角θP1は１２０度であり、右方向の領域を撮像する第２のカメラ１００Ｒの水平画角θP2も１２０度である。第１のカメラ１００Ｌの視軸方向ＸＣ１と第２のカメラ１００Ｒの視軸方向ＸＣ２がなす角を６０度とし、第１のカメラ１００Ｌおよび第２のカメラ１００Ｒが近接して配置される。
【0041】
図８は、第１のカメラ１００Ｌにより撮像された第１の画像の視界領域Ａ１および第２のカメラ１００Ｒにより撮像された第２の画像の視界領域Ａ２を概念的に表す図である。実際には、第１の画像の視界領域Ａ１および第２の画像の視界領域Ａ２のそれぞれには、右目用と左目用とがあるが、以下では右目用または左目用のいずれかとする。ここで、「視界領域」は、一のカメラで撮影された実写画像におけるＨＭＤ１０の表示部１１上で表示し得る領域であり、ＶＲ空間において当該実写画像が配置される領域とする。図８の例では、第１の画像の視界領域Ａ１の視野角θA1および第２の画像の視界領域Ａ２の視野角θA2は、ともに１２０度である。そして、図９に例示するように、隣接する視界領域Ａ１・Ａ２によって、１８０度の全体視界領域を構成する。
【0042】
図９は、左側の第１の画像の視界領域Ａ１および右側の第２の画像の視界領域Ａ２の一部が互いに重なる重複領域ＡＯが生じるようにＶＲ空間Ｖに配置した一例を概念的に表す図である。換言すれば、図９は、第１の画像および第２の画像を配置したＶＲ空間ＶのＸＹ断面を概念的に表す図である（例えば図１０等、以降に示すＶＲ空間Ｖを表す図も同様）。図９の例では、ＶＲ空間Ｖの全体視界領域は１８０度であり、第１の画像の視界領域Ａ１の視野角θA1＝１２０度、第２の画像の視界領域Ａ２の視野角θA2＝１２０度であるため、両者が重複する重複領域ＡＯの視野角θAO＝６０度となる。重複領域ＡＯは、第１の画像および第２の画像の領域境界ＢＤ１・ＢＤ２に挟まれる領域である。図９の例では、ＶＲ空間Ｖ内の仮想視点Ｐから重複領域ＡＯの中心を通る方向がＸ軸の方向となる。そして、重複領域ＡＯには、第１の画像または第２の画像の何れかが選択的に表示されることになる。また、第１の画像のみの視界領域（Ｙ軸と領域境界ＢＤ２とに挟まれた領域）、および第２の画像のみの視界領域（Ｙ軸と領域境界ＢＤ１とに挟まれた領域）は、ともに６０度の視野角となる。
【0043】
図１０は、ＶＲ空間Ｖにおいて重複領域ＡＯに第１の画像（第１の画像の視界領域Ａ１）を表示した一例を表す図である。また、図１１は、ＶＲ空間Ｖにおいて重複領域ＡＯに第２の画像（第２の画像の視界領域Ａ２）を表示した一例を表す図である。重複領域ＡＯに左側の視界領域Ａ１の第１の画像が選択的に表示された場合、図１０に例示するように、第１の画像と第２の画像との境界は、重複領域ＡＯの右端の領域境界ＢＤ１になる。一方、重複領域ＡＯに右側の視界領域Ａ２の第２の画像が選択的に表示された場合、図１１に例示するように、第１の画像と第２の画像との境界は、重複領域ＡＯの左端の領域境界ＢＤ２になる。このように、重複領域ＡＯに表示する実写画像（第１の画像、第２の画像）を選択的に切り替えることにより、隣接する実写画像同士の領域境界（ＢＤ１、ＢＤ２）が変化する。
【0044】
重複領域ＡＯに、第１の画像または第２の画像のどちらを表示するのかについては、視線方向Ｓに基づいて判定する。視線方向Ｓは、ＨＭＤ１０のセンサ１２等による検出情報によって（すなわち、ＨＭＤ１０の向きによって）特定できる。そこで、ＨＭＤ１０の視軸方向を視線方向Ｓとみなして、ＨＭＤ１０のヨー方向の向きに基づいて重複領域ＡＯに表示する実写画像を切り替える例を説明する。
なお、図１０および図１１において、ＨＭＤ１０の向き（ＨＭＤ１０の視軸方向）と、ＶＲ空間Ｖにおける重複領域ＡＯの表示切り替えとの関係を示すために、仮想視点Ｐ付近にＨＭＤ１０の向きのイメージを表示している（以降に示すＶＲ空間Ｖを表す図も同様）。
なお、図１０および図１１において、ＨＭＤ１０の向き（ＨＭＤ１０の視軸方向）と、ＶＲ空間Ｖにおける重複領域ＡＯの表示切り替えとの関係を示すために、仮想視点Ｐ付近にＨＭＤ１０の向きのイメージを表示している（以降に示すＶＲ空間Ｖを表す図も同様）。
【0045】
図１０および図１１では、仮想視点Ｐから重複領域ＡＯの中心を通る方向に、重複領域ＡＯに表示する実写画像を切り替える判断基準となる「基準方向ＲＤ」を設定した例を示している。図１０の例では、視線方向Ｓ（ＨＭＤ１０の視軸方向）が、基準方向ＲＤよりも左側（すなわち第１の画像側）にある。この場合、重複領域ＡＯには左側の視界領域Ａ１の第１の画像が表示される。またこの場合、第１の画像の視界領域Ａ１と第２の画像の視界領域Ａ２との境界は、領域境界ＢＤ１となるので、領域境界ＢＤ１は視線方向Ｓから離れている。
一方、図１１の例では、視線方向Ｓ（ＨＭＤ１０の視軸方向）が、基準方向ＲＤよりも右側（すなわち第２の画像側）にある。この場合、重複領域ＡＯには右側の視界領域Ａ２の第２の画像が表示される。またこの場合、第１の画像の視界領域Ａ１と第２の画像の視界領域Ａ２との境界は、領域境界ＢＤ２となるので、領域境界ＢＤ２は視線方向Ｓから離れている。
一方、図１１の例では、視線方向Ｓ（ＨＭＤ１０の視軸方向）が、基準方向ＲＤよりも右側（すなわち第２の画像側）にある。この場合、重複領域ＡＯには右側の視界領域Ａ２の第２の画像が表示される。またこの場合、第１の画像の視界領域Ａ１と第２の画像の視界領域Ａ２との境界は、領域境界ＢＤ２となるので、領域境界ＢＤ２は視線方向Ｓから離れている。
【0046】
上記の例のように、特定の方向（上記の場合は仮想視点Ｐから重複領域ＡＯの中心を通る方向）を基準方向ＲＤとして、重複領域ＡＯに表示する実写画像（第１の画像または第２の画像）を、ＨＭＤ１０の向き（ＨＭＤ１０の視軸方向）を視線方向Ｓとみなして動的に切り替える。これにより、隣接する実写画像の領域境界（ＢＤ１又はＢＤ２）に発生し易い画像の継ぎ目（ズレ）をユーザの視線の方向から遠ざけることができ、継ぎ目の違和感を低減することができる。よって、たとえ近距離撮影物が領域境界またはその付近に存在していたとしても、ユーザにとっては違和感の少ないＶＲ画像が表示される。また、ステッチングの工程が不要となるため、ＶＲ画像制作の手間を低減することもできる。
【0047】
（基準方向ＲＤの設定について）
なお、上記では基準方向ＲＤを、仮想視点Ｐから重複領域ＡＯの中心を通る方向に設定する例を示したが、これに限定されない。基準方向ＲＤは、ＶＲ空間Ｖ内における第１の画像および第２の画像が配置される視界領域内であれば、仮想視点Ｐからどの方向に設定してもよい。
なお、上記では基準方向ＲＤを、仮想視点Ｐから重複領域ＡＯの中心を通る方向に設定する例を示したが、これに限定されない。基準方向ＲＤは、ＶＲ空間Ｖ内における第１の画像および第２の画像が配置される視界領域内であれば、仮想視点Ｐからどの方向に設定してもよい。
【0048】
例えば、図１２に示すように、仮想視点Ｐから重複領域ＡＯ外の位置の方向に基準方向ＲＤを設定することも可能である。図１２では、重複領域ＡＯを含まない第２の画像のみの視界領域Ａ２に、基準方向ＲＤを設定した例を示している。この場合も、ＨＭＤ１０のヨー方向（左右方向）の向きの変化により、図１２中の（Ａ）の状態から視線方向Ｓが基準方向ＲＤを超えれば、図１２中の（Ｂ）に例示するように重複領域ＡＯに表示される実写画像が、視界領域Ａ１の第１の画像から視界領域Ａ２の第２の画像に切り替わる。これにより、隣接する実写画像の領域境界が領域境界ＢＤ１から領域境界ＢＤ２に切り替わり、視線方向Ｓから領域境界が遠ざかる。但し、この場合、図１２中の（Ａ）の状態において視線方向Ｓが基準方向ＲＤを超えるまでに、視線方向Ｓが領域境界ＢＤ１を跨ぐことになる。このため、重複領域ＡＯに表示される実写画像が第１の画像から第２の画像に切り替わる前に、領域境界ＢＤ１が視線方向Ｓと重なるタイミングが生じることになる。
【0049】
そこで、仮想視点Ｐから重複領域ＡＯ内の所定の位置（重複領域ＡＯの中心であっても中心でなくてもよい）の方向に基準方向ＲＤを設定することは、好ましい一態様である。この場合、基準方向ＲＤが重複領域ＡＯ内に設定されることにより（図１０又は図１１参照）、視線方向Ｓが重複領域ＡＯの現在の領域境界（ＢＤ１又はＢＤ２）の方に向かっても、領域境界に到達する前に、視線方向Ｓが基準方向ＲＤを超えるので、重複領域ＡＯに表示する実写画像が切り替わる。これにより、視線方向Ｓが領域境界に到達する前に、領域境界は視線方向Ｓから遠ざかる。
【0050】
（基準方向を設定しない一態様）
次に、基準方向ＲＤを設定することなく、視線方向Ｓに基づいて、隣接する実写画像（第１の画像および第２の画像）のうち、重複領域ＡＯに表示する実写画像を動的に切り替える一態様を示す。この態様では、図１３に例示するように、隣接する実写画像の現在の領域境界（ＢＤ１またはＢＤ２）を基準に、視線方向Ｓに基づいて、重複領域ＡＯに表示する実写画像を動的に切り替える。
次に、基準方向ＲＤを設定することなく、視線方向Ｓに基づいて、隣接する実写画像（第１の画像および第２の画像）のうち、重複領域ＡＯに表示する実写画像を動的に切り替える一態様を示す。この態様では、図１３に例示するように、隣接する実写画像の現在の領域境界（ＢＤ１またはＢＤ２）を基準に、視線方向Ｓに基づいて、重複領域ＡＯに表示する実写画像を動的に切り替える。
【0051】
例えば、図１３中の（Ａ）に示すように、重複領域ＡＯには左側の視界領域Ａ１の第１の画像が表示されており、視線方向ＳがＸ軸にあるものとする。この場合、実写画像の切り替え基準は、現在の領域境界ＢＤ１である。ここからＨＭＤ１０が右方向に回転し、図１３中の（Ｂ）に例示するように、視線方向Ｓ（ＨＭＤ１０の視軸）が領域境界ＢＤ１を超えた場合、重複領域ＡＯに表示される実写画像が、第１の画像から右側の視界領域Ａ２の第２の画像に切り替わる。これにより、実写画像の切り替え基準は、現在の領域境界ＢＤ２に変更される。ここからＨＭＤ１０が左方向に回転し、図１３中の（Ｃ）に例示するように、視線方向ＳがＸ軸に戻っても、現在の領域境界ＢＤ２を超えていないので、重複領域ＡＯに表示される実写画像は切り替わらない。ここからＨＭＤ１０がさらに左方向に回転し、図１３中の（Ｄ）に例示するように、視線方向Ｓが領域境界ＢＤ２を超えた場合、重複領域ＡＯに表示される実写画像が第２の画像から第１の画像に切り替わる。
【0052】
このように、隣接する実写画像（第１の画像および第２の画像）の現在の領域境界（ＢＤ１またはＢＤ２）を基準とし、視線方向Ｓが現在の領域境界（ＢＤ１またはＢＤ２）よりも第１の画像側（左側）にあれば第１の画像、第２の画像側（右側）にあれば第２の画像を重複領域ＡＯに表示させるように、動的に切り替える。
【0053】
また、変形例として、次に示す態様により、重複領域ＡＯに表示する実写画像を動的に切り替えてもよい。すなわち、隣接する実写画像の現在の領域境界（ＢＤ１またはＢＤ２）に視線方向Ｓが所定以上近づいた場合（例えば、視線方向Ｓと現在の領域境界とのなす角度が所定値以下になった場合）に、重複領域ＡＯに現在表示している実写画像を他方の実写画像に切り替えるようにしてもよい。この態様の場合、視線方向Ｓが領域境界に到達する前に重複領域ＡＯに表示する実写画像が切り替えられ、領域境界は視線方向Ｓから遠ざかる。
【0054】
なお、図９ないし図１３を用いた説明では、水平方向を複数領域に分割して水平視野角を拡大する表示制御について説明したが、垂直方向を複数領域に分割して垂直視野角を拡大する表示制御の場合は、ピッチ方向（上下方向）のＨＭＤ１０の向きに基づいて、前述と同様の重複領域の画像の切替処理をすればよい。
【0055】
［５．表示制御装置の機能的構成］
図１４は、表示制御装置２０の機能的な構成の一例を示す概略の機能ブロック図である。表示制御装置２０は、両眼視差を利用した立体視画像として、ＶＲ空間内の仮想視点からの視界を表すＶＲ画像をＨＭＤ１０の表示部１１に表示させるための制御を実行する。図１４に示すように、表示制御装置２０は、制御部３０を含む。この制御部３０は、例えば、記憶装置２２に記憶されているプログラムをプロセッサ２１が実行することにより実現される。制御部３０は、視線方向特定部３１と画像生成部３２とを含む。
図１４は、表示制御装置２０の機能的な構成の一例を示す概略の機能ブロック図である。表示制御装置２０は、両眼視差を利用した立体視画像として、ＶＲ空間内の仮想視点からの視界を表すＶＲ画像をＨＭＤ１０の表示部１１に表示させるための制御を実行する。図１４に示すように、表示制御装置２０は、制御部３０を含む。この制御部３０は、例えば、記憶装置２２に記憶されているプログラムをプロセッサ２１が実行することにより実現される。制御部３０は、視線方向特定部３１と画像生成部３２とを含む。
【0056】
視線方向特定部３１は、ＶＲ空間に対するユーザの視線の方向であるとする視線方向を特定する機能を有する。ここで、「視線方向」とは、ＨＭＤ１０を装着したユーザのＶＲ空間に対する視線の方向であると見做して特定される方向である。「視線方向」は、例えばＨＭＤ１０のセンサ１２等の検出情報に基づいて、略ユーザの視線の方向であると推定できればよく、ＨＭＤ１０を装着した実際のユーザの視線の方向と一致していてもよいし、実際のユーザの視線の方向とはズレが生じていてもよい。
【0057】
例えば、視線方向特定部３１は、ＨＭＤ１０の向きに関する検出情報を取得し、当該検出情報に基づいて視線方向を特定することができる。ここで、「ＨＭＤ１０の向きに関する検出情報」とは、ＨＭＤ１０がユーザに装着されている状態において、ユーザが頭の向きを変えることによって変化するＨＭＤ１０の向きに関する検出情報である。前記の「検出情報」は、ＨＭＤ１０の方向または方向の変化を検出するセンサ等の検出手段から取得できる。例えば、ＨＭＤ１０に内蔵されるセンサ１２（角速度センサ、加速度センサ、または地磁気センサ等）の検出結果が、「ＨＭＤ１０の向きに関する検出情報」の一例に相当する。また、ＨＭＤ１０の外部に設けられた撮像部でＨＭＤ１０を撮像し、ＨＭＤ１０の位置や方向を測定するトラッキングシステムの測定結果が、「ＨＭＤ１０の向きに関する検出情報」の一例に相当する。また、ＨＭＤ１０自体に搭載されている撮像部で撮像した周囲の物体を分析し、ＨＭＤ１０の位置や方向を測定するトラッキングシステムの測定結果が、「ＨＭＤ１０の向きに関する検出情報」の一例に相当する。
【0058】
また、視線方向特定部３１は、ユーザの視線に関する検出情報を取得し、当該検出情報に基づいて前記視線方向を特定することができる。ここで、「ユーザの視線に関する検出情報」とは、ＨＭＤ１０がユーザに装着されている状態において、ユーザの視線の方向、動き等を検出した情報である。例えば、ユーザの眼球位置に基づいて視線の方向や動きを追跡するアイトラッキングシステムの測定結果が、「ユーザの視線に関する検出情報」の一例に相当する。
【0059】
画像生成部３２は、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるようにＶＲ空間に配置し、前記視線方向に応じたＶＲ画像を生成する機能を有する。
【0060】
ここで、前記「カメラ」とは、実空間を撮像するリアルカメラをいう。なお、「カメラ」自体は表示制御装置２０の構成要素には含まれない。「カメラ」は、左右両眼視差を利用した立体視画像を得るために、左目用の画像を撮像する左目用光学系（左目用カメラ）と右目用の画像を撮像する右目用光学系（右目用カメラ）とを含む。例えば、ステレオカメラのように、１台のカメラで左目用光学系および右目用光学系を備えていてもよい。また、左目用カメラと右目用カメラとが別構成であってもよい。複数の実写画像から立体視可能な広視野角のＶＲ画像を得るために、左目用および右目用それぞれについて、カメラは複数使用される。例えば、水平方向の視野角を広くした広視野角画像を得る場合、実空間内において撮像方向がそれぞれ異なるように水平方向に複数のカメラを配置してもよい。また、例えば、垂直方向の視野角を広くした広視野角画像を得る場合、実空間内において撮像方向がそれぞれ異なるように垂直方向に複数のカメラを配置してもよい。左目用および右目用それぞれについて、カメラの数は２以上であれば任意の数とすることができる。各カメラの画角も任意である。複数のカメラの画角が全て一致していてもよいし、一致していなくてもよい。
【0061】
また、前記「撮像方向」とは、実空間を撮像するカメラが撮像する向きに相当する方向であり、カメラが有する撮像光学系の光軸線における正面方向（被写体側を示す方向）のことを言う。
【0062】
また、前記「隣接する実写画像」とは、実空間を撮像する方向が異なり、撮像範囲が部分的に重複する、隣り合う２つのカメラで撮像された２つの実写画像のことである。ここで、隣り合う２つのカメラとは、左目用カメラ及び右目用カメラのことではなく、何れも左目用の実写画像を撮像する２つのカメラ、又は何れも右目用の実写画像を撮像する２つのカメラのことである。
「実写画像」は動画であってもよいし、静止画であってもよい。また、「実写画像」は事前に撮像された画像（映像）であってもよいし、略リアルタイムで撮像されたライブ画像（ライブ映像）であってもよい。
「実写画像」は動画であってもよいし、静止画であってもよい。また、「実写画像」は事前に撮像された画像（映像）であってもよいし、略リアルタイムで撮像されたライブ画像（ライブ映像）であってもよい。
【0063】
また、前記「視界領域」は、一のカメラで撮影された実写画像におけるヘッドマウントディスプレイの表示部上で表示し得る領域であり、ＶＲ空間において当該実写画像が配置される領域である。例えば、水平画角θH1（例えば１２０度）および垂直画角θV1（例えば１２０度）のカメラで撮像された実写画像の視界領域は、基本的に、水平視野角θH2（＝θH1）および垂直視野角θV2（＝θV1）を有する領域となる。なお、水平画角θH1および垂直画角θV1のカメラで撮像された実写画像の視界領域を、ＶＲ空間に配置する際に狭くして、水平視野角θH2（＜θH1）および垂直視野角θV2（＜θV1）としてもよい。例えば、光学系の歪曲収差によるゆがみが発生し易い画像端部付近の領域を使用しないことにより、前述のように、ＶＲ空間に配置する際に実写画像の視界領域を狭くしてもよい。
【0064】
また、前記「重複領域」とは、ＶＲ空間において、隣接する２つの実写画像同士が部分的に重ねて配置された領域のことをいう。図９ないし図１３の例では、重複領域ＡＯの視野角を６０度とした例を示したが、重複領域ＡＯは６０度よりも狭くてもよいし、６０度よりも広くてもよい。「重複領域」の広さ（視野角）は任意に設定できる。後述するように、ＶＲ空間に重複領域が複数ある場合、すべての重複領域の広さ（視野角）を同一にしてもよいし、少なくとも一の重複領域の広さを他の重複領域の広さとは異ならせてもよい。
【0065】
画像生成部３２は、複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるようにＶＲ空間に配置する画像配置部３２１を含む。画像配置部３２１は、ＶＲ空間を形成するための記憶装置２２（ＶＲＡＭ等）の所定の記憶領域（ＶＲ空間に配置される複数の実写画像をそれぞれ記憶する記憶領域）に、複数の実写画像をそれぞれ記憶させる記憶制御を実行する。図９ないし図１３の例では、画像配置部３２１は、記憶装置２２におけるＶＲ空間を形成するための所定の記憶領域に、第１の画像および第２の画像の各データを記憶させる。
【0066】
本実施形態では、表示対象の複数の実写画像のデータとともに、当該複数の実写画像をＶＲ空間に配置するための配置情報が、当該複数の実写画像に関連付けられて記憶装置２２に記憶されている。あるいは、表示対象の複数の画像を記録した記録媒体には、前記配置情報も併せて記録されている。そして、表示制御装置２０のプロセッサ２１が、記録媒体から表示対象の複数の画像のデータを読み出して記憶装置２２に記憶させる場合、前記配置情報も併せて読み出して記憶装置２２に保存し、ＶＲ空間への画像配置処理に使用する。あるいは、後述のように、略リアルタイムでライブ映像をＶＲ画像としてＨＭＤ１０に表示させる場合は、表示対象のライブ映像の画像とともに、前記配置情報も併せて入力（受信）し、ＶＲ空間への画像配置処理に使用する。
【0067】
前記配置情報としては、例えば、ＶＲ空間に配置される視界領域の数（画像の数）、全体視界領域の視野角、各視界領域の視野角、ＶＲ空間内における各視界領域の方向（ＶＲ空間内の位置）、重複領域の数、各重複領域の視野角、またはＶＲ空間内における各重複領域の方向（位置）などの情報が含まれる。
例えば、実写画像ファイルのヘッダ部分に、前記配置情報が記録されていてもよい。あるいは、実写画像のファイル（データ）とは別のファイルとして、実写画像に関連付けられた情報として前記配置情報が記録されていてもよい。
例えば、実写画像ファイルのヘッダ部分に、前記配置情報が記録されていてもよい。あるいは、実写画像のファイル（データ）とは別のファイルとして、実写画像に関連付けられた情報として前記配置情報が記録されていてもよい。
【0068】
なお、本実施形態のＶＲ画像（動画）の表示について予め規格化（標準化）し、規格に合致した実写画像を用いることを前提とするならば、前述の詳細な配置情報を、表示対象の複数の実写画像に関連付けて、実写画像とともに保存する必要はない。すなわち、ＶＲ空間に配置される視界領域の数（画像の数）、全体視界領域の視野角、各視界領域の視野角、ＶＲ空間内における各視界領域の方向（ＶＲ空間内の位置）、重複領域の数、各重複領域の視野角、またはＶＲ空間内における各重複領域の方向（位置）などが、予め規格として定められている場合、画像配置部３２１は、当該規格の情報に基づいて、ＶＲ空間に各画像を配置できる。
【0069】
また、例えば、全体視界領域の視野角が１８０度の第１規格、２２０度の第２規格、２７０度の第３規格、３６０度の第４規格などのように、複数の規格を規定してもよい。この場合、表示対象の画像には、どの規格に準拠して撮像された画像であるかを示す規格情報が関連付けられておればよい。この場合、各規格情報が前述の「配置情報」の一例に相当する。
【0070】
また、ある程度の自由度を持たせた規格としてもよい。例えば、前述の配置情報のうちの一部のみを規格化し、その他の項目は任意に設定または変更できるようにしてもよい。例えば、全体視界領域の視野角は予め規格化されて定められているが、ＶＲ空間に配置される視界領域の数（画像の数）や各視界領域の視野角などは、任意に設定可能とする。この場合、規格情報および任意設定項目の内容を「配置情報」として、表示対象の画像に関連付けておけばよい。
【0071】
また、画像生成部３２は、切替部３２２を含む。この切替部３２２は、前記視線方向特定部３１によって特定された視線方向に基づいて、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える機能を有する。切替部３２２は、視線方向に基づいて、隣接する実写画像の領域境界が視線方向から遠ざかるように、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える。
【0072】
ここで、「視線方向に基づいて、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える」とは、重複領域に表示し得る隣接する２つの実写画像（第１の画像および第２の画像）のうち、何れの実写画像を重複領域に表示するのかを視線方向に基づいてその都度特定し、視線方向の変化に応じて重複領域に表示する実写画像を動的に切り替えることである。
例えば、図１０ないし図１２に示したように、隣接する第１の画像および第２の画像を切り替える基準となる基準方向ＲＤを設定し、視線方向Ｓが基準方向ＲＤより第１の画像側にある場合は第１の画像を、第２の画像側にある場合は第２の画像を、重複領域ＡＯに表示することが、「視線方向に基づいて、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える」の一例に相当する。
例えば、図１０ないし図１２に示したように、隣接する第１の画像および第２の画像を切り替える基準となる基準方向ＲＤを設定し、視線方向Ｓが基準方向ＲＤより第１の画像側にある場合は第１の画像を、第２の画像側にある場合は第２の画像を、重複領域ＡＯに表示することが、「視線方向に基づいて、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える」の一例に相当する。
【0073】
また、基準方向を設定することなく、視線方向に基づいて重複領域に表示する実写画像を動的に切り替えてもよい。例えば、図１３に例示したように、隣接する実写画像（第１の画像および第２の画像）の現在の領域境界（ＢＤ１またはＢＤ２）を基準とし、視線方向Ｓが現在の領域境界よりも第１の画像側にあれば第１の画像、第２の画像側にあれば第２の画像を重複領域ＡＯに表示することが、「視線方向に基づいて、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える」の一例に相当する。また、例えば、視線方向が隣接する実写画像同士の現在の領域境界に所定以上近づいた場合（視線方向と領域境界とのなす角度が所定値以下になった場合）に、重複領域に現在表示している実写画像を他方の実写画像に切り替えることが、「視線方向に基づいて、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える」の一例に相当する。
【0074】
また、「重複領域に表示する実写画像を切り替える」処理については、例えば、重複領域において、隣接する２つの実写画像を上下の異なるレイヤ（画層）に配置する。そして、下のレイヤー（背景）に配置した実写画像の透明度を０％のまま変化させず、上のレイヤー（前景）に配置した実写画像の透明度を、１００％又は０％の何れかに切り替える。すなわち、重複領域における下のレイヤーに配置した実写画像を表示する場合は、上のレイヤーの透明度を１００％に設定し、上のレイヤーに配置した実写画像を表示する場合は、上のレイヤーの透明度を０％に設定する。このように、重複領域において、隣接する２つの実写画像を上下の異なるレイヤに配置し、上のレイヤーに配置した実写画像の透明度を１００％又は０％の何れかに切り替えることが、「重複領域に表示する実写画像を切り替える」の一例に相当する。
また、隣接する２つの実写画像を重複領域に重畳配置し、表示する方の実写画像の透明度を０％、他方の実写画像の透明度を１００％としてもよい。すなわち、重畳配置した２つの実写画像の一方の透明度を０％、他方の実写画像の透明度を１００％とし、表示する実写画像によって透明度を切り替えることが、「重複領域に表示する実写画像を切り替える」の一例に相当する。
また、隣接する２つの実写画像を重複領域に重畳配置するのではなく、表示する方の実写画像の重複領域に対応する部分のみを重複領域に配置し、配置する実写画像を切り替えることが、「重複領域に表示する実写画像を切り替える」の一例に相当する。
また、隣接する２つの実写画像を重複領域に重畳配置し、表示する方の実写画像の透明度を０％、他方の実写画像の透明度を１００％としてもよい。すなわち、重畳配置した２つの実写画像の一方の透明度を０％、他方の実写画像の透明度を１００％とし、表示する実写画像によって透明度を切り替えることが、「重複領域に表示する実写画像を切り替える」の一例に相当する。
また、隣接する２つの実写画像を重複領域に重畳配置するのではなく、表示する方の実写画像の重複領域に対応する部分のみを重複領域に配置し、配置する実写画像を切り替えることが、「重複領域に表示する実写画像を切り替える」の一例に相当する。
【0075】
重複領域の実写画像を切り替える切替期間は任意に設定できる。切替期間を略ゼロにしていきなり切り替えてもよいし、所定の切替期間（例えば０．３秒等）を設けてもよい。また、重複領域の実写画像を切り替える際に、隣接する２つの実写画像が例えば半透明合成等により両方とも表示される期間があってもよい。
【0076】
また、画像生成部３２（画像生成部３２の切替部３２２）は、仮想視点から所定の方向に基準方向を設定し、基準方向に対する視線方向に基づいて、重複領域に表示する実写画像を特定する機能を有する。ここで、「基準方向」とは、視線方向との関係で、重複領域に表示する実写画像を切り替えるか否かを判断するために設定される方向である。「基準方向」は、ＶＲ空間内の仮想視点から所定の方向に設定でき、ＶＲ空間内における隣接する実写画像が配置される視界領域内であれば、どの方向に設定してもよい。例えば、図１０および図１１に例示するように、ＶＲ空間内の仮想視点Ｐから重複領域ＡＯの中心を通る方向ＲＤが「基準方向」の一例に相当する。「基準方向」は固定であってもよいし、後述のように固定でなく変化する（前記所定の方向が変化する）ようにしてもよい。
【0077】
例えば、図１０に示すように、視線方向Ｓが基準方向ＲＤより左側（第１の画像の視界領域Ａ１側）にある場合、画像生成部３２は、重複領域ＡＯに表示する実写画像を第１の画像であると特定する。また、図１１に例示するように、視線方向Ｓが基準方向ＲＤより右側（第２の画像の視界領域Ａ２側）にある場合、画像生成部３２は、重複領域ＡＯに表示する実写画像を第２の画像であると特定する。
【0078】
画像生成部３２（画像生成部３２の切替部３２２）は、仮想視点から重複領域内の所定の位置の方向に基準方向を設定することが好ましい。ここで、「仮想視点から重複領域内の所定の位置の方向に基準方向を設定する」とは、基準方向を重複領域内に設定する（基準方向を示すベクトルが重複領域内に存在するように基準方向を設定する）ことである。この場合、図１０および図１１に例示するように、基準方向ＲＤが重複領域ＡＯ内に設定されるので、視線方向Ｓが重複領域ＡＯの領域境界（ＢＤ１またはＢＤ２）の方に向かっても、領域境界に到達する前に、重複領域ＡＯに表示する実写画像が切り替わり、よって領域境界も視線方向Ｓから遠ざかる。
【0079】
また、画像生成部３２は、ＨＭＤ１０の向きに関する検出情報を取得し、当該検出情報に基づいて、ＨＭＤ１０の表示部１１に表示させるＶＲ画像の範囲を変更する機能を有する。例えば、画像生成部３２は、ＨＭＤ１０に内蔵される角速度センサ等のセンサ１２の検出結果に基づいて、ＶＲ空間における仮想視点Ｐからの視界の方向を変更し、ＨＭＤ１０の表示部１１に表示させるＶＲ画像の範囲を変更する。例えば、ＨＭＤ１０の視軸の方向を視界の方向として、ＨＭＤ１０の向きに応じてＨＭＤ１０の表示部１１に表示させるＶＲ画像の範囲を変更する。
【0080】
［６．処理］
次に、本実施の形態の表示制御装置２０で実行される処理の一例を以下に説明する。図１５は、表示制御装置２０の処理の一例を示すフローチャートである。以下に説明する処理は、記憶装置２２に記憶されているプログラムを、制御部３０（表示制御装置２０のプロセッサ２１）が実行することにより実現される（図１７、図２３、図２４、図２７、図２９又は図３３の各フローチャートを参照した処理についても同様）。
ここでは、図９ないし図１２を参照して説明したＶＲ画像の表示制御処理の一例を説明する。
次に、本実施の形態の表示制御装置２０で実行される処理の一例を以下に説明する。図１５は、表示制御装置２０の処理の一例を示すフローチャートである。以下に説明する処理は、記憶装置２２に記憶されているプログラムを、制御部３０（表示制御装置２０のプロセッサ２１）が実行することにより実現される（図１７、図２３、図２４、図２７、図２９又は図３３の各フローチャートを参照した処理についても同様）。
ここでは、図９ないし図１２を参照して説明したＶＲ画像の表示制御処理の一例を説明する。
【0081】
制御部３０は、図１０または図１２等に例示するように、ＶＲ空間Ｖに基準方向ＲＤを設定する（Ｓ１００）。
実空間を撮像する撮像方向がそれぞれ異なる２台のカメラによって撮像された実写画像（第１の画像および第２の画像）のデータは、例えば、記憶装置２２または記録媒体等に格納されている。制御部３０は、記憶装置２２等から第１の画像、第２の画像、および配置情報を読み出す。そして制御部３０は、配置情報に基づいて、第１の画像および第２の画像の視界領域Ａ１・Ａ２の一部が互いに重なる重複領域ＡＯが生じるように、第１の画像および第２の画像をＶＲ空間Ｖに配置する（Ｓ１０２）。例えば、制御部３０は、重複領域ＡＯにおいて、第１の画像と第２の画像とを、上下の異なるレイヤに配置する。例えば、第１の画像を下のレイヤとし、第２の画像を上のレイヤとして配置する。
実空間を撮像する撮像方向がそれぞれ異なる２台のカメラによって撮像された実写画像（第１の画像および第２の画像）のデータは、例えば、記憶装置２２または記録媒体等に格納されている。制御部３０は、記憶装置２２等から第１の画像、第２の画像、および配置情報を読み出す。そして制御部３０は、配置情報に基づいて、第１の画像および第２の画像の視界領域Ａ１・Ａ２の一部が互いに重なる重複領域ＡＯが生じるように、第１の画像および第２の画像をＶＲ空間Ｖに配置する（Ｓ１０２）。例えば、制御部３０は、重複領域ＡＯにおいて、第１の画像と第２の画像とを、上下の異なるレイヤに配置する。例えば、第１の画像を下のレイヤとし、第２の画像を上のレイヤとして配置する。
【0082】
また、制御部３０は、ＨＭＤ１０のセンサ１２（例えば角速度センサ）から、ＨＭＤ１０の向きに関する検出情報を取得し（Ｓ１０４）、視線方向Ｓを特定する（Ｓ１０６）。そして、制御部３０は、視線方向Ｓが基準方向ＲＤよりも左側（第１の画像側）にあるか否かを判定し（Ｓ１０８）、ＹＥＳであれば図１０に例示するように重複領域ＡＯに第１の画像を表示させる（Ｓ１１０）。例えば、重複領域ＡＯにおいて、第１の画像の透明度を０％で固定とし、第１の画像より上のレイヤに配置した第２の画像の透明度を１００％とすることにより、重複領域ＡＯに第１の画像を表示させる。一方、視線方向Ｓが基準方向ＲＤよりも右側（第２の画像側）にあれば（Ｓ１０８でＮＯ）、制御部３０は、図１１に例示するように重複領域ＡＯに第２の画像を表示させる（Ｓ１１２）。例えば、重複領域ＡＯにおいて、第１の画像より上のレイヤに配置した第２の画像の透明度を０％とすることにより、重複領域ＡＯに第２の画像を表示させる。このように、制御部３０は、視線方向Ｓに基づいて、隣接する実写画像（第１の画像および第２の画像）のうち、重複領域ＡＯに表示する実写画像を動的に切り替える制御を実行する。
【0083】
そして、制御部３０は、前記Ｓ１０４のＨＭＤ１０の向きに関する検出情報に基づいて、ＨＭＤ１０の向きに応じた範囲のＶＲ画像を生成してＨＭＤ１０へ出力する（Ｓ１１４）。例えば、制御部３０は、レンダリング処理等を行って生成したＶＲ画像をＨＭＤ１０へ出力する。これにより、ＨＭＤ１０にはＶＲ画像が表示される。
前記Ｓ１０２～Ｓ１１４の処理は、ユーザにより再生停止操作が行われる等により表示が終了（Ｓ１１６でＹＥＳ）になるまで繰り返される。
前記Ｓ１０２～Ｓ１１４の処理は、ユーザにより再生停止操作が行われる等により表示が終了（Ｓ１１６でＹＥＳ）になるまで繰り返される。
【0084】
［７．基準方向を変更する態様］
前記の説明では、固定した基準方向ＲＤを設定する例を示した。基準方向ＲＤが固定されると、ＨＭＤ１０の視軸方向（視線方向Ｓ）が基準方向ＲＤ付近にある場合に、重複領域ＡＯに表示される実写画像が頻繁に切り替わることが起こり得るため、ユーザにとって見辛い画像になってしまう可能性がある。そこで、重複領域ＡＯに表示する実写画像の切り替えが実行されたタイミングで、基準方向ＲＤがＨＭＤ１０の視軸方向（視線方向Ｓ）から遠のくように、基準方向ＲＤを変更する。これを以下に説明する。
前記の説明では、固定した基準方向ＲＤを設定する例を示した。基準方向ＲＤが固定されると、ＨＭＤ１０の視軸方向（視線方向Ｓ）が基準方向ＲＤ付近にある場合に、重複領域ＡＯに表示される実写画像が頻繁に切り替わることが起こり得るため、ユーザにとって見辛い画像になってしまう可能性がある。そこで、重複領域ＡＯに表示する実写画像の切り替えが実行されたタイミングで、基準方向ＲＤがＨＭＤ１０の視軸方向（視線方向Ｓ）から遠のくように、基準方向ＲＤを変更する。これを以下に説明する。
【0085】
図１６中の（Ａ）に例示するように、重複領域ＡＯに左側の視界領域Ａ１の第１の画像が表示される場合、仮想視点Ｐから重複領域ＡＯの中心を通る方向から右へ（例えば－２０度）ずらした方向に、基準方向ＲＤ１が設定される。なお、角度は反時計回り（左回り）を正とする。この状態からＨＭＤ１０の視軸方向（視線方向Ｓ）が右方向へ回転していき、視線方向Ｓが基準方向ＲＤ１を超えた場合、図１６中の（Ｂ）に例示するように重複領域ＡＯに表示する実写画像が第１の画像から視界領域Ａ２の第２の画像に切り替わる。この切り替わりのタイミングで（切り替わりと同時に）、基準方向がＨＭＤ１０の視軸方向（視線方向Ｓ）から遠のくように左へ移動し、図１６中の（Ａ）の基準方向ＲＤ１から、図１６中の（Ｂ）の基準方向ＲＤ２に変更される。すなわち、図１６中の（Ｂ）に例示するように、重複領域ＡＯに右側の視界領域Ａ２の第２の画像が表示される場合、仮想視点Ｐから重複領域ＡＯの中心を通る方向から左へ（例えば２０度）ずらした方向に、基準方向ＲＤが設定される。
【0086】
また、図１６中の（Ｂ）の状態から、ＨＭＤ１０の視軸方向（視線方向Ｓ）が左方向へ回転していき、視線方向Ｓが基準方向ＲＤ２を超えた場合、図１６中の（Ａ）に示すように、重複領域ＡＯに表示する実写画像が第２の画像から視界領域Ａ１の第１の画像に切り替わると同時に、基準方向ＲＤ２から基準方向ＲＤ１に変更される。なお、同時には略同時が含まれる。
【0087】
これは、重複領域ＡＯに表示する実写画像が切り替えられたタイミングで基準方向（ＲＤ１又はＲＤ２）を変更してヒステリシス制御を行う態様である。
また、重複領域ＡＯに表示する実写画像が切り替えられた場合に、基準方向が視線方向Ｓから遠のくように、切り替えられた後の領域境界（ＢＤ１又はＢＤ２）の方へ基準方向ＲＤを移動させる態様でもある。
また、重複領域ＡＯに表示される実写画像によって（視界領域Ａ１の第１の画像か、視界領域Ａ２の第２の画像かによって）、基準方向（ＲＤ１またはＲＤ２）を変更する態様でもある。
また、重複領域ＡＯに表示する実写画像が切り替えられた場合に、基準方向が視線方向Ｓから遠のくように、切り替えられた後の領域境界（ＢＤ１又はＢＤ２）の方へ基準方向ＲＤを移動させる態様でもある。
また、重複領域ＡＯに表示される実写画像によって（視界領域Ａ１の第１の画像か、視界領域Ａ２の第２の画像かによって）、基準方向（ＲＤ１またはＲＤ２）を変更する態様でもある。
【0088】
画像生成部３２は、重複領域ＡＯに表示する実写画像を切り替えたタイミングで、重複領域ＡＯに表示する実写画像（視界領域Ａ１の第１の画像か、視界領域Ａ２の第２の画像かによって）に応じて基準方向（ＲＤ１又はＲＤ２）を変更する機能を有する。
【0089】
【0090】
制御部３０は、図１６中の（Ａ）または（Ｂ）に例示するように、重複領域ＡＯに表示されている実写画像（視界領域Ａ１の第１の画像または視界領域Ａ２の第２の画像）に応じた基準方向（ＲＤ１又はＲＤ２）を設定する（Ｓ２００）。また、制御部３０は、ＨＭＤ１０のセンサ１２（例えば角速度センサ）から、ＨＭＤ１０の向きに関する検出情報を取得し（Ｓ２０２）、視線方向Ｓを特定する（Ｓ２０４）。また、制御部３０は、現在の基準方向（ＲＤ１又はＲＤ２）に対する視線方向Ｓに基づいて、重複領域ＡＯに表示する実写画像を切り替える必要があるかを判断する（Ｓ２０６）。このＳ２０６でＹＥＳの場合、制御部３０は、重複領域ＡＯに表示する実写画像の切り替えを実行するとともに（Ｓ２０８）、基準方向を当該切り替え後の実写画像に応じた方向に変更する（Ｓ２１０）。一方、Ｓ２０６でＮＯの場合、Ｓ２０２へ戻る。
前記Ｓ２０２～Ｓ２１０の処理は、ユーザにより再生停止操作が行われる等により表示が終了（Ｓ２１２でＹＥＳ）になるまで繰り返される。
前記Ｓ２０２～Ｓ２１０の処理は、ユーザにより再生停止操作が行われる等により表示が終了（Ｓ２１２でＹＥＳ）になるまで繰り返される。
【0091】
上記の態様によれば、基準方向（ＲＤ１又はＲＤ２）は固定ではなく、重複領域ＡＯに表示される実写画像が切り替えられたタイミングで、重複領域ＡＯに表示される実写画像に応じて変更される。これにより、実写画像が切り替えられた後は一時的に基準方向が視線方向Ｓから遠のくため、重複領域ＡＯに表示される実写画像が頻繁に切り替わることを低減できる。
【0092】
［８．現在の領域境界を視認可能に表示する態様］
本実施の形態の画像表示システム１では、重複領域ＡＯに表示する実写画像（第１の画像又は第２の画像）を切り替えて、隣接する実写画像の領域境界（ＢＤ１又はＢＤ２）を視線方向Ｓから遠ざけているが、現在の領域境界を敢えて視認可能に表示してもよい。これを以下に説明する。
本実施の形態の画像表示システム１では、重複領域ＡＯに表示する実写画像（第１の画像又は第２の画像）を切り替えて、隣接する実写画像の領域境界（ＢＤ１又はＢＤ２）を視線方向Ｓから遠ざけているが、現在の領域境界を敢えて視認可能に表示してもよい。これを以下に説明する。
【0093】
図１８及び図１９は、ＨＭＤ１０の表示部１１に表示されている画面の一例を示す図である。図１８に例示する画面Ｇ１０には、図１０に例示するＶＲ空間ＶにおけるＨＭＤ１０の向きに応じた視界の範囲のＶＲ画像が表示されている。すなわち、画面Ｇ１０には、図１０のＶＲ空間Ｖの仮想視点ＰからのＨＭＤ１０の視軸方向（視線方向Ｓ）の視界を表すＶＲ画像が表示されている。よって、重複領域ＡＯには左側の視界領域Ａ１の第１の画像が表示されていることになる。この画面Ｇ１０には、隣接する実写画像（第１の画像及び第２の画像）同士の現在の領域境界ＢＤ１（重複領域ＡＯの右端）に対応する部位に、境界線ＢＬ１が視認可能に表示される。例えば、境界線ＢＬ１は、ユーザが認識可能な線幅を有する黒の実線である。
【0094】
図１８の画面Ｇ１０を見ているユーザが頭（ＨＭＤ１０）を右方向に回転させた場合に表示される画面が、図１９に例示する画面Ｇ１１である。この画面Ｇ１１は、図１１に例示するＶＲ空間ＶにおけるＨＭＤ１０の向きに応じた視界の範囲のＶＲ画像が表示されている。つまり、ＨＭＤ１０の視軸方向（視線方向Ｓ）が右に回転して基準方向ＲＤを超えたため、図１８の画面Ｇ１０のＶＲ画像から、重複領域ＡＯに表示される実写画像が切り替わったＶＲ画像が、図１９に例示する画面Ｇ１１に表示されている。この画面Ｇ１１には、隣接する実写画像（第１の画像及び第２の画像）同士の現在の領域境界ＢＤ２（重複領域ＡＯの左端）に対応する部位に、境界線ＢＬ２が視認可能に表示される。例えば、境界線ＢＬ２は、境界線ＢＬ１と同様の線幅を有する黒の実線である。
【0095】
図２０に例示するように、表示制御装置２０は、境界線表示部３３を含む構成とすることができる。この境界線表示部３３は、隣接する実写画像同士の領域境界に、ユーザが視認可能な境界線を表示する機能を有する。ここで、前記「隣接する実写画像同士の領域境界」とは、ＶＲ空間に配置された隣接する２つの実写画像（第１の画像及び第２の画像）の境界である。図１０及び図１１に例示するように、重複領域ＡＯに表示される実写画像（視界領域Ａ１の第１の画像、又は視界領域Ａ２の第２の画像）によって、領域境界の位置（ＢＤ１又はＢＤ２）は変化する。また、前記「境界線」とは、隣接する前記実写画像同士の領域境界をユーザが視認できるように、領域境界に表示される線である。「境界線」の色、線幅、透明度等は任意に設定できる。また、「境界線」は、例えば、実線、点線、一点鎖線、波線、二重線等、線の種類も任意に設定できる。また、「境界線」は、二次元的な線であってもよいし、立体（三次元）的に盛り上がった線であってもよい。
【0096】
境界線表示部３３は、現在の領域境界（ＢＤ１又はＢＤ２）の部分に境界線（ＢＤ１又はＢＤ２）を配置し、実写のＶＲ画像に境界線が重畳されて表示部１１に表示されるようにする。
【0097】
画像の継ぎ目（ズレ）が生じている領域境界（ＢＤ１又はＢＤ２）は、図１０及び図１１等に例示するように、視線方向Ｓに基づいて重複領域ＡＯに表示される実写画像が切り替えられることにより変更される。つまり、ユーザが自らの意思で視線方向Ｓを変えることにより、画像の継ぎ目（ズレ）が生じている領域境界（ＢＤ１又はＢＤ２）を変更できる。つまり、ユーザの見たい方向に画像の継ぎ目がある場合は、ユーザが自らの意思で視線方向Ｓを変えれば、見たい方向にあった画像の継ぎ目をなくして見やすい画像とすることができる。
そして、本態様によれば、隣接する実写画像同士の領域境界（ＢＤ１又はＢＤ２）に、敢えて境界線（ＢＬ１又はＢＬ２）を視認可能に表示することで、画像の継ぎ目（ズレ）が生じる領域境界がユーザに認識され易くしている。画像の継ぎ目の部分の境界線（ＢＬ１又はＢＬ２）は、図１８及び図１９に例示するように、ユーザが自らの意思で視線方向Ｓを変えることにより変更でき、変更後においても画像の継ぎ目がどこに移動したかをユーザが認識し易くなる。つまり、領域境界（ＢＤ１又はＢＤ２）に境界線（ＢＬ１又はＢＬ２）を視認可能に表示することで、ユーザの見たい方向に境界線が表示されないように、隣接する実写画像のうち、重複領域ＡＯにどちらの実写画像を表示して見るべきかのユーザの判断を容易にすることができる。
そして、本態様によれば、隣接する実写画像同士の領域境界（ＢＤ１又はＢＤ２）に、敢えて境界線（ＢＬ１又はＢＬ２）を視認可能に表示することで、画像の継ぎ目（ズレ）が生じる領域境界がユーザに認識され易くしている。画像の継ぎ目の部分の境界線（ＢＬ１又はＢＬ２）は、図１８及び図１９に例示するように、ユーザが自らの意思で視線方向Ｓを変えることにより変更でき、変更後においても画像の継ぎ目がどこに移動したかをユーザが認識し易くなる。つまり、領域境界（ＢＤ１又はＢＤ２）に境界線（ＢＬ１又はＢＬ２）を視認可能に表示することで、ユーザの見たい方向に境界線が表示されないように、隣接する実写画像のうち、重複領域ＡＯにどちらの実写画像を表示して見るべきかのユーザの判断を容易にすることができる。
【0098】
ＨＭＤ１０の向きに関する検出情報（例えば角速度センサの検出情報）に基づいて視線方向Ｓが特定される場合、ユーザはＨＭＤ１０を装着している頭の向きを調整して、ＨＭＤ１０の表示部１１に表示されるＶＲ画像の範囲を調整しつつ、境界線（ＢＬ１又はＢＬ２）を変更すればよい。
【0099】
また、ユーザの視線に関する検出情報（例えば、アイトラッキングによる検出情報）に基づいて視線方向Ｓが特定される場合、ユーザは頭を動かさなくても視線を変えるだけで、領域境界（ＢＤ１又はＢＤ２）に表示される境界線（ＢＬ１又はＢＬ２）を変更できる。例えば、ＨＭＤ１０の向きに関する検出情報（例えば角速度センサの検出情報）に基づいて表示部１１に表示させるＶＲ画像の範囲を変更し、ユーザの視線に関する検出情報（例えば、アイトラッキングによる検出情報）に基づいて視線方向Ｓを特定する構成の場合は、ユーザは次のようにすれば見やすい画像を自らが調整できる。すなわち、ユーザは頭の向きを調整して、見たい方向の画像がＨＭＤ１０の表示部１１に表示されるようにＶＲ画像の範囲を調整する。そして、見たい方向の画像が表示部１１に表示されている状態で、視線の方向を調整し、境界線（ＢＬ１又はＢＬ２）を変更すれば、たとえ見たい方向に境界線があってもそれを移動させて見やすい画像を表示させることができる。
なお、アイトラッキング等によるユーザの視線に関する検出情報に基づいて、表示部１１に表示させるＶＲ画像の範囲を変更し、且つ、重複領域ＡＯに表示する実写画像を切り替える構成の場合は、ユーザは視線の方向を調整するだけで、見やすい画像を自らが調整できる。
なお、アイトラッキング等によるユーザの視線に関する検出情報に基づいて、表示部１１に表示させるＶＲ画像の範囲を変更し、且つ、重複領域ＡＯに表示する実写画像を切り替える構成の場合は、ユーザは視線の方向を調整するだけで、見やすい画像を自らが調整できる。
【0100】
（境界線またはその付近に付加情報を表示する態様）
次に、隣接する実写画像のうち、重複領域ＡＯにどちらの実写画像を表示して見るべきかのユーザの判断を、さらに容易にすることができる態様を以下に説明する。
次に、隣接する実写画像のうち、重複領域ＡＯにどちらの実写画像を表示して見るべきかのユーザの判断を、さらに容易にすることができる態様を以下に説明する。
【0101】
例えば、図１８に例示する画面Ｇ１０には、境界線ＢＬ１が表示されているが、境界線ＢＬ１を挟んで左側が重複領域ＡＯであるのか、それとも右側が重複領域ＡＯであるのかを、ユーザは直ぐには認識し難い。また、隣接する実写画像（左側の第１の画像または右側の第２の画像）のうち、現在、重複領域ＡＯにどちらの実写画像が表示されているのかを、ユーザは直ぐには認識し難い。また、重複領域ＡＯにおける実写画像の切り替え（すなわち、境界線の変更）を発生させるためには、視線方向Ｓをどちらの方向へ変化させればよいのかを、ユーザは直ぐには認識し難い。
なお、上記のことが直ぐには認識し難い場合でも、ユーザが視線方向Ｓを左や右に変更してみれば、図１８に例示する画面Ｇ１０から図１９に例示する画面Ｇ１１になり、または画面Ｇ１１から画面Ｇ１０になるので、認識できるようになる。本態様では、境界線またはその付近に付加情報を表示することで、ユーザが視線方向Ｓをどちらの方向へ変化させればよいのかを認識し易くする。
なお、上記のことが直ぐには認識し難い場合でも、ユーザが視線方向Ｓを左や右に変更してみれば、図１８に例示する画面Ｇ１０から図１９に例示する画面Ｇ１１になり、または画面Ｇ１１から画面Ｇ１０になるので、認識できるようになる。本態様では、境界線またはその付近に付加情報を表示することで、ユーザが視線方向Ｓをどちらの方向へ変化させればよいのかを認識し易くする。
【0102】
図２１及び図２２は、境界線とともにグラデーション部を表示させた画面の一例を示す図である。図２１は、図１８に例示する画面Ｇ１０に対応する画面Ｇ２０であり、境界線ＢＬ１の右側に付加情報としてグラデーション部ＧＤ１を表示させた画面の一例を示す図である。
【0103】
図２１の画面Ｇ２０は、図１０のＶＲ空間Ｖに対応している。よって、境界線ＢＬ１の左側は「左側の視界領域Ａ１の第１の画像が表示されている重複領域ＡＯ」に対応しており、境界線ＢＬ１の右側の領域は、重複領域ＡＯではない側（右側の視界領域Ａ２のみの領域）である。つまり、画面Ｇ２０のグラデーション部ＧＤ１は、境界線ＢＬ１を挟んで重複領域ＡＯとは反対側に表示される。このグラデーション部ＧＤ１は、境界線ＢＬ１から離れるほど（図２１では右に向かうほど）連続的に又は段階的に濃度又は不透明度が低くなる黒い色のグラデーションを表示する半透明の領域である。グラデーション部ＧＤ１の幅（境界線ＢＬ１と直交する方向の距離）や色等は任意に設定可能である（下記グラデーション部ＧＤ２も同様である）。
【0104】
また、図２２は、図１９に例示する画面Ｇ１１に対応する画面Ｇ２１であり、境界線ＢＬ２の左側に付加情報としてグラデーション部ＧＤ２を表示させた画面の一例を示す図である。この図２２の画面Ｇ２１は、図１１のＶＲ空間Ｖに対応している。よって、境界線ＢＬ２の右側は「右側の視界領域Ａ２の第２の画像が表示されている重複領域ＡＯ」に対応しており、境界線ＢＬ２の左側の領域は、重複領域ＡＯではない側（左側の視界領域Ａ１のみの領域）である。つまり、画面Ｇ２１のグラデーション部ＧＤ２は、境界線ＢＬ２を挟んで重複領域ＡＯとは反対側に表示される。このグラデーション部ＧＤ２は、境界線ＢＬ２から離れるほど（図２２では左に向かうほど）連続的に又は段階的に濃度又は不透明度が低くなるグラデーションを表示する半透明の領域である。グラデーション部ＧＤ２の色は、例えば黒色のグラデーションであるが、任意の色を設定できる。
【0105】
このように、境界線（ＢＬ１又はＢＬ２）を挟んで重複領域ＡＯの反対側にグラデーション部（ＧＤ１又はＧＤ２）を表示する。これにより、ユーザは、境界線（ＢＬ１又はＢＬ２）のグラデーション部（ＧＤ１又はＧＤ２）とは反対側（図２１では境界線ＢＬ１の左側、図２２では境界線ＢＬ２の右側）が重複領域ＡＯであると認識できる。また、ユーザは、重複領域ＡＯには、現在、境界線（ＢＬ１又はＢＬ２）を挟んでグラデーション部（ＧＤ１又はＧＤ２）とは反対側の実写画像（図２１では左側の第１の画像、図２２では右側の第２の画像）が表示されているということが認識できる。また、ユーザは、グラデーション部（ＧＤ１又はＧＤ２）が薄くなっている方向に（境界線ＢＬ１からグラデーション部のある方向に）視線方向Ｓを移動させると、重複領域ＡＯにおける実写画像の切り替え（境界線の変更）を発生させ得ることが、直感的に認識できるようになる。
【0106】
つまり、グラデーション部（ＧＤ１又はＧＤ２）は、「境界線を挟んでどちら側が重複領域であるかを示すための情報」、「隣接する実写画像のうち、重複領域に表示されている実写画像が何れであるかを示すための情報」、または「重複領域における実写画像の切り替えを発生させるために視線方向をどちらの方向へ変化させるべきかを示す情報」である。
【0107】
また、グラデーション部（ＧＤ１又はＧＤ２）は、境界線（ＢＬ１又はＢＬ２）の部分で発生している画像のズレ部分に重畳して表示されるので、当該画像のズレを目立たなくする効果も生じる。また、グラデーション部（ＧＤ１又はＧＤ２）の濃度または不透明度の変化が、重複領域ＡＯにおける実写画像の切り替えに必要な視線方向Ｓの変化の方向を自然に表す役目も担っている。よって、境界線と併せて表示する付加情報としては、グラデーション部（ＧＤ１又はＧＤ２）を適用することが、好ましい態様の一つである。
【0108】
なお、境界線（ＢＬ１又はＢＬ２）を挟んでどちら側が重複領域ＡＯであるかが認識できればよいので、境界線（ＢＬ１又はＢＬ２）を挟んで重複領域ＡＯ側にグラデーション部（ＧＤ１又はＧＤ２）を表示してもよい。
【0109】
この態様の境界線表示部３３は、前記境界線またはその付近に、前記境界線を挟んでどちら側が前記重複領域であるかを示すための付加情報を表示する機能を有する。ここで、「境界線を挟んでどちら側が重複領域であるかを示すための付加情報」とは、境界線またはその付近に表示される境界線の付加的な情報であり、現在、境界線を挟んでどちら側が重複領域であるかをユーザが認識できるように示すための情報である。例えば、前述のように、境界線（ＢＬ１又はＢＬ２）を挟んで重複領域ＡＯの反対側（または重複領域ＡＯ側）に表示されるグラデーション部（ＧＤ１又はＧＤ２）は、「境界線を挟んでどちら側が重複領域であるかを示すための付加情報」の一例である。なお、付加情報はグラデーション部（ＧＤ１又はＧＤ２）には限定されない。例えば、境界線（ＢＬ１又はＢＬ２）に重ねてまたは境界線の付近に、境界線を挟んでどちら側が前記重複領域であるかを示す「矢印」又は「記号」等を表示してもよい。この場合、前記「矢印」又は「記号」等は付加情報の一例に相当する。
【0110】
なお、前記「矢印」又は「記号」等の付加情報も、「隣接する実写画像のうち、重複領域に表示されている実写画像が何れであるかを示すための情報」、または「重複領域における実写画像の切り替えを発生させるために視線方向をどちらの方向へ変化させるべきかを示す情報」の一例となる。
【0111】
境界線表示部３３は、現在の領域境界（ＢＤ１又はＢＤ２）の部分に境界線（ＢＤ１又はＢＤ２）を配置するとともに、前述のグラデーション部（ＧＤ１又はＧＤ２）等の付加情報を配置し、実写のＶＲ画像に境界線および付加情報が重畳されて表示部１１に表示されるようにする。
【0112】
次に、図２３を参照して、上述した境界線（ＢＬ１又はＢＬ２）を表示する場合の処理の一例を説明する。図２３は、境界線を表示する場合における表示制御装置２０の処理の一例を示すフローチャートである。図２３のフローチャートのＳ３００～Ｓ３１２は、図１５のＳ１００～Ｓ１１２と同じ処理であり、各処理の詳細説明は省略する。
制御部３０は、視線方向Ｓに基づいて、隣接する実写画像（第１の画像および第２の画像）のうち、重複領域ＡＯに表示する実写画像を動的に切り替える制御を実行する（Ｓ３０４～Ｓ３１２）。そして制御部３０は、隣接する実写画像同士の領域境界（ＢＤ１又はＢＤ２）の部分に、境界線（ＢＬ１又はＢＬ２）を重畳する（Ｓ３１４）。さらに、制御部３０は、例えば境界線（ＢＬ１又はＢＬ２）を挟んで重複領域ＡＯとは反対側の領域（重複領域ＡＯに表示されていない方の実写画像の領域）に、グラデーション部（ＧＤ１又はＧＤ２）を重畳する（Ｓ３１６）。そして、制御部３０は、ＨＭＤ１０の向きに応じた範囲のＶＲ画像を生成してＨＭＤ１０へ出力する（Ｓ３１８）。これにより、ＨＭＤ１０には、境界線（ＢＬ１又はＢＬ２）およびグラデーション部（ＧＤ１又はＧＤ２）を含むＶＲ画像が表示される。Ｓ３０２～Ｓ３１８の処理は、表示が終了（Ｓ３２０でＹＥＳ）になるまで繰り返される。
なお、図２３のフローチャートにおいて、ＶＲ画像にグラデーション部（ＧＤ１又はＧＤ２）を表示しない場合は、Ｓ３１６の処理を省略できる。
制御部３０は、視線方向Ｓに基づいて、隣接する実写画像（第１の画像および第２の画像）のうち、重複領域ＡＯに表示する実写画像を動的に切り替える制御を実行する（Ｓ３０４～Ｓ３１２）。そして制御部３０は、隣接する実写画像同士の領域境界（ＢＤ１又はＢＤ２）の部分に、境界線（ＢＬ１又はＢＬ２）を重畳する（Ｓ３１４）。さらに、制御部３０は、例えば境界線（ＢＬ１又はＢＬ２）を挟んで重複領域ＡＯとは反対側の領域（重複領域ＡＯに表示されていない方の実写画像の領域）に、グラデーション部（ＧＤ１又はＧＤ２）を重畳する（Ｓ３１６）。そして、制御部３０は、ＨＭＤ１０の向きに応じた範囲のＶＲ画像を生成してＨＭＤ１０へ出力する（Ｓ３１８）。これにより、ＨＭＤ１０には、境界線（ＢＬ１又はＢＬ２）およびグラデーション部（ＧＤ１又はＧＤ２）を含むＶＲ画像が表示される。Ｓ３０２～Ｓ３１８の処理は、表示が終了（Ｓ３２０でＹＥＳ）になるまで繰り返される。
なお、図２３のフローチャートにおいて、ＶＲ画像にグラデーション部（ＧＤ１又はＧＤ２）を表示しない場合は、Ｓ３１６の処理を省略できる。
【0113】
（２つの境界線の表示形態を異ならせる態様）
境界線表示部３３は、重複領域ＡＯの一端（右端）の領域境界ＢＤ１に表示される境界線ＢＬ１と、その他端（左端）の領域境界ＢＤ２に表示されるの境界線ＢＬ２との表示形態を異ならせてもよい。ここで、「境界線の表示形態を異ならせる」とは、境界線の色、濃度、透明度、線幅、線の種類（実線、点線等）、または平面（二次元）的か立体（三次元）的か等を異ならせることをいう。これにより、水平視野角を拡大するために水平方向に配置される複数の画像を使用する場合、現在表示されている境界線（ＢＬ１又はＢＤ２）が重複領域ＡＯの左端の画像のズレの部分なのか、それとも右端の画像のズレの部分なのかをユーザが認識できるようになる。また、垂直視野角を拡大するために垂直方向に配置される複数の画像を使用する場合、現在表示されている境界線（ＢＬ１又はＢＤ２）が重複領域ＡＯの上端の画像のズレの部分なのか、それとも下端の画像のズレの部分なのかをユーザが認識できるようになる。この態様において、前述のグラデーション部ＧＤ１・ＧＤ２等の付加情報の表示を省略してもよいし、当該付加情報を境界線と併せて表示してもよい。
境界線表示部３３は、重複領域ＡＯの一端（右端）の領域境界ＢＤ１に表示される境界線ＢＬ１と、その他端（左端）の領域境界ＢＤ２に表示されるの境界線ＢＬ２との表示形態を異ならせてもよい。ここで、「境界線の表示形態を異ならせる」とは、境界線の色、濃度、透明度、線幅、線の種類（実線、点線等）、または平面（二次元）的か立体（三次元）的か等を異ならせることをいう。これにより、水平視野角を拡大するために水平方向に配置される複数の画像を使用する場合、現在表示されている境界線（ＢＬ１又はＢＤ２）が重複領域ＡＯの左端の画像のズレの部分なのか、それとも右端の画像のズレの部分なのかをユーザが認識できるようになる。また、垂直視野角を拡大するために垂直方向に配置される複数の画像を使用する場合、現在表示されている境界線（ＢＬ１又はＢＤ２）が重複領域ＡＯの上端の画像のズレの部分なのか、それとも下端の画像のズレの部分なのかをユーザが認識できるようになる。この態様において、前述のグラデーション部ＧＤ１・ＧＤ２等の付加情報の表示を省略してもよいし、当該付加情報を境界線と併せて表示してもよい。
【0114】
（切替期間を設定する態様）
重複領域ＡＯの２つ実写画像を切り替える際、いきなり一方から他方へと切り替えるのではなく、切替期間（例えば０．３秒等）を設け、時間経過に応じて切り替えを徐々に行うようにしてもよい。例えば、重複領域ＡＯに表示する実写画像を一方から他方へ切り替える場合、切替期間に重複領域ＡＯの表示をクロスフェードさせてもよい。これにより、重複領域ＡＯの実写画像の切り替え前後で、より自然に境界線（ＢＬ１又はＢＬ２）を視認し易くできる。これを以下に説明する。
重複領域ＡＯの２つ実写画像を切り替える際、いきなり一方から他方へと切り替えるのではなく、切替期間（例えば０．３秒等）を設け、時間経過に応じて切り替えを徐々に行うようにしてもよい。例えば、重複領域ＡＯに表示する実写画像を一方から他方へ切り替える場合、切替期間に重複領域ＡＯの表示をクロスフェードさせてもよい。これにより、重複領域ＡＯの実写画像の切り替え前後で、より自然に境界線（ＢＬ１又はＢＬ２）を視認し易くできる。これを以下に説明する。
【0115】
本態様の画像生成部３２は、重複領域ＡＯに表示する実写画像を切り替える場合に、時間経過に応じて、一方の実写画像から他方の実写画像へと漸次切り替える機能を有する。
ここで、「時間経過に応じて、一方の実写画像から他方の実写画像へと漸次切り替える」とは、切り替え開始から終了までの切替期間（例えば０．３秒等）を設け、切替期間における時間経過の中で、重複領域ＡＯに現在表示されている実写画像（第１の画像または第２の画像）を、他方の実写画像へと徐々に切り替えることである。切替期間は任意に設定できる。
ここで、「時間経過に応じて、一方の実写画像から他方の実写画像へと漸次切り替える」とは、切り替え開始から終了までの切替期間（例えば０．３秒等）を設け、切替期間における時間経過の中で、重複領域ＡＯに現在表示されている実写画像（第１の画像または第２の画像）を、他方の実写画像へと徐々に切り替えることである。切替期間は任意に設定できる。
【0116】
例えば、前記切替期間に、重複領域に表示される切り替え対象の２つの実写画像を画像合成して、重複領域に表示する実写画像を一方から他方へと漸次切り替えることが、「時間経過に応じて、一方の実写画像から他方の実写画像へと漸次切り替える」の一例に相当する。前記画像合成の一例としては、アルファブレンド（半透明合成）がある。具体例としては、切替期間における時間経過に応じて、一方の実写画像の透明度を「０％から１００％」に徐々に上げるとともに、他方の透明度「１００％から０％」を徐々に下げて、両実写画像をアルファブレンドする。
また、例えば、重複領域において、隣接する２つの実写画像を上下の異なるレイヤに配置する。そして、下のレイヤー（背景）に配置した実写画像の透明度を０％のまま変化させず、上のレイヤー（前景）に配置した実写画像の透明度を、切替期間における時間経過に応じて、「０％から１００％」又は「１００％から０％」に徐々に変化させてもよい。例えば、上のレイヤーの実写画像から下のレイヤの実写画像に切り替える場合、切替期間における時間経過に応じて、上のレイヤーの実写画像の透明度を「０％から１００％」に徐々に変化させる処理を行う。また、下のレイヤーの実写画像から上のレイヤの実写画像に切り替える場合、切替期間における時間経過に応じて、上のレイヤーの実写画像の透明度を「１００％から０％」に徐々に変化させる処理を行う。
また、例えば、重複領域において、隣接する２つの実写画像を上下の異なるレイヤに配置する。そして、下のレイヤー（背景）に配置した実写画像の透明度を０％のまま変化させず、上のレイヤー（前景）に配置した実写画像の透明度を、切替期間における時間経過に応じて、「０％から１００％」又は「１００％から０％」に徐々に変化させてもよい。例えば、上のレイヤーの実写画像から下のレイヤの実写画像に切り替える場合、切替期間における時間経過に応じて、上のレイヤーの実写画像の透明度を「０％から１００％」に徐々に変化させる処理を行う。また、下のレイヤーの実写画像から上のレイヤの実写画像に切り替える場合、切替期間における時間経過に応じて、上のレイヤーの実写画像の透明度を「１００％から０％」に徐々に変化させる処理を行う。
【0117】
また、前記切替期間に、重複領域に現在表示されている実写画像の画素を、他方の実写画像の画素に漸次置き替える処理を実行することが、「時間経過に応じて、一方の実写画像から他方の実写画像へと漸次切り替える」の一例に相当する。換言すれば、時間経過に応じて、重複領域に現在表示されている実写画像の画素の数（面積）が徐々に減少し、他方の実写画像の画素の数（面積）が徐々に増加するようにする処理が、「時間経過に応じて、一方の実写画像から他方の実写画像へと漸次切り替える」の一例に相当する。具体例としては、切替期間に、現在の領域境界側から切り替え完了後の領域境界側への方へと、徐々に画素を置き換えて、領域境界がスライドする（徐々に移動する）ようにすることが、「時間経過に応じて、一方の実写画像から他方の実写画像へと漸次切り替える」の一例に相当する。前記「画素を置き換える」には、重複領域の上下の異なるレイヤに配置された隣接する２つの実写画像において、上のレイヤの画素の透明度を「０％から１００％に切り替える」又は「１００％から０％に切り替える」ことを含む。また、前記「画素を置き換える」には、置き換えられる方の実写画像の画素の透明度を０％から１００％へ、置き換える方の実写画像の対応する画素の透明度を１００％から０％とすることを含む。その他、重複領域の中心から周囲に、周縁部から中心に、左端から右端に、右端から左端に、上端から下端に、または下端から上端に向かって徐々に画素が一方から他方へ切り替わるようにしてもよい。
【0118】
次に、図２４を参照して、上述した切替期間を設けた処理の一例を説明する。図２４は、表示制御装置２０における重複領域に表示する実写画像を漸次切り替える処理の一例を示すフローチャートである。
制御部３０は、ＨＭＤ１０のセンサ１２（例えば角速度センサ）から、ＨＭＤ１０の向きに関する検出情報を取得し（Ｓ４００）、視線方向Ｓを特定する（Ｓ４０２）。また、制御部３０は、現在の基準方向（ＲＤ１又はＲＤ２）に対する視線方向Ｓに基づいて、重複領域ＡＯに表示する実写画像を切り替える必要があるかを判断する（Ｓ４０４）。このＳ４０４でＹＥＳの場合、制御部３０は、変数αを初期値「２５５」に初期設定する（Ｓ４０６）。この変数αは、ステップＳ４０８における重複領域ＡＯに配置される隣接する実写画像（第１の画像および第２の画像）の半透明合成（アルファブレンド）に用いられる「α値」であり、「０～２５５」の値をとり得る。また、「α値」は、ステップＳ４１０およびＳ４１２における境界線（ＢＬ１又はＢＬ２）の不透明度の変更に用いられる。
制御部３０は、ＨＭＤ１０のセンサ１２（例えば角速度センサ）から、ＨＭＤ１０の向きに関する検出情報を取得し（Ｓ４００）、視線方向Ｓを特定する（Ｓ４０２）。また、制御部３０は、現在の基準方向（ＲＤ１又はＲＤ２）に対する視線方向Ｓに基づいて、重複領域ＡＯに表示する実写画像を切り替える必要があるかを判断する（Ｓ４０４）。このＳ４０４でＹＥＳの場合、制御部３０は、変数αを初期値「２５５」に初期設定する（Ｓ４０６）。この変数αは、ステップＳ４０８における重複領域ＡＯに配置される隣接する実写画像（第１の画像および第２の画像）の半透明合成（アルファブレンド）に用いられる「α値」であり、「０～２５５」の値をとり得る。また、「α値」は、ステップＳ４１０およびＳ４１２における境界線（ＢＬ１又はＢＬ２）の不透明度の変更に用いられる。
【0119】
制御部３０は、１フレーム毎にα値を所定量Δαずつ減算し、切替期間の時間経過に応じてα値を「２５５」から「０」へと徐々に小さくなるように変更する（Ｓ４１４）。例えば、切替期間を２０フレーム期間とする。なお、１フレームは、例えば１／６０秒である。例えば、１フレーム毎に減算する所定量Δαを「１３」とすると、約０．３秒の切替期間でα値が「２５５」から「０」に徐々に変化することになる。
【0120】
Ｓ４０８では、制御部３０は、重複領域ＡＯにおいて、２つの実写画像（第１の画像および第２の画像）を半透明合成する。この場合、制御部３０は、切り替え前に重複領域ＡＯに表示されている方の画像（これを「切替前画像」と称する）の各画素のアルファ値を変数αの値に設定する。また、重複領域ＡＯにおいて、切り替えられた後に表示される画像を「切替後画像」と称する。よって、半透明合成が実行される切替期間中において、重複領域ＡＯにおける各画素の画素値は、「切替前画像の対応画素の画素値＊α＋切替後画像の対応画素の画素値＊（２５５－α）」に設定される。
【0121】
また、Ｓ４１０では、制御部３０は、切り替え前の境界線の不透明度をαに設定する。また、Ｓ４１２では、制御部３０は、切り替え後の境界線の不透明度を（２５５－α）に設定して、切り替え後の領域境界の部分に重畳する。ここで、境界線は、α＝２５５で完全に不透明な状態（透明度０％）となり、α値が小さくなるほど不透明度が低下し、α＝０で完全に透明な状態（透明度１００％）になる。
【0122】
前記のＳ４０８～Ｓ４１４は、α値＝０になる（Ｓ４１６でＹＥＳ）まで繰り返される。これにより、例えば、約０．３秒の切替期間でα値が「２５５」から「０」に徐々に変化し、重複領域ＡＯにおいては、切替前画像の透明度が徐々に高くなる一方、切替後画像の透明度は徐々に低くなる。また、切替期間において、切り替え前の境界線と切り替え後の境界線とが同時に表示され、切替期間の時間経過に応じて、切り替え前の境界線の透明度が徐々に高くなる一方、切り替え後の境界線の透明度は徐々に低くなる。そして、最終的に、α値が「０」になった時点で（Ｓ４１６でＹＥＳ）、重複領域ＡＯの画像の切り替えが終了し、重複領域ＡＯには切替後画像が表示されるとともに、切り替え前の境界線は消えて切り替え後の境界線が表示される。
【0123】
なお、ここでは、切替期間において、切り替え前の境界線と切り替え後の境界線とが透明度を変化させながら同時に表示される例を示したが、これに限定されない。重複領域ＡＯにおける画像の切替処理（切替期間）が開始されたタイミングで、切り替え前の境界線を消去し、切替処理（切替期間）が終了したタイミングで、切り替え後の境界線を表示するようにしてもよい。この場合、図２４のＳ４１０およびＳ４１２を省略できる。あるいは、切替処理（切替期間）中において、切り替え前の境界線と切り替え後の境界線とを同じ透明度で表示し（どちらも不透明でもよい）、切替処理（切替期間）が終了したタイミングで、切り替え前の境界線を消去し、且つ、切り替え後の境界線を表示するようにしてもよい。
【0124】
（切替期間において境界線を移動表示させる態様）
前述の切替期間を設ける態様において、切替期間中に、境界線を切り替え完了後に表示される位置の方へと漸次移動させてもよい。例えば、重複領域ＡＯに左側の視界領域Ａ１の第１の画像が表示されている場合、図２１に例示するように画面Ｇ２０には境界線ＢＬ１が表示されている。この状態から、重複領域ＡＯに表示する実写画像を右側の視界領域Ａ２の第２の画像に切り替えた場合、図２５に例示するように、一点鎖線で示す位置にあった境界線ＢＬ１は、境界線ＢＬ２の位置に変更される。この画像切り替えの際、切替期間（例えば０．３秒等）において、境界線は、一点鎖線で示すＢＬ１の位置から、ＢＬ２の位置まで徐々に水平移動するように表示制御される。このようにしても、境界線の位置をユーザに自然に認識させることができる。
前述の切替期間を設ける態様において、切替期間中に、境界線を切り替え完了後に表示される位置の方へと漸次移動させてもよい。例えば、重複領域ＡＯに左側の視界領域Ａ１の第１の画像が表示されている場合、図２１に例示するように画面Ｇ２０には境界線ＢＬ１が表示されている。この状態から、重複領域ＡＯに表示する実写画像を右側の視界領域Ａ２の第２の画像に切り替えた場合、図２５に例示するように、一点鎖線で示す位置にあった境界線ＢＬ１は、境界線ＢＬ２の位置に変更される。この画像切り替えの際、切替期間（例えば０．３秒等）において、境界線は、一点鎖線で示すＢＬ１の位置から、ＢＬ２の位置まで徐々に水平移動するように表示制御される。このようにしても、境界線の位置をユーザに自然に認識させることができる。
【0125】
この態様の画像生成部３２は、重複領域ＡＯに表示する実写画像を切り替える場合に、時間経過に応じて、境界線を切り替え完了後に表示される位置の方へと漸次移動させながら、一方の実写画像から他方の実写画像へと漸次切り替える機能を有する。
【0126】
例えば、重複領域ＡＯの実写画像が左側の第１の画像から右側の第２の画像へ切り替えられる場合について説明する。図２５に例示するように、切替期間において、切り替え前の領域境界ＢＤ１から、切り替え完了後の領域境界ＢＤ２の方へと、境界線ＢＬmoveを、漸次、水平移動させる。この際、重複領域ＡＯにおいて、移動後の境界線ＢＬmoveより右側の領域（切り替え前の領域境界ＢＤ１と移動後の境界線ＢＬmoveとの間の領域）では、第１の画像の各画素を、対応する第２の画像の各画素へと置き換える。これにより、境界線ＢＬmoveの左方向への水平移動に伴って、重複領域ＡＯにおける境界線ＢＬmoveより右側の各画素が第１の画像から第２の画像へと切り替わる。この処理は境界線ＢＬmoveが、切り替え完了後の領域境界ＢＤ２に到達するまで繰り返される。境界線ＢＬmoveが領域境界ＢＤ２に到達すると、境界線ＢＬ２として停止する。
重複領域ＡＯの実写画像が右側の第２の画像から左側の第１の画像へ切り替えられる場合についても、上記と同様の処理が実行される。
重複領域ＡＯの実写画像が右側の第２の画像から左側の第１の画像へ切り替えられる場合についても、上記と同様の処理が実行される。
【0127】
図２５に例示するように、グラデーション部（ＧＤ１又はＧＤ２）を付加情報として表示する場合、次のようにグラデーション部の表示を制御すればよい。例えば、重複領域ＡＯの実写画像の切替処理（切替期間）が開始されたタイミングで、グラデーション部（ＧＤ１又はＧＤ２）を消去し、切替処理（切替期間）が終了したタイミングで、グラデーション部を表示する。あるいは、境界線ＢＬmoveの移動に連動して、グラデーション部も移動させてもよい。
【0128】
なお、切替期間中の時間経過に応じて境界線を移動表示させる構成において、重複領域ＡＯにおける実写画像の切替処理は、上記に限定されるものではない。例えば、重複領域ＡＯの実写画像の切替処理を、前述の半透明合成（アルファブレンド）により実行しながら、当該切替処理中の時間経過に応じて、境界線を切り替え完了後に表示される位置の方へと漸次移動させてもよい。
【0129】
［９．ＶＲ空間の全体視界領域を３つ以上の領域に分割する一例］
ここで、図２６を参照して、ＶＲ空間Ｖの全体視界領域を、左、正面および右の３つの領域に分割する例を説明する。ここでは、左、正面および右の各方向を撮像する水平画角１２０度の３台のステレオカメラによって撮像された左画像、正面画像および右画像を用いて、水平視野角２７０度の高視野角画像の再生を可能とする例を示す。
ここで、図２６を参照して、ＶＲ空間Ｖの全体視界領域を、左、正面および右の３つの領域に分割する例を説明する。ここでは、左、正面および右の各方向を撮像する水平画角１２０度の３台のステレオカメラによって撮像された左画像、正面画像および右画像を用いて、水平視野角２７０度の高視野角画像の再生を可能とする例を示す。
【0130】
図２６は、左画像の視界領域ＡＬ、正面画像の視界領域ＡＦ、および右画像の視界領域ＡＲを、ＶＲ空間Ｖに配置した一例を概念的に表す図である。ＶＲ空間Ｖでは、左画像の視界領域ＡＬと正面画像の視界領域ＡＦとの一部が互いに重なる第１の重複領域ＡＯ１が生じるように、画像の配置が制御される。また、正面画像の視界領域ＡＦと右画像の視界領域ＡＲとの一部が互いに重なる第２の重複領域ＡＯ２が生じるように、画像の配置が制御される。ＶＲ空間Ｖの全体視界領域の視野角θall＝２７０度、左側の視界領域ＡＬの視野角θAL＝１２０度、正面の視界領域ＡＦの視野角θAF＝１２０度、右側の視界領域ＡＲの視野角θAR＝１２０度、第１の重複領域ＡＯ１の視野角θAO1＝４５度、第２の重複領域ＡＯ２の視野角θAO2＝４５度である。
また、重複領域ＡＯ１の実写画像（左画像または正面画像）を切り替えるための基準となる基準方向ＲＤ１は、仮想視点Ｐから重複領域ＡＯ１の中心の方向に設定されている。また、重複領域ＡＯ２の実写画像（正面画像または右画像）を切り替えるための基準となる基準方向ＲＤ２は、仮想視点Ｐから重複領域ＡＯ２の中心の方向に設定されている。
これは一例であり、全体視界領域の視野角、各画像の視界領域の視野角、各重複領域の視野角、または基準方向（有無、その方向）については、任意に設定可能である。
また、重複領域ＡＯ１の実写画像（左画像または正面画像）を切り替えるための基準となる基準方向ＲＤ１は、仮想視点Ｐから重複領域ＡＯ１の中心の方向に設定されている。また、重複領域ＡＯ２の実写画像（正面画像または右画像）を切り替えるための基準となる基準方向ＲＤ２は、仮想視点Ｐから重複領域ＡＯ２の中心の方向に設定されている。
これは一例であり、全体視界領域の視野角、各画像の視界領域の視野角、各重複領域の視野角、または基準方向（有無、その方向）については、任意に設定可能である。
【0131】
この例のように、ＶＲ空間の全体視界領域を３つの領域に分割した場合、第１の重複領域ＡＯ１、および第２の重複領域ＡＯ２という２つの重複領域が生じる。第１及び第２の重複領域ＡＯ１、ＡＯ２のそれぞれについて、前述した重複領域に関する各処理（および以降に示す処理）を実行すればよい。すなわち、隣接する左画像の視界領域ＡＬと正面画像の視界領域ＡＦとの関係では、左画像は前述の「第１の画像」、正面画像は前述の「第２の画像」、第１の重複領域ＡＯ１は前述の「重複領域ＡＯ」に相当するので、前述した各処理等を適用できる。また、隣接する正面画像の視界領域ＡＦと右画像の視界領域ＡＲとの関係では、正面画像は前述の「第１の画像」、右画像は前述の「第２の画像」、第２の重複領域ＡＯ２は前述の「重複領域ＡＯ」に相当するので、前述した各処理等を適用できる。
【0132】
ＶＲ空間の全体視界領域を４つ以上の領域に分割する場合も同様である。ｎ台（ｎは２以上の自然数）のカメラによって撮像されたｎの実写画像をＶＲ空間に配置する場合、（ｎ－１）の重複領域が生じる。重複領域ＡＯが複数ある場合、それぞれの重複領域に配置される隣接する画像の一方を「第１の画像」、他方を「第２の画像」と考えて、それぞれの重複領域ＡＯに対して前述の各処理を適用すればよい。
【0133】
通常、ＨＭＤ１０の表示部１１に表示される範囲の視界画像（ＶＲ画像）は、ＶＲ空間の全体視界領域の一部である。よって、少なくとも１つの重複領域ＡＯが、表示部１１に表示されるＶＲ画像の範囲に含まれない場合、当該重複領域ＡＯに対する画像切替処理等は不要であり、実行されないようにすることができる。
【0134】
［１０．切替処理の実行開始までにタイムラグを設ける態様］
上記の重複領域ＡＯの切替処理の際、処理の実行を開始するまでに所定のタイムラグ（例えば、０．５秒など）を設けてもよい。このようなタイムラグを設けることで、不要な切替処理を省くことができる。これを以下に説明する。
上記の重複領域ＡＯの切替処理の際、処理の実行を開始するまでに所定のタイムラグ（例えば、０．５秒など）を設けてもよい。このようなタイムラグを設けることで、不要な切替処理を省くことができる。これを以下に説明する。
【0135】
ここでは、図２６に示すように、ＶＲ空間Ｖの領域が左、正面、および右の３方向である場合を例示する。ＨＭＤ１０を装着したユーザが、左側の視界領域ＡＬおよび第１の重複領域ＡＯ１を含む範囲のＶＲ画像を見ているものとする。そして、現在、第１の重複領域ＡＯ１には左画像が表示されているものとする。この状態から、ユーザが頭を右に大きく振ったことにより、正面を通り越して右側の視界領域ＡＲまで、瞬時に、ＨＭＤ１０の視軸方向（視線方向Ｓ）が移動された場合を想定する。タイムラグの設定がない場合、第１の重複領域ＡＯ１における切替処理と、第２の重複領域ＡＯ２の切替処理とが、短時間の間に発生し得る。しかし、ＨＭＤ１０の視軸方向が右側の視界領域ＡＲまで到達した時点で、第１の重複領域ＡＯ１は、既に、ＨＭＤ１０の表示部１１に表示されるＶＲ画像の範囲から外れていることがある。このような場合にも、敏感に反応して切替処理が実行されると、表示部１１に表示されるＶＲ画像に揺れが生じて視認性が悪くなる可能性がある。一方、前記のような場合、切替処理にタイムラグを設けることで、必要に応じて第２の重複領域ＡＯ２の切替処理だけを実行し、第１の重複領域ＡＯ１の切替処理を省くことができ、表示部１１に表示される画像の視認性を向上できる。
なお、第１の重複領域ＡＯ１と第２の重複領域ＡＯ２とを区別しない説明においては、「重複領域ＡＯ」と記載する場合がある。
なお、第１の重複領域ＡＯ１と第２の重複領域ＡＯ２とを区別しない説明においては、「重複領域ＡＯ」と記載する場合がある。
【0136】
この態様の画像生成部３２は、視線方向Ｓに基づいて、重複領域ＡＯに表示する実写画像の切替処理をすべきとの判定をしてから当該切替処理を開始するまでに、所定の待機期間を設ける機能を有する。ここで、待機期間が前述のタイムラグに相当する。
また、画像生成部３２は、前記切替処理を開始するまでの前記待機期間の経過後に、当該切替処理をすべきか否かを再判定し、すべきと判定した場合のみ、当該切替処理を実行する。
また、画像生成部３２は、前記切替処理を開始するまでの前記待機期間の経過後に、当該切替処理をすべきか否かを再判定し、すべきと判定した場合のみ、当該切替処理を実行する。
【0137】
待機期間は、例えば、０．５秒であるが、これに限定されず、任意に設定可能である。ＨＭＤ１０の向きに関する検出情報（ＨＭＤ１０の角速度センサ等の検出情報）に基づいて視線方向Ｓを特定し、重複領域ＡＯの切替処理の要否を判定する場合と、ユーザの視線に関する検出情報（アイトラッキング等の検出情報）に基づいて視線方向Ｓを特定し、重複領域ＡＯの切替処理の要否を判定する場合とで、待機期間の長さを異ならせてもよい。すなわち、アイトラッキングでは、人の眼球運動の分析等により視線を追跡するので、視線方向Ｓは自由に動き易い。このため、ＨＭＤ１０の向きを検出する、いわゆるヘッドトラッキングに基づく判定よりも、ユーザの視線を追跡するアイトラッキングに基づく判定の方が、前記待機期間（タイムラグ）を長く設定する方がよい。すなわち、アイトラッキングに基づいて視線方向Ｓを特定して切替処理を実行する場合、眼球をよく動かすユーザの場合に、切替処理が頻繁に発生し、画像に揺れが生じ易くなるが、待機期間を長くすることにより、不要な切替処理を抑制し、画像の視認性を高めることができる。
【0138】
例えば、角速度センサ等によるヘッドトラッキング機能と、アイトラッキング機能とが両方搭載されているＨＭＤ１０の場合では、重複領域ＡＯの切替処理の要否の判定に、前記両機能の何れを使用するのかを、ユーザの操作により選択できるようにしてもよい。この場合、ユーザの選択に基づいて、待機期間を変更する。
【0139】
次に、図２７を参照して、上述したタイムラグを設けた処理の一例を説明する。図２７は、表示制御装置２０における重複領域に表示する実写画像の切替処理の一例を示すフローチャートである。
制御部３０は、ＨＭＤ１０のセンサ１２（例えば角速度センサ）からの検出情報に基づいて視線方向Ｓを特定し、重複領域ＡＯに表示する実写画像の切替処理の要否を判定する（Ｓ５００）。制御部３０は、切替処理が必要と判定した場合（Ｓ５００でＹＥＳ）、待機期間（例えば０．５秒）を設定し、計時を開始する（Ｓ５０２）。その後、制御部３０は、待機期間が経過するまで、前記重複領域ＡＯに対する切替処理を実行しない。制御部３０は、待機期間の経過後に（Ｓ５０４でＹＥＳ）、再度、ＨＭＤ１０のセンサ１２からの検出情報に基づいて視線方向Ｓを特定し、重複領域ＡＯに表示する実写画像の切替処理の要否を判定する（Ｓ５０６）。制御部３０は、切替処理が必要と判定した場合（Ｓ５０６でＹＥＳ）、切替処理を実行する（Ｓ５０８）。一方、制御部３０は、切替処理が不要と判定した場合（Ｓ５０６でＮＯ）、切替処理を実行せずに処理を終了する。切替処理が不要となる例としては、前述のように、対象の重複領域ＡＯが、既に、ＨＭＤ１０の表示部１１に表示されるＶＲ画像の範囲から外れている場合がある。また、視線方向Ｓが基準方向ＲＤを一旦超えたために、重複領域ＡＯに対する切替処理が必要と判定された後、待機期間が経過するまでに、視線方向Ｓが、再度、基準方向ＲＤを超えて元の位置付近まで戻って来た場合も、切替処理が不要となる。
制御部３０は、ＨＭＤ１０のセンサ１２（例えば角速度センサ）からの検出情報に基づいて視線方向Ｓを特定し、重複領域ＡＯに表示する実写画像の切替処理の要否を判定する（Ｓ５００）。制御部３０は、切替処理が必要と判定した場合（Ｓ５００でＹＥＳ）、待機期間（例えば０．５秒）を設定し、計時を開始する（Ｓ５０２）。その後、制御部３０は、待機期間が経過するまで、前記重複領域ＡＯに対する切替処理を実行しない。制御部３０は、待機期間の経過後に（Ｓ５０４でＹＥＳ）、再度、ＨＭＤ１０のセンサ１２からの検出情報に基づいて視線方向Ｓを特定し、重複領域ＡＯに表示する実写画像の切替処理の要否を判定する（Ｓ５０６）。制御部３０は、切替処理が必要と判定した場合（Ｓ５０６でＹＥＳ）、切替処理を実行する（Ｓ５０８）。一方、制御部３０は、切替処理が不要と判定した場合（Ｓ５０６でＮＯ）、切替処理を実行せずに処理を終了する。切替処理が不要となる例としては、前述のように、対象の重複領域ＡＯが、既に、ＨＭＤ１０の表示部１１に表示されるＶＲ画像の範囲から外れている場合がある。また、視線方向Ｓが基準方向ＲＤを一旦超えたために、重複領域ＡＯに対する切替処理が必要と判定された後、待機期間が経過するまでに、視線方向Ｓが、再度、基準方向ＲＤを超えて元の位置付近まで戻って来た場合も、切替処理が不要となる。
【0140】
［１１．ＶＲ空間への画像の配置状態を変更する態様］
例えば、図９ないし図１１の例では、ＶＲ空間に配置される視界領域の数（画像の数）を２とし、水平視野角１８０度の全体視界領域を左右２つの領域としているが、これらは固定的なものではなく、表示対象の画像のシーン（場面）、内容などによって変化させてもよい。例えば、実写画像を用いたゲーム、その他のコンテンツでシーンが切り替わる場合に、そのシーンの内容に合わせて、ＶＲ空間に配置される視界領域の数（画像の数）、全体視界領域の視野角、またはＶＲ空間内における各視界領域の方向（ＶＲ空間内の位置）等を変更してもよい。
例えば、図９ないし図１１の例では、ＶＲ空間に配置される視界領域の数（画像の数）を２とし、水平視野角１８０度の全体視界領域を左右２つの領域としているが、これらは固定的なものではなく、表示対象の画像のシーン（場面）、内容などによって変化させてもよい。例えば、実写画像を用いたゲーム、その他のコンテンツでシーンが切り替わる場合に、そのシーンの内容に合わせて、ＶＲ空間に配置される視界領域の数（画像の数）、全体視界領域の視野角、またはＶＲ空間内における各視界領域の方向（ＶＲ空間内の位置）等を変更してもよい。
【0141】
例えば、図２８に例示するように、あるシーンでは、同図中の（Ａ）に例示するように、２７０度の全体視界領域を３つの領域に分けたものであり、別のシーンでは同図中の（Ｂ）に例示するように、２２０度の全体視界領域を２つの領域に分けたものにする。そして、シーンに応じて（Ａ）の配置状態にしたり、（Ｂ）の配置状態にしたりする。例えば、基本的には（Ａ）の配置を採用するが、前方の領域にしか注目せず、後方の領域の画像は不要とするシーンでは（Ｂ）の配置を採用する。
【0142】
さらに別のシーンでは、図９に例示するように、１８０度の全体視界領域を２つの領域に分けたものにしてもよい。なお、全体視界領域を分けずに１つの領域（例えば１４０度の全体視界領域１つのみ）のシーンが一部に含まれていてもよい。
【0143】
例えば、あるシーンでは、図２６に示す３台のカメラ２００を使用して、図２８中の（Ａ）に例示するＶＲ空間に配置される３つの画像を撮像する。また、別のシーンでは、前記３台のカメラ２００のうちの隣接する２台のみを使用して、図２８中の（Ｂ）に例示するＶＲ空間に配置される２つの画像を撮像する。この場合、必要に応じて３台のカメラ２００のうちの少なくとも１のカメラのレンズを交換して画角を拡大（又は縮小）したり、各カメラ２００の撮像方向（視軸の方向）を調整してもよい。例えば、室内のシーンから屋外のシーンへの切り替わりや、ある部屋のシーンから別の部屋のシーンへの切り替わりなどでは、各シーンを撮像するカメラ２００の設置位置も変わるので、各シーンに適したＶＲ空間への配置状態を考えて、実写画像を撮像すればよい。
【0144】
前述のように、表示対象の複数の実写画像のデータとともに、当該複数の実写画像をＶＲ空間に配置するための配置情報が、当該複数の実写画像と関連付けられて記憶装置２２に記憶されている。例えば、実空間におけるカメラの撮像場所が変わるシーン毎に、各シーンで撮像された条件に応じた前述の配置情報が生成され、各シーンに関連付けて、実写画像とともに記録される。このように、シーンに応じて複数の実写画像のＶＲ空間への配置状態が適宜変更される場合、それぞれのシーンに関連付けられた配置情報が記憶装置２２に記憶される。あるいは、実写画像ファイルのヘッダ等にシーン毎の配置情報が記録されており、実写画像の再生時に配置情報が読み出されて使用される。
【0145】
この態様の画像生成部３２は、ＶＲ画像の表示部１１への表示制御中に、複数の実写画像のＶＲ空間への配置状態を変更する画像配置部３２１を含む。ここで、ＶＲ空間への配置状態の変更の対象となるものは、例えば、ＶＲ空間に配置される視界領域の数（画像の数）、全体視界領域の視野角、各視界領域の視野角、ＶＲ空間内における各視界領域の方向（位置）、重複領域の数、各重複領域の視野角、またはＶＲ空間内における各重複領域の方向（位置）等である。これらの情報は、表示対象の複数の実写画像に関連付けて（例えば、複数の実写画像の各シーンに関連付けて）、配置情報として記録されている。
【0146】
例えば、図２８中の（Ａ）のＶＲ空間の配置状態では、視界領域の数（画像の数）＝３、全体視界領域の視野角は「θall＝２７０度」、全体視界領域の方向（ＶＲ空間内の位置）は「－１３５度～１３５度」、左側・正面・右側の各視界領域ＡＬ・ＡＦ・ＡＲの視野角は「θAL＝θAF＝θAR＝１２０度」、左側の視界領域ＡＬの方向は「１５度～１３５度」、正面の視界領域ＡＦの方向は「－６０度～６０度」、右側の視界領域ＡＲの方向は「－１３５度～－１５度」、第１の重複領域ＡＯ１の視野角は「θAO1＝４５度」、第１の重複領域ＡＯ１の方向は「１５度～６０度」、第２の重複領域ＡＯ２の視野角は「θAO2＝４５度」、第２の重複領域ＡＯ１の方向は「－６０～－１５度」である。これらの情報の全部または一部が配置情報として記録されている。ここで示した方向の角度は、Ｘ軸方向（基準の視線方向）を０度とした水平方向の角度であり、垂直方向の角度はここでは省略している。
また、図２８中の（Ｂ）のＶＲ空間の配置状態では、視界領域の数（画像の数）＝２、全体視界領域の視野角は「θall＝２２０度」、全体視界領域の方向は「－１１０度～１１０度」、左側・右側の各視界領域ＡＬ・ＡＦ・ＡＲの視野角は「θAL＝θAR＝１３５度」等（以下省略）の情報が配置情報として記録されている。
また、図２８中の（Ｂ）のＶＲ空間の配置状態では、視界領域の数（画像の数）＝２、全体視界領域の視野角は「θall＝２２０度」、全体視界領域の方向は「－１１０度～１１０度」、左側・右側の各視界領域ＡＬ・ＡＦ・ＡＲの視野角は「θAL＝θAR＝１３５度」等（以下省略）の情報が配置情報として記録されている。
【0147】
画像配置部３２１は、表示対象の複数の実写画像のＶＲ空間への配置状態の変更の要否を、当該複数の実写画像に関連付けられている配置情報に基づいて判定し、当該配置情報に基づいて、配置状態を適宜変更する。
【0148】
本実施の形態の画像表示システム１では、前述のとおり、ステッチング処理により完成された１つのＶＲ画像データが予め作成されるわけではなく、複数の実写画像をＶＲ空間へ配置しながら、ＶＲ画像表示制御を実行する。よって、ＶＲ画像の再生中に、本態様のように、実写画像のＶＲ空間への配置状態を適宜変更することも可能である。例えば、シーンに応じて、ＶＲ空間に配置される視界領域の数（実写画像の数）や全体視界領域の視野角等を変更したりできる。すなわち、シーン毎のＶＲ空間の最適化を図ることができる。よって、シーン毎に不必要な視界領域を排除することが可能であり、画像データの量を削減することができる。
【0149】
また、シーン毎に不必要な視界領域を排除することにより、データ容量を削減できるだけでなく、不必要な視界領域を排除したシーンでは、ＨＭＤ１０の表示部１１に表示されるＶＲ画像の解像度を高めることもできる。すなわち、不必要な視界領域を排除した分、解像度の高いＶＲ画像をＶＲＡＭ等に展開できるようになる。例えば、図２８中の（Ａ）のＶＲ空間の配置状態よりも（Ｂ）の配置状態の方が、解像度の高いＶＲ画像がＨＭＤ１０の表示部１１に表示される。よって、画像の解像度を高めたいシーンでは図２８中の（Ｂ）の配置状態を採用し、それ以外では（Ａ）の配置状態を採用する等により、シーン毎のＶＲ空間の最適化を図ってもよい。
【0150】
次に、図２９を参照して、本態様の処理の一例を説明する。図２９は、表示制御装置２０におけるＶＲ空間への画像の配置状態を変更する処理の一例を示すフローチャートである。
制御部３０は、表示対象の複数の実写画像の配置情報を取得し（Ｓ６００）、当該配置情報に基づいて、複数の実写画像のＶＲ空間への配置状態を決定する（Ｓ６０２）。ＶＲ画像再生時は、ここで決定されたＶＲ空間への配置状態が適用され、隣接する画像の視界領域の一部が互いに重なる重複領域ＡＯが生じるようにＶＲ空間に配置される。また、前述のように、視線方向Ｓ（例えばＨＭＤ１０の視軸方向）に基づいて、重複領域ＡＯに表示する実写画像が動的に切り替えられ、ＶＲ画像が生成される。また、制御部３０は、ＶＲ画像の再生中にシーンが変更される場合（Ｓ６０４でＹＥＳ）、変更後のシーンの配置情報を取得し（Ｓ６０６）、ＶＲ空間への画像の配置状態を変更すべきか否かを判定する（Ｓ６０８）。ここで、制御部３０は、配置状態の変更が必要と判定した場合（Ｓ６０８でＹＥＳ）、複数の実写画像のＶＲ空間への配置状態を変更する（Ｓ６１０）。これにより、シーン変更後には、当該シーンに適したＶＲ空間への配置状態が適用され、当該シーンの画像がＶＲ空間に配置された上で、ＶＲ画像が生成される。Ｓ６０４～Ｓ６１０の処理は、表示が終了（Ｓ６１２でＹＥＳ）になるまで繰り返される。
制御部３０は、表示対象の複数の実写画像の配置情報を取得し（Ｓ６００）、当該配置情報に基づいて、複数の実写画像のＶＲ空間への配置状態を決定する（Ｓ６０２）。ＶＲ画像再生時は、ここで決定されたＶＲ空間への配置状態が適用され、隣接する画像の視界領域の一部が互いに重なる重複領域ＡＯが生じるようにＶＲ空間に配置される。また、前述のように、視線方向Ｓ（例えばＨＭＤ１０の視軸方向）に基づいて、重複領域ＡＯに表示する実写画像が動的に切り替えられ、ＶＲ画像が生成される。また、制御部３０は、ＶＲ画像の再生中にシーンが変更される場合（Ｓ６０４でＹＥＳ）、変更後のシーンの配置情報を取得し（Ｓ６０６）、ＶＲ空間への画像の配置状態を変更すべきか否かを判定する（Ｓ６０８）。ここで、制御部３０は、配置状態の変更が必要と判定した場合（Ｓ６０８でＹＥＳ）、複数の実写画像のＶＲ空間への配置状態を変更する（Ｓ６１０）。これにより、シーン変更後には、当該シーンに適したＶＲ空間への配置状態が適用され、当該シーンの画像がＶＲ空間に配置された上で、ＶＲ画像が生成される。Ｓ６０４～Ｓ６１０の処理は、表示が終了（Ｓ６１２でＹＥＳ）になるまで繰り返される。
【0151】
［１２．ＶＲ空間の全体視界領域の方向を変更する態様］
以上の説明では、表示対象の複数の実写画像を撮像するカメラに関し、実空間の撮像中にカメラの方向を変化させることは考慮していなかったが、撮像中にカメラの向きを変化させるようにしてもよい。その場合、その撮像中における撮像方向の変化を、ＶＲ空間の視界領域に反映させるようにしてもよい。
以上の説明では、表示対象の複数の実写画像を撮像するカメラに関し、実空間の撮像中にカメラの方向を変化させることは考慮していなかったが、撮像中にカメラの向きを変化させるようにしてもよい。その場合、その撮像中における撮像方向の変化を、ＶＲ空間の視界領域に反映させるようにしてもよい。
【0152】
例えば、図２６に例示するように、実空間を撮像する３台のカメラ２００と、当該３台のカメラ２００で撮像された各画像が配置されるＶＲ空間Ｖの視界領域との関係があるものとする。すなわち、図２６の各カメラ２００の撮像方向が、各カメラの基準撮像方向であり、正面のカメラ２００の基準撮像方向が、ＶＲ空間ＶのＸ軸方向（基準の視線方向）に対応している。ここで、図２６の３台のカメラ２００を右方向に回転した場合を図３０に例示する。図３０は、３台のカメラ２００の撮像時の方向変化（撮像方向の回転）に応じて、当該３台のカメラ２００で撮像された各画像が配置されるＶＲ空間Ｖの全体視界領域も回転される関係を例示している。
【0153】
図２６の例では、基準撮像方向のカメラ２００で撮像された画像の場合、ＶＲ空間Ｖにおける全体視界領域の方向は、Ｘ軸方向（基準の視線方向）を０度として「－１３５度～１３５度」である。一方、図３０の例では、図２６の基準撮像方向から右に４５度（すなわち－４５度）だけカメラ２００の撮像方向が回転している。この図３０のカメラ２００で撮像された画像の場合、ＶＲ空間Ｖにおける全体視界領域の方向は、右に４５度回転して「－１８０度～９０度」に変化する。
【0154】
カメラ２００の撮像方向の変化の情報は、撮像時にカメラ２００に搭載された角速度センサ（ジャイロセンサ）等から検出して、撮像時に画像のデータとともに記録してもよい。あるいは、撮像後に、撮像された画像から既知の画像解析によって撮像方向の変化を特定し、撮像方向の変化の情報を、撮像された画像に関連付けて記録してもよい。あるいは、表示制御装置２０は、画像の再生中に、撮像された画像から画像解析によって撮像方向の変化をリアルタイムで特定してもよい。
【0155】
例えば、実空間において、車が左から目の前を通過して右へ走り抜けていくようなシーンで、カメラを車の移動に合わせて左から右へ向きを変えながら撮像する場合を考える。図３１は、カメラ２００の撮像方向の回転の情報を利用しない場合において、カメラ２００で撮像された画像が配置されるＶＲ空間Ｖの視界領域の変化の一例を示している。撮像方向の回転の情報を利用しない場合、カメラ２００が回転しても、全体視界領域の方向は変化せず、常に、正面のカメラ２００の撮像方向がＶＲ空間ＶのＸ軸方向に対応することになる。よって、撮像方向の回転の情報を利用せずに、撮像された画像をＨＭＤ１０に表示すると、隣接する画像の領域境界を跨がずに車の映像を表示することが可能になるが、車は移動しているにも関わらず、ＨＭＤ１０の視軸（視線方向Ｓ）に対して同じ方向に表示されるため、現実とは異なりリアリティは保てなくなる。
【0156】
図３２は、カメラ２００の撮像方向の回転の情報を利用した場合において、カメラ２００で撮像された各画像が配置されるＶＲ空間Ｖの視界領域の変化の一例を示している。撮像方向の回転の情報を利用する場合、撮像方向の回転に応じて、ＶＲ空間Ｖにおける全体視界領域の方向も回転する。この場合、撮像された画像をＨＭＤ１０に表示すると、ＨＭＤ１０の視軸（視線方向Ｓ）に対しても左から右へと車が移動する映像が表示されることになる。よって、画像の再生中、車が左の方向に存在する場合は、ユーザがＨＭＤ１０を左の方向に向けないと車が見えない（または、ユーザが正面を向いている場合に左の方向に車が見える）ことになる。ユーザは車のある方向に頭を向けることにより、車をしっかりと見ることができるようになり、リアリティのあるＶＲ画像が表示できる。且つ、隣接する画像の領域境界（境界線を表示する場合は境界線）を跨がずに車の映像をＨＭＤ１０の表示部１１に表示することが可能になる。
【0157】
この態様の表示制御装置２０の制御部３０は、図２０に例示するように、撮像方向特定部３４を含む構成とすることができる。この撮像方向特定部３４は、複数の実写画像を撮像した複数のカメラの撮像方向の変化を特定する機能を有する。例えば、撮像方向特定部３４は、複数の実写画像に関連付けて記録されている「撮像方向の変化の情報」を読み出して、撮像方向の変化を特定することができる。あるいは、撮像方向特定部３４は、前記実写画像から画像解析によって撮像方向の変化を特定してもよい。
そして、画像生成部３２は、撮像方向特定部３４によって特定された前記撮像方向の変化に応じて、ＶＲ空間に配置する複数の実写画像全体の視界領域（全体視界領域）の方向を変更する機能を有する。
そして、画像生成部３２は、撮像方向特定部３４によって特定された前記撮像方向の変化に応じて、ＶＲ空間に配置する複数の実写画像全体の視界領域（全体視界領域）の方向を変更する機能を有する。
【0158】
次に、図３３を参照して、本態様の処理の一例を説明する。図３３は、表示制御装置２０におけるＶＲ空間の全体視界領域の方向を変更する処理の一例を示すフローチャートである。
制御部３０は、ＶＲ画像の再生開始時に、ＶＲ空間における全体視界領域の方向を、基準撮像方向に対応する方向に初期化する（Ｓ７００）。例えば、図２６に例示するように、全体視界領域の水平方向を「－１３５度～１３５度」にデフォルト設定し、仮想視点Ｐから正面の視界領域ＡＦの中心の方向が、Ｘ軸方向（基準の視線方向）となるようにする。また、制御部３０は、表示対象の複数の実写画像の撮像方向の変化の情報を取得し（Ｓ７０２）、撮像方向の変化を特定する（Ｓ７０４）。例えば、制御部３０は、表示対象の複数の実写画像のデータとともに記録されている撮像方向の変化の情報を、例えば１フレーム毎に読み出して取得することにより、撮像方向の変化を特定する。そして、制御部３０は、撮像方向が前フレームより変化したと判定した場合（Ｓ７０６でＹＥＳ）、撮像方向の変化に応じて、ＶＲ空間における全体視界領域の方向を変更する（Ｓ７０８）。一方、撮像方向が変化していないと判定した場合は（Ｓ７０６でＮＯ）、ステップＳ７０２に戻る。Ｓ７０２～Ｓ７０８の処理は、表示が終了（Ｓ７１０でＹＥＳ）になるまで繰り返される。
制御部３０は、ＶＲ画像の再生開始時に、ＶＲ空間における全体視界領域の方向を、基準撮像方向に対応する方向に初期化する（Ｓ７００）。例えば、図２６に例示するように、全体視界領域の水平方向を「－１３５度～１３５度」にデフォルト設定し、仮想視点Ｐから正面の視界領域ＡＦの中心の方向が、Ｘ軸方向（基準の視線方向）となるようにする。また、制御部３０は、表示対象の複数の実写画像の撮像方向の変化の情報を取得し（Ｓ７０２）、撮像方向の変化を特定する（Ｓ７０４）。例えば、制御部３０は、表示対象の複数の実写画像のデータとともに記録されている撮像方向の変化の情報を、例えば１フレーム毎に読み出して取得することにより、撮像方向の変化を特定する。そして、制御部３０は、撮像方向が前フレームより変化したと判定した場合（Ｓ７０６でＹＥＳ）、撮像方向の変化に応じて、ＶＲ空間における全体視界領域の方向を変更する（Ｓ７０８）。一方、撮像方向が変化していないと判定した場合は（Ｓ７０６でＮＯ）、ステップＳ７０２に戻る。Ｓ７０２～Ｓ７０８の処理は、表示が終了（Ｓ７１０でＹＥＳ）になるまで繰り返される。
【0159】
［１３．まとめ］
以上の説明のように、本実施形態に係るプログラムは、両眼視差を利用した立体視画像として、ＶＲ空間Ｖ内の仮想視点Ｐからの視界を表すＶＲ画像をＨＭＤ１０の表示部１１に表示させるための制御を実行する表示制御装置２０（コンピュータの一例）を、視線方向特定部３１と、画像生成部３２として機能させるためのプログラムである。
本実施形態に係る表示制御装置２０は、視線方向特定部３１と、画像生成部３２とを含む。視線方向特定部３１は、前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向Ｓを特定する。画像生成部３２は、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域ＡＯが生じるように前記ＶＲ空間Ｖに配置し、前記視線方向Ｓに応じた前記ＶＲ画像を生成する。ここで、画像生成部３２は、前記視線方向Ｓに基づいて、隣接する前記実写画像のうち、前記重複領域ＡＯに表示する前記実写画像を動的に切り替える。
以上の説明のように、本実施形態に係るプログラムは、両眼視差を利用した立体視画像として、ＶＲ空間Ｖ内の仮想視点Ｐからの視界を表すＶＲ画像をＨＭＤ１０の表示部１１に表示させるための制御を実行する表示制御装置２０（コンピュータの一例）を、視線方向特定部３１と、画像生成部３２として機能させるためのプログラムである。
本実施形態に係る表示制御装置２０は、視線方向特定部３１と、画像生成部３２とを含む。視線方向特定部３１は、前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向Ｓを特定する。画像生成部３２は、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域ＡＯが生じるように前記ＶＲ空間Ｖに配置し、前記視線方向Ｓに応じた前記ＶＲ画像を生成する。ここで、画像生成部３２は、前記視線方向Ｓに基づいて、隣接する前記実写画像のうち、前記重複領域ＡＯに表示する前記実写画像を動的に切り替える。
【0160】
ここで、本構成の「ＶＲ画像」は、ＨＭＤ１０の表示部１１に表示される両眼視差を利用した立体視可能な実写画像であるが、実写以外の表示対象を「ＶＲ画像」に含めてもよい。例えば、ＣＧ（Computer Graphics）、各種オブジェクト、線、記号、文字等の実写以外の表示対象もＶＲ空間内に配置し、これらを実写画像に重畳して「ＶＲ画像」としてもよい。「ＶＲ画像」には、AR（Augmented Reality：拡張現実）画像またはMR（Mixed Reality：複合現実）画像が含まれる。「ＶＲ画像」は静止画であってもよいし、動画であってもよい。「ＶＲ画像」は、例えばＨＭＤ１０の表示部１１に供給（伝送）される場合に、ＨＭＤ１０に応じた伝送フォーマットに適宜変換されてもよい。
【0161】
また、「ＨＭＤ」は、例えば、図３４に示すように、ユーザの頭部に装着可能なアタッチメント（装着具）５１と、当該アタッチメント５１に対して取り付けられる、スマートフォン等の情報処理装置５２とを含むＨＭＤ５０であってもよい。この場合、情報処理装置５２の表示部６１がＨＭＤ５０の表示部となる。また、「ＨＭＤ」は、表示制御装置２０の機能がＨＭＤ１０と一体化された、いわゆるスタンドアローン型のＨＭＤでもよい。また、「ＨＭＤ」は、頭部に装着可能なゴーグル型または眼鏡型であってもよい。また、「ＨＭＤ」は、狭義のＨＭＤに限らず、例えば、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、めがね型カメラ、耳かけカメラ、カメラつき帽子等にＨＭＤとしての機能を持たせたものであってもよい。
【0162】
また、本実施形態に係る「表示制御装置」は、ＶＲ画像の生成等の情報処理機能を備えた装置であれば、様々なものが適用できる。例えば、据置型または携帯型のゲーム専用機、業務用（商業用）ゲーム機、パーソナルコンピュータ、タブレット型コンピュータ、スマートフォン、携帯電話端末、ＰＨＳ端末、ＰＤＡ、情報処理機能を備えた多機能型テレビジョン受像機等を、「表示制御装置」とすることができる。また、ＨＭＤ自体がＶＲ画像の生成等の情報処理機能を備えている場合は、ＨＭＤが本構成の「表示制御装置」となり得る。例えば、図３４に例示するように、アタッチメント５１と情報処理装置５２とを含むＨＭＤ５０の場合、スマートフォン等の情報処理装置５２が、本実施形態に係る「表示制御装置」の一例となる。また、前記スタンドアローン型のＨＭＤが、本実施形態に係る「表示制御装置」の一例となる。
【0163】
上記の構成によれば、視線方向Ｓに基づいて重複領域ＡＯに表示する実写画像を動的に切り替えることにより、重複領域ＡＯにおける隣接する実写画像同士の領域境界（ＢＤ１又はＢＤ２）をユーザの視線の方向から遠ざけることができる。これにより、領域境界に発生する「隣接する実写画像同士の継ぎ目（ズレ）」の違和感を低減することができる。前述のように、ステッチング処理を行う従来の技術では、カメラとの距離が一定以下（例えば２ｍ以下）となるような近距離撮影物が画像の継ぎ目にあれば、ステッチングが困難となり、ＶＲ画像データを作成できなかった。これに対し、本構成によれば、カメラとの距離が一定以下となるような近距離撮影物が実写画像に含まれており、当該近距離撮影物が領域境界またはその付近に存在していたとしても、ユーザにとっては違和感の少ない立体視ＶＲ画像が表示される。つまり、近距離撮影物がＶＲ空間内のどの位置に存在しても違和感の少ないＶＲ画像を表示でき、近距離表示可能なＶＲ画像表示制御を実現できる。
また、ステッチングの工程が不要となるため、ＶＲ画像制作の手間を低減することもできる。
また、ステッチングの工程が不要となるため、カメラが現在撮像している実写画像（ライブ映像）を使用して、実写画像同士の継ぎ目の違和感の少ないＶＲ画像を、略リアルタイムで表示部１１に表示させることができる。
また、ステッチングの工程が不要となるため、ＶＲ画像制作の手間を低減することもできる。
また、ステッチングの工程が不要となるため、カメラが現在撮像している実写画像（ライブ映像）を使用して、実写画像同士の継ぎ目の違和感の少ないＶＲ画像を、略リアルタイムで表示部１１に表示させることができる。
【0164】
また、前記画像生成部３２は、仮想視点Ｐから所定の方向に基準方向ＲＤを設定し、基準方向ＲＤに対する前記視線方向Ｓに基づいて、重複領域ＡＯに表示する実写画像を特定するようにしてもよい。これにより、重複領域ＡＯに表示する実写画像の切り替え制御を容易に実現できる。
【0165】
また、前記画像生成部３２は、仮想視点Ｐから重複領域ＡＯ内の所定の位置の方向に基準方向ＲＤを設定してもよい。これにより、基準方向ＲＤが重複領域ＡＯ内に設定されるので、視線方向Ｓが重複領域ＡＯの領域境界（ＢＤ１又はＢＤ２）の方に向かっても、領域境界に到達する前に、重複領域に表示する実写画像が切り替わり、よって領域境界もユーザの視線の方向から遠ざかる。
【0166】
また、前記画像生成部３２は、重複領域ＡＯに表示する実写画像を切り替えたタイミングで、重複領域ＡＯに表示する実写画像に応じて基準方向ＲＤを変更してもよい。これにより、重複領域ＡＯにおいて実写画像が切り替えられた後は一時的に基準方向ＲＤが視線方向Ｓから遠のくため、重複領域ＡＯに表示される実写画像が頻繁に切り替わることを低減できる。
【0167】
また、前記画像生成部３２は、隣接する実写画像の現在の領域境界（ＢＤ１又はＢＤ２）に対する視線方向Ｓに基づいて、重複領域ＡＯに表示する実写画像を特定するようにしてもよい。これにより、基準方向を設定せずとも、重複領域ＡＯに表示する実写画像の切り替え制御を容易に実現できる。また、重複領域ＡＯに表示する実写画像が切り替えられたタイミングで、基準となる領域境界が変更されるので、前述の基準方向ＲＤを変更する構成と同様の効果を奏する。すなわち、重複領域ＡＯに表示される実写画像が頻繁に切り替わることを低減できる。
【0168】
また、前記画像生成部３２は、隣接する実写画像の現在の領域境界（ＢＤ１またはＢＤ２）に視線方向Ｓが所定以上近づいた場合（例えば、視線方向Ｓと現在の領域境界とのなす角度が所定値以下になった場合）に、重複領域ＡＯに現在表示している実写画像を他方の実写画像に切り替えてもよい。この場合も基準方向を設定せずとも、重複領域ＡＯに表示する実写画像の切り替え制御を容易に実現できる。また、視線方向Ｓが領域境界に到達する前に、重複領域に表示する実写画像が切り替わり、領域境界をユーザの視線の方向から遠ざけることができる。
【0169】
また、前記視線方向特定部３１は、ＨＭＤ１０の向きに関する検出情報（例えば、角速度センサの検出情報）を取得し、当該検出情報に基づいて視線方向Ｓを特定してもよい。これにより、ユーザは、ＨＭＤ１０の向きを変化させることにより、重複領域ＡＯに表示する実写画像を動的に切り替えることができる。
【0170】
また、前記視線方向特定部３１は、ユーザの視線に関する検出情報（例えば、アイトラッキングの検出情報）を取得し、当該検出情報に基づいて視線方向Ｓを特定してもよい。これにより、ユーザは、目の動き（視線の向き）を変化させることにより、重複領域ＡＯに表示する実写画像を動的に切り替えることができる。
【0171】
また、前記画像生成部３２は、前記ＨＭＤ１０の向きに関する検出情報を取得し、当該検出情報に基づいて、前記表示部１１に表示させる前記ＶＲ画像の範囲を変更してもよい。この構成によれば、ＨＭＤ１０の向きに応じて表示部１１に表示されるＶＲ画像の範囲が変更され、さらに表示部１１に表示されるＶＲ画像においては、視線方向Ｓに基づいて重複領域ＡＯに表示する実写画像が動的に切り替えられる。ここで、ＨＭＤ１０の向きに関する検出情報に基づいて視線方向Ｓが特定される場合、ユーザは、ＨＭＤ１０の向きを調整することにより、表示部１１に表示されるＶＲ画像の範囲を変えながら、重複領域ＡＯに表示する実写画像を動的に切り替えることができる。また、ユーザの視線に関する検出情報（例えば、アイトラッキングの検出情報）に基づいて視線方向Ｓが特定される場合、ユーザは、ＨＭＤ１０の向きを変えることにより、表示部１１に表示されるＶＲ画像の範囲を調整し、また、目の動き（視線の向き）を変えることにより重複領域ＡＯに表示する実写画像を動的に切り替えることができる。
【0172】
また、表示制御装置２０が境界線表示部３３を含む構成としてもよい。境界線表示部３３は、隣接する実写画像同士の領域境界（ＢＤ１又はＢＤ２）に、ユーザが視認可能な境界線（ＢＬ１又はＢＬ１）を表示する。このように、領域境界に敢えて境界線を視認可能に表示することで、画像の継ぎ目（ズレ）が生じる領域境界がユーザに認識され易くなる。これにより、ユーザの見たい方向に境界線が表示されないように、隣接する実写画像のうち、重複領域にどちらの実写画像を表示して見るべきかのユーザの判断を容易にすることができる。
また、境界線表示部３３は、重複領域ＡＯの一端の領域境界（ＢＤ１又はＢＤ２）に表示される境界線（ＢＬ１又はＢＬ２）と、その他端の領域境界に表示されるの境界線との表示形態を異ならせてもよい。これにより、現在表示されている境界線が重複領域の一端（例えば左端）の画像のズレの部分なのか、それとも他端（例えば右端）の画像のズレの部分なのかをユーザが認識できるようになる。
また、境界線表示部３３は、重複領域ＡＯの一端の領域境界（ＢＤ１又はＢＤ２）に表示される境界線（ＢＬ１又はＢＬ２）と、その他端の領域境界に表示されるの境界線との表示形態を異ならせてもよい。これにより、現在表示されている境界線が重複領域の一端（例えば左端）の画像のズレの部分なのか、それとも他端（例えば右端）の画像のズレの部分なのかをユーザが認識できるようになる。
【0173】
また、境界線表示部３３は、境界線（ＢＬ１又はＢＬ１）またはその付近に、境界線を挟んでどちら側が重複領域ＡＯであるかを示すための付加情報（例えば、グラデーション部（ＧＤ１またはＧＤ２）を表示してもよい。このように、境界線を挟んでどちら側が重複領域であるかをユーザが認識できるようにすることで、どの方向に視線方向Ｓを変更すれば、重複領域ＡＯに表示される実写画像が切り替わるかのユーザの判断が容易になる。
【0174】
また、前記付加情報は、境界線付近の実写画像に重畳され、境界線から離れるほど連続的に又は段階的に濃度又は不透明度が低くなる半透明のグラデーション部（ＧＤ１又はＧＤ２）とすることができる。このグラデーション部は、境界線（ＢＬ１又はＢＬ２）付近で発生している画像のズレを隠して目立たなくする効果を生じる。また、グラデーション部（ＧＤ１又はＧＤ２）の濃度または不透明度の変化（濃い方から薄い方、又は薄い方から濃い方への変化）が、重複領域ＡＯにおける実写画像の切り替えに必要な視線方向Ｓの変化の方向を自然に表す役目を担う。
【0175】
また、画像生成部３２は、重複領域ＡＯに表示する実写画像を切り替える場合に、時間経過に応じて、一方の実写画像から他方の実写画像へと漸次切り替えてもよい。例えば、切替期間（例えば０．３秒）において、切り替え対象の２つの実写画像をアルファブレンドしてクロスフェードさせてもよい。重複領域ＡＯに表示する実写画像を一方から他方へと切り替える場合に、いきなり切り替えるよりも、切り替え開始から終了までの切替期間における時間経過の中で漸次切り替えることにより、より自然に、境界線を視認し易くできる。
【0176】
また、画像生成部３２は、重複領域ＡＯに表示する実写画像を切り替える場合に、時間経過に応じて、境界線（ＢＬ１又はＢＬ１）を切り替え完了後に表示される位置の方へと漸次移動させながら、一方の実写画像から他方の実写画像へと漸次切り替えるようにしてもよい。このように、重複領域ＡＯに表示する実写画像の切替期間中に、境界線を移動させることにより、変更される境界線の位置をユーザに自然に認識させることができる。
【0177】
また、画像生成部３２は、視線方向に基づいて、重複領域ＡＯに表示する実写画像の切替処理をすべきとの判定をしてから当該切替処理を開始するまでに、所定の待機期間を設けてもよい。これにより、待機期間中に視線方向が変化して、切替処理が不要となるような状態になった場合（例えば、機期間経過時には、既に、重複領域ＡＯがＨＭＤ１０の表示部１１に表示されるＶＲ画像の範囲から外れている場合等）に、不要な切替処理を省くことができる。
【0178】
また、角速度センサ等によるヘッドトラッキング機能と、アイトラッキング機能とが両方搭載されているＨＭＤ１０の場合では、次のようにしてもよい。すなわち、画像生成部３２は、ＨＭＤ１０の向きに関する検出情報と、ユーザの視線に関する検出情報（例えばアイトラッキングの検出情報）の何れに基づいて視線方向Ｓを特定するかを、ユーザの選択操作に基づいて変更するようにしてもよい。この場合、ユーザの選択に基づいて、待機期間を変更してもよい。例えば、ユーザの視線に関する検出情報に基づいて視線方向Ｓを特定する方が選択された場合に、待機期間をより長くしてもよい。また、ユーザによって頭の動かし方や目の動かし方に相違があるので、前記待機期間をユーザが任意に設定できるようにしてもよい。例えば、所定の範囲（例えば０．１秒～１．０秒の範囲）の中で、ユーザが待機期間を設定できるようにしてもよい。また、ヘッドトラッキングの場合の待機期間と、アイトラッキングの場合の待機期間とを、それぞれユーザが設定できるようにしてもよい。
【0179】
また、画像生成部３２は、ＶＲ画像の表示部１１への表示制御中に、複数の実写画像のＶＲ空間への配置状態を変更するようにしてもよい。例えば、図２８に示すように、あるシーンでは例えば２７０度の全体視界領域を３つの領域に分けた配置状態にしたり、別のシーンでは例えば２２０度の全体視界領域を２つの領域に分けた配置状態にしたりする等、ＶＲ空間の視界領域の数や視界領域の方向などを、シーンの内容に応じて変更するようにしてもよい。
本実施の形態のＶＲ画像の表示制御では、従来のようにステッチング処理により完成された１つのＶＲ画像データが予め作成されるわけではなく、複数の実写画像をＶＲ空間へ配置しながら、ＶＲ画像の表示制御が実行される。よって、ＶＲ画像の再生中に、実写画像のＶＲ空間への配置状態を適宜変更することも可能である。例えば、前述のとおりシーンに応じて、ＶＲ空間に配置される視界領域の数（実写画像の数）や全体視界領域の視野角等を変更したりできる。すなわち、シーン毎のＶＲ空間の最適化を図ることができる。よって、シーン毎に不必要な視界領域を排除することが可能であり、画像データの量を削減することができる。また、必要な視界領域を排除したシーンでは、ＨＭＤ１０の表示部１１に表示されるＶＲ画像の解像度を高めることができる。
本実施の形態のＶＲ画像の表示制御では、従来のようにステッチング処理により完成された１つのＶＲ画像データが予め作成されるわけではなく、複数の実写画像をＶＲ空間へ配置しながら、ＶＲ画像の表示制御が実行される。よって、ＶＲ画像の再生中に、実写画像のＶＲ空間への配置状態を適宜変更することも可能である。例えば、前述のとおりシーンに応じて、ＶＲ空間に配置される視界領域の数（実写画像の数）や全体視界領域の視野角等を変更したりできる。すなわち、シーン毎のＶＲ空間の最適化を図ることができる。よって、シーン毎に不必要な視界領域を排除することが可能であり、画像データの量を削減することができる。また、必要な視界領域を排除したシーンでは、ＨＭＤ１０の表示部１１に表示されるＶＲ画像の解像度を高めることができる。
【0180】
また、表示制御装置２０が撮像方向特定部３４を含む構成としてもよい。撮像方向特定部３４は、複数の実写画像を撮像した複数のカメラの撮像方向の変化を特定する。そして、画像生成部３２は、撮像方向特定部３４によって特定された撮像方向の変化に応じて、ＶＲ空間に配置する複数の実写画像全体の視界領域の方向を変更する。この構成によれば、例えば移動している被写体（車等）の移動に合わせて、カメラの撮像方向が変化するような実写画像の場合、撮像方向の変化に応じてＶＲ空間に配置される実写画像全体の視界領域の方向も変化する。よって、ＨＭＤ１０の表示部１１には、視線方向Ｓに対して被写体が移動するリアリティのあるＶＲ画像が表示できる。また、前述の被写体の移動に合わせた撮像時に、隣接する実写画像の領域境界を跨がないように被写体を撮像した実写画像を用意すれば、被写体が領域境界を跨がないような視認性に優れたＶＲ画像の再生が可能となる。
【0181】
［１４．変形例等］
以上、本発明の実施形態について説明したが、具体的な構成は上述の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。また、上述した各構成や態様は、任意に組み合わせることができる。
以上、本発明の実施形態について説明したが、具体的な構成は上述の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。また、上述した各構成や態様は、任意に組み合わせることができる。
【0182】
［１４－１］以上の説明のとおり、本実施の形態の画像表示システムまたは表示制御装置は、重複領域に表示する実写画像を動的に切り替える表示制御により、ステッチング処理をせずとも、複数のカメラで撮像した複数の実写画像同士の継ぎ目（ズレ）の違和感を低減することができる。よって、実空間を撮像するカメラがリアルタイムで撮像した実写画像（ライブ映像）をそのまま使用して、ＶＲ画像としてＨＭＤ１０に表示させるようにすることも可能である。
【0183】
例えば、図２６に例示するカメラ２００を有線または無線で表示制御装置２０と接続し、カメラ２００で撮像したライブ映像を、ＨＭＤ１０にＶＲ画像として表示させるようにすることも可能である。また、カメラ２００および表示制御装置２０を、インターネット等のネットワークを介して、データ通信可能に接続してもよい。この場合、カメラ２００で撮像した遠隔地のライブ映像を、ＨＭＤ１０にＶＲ画像として表示させるようにすることも可能である。また、ネットワーク上に、配信サービス機能を有するサーバを設定し、カメラ２００で撮像したライブ映像を、サーバを介して、ネットワーク経由で配信してもよい。この場合、ネットワーク経由で配信される遠隔地のライブ映像を、表示制御装置２０が受信し、略リアルタイムでライブ映像をＶＲ画像としてＨＭＤ１０に表示させるようにすることも可能である。
【0184】
すなわち、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラと、前述の構成の表示制御装置と、ＨＭＤとを含む画像表示システム、または、前記複数のカメラと、配信サーバと、前述の構成の表示制御装置と、ＨＭＤとを含む画像表示システムにより、近距離撮影物を含むライブ映像をＶＲ画像としてＨＭＤに表示させるシステムを構築できる。
［１４－２］以上では、両眼視差を利用した立体視画像として、ＶＲ空間内の仮想視点からの視界を表すＶＲ画像をＨＭＤ１０の表示部１１に表示させるための表示制御について説明したが、両眼視差を利用しない非立体視画像、すなわち二次元（２Ｄ）画像の表示制御にも応用できる。すなわち、両眼視差を利用する場合、右目用画像と左目用画像のそれぞれについて、前述の各処理の全部または一部が実行されるが、２Ｄ画像では、右目および左目共通の画像に対して前述の各処理の全部または一部が実行される。立体視画像（右目用画像または左目用画像）と、非立体視画像（左右共通画像）とで処理自体に相違はなく、前述した各構成をそのまま非立体視画像の表示制御にも適用できる。
［１４－２］以上では、両眼視差を利用した立体視画像として、ＶＲ空間内の仮想視点からの視界を表すＶＲ画像をＨＭＤ１０の表示部１１に表示させるための表示制御について説明したが、両眼視差を利用しない非立体視画像、すなわち二次元（２Ｄ）画像の表示制御にも応用できる。すなわち、両眼視差を利用する場合、右目用画像と左目用画像のそれぞれについて、前述の各処理の全部または一部が実行されるが、２Ｄ画像では、右目および左目共通の画像に対して前述の各処理の全部または一部が実行される。立体視画像（右目用画像または左目用画像）と、非立体視画像（左右共通画像）とで処理自体に相違はなく、前述した各構成をそのまま非立体視画像の表示制御にも適用できる。
【0185】
つまり、立体視画像または非立体視画像として、ＶＲ空間内の仮想視点からの視界を表すＶＲ画像（３Ｄ画像または２Ｄ画像）をＨＭＤの表示部に表示させるための制御を実行する表示制御装置に適用できる。従来では、３Ｄ画像または２Ｄ画像の何れでも、実空間を複数のカメラで撮像した複数の実写画像を合成して、広視野角画像（動画または静止画）を作成する場合は、ステッチング処理により完成された１つの画像データが作成される。これに対し、本実施の形態では、立体視の有無にかかわらず、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域の一部が互いに重なる重複領域が生じるようにＶＲ空間に配置し、視線方向に基づいて、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える制御により、ステッチング処理をせずとも、実写画像同士の継ぎ目（ズレ）の違和感を低減した表示制御を実現できる。
【0186】
［１４－３］以上では、画像をＨＭＤの表示部に表示させるための表示制御について説明したが、ＨＭＤ以外の表示部に画像を表示させるための表示制御にも応用できる。例えば、ユーザの頭等に装着しない通常のディスプレイ等の表示部に、高視野角の実写画像を表示する場合への応用について以下に説明する。
【0187】
実空間を複数のカメラで撮像した複数の実写画像を用いた高視野角の画像（例えば視野角３６０度の画像）を表示部に表示する場合、ユーザは例えばマウス、その他のポインティングデバイス等を用いて、表示部に表示される画像の範囲を変更する操作をしながら画像を見る。あるいは、表示部がタッチインタフェースを備えたタッチパネル等の場合、指またはスタイラスペン等でのタッチ操作により、表示部に表示される画像の範囲を変更しながら高視野角の画像を見る。あるいは、ユーザをカメラで撮像して手の動きを画像解析するハンドトラッキングシステムを利用し、ユーザの手のジェスチャで表示部に表示される画像の範囲を変更する操作をしながら画像を見るようにしてもよい。
この場合、表示部に表示されている現在の画像範囲の中心（画面の中心）にユーザの視点または視線があるものと判定し、視線方向を特定する。あるいは、例えば、表示部等に設けられたアイトラッキングシステム等によりユーザの視線に関する検出情報を取得し、当該検出情報に基づいて視線方向を特定してもよい。
この場合、表示部に表示されている現在の画像範囲の中心（画面の中心）にユーザの視点または視線があるものと判定し、視線方向を特定する。あるいは、例えば、表示部等に設けられたアイトラッキングシステム等によりユーザの視線に関する検出情報を取得し、当該検出情報に基づいて視線方向を特定してもよい。
【0188】
このように、ＨＭＤ以外の表示部に、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を用いた高視野角の画像を表示させる場合も、次のように表示制御すればよい。すなわち、前記の複数の実写画像を、隣接する実写画像の視界領域の一部が互いに重なる重複領域が生じるようにＶＲ空間に配置し、視線方向に基づいて、隣接する実写画像のうち、重複領域に表示する実写画像を動的に切り替える。この表示制御により、ＨＭＤ以外の表示部であっても、ステッチング処理をせずとも、実写画像同士の継ぎ目（ズレ）の違和感を低減した表示制御を実現できる。
なお、ＨＭＤ以外の表示部に表示される高視野角の画像は、両眼視差を利用した立体視画像であっても、非立体視画像であってもよい。立体視画像を表示する場合、裸眼立体視可能な表示部に右目用と左目用との画像を表示させる。あるいは、専用メガネ（フレームシーケンシャル方式または偏光方式等の専用メガネ）を使用することを前提に、右目用と左目用との画像を表示部に交互に表示させる。
なお、ＨＭＤ以外の表示部に表示される高視野角の画像は、両眼視差を利用した立体視画像であっても、非立体視画像であってもよい。立体視画像を表示する場合、裸眼立体視可能な表示部に右目用と左目用との画像を表示させる。あるいは、専用メガネ（フレームシーケンシャル方式または偏光方式等の専用メガネ）を使用することを前提に、右目用と左目用との画像を表示部に交互に表示させる。
【0189】
［１４－４］
図１に例示するように、ＨＭＤ１０および表示制御装置２０がともにプロセッサおよび記憶装置を備えた情報処理装置（コンピュータ）としての構成・機能を有する場合、前述した制御部３０の機能の一部を、本実施の形態に係るプログラムを実行するＨＭＤ１０のプロセッサ１３によって実現し、残りの機能を、本実施の形態に係るプログラムを実行する表示制御装置２０のプロセッサ２１によって実現してもよい。
図３５は、表示制御装置２０の機能がＨＭＤ１０と一体化されたスタンドアローン型のＨＭＤ６０、または図３４に例示するＨＭＤ５０として用いられるスマートフォン等の情報処理装置５２の構成の一例を示す概略のブロック図である。ＨＭＤ６０または情報処理装置５２は、表示部６１、センサ６２、プロセッサ６３、記憶装置６４、操作部６５、及び通信部６６等を含む。これらの表示部６１、センサ６２、プロセッサ６３、記憶装置６４、操作部６５、及び通信部６６は、それぞれ前述の表示部１１、センサ１２、プロセッサ２１、記憶装置２２、操作部２３、及び通信部２４と同様の構成であり、その説明は省略する。なお、操作部６５または通信部６６については、外付け等による別構成としたり、省略したりしてもよい。このスタンドアローン型のＨＭＤ６０または情報処理装置５２の場合も、プロセッサおよび記憶装置を備えた情報処理装置（コンピュータ）としての構成・機能を有し、前述した制御部３０の各機能は、本実施の形態に係るプログラムを実行するプロセッサ６３によって実現される。
図１に例示するように、ＨＭＤ１０および表示制御装置２０がともにプロセッサおよび記憶装置を備えた情報処理装置（コンピュータ）としての構成・機能を有する場合、前述した制御部３０の機能の一部を、本実施の形態に係るプログラムを実行するＨＭＤ１０のプロセッサ１３によって実現し、残りの機能を、本実施の形態に係るプログラムを実行する表示制御装置２０のプロセッサ２１によって実現してもよい。
図３５は、表示制御装置２０の機能がＨＭＤ１０と一体化されたスタンドアローン型のＨＭＤ６０、または図３４に例示するＨＭＤ５０として用いられるスマートフォン等の情報処理装置５２の構成の一例を示す概略のブロック図である。ＨＭＤ６０または情報処理装置５２は、表示部６１、センサ６２、プロセッサ６３、記憶装置６４、操作部６５、及び通信部６６等を含む。これらの表示部６１、センサ６２、プロセッサ６３、記憶装置６４、操作部６５、及び通信部６６は、それぞれ前述の表示部１１、センサ１２、プロセッサ２１、記憶装置２２、操作部２３、及び通信部２４と同様の構成であり、その説明は省略する。なお、操作部６５または通信部６６については、外付け等による別構成としたり、省略したりしてもよい。このスタンドアローン型のＨＭＤ６０または情報処理装置５２の場合も、プロセッサおよび記憶装置を備えた情報処理装置（コンピュータ）としての構成・機能を有し、前述した制御部３０の各機能は、本実施の形態に係るプログラムを実行するプロセッサ６３によって実現される。
【0190】
［１４－５］上述した制御部３０の機能の一部または全部を、ＬＳＩ（Large Scale Integration）等の集積回路により実現してもよい。また、上述の各機能を個別にプロセッサ化してもよい。あるいは、上述の機能の一部または全部を集積してプロセッサ化してもよい。
【0191】
［１４－６］本実施の形態に係るコンピュータ読み取り可能なプログラムは、ハードディスク、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）、フレキシブルディスク、半導体メモリ等のコンピュータ読み取り可能な各種記録媒体に記録され、当該記録媒体から読み出されて、画像表示システム１又は表示制御装置２０を構成するコンピュータにより実行される。また、プログラムのコンピュータへの提供は、インターネット、ＷＡＮ、ＬＡＮまたは専用回線等の通信回線を含むネットワークを介して行うこともできる。ファイルサーバ（オンラインストレージ）に記憶しておいたプログラムを、コンピュータが読み出してもよい。また、配信サーバから配信されるプログラムをコンピュータが受信してもよい。前記記録媒体には、プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、それを受信したコンピュータで直接実行可能な形式のコードでなくてもよい。すなわち、配信サーバからダウンロード後にコンピュータで実行可能にインストールできれば、配信サーバの記録媒体に記憶されるプログラムの形式は任意である。また、プログラムは、複数に分割されてそれぞれ異なるタイミングでダウンロードされた後に合体するものであってもよい。分割されたプログラムをそれぞれを配信する配信サーバが異なっていてもよい。また、コンピュータ読み取り可能な記録媒体には、ネットワークを介してプログラムを送信するサーバまたは受信するコンピュータにおける、ＲＡＭ等の揮発性メモリのように、一定時間、プログラムを保持するものも含む。また、プログラムは、コンピュータに既に保存されているプログラムとの組み合わせで上述の機能を実現できる差分プログラムであってもよい。
【0192】
［１５．付記］
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。
【0193】
１）本発明の一態様に係るプログラムは、両眼視差を利用した立体視画像として、仮想現実（ＶＲ）空間（Ｖ）内の仮想視点（Ｐ）からの視界を表すＶＲ画像をヘッドマウントディスプレイ（１０）の表示部（１１）に表示させるための制御を実行するコンピュータを、前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向（Ｓ）を特定する視線方向特定部（３１）と、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域（Ａ１、Ａ２）の一部が互いに重なる重複領域（ＡＯ）が生じるように前記ＶＲ空間に配置し、前記視線方向に応じた前記ＶＲ画像を生成する画像生成部（３２）と、して機能させるものであり、前記画像生成部（３２）は、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替える。
ここで、前記「コンピュータ」は、少なくともプロセッサ及び記憶装置（メモリ）を含むものであればよい。例えば、ＶＲ画像の表示制御を行い得る、据置型または携帯型のゲーム専用機、業務用（商業用）ゲーム機、パーソナルコンピュータ、タブレット型コンピュータ、スマートフォン、携帯電話端末、ＰＨＳ端末、ＰＤＡ、情報処理機能を備えた多機能型テレビジョン受像機、その他プロセッサ及び記憶装置を含むものは全て「コンピュータ」に含まれる。また、プロセッサ及び記憶装置を含むＨＭＤ自体も「コンピュータ」に含まれる。例えば、図３４に例示するように、アタッチメント５１と情報処理装置５２とを含むＨＭＤ５０の場合、スマートフォン等の情報処理装置５２は「コンピュータ」に含まれる。また、スタンドアローン型のＨＭＤも「コンピュータ」に含まれる。
ここで、前記「コンピュータ」は、少なくともプロセッサ及び記憶装置（メモリ）を含むものであればよい。例えば、ＶＲ画像の表示制御を行い得る、据置型または携帯型のゲーム専用機、業務用（商業用）ゲーム機、パーソナルコンピュータ、タブレット型コンピュータ、スマートフォン、携帯電話端末、ＰＨＳ端末、ＰＤＡ、情報処理機能を備えた多機能型テレビジョン受像機、その他プロセッサ及び記憶装置を含むものは全て「コンピュータ」に含まれる。また、プロセッサ及び記憶装置を含むＨＭＤ自体も「コンピュータ」に含まれる。例えば、図３４に例示するように、アタッチメント５１と情報処理装置５２とを含むＨＭＤ５０の場合、スマートフォン等の情報処理装置５２は「コンピュータ」に含まれる。また、スタンドアローン型のＨＭＤも「コンピュータ」に含まれる。
【0194】
上記１）に記載の態様によれば、視線方向に基づいて重複領域に表示する実写画像を動的に切り替えることにより、重複領域における隣接する実写画像同士の領域境界をユーザの視線の方向から遠ざけることができる。これにより、領域境界に発生する「隣接する実写画像同士の継ぎ目（ズレ）」の違和感を低減することができる。よって、たとえ近距離撮影物が領域境界またはその付近に存在していたとしても、ユーザにとっては違和感の少ないＶＲ画像が表示される。つまり、近距離撮影物がＶＲ空間内のどの位置に存在しても違和感の少ないＶＲ画像を表示でき、近距離表示可能なＶＲ画像表示制御を実現できる。また、ステッチングの工程が不要となるため、ＶＲ画像制作の手間を低減することもできる。また、ステッチングの工程が不要となるため、カメラが現在撮像している実写画像（ライブ映像）を使用して、実写画像同士の継ぎ目の違和感の少ないＶＲ画像を、略リアルタイムで表示部に表示させることができる。
【0195】
２）本発明の一態様では、上記１）に記載の態様において、前記画像生成部（３２）は、前記仮想視点（Ｐ）から所定の方向に基準方向（ＲＤ、ＲＤ１、ＲＤ２）を設定し、前記基準方向に対する前記視線方向（Ｓ）に基づいて、前記重複領域（ＡＯ）に表示する前記実写画像を特定する。
【0196】
上記２）に記載の態様によれば、基準方向に対する視線方向に基づいて、重複領域に表示する実写画像の切り替え制御を容易に実現できる。
【0197】
３）本発明の一態様では、上記２）に記載の態様において、前記画像生成部（３２）は、前記仮想視点（Ｐ）から前記重複領域（ＡＯ）内の所定の位置の方向に前記基準方向（ＲＤ、ＲＤ１、ＲＤ２）を設定する。
【0198】
上記３）に記載の態様によれば、基準方向が重複領域内に設定されるので、視線方向が重複領域の領域境界の方に向かっても、領域境界に到達する前に、重複領域に表示する実写画像が切り替わり、よって領域境界もユーザの視線の方向から遠ざかる。これにより、視認性に優れたＶＲ画像表示制御を実現できる。
【0199】
４）本発明の一態様では、上記２）または３）に記載の態様において、前記画像生成部（３２）は、前記重複領域（ＡＯ）に表示する前記実写画像を切り替えたタイミングで、前記重複領域に表示する前記実写画像に応じて前記基準方向（ＲＤ１、ＲＤ２）を変更する。
【0200】
上記４）に記載の態様によれば、基準方向は固定ではなく、重複領域に表示される実写画像が切り替えられたタイミングで、重複領域に表示される実写画像に応じて変更される。これにより、実写画像が切り替えられた後は一時的に基準方向が視線方向から遠のくため、重複領域に表示される実写画像の頻繁な切り替わりを低減することができる。
【0201】
５）本発明の一態様では、上記１）ないし４）の何れかに記載の態様において、前記視線方向特定部（３１）は、前記ヘッドマウントディスプレイ（１０）の向きに関する検出情報（例えば、角速度センサの検出情報）を取得し、当該検出情報に基づいて前記視線方向（Ｓ）を特定する。
【0202】
上記５）に記載の態様によれば、ユーザは、ヘッドマウントディスプレイの向きを変化させることにより、重複領域に表示する実写画像を動的に切り替えることができる。
【0203】
６）本発明の一態様では、上記１）ないし４）の何れかに記載の態様において、前記視線方向特定部（３１）は、前記ユーザの視線に関する検出情報（例えば、アイトラッキングの検出情報）を取得し、当該検出情報に基づいて前記視線方向（Ｓ）を特定する。
【0204】
上記６）に記載の態様によれば、ユーザは、目の動き（視線の向き）を変化させることにより、重複領域に表示する実写画像を動的に切り替えることができる。
【0205】
７）本発明の一態様では、上記１）ないし６）の何れかに記載の態様において、隣接する前記実写画像同士の領域境界（ＢＤ１、ＢＤ２）に、前記ユーザが視認可能な境界線（ＢＬ１、ＢＬ１）を表示する境界線表示部（３３）として前記コンピュータを機能させる。
【0206】
上記７）に記載の態様によれば、隣接する実写画像同士の領域境界に、敢えて境界線を視認可能に表示することで、画像の継ぎ目（ズレ）が生じる領域境界がユーザに認識され易くなる。これにより、ユーザの見たい方向に境界線が表示されないように、隣接する実写画像のうち、重複領域にどちらの実写画像を表示して見るべきかのユーザの判断を容易にすることができる。
【0207】
８）本発明の一態様では、上記７）に記載の態様において、前記境界線表示部（３３）は、前記境界線（ＢＬ１、ＢＬ１）またはその付近に、前記境界線を挟んでどちら側が前記重複領域（ＡＯ）であるかを示すための付加情報（ＧＤ１、ＧＤ２）を表示する。
【0208】
上記８）に記載の態様によれば、境界線を挟んでどちら側が重複領域であるかをユーザが認識できるようにすることで、どの方向に視線方向を変更すれば、重複領域に表示される実写画像が切り替わるかのユーザの判断が容易になる。
【0209】
９）本発明の一態様では、上記１）ないし８）の何れかに記載の態様において、前記画像生成部（３２）は、前記重複領域（ＡＯ）に表示する前記実写画像を切り替える場合に、時間経過に応じて、一方の前記実写画像から他方の前記実写画像へと漸次切り替える。
【0210】
上記９）に記載の態様によれば、重複領域に表示する前記実写画像を一方から他方へと切り替える場合に、いきなり切り替えるよりも、切り替え開始から終了までの切替期間における時間経過の中で漸次切り替えることにより、より自然に、境界線を視認し易くできる。
【0211】
１０）本発明の一態様では、上記９）に記載の態様において、前記画像生成部（３２）は、前記重複領域（ＡＯ）に表示する前記実写画像を切り替える場合に、時間経過に応じて、前記境界線（ＢＬ１、ＢＬ１）を切り替え完了後に表示される位置の方へと漸次移動させながら、一方の前記実写画像から他方の前記実写画像へと漸次切り替える。
【0212】
上記１０）に記載の態様によれば、重複領域に表示する実写画像の切替期間中に、境界線を移動させることにより、変更される境界線の位置をユーザに自然に認識させることができる。
【0213】
１１）本発明の一態様では、上記１）ないし１０）の何れかに記載の態様において、前記画像生成部（３２）は、前記視線方向（Ｓ）に基づいて、前記重複領域（ＡＯ）に表示する前記実写画像の切替処理をすべきとの判定をしてから当該切替処理を開始するまでに、所定の待機期間を設ける。
【0214】
上記１１）に記載の態様によれば、重複領域に表示する実写画像の切替処理を開始するまでに所定の待機期間を設けることにより、待機期間中に視線方向が変化して当該切替処理が不要となるような状態になった場合に、不要な切替処理を省くことができる。
【0215】
１２）本発明の一態様では、上記１）ないし１１）の何れかに記載の態様において、前記画像生成部（３２）は、前記ＶＲ画像の前記表示部への表示制御中に、複数の前記実写画像の前記ＶＲ空間（Ｖ）への配置状態を変更する。
【0216】
上記１２）に記載の態様によれば、シーンに応じて、ＶＲ空間に配置される視界領域の数や全体視界領域の視野角等を変更したりできる。すなわち、シーン毎のＶＲ空間の最適化を図ることができる。よって、シーン毎に不必要な視界領域を排除することが可能であり、画像データの量を削減することができる。また、必要な視界領域を排除したシーンでは、ＨＭＤの表示部に表示されるＶＲ画像の解像度を高めることができる。
【0217】
１３）本発明の一態様では、上記１）ないし１１）の何れかに記載の態様において、複数の前記実写画像を撮像した複数の前記カメラの撮像方向の変化を特定する撮像方向特定部（３４）として前記コンピュータを機能させ、前記画像生成部（３２）は、撮像方向特定部によって特定された前記撮像方向の変化に応じて、前記ＶＲ空間（Ｖ）に配置する複数の前記実写画像全体の視界領域の方向を変更する。
【0218】
上記１３）に記載の態様によれば、例えば移動している被写体（車等）の移動に合わせて、カメラの撮像方向が変化するような実写画像の場合、撮像方向の変化に応じてＶＲ空間に配置される実写画像全体の視界領域の方向も変化する。よって、表示部には、視線方向に対して被写体が移動するリアリティのあるＶＲ画像が表示できる。また、前述の被写体の移動に合わせた撮像時に、隣接する実写画像の領域境界を跨がないように被写体を撮像した実写画像を用意すれば、被写体が領域境界を跨がないような視認性に優れたＶＲ画像の再生が可能である。
【0219】
１４）本発明の一態様では、上記１）ないし１３）の何れかに記載の態様において、前記画像生成部（３２）は、前記視線方向（Ｓ）に基づいて、隣接する前記実写画像の領域境界（Ａ１、Ａ２）が前記視線方向から遠ざかるように、隣接する前記実写画像のうち、前記重複領域（ＡＯ）に表示する前記実写画像を動的に切り替える。これにより、上記１）に記載の態様と同様の効果を奏する。
【0220】
１５）本発明の一態様では、上記１）ないし１４）の何れかに記載の態様において、前記画像生成部（３２）は、前記ヘッドマウントディスプレイ（１０）の向きに関する検出情報を取得し、当該検出情報に基づいて、前記表示部（１１）に表示させる前記ＶＲ画像の範囲を変更する。
【0221】
上記１５）に記載の態様によれば、ＨＭＤの向きに関する検出情報に基づいて視線方向が特定される場合、ユーザは、ＨＭＤの向きを調整することにより、表示部に表示されるＶＲ画像の範囲を変えながら、重複領域に表示する実写画像を動的に切り替えることができる。また、アイトラッキング等のユーザの視線に関する検出情報に基づいて視線方向が特定される場合、ユーザは、ＨＭＤの向きを変えることにより、表示部に表示されるＶＲ画像の範囲を調整し、また、目の動き（視線の向き）を変えることにより重複領域に表示する実写画像を動的に切り替えることができる。
【0222】
１６）本発明の一態様では、上記１）、５）ないし１４）の何れかに記載の態様において、前記画像生成部（３２）は、隣接する実写画像の現在の領域境界（ＢＤ１、ＢＤ２）に対する視線方向（Ｓ）に基づいて、重複領域ＡＯに表示する実写画像を特定する。
【0223】
上記１６）に記載の態様によれば、基準方向を設定せずとも、重複領域に表示する実写画像の切り替え制御を容易に実現できる。また、実写画像が切り替えられたタイミングで、基準となる領域境界が変更されるので、重複領域に表示される実写画像が頻繁に切り替わることを低減できる。
【0224】
１７）本発明の一態様では、上記１５）に記載の態様において、前記画像生成部（３２）は、隣接する実写画像の現在の領域境界（ＢＤ１、ＢＤ２）に視線方向（Ｓ）が所定以上近づいた場合（例えば、視線方向と現在の領域境界とのなす角度が所定値以下になった場合）に、重複領域（ＡＯ）に現在表示している実写画像を他方の実写画像に切り替える。
【0225】
上記１７）に記載の態様によれば、視線方向が領域境界に到達する前に、重複領域に表示する実写画像が切り替わり、領域境界をユーザの視線の方向から遠ざけることができる。
【0226】
１８）本発明の一態様では、上記８）に記載の態様において、前記付加情報は、境界線（ＢＬ１、ＢＬ１）付近の実写画像に重畳され、境界線から離れるほど連続的に又は段階的に濃度又は不透明度が低くなる半透明のグラデーション部（ＧＤ１、ＧＤ２）を含む。
【0227】
上記１８）に記載の態様によれば、境界線付近で発生している画像のズレをグラデーションにより隠して目立ち難くできる。また、グラデーションにより、実写画像の切り替えに必要な視線方向の変化の方向を自然に表すことができる。
【0228】
１９）本発明の一態様では、上記７）ないし１０）の何れかに記載の態様において、前記境界線表示部（３３）は、重複領域（ＡＯ）の一端の領域境界（ＢＤ１又はＢＤ２）に表示される境界線（ＢＬ１又はＢＬ２）と、その他端の領域境界に表示されるの境界線との表示形態を異ならせる。
【0229】
上記１９）に記載の態様によれば、水平視野角を拡大するために水平方向に配置される複数の画像を使用する場合、現在表示されている境界線が重複領域の左端の画像のズレの部分なのか、それとも右端の画像のズレの部分なのかをユーザが認識できるようになる。また、垂直視野角を拡大するために垂直方向に配置される複数の画像を使用する場合、現在表示されている境界線が重複領域の上端の画像のズレの部分なのか、それとも下端の画像のズレの部分なのかをユーザが認識できるようになる。
【0230】
２０）本発明の一態様に係る表示制御装置（２０）は、両眼視差を利用した立体視画像として、仮想現実（ＶＲ）空間（Ｖ）内の仮想視点（Ｐ）からの視界を表すＶＲ画像をヘッドマウントディスプレイ（１０）の表示部（１１）に表示させるための制御を実行するものであって、前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向（Ｓ）を特定する視線方向特定部（３１）と、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域（Ａ１、Ａ２）の一部が互いに重なる重複領域（ＡＯ）が生じるように前記ＶＲ空間に配置し、前記視線方向に応じた前記ＶＲ画像を生成する画像生成部（３２）と、を含み、前記画像生成部（３２）は、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替える。これにより、上記１）に記載の態様と同様の効果を奏する。
【0231】
２１）本発明の一態様に係る画像表示システム（１）は、両眼視差を利用した立体視画像として、仮想現実（ＶＲ）空間（Ｖ）内の仮想視点（Ｐ）からの視界を表すＶＲ画像を表示部（１１）に表示するヘッドマウントディスプレイ（１０）と、前記ＶＲ画像を前記表示部に表示させるための制御を実行する表示制御装置（２０）と、を具備するものであって、前記表示制御装置（２０）は、前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向（Ｓ）を特定する視線方向特定部（３１）と、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラ（２００）によって撮像された複数の実写画像を、隣接する当該実写画像の視界領域（Ａ１、Ａ２）の一部が互いに重なる重複領域（ＡＯ）が生じるように前記ＶＲ空間に配置し、前記視線方向に応じた前記ＶＲ画像を生成する画像生成部（３２）と、を含み、前記画像生成部（３２）は、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替える。これにより、上記１）に記載の態様と同様の効果を奏する。
【0232】
２２）本発明の一態様に係る情報記憶媒体は、１）～１９）のいずれかに記載の態様のプログラムを記録したコンピュータで読み取り可能な情報記憶媒体である。これにより、上記１）～１９）に記載の態様と同様の効果を奏する。
【0233】
２３）本発明の一態様に係る表示制御装置（２０）の制御方法は、両眼視差を利用した立体視画像として、仮想現実（ＶＲ）空間（Ｖ）内の仮想視点（Ｐ）からの視界を表すＶＲ画像をヘッドマウントディスプレイ（１０）の表示部（１１）に表示させるための制御を実行する表示制御装置（２０）を制御する方法であって、前記ＶＲ空間に対するユーザの視線の方向であるとする視線方向（Ｓ）を特定する視線方向特定ステップ（Ｓ１０６）と、実空間を撮像する撮像方向がそれぞれ異なる複数のカメラによって撮像された複数の実写画像を、隣接する当該実写画像の視界領域（Ａ１、Ａ２）の一部が互いに重なる重複領域（ＡＯ）が生じるように前記ＶＲ空間に配置し（Ｓ１０２）、前記視線方向に応じた前記ＶＲ画像を生成する画像生成ステップ（Ｓ１０８～Ｓ１１４）と、を含み、前記画像生成ステップは、前記視線方向に基づいて、隣接する前記実写画像のうち、前記重複領域に表示する前記実写画像を動的に切り替えるステップ（Ｓ１０８～Ｓ１１２）を含む。これにより、上記１）に記載の態様と同様の効果を奏する。
【符号の説明】
【0234】
１…画像表示システム、１０…ＨＭＤ、１１・６１…表示部、１２・６２…センサ、１３…プロセッサ、１４…記憶装置、２０…表示制御装置、２１・６３…プロセッサ、２２・６４…記憶装置、２３・６５…操作部、２４・６６…通信部、３０…制御部、３１…視線方向特定部、３２…画像生成部、３２１…画像配置部、３２２…切替部、３３…境界線表示部、３４…撮像方向特定部、６０…ＨＭＤ（情報処理装置）、２００…カメラ、Ａ１・Ａ２…視界領域、ＡＯ…重複領域、ＲＤ…基準方向、Ｖ…ＶＲ空間、Ｓ…視線方向、ＢＬ１・ＢＬ２…境界線、ＧＤ１・ＧＤ２…グラデーション部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】