知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-06-24
(45)【発行日】2025-07-02
(54)【発明の名称】立体画像生成装置及びそのプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20250625BHJP
【ＦＩ】
G06T19/00 F
【請求項の数】
5
(21)【出願番号】P 2021155217
(22)【出願日】2021-09-24
(65)【公開番号】P2023046561
(43)【公開日】2023-04-05
【審査請求日】2024-08-05
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】加納 正規
(72)【発明者】
【氏名】岡市 直人
(72)【発明者】
【氏名】河北 真宏
(72)【発明者】
【氏名】洗井 淳
【審査官】豊田 好一
(56)【参考文献】
【文献】特開２０２０－１７０９７９（ＪＰ，Ａ）
【文献】特開２０２１－５３９９（ＪＰ，Ａ）
【文献】特開２０１８－８４９５４（ＪＰ，Ａ）
【文献】特開２０１８－１８９５８０（ＪＰ，Ａ）
【文献】特開２０２１－１２４３９５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
ユーザの操作が反映されるインタラクティブコンテンツとして、空間像再生方式の立体画像を生成する立体画像生成装置であって、前記ユーザによる操作信号が入力され、所定の変換規則に基づいて、入力された前記操作信号を、３次元ＣＧシーンを仮想的に表示する空間像再生型の仮想ディスプレイの位置、姿勢及びサイズに変換する操作信号変換部と、
前記仮想ディスプレイの位置、姿勢及びサイズに応じて、仮想カメラを配列した仮想カメラアレイのカメラパラメータを剛体変換行列により算出し、前記３次元ＣＧシーンを表示している前記仮想ディスプレイを前記仮想カメラアレイで撮影することで多視点画像を生成する多視点画像生成部と、
前記多視点画像生成部が生成した多視点画像を前記立体画像に変換する立体画像変換部と、
を備えることを特徴とする立体画像生成装置。
【請求項2】
予め設定した奥行き圧縮関数を用いて、前記３次元ＣＧシーンの奥行きを圧縮する奥行き圧縮部、をさらに備え、前記多視点画像生成部は、奥行き圧縮後の前記３次元ＣＧシーンを表示している前記仮想ディスプレイを前記仮想カメラアレイで撮影することを特徴とする請求項１に記載の立体画像生成装置。
【請求項3】
前記ユーザ毎の視点位置を検出する視点位置検出部、をさらに備え、前記多視点画像生成部は、前記視点位置に応じて前記剛体変換行列を変化させ、前記ユーザ毎の剛体変換行列を用いて、前記ユーザ毎に前記多視点画像を生成し、
前記立体画像変換部は、前記ユーザ毎に前記多視点画像を前記立体画像に変換することを特徴とする請求項１又は請求項２に記載の立体画像生成装置。
【請求項4】
前記視点位置検出部は、検出した前記視点位置の数に基づいて前記ユーザが複数であるか否かを判定し、前記多視点画像生成部は、前記ユーザが複数と判定された場合、前記ユーザ毎に前記多視点画像を生成し、
前記立体画像変換部は、前記ユーザが複数と判定された場合、前記ユーザ毎に前記多視点画像を前記立体画像に変換することを特徴とする請求項３に記載の立体画像生成装置。
【請求項5】
コンピュータを、請求項１から請求項４の何れか一項に記載の立体画像生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インタラクティブコンテンツとしての立体画像を生成する立体画像生成装置及びそのプログラムに関する。
【背景技術】
【0002】
映像を用いたインタラクティブコンテンツは、エンターテイメント、教育など様々な分野で活用されている。現在、一般に浸透しているインタラクティブコンテンツの代表例は、テレビゲームである。テレビゲームは、一人でも複数人でも人数を問わず気軽に楽しめるため、非常が人気の高い。近年、インターネットの普及により、遠隔地の人とでもそれぞれの自宅にいながら、一緒にテレビゲームを楽しめるようになった。テレビゲーム以外でも、映像を用いたインタラクティブコンテンツは、日常生活の様々な場面で使用されている。
【0003】
なお、インタラクティブコンテンツとは、ユーザの操作が反映されるコンテンツ、つまり、ユーザと制作者との間で双方向性のあるコンテンツのことである。例えば、インタラクティブコンテンツとしては、テレビゲームの他、デジタル案内板や双方向テレビがあげられる。
【0004】
最近、注目を集めている映像メディアとして、３次元映像がある。３次元映像は、両眼視差や運動視差を有するため、一般的な２次元映像とは異なり、臨場感や存在感をより強く感じることができる。特にテレビゲームのようなインタラクティブコンテンツにおいては、臨場感や存在感は非常に重要な要素である。以上のような背景から、３次元映像を使ったインタラクティブコンテンツを体験できる装置が望まれている。
【0005】
３次元映像を表示する立体方式は色々と提案されている。ここで、テレビゲームのようなインタラクティブコンテンツは、長時間連続して視聴し続けることが多いため、目の疲労が少ない立体方式を適用することが好ましい。そこで、自然な３次元映像を表示可能な空間像再生方式が提案されている（非特許文献１，２）。この空間像再生方式は、実物が発する光線とほぼ同じ光線が再現可能であるため、眼球の輻輳と調整の不一致による目の疲労が発生しにくいと言われている（非特許文献３）。
【先行技術文献】
【非特許文献】
【0006】
【文献】G. Lippmann,“Epreuves, reversibles donnant la sensation du relief"”, J. Phys., 7, 1, pp.821-825（1908）
【文献】F. Okano, et al. “Real-time pickup method for a three-dimensional image based on integral photography”, Applied optics, Vol. 36, No. 7, pp. 1598-1603 (1997)
【文献】H. Hiura, et al. “Measurement of static convergence and accommodation responses to images of integral photography and binocular stereoscopy”, Optics express, Vol. 25, No. 4, pp. 3454-3468 (2017)
【発明の概要】
【発明が解決しようとする課題】
【0007】
前記したインタラクティブコンテンツでは、映像演出のために、仮想空間内で３次元映像を撮影する仮想カメラのカメラワークを実現する必要がある。しかし、インタラクティブコンテンツにおいて、仮想カメラのカメラワークを簡易に実現する従来技術は提案されていない。
【0008】
そこで、本発明は、仮想カメラのカメラワークを簡易に実現できる立体画像生成装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0009】
前記課題を解決するため、本発明に係る立体画像生成装置は、ユーザの操作が反映されるインタラクティブコンテンツとして、空間像再生方式の立体画像を生成する立体画像生成装置であって、操作信号変換部と、多視点画像生成部と、立体画像変換部と、を備える構成とした。
【0010】
かかる構成によれば、操作信号変換部は、ユーザによる操作信号が入力され、所定の変換規則に基づいて、入力された操作信号を、３次元ＣＧシーンを仮想的に表示する空間像再生型の仮想ディスプレイの位置、姿勢及びサイズに変換する。
【0011】
多視点画像生成部は、仮想ディスプレイの位置、姿勢及びサイズに応じて、仮想カメラを配列した仮想カメラアレイのカメラパラメータを剛体変換行列により算出し、３次元ＣＧシーンを表示している仮想ディスプレイを仮想カメラアレイで撮影することで多視点画像を生成する。
立体画像変換部は、多視点画像生成部が生成した多視点画像を立体画像に変換する。
立体画像変換部は、多視点画像生成部が生成した多視点画像を立体画像に変換する。
【0012】
仮想カメラのカメラワークは、仮想ディスプレイの位置、姿勢及びサイズの変更と等価であると考えられる。そこで、立体画像生成装置は、ユーザの操作を仮想ディスプレイの位置、姿勢及びサイズに反映し、この仮想ディスプレイを仮想カメラアレイで撮影する。このようにして、立体画像生成装置は、ユーザの操作を仮想カメラのカメラワークに簡易に反映させることができる。
【0013】
なお、本発明は、コンピュータを前記した立体画像生成装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0014】
本発明によれば、仮想カメラのカメラワークを簡易に実現できる立体画像生成装置及びそのプログラムを提供することができる。
【図面の簡単な説明】
【0015】
【図1】インタラクティブコンテンツ体験システムにおいて、第１のシステム構成を示す概略図である。
【図2】複数のユーザに対する立体画像の表示を説明する説明図である。
【図3】インタラクティブコンテンツ体験システムにおいて、第２のシステム構成を示す概略図である。
【図4】インタラクティブコンテンツ体験システムにおいて、第３のシステム構成を示す概略図である。
【図5】インタラクティブコンテンツ体験システムにおいて、第４のシステム構成を示す概略図である。
【図6】第１実施形態に係る立体画像生成装置の構成を示すブロック図である。
【図7】第１実施形態における仮想カメラアレイを説明する説明図である。
【図8】（ａ）～（ｃ）は、第１実施形態における仮想カメラのカメラワークを説明する説明図である。
【図9】第１実施形態における座標系の変換を説明する説明図である。
【図10】第１実施形態における仮想ディスプレイのサイズ変更を説明する説明図である。
【図11】第１実施形態における仮想ディスプレイのサイズ変更を説明する説明図である。
【図12】第１実施形態における要素画像の生成を説明する説明図である。
【図13】第１実施形態に係る立体画像生成装置の動作を示すフローチャートである。
【図14】第２実施形態に係る立体画像生成装置の構成を示すブロック図である。
【図15】第３実施形態に係る立体画像生成装置の構成を示すブロック図である。
【図16】第３実施形態における視点位置に応じた多視点画像の生成を説明する説明図である。
【図17】第４実施形態に係る立体画像生成装置の構成を示すブロック図である。
【発明を実施するための形態】
【0016】
以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0017】
［コンテンツ体験システムのシステム構成］
各実施形態を詳述する前に、インタラクティブコンテンツ体験システムの全体構成について説明する。以後、「インタラクティブコンテンツ体験システム」を単に「コンテンツ体験システム」と略記する。以下で説明するように、コンテンツ体験システムは、ユーザの人数や視点追従機能の有無に応じて、様々なシステム構成を有する。
各実施形態を詳述する前に、インタラクティブコンテンツ体験システムの全体構成について説明する。以後、「インタラクティブコンテンツ体験システム」を単に「コンテンツ体験システム」と略記する。以下で説明するように、コンテンツ体験システムは、ユーザの人数や視点追従機能の有無に応じて、様々なシステム構成を有する。
【0018】
＜第１構成：単独ユーザ、視点追従機能無し＞
図１を参照し、ユーザＵが一人で視点追従機能が無い場合のシステム構成を説明する。
コンテンツ体験システム１は、ゲームなどのインタラクティブコンテンツをユーザＵが体験するシステムである。図１のコンテンツ体験システム１は、以下で説明する各システム構成のうち、最も基本的なシステム構成である。図１に示すように、コンテンツ体験システム１は、コントローラ２と、立体画像生成装置３と、立体ディスプレイ４とを備える。ここで、コントローラ２、立体画像生成装置３及び立体ディスプレイ４は、有線ケーブル又は無線通信で互いに接続されている。
図１を参照し、ユーザＵが一人で視点追従機能が無い場合のシステム構成を説明する。
コンテンツ体験システム１は、ゲームなどのインタラクティブコンテンツをユーザＵが体験するシステムである。図１のコンテンツ体験システム１は、以下で説明する各システム構成のうち、最も基本的なシステム構成である。図１に示すように、コンテンツ体験システム１は、コントローラ２と、立体画像生成装置３と、立体ディスプレイ４とを備える。ここで、コントローラ２、立体画像生成装置３及び立体ディスプレイ４は、有線ケーブル又は無線通信で互いに接続されている。
【0019】
コントローラ２は、ユーザＵがインタラクティブコンテンツに対する操作を行うものである。インタラクティブコンテンツがテレビゲームの場合、ユーザＵは、コントローラ２を用いて、プレイヤーキャラクタを操作する。例えば、コントローラ２は、スティックやボタンを備えたゲームパッドである。また、コントローラ２は、ユーザによる操作信号を立体画像生成装置３に出力する。
【0020】
立体画像生成装置３は、ユーザＵの操作が反映されるインタラクティブコンテンツ（例えば、テレビゲーム）として、空間像再生方式の立体画像を生成するものである。本実施形態では、立体画像生成装置３は、インテグラル方式の立体画像（要素画像群）を生成することとする（非特許文献１，２、参考文献１）。そして、立体画像生成装置３は、生成した立体画像を立体ディスプレイ４に出力する。
【0021】
参考文献１：三科、「インテグラル方式の概要」、日本放送協会、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１４４，２０１４年３月
【0022】
立体ディスプレイ４は、立体画像生成装置３から入力された立体画像を表示する空間像再生型のディスプレイである。本実施形態では、立体ディスプレイ４は、一般的なインテグラル方式のディスプレイと同様、図示を省略したレンズアレイ及び表示素子を備える。例えば、レンズアレイは、要素画像に対応した要素レンズが２次元方向に配列されたものである。例えば、表示素子としては、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイなどの一般的なフラットパネルディスプレイがあげられる。
【0023】
＜第２構成：複数ユーザ、視点追従機能無し＞
図２及び図３を参照し、ユーザＵが複数で視点追従機能が無い場合のシステム構成を説明する。
空間像再生型のディスプレイは、その正面に形成される視域であるメインローブだけでなく、メインローブの両側に形成されるサイドローブでも、立体視が可能である。図２に示すように、コンテンツ体験システム１では、２名のユーザＵ（Ｕ１，Ｕ２）に対し、サイドローブを用いて、共通の３次元ＣＧシーンＭを表示できるので、例えば、対戦型格闘ゲームに適する。ユーザＵが複数の場合、図３に示すように、コンテンツ体験システム１は、ユーザＵ毎にコントローラ２（２１，…，２Ｎ）を備える一方、全ユーザＵに共通の立体ディスプレイ４を１台のみ備える。なお、Ｎは、ユーザＵの人数を示す１以上の整数である。他の点、第２構成のコンテンツ体験システム１は、第１構成と同様のため、これ以上の説明を省略する。
図２及び図３を参照し、ユーザＵが複数で視点追従機能が無い場合のシステム構成を説明する。
空間像再生型のディスプレイは、その正面に形成される視域であるメインローブだけでなく、メインローブの両側に形成されるサイドローブでも、立体視が可能である。図２に示すように、コンテンツ体験システム１では、２名のユーザＵ（Ｕ１，Ｕ２）に対し、サイドローブを用いて、共通の３次元ＣＧシーンＭを表示できるので、例えば、対戦型格闘ゲームに適する。ユーザＵが複数の場合、図３に示すように、コンテンツ体験システム１は、ユーザＵ毎にコントローラ２（２１，…，２Ｎ）を備える一方、全ユーザＵに共通の立体ディスプレイ４を１台のみ備える。なお、Ｎは、ユーザＵの人数を示す１以上の整数である。他の点、第２構成のコンテンツ体験システム１は、第１構成と同様のため、これ以上の説明を省略する。
【0024】
＜第３構成：単独ユーザ、視点追従機能有り＞
図４を参照し、ユーザＵが一人で視点追従機能が有る場合のシステム構成を説明する。
図４に示すように、コンテンツ体験システム１Ｂは、コントローラ２と、立体画像生成装置３Ｂと、立体ディスプレイ４と、カメラ５とを備える。なお、立体画像生成装置３Ｂ及びカメラ５以外は、第１構成と同様のため、説明を省略する。
図４を参照し、ユーザＵが一人で視点追従機能が有る場合のシステム構成を説明する。
図４に示すように、コンテンツ体験システム１Ｂは、コントローラ２と、立体画像生成装置３Ｂと、立体ディスプレイ４と、カメラ５とを備える。なお、立体画像生成装置３Ｂ及びカメラ５以外は、第１構成と同様のため、説明を省略する。
【0025】
立体画像生成装置３Ｂは、図１の立体画像生成装置３と同様、空間像再生方式の立体画像を生成する。このとき、立体画像生成装置３Ｂは、視点追従機能により、ユーザＵの視点位置（両眼位置）を検出し、ユーザＵの視域のみ立体画像を表示する。この視点追従機能により、立体画像生成装置３Ｂでは、立体ディスプレイ４が長い焦点距離のレンズアレイを使用可能となり、光線密度により決まる奥行き範囲を拡大できる。さらに、立体画像生成装置３Ｂは、視域をユーザＵに動的に追従させて視域も拡大できる。
【0026】
カメラ５は、視点位置検出用のカメラである。例えば、カメラ５は、ユーザＵの顔領域画像を撮影する一般的なＷｅｂカメラである。そして、カメラ５は、撮影した顔領域画像を立体画像生成装置３Ｂに出力する。
【0027】
＜第４構成：複数ユーザ、視点追従機能有り＞
図５を参照し、ユーザＵが複数で視点追従機能が有る場合のシステム構成を説明する。 図５に示すように、コンテンツ体験システム１Ｂは、ユーザＵ毎に、コントローラ２（２１，…，２Ｎ）と、立体ディスプレイ４（４１，…，４Ｎ）と、カメラ５（５１，…，５Ｎ）とを備える。図５の立体画像生成装置３Ｂは、ユーザＵ毎に立体画像を生成する。他の点、第４構成のコンテンツ体験システム１Ｂは、第３構成と同様のため、説明を省略した。
図５を参照し、ユーザＵが複数で視点追従機能が有る場合のシステム構成を説明する。 図５に示すように、コンテンツ体験システム１Ｂは、ユーザＵ毎に、コントローラ２（２１，…，２Ｎ）と、立体ディスプレイ４（４１，…，４Ｎ）と、カメラ５（５１，…，５Ｎ）とを備える。図５の立体画像生成装置３Ｂは、ユーザＵ毎に立体画像を生成する。他の点、第４構成のコンテンツ体験システム１Ｂは、第３構成と同様のため、説明を省略した。
【0028】
以上のように、コンテンツ体験システム１，１Ｂは、簡易な構成変更のみでユーザＵの人数や視点追従機能の有無に対応できるので、汎用性を向上させることができる。つまり、コンテンツ体験システム１，１Ｂは、ユーザＵの人数や所望の映像品質により柔軟にシステム構成を変更できる。
【0029】
さらに、空間像再生型の立体ディスプレイ４は、物体が発する光線とほぼ同じ光線が再現可能であり、眼球の輻輳と調整の不一致による目の疲労が発生しにくいと言われている（非特許文献３）。このように、コンテンツ体験システム１，１Ｂは、自然な立体画像を表示可能な空間像再生型の立体ディスプレイ４を採用することで、ゲームのような長時間視聴が多いインタラクティブコンテンツであっても目の疲労を少なくできる。
【0030】
ここで、従来の２次元映像によるテレビゲームでは、プレイヤーキャラクタが平面の画面上に表示されるだけで、視覚的には、プレイヤーキャラクタの身体の厚みを感じることも、画面から飛び出ることも、奥に移動していくこともあり得ない。つまり、従来の２次元映像によるテレビゲームでは、臨場感や存在感を強く感じることは難しい。その一方、コンテンツ体験システム１，１Ｂは、２次元映像のテレビゲームに比べて立体感が得られるので、臨場感やキャラクターの存在感が向上することに加え、両眼視差や運動視差を利用した新しい演出も可能である。
【0031】
（第１実施形態）
［立体画像生成装置の構成］
図６を参照し、立体画像生成装置３の構成について説明する。
図６に示すように、立体画像生成装置３は、記憶部３０と、操作信号変換部３１と、多視点画像生成部３２と、立体画像変換部３３とを備える。なお、図６の立体画像生成装置３は、ユーザＵが一人で視点追従機能が無い場合のシステム構成（図１の第１構成）に対応する。
［立体画像生成装置の構成］
図６を参照し、立体画像生成装置３の構成について説明する。
図６に示すように、立体画像生成装置３は、記憶部３０と、操作信号変換部３１と、多視点画像生成部３２と、立体画像変換部３３とを備える。なお、図６の立体画像生成装置３は、ユーザＵが一人で視点追従機能が無い場合のシステム構成（図１の第１構成）に対応する。
【0032】
記憶部３０は、インタラクティブコンテンツの３次元ＣＧシーンＭを記憶するメモリ、ＨＤＤ（Hard Disk Drive）、SSD（Solid State Drive）などの記憶装置である。ここで、コンテンツ体験システム１の使用者が、所望の３次元ＣＧシーンＭを記憶部３０に予め記憶させておくこととする。例えば、３次元ＣＧシーンＭは、対戦型格闘ゲームの場合、二人以上のプレイヤーキャラクタモデルや背景モデルで構成されている。以後の説明では、仮想カメラのカメラワークに関する処理を主に説明し、インタラクティブコンテンツの一般的な制作方法の説明は省略する。
【0033】
操作信号変換部３１は、ユーザＵによる操作信号が入力され、所定の変換規則に基づいて、入力された操作信号を、３次元ＣＧシーンＭを仮想的に表示する空間像再生型の仮想ディスプレイの位置、姿勢及びサイズに変換するものである。本実施形態では、操作信号変換部３１は、各ユーザＵが操作するコントローラ２から操作信号が入力され、この操作信号を仮想ディスプレイの位置、姿勢及びサイズに変換する。そして、操作信号変換部３１は、変換された想ディスプレイの位置、姿勢及びサイズを多視点画像生成部３２に出力する。
【0034】
＜３次元ＣＧシーンにおける仮想ディスプレイ及び仮想カメラ＞
以下、３次元ＣＧシーンＭにおける仮想ディスプレイ９０及び仮想カメラアレイ９１を説明する。
以下、３次元ＣＧシーンＭにおける仮想ディスプレイ９０及び仮想カメラアレイ９１を説明する。
【0035】
図７に示すように、立体画像として表示したい３次元ＣＧシーンＭに空間像再生型の仮想ディスプレイ９０を配置する。そして、この仮想ディスプレイ９０を仮想カメラアレイ９１で撮影することで、立体画像（要素画像Ｅ）を生成できる。例えば、仮想ディスプレイ９０は、インテグラル方式と同様、ディスプレイ及びレンズアレイを備える仮想的なディスプレイである。また、仮想カメラアレイ９１は、２次元方向に複数の仮想カメラ９２が配置されたものである。ここでは、仮想カメラアレイ９１は、仮想ディスプレイ９０のディスプレイ面（仮想ディスプレイ面）から奥行き方向に予め設定した視距離Ｄ分だけ離れた位置に等間隔で配置される。なお、視距離Ｄは、ユーザＵから仮想ディスプレイ９０までの距離である。
【0036】
図７では、仮想カメラアレイ９１は、水平方向に配列された５台の仮想カメラ９２１～９２５で構成されている。全ての仮想カメラ９２１～９２５が仮想ディスプレイ９０に正対して配置され、その画角が仮想ディスプレイ９０の領域に一致して撮影できるように内部パラメータが予め設定されていることとする。
【0037】
ここで、ユーザＵの両目の中点（視点位置Ｐ）が、仮想カメラアレイ９１の中心に一致する。また、奥行き方向において、仮想カメラアレイ９１の中心が、仮想ディスプレイ９０の中心に一致する。なお、図７では、水平方向をｘ軸、垂直方向をｙ軸、奥行き方向をｚ軸とする。
【0038】
一般的な２次元映像を撮影するときのカメラワークは、ドリー（位置変更）、パン・チルト・ロール（姿勢変更）、及び、ズームイン・ズームアウト（焦点距離変更）で構成される。これらの操作を３次元の仮想空間で行う場合、カメラワークは、仮想ディスプレイ９０の操作と等しくなる。図８（ａ）に示すように、仮想カメラ９２のドリーは、仮想ディスプレイ９０の位置変更に対応する。この図８では、３次元ＣＧシーンＭとして、人物及び犬を図示した。また、カメラワーク前の仮想カメラ９２の画角αを破線で図示し、カメラワーク後の仮想カメラ９２の画角βを実線で図示した。つまり、仮想カメラ９２の画角α，βが、カメラワーク前後における仮想ディスプレイ９０の位置、姿勢及びサイズの変化を表す。図８（ｂ）に示すように、仮想カメラ９２のパン、チルト又はロールは、仮想ディスプレイ９０の姿勢変更に対応する。図８（ｃ）に示すように、仮想カメラ９２のズームイン又はズームアウトは、仮想ディスプレイ９０のサイズの縮小又は拡大に対応する。
【0039】
以上のように、仮想カメラ９２のカメラワークは、仮想ディスプレイ９０の操作と等価と考えられる。そこで、操作信号変換部３１は、ユーザＵによる操作をインタラクティブコンテンツに反映させるため、コントローラ２からの操作信号を仮想ディスプレイ９０の操作（位置、姿勢及びサイズ）に変換する。
【0040】
ユーザＵの操作信号を仮想ディスプレイ９０の操作に変換する変換規則は、任意に設定できる。例えば、変換規則は、一人称視点又は三人称視点の場合、ユーザＵの操作をそのまま仮想ディスプレイ９０の操作として扱う規則とする。また、変換規則は、ゲームステージ内で固定視点の場合、ユーザＵがプレイヤーキャラクタをゲームステージの所定位置まで移動させたとき、その位置に応じた視点に切り替える規則としてもよい。
【0041】
図６に戻り、立体画像生成装置３の説明を続ける。
多視点画像生成部３２は、仮想ディスプレイ９０の位置、姿勢及びサイズに応じて、仮想カメラ９２を配列した仮想カメラアレイ９１のカメラパラメータを剛体変換行列により算出するものである。そして、多視点画像生成部３２は、３次元ＣＧシーンＭを表示している仮想ディスプレイ９０を仮想カメラアレイ９１で撮影することで多視点画像を生成する。
多視点画像生成部３２は、仮想ディスプレイ９０の位置、姿勢及びサイズに応じて、仮想カメラ９２を配列した仮想カメラアレイ９１のカメラパラメータを剛体変換行列により算出するものである。そして、多視点画像生成部３２は、３次元ＣＧシーンＭを表示している仮想ディスプレイ９０を仮想カメラアレイ９１で撮影することで多視点画像を生成する。
【0042】
＜カメラワークが反映された多視点画像の生成＞
図９を参照し、カメラワークが反映された多視点画像の生成について説明する。
仮想カメラ９２のカメラパラメータは、その位置、姿勢及び内部パラメータからなる。また、仮想ディスプレイ９０の位置、姿勢及びサイズに応じて、仮想カメラ９２のカメラパラメータが変化する。以下、多視点画像Ｖの生成にあたり、仮想ディスプレイ９０の位置及び姿勢と、仮想ディスプレイ９０のサイズとを分けて検討する。
図９を参照し、カメラワークが反映された多視点画像の生成について説明する。
仮想カメラ９２のカメラパラメータは、その位置、姿勢及び内部パラメータからなる。また、仮想ディスプレイ９０の位置、姿勢及びサイズに応じて、仮想カメラ９２のカメラパラメータが変化する。以下、多視点画像Ｖの生成にあたり、仮想ディスプレイ９０の位置及び姿勢と、仮想ディスプレイ９０のサイズとを分けて検討する。
【0043】
図９には、仮想空間内の各座標系を図示した。世界座標系ΣＷは、仮想空間内で基準となる３次元座標系であり、所望の位置を原点とする。また、仮想ディスプレイ座標系ΣＤは、仮想ディスプレイ９０を基準とする３次元座標系のことであり、例えば、仮想ディスプレイ面の中心を原点とする。また、カメラ座標系ΣＣは、仮想カメラアレイ９１を構成する１台の仮想カメラ９２を基準とする座標系のことであり、例えば、仮想カメラ９２の光学主点を原点とする。
【0044】
一般的に座標系は、剛体変換行列により変換可能である。ここで、座標系ΣＡから座標系ΣＢへの変換は、剛体変換行列ＢＭＡで表される。この場合、座標系ΣＡにおける３次元点の座標ＡＸは、以下の式（１）により、座標系ΣＢにおける３次元座標ＢＸに変換できる。なお、３次元座標Ｘでは、左上の添え字が座標系を表し、上付きチルダが同次座標を表す。
【0045】
【数1】
【0046】
また、３次元座標Ｘ＝［Ｘ，Ｙ，Ｚ］Ｔの同次座標を以下の式（２）で表す。なお、添え字Ｔはベクトルの転置を表す。
【0047】
【数2】
【0048】
図９において、剛体変換行列ＤＭＷは、世界座標系ΣＷから仮想ディスプレイ座標系ΣＤへの座標変換を表す。また、剛体変換行列ＣＭＤは、仮想ディスプレイ座標系ΣＤからカメラ座標系ΣＣへの座標変換を表す。
【0049】
まず、仮想ディスプレイ９０の位置及び姿勢について考える。仮想ディスプレイ座標系ΣＤにおけるカメラの位置ＤＰは、以下の式（３）に示すように、世界座標系ΣＷにおけるカメラの位置ＷＰに変換できる。
【0050】
【数3】
【0051】
ここで、カメラワークを行わなければ、剛体変換行列ＤＭＷは、変化せずに固定値となる。しかし、前記したように、カメラワークを行うので、仮想ディスプレイ９０の位置及び姿勢に応じて剛体変換行列ＤＭＷが変化する。例えば、剛体変換行列ＤＭＷが回転行列及び並進ベクトルで表されるので、仮想ディスプレイ９０の位置に合わせて剛体変換行列ＤＭＷの並進ベクトルを変化させ、仮想ディスプレイ９０の姿勢に合わせて剛体変換行列ＤＭＷの回転行列を変化させればよい。
【0052】
次に、仮想ディスプレイ９０のサイズについて考える。仮想ディスプレイ９０のサイズを変化させることは、その仮想ディスプレイ９０のレンズピッチや焦点距離を変化させることと等価である。また、それに伴って視距離も比例して変化する。従って、仮想ディスプレイ座標系ΣＤにおける仮想カメラ９２の位置が変化する。
【0053】
図１０及び図１１に示すように、仮想ディスプレイ９０のサイズが変化した場合、仮想カメラ９２の位置が変化する。図１０に示すように、仮想ディスプレイ９０が所定のサイズであり、所定の画角で仮想カメラ９２１，…，９２Ｋ…，９２Ｎが一定間隔で配置されていることとする（但し、１＜Ｋ＜Ｎ）。また、視距離がＤであり、各仮想カメラ９２のカメラ間隔がＷである。このとき、奥行き方向において、仮想カメラアレイ９１の中心（仮想カメラ９２Ｋ）と仮想ディスプレイ９０の中心とが一致する。図１１に示すように、仮想ディスプレイ９０のサイズをａ倍にした場合、視距離がａＤとなり、各仮想カメラ９２のカメラ間隔がａＷとなる。このとき、仮想カメラ９２の姿勢及び内部パラメータは変化しない。
【0054】
以上のように、多視点画像生成部３２は、式（３）の剛体変換行列を用いて、仮想ディスプレイ９０の位置、姿勢及びサイズに応じて、仮想カメラ９２毎にカメラパラメータを算出する。そして、多視点画像生成部３２は、各仮想カメラ９２で仮想ディスプレイ９０を撮影することで多視点画像を生成し、生成した多視点画像を立体画像変換部３３に出力する。
【0055】
図６に戻り、立体画像生成装置３の説明を続ける。
立体画像変換部３３は、多視点画像生成部３２が生成した多視点画像を立体画像に変換するものである。本実施形態では、立体画像変換部３３は、図１２に示すように、多視点画像生成部３２から入力された多視点画像Ｖの画素位置を並べ替えることで、多視点画像Ｖを要素画像Ｅに変換する。そして、立体画像変換部３３は、変換した要素画像Ｅを立体ディスプレイ４に出力する。この要素画像Ｅを立体ディスプレイ４に表示すると、ユーザＵが立体像を見ることができる。
立体画像変換部３３は、多視点画像生成部３２が生成した多視点画像を立体画像に変換するものである。本実施形態では、立体画像変換部３３は、図１２に示すように、多視点画像生成部３２から入力された多視点画像Ｖの画素位置を並べ替えることで、多視点画像Ｖを要素画像Ｅに変換する。そして、立体画像変換部３３は、変換した要素画像Ｅを立体ディスプレイ４に出力する。この要素画像Ｅを立体ディスプレイ４に表示すると、ユーザＵが立体像を見ることができる。
【0056】
【0057】
ステップＳ１において、操作信号変換部３１は、ユーザＵによる操作信号が入力され、所定の変換規則に基づいて、入力された操作信号を仮想ディスプレイ９０の位置、姿勢及びサイズに変換する。例えば、変換規則は、一人称視点又は三人称視点の場合、ユーザＵの操作をそのまま仮想ディスプレイ９０の操作として扱う規則とする。また、変換規則は、ゲームステージ内で固定視点の場合、ユーザＵがプレイヤーキャラクタをゲームステージの所定位置まで移動させたとき、その位置に応じた視点に切り替える規則としてもよい。
【0058】
ステップＳ２において、多視点画像生成部３２は、仮想ディスプレイ９０の位置、姿勢及びサイズに応じて、仮想カメラ９２を配列した仮想カメラアレイ９１のカメラパラメータを剛体変換行列により算出する。ここで、多視点画像生成部３２は、前記した式（３）の剛体変換行列を用いて、仮想ディスプレイ９０の位置、姿勢及びサイズに応じて、仮想カメラ９２毎にカメラパラメータを算出する。そして、多視点画像生成部３２は、各仮想カメラ９２で仮想ディスプレイ９０を撮影することで多視点画像Ｖを生成する。
【0059】
ステップＳ３において、立体画像変換部３３は、多視点画像生成部３２が生成した多視点画像Ｖを立体画像に変換するものである。本実施形態では、立体画像変換部３３は、図１２に示すように、多視点画像生成部３２から入力された多視点画像Ｖの画素位置を並べ替えることで、多視点画像Ｖを要素画像Ｅに変換する。
【0060】
［作用・効果］
仮想カメラ９２のカメラワークは、仮想ディスプレイの位置、姿勢及びサイズの変更と等価であると考えられる。そこで、第１実施形態に係る立体画像生成装置３は、ユーザＵの操作を仮想ディスプレイ９０の位置、姿勢及びサイズに反映し、この仮想ディスプレイ９０を仮想カメラアレイ９１で撮影する。これにより、立体画像生成装置３は、テレビゲームなどのインタラクティブコンテンツの演出のために、ユーザＵの操作を仮想カメラのカメラワークに簡易に反映させることができる。
仮想カメラ９２のカメラワークは、仮想ディスプレイの位置、姿勢及びサイズの変更と等価であると考えられる。そこで、第１実施形態に係る立体画像生成装置３は、ユーザＵの操作を仮想ディスプレイ９０の位置、姿勢及びサイズに反映し、この仮想ディスプレイ９０を仮想カメラアレイ９１で撮影する。これにより、立体画像生成装置３は、テレビゲームなどのインタラクティブコンテンツの演出のために、ユーザＵの操作を仮想カメラのカメラワークに簡易に反映させることができる。
【0061】
（第２実施形態）
［立体画像生成装置の構成］
図１４を参照し、第２実施形態に係る立体画像生成装置３の構成について、第１実施形態と異なる点を説明する。
インテグラル方式の立体ディスプレイ４は、ディスプレイ面から離れるほど空間解像度が低下するという特性がある。この場合、ディスプレイ面から離れたオブジェクトを再現しようとした場合、視覚的に正しく認識することが難しく、非常に見づらい立体画像になってしまう。つまり、立体ディスプレイ４は、立体画像として再現できる３次元ＣＧシーンＭの奥行き範囲が狭くなっている。このため、立体画像生成装置３は、立体ディスプレイ４に合わせて３次元ＣＧシーンＭの奥行きを圧縮する点が、第１実施形態と異なる。
［立体画像生成装置の構成］
図１４を参照し、第２実施形態に係る立体画像生成装置３の構成について、第１実施形態と異なる点を説明する。
インテグラル方式の立体ディスプレイ４は、ディスプレイ面から離れるほど空間解像度が低下するという特性がある。この場合、ディスプレイ面から離れたオブジェクトを再現しようとした場合、視覚的に正しく認識することが難しく、非常に見づらい立体画像になってしまう。つまり、立体ディスプレイ４は、立体画像として再現できる３次元ＣＧシーンＭの奥行き範囲が狭くなっている。このため、立体画像生成装置３は、立体ディスプレイ４に合わせて３次元ＣＧシーンＭの奥行きを圧縮する点が、第１実施形態と異なる。
【0062】
図１４に示すように、立体画像生成装置３は、記憶部３０と、操作信号変換部３１と、多視点画像生成部３２と、立体画像変換部３３と、奥行き圧縮部３４とを備える。なお、多視点画像生成部３２及び奥行き圧縮部３４以外の各手段は、第１実施形態と同様のため、説明を省略する。
【0063】
奥行き圧縮部３４は、予め設定した奥行き圧縮関数を用いて、３次元ＣＧシーンＭの奥行きを圧縮するものである。本実施形態では、奥行き圧縮部３４は、記憶部３０に記憶されている３次元ＣＧシーンＭを奥行き圧縮する。ここで、奥行き圧縮部３４は、線形奥行き圧縮関数又は非線形奥行き圧縮関数の何れを用いてもよい（参考文献２，３）。このとき、コンテンツ体験システム１の使用者が何れの奥行き圧縮関数を用いるか、奥行き圧縮部３４に設定することとする。線形奥行き圧縮関数は、奥行き方向において、３次元ＣＧシーンＭの全体を均等に圧縮する関数であり、例えば、１次関数で表される。また、非線形奥行き圧縮関数は、奥行き方向において、空間解像度が高い範囲で圧縮率が小さくなるように３次元ＣＧシーンＭを圧縮する関数であり、例えば、シグモイド関数で表される。そして、奥行き圧縮部３４は、奥行き圧縮後の３次元ＣＧシーンＭを多視点画像生成部３２に出力する。
【0064】
参考文献２：Y. Sawahata and T. Morita, “Estimating Depth Range Required for 3-D Displays to Show Depth-Compressed Scenes Without Inducing Sense of Unnaturalness”, IEEE Transactions on Broadcasting, Vol. 64, No. 2, pp. 488 - 497 (2018)
参考文献３：澤畠、「空間認知特性に基づいた自然なインテグラル立体表示技術」、日本放送協会、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１６４、２０１７年８月
参考文献３：澤畠、「空間認知特性に基づいた自然なインテグラル立体表示技術」、日本放送協会、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１６４、２０１７年８月
【0065】
多視点画像生成部３２は、奥行き圧縮後の３次元ＣＧシーンＭを表示している仮想ディスプレイ９０を仮想カメラアレイ９１で撮影するものである。本実施形態では、多視点画像生成部３２は、奥行き圧縮部３４から３次元ＣＧシーンＭが入力される以外、第１実施形態と同様のため、これ以上の説明を省略する。
【0066】
［作用・効果］
以上のように、第２実施形態に係る立体画像生成装置３は、第１実施形態と同様、ユーザＵの操作を仮想カメラのカメラワークに簡易に反映させることができる。
さらに、立体画像生成装置３は、３次元ＣＧシーンＭを奥行き圧縮するので、広い奥行き範囲を有するインタラクティブコンテンツであっても、空間解像度の低下を抑制し、高品質な立体画像を表示できる。
以上のように、第２実施形態に係る立体画像生成装置３は、第１実施形態と同様、ユーザＵの操作を仮想カメラのカメラワークに簡易に反映させることができる。
さらに、立体画像生成装置３は、３次元ＣＧシーンＭを奥行き圧縮するので、広い奥行き範囲を有するインタラクティブコンテンツであっても、空間解像度の低下を抑制し、高品質な立体画像を表示できる。
【0067】
（変形例１）
なお、第１，２実施形態では、コンテンツ体験システム１がコントローラ２及び立体ディスプレイ４を１個のみ備え、図１のシステム構成に対応するものとして説明したが、これに限定されない。
例えば、コンテンツ体験システム１が複数のコントローラ２を備え、複数のユーザＵに対応したシステム構成（図３の第２構成）としてもよい。この場合、操作信号変換部３１は、各コントローラ２からの操作信号を平均し、複数のユーザＵによる操作をカメラワークに変換する。また、操作信号変換部３１は、先に操作を行っているユーザＵの操作信号が反映されるように、その操作信号をカメラワークに変換してもよい。
なお、第１，２実施形態では、コンテンツ体験システム１がコントローラ２及び立体ディスプレイ４を１個のみ備え、図１のシステム構成に対応するものとして説明したが、これに限定されない。
例えば、コンテンツ体験システム１が複数のコントローラ２を備え、複数のユーザＵに対応したシステム構成（図３の第２構成）としてもよい。この場合、操作信号変換部３１は、各コントローラ２からの操作信号を平均し、複数のユーザＵによる操作をカメラワークに変換する。また、操作信号変換部３１は、先に操作を行っているユーザＵの操作信号が反映されるように、その操作信号をカメラワークに変換してもよい。
【0068】
（第３実施形態）
［立体画像生成装置の構成］
図１５を参照し、第３実施形態に係る立体画像生成装置３Ｂの構成について、第１実施形態と異なる点を説明する。
第３実施形態に係る立体画像生成装置３Ｂは、視点追従機能を有する点が、第１実施形態と異なる。なお、図１５の立体画像生成装置３Ｂは、ユーザＵが一人で視点追従機能が有る場合のシステム構成（図４の第３構成）に対応する。
［立体画像生成装置の構成］
図１５を参照し、第３実施形態に係る立体画像生成装置３Ｂの構成について、第１実施形態と異なる点を説明する。
第３実施形態に係る立体画像生成装置３Ｂは、視点追従機能を有する点が、第１実施形態と異なる。なお、図１５の立体画像生成装置３Ｂは、ユーザＵが一人で視点追従機能が有る場合のシステム構成（図４の第３構成）に対応する。
【0069】
図１５に示すように、立体画像生成装置３Ｂは、記憶部３０と、操作信号変換部３１と、多視点画像生成部３２Ｂと、立体画像変換部３３Ｂと、視点位置検出部３５とを備える。なお、多視点画像生成部３２及び視点位置検出部３５以外の各手段は、第１実施形態と同様のため、説明を省略する。
【0070】
視点位置検出部３５は、ユーザＵ毎の視点位置を検出するものである。本実施形態では、カメラ５から入力された各ユーザＵの顔領域画像から、既知の手法を用いて、視点位置としてユーザＵの両目の中間位置を検出する（参考文献４，５）。本実施形態では、ユーザＵが一人のため、視点位置検出部３５は、一人分の視点位置を検出する。そして、視点位置検出部３５は、検出したユーザＵの視点位置を多視点画像生成部３２Ｂに出力する。
【0071】
参考文献４：特開２０１９－２１３１２７号公報
参考文献５：岡市、「視点追従型インテグラル３Ｄ映像表示システムの開発」、映像情報メディア学会誌、Ｖｏｌ．７５、Ｎｏ．１、ｐｐ．１２５－１３０（２０２１）
参考文献５：岡市、「視点追従型インテグラル３Ｄ映像表示システムの開発」、映像情報メディア学会誌、Ｖｏｌ．７５、Ｎｏ．１、ｐｐ．１２５－１３０（２０２１）
【0072】
多視点画像生成部３２Ｂは、視点位置検出部３５から入力された視点位置に応じて剛体変換行列を変化させ、ユーザＵ毎の剛体変換行列を用いて、ユーザＵ毎に多視点画像Ｖを生成するものである。ここで、多視点画像生成部３２Ｂは、各ユーザＵの視点位置から剛体変換行列をそれぞれ求め、各ユーザＵの視点位置に対応した多視点画像Ｖを生成する。なお、本実施形態では、ユーザＵが一人のため、多視点画像生成部３２Ｂは、一人分の多視点画像を検出する。
【0073】
＜視点位置に応じた多視点画像の生成＞
図１６を参照し、視点位置に応じた多視点画像Ｖの生成について説明する。
視点追従機能が有る場合、仮想カメラアレイ９１の各仮想カメラ９２の位置及び内部パラメータは、ユーザＵの視点位置に応じて変化する。図１６に示すように、ユーザＵの視点位置Ｐが移動した場合、移動後の視点位置Ｐに応じて、仮想カメラアレイ９１の各仮想カメラ９２の位置及び内部パラメータを設定する。
図１６を参照し、視点位置に応じた多視点画像Ｖの生成について説明する。
視点追従機能が有る場合、仮想カメラアレイ９１の各仮想カメラ９２の位置及び内部パラメータは、ユーザＵの視点位置に応じて変化する。図１６に示すように、ユーザＵの視点位置Ｐが移動した場合、移動後の視点位置Ｐに応じて、仮想カメラアレイ９１の各仮想カメラ９２の位置及び内部パラメータを設定する。
【0074】
具体的には、視点追従機能が有る場合、仮想ディスプレイ座標系ΣＤからカメラ座標系ΣＣへの剛体変換行列ＣＭＤが変化する。このとき、仮想カメラ９２の位置は変化するが、仮想カメラ９２の姿勢は変化しない。つまり、剛体変換行列ＣＭＤでは、以下の式（４）に示すように、並進ベクトルＣＴが視点位置に応じて変化する一方、回転行列ＣＲＤが単位行列になる。
【0075】
【数4】
【0076】
以上より、多視点画像生成部３２Ｂは、式（４）を用いて、ユーザＵの視点位置に応じて剛体変換行列ＣＭＤを変化させ、ユーザＵ毎に仮想カメラアレイ９１を設定する。その後、多視点画像生成部３２Ｂは、第１実施形態と同様に多視点画像を生成し、生成した多視点画像を立体画像変換部３３Ｂに出力する。
【0077】
図１５に戻り、立体画像生成装置３Ｂの構成について説明を続ける。
立体画像変換部３３Ｂは、ユーザＵ毎に多視点画像を立体画像に変換するものである。ここでは、ユーザＵが一人のため、立体画像変換部３３Ｂは、一人分の立体画像を変換する。なお、立体画像変換部３３Ｂによる立体映像の変換方法は、第１実施形態と同様のため、説明を省略する。そして、立体画像変換部３３Ｂは、ユーザＵ毎に生成した立体画像（要素画像Ｅ）を、各ユーザＵに対応した立体ディスプレイ４に出力する。
立体画像変換部３３Ｂは、ユーザＵ毎に多視点画像を立体画像に変換するものである。ここでは、ユーザＵが一人のため、立体画像変換部３３Ｂは、一人分の立体画像を変換する。なお、立体画像変換部３３Ｂによる立体映像の変換方法は、第１実施形態と同様のため、説明を省略する。そして、立体画像変換部３３Ｂは、ユーザＵ毎に生成した立体画像（要素画像Ｅ）を、各ユーザＵに対応した立体ディスプレイ４に出力する。
【0078】
［作用・効果］
以上のように、第３実施形態に係る立体画像生成装置３Ｂは、第１実施形態と同様、ユーザＵの操作を仮想カメラのカメラワークに簡易に反映させることができる。
さらに、立体画像生成装置３Ｂは、視点追従機能により、ユーザＵの両眼がある領域にのみ立体画像を表示できる。これにより、立体ディスプレイ４が焦点距離の長いレンズアレイを使用できるので、その光線密度により奥行き範囲を拡大できる。さらに、立体画像生成装置３Ｂは、視点追従機能により視域を拡大し、高品質な立体画像を表示できる。
以上のように、第３実施形態に係る立体画像生成装置３Ｂは、第１実施形態と同様、ユーザＵの操作を仮想カメラのカメラワークに簡易に反映させることができる。
さらに、立体画像生成装置３Ｂは、視点追従機能により、ユーザＵの両眼がある領域にのみ立体画像を表示できる。これにより、立体ディスプレイ４が焦点距離の長いレンズアレイを使用できるので、その光線密度により奥行き範囲を拡大できる。さらに、立体画像生成装置３Ｂは、視点追従機能により視域を拡大し、高品質な立体画像を表示できる。
【0079】
（変形例２）
なお、視点位置検出部３５は、検出した視点位置の数に基づいて、ユーザＵが複数であるか否かを判定してもよい。例えば、視点位置検出部３５は、顔領域画像に含まれる眼の数を２で除算し（小数点以下切り捨て）、その値をユーザＵの人数とすればよい。
なお、視点位置検出部３５は、検出した視点位置の数に基づいて、ユーザＵが複数であるか否かを判定してもよい。例えば、視点位置検出部３５は、顔領域画像に含まれる眼の数を２で除算し（小数点以下切り捨て）、その値をユーザＵの人数とすればよい。
【0080】
そして、多視点画像生成部３２Ｂは、ユーザＵが複数と判定された場合、ユーザＵ毎に多視点画像Ｖを生成してもよい。さらに、立体画像変換部３３Ｂは、ユーザＵが複数と判定された場合、ユーザＵ毎に多視点画像Ｖを立体画像（要素画像Ｅ）に変換してもよい。
【0081】
このように、ユーザＵの人数に応じて、視点追従機能の有無を切り替えることが可能となり、コンテンツ体験システム１Ｂは、システム構成がより柔軟となり、汎用性をさらに向上させることができる。
【0082】
（第４実施形態）
［立体画像生成装置の構成］
図１７を参照し、第４実施形態に係る立体画像生成装置３Ｂの構成について、第３実施形態と異なる点を説明する。
第４実施形態に係る立体画像生成装置３Ｂは、３次元ＣＧシーンＭの奥行きを圧縮する点が、第３実施形態と異なる。
［立体画像生成装置の構成］
図１７を参照し、第４実施形態に係る立体画像生成装置３Ｂの構成について、第３実施形態と異なる点を説明する。
第４実施形態に係る立体画像生成装置３Ｂは、３次元ＣＧシーンＭの奥行きを圧縮する点が、第３実施形態と異なる。
【0083】
図１７に示すように、立体画像生成装置３Ｂは、記憶部３０と、操作信号変換部３１と、多視点画像生成部３２Ｂと、立体画像変換部３３Ｂと、奥行き圧縮部３４と、視点位置検出部３５とを備える。
【0084】
多視点画像生成部３２Ｂは、奥行き圧縮後の３次元ＣＧシーンＭが再生されている仮想ディスプレイ９０を仮想カメラアレイ９１で撮影するものである。本実施形態では、多視点画像生成部３２Ｂは、奥行き圧縮部３４から３次元ＣＧシーンＭが入力される以外、第３実施形態と同様のため、これ以上の説明を省略する。
【0085】
なお、記憶部３０、操作信号変換部３１、立体画像変換部３３Ｂ及び視点位置検出部３５は、第３実施形態と同様のため、説明を省略する。
また、奥行き圧縮部３４は、第２実施形態と同様のため、説明を省略する。
また、奥行き圧縮部３４は、第２実施形態と同様のため、説明を省略する。
【0086】
［作用・効果］
以上のように、第３実施形態に係る立体画像生成装置３Ｂは、第３実施形態と同様、ユーザＵの操作を仮想カメラのカメラワークに簡易に反映させることができる。
さらに、立体画像生成装置３Ｂは、第３実施形態と同様、奥行き範囲を拡大すると共に、視点追従機能により視域を拡大し、高品質な立体画像を表示できる。
さらに、立体画像生成装置３Ｂは、第２実施形態と同様、空間解像度の低下を抑制し、高品質な立体画像を表示できる。
以上のように、第３実施形態に係る立体画像生成装置３Ｂは、第３実施形態と同様、ユーザＵの操作を仮想カメラのカメラワークに簡易に反映させることができる。
さらに、立体画像生成装置３Ｂは、第３実施形態と同様、奥行き範囲を拡大すると共に、視点追従機能により視域を拡大し、高品質な立体画像を表示できる。
さらに、立体画像生成装置３Ｂは、第２実施形態と同様、空間解像度の低下を抑制し、高品質な立体画像を表示できる。
【0087】
（変形例３）
なお、第３，４実施形態では、コンテンツ体験システム１Ｂがコントローラ２及び立体ディスプレイ４を１個のみ備え、図４のシステム構成に対応するものとして説明したが、これに限定されない。
例えば、コンテンツ体験システム１Ｂが複数のコントローラ２及び立体ディスプレイ４を備え、複数のユーザＵに対応したシステム構成（図５の第４構成）としてもよい。
なお、第３，４実施形態では、コンテンツ体験システム１Ｂがコントローラ２及び立体ディスプレイ４を１個のみ備え、図４のシステム構成に対応するものとして説明したが、これに限定されない。
例えば、コンテンツ体験システム１Ｂが複数のコントローラ２及び立体ディスプレイ４を備え、複数のユーザＵに対応したシステム構成（図５の第４構成）としてもよい。
【0088】
（その他変形例）
以上、各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、空間像再生方式がインテグラル方式であることとして説明したが、これに限定されない。例えば、空間像再生方式がレンチュキュラ方式であってもよい。この場合、立体ディスプレイは、かまぼこ状のレンチュキュラレンズを１次元方向に配列したレンチュキュラレンズアレイと、表示素子とを備えればよい。この場合、多視点画像生成部は、仮想カメラを１次元方向に配列した仮想カメラアレイを用いればよい。
以上、各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、空間像再生方式がインテグラル方式であることとして説明したが、これに限定されない。例えば、空間像再生方式がレンチュキュラ方式であってもよい。この場合、立体ディスプレイは、かまぼこ状のレンチュキュラレンズを１次元方向に配列したレンチュキュラレンズアレイと、表示素子とを備えればよい。この場合、多視点画像生成部は、仮想カメラを１次元方向に配列した仮想カメラアレイを用いればよい。
【0089】
前記した各実施形態では、立体画像生成装置が独立したハードウェアであることとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した立体画像生成装置として機能させるためのプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0090】
１，１Ｂ コンテンツ体験システム
２ コントローラ
３，３Ｂ 立体画像生成装置
４ 立体ディスプレイ
５ カメラ
３０ 記憶部
３１ 操作信号変換部
３２，３２Ｂ 多視点画像生成部
３３，３３Ｂ 立体画像変換部
３４ 奥行き圧縮部
３５ 視点位置検出部
９０ 仮想ディスプレイ
９１ 仮想カメラアレイ
９２ 仮想カメラ
Ｅ 要素画像
Ｍ ３次元ＣＧシーン
Ｖ 多視点画像
２ コントローラ
３，３Ｂ 立体画像生成装置
４ 立体ディスプレイ
５ カメラ
３０ 記憶部
３１ 操作信号変換部
３２，３２Ｂ 多視点画像生成部
３３，３３Ｂ 立体画像変換部
３４ 奥行き圧縮部
３５ 視点位置検出部
９０ 仮想ディスプレイ
９１ 仮想カメラアレイ
９２ 仮想カメラ
Ｅ 要素画像
Ｍ ３次元ＣＧシーン
Ｖ 多視点画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】