(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022181292
(43)【公開日】2022-12-08
(54)【発明の名称】立体映像生成装置及びそのプログラム
(51)【国際特許分類】
H04N 13/128 20180101AFI20221201BHJP
H04N 13/307 20180101ALI20221201BHJP
H04N 13/366 20180101ALI20221201BHJP
G02B 30/10 20200101ALI20221201BHJP
G06T 19/00 20110101ALI20221201BHJP
【ＦＩ】
H04N13/128
H04N13/307
H04N13/366
G02B30/10
G06T19/00 F
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021088166
(22)【出願日】2021-05-26
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】宮下 山斗
【テーマコード（参考）】
2H199
5B050
5C061
【Ｆターム（参考）】
2H199BA19
2H199BB66
5B050BA09
5B050EA07
5B050EA12
5B050EA27
5B050FA02
5B050FA06
5C061AA06
5C061AB14
5C061AB18
(57)【要約】
【課題】３次元モデルのサイズに起因する違和感を軽減できる立体映像生成装置を提供する。
【解決手段】立体映像生成装置４は、３次元モデルを奥行き圧縮する奥行き圧縮部４０と、初期観察位置で奥行き圧縮した３次元モデルの頂点座標と、移動後観察位置で奥行き圧縮した３次元モデルの頂点座標とを算出する頂点座標算出部４１と、頂点座標算出部４１が算出した初期観察位置における頂点座標と移動後観察位置における頂点座標との間に、奥行き圧縮後の３次元モデルの頂点座標を変換する頂点座標変換部４２と、頂点座標変換部４２が変換した頂点座標で３次元モデルの立体映像を生成する要素画像レンダリング部４３と、を備える。
【選択図】図１
【解決手段】立体映像生成装置４は、３次元モデルを奥行き圧縮する奥行き圧縮部４０と、初期観察位置で奥行き圧縮した３次元モデルの頂点座標と、移動後観察位置で奥行き圧縮した３次元モデルの頂点座標とを算出する頂点座標算出部４１と、頂点座標算出部４１が算出した初期観察位置における頂点座標と移動後観察位置における頂点座標との間に、奥行き圧縮後の３次元モデルの頂点座標を変換する頂点座標変換部４２と、頂点座標変換部４２が変換した頂点座標で３次元モデルの立体映像を生成する要素画像レンダリング部４３と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
被写体の３次元モデルを奥行き圧縮し、立体映像を生成する立体映像生成装置であって、
所定の初期観察位置において、前記３次元モデルを奥行き圧縮する奥行き圧縮部と、
前記初期観察位置から移動した移動後観察位置が入力され、前記初期観察位置で奥行き圧縮した３次元モデルの頂点座標と、前記移動後観察位置で奥行き圧縮した３次元モデルの頂点座標とを算出する頂点座標算出部と、
前記頂点座標算出部が算出した前記初期観察位置における頂点座標と前記移動後観察位置における頂点座標との間に、奥行き圧縮後の前記３次元モデルの頂点座標を変換する頂点座標変換部と、
前記頂点座標変換部が変換した頂点座標で前記３次元モデルの立体映像を生成する立体映像生成部と、
を備えることを特徴とする立体映像生成装置。
所定の初期観察位置において、前記３次元モデルを奥行き圧縮する奥行き圧縮部と、
前記初期観察位置から移動した移動後観察位置が入力され、前記初期観察位置で奥行き圧縮した３次元モデルの頂点座標と、前記移動後観察位置で奥行き圧縮した３次元モデルの頂点座標とを算出する頂点座標算出部と、
前記頂点座標算出部が算出した前記初期観察位置における頂点座標と前記移動後観察位置における頂点座標との間に、奥行き圧縮後の前記３次元モデルの頂点座標を変換する頂点座標変換部と、
前記頂点座標変換部が変換した頂点座標で前記３次元モデルの立体映像を生成する立体映像生成部と、
を備えることを特徴とする立体映像生成装置。
【請求項2】
前記頂点座標変換部は、
頂点座標移動量の水平方向成分及び垂直方向成分を重み付ける第１パラメータ、及び、前記頂点座標移動量の奥行き方向成分を重み付ける第２パラメータが予め設定され、
前記初期観察位置から前記移動後観察位置までの前記３次元モデルの頂点座標の移動量を、前記第１パラメータ及び前記第２パラメータが含まれるパラメータで重み付けることにより、奥行き圧縮後の前記３次元モデルの頂点座標を求めることを特徴とする請求項１に記載の立体映像生成装置。
頂点座標移動量の水平方向成分及び垂直方向成分を重み付ける第１パラメータ、及び、前記頂点座標移動量の奥行き方向成分を重み付ける第２パラメータが予め設定され、
前記初期観察位置から前記移動後観察位置までの前記３次元モデルの頂点座標の移動量を、前記第１パラメータ及び前記第２パラメータが含まれるパラメータで重み付けることにより、奥行き圧縮後の前記３次元モデルの頂点座標を求めることを特徴とする請求項１に記載の立体映像生成装置。
【請求項3】
前記第１パラメータ及び前記第２パラメータは、主観評価実験の実験結果に基づいて、予め設定されたことを特徴とする請求項２に記載の立体映像生成装置。
【請求項4】
前記立体映像生成部は、前記立体映像として、インテグラル方式の要素画像を生成することを特徴とする請求項１から請求項３の何れか一項に記載の立体映像生成装置。
【請求項5】
コンピュータを、請求項１から請求項４の何れか一項に記載の立体映像生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体映像生成装置及びそのプログラムに関する。
【背景技術】
【0002】
インテグラル方式などの空間像再生型ディスプレイは、特別なメガネなしで、あたかもそこに被写体があるかのような立体表示が可能なディスプレイである。このような空間像再生型ディスプレイでは、水平垂直の両眼視差及び運動視差を提示することができる。また、空間像再生型ディスプレイでは、光線の密度を高めることによって眼球のピント調節が働くことから、輻輳や調節の不一致を回避することができる。
【0003】
一方、このような空間像再生型ディスプレイでは、奥行きの広いシーンを表示しようとするとぼやけが発生することが知られている（非特許文献１）。例えば、インテグラル方式のディスプレイは、平面状のレンズアレイと要素画像を表示する表示素子とを重ねて配置しており、レンズアレイ面から離れるほど空間周波数が低下し、ぼやけが発生する。このぼやけをハードウェア的に解決するためには、要素画像を表示するフラットパネルディスプレイの画素ピッチを数ミクロンのオーダーまで細かくする必要があり、システム開発の負担となる。
【0004】
そこで、図７に示すように、３Ｄシーンの奥行き範囲を、より狭い奥行き範囲に圧縮することで、ぼやけを回避する奥行き圧縮手法が提案されている（非特許文献２）。この奥行き圧縮手法は、以下の式（１）に示すように、被写体の３次元モデルＰ０を構成する全ての頂点座標ｐ０＝（ｘ，ｙ，ｚ）を、奥行き圧縮後の３次元モデルＰ´０の頂点座標ｐ´０＝（ｘ´，ｙ´，ｚ´）に変換する。
【0005】
【数1】
【0006】
なお、図７では、左手座標系を想定しており、観察位置（左右眼の中心）ｖ０を原点とし、水平方向をＸ軸、垂直方向をＹ軸、奥行き方向をＺ軸とする。また、Ｘ軸及びＹ軸で構成されるＸ－Ｙ平面がディスプレイ面と平行であり、Ｚ軸がディスプレイ面に鉛直であるものとする。
【0007】
なお、オリジナルプレーンとは、奥行き圧縮前における３次元モデルＰ０の奥行き位置ｄのことである。また、ｚが観察位置ｖ０からオリジナルプレーンまでの奥行きを表す。
また、ターゲットプレーンとは、奥行き圧縮後における３次元モデルＰ´０の奥行き位置ｄ´のことである。また、ｚ´が観察位置ｖ０からターゲットプレーンまでの奥行きを表す。
また、ディスプレイ面とは、空間像再生型ディスプレイの表示面を表す。また、Ｌ０が観察位置ｖ０からディスプレイ面までの距離（視距離）を表す。
また、ターゲットプレーンとは、奥行き圧縮後における３次元モデルＰ´０の奥行き位置ｄ´のことである。また、ｚ´が観察位置ｖ０からターゲットプレーンまでの奥行きを表す。
また、ディスプレイ面とは、空間像再生型ディスプレイの表示面を表す。また、Ｌ０が観察位置ｖ０からディスプレイ面までの距離（視距離）を表す。
【0008】
図８に示すように、式（１）のｆ（ｚ）は、奥側から手前側に３次元モデルＰの頂点を移動させるための奥行き圧縮関数であり、奥行き値をｚからｚ´に減少させる。また、式（１）のｘ´，ｙ´の変換は、原点から３次元モデルＰを観察した際、奥行き圧縮の前後で網膜像のサイズを一定にするための処理である。従って、原点から３次元モデルＰを単眼視した際には、奥行き圧縮の前後で見た目に違いは生じない。なお、図８では、ｚ＝１．０にディスプレイ面が位置する。
【0009】
その一方、原点から離れた観察位置ｖで奥行き圧縮された３次元モデルＰを観察すると、形状の歪みが顕著になる。そこで、この形状の歪みを抑制するために原点が観察位置ｖと常に一致するように更新する動的な奥行き圧縮手法が提案されている（非特許文献３）。この動的な奥行き圧縮手法では、観察位置ｖを移動させても、更新された原点から単眼視する限りは、網膜像が奥行き圧縮の前後で一定となる。
【0010】
なお厳密には、原点が観察位置ｖと一致していても、実際には両眼で同時に観察するため、奥行き圧縮の前後で網膜像にわずかな差が生じ、両眼視差量が変化する。具体的には、原点から左右に約３ｃｍずれた両目位置で観察されるので、立体像が圧縮前よりもわずかに接近しているように感じられる場合がある。
【先行技術文献】
【非特許文献】
【0011】
【非特許文献1】Hoshino H, Okano F, Isono H, Yuyama I. Analysis of resolution limitation of integral photography. Opt Soc Am. 1998;15(8):2059-2065.
【非特許文献2】Sawahata Y, Morita T. Estimating Depth Range Required for 3-D Displays to Show Depth-Compressed Scenes Without Inducing Sense of Unnaturalness. IEEE Trans Broadcast. 2018;64(2):488-497.
【非特許文献3】Miyashita Y, Sawahata Y, Katayama M, Komine K. Depth boost: Extended depth reconstruction capability on volumetric display. In: ACM SIGGRAPH 2019 Talks, SIGGRAPH 2019.
【発明の概要】
【発明が解決しようとする課題】
【0012】
図９（ａ）に示すように、従来の動的な奥行き圧縮手法では、観察位置ｖ０から観察位置ｖ１まで移動した場合、ターゲットプレーン上で３次元モデルＰ´１のサイズがｗ０からｗ１まで小さくなる。
【0013】
図９（ｂ）には、観察位置ｖの移動前後及び奥行き圧縮の前後において、ディスプレイ面上に描画された被写体の３次元モデルＰ（Ｐ０，Ｐ１，Ｐ´０，Ｐ´１）を図示した。図９（ｂ）に示すように、奥行き圧縮の前後では、ディスプレイ面上で３次元モデルＰのサイズが一定である（図９（ｂ）の左右で比較）。つまり、図９（ｂ）の上段に図示した３次元モデルＰ１，Ｐ´１のサイズが同一であり、図９（ｂ）の下段に図示した３次元モデルＰ０，Ｐ´０のサイズも同一である。
【0014】
一方、観察位置ｖ０，ｖ１の移動前後では、ディスプレイ面上で３次元モデルＰのサイズが変化する（図９（ｂ）の上下で比較）。つまり、図９（ｂ）の左側に図示した３次元モデルＰ０，Ｐ１のサイズが異なり、図９（ｂ）の右側に図示した３次元モデルＰ´０，Ｐ´１のサイズも異なる。そして、ターゲットプレーン上においても、同様に３次元モデルＰのサイズが変化する。
【0015】
一般的に、実空間中で被写体のサイズが変化することは稀であるため、３次元モデルＰのサイズが変化する現象は、観察者に違和感を与えると考えられる。また、サイズが固定のディスプレイ枠Ｂを介して３次元モデルＰを観察する際、ディスプレイ枠と３次元モデルＰとのサイズが比較されることから、３次元モデルＰのサイズ変化に気が付きやすくなると考えられる。
【0016】
ここで、網膜像サイズは、強力な奥行き手掛かりであり、奥行き圧縮された３Ｄシーンに対して深い奥行きを感じさせるために重要となる。被写体が遠くなるほど被写体が小さくなるという事前知識に基づいて、観察者は、被写体の奥行きを知覚している。このことから、観察位置ｖをディスプレイ面に近づけた際、違和感が生じないように、ターゲットプレーン上で３次元モデルＰのサイズを小さくすることができれば、圧縮前の奥行き感が損なわれにくくなると考えられる。同様に、観察位置ｖをディスプレイ面から遠ざける際、違和感が生じないように、ターゲットプレーン上で３次元モデルＰのサイズを大きくし、奥行き圧縮前後で網膜像サイズの差を小さくすることが好ましい。
【0017】
以上をまとめると、従来の動的な奥行き圧縮手法では、観察位置ｖを前後に移動した際に生じる３次元モデルＰのサイズ変化が、観察者に違和感をもたらす。また、観察位置ｖを前後に移動させた際に３次元モデルＰのサイズが一定の状態であると、奥行き圧縮前における網膜像サイズに対する差が生じるため、被写体の奥行き感が損なわれ、観察者に違和感をもたらす。
【0018】
そこで、本発明は、３次元モデルのサイズに起因する違和感を軽減できる立体映像生成装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0019】
前記課題を解決するため、本発明に係る立体映像生成装置は、被写体の３次元モデルを奥行き圧縮し、３次元モデルの立体映像を生成する立体映像生成装置であって、奥行き圧縮部と、頂点座標算出部と、頂点座標変換部と、立体映像生成部と、を備える構成とした。
【0020】
かかる構成によれば、奥行き圧縮部は、所定の初期観察位置において、３次元モデルを奥行き圧縮する。
頂点座標算出部は、初期観察位置から移動した移動後観察位置が入力され、初期観察位置で奥行き圧縮した３次元モデルの頂点座標と、移動後観察位置で奥行き圧縮した３次元モデルの頂点座標とを算出する。
頂点座標算出部は、初期観察位置から移動した移動後観察位置が入力され、初期観察位置で奥行き圧縮した３次元モデルの頂点座標と、移動後観察位置で奥行き圧縮した３次元モデルの頂点座標とを算出する。
【0021】
頂点座標変換部は、頂点座標算出部が算出した初期観察位置における頂点座標と移動後観察位置における頂点座標との間で、奥行き圧縮後の３次元モデルの頂点座標を変換する。
立体映像生成部は、頂点座標変換部が変換した頂点座標で３次元モデルの立体映像を生成する。
立体映像生成部は、頂点座標変換部が変換した頂点座標で３次元モデルの立体映像を生成する。
【0022】
このように、立体映像生成装置は、観察者に違和感を与えない範囲で３次元モデルのサイズを変化させてから立体映像を生成するので、３次元モデルのサイズに起因する違和感を軽減できる。
【0023】
なお、本発明は、コンピュータを、前記した立体映像生成装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0024】
本発明によれば、３次元モデルのサイズに起因する違和感を軽減できる。
【図面の簡単な説明】
【0025】
【図1】実施形態に係る立体映像表示システムの構成を示すブロック図である。
【図2】実施形態において、奥行き圧縮関数の一例を示すグラフである。
【図3】実施形態において、３次元モデルの頂点座標の変更を説明する説明図である。
【図4】実施形態において、第２パラメータと３次元モデルの幅との関係を示すグラフである。
【図5】（ａ）は第１パラメータを説明する説明図であり、（ｂ）は第２パラメータを説明する説明図である。
【図6】実施形態に係る立体映像生成装置の動作を示すフローチャートである。
【図7】従来の奥行き圧縮手法を説明する説明図である。
【図8】従来技術において、奥行き圧縮関数の一例を示すグラフである。
【図9】（ａ）及び（ｂ）は従来技術の問題点を説明する説明図である。
【発明を実施するための形態】
【0026】
以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0027】
［立体映像表示システムの概要］
図１を参照し、実施形態に係る立体映像表示システム１の概要について説明する。
立体映像表示システム１は、インテグラル方式の立体映像（要素画像）を表示するものである。図１に示すように、立体映像表示システム１は、観察位置検出装置２と、パラメータ設定装置３と、立体映像生成装置４と、立体映像表示装置５とを備える。
図１を参照し、実施形態に係る立体映像表示システム１の概要について説明する。
立体映像表示システム１は、インテグラル方式の立体映像（要素画像）を表示するものである。図１に示すように、立体映像表示システム１は、観察位置検出装置２と、パラメータ設定装置３と、立体映像生成装置４と、立体映像表示装置５とを備える。
【0028】
観察位置検出装置２は、観察者が立体映像を観察している位置（観察位置ｖ）を一般的な手法で検出するものである。例えば、観察位置検出装置２は、カメラ映像から観察位置ｖを検出する手法、又は、モーションキャプチャーで観察位置ｖを計測する手法を利用できる。そして、観察位置検出装置２は、検出した観察位置ｖを立体映像生成装置４に出力する。
【0029】
以後、観察位置ｖの初期値である初期観察位置を「観察位置ｖ０」と表記する。観察位置ｖ０が、３次元モデルＰ０を配置する仮想空間の原点となる。また、初期観察位置から移動した移動後観察位置を「観察位置ｖ１」と表記する。現在、観察者が立体映像を観察している位置が観察位置ｖ１となる。
【0030】
パラメータ設定装置３は、後記する第１パラメータｓ及び第２パラメータｔを設定するものである。例えば、立体映像表示システム１の観察者が第１パラメータｓ及び第２パラメータｔを手動で設定する。そして、パラメータ設定装置３は、設定された第１パラメータｓ及び第２パラメータｔを立体映像生成装置４に出力する。
【0031】
立体映像生成装置４は、被写体の３次元モデルＰ０を奥行き圧縮し、３次元モデルＰ０の立体映像を生成するものである。そして、立体映像生成装置４は、生成した立体映像を立体映像表示装置５に出力する。なお、立体映像生成装置４の詳細は、後記する。
【0032】
立体映像表示装置５は、立体映像生成装置４から入力された立体映像を表示するものである。例えば、立体映像表示装置５は、インテグラル方式の要素画像を表示する一般的な３Ｄディスプレイである。
【0033】
［立体映像生成装置の構成］
以下、立体映像生成装置４の構成について説明する。
図１に示すように、立体映像生成装置４は、奥行き圧縮部４０と、頂点座標算出部４１と、頂点座標変換部４２と、要素画像レンダリング部（立体映像生成部）４３とを備える。
以下、立体映像生成装置４の構成について説明する。
図１に示すように、立体映像生成装置４は、奥行き圧縮部４０と、頂点座標算出部４１と、頂点座標変換部４２と、要素画像レンダリング部（立体映像生成部）４３とを備える。
【0034】
本実施形態では、立体映像生成装置４は、観察位置検出装置２から観察位置ｖ１が入力される。また、立体映像生成装置４は、パラメータ設定装置３から第１パラメータｓ及び第２パラメータｔが入力される。さらに、立体映像生成装置４は、奥行き圧縮前の３次元モデル（頂点座標ｐ０の集合）が入力される。
【0035】
奥行き圧縮部４０は、所定の観察位置ｖ０において、３次元モデルＰ０を奥行き圧縮するものである。ここで、奥行き圧縮部４０は、前記した式（１）のような一般的な手法を用いて、３次元モデルＰ０を奥行き圧縮する。そして、奥行き圧縮部４０は、奥行き圧縮前後の３次元モデルＰ０，Ｐ´０を頂点座標算出部４１に出力する。
【0036】
頂点座標算出部４１は、観察位置ｖ０から移動した観察位置ｖ１が入力され、観察位置ｖ０で奥行き圧縮した３次元モデルＰ´０の頂点座標ｐ´０と、観察位置ｖ１で奥行き圧縮した３次元モデルＰ´１の頂点座標ｐ´１とを算出するものである。
【0037】
具体的には、頂点座標算出部４１は、前記した式（１）の奥行き圧縮式を用いて、観察位置ｖ０における頂点座標ｐ´０＝（ｘ´，ｙ´，ｚ´）を算出する。また、頂点座標算出部４１は、以下の式（１´）の奥行き圧縮式を用いて、観察位置ｖ１における頂点座標ｐ´１＝（ｘ１´，ｙ１´，ｚ１´）を算出する。図２に示すように、式（１´）の奥行き圧縮関数ｆ´（ｚ）は、式（１）奥行き圧縮関数ｆ（ｚ）と比べ、奥行き範囲を手前側に移動させたものである（図８参照）。
【0038】
【数2】
【0039】
その後、頂点座標算出部４１は、奥行き圧縮部４０から入力された３次元モデルＰ´０と、算出した３次元モデルの頂点座標ｐ´０，ｐ´１とを頂点座標変換部４２に出力する。
【0040】
頂点座標変換部４２は、頂点座標算出部４１が算出した観察位置ｖ０における頂点座標ｐ´０と観察位置ｖ１における頂点座標ｐ´１との間に、奥行き圧縮後の３次元モデルＰ´１の頂点座標ｐ´１ｍｏｄを変換するものである。本実施形態では、頂点座標変換部４２は、観察位置ｖ０から観察位置ｖ１までの３次元モデルＰ´０，Ｐ´１の頂点座標の移動量（ｐ´１－ｐ´０）を、第１パラメータｓ及び第２パラメータｔが含まれるパラメータａで重み付けることにより、奥行き圧縮後の３次元モデルＰ´１の頂点座標ｐ´１ｍｏｄを求める。
【0041】
具体的には、頂点座標変換部４２は、以下の式（２）及び式（３）の頂点座標変換式を用いて、奥行き圧縮後の３次元モデルＰ´１の頂点座標ｐ´１をｐ´１ｍｏｄに変換する。図３に示すように、頂点座標変換部４２は、行き圧縮後の３次元モデルの頂点座標ｐ´１をｐ´１ｍｏｄに変換することで、観察者に違和感を与えない範囲で３次元モデルＰ´１の幅ｗ１ｍｏｄを制御する。さらに、頂点座標変換部４２は、３次元モデルＰ´１の幅ｗ１ｍｏｄと同様に、３次元モデルＰ´１の高さも変更する。なお、ｗ０が頂点座標ｐ´０における３次元モデルＰ´０の幅であり、ｗ１が頂点座標ｐ´１における３次元モデルＰ´１の幅である。
【0042】
【数3】
【0043】
ここで、式（２）は、観察位置ｖ１の前後移動だけでなく、水平移動及び垂直移動にも影響を受ける。このため、式（２）のパラメータａは、奥行き方向成分と、水平方向成分及び垂直方向成分とに分けられる。以下の式（３）に示すように、パラメータａは、頂点座標移動量の水平方向成分及び垂直方向成分を重み付ける第１パラメータｓ、及び、頂点座標移動量の奥行き方向成分を重み付ける第２パラメータｔからなる。
【0044】
【数4】
【0045】
ここで、（ｖｘ，ｖｙ，ｖｚ）は、観察位置ｖ０から観察位置ｖ１までの移動ベクトルの水平方向成分、垂直方向成分及び奥行き方向成分をそれぞれ表す。また、第１パラメータｓは、ディスプレイ面に平行なＸ－Ｙ平面（水平方向及び垂直方向）の移動量に乗じる係数である。また、第２パラメータｔは、ディスプレイ面に垂直なＺ方向（奥行き方向）の移動量に乗じる係数である。
【0046】
その後、頂点座標変換部４２は、頂点座標ｐ´１ｍｏｄに変換した３次元モデルＰ´１を要素画像レンダリング部４３に出力する。
【0047】
要素画像レンダリング部４３は、頂点座標変換部４２が変換した頂点座標ｐ´１ｍｏｄで３次元モデルＰ´１の立体映像を生成するものである。本実施形態では、要素画像レンダリング部４３は、立体映像として、インテグラル方式の要素画像を一般的な手法で生成する。具体的には、要素画像レンダリング部４３は、仮想空間内の各視点位置に仮想カメラを配置し、頂点座標ｐ´１ｍｏｄの３次元モデルＰ´１を仮想空間に配置する。そして、要素画像レンダリング部４３は、３次元モデルＰ´１が配置された仮想空間（３Ｄシーン）を各仮想カメラで撮影することで、要素画像を生成する。その後、要素画像レンダリング部４３は、生成した要素画像を立体映像表示装置５に出力する。
【0048】
＜第１パラメータｓ及び第２パラメータｔ＞
以下、第１パラメータｓ及び第２パラメータｔについて詳細に説明する。
観察位置ｖ１が奥行き方向（Ｚ軸）で移動せず、水平方向及び垂直方向（Ｘ－Ｙ平面上）のみで移動する場合、式（３）で第２パラメータｔの項が消えるので、パラメータａが第１パラメータｓと等しくなる。一方、観察位置ｖ１が水平方向及び垂直方向（Ｘ－Ｙ平面上）で移動せず、奥行き方向（Ｚ軸）のみで移動する場合、式（３）で第１パラメータｓの項が消えるので、パラメータａが第２パラメータｔと等しくなる。
以下、第１パラメータｓ及び第２パラメータｔについて詳細に説明する。
観察位置ｖ１が奥行き方向（Ｚ軸）で移動せず、水平方向及び垂直方向（Ｘ－Ｙ平面上）のみで移動する場合、式（３）で第２パラメータｔの項が消えるので、パラメータａが第１パラメータｓと等しくなる。一方、観察位置ｖ１が水平方向及び垂直方向（Ｘ－Ｙ平面上）で移動せず、奥行き方向（Ｚ軸）のみで移動する場合、式（３）で第１パラメータｓの項が消えるので、パラメータａが第２パラメータｔと等しくなる。
【0049】
図４には、ターゲットプレーン上において、第２パラメータｔと３次元モデルＰ´１の幅ｗ１ｍｏｄとの関係を図示した。図４では、横軸が観察位置ｖ１から立体映像表示装置５のディスプレイ面までの距離（視距離Ｌ１）を表し、縦軸がターゲットプレーン上での３次元モデルＰ´１の幅ｗ１ｍｏｄを表す。ここでは、奥行き圧縮前の３次元モデルＰ０の奥行き位置をディスプレイ面から１０ｍとし、奥行き圧縮後の３次元モデルＰ´１の奥行き位置をディスプレイ面から１０ｃｍとした。また、観察位置ｖ１を立体映像表示装置５の中心から手前４０ｃｍとした。図４に示すように、第２パラメータｔ＝１の場合、従来の動的な奥行き圧縮手法に相当し、観察位置ｖ１が観察位置ｖ０からディスプレイ面に近づくにつれて、３次元モデルＰ´１の幅ｗ１ｍｏｄが大幅に減少する。第２パラメータｔの値をゼロに近づけるにつれて、直線の傾斜が緩やかになり、３次元モデルＰ´１の幅ｗ１ｍｏｄの減少も緩やかになる。そして、第２パラメータｔ＝０の場合、観察位置ｖ１に関わらず、３次元モデルＰ´１の幅ｗ１ｍｏｄが一定となる。
【0050】
第１パラメータｓ及び第２パラメータｔは、主観評価実験の実験結果に基づいて、予め設定する必要がある。本実施形態では、第１パラメータｓを所定段階（例えば、５段階）に分割し、一対比較で観察者が自然に感じる方の立体像を選択させる。このとき、第２パラメータｔ＝０に固定した条件とする。具体的には、第１パラメータｓ＝｛０．００，０．２５，０．５０，０．７５，１．００｝の５段階とし、第１パラメータｓの値が異なる状態で生成した２枚の要素画像から、立体像が自然に感じられる一方を観察者に選択させる。第１パラメータｓが５段階であるため２枚の要素画像の組み合わせが１０通りとなり、第１パラメータｓについて１０回の一対比較を行う。そして、Ｂｒａｄｌｅｙ－Ｔｅｒｒｙなどの解析手法を用いて、図５（ａ）に示すように、第１パラメータｓの値毎に自然さに関するスコアを算出する。図５（ａ）では、横軸が第１パラメータｓの値を表し、縦軸が自然さに関するスコアを表す。その後、自然さに関するスコアが最大となる第１パラメータｓの値をパラメータ設定装置３に設定する（例えば、第１パラメータｓ＝０．２５）。
【0051】
第２パラメータｔについても、第１パラメータｓと同様に設定すればよい。第２パラメータｔ＝｛０．００，０．２５，０．５０，０．７５，１．００｝の５段階とし、第１パラメータｓ＝０に固定した条件とする。第２パラメータｔの値が異なる状態で生成した２枚の要素画像から、立体像が自然に感じられる一方を観察者に選択させる。そして、Ｂｒａｄｌｅｙ－Ｔｅｒｒｙなどの解析手法を用いて、図５（ｂ）に示すように、第２パラメータｔの値毎に自然さに関するスコアを算出する。その後、自然さに関するスコアが最大となる第２パラメータｔの値をパラメータ設定装置３に設定する（例えば、第２パラメータｔ＝０．５０）。
【0052】
なお、図５（ａ）に示すように、第１パラメータｓの値が小さくなる程、３次元モデルＰ´１の形状の歪みが大きくなり、第１パラメータｓの値が大きくなる程、空間中で３次元モデルＰ´１が縦横に大きくずれる。
また、図５（ｂ）に示すように、第２パラメータｔの値が小さくなる程、被写体が網膜に投影される像のサイズが大きくなり、第２パラメータｔの値が大きくなる程、３次元モデルＰ１´のサイズ変化が大きくなる。
また、図５（ｂ）に示すように、第２パラメータｔの値が小さくなる程、被写体が網膜に投影される像のサイズが大きくなり、第２パラメータｔの値が大きくなる程、３次元モデルＰ１´のサイズ変化が大きくなる。
【0053】
［立体映像生成装置の動作］
図６を参照し、立体映像生成装置４の動作について説明する。
図６に示すように、ステップＳ１において、立体映像生成装置４は、第１パラメータｓ及び第２パラメータｔが入力される。
ステップＳ２において、立体映像生成装置４は、観察位置検出装置２から観察位置ｖ１が入力される。
ステップＳ３において、立体映像生成装置４は、３次元モデルＰ０が入力される。
図６を参照し、立体映像生成装置４の動作について説明する。
図６に示すように、ステップＳ１において、立体映像生成装置４は、第１パラメータｓ及び第２パラメータｔが入力される。
ステップＳ２において、立体映像生成装置４は、観察位置検出装置２から観察位置ｖ１が入力される。
ステップＳ３において、立体映像生成装置４は、３次元モデルＰ０が入力される。
【0054】
ステップＳ４において、奥行き圧縮部４０は、所定の観察位置ｖ０において、３次元モデルＰ０を奥行き圧縮する。
ステップＳ５において、観察位置ｖ０で奥行き圧縮した３次元モデルＰ´０の頂点座標ｐ´０と、観察位置ｖ１で奥行き圧縮した３次元モデルＰ´１の頂点座標ｐ´１とを算出する。
ステップＳ５において、観察位置ｖ０で奥行き圧縮した３次元モデルＰ´０の頂点座標ｐ´０と、観察位置ｖ１で奥行き圧縮した３次元モデルＰ´１の頂点座標ｐ´１とを算出する。
【0055】
ステップＳ６において、頂点座標変換部４２は、観察位置ｖ０における頂点座標ｐ´０と観察位置ｖ１における頂点座標ｐ´１との間に、奥行き圧縮後の３次元モデルＰ´１の頂点座標ｐ´１を変換する。
ステップＳ７において、要素画像レンダリング部４３は、頂点座標ｐ´１ｍｏｄに変換された３次元モデルＰ´１の要素画像をレンダリングする。
ステップＳ７において、要素画像レンダリング部４３は、頂点座標ｐ´１ｍｏｄに変換された３次元モデルＰ´１の要素画像をレンダリングする。
【0056】
［作用・効果］
立体映像生成装置４は、観察者に違和感を与えない範囲で３次元モデルのサイズを変化させてから要素画像を生成するので、３次元モデルのサイズに起因する違和感を軽減できる。このように、立体映像生成装置４は、より違和感の少ない立体映像表示を実現できる。従来のインテグラル方式のディスプレイのように奥行き再現能力が限られている場合でも、テレビ放送のような奥行きの深いシーンを表示することが可能となり、その際の観察位置移動による違和感を軽減できる。
立体映像生成装置４は、観察者に違和感を与えない範囲で３次元モデルのサイズを変化させてから要素画像を生成するので、３次元モデルのサイズに起因する違和感を軽減できる。このように、立体映像生成装置４は、より違和感の少ない立体映像表示を実現できる。従来のインテグラル方式のディスプレイのように奥行き再現能力が限られている場合でも、テレビ放送のような奥行きの深いシーンを表示することが可能となり、その際の観察位置移動による違和感を軽減できる。
【0057】
以上、実施例を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0058】
前記した実施形態では、説明を簡易にするため、被写体を立方体として図示したが、被写体は特に制限されない。
前記した実施形態では、立体映像として、インテグラル方式の要素画像を生成する例で説明したが、これに限定されない。例えば、立体映像生成装置は、レンチキュラ方式、２眼立体方式などの立体映像を生成してもよい。
前記した実施形態では、立体映像として、インテグラル方式の要素画像を生成する例で説明したが、これに限定されない。例えば、立体映像生成装置は、レンチキュラ方式、２眼立体方式などの立体映像を生成してもよい。
【0059】
前記した実施形態では、立体映像生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した立体映像生成装置として動作させるプログラムで実現することもできる。これらプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0060】
１ 立体映像表示システム
２ 観察位置検出装置
３ パラメータ設定装置
４ 立体映像生成装置
５ 立体映像表示装置
４０ 奥行き圧縮部
４１ 頂点座標算出部
４２ 頂点座標変換部
４３ 要素画像レンダリング部（立体映像生成部）
２ 観察位置検出装置
３ パラメータ設定装置
４ 立体映像生成装置
５ 立体映像表示装置
４０ 奥行き圧縮部
４１ 頂点座標算出部
４２ 頂点座標変換部
４３ 要素画像レンダリング部（立体映像生成部）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】