知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-15
(45)【発行日】2024-02-26
(54)【発明の名称】立体画像生成装置及びそのプログラム
(51)【国際特許分類】
H04N 13/128 20180101AFI20240216BHJP
H04N 13/307 20180101ALI20240216BHJP
H04N 13/275 20180101ALI20240216BHJP
G06T 19/00 20110101ALI20240216BHJP
【ＦＩ】
H04N13/128
H04N13/307
H04N13/275
G06T19/00 F
【請求項の数】
4
(21)【出願番号】P 2020001806
(22)【出願日】2020-01-09
(65)【公開番号】P2021111859
(43)【公開日】2021-08-02
【審査請求日】2022-12-12
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】澤畠 康仁
(72)【発明者】
【氏名】宮下 山斗
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２０１９－１８５２８３（ＪＰ，Ａ）
【文献】特開２０１１－２１０１６８（ＪＰ，Ａ）
【文献】特開２０１８－０５０２５３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
光学素子が２次元状に配列された光学素子アレイを有する立体表示装置で表示される要素画像を生成する立体画像生成装置であって、仮想空間内の各視点に配置された仮想カメラで撮影した仮想カメラ画像を入力する画像入力手段と、
前記立体表示装置の奥行き範囲を示す奥行き圧縮パラメータを入力する奥行き圧縮パラメータ入力手段と、
前記奥行き圧縮パラメータにより規定された奥行き圧縮関数を用いて、前記画像入力手段に入力された奥行き圧縮前の前記仮想カメラ画像の画素位置を奥行き圧縮後の前記仮想カメラ画像の画素位置に変換し、奥行き圧縮により前記仮想空間内の物体の奥行きを操作することなく、かつ、各画素が奥行き圧縮後の画素位置に変換された第２仮想カメラ画像を生成する画像変換手段と、
前記第２仮想カメラ画像から前記要素画像を生成する画像生成手段と、
を備えることを特徴とする立体画像生成装置。
【請求項2】
前記画像入力手段は、さらに前記仮想カメラ画像の各画素の奥行き位置を示す奥行きマップを入力し、前記画像変換手段は、前記奥行き圧縮前の仮想カメラ画像の奥行き位置を前記奥行きマップから取得し、前記奥行き位置及び前記奥行き圧縮関数を用いて、取得した前記奥行き位置で特定される前記奥行き圧縮前の仮想カメラ画像の画素位置を、前記奥行き圧縮後の仮想カメラ画像の画素位置に変換することを特徴とする請求項１に記載の立体画像生成装置。
【請求項3】
前記仮想カメラの相対位置情報を入力する相対位置情報入力手段、をさらに備え、前記画像生成手段は、前記要素画像の画素位置と前記第２仮想カメラ画像の画素位置とに基づく重みを算出し、前記要素画像の各画素に対応した前記第２仮想カメラ画像の対応画素の画素値を重み付け加算することで、前記要素画像の各画素の画素値を算出することを特徴とする請求項１又は請求項２に記載の立体画像生成装置。
【請求項4】
コンピュータを、請求項１から請求項３の何れか一項に記載の立体画像生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＩＰ方式の立体画像を生成する立体画像生成装置及びそのプログラムに関する。
【背景技術】
【0002】
特殊なメガネを用いずに、自然に立体像を見ることが可能な立体ディスプレイの一つとして、インテグラル方式（以下、「ＩＰ方式」）の立体ディスプレイが開発されている。このＩＰ方式では、フラットパネルディスプレイ（以下、「ＦＰＤ」）と微小レンズをアレイ状に配置したマイクロレンズアレイとを組み合わることで、物体の光線を再現し、物体が存在するかのような像再生を行うことができる。
【0003】
マイクロレンズアレイやＦＰＤの画素密度に限界があるため、再現できる立体映像の品質に制限がある。具体的には、高解像度で像再生可能な奥行きの範囲に制限が生じるため、奥行きのあるシーンを高品質に再生することが困難である。ＦＰＤの奥行き再生能力を超えたシーンを表示しようとすると、奥行き範囲から外れた物体は、解像度が損なわれ、ぼやけて表示されることになる。
【0004】
また、ＦＰＤの奥行き再現能力の向上にも限界がある。画素密度の高いＦＰＤの開発は、奥行き再現能力の向上に寄与するが、レンズで光を絞れる限界もあるため、画素密度をさらに狭められたとしても、奥行き再現能力がどこまでも向上するわけではない。
【0005】
このため、シーンの形状を変形して奥行き圧縮することで、そのシーンをＦＰＤの奥行き再現能力の範囲内に収め、立体映像の品質を高める手法が提案されている（特許文献１，２、非特許文献１）。これらの手法では、人の視覚特性を考慮して変換方法を工夫することによってシーンの歪みが目立たず、視聴者に大きな不自然さを感じさせることなく、立体映像の品質を改善することができる。
【0006】
前記した従来技術では、表示シーンにＣＧデータを想定している。従って、ＣＧデータに奥行き圧縮を施すことになるが、その処理負荷が問題になることがある。特に、動きのあるシーンを対象とした場合、フレーム毎に高速で奥行き圧縮を行う必要がある。そこで、ＩＰ方式において、効率的に画像表示を行う手法も提案されている（特許文献３）。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０１８－５０２５３号公報
【文献】特開２０１８－５０２５４号公報
【文献】特開２０１７－１１５２０号公報
【非特許文献】
【0008】
【文献】Sawahata, Y and Morita, T,"Estimating Depth Range Required for 3-D Displays to Show Depth-Compressed Scenes Without Inducing Sense of Unnaturalness", IEEE Trans. On Broadcasting,64(2), PP.488-497,2018
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、特許文献３に記載の技術では、奥行き圧縮によって生じた物体の変形が、陰影のでき方や光沢の表現に影響する場合がある。すなわち、奥行き圧縮によって、陰影、光沢、反射等の質感表現が劣化することがある。
【0010】
画像変換手段は、奥行き圧縮パラメータにより規定された奥行き圧縮関数を用いて、画像入力手段に入力された奥行き圧縮前の仮想カメラ画像の画素位置を、奥行き圧縮後の仮想カメラ画像の画素位置に変換する。そして、画像変換手段は、奥行き圧縮により前記仮想空間内の物体の奥行きを操作することなく、かつ、各画素が奥行き圧縮後の画素位置に変換された第２仮想カメラ画像を生成する。この第２仮想カメラ画像は、奥行き圧縮によって実際にシーンの形状を操作した場合に撮影される仮想カメラ画像に相当する画像として、実際に奥行き圧縮を適用することなく生成されるものである。
【課題を解決するための手段】
【0011】
前記課題を解決するため、本発明に係る立体画像生成装置は、光学素子が２次元状に配列された光学素子アレイを有する立体表示装置で表示される要素画像を生成する立体画像生成装置であって、画像入力手段と、奥行き圧縮パラメータ入力手段と、画像変換手段と、画像生成手段と、を備える構成とした。
【0012】
かかる構成によれば、画像入力手段は、仮想空間内の各視点に配置された仮想カメラで撮影した仮想カメラ画像を入力する。
奥行き圧縮パラメータ入力手段は、立体表示装置の奥行き範囲を示す奥行き圧縮パラメータを入力する。
奥行き圧縮パラメータ入力手段は、立体表示装置の奥行き範囲を示す奥行き圧縮パラメータを入力する。
【0013】
画像変換手段は、奥行き圧縮パラメータにより規定された奥行き圧縮関数を用いて、画像入力手段に入力された奥行き圧縮前の仮想カメラ画像の画素位置を、奥行き圧縮後の仮想カメラ画像の画素位置に変換する。そして、画像変換手段は、奥行き圧縮を適用せず、かつ、各画素が奥行き圧縮後の画素位置に変換された第２仮想カメラ画像を生成する。この第２仮想カメラ画像は、奥行き圧縮によって実際にシーンの形状を操作した場合に撮影される仮想カメラ画像に相当する画像として、実際に奥行き圧縮を適用することなく生成されるものである。
【0014】
ここで、奥行き圧縮により仮想空間内の物体の奥行きを操作し、奥行き圧縮後の仮想カメラ画像を直接的に生成すると、陰影、光沢、反射等の質感表現が劣化することがある。これらの質感表現が物体の形状によって変化するため、これら質感表現を手がかりにシーンの形状の歪みが人に知覚されやすくなるためである。そこで、画像変換手段は、奥行き圧縮を適用した場合に取得できる仮想カメラ画像の画素位置と奥行き圧縮適用前の３次元空間内の座標位置との対応関係を求め、奥行き圧縮を適用していない仮想カメラ画像から、奥行き圧縮を適用した場合に取得できる仮想カメラ画像の画素位置に対応する画素値を取得（サンプリング）することとした。
その後、画像生成手段は、第２仮想カメラ画像から要素画像を生成する。
その後、画像生成手段は、第２仮想カメラ画像から要素画像を生成する。
【0015】
なお、本発明は、コンピュータを、前記した立体画像生成装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0016】
本発明によれば、質感表現の劣化を抑制することができる。
【図面の簡単な説明】
【0017】
【図1】実施形態に係る立体画像生成装置の構成を示すブロック図である。
【図2】仮想カメラの配置の一例を説明する説明図である。
【図3】変換後仮想カメラ画像の生成を説明する説明図であり、（ａ）は奥行き圧縮前の仮想空間を示し、（ｂ）は奥行き圧縮後の仮想空間を示す。
【図4】変換後仮想カメラ画像の生成を説明する説明図であり、（ａ）は奥行き圧縮前の仮想カメラ画像を示し、（ｂ）は奥行き圧縮後の仮想カメラ画像を示す。
【図5】要素画像の一例を説明する説明図である。
【図7】レンズ板の配列の一例を説明する説明図である。
【図8】要素レンズの特定手法を説明する説明図である。
【図9】（ａ）～（ｃ）は奥行き圧縮後の仮想カメラ画像の一例を説明する説明図である。
【図10】立体画像生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、実施形態において、同一の手段には同一の符号を付し、説明を省略することがある。
【0019】
（実施形態）
［立体ディスプレイの概略］
図１を参照し、要素画像を表示する立体ディスプレイ（立体表示装置）９の概略を説明した後、その要素画像を生成する立体画像生成装置１の構成を説明する。
図１に示すように、立体ディスプレイ９は、一般的なＩＰ方式の立体表示装置であり、レンズ板（光学素子アレイ）９０と、要素画像を表示する表示素子９２とを備える。例えば、レンズ板９０は、微小な要素レンズ（光学素子）９１が２次元状に配列されたものである（図７）。表示素子９２としては、一般的なＦＰＤを例示できる。ここで、立体ディスプレイ９では、要素画像を表示素子９２に表示すると、レンズ板９０により物体の光線が再生されることになる。
［立体ディスプレイの概略］
図１を参照し、要素画像を表示する立体ディスプレイ（立体表示装置）９の概略を説明した後、その要素画像を生成する立体画像生成装置１の構成を説明する。
図１に示すように、立体ディスプレイ９は、一般的なＩＰ方式の立体表示装置であり、レンズ板（光学素子アレイ）９０と、要素画像を表示する表示素子９２とを備える。例えば、レンズ板９０は、微小な要素レンズ（光学素子）９１が２次元状に配列されたものである（図７）。表示素子９２としては、一般的なＦＰＤを例示できる。ここで、立体ディスプレイ９では、要素画像を表示素子９２に表示すると、レンズ板９０により物体の光線が再生されることになる。
【0020】
［立体画像生成装置の構成］
以下、立体画像生成装置１の構成を説明する。
立体画像生成装置１は、立体ディスプレイ９で表示される要素画像を生成するものである。図１に示すように、立体画像生成装置１は、カメラパラメータ記録手段（相対位置情報入力手段）１０と、仮想カメラ画像取得手段（画像入力手段）１１と、パラメータ入力手段１２と、画像変換手段１３と、パラメータ・画像関連付け手段１４と、要素画像画素値決定手段（画像生成手段）１５と、出力手段１６とを備える。
以下、立体画像生成装置１の構成を説明する。
立体画像生成装置１は、立体ディスプレイ９で表示される要素画像を生成するものである。図１に示すように、立体画像生成装置１は、カメラパラメータ記録手段（相対位置情報入力手段）１０と、仮想カメラ画像取得手段（画像入力手段）１１と、パラメータ入力手段１２と、画像変換手段１３と、パラメータ・画像関連付け手段１４と、要素画像画素値決定手段（画像生成手段）１５と、出力手段１６とを備える。
【0021】
カメラパラメータ記録手段１０は、仮想カメラに関する各種カメラパラメータを記録するものであり、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等の一般的な記憶装置である。カメラパラメータ記録手段１０に記憶されたカメラパラメータは、後記する画像変換手段１３及びパラメータ・画像関連付け手段１４により参照される。
【0022】
なお、仮想カメラとは、仮想空間内の各視点に配置された仮想的な撮影カメラのことであり、仮想空間内に配置された被写体（ＣＧオブジェクト）を撮影する。すなわち、被写体を仮想カメラで撮影したような画像が生成（レンダリング）されることになる。
仮想カメラのカメラパラメータには、仮想空間における仮想カメラの光学中心の位置が含まれる。ここでは、仮想カメラが複数台のため、各仮想カメラの相対的な位置を表した相対位置情報がカメラパラメータに含まれることとする。
仮想カメラのカメラパラメータには、仮想空間における仮想カメラの光学中心の位置が含まれる。ここでは、仮想カメラが複数台のため、各仮想カメラの相対的な位置を表した相対位置情報がカメラパラメータに含まれることとする。
【0023】
＜相対位置情報＞
図２を参照し、カメラパラメータ記録手段１０に記録されている相対位置情報を詳細に説明する。
図２に示すように、色々な視点から被写体Ｏｂを撮影するため、複数の仮想カメラＶｃを異なる視点位置に配置する。例えば、各視点に配置された仮想カメラＶｃの光学中心を基準として、被写体Ｏｂに対面した２次元平面内に仮想カメラＶｃをアレイ状に配置する。このとき、立体像の品質を確保するため、仮想カメラＶｃの台数は、要素レンズ９１に収まる画素数以上であることが好ましい。例えば、要素レンズ９１の直径及び画素ピッチが１ｍｍ、０．１ｍｍであるとき、仮想カメラＶｃの台数が水平方向及び垂直方向に１０台以上、計１００台以上であることが好ましい。また、仮想カメラＶｃの配置位置は、要素レンズ９１の形状に合わせてもよい。図２の例では、要素レンズ９１が円形状なので、仮想カメラＶｃを円状に等間隔で配置している。
図２を参照し、カメラパラメータ記録手段１０に記録されている相対位置情報を詳細に説明する。
図２に示すように、色々な視点から被写体Ｏｂを撮影するため、複数の仮想カメラＶｃを異なる視点位置に配置する。例えば、各視点に配置された仮想カメラＶｃの光学中心を基準として、被写体Ｏｂに対面した２次元平面内に仮想カメラＶｃをアレイ状に配置する。このとき、立体像の品質を確保するため、仮想カメラＶｃの台数は、要素レンズ９１に収まる画素数以上であることが好ましい。例えば、要素レンズ９１の直径及び画素ピッチが１ｍｍ、０．１ｍｍであるとき、仮想カメラＶｃの台数が水平方向及び垂直方向に１０台以上、計１００台以上であることが好ましい。また、仮想カメラＶｃの配置位置は、要素レンズ９１の形状に合わせてもよい。図２の例では、要素レンズ９１が円形状なので、仮想カメラＶｃを円状に等間隔で配置している。
【0024】
各仮想カメラＶｃの座標（ｃｘ，ｃｙ）は、中心に位置する仮想カメラＶｃの座標を原点Ｏ（０，０）とする相対位置で表してもよい。原点の仮想カメラＶｃに対して左方に隣接する仮想カメラＶｃの座標は（－ｐ，０）となる。なお、ｐは、隣接する仮想カメラＶｃのピッチ（配置間隔）を示し、隣り合う仮想カメラＶｃの正規化距離に相当する。座標値ｃｘ，ｃｙは、水平方向及び垂直方向で両端に位置する仮想カメラＶｃ同士の間隔を２Ｃとして正規化した値であってもよい。この場合、座標値ｃｘ，ｃｙの最大値及び最小値は、それぞれＣ、－Ｃである。また、Ｃは、後記するフィルタ処理を考慮して、１よりも少し大きな値とすればよい（例えば、Ｃ＝１＋２ｐ）。従って、２×Ｃ／ｐは、水平方向及び垂直方向の仮想カメラＶｃの台数に一致する。
なお、複数の仮想カメラＶｃを配置せずに、１台の仮想カメラＶｃを各視点に移動させて都度撮影を行ってもよい。
なお、複数の仮想カメラＶｃを配置せずに、１台の仮想カメラＶｃを各視点に移動させて都度撮影を行ってもよい。
【0025】
図１に戻り、立体画像生成装置１の構成について説明を続ける。
仮想カメラ画像取得手段１１は、仮想空間内の各視点に配置された仮想カメラＶｃで撮影した仮想カメラ画像を取得するものである。例えば、仮想カメラ画像は、公知のＣＧ技術を用いて合成され、その視点において観察されうる被写体の画像である。つまり、仮想カメラ画像取得手段１１は、各視点に対応した被写体Ｏｂの平面画像Ｅｉを仮想カメラ画像として取得する（図２）。ここで、仮想カメラ画像は、画素毎の画素値を示している。この画素値は、画素毎の明るさを示す輝度値、又は、色を示す色空間値の何れでもよい。色空間値として、例えば、ＲＧＢ表色系で色を表現するＲＧＢ値が利用可能である。
仮想カメラ画像取得手段１１は、仮想空間内の各視点に配置された仮想カメラＶｃで撮影した仮想カメラ画像を取得するものである。例えば、仮想カメラ画像は、公知のＣＧ技術を用いて合成され、その視点において観察されうる被写体の画像である。つまり、仮想カメラ画像取得手段１１は、各視点に対応した被写体Ｏｂの平面画像Ｅｉを仮想カメラ画像として取得する（図２）。ここで、仮想カメラ画像は、画素毎の画素値を示している。この画素値は、画素毎の明るさを示す輝度値、又は、色を示す色空間値の何れでもよい。色空間値として、例えば、ＲＧＢ表色系で色を表現するＲＧＢ値が利用可能である。
【0026】
また、仮想カメラ画像取得手段１１は、仮想カメラ画像と共に、その仮想カメラ画像の各画素の奥行き位置を示すデプスマップ（奥行きマップ）を取得することが好ましい。例えば、仮想カメラ画像のレンダリングをデプスマップ付きで行えば、仮想カメラ画像取得手段１１がデプスマップを取得できる。
仮想カメラ画像取得手段１１は、取得した仮想カメラ画像及びデプスマップを画像変換手段１３に出力する。
仮想カメラ画像取得手段１１は、取得した仮想カメラ画像及びデプスマップを画像変換手段１３に出力する。
【0027】
パラメータ入力手段１２は、各種パラメータを入力するものであり、奥行き圧縮パラメータ入力手段１２０と、立体ディスプレイパラメータ入力手段１２１と、要素画像調整パラメータ入力手段１２２と、を備える。
【0028】
奥行き圧縮パラメータ入力手段１２０は、立体ディスプレイ９の奥行き範囲を示す奥行き圧縮パラメータを入力するものである。例えば、奥行き圧縮パラメータには、立体ディスプレイ９が立体像を表示できる奥行き範囲ＤＰ、奥行き範囲ＤＰの最前面位置Ｚｆ、及び、奥行き圧縮関数ｆの種類が含まれる（図３）。
奥行き圧縮パラメータ入力手段１２０は、入力された奥行き圧縮パラメータを画像変換手段１３に出力する。
奥行き圧縮パラメータ入力手段１２０は、入力された奥行き圧縮パラメータを画像変換手段１３に出力する。
【0029】
立体ディスプレイパラメータ入力手段１２１は、立体ディスプレイ９の表示に関連する立体ディスプレイパラメータを入力するものである。例えば、立体ディスプレイパラメータには、立体ディスプレイ９を構成するレンズ板９０のパラメータと、表示素子９２のパラメータとが含まれる。レンズ板９０のパラメータには、要素レンズ９１の直径ｄｌ、要素レンズ９１の焦点距離、要素レンズ９１のピッチ（配置間隔）、及び、水平方向並びに垂直方向の要素レンズ９１の個数が含まれる。また、表示素子９２のパラメータには、表示素子９２の画素ピッチ（画素間隔）ｐｐ、水平方向の解像度ｗｉｄｔｈ、及び、垂直方向の解像度ｈｅｉｇｈｔが含まれる。
立体ディスプレイパラメータ入力手段１２１は、入力された立体ディスプレイパラメータを要素画像画素値決定手段１５に出力する。
立体ディスプレイパラメータ入力手段１２１は、入力された立体ディスプレイパラメータを要素画像画素値決定手段１５に出力する。
【0030】
要素画像調整パラメータ入力手段１２２は、立体ディスプレイ９で表示される要素画像を調整するものである。例えば、要素画像調整パラメータには、レンズ板９０と表示素子９２との水平方向の位置ずれｈ、レンズ板９０と表示素子９２との垂直方向の位置ずれｖ、レンズ板９０と表示素子９２との回転方向のずれθが含まれる。
要素画像調整パラメータ入力手段１２２は、入力された要素画像調整パラメータを要素画像画素値決定手段１５に出力する。
要素画像調整パラメータ入力手段１２２は、入力された要素画像調整パラメータを要素画像画素値決定手段１５に出力する。
【0031】
画像変換手段１３は、後記する奥行き圧縮関数を用いて、仮想カメラ画像取得手段１１が取得した奥行き圧縮前の仮想カメラ画像の画素位置を、奥行き圧縮後の仮想カメラ画像の画素位置に変換するものである。そして、画像変換手段１３は、変換した画素位置の画素値を取得（サンプリング）することで、変換後仮想カメラ画像（第２仮想カメラ画像）を生成する。
【0032】
以後、奥行き圧縮前の仮想カメラ画像を「元仮想カメラ画像」と略記し、奥行き圧縮後の仮想カメラ画像を「圧縮後仮想カメラ画像」と略記することがある。
また、「変換後仮想カメラ画像」とは、奥行き圧縮を適用せず、かつ、各画素が奥行き圧縮後の画素位置に変換された仮想カメラ画像のことである。
また、「変換後仮想カメラ画像」とは、奥行き圧縮を適用せず、かつ、各画素が奥行き圧縮後の画素位置に変換された仮想カメラ画像のことである。
【0033】
＜変換後仮想カメラ画像の生成＞
図３及び図４を参照し、変換後仮想カメラ画像の生成について説明する。
画像変換手段１３は、各仮想カメラＶｃで撮影した仮想カメラ画像から、奥行き圧縮によって実際にシーンの形状を操作した場合に撮影される仮想カメラ画像に相当する変換後仮想カメラ画像を、実際に奥行き圧縮を適用することなく生成する。なお、奥行き圧縮とは、シーンのジオメトリを変換し、奥行きが広い範囲に表現されているシーンをより奥行きが狭い範囲に収める処理のことである。具体的には、画像変換手段１３は、奥行き圧縮関数ｆを用いて、図３（ａ）に示すシーン内の任意位置の点ｐ＝（ｘ，ｙ，ｚ）を図３（ｂ）の新たな点ｐ´＝（ｘ´，ｙ´，ｚ´）に変換する処理を行う。新たな点ｐ´は、以下の式（１）で表される。なお、ＤＰが奥行き範囲を示し、Ｚｆが最前面位置を示し、ＺＯが奥行き圧縮原点を示す。
図３及び図４を参照し、変換後仮想カメラ画像の生成について説明する。
画像変換手段１３は、各仮想カメラＶｃで撮影した仮想カメラ画像から、奥行き圧縮によって実際にシーンの形状を操作した場合に撮影される仮想カメラ画像に相当する変換後仮想カメラ画像を、実際に奥行き圧縮を適用することなく生成する。なお、奥行き圧縮とは、シーンのジオメトリを変換し、奥行きが広い範囲に表現されているシーンをより奥行きが狭い範囲に収める処理のことである。具体的には、画像変換手段１３は、奥行き圧縮関数ｆを用いて、図３（ａ）に示すシーン内の任意位置の点ｐ＝（ｘ，ｙ，ｚ）を図３（ｂ）の新たな点ｐ´＝（ｘ´，ｙ´，ｚ´）に変換する処理を行う。新たな点ｐ´は、以下の式（１）で表される。なお、ＤＰが奥行き範囲を示し、Ｚｆが最前面位置を示し、ＺＯが奥行き圧縮原点を示す。
【0034】
【数1】
【0035】
ここで、奥行き圧縮により仮想空間内の物体の奥行きを操作し、奥行き圧縮後の仮想カメラ画像を直接的に生成すると、陰影、光沢、反射等の質感表現が劣化することがある。これらの質感表現が物体の形状によって変化するため、これら質感表現を手がかりにシーンの形状の歪みが人に知覚されやすくなるためである。そこで、画像変換手段１３は、各仮想カメラＶｃでレンダリングした仮想カメラ画像から、奥行き圧縮パラメータ（奥行き範囲ＤＰ、最前面位置Ｚｆ）に基づいて、変換後仮想カメラ画像を生成することとした。つまり、画像変換手段１３は、圧縮後仮想カメラ画像の画素位置と奥行き圧縮適用前の３次元空間内の座標位置との対応関係を求め、元仮想カメラ画像から、圧縮後仮想カメラ画像の画素位置に対応する画素値を取得（サンプリング）する。
【0036】
ある仮想カメラＶｃの射影変換行列をＰ、カメラ座標系への変換を示すビュー行列をＶとする。すると、図４（ａ）に示すように、世界座標系（３次元座標系）で定義されたシーン内の点ｐは、以下の式（２）を用いて、ｕｖ座標系（２次元座標系）で定義された元仮想カメラ画像Ｇの点ｑに変換できる。つまり、点ｐは３次元ベクトルで表され、点ｑは２次元ベクトルで表されている。
【0037】
【数2】
【0038】
仮に、奥行き圧縮関数ｆによって奥行き圧縮を施したとすると、奥行き圧縮後の点ｐ´は、以下の式（３）で表される。
【0039】
【数3】
【0040】
図４（ｂ）に示すように、奥行き圧縮後の点ｐ´を仮想カメラＶｃでレンダリングすると、圧縮後仮想カメラ画像Ｇ´の点ｑ´に対応する。このとき、点ｐ´及び点ｑ´の間には、以下の式（４）の関係が成立する。なお、点ｐ´は３次元ベクトルで表され、点ｑ´は２次元ベクトルで表されている。
【0041】
【数4】
【0042】
従って、圧縮後仮想カメラ画像Ｇ´における点ｑ´の色（画素値）は、以下の式（５）に示すように、元仮想カメラ画像Ｇの点ｑの色を参照すればよい。なお、ｐｉｎｖは、Ｍｏｏｒｅ－Ｐｅｎｒｏｓｅの一般化逆行列を表す。
【0043】
【数5】
【0044】
しかし、点ｑ´が２次元ベクトルで表されており、３次元ベクトルに対して奥行き方向で１次元分の情報が衰退しているため、式（４）で点ｑ´を一意に定めることができない。そこで、画像変換手段１３は、元仮想カメラ画像Ｇの各画素の奥行き位置をデプスマップ（奥行きマップ）から取得する。そして、画像変換手段１３は、奥行き圧縮関数ｆを用いて、取得した奥行き位置で特定される元仮想カメラ画像Ｇの画素位置を、圧縮後仮想カメラ画像Ｇ´の画素位置に変換すればよい。
【0045】
以下、点ｑ´を一意に定める手法について具体的に説明する。
図４（ｂ）に示すように、元仮想カメラ画像Ｇの点ｑ´は、仮想カメラＶｃの光学主点から点ｐ´を通過する線Ｌの上に位置する。そこで、画像変換手段１３は、デプスマップから、元仮想カメラ画像Ｇの点ｑの奥行き位置(仮想カメラＶｃからの距離)ｄを取得する。続いて、画像変換手段１３は、元仮想カメラ画像Ｇの点ｑの奥行き位置ｄを、この点ｐに対応する圧縮後仮想カメラ画像Ｇ´の点ｑ´の奥行き位置ｄ´に変換する。圧縮後仮想カメラ画像Ｇ´の点ｑ´の奥行き位置ｄ´は、以下の式（６）で表される。
図４（ｂ）に示すように、元仮想カメラ画像Ｇの点ｑ´は、仮想カメラＶｃの光学主点から点ｐ´を通過する線Ｌの上に位置する。そこで、画像変換手段１３は、デプスマップから、元仮想カメラ画像Ｇの点ｑの奥行き位置(仮想カメラＶｃからの距離)ｄを取得する。続いて、画像変換手段１３は、元仮想カメラ画像Ｇの点ｑの奥行き位置ｄを、この点ｐに対応する圧縮後仮想カメラ画像Ｇ´の点ｑ´の奥行き位置ｄ´に変換する。圧縮後仮想カメラ画像Ｇ´の点ｑ´の奥行き位置ｄ´は、以下の式（６）で表される。
【0046】
【数6】
【0047】
ここで、点ｐ´の推定点である点ｐ＾´は、以下の式（７）で表される。なお、ｐ＝ｐｉｎｖ（ＰＶ）ｑ´の関係が成立し、ｐｔｍｐ，ｚは、ｐｔｍｐの奥行き成分（ｚ要素）を示す。
【0048】
【数7】
【0049】
点ｐ´が定まると点ｐ＾´を求められるので、以下の式（８）の関係から、元仮想カメラ画像Ｇの点ｑを算出できる。
【0050】
【数8】
【0051】
以上をまとめると、画像変換手段１３は、図４（ａ）に示すように、デプスマップを参照し、元仮想カメラ画像Ｇの点ｑの奥行き位置ｄを取得する。次に、画像変換手段１３は、図４（ｂ）に示すように、式（６）を用いて、点ｑの奥行き位置ｄから、圧縮後仮想カメラ画像Ｇ´の点ｑ´の奥行き位置ｄ´を算出する。次に、画像変換手段１３は、式（７）を用いて、奥行き位置ｄ´により点ｐ＾´を推定する。次に、画像変換手段１３は、式（８）を用いて、点ｐ＾´に対応した元仮想カメラ画像Ｇの点ｑを算出し、算出した点ｑの画素値を取得する。このように、画像変換手段１３は、奥行き圧縮の前後で仮想カメラ画像内の点ｑ，ｑ´の位置関係を求められるので、元仮想カメラ画像Ｇの画素位置を圧縮後仮想カメラ画像Ｇ´の画素位置に変換し、変換後仮想カメラ画像を生成できる。
【0052】
図１に戻り、立体画像生成装置１の構成について説明を続ける。
パラメータ・画像関連付け手段１４は、画像変換手段１３からの変換後仮想カメラ画像と、カメラパラメータ記録手段１０に記録されているカメラパラメータとを関連付けるものである。つまり、パラメータ・画像関連付け手段１４は、変換後仮想カメラ画像とカメラパラメータとを、仮想カメラＶｃ毎に、すなわち視点毎に関連付けたデータセットを生成する。
パラメータ・画像関連付け手段１４は、関連付けた変換後仮想カメラ画像及びカメラパラメータを、要素画像画素値決定手段１５に出力する。
パラメータ・画像関連付け手段１４は、画像変換手段１３からの変換後仮想カメラ画像と、カメラパラメータ記録手段１０に記録されているカメラパラメータとを関連付けるものである。つまり、パラメータ・画像関連付け手段１４は、変換後仮想カメラ画像とカメラパラメータとを、仮想カメラＶｃ毎に、すなわち視点毎に関連付けたデータセットを生成する。
パラメータ・画像関連付け手段１４は、関連付けた変換後仮想カメラ画像及びカメラパラメータを、要素画像画素値決定手段１５に出力する。
【0053】
要素画像画素値決定手段１５は、パラメータ・画像関連付け手段１４より入力された変換後仮想カメラ画像から、要素画像を生成するものである。このとき、要素画像画素値決定手段１５は、立体ディスプレイパラメータ入力手段１２１からの立体ディスプレイパラメータと、要素画像調整パラメータ入力手段１２２からの要素画像調整パラメータと、パラメータ・画像関連付け手段１４からのカメラパラメータとを参照する。そして、要素画像画素値決定手段１５は、これらパラメータに基づいて、変換後仮想カメラ画像の画素を選択的に取得して合成することで、要素画像の各画素の画素値を決定する。このとき、要素画像画素値決定手段１５は、複数の画素値の重みづけ線形和を算出する。
要素画像画素値決定手段１５は、生成した要素画像を出力手段１６に出力する。
要素画像画素値決定手段１５は、生成した要素画像を出力手段１６に出力する。
【0054】
＜要素画像の生成＞
図５～図９を参照し、要素画像の生成を詳細に説明する。
図５の要素画像は、後記する出力手段１６が立体ディスプレイ９の表示素子９２に出力した２次元画像である。この２次元画像を、立体ディスプレイ９のレンズ板９０を介して観察することで、立体像が再生されることになる。
以後、（ｕ，ｖ）は、要素画像内の画素の座標を示すこととする。要素画像の原点は、要素画像の左下端の画素である。ｕ，ｖは、それぞれ水平方向及び垂直方向の座標を示す値であって、０以上１以下に正規化された値をとる。例えば、要素画像の左下端及び右上端の画素の座標は、それぞれ（０，０）、（１，１）となる。
図５～図９を参照し、要素画像の生成を詳細に説明する。
図５の要素画像は、後記する出力手段１６が立体ディスプレイ９の表示素子９２に出力した２次元画像である。この２次元画像を、立体ディスプレイ９のレンズ板９０を介して観察することで、立体像が再生されることになる。
以後、（ｕ，ｖ）は、要素画像内の画素の座標を示すこととする。要素画像の原点は、要素画像の左下端の画素である。ｕ，ｖは、それぞれ水平方向及び垂直方向の座標を示す値であって、０以上１以下に正規化された値をとる。例えば、要素画像の左下端及び右上端の画素の座標は、それぞれ（０，０）、（１，１）となる。
【0055】
図６に示すように、要素画像を構成する各画素は、その画素に対面するレンズ板９０の各要素レンズ９１に対応付けられる。図６において、＋印を中心とする円は、１つの要素レンズ９１の領域を示す。まず、要素画像画素値決定手段１５は、要素画像の座標（ｕ，ｖ）の画素値を決定するため、座標（ｕ，ｖ）で表される画像座標系から要素レンズ９１に対応したレンズ座標系に変換する。このレンズ座標系は、座標（ｕ，ｖ）に最も近い要素レンズの中心位置(１個の要素レンズ９１に対応する画素群の中心位置)Ｏｒを原点（０，０）とする座標系である。なお、画像座標系の座標（ｕ，ｖ）に対応するレンズ座標系の座標を（ｒｘ，ｒｘ）で表す。
【0056】
以下、画像座標系の座標（ｕ，ｖ）からレンズ座標系の座標（ｒｘ，ｒｘ）の変換について説明する。要素画像画素値決定手段１５は、立体ディスプレイパラメータ（水平方向の解像度ｗｉｄｔｈ、垂直方向の解像度ｈｅｉｇｈｔ）に基づいて、以下の式（９）に示すように、画像座標系の座標（ｕ，ｖ）を、ピクセル座標系の座標(Ｐｘ，Ｐｙ)に変換する。このピクセル座標系とは、要素画像の画素を単位とする座標系のことである。このｗｉｄｔｈ及びｈｅｉｇｔｈは、立体ディスプレイ９の解像度と一致し、例えば、立体ディスプレイ９の解像度が８Ｋの場合、ｗｉｄｔｈ＝７６８０、ｈｅｉｇｈｔ＝４３２０となる。
なお、座標（ｕ，ｖ）に代えて座標（Ｐｘ，Ｐｙ）を取得している場合には、座標（ｕ，ｖ）から座標（Ｐｘ，Ｐｙ）への変換を行わずともよい。
なお、座標（ｕ，ｖ）に代えて座標（Ｐｘ，Ｐｙ）を取得している場合には、座標（ｕ，ｖ）から座標（Ｐｘ，Ｐｙ）への変換を行わずともよい。
【0057】
【数9】
【0058】
次に、要素画像画素値決定手段１５は、要素画像調整パラメータ（水平方向の位置ずれｈ、垂直方向の位置ずれｖ、回転方向のずれθ）に基づいて、以下の式（１０）を用いて、座標（Ｐｘ，Ｐｙ）から補正後の座標（Ｐｘ´，Ｐｙ´）を算出する。
【0059】
【数10】
【0060】
図７に示すように、レンズ板９０がデルタ配列であることとする。デルタ配列とは、要素レンズ９１が樽積状に配列されたことである。つまり、デルタ配列では、ある行の要素レンズ９１は、上下の行に位置する要素レンズ９１に対して、レンズ中心が水平方向にＤ／２ずれ、垂直方向に√３Ｄ／２ずれている。なお、要素レンズ９１の直径をＤ［ｐｉｘ］とし、表示素子９２の画素ピッチをｐｐ［ｍｍ／ｐｉｘ］とする。また、直径Ｄは、実寸の要素レンズ９１の直径ｄｌ［ｍｍ］について、表示素子９２の画素ピッチｐｐで正規化した値となる。
【0061】
ここでは、要素画像画素値決定手段１５は、座標（ｕ，ｖ）にレンズ中心が最も近い要素レンズ９１を求める。図７に示すように、要素レンズ９１のレンズ中心と同一位置で幅Ｄ及び高さ√３Ｄ／２の長方形Ｓを考える。図７では、図面を見やすくするため、１個の要素レンズ９１のみ長方形Ｓを図示した。この場合、要素画像画素値決定手段１５は、座標（ｕ，ｖ）がどの長方形Ｓに含まれるかを求める。座標（ｕ，ｖ）が入る長方形Ｓが下からＮ行目であるとすると、Ｎは、以下の式（１１）で求められる。なお、（ｉｎｔ）は小数点以下の切り捨てを意味する。また、左右の列方向についても、上下の行方向と同様、どの長方形Ｓに含まれるか算出する。
【0062】
【数11】
【0063】
また、要素画像画素値決定手段１５は、以下の式（１２）を用いて、座標（Ｐｘ´，Ｐｙ´）を、長方形Ｓの左下点ｐｌｄを原点とした座標系の座標（Ｑｘ，Ｑｙ）に変換する。ここで、偶数行又は奇数行を示す変数をｅとすると、以下の式（１３）に示すように、偶数行のときにｅ＝０となり、奇数行のときにｅ＝１となる。なお、ｍｏｄは、第１引数を第２引数で除算したときの余りを求める関数である。
【0064】
【数12】
【数13】
【0065】
また、要素画像画素値決定手段１５は、以下の式（１４）を用いて、座標（Ｑｘ，Ｑｙ）を、長方形Ｓの中心点ｐｌｃを原点とした座標系の座標Ｑ´＝（Ｑｘ´，Ｑｙ´）に変換する。
【0066】
【数14】
【0067】
また、要素画像画素値決定手段１５は、点ｑに最も近い要素レンズ９１のレンズ中心ｐｌｃを求める。図８に示すように、点Ｑ´の周囲に位置する要素レンズ９１のレンズ中心ｐｌｃ（ｐｌ０～ｐｌ６）は、以下の式（１５）で定義される。なお、点Ｑ´は、レンズ中心ｐｌｃを原点とした座標系で記述されている。
【0068】
【数15】
【0069】
このとき、点Ｑ´に最も近い要素レンズ９１のレンズ中心はｐｌｃは、以下の式（１６）で表される。なお、添え字ｉは、０～６のいずれかの値をとる中心点ｐｌｃのインデックスである。また、ａｒｇ ｍｉｎは、最小値を求める関数である。
【0070】
【数16】
【0071】
また、点Ｑ´をレンズ中心ｐｌｃが原点となる座標系で表した点をＱ´´とすると、以下の式（１７）が成立する。
【0072】
【数17】
【0073】
そして、点Ｑ´´を要素レンズ９１の半径Ｄ／２で正規化する。点Ｑ´´＝（Ｑｘ´´，Ｑｙ´´）とすると、レンズ中心座標系の座標（ｒｘ，ｒｙ）は、以下の式（１８）で表される。以上の手順により、要素画像画素値決定手段１５は、画像座標系の座標（ｕ，ｖ）をレンズ中心座標系の座標（ｒｘ，ｒｙ）に変換する。
【0074】
【数18】
【0075】
ここで、要素画像内の画素（ｕ，ｖ）の画素値は、各視点の変換後仮想カメラ画像Ｇ´´の対応画素の画素値を重み付け加算した値となる。この場合、要素画像画素値決定手段１５は、各視点の変換後仮想カメラ画像Ｇ´´から、要素画像の画素（ｕ，ｖ）に対応する同一位置の画素（対応画素）の画素値を選択する。そして、要素画像画素値決定手段１５は、選択した各対応画素の画素値を重み付け加算した値を、要素画像の画素の画素値として決定する。具体的には、要素画像画素値決定手段１５は、以下の式（１９）を用いて、要素画像内の画素（ｕ，ｖ）の画素値ｃｏｌ（ｕ，ｖ）を算出する。
【0076】
【数19】
【0077】
なお、（ｃｘ，ｃｙ）が仮想カメラＶｃの座標を示し、要素画像の画素（ｕ，ｖ）に対応する各変換後仮想カメラ画像Ｇ´´の対応画素の画素値をｃｏｌ（ｕ，ｖ）
（ｃｘ，ｃｙ）とする。また、重みｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）をパラメータとしている。
また、各視点の変換後仮想カメラ画像Ｇ´´は、アスペクト比が要素画像と同一であれば、幅及び高さが同一でなくともよい。
また、各視点の変換後仮想カメラ画像Ｇ´´は、アスペクト比が要素画像と同一であれば、幅及び高さが同一でなくともよい。
【0078】
このとき、要素画像画素値決定手段１５は、以下の式（２０）を用いて、対応画素の重みｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）を算出する。なお、因子ｗ´（ｓ，ｔ，ｐ）は、公知の補間手法で算出できる。以下、補間手法の一例として、バイキュービック（bicubic）法及び最近傍（nearest neighbor）法を順に説明する。
【0079】
【数20】
【0080】
＜＜バイキュービック法＞＞
ｂｉｃｕｂｉｃ補間では、以下の式（２１）を用いて、因子ｗ´（ｓ，ｔ，ｐ）を算出できる。なお、ｘは、変換後仮想カメラ画像Ｇ´´の各画素に対応する要素レンズ９１のレンズ中心を基準とする座標を要素レンズ９１の間隔ｐで正規化した値である。また、ａは、予め設定された調整係数である。例えば、調整係数ａは、－０．５～－１．０の範囲内の実数である。これにより、因子ｗ’（ｓ，ｔ，ｐ）は、所定の値域（この場合、－４／２７～１）内の値を有する。因子ｗ’（ｓ，ｔ，ｐ）は、ｘが０から２までの場合でｘ＝１の場合を除き、正または負の値をとり、ｘが２以上である場合０となる。これにより、座標（ｕ，ｖ）に最も近い要素レンズ９１のレンズ中心から要素レンズ９１の間隔ｐの２倍以上離れている領域外の画素については、画素値の算出において無視され、その領域内の画素が画素値の算出対象となる。また、因子ｗ’（ｓ，ｔ，ｐ）は、ｘの絶対値が小さい、つまり座標（ｕ，ｖ）に最も近い要素レンズ９１の中心点から近い画素ほど大きく、その中心点から遠い画素ほど小さくなる。これにより、要素画素間において算出される画素値に対する変換後仮想カメラ画像Ｇ´´の成分が平滑化される。そのため、空間エリアシングによる画質の劣化が緩和する。具体的には、不自然な線や二重像などのアーチファクトが軽減又は解消される。
ｂｉｃｕｂｉｃ補間では、以下の式（２１）を用いて、因子ｗ´（ｓ，ｔ，ｐ）を算出できる。なお、ｘは、変換後仮想カメラ画像Ｇ´´の各画素に対応する要素レンズ９１のレンズ中心を基準とする座標を要素レンズ９１の間隔ｐで正規化した値である。また、ａは、予め設定された調整係数である。例えば、調整係数ａは、－０．５～－１．０の範囲内の実数である。これにより、因子ｗ’（ｓ，ｔ，ｐ）は、所定の値域（この場合、－４／２７～１）内の値を有する。因子ｗ’（ｓ，ｔ，ｐ）は、ｘが０から２までの場合でｘ＝１の場合を除き、正または負の値をとり、ｘが２以上である場合０となる。これにより、座標（ｕ，ｖ）に最も近い要素レンズ９１のレンズ中心から要素レンズ９１の間隔ｐの２倍以上離れている領域外の画素については、画素値の算出において無視され、その領域内の画素が画素値の算出対象となる。また、因子ｗ’（ｓ，ｔ，ｐ）は、ｘの絶対値が小さい、つまり座標（ｕ，ｖ）に最も近い要素レンズ９１の中心点から近い画素ほど大きく、その中心点から遠い画素ほど小さくなる。これにより、要素画素間において算出される画素値に対する変換後仮想カメラ画像Ｇ´´の成分が平滑化される。そのため、空間エリアシングによる画質の劣化が緩和する。具体的には、不自然な線や二重像などのアーチファクトが軽減又は解消される。
【0081】
【数21】
【0082】
＜＜最近傍法＞＞
最近傍では、以下の式（２２）を用いて、因子ｗ´（ｓ，ｔ，ｐ）を算出できる。なお、ｘは、要素レンズ９１のレンズ中心を基準とする画素の座標を要素レンズ９１の間隔ｐで正規化した値である。従って、因子ｗ’（ｓ，ｔ，ｐ）は、ｘの絶対値が０．５以下、つまり、要素レンズ９１のレンズ中心からその間隔の半分の距離ｐ／２の範囲内の画素について１であり、その範囲外における画素について０であることを示す。これにより、座標（ｕ，ｖ）に最も近い要素レンズ９１のレンズ中心から要素レンズ９１の間隔ｐの半分以下の領域外の画素については、画素値の算出において無視され、その領域内の画素が画素値の算出対象となる。従って、式（２２）に示す因子ｗ’（ｓ，ｔ，ｐ）が用いられる場合には、その要素画素に対面する要素レンズを利用すればよい。
最近傍では、以下の式（２２）を用いて、因子ｗ´（ｓ，ｔ，ｐ）を算出できる。なお、ｘは、要素レンズ９１のレンズ中心を基準とする画素の座標を要素レンズ９１の間隔ｐで正規化した値である。従って、因子ｗ’（ｓ，ｔ，ｐ）は、ｘの絶対値が０．５以下、つまり、要素レンズ９１のレンズ中心からその間隔の半分の距離ｐ／２の範囲内の画素について１であり、その範囲外における画素について０であることを示す。これにより、座標（ｕ，ｖ）に最も近い要素レンズ９１のレンズ中心から要素レンズ９１の間隔ｐの半分以下の領域外の画素については、画素値の算出において無視され、その領域内の画素が画素値の算出対象となる。従って、式（２２）に示す因子ｗ’（ｓ，ｔ，ｐ）が用いられる場合には、その要素画素に対面する要素レンズを利用すればよい。
【0083】
【数22】
【0084】
図９には、３視点分の仮想カメラＶｃに対応した変換後仮想カメラ画像Ｇ´´を図示した。図９（ａ）～（ｃ）では、仮想カメラＶｃの座標（ｃｘ，ｃｙ）は、それぞれ（１．１，－０．１）、（０．０，０．０）、（－１．１，０．１）である。すなわち、図９（ａ）の変換後仮想カメラ画像Ｇ´´は、図９（ｂ）の変換後仮想カメラ画像Ｇ´´よりも左下の視点となる。図９（ｃ）の変換後仮想カメラ画像Ｇ´´は、図９（ｂ）の変換後仮想カメラ画像Ｇ´´よりも右上の視点となる。また、変換後仮想カメラ画像Ｇ´´の対応画素の画素値ｃｏｌ（ｕ，ｖ）
（ｃｘ，ｃｙ）は、それぞれｃｏｌ（ｕ，ｖ）
（1.1，-0.1）、ｃｏｌ（ｕ，ｖ）
（0.0，0.0）、ｃｏｌ（ｕ，ｖ）
（-1.1， 0.1）である。また、重みｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、それぞれｗ（１．１，－０．１，ｒｘ，ｒｙ，ｐ）、ｗ（０，０，ｒｘ，ｒｙ，ｐ）、ｗ（－１．１，０．１，ｒｘ，ｒｙ，ｐ）である。
【0085】
すなわち、要素画像画素値決定手段１５は、対応画素の画素値ｃｏｌ（ｕ，ｖ）
（1.1，-0.1）と重みｗ（１．１，－０．１，ｒｘ，ｒｙ，ｐ）との積、対応画素の画素値ｃｏｌ（ｕ，ｖ）
（0.0，0.0）と重みｗ（０，０，ｒｘ，ｒｙ，ｐ）との積、対応画素の画素値ｃｏｌ（ｕ，ｖ）
（-1.1， 0.1）と重みｗ（－１．１，０．１，ｒｘ，ｒｙ，ｐ）との積を変換後仮想カメラ画像Ｇ´´の間で加算することによって、要素画像の画素（ｕ，ｖ）の画素値ｃｏｌ（ｕ，ｖ）を算出する。
【0086】
このとき、要素画像画素値決定手段１５は、中間画像バッファに計算途中のデータを保存することなく、変換後仮想カメラ画像Ｇ´´から必要な画素値を取り出しながら、画素値ｃｏｌ（ｕ，ｖ）を算出できる。また、要素画像画素値決定手段１５は、要素画像の画素値ｃｏｌ（ｕ，ｖ）の演算を画素（ｕ，ｖ）毎に並列で行えるため、ＧＰＵ（Graphics Processing Unit）による高速な並列演算が可能となる。
【0087】
図１に戻り、立体画像生成装置１の構成について説明を続ける。
出力手段１６は、要素画像画素値決定手段１５が生成した要素画像を立体ディスプレイ９に出力（表示）するものである。なお、出力手段１６は、要素画像を立体ディスプレイ９以外の装置（例えば、画像記録装置）に出力してもよい。
出力手段１６は、要素画像画素値決定手段１５が生成した要素画像を立体ディスプレイ９に出力（表示）するものである。なお、出力手段１６は、要素画像を立体ディスプレイ９以外の装置（例えば、画像記録装置）に出力してもよい。
【0088】
［立体画像生成装置の動作］
図１０を参照し、立体画像生成装置１の構成を説明する。なお、仮想カメラＶｃは、仮想空間内の各視点に配置されていることとする。
ステップＳ１において、仮想カメラ画像取得手段１１は、仮想カメラＶｃで撮影した仮想カメラ画像を取得する。
ステップＳ２において、立体画像生成装置１は、仮想カメラの相対位置情報をカメラパラメータ記録手段１０に記録する。
図１０を参照し、立体画像生成装置１の構成を説明する。なお、仮想カメラＶｃは、仮想空間内の各視点に配置されていることとする。
ステップＳ１において、仮想カメラ画像取得手段１１は、仮想カメラＶｃで撮影した仮想カメラ画像を取得する。
ステップＳ２において、立体画像生成装置１は、仮想カメラの相対位置情報をカメラパラメータ記録手段１０に記録する。
【0089】
ステップＳ３において、立体画像生成装置１では、奥行き圧縮パラメータを奥行き圧縮パラメータ入力手段１２０に入力する。また、立体画像生成装置１では、立体ディスプレイパラメータを立体ディスプレイパラメータ入力手段１２１に入力する。また、立体画像生成装置１では、要素画像調整パラメータを要素画像調整パラメータに入力する。
【0090】
ステップＳ４において、画像変換手段１３は、奥行き圧縮関数を用いて、ステップＳ１で取得した奥行き圧縮前の仮想カメラ画像の画素位置を、奥行き圧縮後の仮想カメラ画像の画素位置に変換し、変換後仮想カメラ画像を生成する。
【0091】
ステップＳ５において、要素画像画素値決定手段１５は、ステップＳ２で記録した仮想カメラの相対位置情報と変換後仮想カメラ画像とから、要素画像を生成する（画素値決定処理）。なお、ステップＳ５の画素値決定処理は、詳細を後記する。
ステップＳ６において、出力手段１６は、ステップＳ５で生成した要素画像を立体ディスプレイ９に表示する。
ステップＳ６において、出力手段１６は、ステップＳ５で生成した要素画像を立体ディスプレイ９に表示する。
【0092】
＜画素値決定処理＞
図１１を参照し、図１０のステップＳ５（画素値決定処理）を説明する。
ステップＳ１０において、要素画像画素値決定手段１５は、要素画像内の各画素について、画像座標系の座標（ｕ，ｖ）をピクセル座標系の座標（Ｐｘ，Ｐｙ）に変換する。
ステップＳ１１において、要素画像画素値決定手段１５は、要素画像調整パラメータに基づいて、ピクセル座標系の座標（Ｐｘ，Ｐｙ）を座標（Ｐｘ´，Ｐｙ´）として補正する。
図１１を参照し、図１０のステップＳ５（画素値決定処理）を説明する。
ステップＳ１０において、要素画像画素値決定手段１５は、要素画像内の各画素について、画像座標系の座標（ｕ，ｖ）をピクセル座標系の座標（Ｐｘ，Ｐｙ）に変換する。
ステップＳ１１において、要素画像画素値決定手段１５は、要素画像調整パラメータに基づいて、ピクセル座標系の座標（Ｐｘ，Ｐｙ）を座標（Ｐｘ´，Ｐｙ´）として補正する。
【0093】
ステップＳ１２において、要素画像画素値決定手段１５は、補正後の座標（Ｐｘ´，Ｐｙ´）をレンズ中心座標系の座標（ｒｘ，ｒｙ）に変換する。
ステップＳ１３において、要素画像画素値決定手段１５は、各変換後仮想カメラ画像から、画素（ｕ、ｖ）に対応する対応画素の画素値を取得する。
ステップＳ１３において、要素画像画素値決定手段１５は、各変換後仮想カメラ画像から、画素（ｕ、ｖ）に対応する対応画素の画素値を取得する。
【0094】
ステップＳ１４において、要素画像画素値決定手段１５は、各仮想カメラの相対位置（ｃｘ，ｃｙ）と、画素（ｒｘ、ｒｙ）に基づいて、重みｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）を算出する。
【0095】
ステップＳ１５において、要素画像画素値決定手段１５は、各変換後仮想カメラ画像において、対応画素の画素値ｃｏｌ（ｕ，ｖ）
（ｃｘ，ｃｙ）と、この対応画素に対する重みｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）との積を算出する。そして、要素画像画素値決定手段１５は、算出した積を変換後仮想カメラ画像間で加算することで、要素画素内の画素（ｕ、ｖ）の画素値ｃｏｌ（ｕ，ｖ）を算出する。
【0096】
［作用・効果］
以上のように、立体画像生成装置１は、画像変換手段１３によって、仮想カメラ画像に奥行き圧縮を直接適用せず、奥行き圧縮後の仮想カメラ画像の画素位置を求め、求めた画素位置の画素値をサンプリングする。これにより、立体画像生成装置１は、陰影、光沢、反射等の質感表現の劣化を抑制することができる。
以上のように、立体画像生成装置１は、画像変換手段１３によって、仮想カメラ画像に奥行き圧縮を直接適用せず、奥行き圧縮後の仮想カメラ画像の画素位置を求め、求めた画素位置の画素値をサンプリングする。これにより、立体画像生成装置１は、陰影、光沢、反射等の質感表現の劣化を抑制することができる。
【0097】
さらに、立体画像生成装置１は、仮想カメラ画像から、中間画像を生成せずに要素画像を直接生成できるので、要素画像の生成を高速化し、メモリ利用効率を向上させることができる。さらに、立体画像生成装置１は、要素画素の各画素の画素値を独立して算出できるので、これらの演算を並列に処理することで、要素画像の生成をさらに高速化することができる。さらに、立体画像生成装置１は、高速化に伴って、仮想カメラＶｃの台数を増加させることができ、視点がより密になるので立体画像の画質が向上する。このため、立体画像生成装置１は、通常のテレビジョン番組などの一方向的なメディアに限らず、コンピュータゲーム、ビデオ通信などインタラクティブメディアへの画像表示装置による立体像の応用が促進される。
【0098】
（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
以上、本発明の各実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0099】
前記した実施形態では、レンズ板９０がデルタ配列であるものとして説明したが、これに限定されない。例えば、レンズ板９０は、要素レンズが水平方向及び垂直方向に整列した正方配列であってもよい。この場合、レンズ中心の位置ずれが水平方向及び垂直方向でＤ／２になる。従って、前記した式（１３）、式（１４）及び式（１５）の代わりに、式（１３－２）、式（１４－２）及び式（１５－２）を用いればよい。
【0100】
【数23】
【数24】
【数25】
【0101】
前記した実施形態では、立体画像生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した立体画像生成装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0102】
１ 立体画像生成装置
１０ カメラパラメータ記録手段（相対位置情報入力手段）
１１ 仮想カメラ画像取得手段（画像入力手段）
１２ パラメータ入力手段
１３ 画像変換手段
１４ パラメータ・画像関連付け手段
１５ 要素画像画素値決定手段（画像生成手段）
１６ 出力手段
１２０ 奥行き圧縮パラメータ入力手段
１２１ 立体ディスプレイパラメータ入力手段
１２２ 要素画像調整パラメータ入力手段
１０ カメラパラメータ記録手段（相対位置情報入力手段）
１１ 仮想カメラ画像取得手段（画像入力手段）
１２ パラメータ入力手段
１３ 画像変換手段
１４ パラメータ・画像関連付け手段
１５ 要素画像画素値決定手段（画像生成手段）
１６ 出力手段
１２０ 奥行き圧縮パラメータ入力手段
１２１ 立体ディスプレイパラメータ入力手段
１２２ 要素画像調整パラメータ入力手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】