知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-09
(45)【発行日】2024-01-17
(54)【発明の名称】立体画像生成装置及びそのプログラム
(51)【国際特許分類】
H04N 13/307 20180101AFI20240110BHJP
H04N 13/282 20180101ALI20240110BHJP
H04N 13/243 20180101ALI20240110BHJP
H04N 13/106 20180101ALI20240110BHJP
H04N 13/257 20180101ALI20240110BHJP
G06T 15/20 20110101ALI20240110BHJP
G06T 19/00 20110101ALI20240110BHJP
G02B 30/00 20200101ALI20240110BHJP
【ＦＩ】
H04N13/307
H04N13/282
H04N13/243
H04N13/106
H04N13/257
G06T15/20 500
G06T19/00 F
G02B30/00
【請求項の数】
9
(21)【出願番号】P 2019116115
(22)【出願日】2019-06-24
(65)【公開番号】P2020028114
(43)【公開日】2020-02-20
【審査請求日】2022-05-10
(31)【優先権主張番号】P 2018151252
(32)【優先日】2018-08-10
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】加納 正規
(72)【発明者】
【氏名】三浦 雅人
(72)【発明者】
【氏名】久富 健介
(72)【発明者】
【氏名】洗井 淳
(72)【発明者】
【氏名】河北 真宏
(72)【発明者】
【氏名】三科 智之
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開２０１６－１５８２１３（ＪＰ，Ａ）
【文献】特表２００７－５２８６３１（ＪＰ，Ａ）
【文献】田口裕一(外2名)，ネットワークカメラアレイを用いた実時間全焦点自由視点映像合成システム，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2008年03月03日，第107巻, 第539号，p.79-86
【文献】Yuichi Taguchi (外3名)，TransCAIP: A Live 3D TV System Using a Camera Array and an Integral Photography Display with Interactive Control of Viewing Parameters，IEEE Transactions on Visualization and Computer Graphics，米国，IEEE，2009年02月10日，Volume:15, Issue: 5，p.841-852
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００－１３／３９８
Ｇ０６Ｔ １５／２０
Ｇ０６Ｔ １９／００
Ｇ０２Ｂ ３０／００
(57)【特許請求の範囲】
【請求項1】
撮影カメラを二次元状に並べたカメラアレイが被写体を撮影した多視点画像を用いて、イメージベースドレンダリングにより前記被写体からの光線を表す光線情報を生成し、当該光線情報から立体画像を生成する立体画像生成装置であって、前記立体画像を表示する立体表示装置が備える光学素子アレイを前記被写体が位置する撮影空間内に配置した仮想光学素子アレイと平行で、かつ、奥行き方向で所定間隔となるように前記撮影空間内に配置された奥行きレイヤと、視点位置と、前記視点位置同士の間となる内挿位置とが予め設定されるパラメータ設定手段と、
前記イメージベースドレンダリングにより、前記奥行きレイヤ上のサンプリング点を前記多視点画像に投影したときの画像間の類似度又は非類似度を表すコストの三次元配列であるコストボリュームを、前記視点位置毎に算出するコストボリューム算出手段と、
前記視点位置と前記内挿位置とのシフト量を前記奥行きレイヤ上で算出し、算出した前記シフト量に応じて、前記コストボリューム算出手段が算出した各視点位置のコストボリュームから前記内挿位置のコストボリュームを内挿するコストボリューム内挿手段と、
前記イメージベースドレンダリングにより、前記視点位置及び前記内挿位置のコストボリュームから前記光線が発生した奥行きレイヤを推定し、推定した前記奥行きレイヤにおける前記光線情報を生成する光線情報生成手段と、
前記光線情報から前記立体画像を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。
【請求項2】
前記奥行きレイヤ上において、前記視点位置毎の光線が平行になる平行投影のサンプリング点が予め設定されるサンプリング点設定手段、をさらに備え、前記パラメータ設定手段は、前記仮想光学素子アレイの位置及び素子間隔がさらに設定され、前記奥行きレイヤが前記仮想光学素子アレイの位置を基準として奥行き方向に設定され、
前記コストボリューム内挿手段は、前記仮想光学素子アレイから前記奥行きレイヤまでの奥行きベクトルの要素ｄと、前記視点位置の光線ベクトルと前記内挿位置の光線ベクトルとの差分ベクトルの要素ｖと、前記仮想光学素子アレイの素子間隔ｐとが含まれる下記の式（１）を用いて、
【数1】
【請求項3】
前記奥行きレイヤ上において、前記視点位置毎の光線が１つの集光点に集光する透視投影レンズシフトのサンプリング点が予め設定されるサンプリング点設定手段、をさらに備え、前記パラメータ設定手段は、前記仮想光学素子アレイの位置及び素子間隔がさらに設定され、前記奥行きレイヤが前記仮想光学素子アレイの位置を基準として奥行き方向に設定され、
前記コストボリューム内挿手段は、
前記仮想光学素子アレイの素子間隔ｐと、前記仮想光学素子アレイから前記奥行きレイヤまでの奥行きベクトルの要素ｄと、前記仮想光学素子アレイに対する前記集光点の位置を示すベクトルの要素Ｗとが含まれる式（４）を用いて、
【数2】
前記視点位置の光線ベクトルと前記内挿位置の光線ベクトルとの差分ベクトルの要素ｖと、前記要素ｄと、前記間隔ＰＰとが含まれる式（５）を用いて、
【数3】
【請求項4】
撮影カメラを二次元状に並べたカメラアレイが被写体を撮影した多視点画像を用いて、イメージベースドレンダリングにより前記被写体からの光線を表す光線情報を生成し、当該光線情報から立体画像を生成する立体画像生成装置であって、前記立体画像を表示する立体表示装置が備える光学素子アレイを前記被写体が位置する撮影空間内に配置した仮想光学素子アレイと平行で、かつ、奥行き方向で所定間隔となるように前記撮影空間内に配置された奥行きレイヤと、視点位置とが予め設定されるパラメータ設定手段と、
前記イメージベースドレンダリングにより、前記奥行きレイヤ上のサンプリング点を前記多視点画像に投影したときの画像間の類似度又は非類似度を表すコストの三次元配列であるコストボリュームを、前記視点位置毎に算出するコストボリューム算出手段と、
補正対象の前記視点位置同士のシフト量を前記奥行きレイヤ上で算出し、算出した前記シフト量に応じて、前記補正対象のコストボリュームを補正するコストボリューム補正手段と、
前記イメージベースドレンダリングにより、前記コストボリューム補正手段が補正したコストボリュームから前記光線が発生した奥行きレイヤを推定し、推定した前記奥行きレイヤにおける前記光線情報を生成する光線情報生成手段と、
前記光線情報から前記立体画像を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。
【請求項5】
前記奥行きレイヤ上において、前記視点位置毎の光線が平行になる平行投影のサンプリング点が予め設定されるサンプリング点設定手段、をさらに備え、前記パラメータ設定手段は、前記仮想光学素子アレイの位置及び素子間隔がさらに設定され、前記奥行きレイヤが前記仮想光学素子アレイの位置を基準として奥行き方向に設定され、
前記コストボリューム補正手段は、前記仮想光学素子アレイから前記奥行きレイヤまでの奥行きベクトルの要素ｄと、前記補正対象の視点位置同士における光線ベクトルの差分ベクトルの要素ｖと、前記仮想光学素子アレイの素子間隔ｐとが含まれる下記の式（１）を用いて、
【数4】
【請求項6】
前記奥行きレイヤ上において、前記視点位置毎の光線が１つの集光点に集光する透視投影レンズシフトのサンプリング点が予め設定されるサンプリング点設定手段、をさらに備え、前記パラメータ設定手段は、前記仮想光学素子アレイの位置及び素子間隔がさらに設定され、前記奥行きレイヤが前記仮想光学素子アレイの位置を基準として奥行き方向に設定され、
前記コストボリューム補正手段は、
前記仮想光学素子アレイの素子間隔ｐと、前記仮想光学素子アレイから前記奥行きレイヤまでの奥行きベクトルの要素ｄと、前記仮想光学素子アレイに対する前記集光点の位置を示すベクトルの要素Ｗとが含まれる式（４）を用いて、
【数5】
前記補正対象の視点位置同士における光線ベクトルの差分ベクトルの要素ｖと、前記要素ｄと、前記間隔ＰＰとが含まれる式（５）を用いて、
【数6】
【請求項7】
前記コストボリューム補正手段は、前記コストボリュームに含まれる互いの前記コストが予め設定された値以上異なる場合、当該コストを補正することを特徴とする請求項４から請求項６の何れか一項に記載の立体画像生成装置。
【請求項8】
前記立体画像は、インテグラル立体方式の要素画像であり、前記立体画像生成手段は、各光線情報から同一位置の画素を抽出し、抽出した前記画素で構成される前記要素画像を生成することを特徴とする請求項１から請求項７の何れか一項に記載の立体画像生成装置。
【請求項9】
コンピュータを、請求項１から請求項８の何れか一項に記載の立体画像生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージベースドレンダリングにより立体画像を生成する立体画像生成装置及びそのプログラムに関する。
【背景技術】
【0002】
立体テレビをはじめとした将来の立体映像メディアの研究開発が盛んに行われている。これを実現するための手法は複数知られているが、それら手法の一つにインテグラル立体方式がある（非特許文献１，２）。インテグラル立体方式の特徴は、特殊な眼鏡が不要で、上下左右への運動視差を有することである。その理由は、撮影・表示にレンズアレイを用いることで様々な方向からの光線を取得して表示できるためである。ここで、インテグラル立体方式の表示に用いられる画像を要素画像と呼ぶ。つまり、インテグラル立体方式の撮影においては要素画像を生成すればよい。
【0003】
インテグラル立体方式の撮影技術としては、レンズアレイを用いる手法以外にも様々な手法がある。例えば、複数のカメラで三次元モデルを構築し、その後、再度レンダリングして要素画像を生成する手法が知られている（非特許文献３）。また、複数のカメラで撮影し、三次元モデルを構築せずに要素画像の生成に必要な光線を直接算出する手法も知られている（非特許文献４）。
【0004】
後者の手法で要素画像を生成する場合を考える。この従来手法では、イメージベースドレンダリング（ＩＢＲ：Image-based rendering）という技術を用いて、要素画像の生成に必要な光線色情報を生成できる（非特許文献５）。イメージベースドレンダリングは、カメラを２次元状に並べたカメラアレイを用いて多視点画像を撮影し、この多視点画像に光線を挿入することで任意視点画像を生成するものである。
【0005】
以下、イメージベースドレンダリングについて説明する。任意視点画像の生成には、その光線色情報がわかればよい。そこで、光線色情報を得るために、撮影空間に幾つか奥行きレイヤを設定し、光線がどの奥行きレイヤから発生したものかを推定する。奥行きレイヤの推定には、カラーコンシステンシ(color consistency)コストなどの一般的なコストを用いる。このコストを全ピクセルで集めたものをコストマップ（コストの２次元配列）と呼ぶ。さらにコストマップを奥行き方向に拡張し、このコストマップを全奥行きレイヤで集めたものをコストボリューム（コストの３次元配列）と呼ぶ。このコストボリュームを算出できれば、コストボリュームから各光線が発生した奥行きレイヤを推定し、奥行きレイヤから光線色情報を算出できる。
【先行技術文献】
【非特許文献】
【0006】
【文献】G. Lippmann, “Epreuves reversibles Photographies integrals,” Comptes-Rendus Academie des Sciences 146, 446-451 (1908).
【文献】F. Okano, H. Hoshino, J. Arai, and I. Yuyama, “Real-time pickup method for a three-dimensional image based on integral photography,” Appl. Opt. 36(7), 1598-1603 (1997).
【文献】岩舘祐一,片山美和, “斜投影によるインテグラル立体像の生成手法”,映像情報メディア学会技術報告, Vol.34, No.43, 3DIT2010-66, IDY2010-63, IST2010-52, 2010, p.17-20
【文献】Y. Taguchi, T. Koike, K. Takahashi and T. Naemura, "TransCAIP: A live 3D TV system using a camera array and an integral photography display with interactive control of viewing parameters." IEEE Transactions on Visualization and Computer Graphics 15.5 (2009): 841-852.
【文献】田口裕一, 高橋桂太, 苗村健,“ネットワークカメラアレイを用いた実時間全焦点自由視点映像合成システム”, 電子情報通信学会技術研究報告, vol. 107, no. 539, PRMU2007-258, pp. 79-86 (2008)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、従来手法では、要素画像を生成するためには、膨大な量の光線色情報が必要となり、コストボリュームの計算量が膨大になってしまうという問題がある。
さらに、従来手法では、オクルージョンなどの影響により、コストボリュームにより単純な奥行き推定処理を行っても、高精度に奥行き推定ができないという問題もある。これは、ある１視点から生成したコストボリュームでは精度が低くなるためである。
さらに、従来手法では、オクルージョンなどの影響により、コストボリュームにより単純な奥行き推定処理を行っても、高精度に奥行き推定ができないという問題もある。これは、ある１視点から生成したコストボリュームでは精度が低くなるためである。
【0008】
そこで、本発明は、効率的にコストボリュームを算出できる立体画像生成装置及びそのプログラムを提供することを課題とする。
さらに、本発明は、簡易で正確な奥行き推定処理を行えるように高精度なコストボリュームを算出できる立体画像生成装置及びそのプログラムを提供することを課題とする。
さらに、本発明は、簡易で正確な奥行き推定処理を行えるように高精度なコストボリュームを算出できる立体画像生成装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0009】
前記した課題に鑑みて、本発明に係る立体画像生成装置は、撮影カメラを二次元状に並べたカメラアレイが被写体を撮影した多視点画像を用いて、イメージベースドレンダリングにより被写体からの光線を表す光線情報を生成し、その光線情報から立体画像を生成する立体画像生成装置であって、パラメータ設定手段と、コストボリューム算出手段と、コストボリューム内挿手段と、光線情報生成手段と、立体画像生成手段とを備える構成とした。
【0010】
かかる構成によれば、パラメータ設定手段は、立体画像を表示する立体表示装置が備える光学素子アレイを被写体が位置する撮影空間内に配置した仮想光学素子アレイと平行で、かつ、奥行き方向で所定間隔となるように撮影空間内に配置された奥行きレイヤと、視点位置と、前記視点位置同士の間となる内挿位置とが予め設定される。
コストボリューム算出手段は、イメージベースドレンダリングにより、奥行きレイヤ上のサンプリング点を多視点画像に投影したときの画像間の類似度又は非類似度を表すコストの三次元配列であるコストボリュームを、視点位置毎に算出する。
コストボリューム内挿手段は、視点位置と内挿位置とのシフト量を奥行きレイヤ上で算出し、算出したシフト量に応じて、コストボリューム算出手段が算出した各視点位置のコストボリュームから内挿位置のコストボリュームを内挿する。
このように、立体画像生成装置は、シフト量に応じてコストボリュームを内挿するので、効率的にコストボリュームを算出することができる。
コストボリューム算出手段は、イメージベースドレンダリングにより、奥行きレイヤ上のサンプリング点を多視点画像に投影したときの画像間の類似度又は非類似度を表すコストの三次元配列であるコストボリュームを、視点位置毎に算出する。
コストボリューム内挿手段は、視点位置と内挿位置とのシフト量を奥行きレイヤ上で算出し、算出したシフト量に応じて、コストボリューム算出手段が算出した各視点位置のコストボリュームから内挿位置のコストボリュームを内挿する。
このように、立体画像生成装置は、シフト量に応じてコストボリュームを内挿するので、効率的にコストボリュームを算出することができる。
【0011】
光線情報生成手段は、イメージベースドレンダリングにより、視点位置及び内挿位置のコストボリュームから光線が発生した奥行きレイヤを推定し、推定した奥行きレイヤにおける光線情報を生成する。
立体画像生成手段は、光線情報から立体画像を生成する。
立体画像生成手段は、光線情報から立体画像を生成する。
【0012】
ここで、立体画像生成装置は、新たにコストボリュームを内挿するのではなく、算出済みのコストボリュームを補正してもよい。つまり、立体画像生成装置は、コストボリューム内挿手段の代わりに、コストボリューム補正手段を備えてもよい。
コストボリューム補正手段は、補正対象の視点位置同士のシフト量を奥行きレイヤ上で算出し、算出したシフト量に応じて、補正対象のコストボリュームを補正する。
このように、立体画像生成装置は、シフト量に応じてコストボリュームを補正するので、高精度なコストボリュームを算出することができる。
コストボリューム補正手段は、補正対象の視点位置同士のシフト量を奥行きレイヤ上で算出し、算出したシフト量に応じて、補正対象のコストボリュームを補正する。
このように、立体画像生成装置は、シフト量に応じてコストボリュームを補正するので、高精度なコストボリュームを算出することができる。
【0013】
なお、本発明に係る立体画像生成装置は、一般的なコンピュータを前記した各手段として協調動作させるプログラムで実現することもできる。
【発明の効果】
【0014】
本発明によれば、シフト量に応じてコストボリュームを内挿するので、効率的にコストボリュームを算出し、コストボリュームの算出に要する膨大な演算量を低減することができる。
本発明によれば、シフト量に応じてコストボリュームを補正するので、高精度なコストボリュームを算出し、簡易で正確な奥行き推定処理が可能となり、高品質な立体画像を生成することができる。
本発明によれば、シフト量に応じてコストボリュームを補正するので、高精度なコストボリュームを算出し、簡易で正確な奥行き推定処理が可能となり、高品質な立体画像を生成することができる。
【図面の簡単な説明】
【0015】
【図1】第１、第３実施形態に係る要素画像生成装置の構成を示すブロック図である。
【図2】第１実施形態において、撮影空間を説明する説明図である。
【図3】第１実施形態において、（ａ）及び（ｂ）は、コストボリュームの算出に必要な光線群を説明する説明図である。
【図4】第１実施形態において、（ａ）及び（ｂ）は、光線領域を説明する説明図である。
【図5】第１実施形態において、（ａ）は奥行きレイヤを説明する説明図であり、（ｂ）はサンプリング点を説明する説明図である。
【図6】第１実施形態において、（ａ）及び（ｂ）は、奥行きレイヤ毎のシフト量を説明する説明図である。
【図7】第１実施形態において、シフト量の算出を説明する説明図である。
【図8】第１実施形態において、奥行きレイヤでのシフト方向を説明する説明図である。
【図9】第１実施形態において、ＭＡＴＬＡＢで表記された計算式を説明する説明図である。
【図10】第１実施形態において、コストボリュームの内挿を説明する説明図である。
【図11】第１実施形態において、要素画像の生成を説明する説明図である。
【図13】第２、第４実施形態に係る要素画像生成装置の構成を示すブロック図である。
【図14】第２実施形態において、コストボリュームの補正を説明する説明図である。
【図16】第３実施形態において、（ａ）及び（ｂ）は透視投影レンズシフトの光線構造を説明する説明図である。
【図17】第３実施形態において、サンプリング点を説明する説明図である。
【図18】第３実施形態において、サンプリング点同士の間隔を説明する説明図である。
【図19】第３実施形態において、シフト量の算出を説明する説明図である。
【図20】第３実施形態において、シフト量の算出を説明する説明図である。
【図21】第３実施形態において、コストボリュームの内挿を説明する説明図である。
【発明を実施するための形態】
【0016】
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段には同一の符号を付し、説明を省略した。
【0017】
（第１実施形態）
［立体画像生成システムの概要］
図１を参照し、第１実施形態に係る立体画像生成システム１の概要を説明する。
立体画像生成システム１は、イメージベースドレンダリングにより、インテグラル立体方式の要素画像（立体画像）を生成するものである。図１に示すように、立体画像生成システム１は、カメラアレイ２と、要素画像生成装置（立体画像生成装置）３とを備える。
［立体画像生成システムの概要］
図１を参照し、第１実施形態に係る立体画像生成システム１の概要を説明する。
立体画像生成システム１は、イメージベースドレンダリングにより、インテグラル立体方式の要素画像（立体画像）を生成するものである。図１に示すように、立体画像生成システム１は、カメラアレイ２と、要素画像生成装置（立体画像生成装置）３とを備える。
【0018】
なお、「イメージベースドレンダリング」とは、異なる視点位置で被写体を撮影した多視点画像を用いて、３次元空間の視覚情報を光線として記述する枠組みに基づいて、任意の視点位置の画像を合成する技術のことである。例えば、イメージベースドレンダリングは、前記した非特許文献５に詳細に記載されている。
【0019】
カメラアレイ２は、撮影カメラ２０を二次元状に並べたものであり、異なる視点位置で被写体を撮影した多視点画像を生成し、生成した多視点画像を要素画像生成装置３に出力する。例えば、カメラアレイ２は、縦横に８台ずつ等間隔で配列された計６４台の撮影カメラ２０を備え、６４視点分の多視点画像を生成する。また、カメラアレイ２は、撮影カメラ２０が同一平面（図２のＸ－Ｙ面）上に位置するように、図示を省略したフレームに撮影カメラ２０を搭載している。例えば、撮影カメラ２０としては、一般的なネットワークカメラを用いることができる。
なお、カメラアレイ２では、カメラ校正を行えばよいので、各撮影カメラ２０が厳密に同一平面に位置せずともよい。また、カメラアレイ２の詳細は、前記した非特許文献５に詳細に記載されているため、これ以上の説明を省略する。
なお、カメラアレイ２では、カメラ校正を行えばよいので、各撮影カメラ２０が厳密に同一平面に位置せずともよい。また、カメラアレイ２の詳細は、前記した非特許文献５に詳細に記載されているため、これ以上の説明を省略する。
【0020】
［要素画像生成装置の構成］
以下、要素画像生成装置３の構成を説明する。
要素画像生成装置３は、カメラアレイ２からの多視点画像を用いて、イメージベースドレンダリングにより、被写体からの光線の色を表す光線色情報（光線情報）を生成し、その光線色情報から要素画像を生成するものである。図１に示すように、要素画像生成装置３は、多視点画像入力手段３０と、パラメータ設定手段３１と、サンプリング点設定手段３２と、コストボリューム算出手段３３と、コストボリューム内挿手段３４と、光線色情報生成手段（光線情報生成手段）３５と、要素画像生成手段（立体画像生成手段）３６とを備える。
以下、要素画像生成装置３の構成を説明する。
要素画像生成装置３は、カメラアレイ２からの多視点画像を用いて、イメージベースドレンダリングにより、被写体からの光線の色を表す光線色情報（光線情報）を生成し、その光線色情報から要素画像を生成するものである。図１に示すように、要素画像生成装置３は、多視点画像入力手段３０と、パラメータ設定手段３１と、サンプリング点設定手段３２と、コストボリューム算出手段３３と、コストボリューム内挿手段３４と、光線色情報生成手段（光線情報生成手段）３５と、要素画像生成手段（立体画像生成手段）３６とを備える。
【0021】
多視点画像入力手段３０は、カメラアレイ２から多視点画像が入力され、入力された多視点画像をコストボリューム算出手段３３に出力するものである。
【0022】
パラメータ設定手段３１は、要素画像の生成に必要な各種パラメータが予め設定されるものである。例えば、立体画像生成システム１の利用者が、図示を省略したマウス、キーボード等の操作手段を介して、パラメータ設定手段３１に各種パラメータを設定する。そして、パラメータ設定手段３１は、設定された各種パラメータをサンプリング点設定手段３２に出力する。
【0023】
各種パラメータとしては、後記する仮想レンズアレイ（仮想光学素子アレイ）の位置及びピッチと、仮想要素レンズ（仮想光学素子）の個数と、撮影空間と、奥行きレイヤと、視点位置と、内挿位置とがあげられる。これらパラメータの詳細は後記する。
【0024】
サンプリング点設定手段３２は、撮影空間内の奥行きレイヤ上において、平行投影のサンプリング点が予め設定されるものである。例えば、サンプリング点設定手段３２は、後記する奥行きレイヤの平面と光線ベクトル（位置・方向の６自由度）の交点をサンプリング点として設定する。そして、サンプリング点設定手段３２は、設定されたサンプリング点と各種パラメータをコストボリューム算出手段３３に出力する。
なお、平行投影とは、視点位置毎の光線が平行になる投影のことである。
なお、平行投影とは、視点位置毎の光線が平行になる投影のことである。
【0025】
＜パラメータ及びサンプリング点の設定＞
図２～図５を参照し、パラメータ及びサンプリング点の設定を詳細に説明する。なお、図２では、水平方向をＸ軸、垂直方向をＹ軸、奥行き方向をＺ軸として図示した。
本実施形態では、図２に示すように、３体の被写体９（９１～９３）が撮影空間α内に配置されていることとする。奥行き方向において、被写体９１～９３が撮影空間αの手前側から順に並んでおり、被写体９２が撮影空間αの中央に位置する。また、水平方向において、被写体９１～９３は、左右にずれて配置される。
図２～図５を参照し、パラメータ及びサンプリング点の設定を詳細に説明する。なお、図２では、水平方向をＸ軸、垂直方向をＹ軸、奥行き方向をＺ軸として図示した。
本実施形態では、図２に示すように、３体の被写体９（９１～９３）が撮影空間α内に配置されていることとする。奥行き方向において、被写体９１～９３が撮影空間αの手前側から順に並んでおり、被写体９２が撮影空間αの中央に位置する。また、水平方向において、被写体９１～９３は、左右にずれて配置される。
【0026】
以下、「インテグラル立体表示装置」を「ＩＰ立体表示装置」と略記する。このＩＰ立体表示装置は、所定個数の要素レンズを二次元状に並べたレンズアレイを備える。従って、撮影空間αにおいて、インテグラル立体表示装置のレンズアレイ面となる場所に、仮想レンズアレイＬを設定する。
【0027】
仮想レンズアレイＬは、ＩＰ立体表示装置のレンズアレイを撮影空間α内に配置したものである。つまり、仮想レンズアレイＬは、撮影空間αにおいて、ＩＰ立体表示装置のレンズアレイを仮想したものである。この仮想レンズアレイＬは、実物のレンズアレイと同様、二次元状に並んだ所定個数の仮想要素レンズｌを備える。ここで、仮想要素レンズｌ同士の間隔（素子間隔）がピッチとなる。また、仮想レンズアレイＬは、奥行き方向で撮影空間αの中央に位置し、奥行きレイヤＤ（図５）と平行になる（Ｘ－Ｙ面上に位置する）。
以上を考慮し、パラメータ設定手段３１では、仮想レンズアレイＬの位置と方向、仮想要素レンズｌのピッチ及び個数とを設定すればよい。
以上を考慮し、パラメータ設定手段３１では、仮想レンズアレイＬの位置と方向、仮想要素レンズｌのピッチ及び個数とを設定すればよい。
【0028】
ＩＰ立体表示装置の視域や奥行きをどこまで再現するかにより、立体像を再現する範囲が定まり、この再現範囲をカメラアレイ２で撮影する。従って、撮影空間αが立体像の再現範囲を含んでいればよい。なお、図２では、撮影空間αをハッチングで図示した。奥行き方向では、撮影空間αが、仮想レンズアレイＬを中心として、手前側位置αＦから奥側位置αＢまでの範囲となる。また、水平方向では、撮影空間αが、最も外側の仮想要素レンズｌの主点からＩＰ立体表示装置の視域角だけ拡がった範囲となる。
以上を考慮し、パラメータ設定手段３１では、撮影空間αを設定すればよい。
以上を考慮し、パラメータ設定手段３１では、撮影空間αを設定すればよい。
【0029】
図３（ａ）には、平行投影において、コストボリュームの算出に必要な光線群を矢印で図示した。同一線種の光線群が、平行投影カメラで撮影したときの同一視点に対応する。つまり、実線、一点鎖線及び破線の光線群のそれぞれが、別々の視点位置に対応する。
以上を考慮し、パラメータ設定手段３１では、コストボリュームの算出に必要な視点位置と、コストボリュームを内挿したい視点位置である内挿位置とを設定すればよい。
以上を考慮し、パラメータ設定手段３１では、コストボリュームの算出に必要な視点位置と、コストボリュームを内挿したい視点位置である内挿位置とを設定すればよい。
【0030】
図３（ｂ）には図３（ａ）の光線群で形成される光線領域を図示し、図面を見やすくするため、図４（ａ）には図３（ｂ）の光線領域のみを図示した。なお、「光線領域」とは、撮影空間αにおいて、同一視点に対応する光源群が仮想レンズアレイＬを通過する領域のことである。実際のインテグラル立体方式では、光線群がもっと密なので、図４（ａ）の光線領域を高密度にしたものを図４（ｂ）に図示した。図４（ｂ）では、図４（ａ）の破線及び一点鎖線の光線領域の間に点線の光線領域を追加し、一点鎖線及び実線の光線領域の間に二点鎖線の光線領域を追加した。
【0031】
図５（ａ）に示すように、撮影空間αに奥行きレイヤＤ（Ｄ１～Ｄ５）を設定する。この奥行きレイヤＤは、仮想レンズアレイＬと平行である。また、奥行きレイヤＤは、奥行き方向において、仮想レンズアレイＬを基準として、撮影空間α内で等間隔に位置する。例えば、奥行きレイヤＤ１～Ｄ５が、撮影空間αの手前側から奥側まで順に等間隔で並んでいる。奥行きレイヤＤ１は、撮影空間αの手前側位置αＦに重なる。奥行きレイヤＤ３は、奥行き方向で撮影空間の中央に位置し、仮想レンズアレイＬに重なる。奥行きレイヤＤ５は、撮影空間αの奥側位置αＢに重なる。
以上を考慮し、パラメータ設定手段３１では、奥行きレイヤＤを設定すればよい。なお、奥行きレイヤＤは、奥行き方向で必ずしも等間隔である必要はない。
以上を考慮し、パラメータ設定手段３１では、奥行きレイヤＤを設定すればよい。なお、奥行きレイヤＤは、奥行き方向で必ずしも等間隔である必要はない。
【0032】
平行投影において、ある１視点、例えば、図４（ａ）で実線の光線群に対応する視点位置について考える。この視点では、図５（ｂ）に示すように、実線矢印で図示した光線と奥行きレイヤＤとの交点がサンプリング点ＳＰとなり、サンプリング点ＳＰを中心に、後記するコストが算出される。つまり、サンプリング点ＳＰは、ドットで図示した小領域の代表として機能する。
以上を考慮し、サンプリング点設定手段３２では、視点位置毎に、各光線と奥行きレイヤＤとの交点をサンプリング点ＳＰとして設定すればよい。
以上を考慮し、サンプリング点設定手段３２では、視点位置毎に、各光線と奥行きレイヤＤとの交点をサンプリング点ＳＰとして設定すればよい。
【0033】
図１に戻り、要素画像生成装置３の構成について、説明を続ける。
コストボリューム算出手段３３は、視点位置毎に、イメージベースドレンダリングによりコストボリュームを算出するものである。本実施形態では、コストボリューム算出手段３３は、サンプリング点設定手段３２で設定されたサンプリング点ＳＰについて、コストボリュームを算出する。
コストボリューム算出手段３３は、視点位置毎に、イメージベースドレンダリングによりコストボリュームを算出するものである。本実施形態では、コストボリューム算出手段３３は、サンプリング点設定手段３２で設定されたサンプリング点ＳＰについて、コストボリュームを算出する。
【0034】
なお、「コスト」とは、奥行きレイヤＤ上のサンプリング点ＳＰを多視点画像に投影したときの画像間の類似度（又は非類似度）を表すものである。
また、コストを水平方向及び垂直方向に２次元配列したものが「コストマップ」となり、コストを水平方向と垂直方向と奥行き方向とに３次元配列したものが「コストボリューム」となる。
また、コストを水平方向及び垂直方向に２次元配列したものが「コストマップ」となり、コストを水平方向と垂直方向と奥行き方向とに３次元配列したものが「コストボリューム」となる。
【0035】
ここで、コストボリューム算出手段３３は、一般的なイメージベースドレンダリングを用いて、コストボリュームを算出できる。例えば、コストボリューム算出手段３３は、ＲＧＢ各色の分散の和によりカラーコンシステンシコストを求める。
コストボリューム算出手段３３は、算出したコストボリュームと、多視点画像及び各種パラメータとをコストボリューム内挿手段３４に出力する。
コストボリューム算出手段３３は、算出したコストボリュームと、多視点画像及び各種パラメータとをコストボリューム内挿手段３４に出力する。
【0036】
コストボリューム内挿手段３４は、平行投影において、視点位置と内挿位置とのシフト量を奥行きレイヤＤ上で算出するものである。そして、コストボリューム内挿手段３４は、算出したシフト量に応じて、各視点位置で算出済みのコストボリュームから内挿位置のコストボリュームを内挿する。その後、コストボリューム内挿手段３４は、視点位置及び内挿位置のコストボリュームを光線色情報生成手段３５に出力する。
なお、「シフト」とは奥行きレイヤＤ上での視点位置と内挿位置との位置ずれのことであり、「シフト量」とはその位置ずれ量のことである。
なお、「シフト」とは奥行きレイヤＤ上での視点位置と内挿位置との位置ずれのことであり、「シフト量」とはその位置ずれ量のことである。
【0037】
＜平行投影におけるコストボリュームの内挿＞
図６～図１０を参照し、平行投影におけるコストボリュームの内挿を説明する。
実線の光線領域に対応する視点位置を「視点Ａ」、一点鎖線の光線領域に対応する視点位置を「視点Ｃ」、二点鎖線の光線領域に対応する視点位置を「視点Ｂ」と呼ぶ。図６（ａ）では、視点Ａ～Ｃのそれぞれに対応する光線領域に符号Ａ～Ｃを付した。また、視点Ａ及び視点Ｃのコストボリュームがコストボリューム算出手段３３で算出済みであり、視点Ｂのコストボリュームを内挿することとする。
図６～図１０を参照し、平行投影におけるコストボリュームの内挿を説明する。
実線の光線領域に対応する視点位置を「視点Ａ」、一点鎖線の光線領域に対応する視点位置を「視点Ｃ」、二点鎖線の光線領域に対応する視点位置を「視点Ｂ」と呼ぶ。図６（ａ）では、視点Ａ～Ｃのそれぞれに対応する光線領域に符号Ａ～Ｃを付した。また、視点Ａ及び視点Ｃのコストボリュームがコストボリューム算出手段３３で算出済みであり、視点Ｂのコストボリュームを内挿することとする。
【0038】
奥行きレイヤＤを後記する集光面Ｆ（各視点での光線が一点に集中する面）に設定し、かつ、被写体９（図６不図示）が完全に奥行きレイヤＤ上のみに存在する場合、つまり、厚みの無い被写体９が奥行きレイヤＤ上に位置する場合を考える。この場合、コストボリュームの内挿は、奥行きレイヤＤ毎のコストマップをシフトし、合成するだけでよい。この算出処理は、単純なために演算量が低い。しかし、実際には、そうならないことが多いため、近似的な内挿となる。
【0039】
図６（ｂ）に示すように、奥行きレイヤＤ１～Ｄ５では、シフト量ｓが異なっている。奥行きレイヤＤ３が奥行き方向で撮影空間αの中心に位置するので、シフト量ｓが０である。そして、奥行きレイヤＤ３から離れる程、シフト量ｓが増大する。つまり、奥行きレイヤＤ１，Ｄ５のシフト量ｓの方が、奥行きレイヤＤ２，Ｄ４のシフト量ｓよりも大きくなる。
【0040】
図７を参照し、シフト量ｓの具体的な算出方法を説明する。
図７に示すように、仮想レンズアレイＬは、仮想要素レンズｌがピッチｐで並んでいる。この仮想レンズアレイＬのレンズアレイ面ＬＰを基準にレンズアレイ座標系を設定し、このレンズアレイ座標系で考える。ここで、内挿する側の視点Ａの光線ベクトルＶＡと内挿される側の視点Ｂの光線ベクトルＶＢを定義する。２本の光線ベクトルＶＡ，ＶＢの奥行き方向（Ｚ軸方向）の成分が１となるように正規化し、その差分ベクトルＶＡ－Ｂの水平方向（Ｘ軸方向）の成分をｖとする。このとき、コストボリューム内挿手段３４は、下記の式（１）でシフト量ｓを算出できる。なお、式（１）において、奥行きレイヤＤの奥行き方向の位置をｄとする。
図７に示すように、仮想レンズアレイＬは、仮想要素レンズｌがピッチｐで並んでいる。この仮想レンズアレイＬのレンズアレイ面ＬＰを基準にレンズアレイ座標系を設定し、このレンズアレイ座標系で考える。ここで、内挿する側の視点Ａの光線ベクトルＶＡと内挿される側の視点Ｂの光線ベクトルＶＢを定義する。２本の光線ベクトルＶＡ，ＶＢの奥行き方向（Ｚ軸方向）の成分が１となるように正規化し、その差分ベクトルＶＡ－Ｂの水平方向（Ｘ軸方向）の成分をｖとする。このとき、コストボリューム内挿手段３４は、下記の式（１）でシフト量ｓを算出できる。なお、式（１）において、奥行きレイヤＤの奥行き方向の位置をｄとする。
【0041】
【数1】
【0042】
図８に示すように、仮想レンズアレイＬが位置する奥行きレイヤＤ３を境に、シフト方向が反転する。ここでは、手前側の奥行きレイヤＤ１では左方向にシフトする一方、奥側の奥行きレイヤＤ５では右方向にシフトする。このシフト方向の反転を考慮し、奥行きレイヤＤ毎に、視点Ａのコストマップをシフト量ｓにより移動させ、視点Ｂのコストマップを埋める。コストマップが２次元配列なので、下記の式（２）又は式（３）で内挿を行うことができる。つまり、コストボリューム内挿手段３４は、式（２）又は式（３）の演算を各奥行きレイヤＤで行うことで、コストボリュームの内挿を行うことができる。
【0043】
【数2】
【0044】
なお、式（２）及び式（３）では、ｓｉ＝ｒｏｕｎｄ（ｓ）であり、ｒｏｕｎｄ（）は四捨五入の関数である。
また、式（２）及び式（３）では、説明を簡易にするため、下記の参考文献に記載のＭＡＴＬＡＢの表記を用いた。
参考文献：「ＭＡＴＬＡＢ」、［平成３０年６月１５日検索］、インターネット〈URL：https://jp.mathworks.com/products/matlab.html〉
また、式（２）及び式（３）では、説明を簡易にするため、下記の参考文献に記載のＭＡＴＬＡＢの表記を用いた。
参考文献：「ＭＡＴＬＡＢ」、［平成３０年６月１５日検索］、インターネット〈URL：https://jp.mathworks.com/products/matlab.html〉
【0045】
具体的には、‘Ａ’及び‘Ｂ’が、視点Ａ及び視点Ｂのコストマップを表す。また、‘（）’については、垂直方向及び水平方向の順でコストマップの要素を表し、‘：’がその要素を範囲で特定することを表す。例えば、‘Ａ（－，１：Ｕ－ｓｉ）’であれば、視点Ａのコストマップにおいて、水平方向で１からＵ－ｓｉまでの範囲を表す。ここでは、水平方向のみ考えているので、垂直方向は‘－’と表記した。
【0046】
つまり、式（２）及び式（３）は、図９に示すように、視点ＡのコストマップＣＭＡで一定範囲（ハッチングで図示）を、シフト量ｓだけ移動させて視点ＢのコストマップＣＭＢに内挿することを表す。実際には、垂直方向にもシフトが必要なので、コストボリューム内挿手段３４は、水平方向と同様、垂直方向のシフト量ｓも算出することになる。
【0047】
ここで、視点Ｃの利用法について説明する。図６に示すように、手前側の奥行きレイヤＤ１，Ｄ２では、視点Ａの光線領域が視点Ｂの光線領域より右側に位置する。一方、奥側の奥行きレイヤＤ４，Ｄ５では、視点Ａの光線領域が視点Ｂの光線領域より左側に位置する。このように、視点Ｂの光線領域の一部が、視点Ａの光線領域から外れてしまう。つまり、視点Ｂのコストボリュームには、視点Ａのコストボリュームだけでは内挿できない範囲が存在する（ドットで図示）。そこで、コストボリューム内挿手段３４は、視点Ｂから見て、視点Ａの反対側となる視点Ｃのコストボリュームも用いて、同様にコストボリュームの内挿を行う。
【0048】
なお、図６に示すように、視点Ａ，Ｃの光線領域が重複する範囲が存在する（ハッチングで図示）。この重複範囲では、コストボリューム内挿手段３４は、視点Ａ，Ｃという複数のコストボリュームを用いて、視点Ｂのコストボリュームを内挿できる。この重複範囲において、視点Ａ，Ｃのコスト平均値を採用する、視点Ａ，Ｃでコストが低い方を採用する、シフト量ｓに応じて重み付けを行うなど、任意の手法で内挿する。
【0049】
以上より、コストボリューム内挿手段３４は、図１０に示すように、シフト量ｓに応じて、視点Ａ，ＣのコストボリュームＣＶＡ，ＣＶＣから、視点ＢのコストボリュームＣＶＢを内挿できる。ここでは、視点Ａ～Ｃの３視点位置のみで説明したが、より多くの視点位置にも拡張可能である。
【0050】
図１に戻り、要素画像生成装置３の構成について、説明を続ける。
光線色情報生成手段３５は、コストボリューム内挿手段３４より入力されたコストボリュームから、視点位置及び内挿位置における光線色情報を生成するものである。図１に示すように、光線色情報生成手段３５は、奥行きレイヤ推定手段３５Ａと、光線色情報取得手段３５Ｂとを備える。
光線色情報生成手段３５は、コストボリューム内挿手段３４より入力されたコストボリュームから、視点位置及び内挿位置における光線色情報を生成するものである。図１に示すように、光線色情報生成手段３５は、奥行きレイヤ推定手段３５Ａと、光線色情報取得手段３５Ｂとを備える。
【0051】
奥行きレイヤ推定手段３５Ａは、視点位置及び内挿位置毎のコストボリュームから、イメージベースドレンダリングにより被写体９の光線が発生した奥行きレイヤＤを推定するものである。例えば、奥行きレイヤ推定手段３５Ａは、コストボリュームに含まれるコストの最小値探索を行い、コストが最小となる奥行きレイヤＤを各光線に割り当てる。このようにして、各光線に適切な奥行きレイヤＤが推定される。
【0052】
光線色情報取得手段３５Ｂは、イメージベースドレンダリングにより、奥行きレイヤ推定手段３５Ａが推定した奥行きレイヤＤにおける光線色情報を取得するものである。例えば、光線色情報取得手段３５Ｂは、視点位置及び内挿位置毎に、最適な奥行きレイヤＤにおける光線の色の双線形補完により、光線色情報を取得する。この他、光線色情報取得手段３５Ｂは、内挿位置の奥行きを多視点画像に投影して、その奥行きの光線色情報を取得してもよい。なお、「光線色情報」とは、被写体からの光線の色を表すものであり、被写体を撮影した任意視点画像と等価である。
光線色情報取得手段３５Ｂは、各視点位置で取得した光線色情報を、視点位置及び内挿位置の任意視点画像として、要素画像生成手段３６に出力する。
光線色情報取得手段３５Ｂは、各視点位置で取得した光線色情報を、視点位置及び内挿位置の任意視点画像として、要素画像生成手段３６に出力する。
【0053】
要素画像生成手段３６は、光線色情報取得手段３５Ｂより入力された光線色情報から、要素画像を生成するものである。例えば、要素画像生成手段３６は、視点位置及び内挿位置の任意視点画像から同一位置の画素を抽出し、抽出した画素で構成される要素画像を生成する。そして、要素画像生成手段３６は、生成した要素画像を外部（例えば、ＩＰ立体表示装置）に出力する。
【0054】
＜要素画像の生成＞
図１１を参照し、要素画像Ｅの生成について説明する。
図１１（ａ）に示すように、左上視点の画像Ｐ１１、画像Ｐ１１の右側視点の画像Ｐ２１、画像Ｐ１１の下側視点の画像Ｐ１２という、３視点分の画像Ｐについて考える。また、説明を簡易にするため、画像Ｐ１１では、左上画素に「●１」を付し、右側画素に「●２」を付し、下側画素に「●３」を付した。これと同様、画像Ｐ２１には、「▲１」～「▲３」を付し、画像Ｐ１２には、「■１」～「■３」を付した。
図１１を参照し、要素画像Ｅの生成について説明する。
図１１（ａ）に示すように、左上視点の画像Ｐ１１、画像Ｐ１１の右側視点の画像Ｐ２１、画像Ｐ１１の下側視点の画像Ｐ１２という、３視点分の画像Ｐについて考える。また、説明を簡易にするため、画像Ｐ１１では、左上画素に「●１」を付し、右側画素に「●２」を付し、下側画素に「●３」を付した。これと同様、画像Ｐ２１には、「▲１」～「▲３」を付し、画像Ｐ１２には、「■１」～「■３」を付した。
【0055】
この場合、要素画像生成手段３６は、図１１（ｂ）に示すように、画像Ｐ１１，Ｐ１２，Ｐ２１から左上画素●１，▲１，■１，…を抽出し、左上の要素画像Ｅ１１を生成する。つまり、要素画像Ｅ１１は、同一位置の左上画素●１，▲１，■１，…で構成されている。また、要素画像Ｅ１１において、左上画素●１，▲１，■１，…の並び方は、それら画素を抽出した画像Ｐ１１，Ｐ１２，Ｐ２１の視点位置に対応する。つまり、要素画像Ｅ１１では、画素●１が左上に配置され、画素▲１が右側に配置され、画素■１が下側に配置される。
【0056】
また、要素画像生成手段３６は、要素画像Ｅ１１と同様、画像Ｐ１１，Ｐ１２，Ｐ２１から抽出した右側画素●２，▲２，■２，…で構成される要素画像Ｅ２１を生成する。さらに、要素画像生成手段３６は、要素画像Ｅ１１，Ｅ２１と同様、画像Ｐ１１，Ｐ１２，Ｐ２１から抽出した下側画素●３，▲３，■３，…で構成される要素画像Ｅ１２を生成する。
【0057】
ここで、要素画像Ｅは、その要素画像Ｅを構成する各画素の画素位置に対応した位置に配置される。例えば、要素画像Ｅ１１は、左上画素●１，▲１，■１，…で構成されているので、左上に配置される。また、要素画像Ｅ２１は、右側画素●２，▲２，■２，…で構成されているので、要素画像Ｅ１１の右側に配置される。さらに、要素画像Ｅ１２は、下側画素●３，▲３，■３，…で構成されるので、要素画像Ｅ１１の下側に配置される。
【0058】
なお、ＩＰ立体表示装置の光学系の構成によっては、立体像の倒立像が表示される場合もある。この場合、要素画像生成手段３６は、各画素の位置を上下左右に反転させて、立体像の正立像が表示されるように要素画像Ｅを生成してもよい。
【0059】
［要素画像生成装置の動作］
図１２を参照し、要素画像生成装置３の動作について説明する。
図１２に示すように、パラメータ設定手段３１は、要素画像の生成に必要な各種パラメータが予め設定される。この各種パラメータとしては、仮想レンズアレイの位置及びピッチと、仮想要素レンズの個数と、撮影空間と、奥行きレイヤと、視点位置とがあげられる（ステップＳ１）。
多視点画像入力手段３０は、カメラアレイ２から多視点画像が入力される（ステップＳ２）。
図１２を参照し、要素画像生成装置３の動作について説明する。
図１２に示すように、パラメータ設定手段３１は、要素画像の生成に必要な各種パラメータが予め設定される。この各種パラメータとしては、仮想レンズアレイの位置及びピッチと、仮想要素レンズの個数と、撮影空間と、奥行きレイヤと、視点位置とがあげられる（ステップＳ１）。
多視点画像入力手段３０は、カメラアレイ２から多視点画像が入力される（ステップＳ２）。
【0060】
サンプリング点設定手段３２は、撮影空間内で奥行きレイヤ上にサンプリング点が予め設定される。例えば、サンプリング点設定手段３２では、視点位置毎に、各光線と奥行きレイヤとの交点がサンプリング点として設定される（ステップＳ３）。
コストボリューム算出手段３３は、視点位置毎に、イメージベースドレンダリングによりコストボリュームを算出する。例えば、コストボリューム算出手段３３は、ステップＳ３で設定されたサンプリング点について、コストボリュームを算出する（ステップＳ４）。
コストボリューム算出手段３３は、視点位置毎に、イメージベースドレンダリングによりコストボリュームを算出する。例えば、コストボリューム算出手段３３は、ステップＳ３で設定されたサンプリング点について、コストボリュームを算出する（ステップＳ４）。
【0061】
コストボリューム内挿手段３４は、前記した式（１）を用いて、シフト量を奥行きレイヤ上で算出する。そして、コストボリューム内挿手段３４は、算出したシフト量に応じて、ステップＳ４で算出したコストボリュームから内挿位置のコストボリュームを内挿する（ステップＳ５）。
奥行きレイヤ推定手段３５Ａは、ステップＳ４，Ｓ５で求めたコストボリュームから、イメージベースドレンダリングにより被写体９の光線が発生した奥行きレイヤを推定する。例えば、奥行きレイヤ推定手段３５Ａは、コストボリュームに含まれるコストの最小値探索を行い、コストが最小となる奥行きレイヤを各光線に割り当てる（ステップＳ６）。
奥行きレイヤ推定手段３５Ａは、ステップＳ４，Ｓ５で求めたコストボリュームから、イメージベースドレンダリングにより被写体９の光線が発生した奥行きレイヤを推定する。例えば、奥行きレイヤ推定手段３５Ａは、コストボリュームに含まれるコストの最小値探索を行い、コストが最小となる奥行きレイヤを各光線に割り当てる（ステップＳ６）。
【0062】
光線色情報取得手段３５Ｂは、イメージベースドレンダリングにより、ステップＳ６で推定した奥行きレイヤＤにおける光線色情報を取得する。例えば、光線色情報取得手段３５Ｂは、最適な奥行きにおける光線の色の双線形補完により、光線色情報を取得する。この他、光線色情報取得手段３５Ｂは、内挿位置の奥行きを多視点画像に投影して、その奥行きの光線色情報を取得してもよい（ステップＳ７）。
要素画像生成手段３６は、ステップＳ７で取得した光線色情報から、要素画像を生成するものである。例えば、要素画像生成手段３６は、光線色情報（任意視点画像）から同一位置の画素を抽出し、抽出した画素で構成される要素画像を生成する（ステップＳ８）。
要素画像生成手段３６は、ステップＳ７で取得した光線色情報から、要素画像を生成するものである。例えば、要素画像生成手段３６は、光線色情報（任意視点画像）から同一位置の画素を抽出し、抽出した画素で構成される要素画像を生成する（ステップＳ８）。
【0063】
［作用・効果］
以上のように、第１実施形態に係る要素画像生成装置３は、平行投影の光線構造において、シフト量に応じてコストボリュームを内挿するので、効率的にコストボリュームを算出し、コストボリュームの算出に要する膨大な演算量を低減することができる。
以上のように、第１実施形態に係る要素画像生成装置３は、平行投影の光線構造において、シフト量に応じてコストボリュームを内挿するので、効率的にコストボリュームを算出し、コストボリュームの算出に要する膨大な演算量を低減することができる。
【0064】
（第２実施形態）
［要素画像生成装置の構成］
図１３を参照し、第２実施形態に係る要素画像生成装置３Ｂについて、第１実施形態と異なる点を説明する。
要素画像生成装置３Ｂは、全視点位置のコストボリュームを算出し、そのコストボリュームを補正する点が、第１実施形態と異なる。図１３に示すように、要素画像生成装置３Ｂは、多視点画像入力手段３０と、パラメータ設定手段３１Ｂと、サンプリング点設定手段３２と、コストボリューム算出手段３３と、コストボリューム補正手段３７と、光線色情報生成手段３５と、要素画像生成手段３６とを備える。
なお、パラメータ設定手段３１Ｂ及びコストボリューム補正手段３７以外は、第１実施形態と同様のため、説明を省略する。
［要素画像生成装置の構成］
図１３を参照し、第２実施形態に係る要素画像生成装置３Ｂについて、第１実施形態と異なる点を説明する。
要素画像生成装置３Ｂは、全視点位置のコストボリュームを算出し、そのコストボリュームを補正する点が、第１実施形態と異なる。図１３に示すように、要素画像生成装置３Ｂは、多視点画像入力手段３０と、パラメータ設定手段３１Ｂと、サンプリング点設定手段３２と、コストボリューム算出手段３３と、コストボリューム補正手段３７と、光線色情報生成手段３５と、要素画像生成手段３６とを備える。
なお、パラメータ設定手段３１Ｂ及びコストボリューム補正手段３７以外は、第１実施形態と同様のため、説明を省略する。
【0065】
パラメータ設定手段３１Ｂは、コストボリュームを算出する全視点位置がパラメータとして予め設定される。つまり、パラメータ設定手段３１Ｂでは、コストボリュームの内挿を行わないので、内挿位置をパラメータとして設定する必要がない。他の点、パラメータ設定手段３１Ｂは、第１実施形態と同様のため、これ以上の説明を省略する。
【0066】
コストボリューム補正手段３７は、補正対象の視点位置同士のシフト量を奥行きレイヤ上で算出し、算出したシフト量に応じて、補正対象となるコストボリュームを補正するものである。そして、コストボリューム補正手段３７は、補正したコストボリュームを光線色情報生成手段３５に出力する。
【0067】
＜コストボリュームの補正＞
図１４を参照し、コストボリュームの補正について説明する。
前記したように、隣り合う２つの視点位置の光線領域が重複し（図６（ｂ）のハッチングの範囲）、この重複範囲ではコストボリュームも重複するので、この重複範囲内でコストボリュームを補正する。ここでは、補正対象の視点位置が、互いに隣り合う視点Ａ、Ｂであることとする。
図１４を参照し、コストボリュームの補正について説明する。
前記したように、隣り合う２つの視点位置の光線領域が重複し（図６（ｂ）のハッチングの範囲）、この重複範囲ではコストボリュームも重複するので、この重複範囲内でコストボリュームを補正する。ここでは、補正対象の視点位置が、互いに隣り合う視点Ａ、Ｂであることとする。
【0068】
図１４に示すように、視点Ａ，ＢのコストボリュームＣＶＡ，ＣＶＢの間では、シフト量ｓだけシフトしている。従って、第１実施形態と同様、視点Ａの光線ベクトルＶＡと視点Ｂの光線ベクトルＶＢとの差分ベクトルＶＡ-Ｂが定義できる。また、仮想要素レンズのピッチｐや奥行きベクトルＶｄも、第１実施形態と同様に定義できる。従って、コストボリューム補正手段３７は、前記した式（１）を用いて、シフト量ｓを算出できる。
【0069】
次に、コストボリューム補正手段３７は、算出したシフト量ｓに応じて、補正対象となる視点Ａ，ＢのコストボリュームＣＶＡ，ＣＶＢを補正する。ここでは、コストボリューム補正手段３７は、視点Ａ，Ｂのコストボリュームが重複する範囲でコストの平均値を求め、その平均値で補正を行う。このとき、コストボリューム補正手段３７は、コストボリュームが重複する範囲において、互いのコストが予め設定された値以上異なる場合、そのコストのみ対象として補正を行ってもよい。この値は、互いのコストが大きく異なる場合を想定し、任意に設定できる。
【0070】
【0071】
図１５に示すように、パラメータ設定手段３１Ｂは、要素画像の生成に必要な各種パラメータが予め設定される。ここで、パラメータ設定手段３１Ｂでは、コストボリュームの内挿を行わないので、内挿位置をパラメータとして設定する必要がない（ステップＳ１Ｂ）。
【0072】
コストボリューム補正手段３７は、前記した式（１）を用いて、シフト量を奥行きレイヤ上で算出する。そして、コストボリューム補正手段３７は、算出したシフト量に応じて、ステップＳ４で算出したコストボリュームの補正を行う。ここで、コストボリューム補正手段３７は、コストボリュームが重複する範囲でコストの平均値を求め、その平均値で補正を行う。このとき、コストボリューム補正手段３７は、コストボリュームが重複する範囲において、互いのコストが予め設定された値以上異なる場合、そのコストのみを対象として補正を行ってもよい（ステップＳ５Ｂ）。
【0073】
［作用・効果］
以上のように、第２実施形態に係る要素画像生成装置３Ｂは、平行投影の光線構造において、シフト量に応じてコストボリュームを補正するので、高精度なコストボリュームを算出し、高品質な要素画像を生成することができる。
以上のように、第２実施形態に係る要素画像生成装置３Ｂは、平行投影の光線構造において、シフト量に応じてコストボリュームを補正するので、高精度なコストボリュームを算出し、高品質な要素画像を生成することができる。
【0074】
（第３実施形態）
以下、第３実施形態を説明する前提として、光線再生型表示システムの光線構造について説明する。
光線再生型表示システムの光線構造は、第１、第２実施形態で説明した平行投影（図３）と、第３実施形態で説明する透視投影レンズシフト（図１６）とに大別できる。平行投影は、図３（ａ）に示すように全光線が平行である。一方、透視投影レンズシフトは、図１６（ａ）に示すように全光線が奥行き方向の一定距離で集光点Ｔに集光する。
以下、第３実施形態を説明する前提として、光線再生型表示システムの光線構造について説明する。
光線再生型表示システムの光線構造は、第１、第２実施形態で説明した平行投影（図３）と、第３実施形態で説明する透視投影レンズシフト（図１６）とに大別できる。平行投影は、図３（ａ）に示すように全光線が平行である。一方、透視投影レンズシフトは、図１６（ａ）に示すように全光線が奥行き方向の一定距離で集光点Ｔに集光する。
【0075】
なお、図１６（ａ）には、透視投影レンズシフトにおける光線群を矢印で図示した。同一線種の光線群が、斜投影カメラで撮影したときの同一視点に対応する。つまり、実線、一点鎖線及び破線の光線群のそれぞれが、別々の視点位置に対応する。また、図１６（ｂ）には、図１６（ａ）の光線群で形成される光線領域を図示した。
【0076】
ここで、図１７に示すように、奥行きレイヤＤと各光線との交点をサンプリング点ＳＰとする。そして、図１８に示すように、透視投影レンズシフトは、奥行きレイヤＤが同一であれば、視点位置に関わらず、サンプリング点ＳＰの間隔が同一になる。つまり、透視投影レンズシフトは、平行投影と同様、奥行きレイヤＤが同一であれば、シフト量が同一になるという特徴がある。この特徴を利用し、奥行きレイヤＤ毎にシフト量を算出し、コストボリュームを内挿するので、効率的にコストボリュームを算出できる。
【0077】
［要素画像生成装置の構成］
図１を参照し、第３実施形態に係る要素画像生成装置３Ｃの構成について、第１実施形態と異なる点を説明する。
図１に示すように、要素画像生成装置３Ｃは、多視点画像入力手段３０と、パラメータ設定手段３１と、サンプリング点設定手段３２Ｃと、コストボリューム算出手段３３と、コストボリューム内挿手段３４Ｃと、光線色情報生成手段３５と、要素画像生成手段３６とを備える。
なお、サンプリング点設定手段３２Ｃ及びコストボリューム内挿手段３４Ｃ以外の構成は、第１実施形態と同様のため、説明を省略する。
図１を参照し、第３実施形態に係る要素画像生成装置３Ｃの構成について、第１実施形態と異なる点を説明する。
図１に示すように、要素画像生成装置３Ｃは、多視点画像入力手段３０と、パラメータ設定手段３１と、サンプリング点設定手段３２Ｃと、コストボリューム算出手段３３と、コストボリューム内挿手段３４Ｃと、光線色情報生成手段３５と、要素画像生成手段３６とを備える。
なお、サンプリング点設定手段３２Ｃ及びコストボリューム内挿手段３４Ｃ以外の構成は、第１実施形態と同様のため、説明を省略する。
【0078】
サンプリング点設定手段３２Ｃは、撮影空間内の奥行きレイヤ上において、視点位置毎の光線が１つの集光点Ｔに集光する透視投影レンズシフトのサンプリング点ＳＰが予め設定されるものである。
【0079】
透視投影レンズシフトにおいて、ある１視点の光線群について考える。この視点では、図１７に示すように、光線と奥行きレイヤＤとの交点がサンプリング点ＳＰとなり、サンプリング点ＳＰを中心に、コストが算出される。つまり、サンプリング点ＳＰは、ドットで図示した小領域の代表として機能する。
以上を考慮し、サンプリング点設定手段３２Ｃでは、視点位置毎に、各光線と奥行きレイヤＤとの交点をサンプリング点ＳＰとして設定すればよい。
以上を考慮し、サンプリング点設定手段３２Ｃでは、視点位置毎に、各光線と奥行きレイヤＤとの交点をサンプリング点ＳＰとして設定すればよい。
【0080】
コストボリューム内挿手段３４Ｃは、視点位置と内挿位置とのシフト量を奥行きレイヤＤ上で算出するものである。本実施形態では、コストボリューム内挿手段３４Ｃは、後記する式（４）及び式（５）を用いて、透視投影レンズシフトにおけるシフト量ｓを算出する。他の点、コストボリューム内挿手段３４Ｃは、第１実施形態と同様である。
【0081】
＜透視投影レンズシフトにおけるコストボリュームの内挿＞
図１９～図２１を参照し、透視投影レンズシフトにおけるコストボリュームの内挿を説明する。
仮想レンズアレイＬのレンズアレイ面ＬＰを基準にレンズアレイ座標系を設定し、このレンズアレイ座標系で考える。図１９に示すように、仮想レンズアレイＬに対する集光点Ｔの奥行き方向の位置をＷ、レンズアレイ面ＬＰに対する奥行きレイヤＤの奥行き方向の位置をｄとする。ここで、隣り合う仮想要素レンズｌを通り同一の集光点Ｔに集まる２本の光線について考える。この２本の光線の間隔ＰＰは、集光点Ｔからレンズアレイ面ＬＰに近づくに従って大きくなり、以下の式（４）で表される。
図１９～図２１を参照し、透視投影レンズシフトにおけるコストボリュームの内挿を説明する。
仮想レンズアレイＬのレンズアレイ面ＬＰを基準にレンズアレイ座標系を設定し、このレンズアレイ座標系で考える。図１９に示すように、仮想レンズアレイＬに対する集光点Ｔの奥行き方向の位置をＷ、レンズアレイ面ＬＰに対する奥行きレイヤＤの奥行き方向の位置をｄとする。ここで、隣り合う仮想要素レンズｌを通り同一の集光点Ｔに集まる２本の光線について考える。この２本の光線の間隔ＰＰは、集光点Ｔからレンズアレイ面ＬＰに近づくに従って大きくなり、以下の式（４）で表される。
【0082】
【数3】
【0083】
ここで、レンズアレイ面ＬＰ上におけるレンズピッチをｐとする。さらに、図２０に示すように、レンズアレイ面ＬＰ上で交差する視点Ａ，Ｂの光線ベクトルＶＡ，ＶＢについて考える。図２０において、集光点ＴＡ，ＴＢは、視点Ａ，Ｂそれぞれの集光点Ｔである。２本の光線ベクトルＶＡ，ＶＢのＺ軸成分が１となるように正規化し、その差分ベクトルＶＡ－Ｂの水平方向（Ｘ軸方向）の成分をｖ、その差分ベクトルＶＡ－Ｂの大きさを｜ｖ｜とする。この場合、各奥行きレイヤＤのシフト量ｓは、以下の式（５）で表される。
【0084】
【数4】
【0085】
コストボリューム内挿手段３４Ｃは、図２１に示すように、式（４）及び式（５）の演算を各奥行きレイヤＤ１～Ｄ５で行うことで、コストボリュームを内挿する。例えば、実線及び破線の光線群に対応する視点位置において、コストボリュームが既知であることとする。この場合、コストボリューム内挿手段３４Ｃは、既知の２視点分のコストボリュームから、一点鎖線の光線群に対応する視点位置のコストボリュームを内挿できる。
【0086】
［作用・効果］
以上のように、第３実施形態に係る要素画像生成装置３Ｃは、透視投影レンズシフトの光線構造において、シフト量に応じてコストボリュームを内挿するので、効率的にコストボリュームを算出し、コストボリュームの算出に要する膨大な演算量を低減することができる。
以上のように、第３実施形態に係る要素画像生成装置３Ｃは、透視投影レンズシフトの光線構造において、シフト量に応じてコストボリュームを内挿するので、効率的にコストボリュームを算出し、コストボリュームの算出に要する膨大な演算量を低減することができる。
【0087】
（第４実施形態）
［要素画像生成装置の構成］
図１３を参照し、第３実施形態に係る要素画像生成装置３Ｄの構成について、第２実施形態と異なる点を説明する。
要素画像生成装置３Ｄは、光線構造が透視投影レンズシフトである点が、第２実施形態と異なる。
［要素画像生成装置の構成］
図１３を参照し、第３実施形態に係る要素画像生成装置３Ｄの構成について、第２実施形態と異なる点を説明する。
要素画像生成装置３Ｄは、光線構造が透視投影レンズシフトである点が、第２実施形態と異なる。
【0088】
図１３に示すように、要素画像生成装置３Ｄは、多視点画像入力手段３０と、パラメータ設定手段３１Ｂと、サンプリング点設定手段３２Ｄと、コストボリューム算出手段３３と、コストボリューム補正手段３７Ｄと、光線色情報生成手段３５と、要素画像生成手段３６とを備える。
なお、サンプリング点設定手段３２Ｄ及びコストボリューム補正手段３７Ｄ以外の構成は、第２実施形態と同様のため、説明を省略する。
なお、サンプリング点設定手段３２Ｄ及びコストボリューム補正手段３７Ｄ以外の構成は、第２実施形態と同様のため、説明を省略する。
【0089】
サンプリング点設定手段３２Ｄは、図１のサンプリング点設定手段３２Ｃと同様、透視投影レンズシフトにおけるサンプリング点ＳＰが予め設定されるものである。サンプリング点設定手段３２Ｄは、第３実施形態と同様のため、これ以上の説明を省略する。
【0090】
コストボリューム補正手段３７Ｄは、透視投影レンズシフトにおいて、補正対象の視点位置同士のシフト量を奥行きレイヤＤ上で算出するものである。本実施形態では、コストボリューム補正手段３７Ｄは、図１のコストボリューム内挿手段３４Ｃと同様、前記した式（４）及び式（５）を用いて、透視投影レンズシフトにおけるシフト量ｓを算出する。他の点、コストボリューム補正手段３７Ｄは、第２実施形態と同様のため、これ以上の説明を省略する。
【0091】
以上のように、第４実施形態に係る要素画像生成装置３Ｄは、透視投影レンズシフトの光線構造において、シフト量に応じてコストボリュームを補正するので、高精度なコストボリュームを算出し、高品質な要素画像を生成することができる。
【0092】
（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、奥行きレイヤが５つであることとして説明したが、奥行きレイヤの数は特に制限されない。
前記した各実施形態では、水平方向のシフト量を説明したが、垂直方向についても同様にシフト量を算出できる。
以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、奥行きレイヤが５つであることとして説明したが、奥行きレイヤの数は特に制限されない。
前記した各実施形態では、水平方向のシフト量を説明したが、垂直方向についても同様にシフト量を算出できる。
【0093】
図３（ａ）に示すように、インテグラル立体方式では、奥行き方向において、仮想レンズアレイＬから前後に一定間隔で光線が集光する集光面Ｆが存在する。図３（ａ）では、奥行き方向における集光面Ｆの位置を図示した。この集光面Ｆでは、実線、一点鎖線及び破線の光線が交差、集光している。従って、パラメータ設定手段３１では、より正確な内挿が可能となるので、この集光面Ｆに奥行きレイヤＤを設定することが好ましい。
【0094】
前記した各実施形態では、本発明をインテグラル立体方式に適用する例で説明したが、これに限定されない。例えば、１つの視点が斜投影の光線となる立体方式（例えば、パララックスバリア立体方式）にも適用できる。
【0095】
前記した実施形態では、要素画像生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した要素画像生成装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0096】
１，１Ｂ～１Ｄ 立体画像生成システム
２ カメラアレイ
３，３Ｂ～３Ｄ要素画像生成装置（立体画像生成装置）
２０ 撮影カメラ
３０ 多視点画像入力手段
３１，３１Ｂ パラメータ設定手段
３２，３２Ｃ，３２Ｄ サンプリング点設定手段
３３ コストボリューム算出手段
３４，３４Ｃ コストボリューム内挿手段
３５ 光線色情報生成手段（光線情報生成手段）
３５Ａ 奥行きレイヤ推定手段
３５Ｂ 光線色情報取得手段
３６ 要素画像生成手段（立体画像生成手段）
３７，３７Ｄ コストボリューム補正手段
９，９１～９３ 被写体
Ａ，Ｂ，Ｃ 光線領域
ＣＭＡ，ＣＭＢ コストマップ
ＣＶＡ，ＣＶＢ，ＣＶＣ コストボリューム
Ｄ，Ｄ１～Ｄ５ 奥行きレイヤ
Ｅ，Ｅ１１，Ｅ１２，Ｅ２１ 要素画像
Ｌ 仮想レンズアレイ（仮想光学素子アレイ）
ＬＰ レンズアレイ面
ｌ 仮想要素レンズ（仮想光学素子）
Ｐ，Ｐ１１，Ｐ１２，Ｐ２１ 画像
ＳＰ サンプリング点
Ｔ，ＴＡ，ＴＢ 集光点
ＶＡ，ＶＢ 光線ベクトル
α 撮影空間
αＢ 奥側位置
αＦ 手前側位置
２ カメラアレイ
３，３Ｂ～３Ｄ要素画像生成装置（立体画像生成装置）
２０ 撮影カメラ
３０ 多視点画像入力手段
３１，３１Ｂ パラメータ設定手段
３２，３２Ｃ，３２Ｄ サンプリング点設定手段
３３ コストボリューム算出手段
３４，３４Ｃ コストボリューム内挿手段
３５ 光線色情報生成手段（光線情報生成手段）
３５Ａ 奥行きレイヤ推定手段
３５Ｂ 光線色情報取得手段
３６ 要素画像生成手段（立体画像生成手段）
３７，３７Ｄ コストボリューム補正手段
９，９１～９３ 被写体
Ａ，Ｂ，Ｃ 光線領域
ＣＭＡ，ＣＭＢ コストマップ
ＣＶＡ，ＣＶＢ，ＣＶＣ コストボリューム
Ｄ，Ｄ１～Ｄ５ 奥行きレイヤ
Ｅ，Ｅ１１，Ｅ１２，Ｅ２１ 要素画像
Ｌ 仮想レンズアレイ（仮想光学素子アレイ）
ＬＰ レンズアレイ面
ｌ 仮想要素レンズ（仮想光学素子）
Ｐ，Ｐ１１，Ｐ１２，Ｐ２１ 画像
ＳＰ サンプリング点
Ｔ，ＴＡ，ＴＢ 集光点
ＶＡ，ＶＢ 光線ベクトル
α 撮影空間
αＢ 奥側位置
αＦ 手前側位置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】