知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-20
(45)【発行日】2022-04-28
(54)【発明の名称】立体画像生成装置及びそのプログラム
(51)【国際特許分類】
H04N 13/128 20180101AFI20220421BHJP
H04N 13/232 20180101ALI20220421BHJP
H04N 13/307 20180101ALI20220421BHJP
H04N 13/243 20180101ALI20220421BHJP
H04N 5/247 20060101ALI20220421BHJP
H04N 5/225 20060101ALI20220421BHJP
H04N 5/232 20060101ALI20220421BHJP
G06T 19/00 20110101ALI20220421BHJP
【ＦＩ】
H04N13/128
H04N13/232
H04N13/307
H04N13/243
H04N5/247
H04N5/225 400
H04N5/232 290
G06T19/00 F
【請求項の数】
11
(21)【出願番号】P 2017201560
(22)【出願日】2017-10-18
(65)【公開番号】P2018133795
(43)【公開日】2018-08-23
【審査請求日】2020-09-02
(31)【優先権主張番号】P 2017026075
(32)【優先日】2017-02-15
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】日浦 人誌
(72)【発明者】
【氏名】洗井 淳
(72)【発明者】
【氏名】大久保 英彦
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開２０１４－１０７７５２（ＪＰ，Ａ）
【文献】特開２０１５－０４３１８７（ＪＰ，Ａ）
【文献】特開２０１６－０４５６４４（ＪＰ，Ａ）
【文献】特開２０１５－０９４８３１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００
Ｈ０４Ｎ ５／２２２
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
１以上の撮像カメラを備える撮像カメラアレイが撮像した被写体画像から、複数の光学素子を配列した光学素子アレイ及び表示素子を備える立体画像表示装置が表示する立体像の奥行きに応じて、前記立体画像表示装置が表示する要素画像群を生成する立体画像生成装置であって、前記立体画像表示装置の奥行き最大表示距離と、前記光学素子の焦点距離と、前記要素画像群を構成する要素画像の中心画素から前記撮像カメラ毎の計算対象画素までの画素間距離と、前記光学素子アレイから後方奥行き最大表示位置までの差分距離と、前記撮像カメラが備える撮像素子のサイズと、前記表示素子のサイズとを入力するパラメータ入力手段と、
前記奥行き最大表示距離と、前記光学素子の焦点距離と、前記画素間距離とに基づいて、前記撮像カメラの位置を算出する位置算出手段と、
前記画素間距離と、前記差分距離と、前記光学素子の焦点距離と、前記撮像素子のサイズと、前記表示素子のサイズとに基づいて、前記撮像カメラが備える撮像レンズと前記撮像素子との軸ずれ量を算出する軸ずれ量算出手段と、
前記位置算出手段が算出した位置に前記撮像カメラを移動させ、前記軸ずれ量算出手段が算出した軸ずれ量だけ前記撮像レンズと前記撮像素子とをずらす撮像カメラ制御手段と、
前記撮像カメラアレイが撮像した被写体画像から前記要素画像群を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。
【請求項2】
前記奥行き最大表示距離と前記差分距離との和である合計距離と、前記光学素子アレイより前記合計距離だけ離れた位置から前記光学素子アレイの反対側に位置する仮想的な光学素子アレイまでの距離との比である倍率を算出する倍率算出手段、をさらに備え、前記撮像カメラ制御手段は、隣接する前記撮像カメラの間隔を前記倍率だけ変更するように前記位置算出手段が算出した位置を修正し、修正した当該位置に前記撮像カメラを移動させ、前記軸ずれ量算出手段が算出した軸ずれ量に前記倍率を乗じた値だけ前記撮像レンズと前記撮像素子とをずらすことを特徴とする請求項１に記載の立体画像生成装置。
【請求項3】
仮想的な撮像カメラを配列した仮想的な撮像カメラアレイを介して生成した被写体画像から、複数の光学素子を配列した光学素子アレイ及び表示素子を備える立体画像表示装置の奥行きに応じて、前記立体画像表示装置が表示する要素画像群を生成する立体画像生成装置であって、前記立体画像表示装置の奥行き最大表示距離と、前記光学素子の焦点距離と、前記要素画像群を構成する要素画像の中心画素から前記撮像カメラ毎の計算対象画素までの画素間距離と、前記光学素子アレイから後方奥行き最大表示位置までの差分距離と、前記撮像カメラが備える撮像素子のサイズと、前記表示素子のサイズとを入力するパラメータ入力手段と、
前記奥行き最大表示距離と、前記光学素子の焦点距離と、前記画素間距離とに基づいて、前記撮像カメラの位置を算出する位置算出手段と、
前記画素間距離と、前記差分距離と、前記光学素子の焦点距離と、前記撮像素子のサイズと、前記表示素子のサイズとに基づいて、前記撮像カメラが備える撮像レンズと前記撮像素子との軸ずれ量を算出する軸ずれ量算出手段と、
前記位置算出手段が算出した位置及び前記軸ずれ量算出手段が算出した軸ずれ量で前記仮想的な撮像カメラを設定する撮像カメラ制御手段と、
前記撮像カメラアレイを介して前記被写体画像を生成し、当該被写体画像から前記要素画像群を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。
【請求項4】
仮想的な撮像カメラを配列した仮想的な撮像カメラアレイを介して生成した被写体画像から、複数の光学素子を配列した光学素子アレイ及び表示素子を備える立体画像表示装置の奥行きに応じて、前記立体画像表示装置が表示する要素画像群を生成する立体画像生成装置であって、前記立体画像表示装置の奥行き最大表示距離と、前記光学素子の焦点距離と、前記要素画像群を構成する要素画像の中心画素から前記撮像カメラ毎の計算対象画素までの画素間距離と、前記光学素子アレイから後方奥行き最大表示位置までの差分距離と、前記撮像カメラが備える撮像素子のサイズと、前記表示素子のサイズとを入力するパラメータ入力手段と、
前記奥行き最大表示距離と、前記光学素子の焦点距離と、前記画素間距離とに基づいて、前記撮像カメラの位置を算出する位置算出手段と、
前記画素間距離と、前記差分距離と、前記光学素子の焦点距離と、前記撮像素子のサイズと、前記表示素子のサイズとに基づいて、前記撮像カメラが備える撮像レンズと前記撮像素子との軸ずれ量を算出する軸ずれ量算出手段と、
前記位置算出手段が算出した位置に前記仮想的な撮像カメラを設定する撮像カメラ制御手段と、
前記撮像カメラアレイを介して前記被写体画像を生成し、当該被写体画像から前記軸ずれ量に応じた画素位置の画素値を取得して前記要素画像群を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。
【請求項5】
前記奥行き最大表示距離と前記差分距離との和である合計距離と、前記光学素子アレイより前記合計距離だけ離れた位置から前記光学素子アレイの反対側に位置する仮想的な光学素子アレイまでの距離との比である倍率を算出する倍率算出手段、をさらに備え、前記立体画像生成手段は、前記被写体画像に含まれる被写体のサイズに前記倍率を乗じて前記要素画像群を生成することを特徴とする請求項３又は請求項４に記載の立体画像生成装置。
【請求項6】
１以上の撮像カメラを備える撮像カメラアレイが撮像した被写体画像から、複数の光学素子を配列した光学素子アレイ及び表示素子を備える立体画像表示装置の奥行きに応じて、前記立体画像表示装置が表示する要素画像群を生成する立体画像生成装置であって、前記立体画像表示装置の奥行き最大表示距離と、前記光学素子の焦点距離と、前記要素画像群を構成する要素画像の中心画素から前記撮像カメラ毎の計算対象画素までの画素間距離と、前記光学素子アレイから後方奥行き最大表示位置までの差分距離と、前記撮像カメラが備える撮像素子のサイズと、前記表示素子のサイズとを入力するパラメータ入力手段と、
前記奥行き最大表示距離と、前記光学素子の焦点距離と、前記画素間距離とに基づいて、前記撮像カメラの位置を算出する位置算出手段と、
前記画素間距離と、前記差分距離と、前記光学素子の焦点距離と、前記撮像素子のサイズと、前記表示素子のサイズとに基づいて、前記撮像カメラが備える撮像レンズと前記撮像素子との軸ずれ量を算出する軸ずれ量算出手段と、
前記位置算出手段が算出した位置に前記撮像カメラを移動させる撮像カメラ制御手段と、
前記撮像カメラアレイが撮像した被写体画像から前記軸ずれ量に応じた画素位置の画素値を取得して前記要素画像群を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。
【請求項7】
前記奥行き最大表示距離と前記差分距離との和である合計距離と、前記光学素子アレイより前記合計距離だけ離れた位置から前記光学素子アレイの反対側に位置する仮想的な光学素子アレイまでの距離との比である倍率を算出する倍率算出手段、をさらに備え、前記撮像カメラ制御手段は、隣接する前記撮像カメラの間隔を前記倍率だけ変更するように前記位置算出手段が算出した位置を修正し、修正した当該位置に前記撮像カメラを移動させ、
前記立体画像生成手段は、前記軸ずれ量に前記倍率を乗じた値だけ前記画素位置を変更することを特徴とする請求項６に記載の立体画像生成装置。
【請求項8】
前記撮像カメラアレイは、前記表示素子のサブピクセルで構成された画素単位のグループで、前記サブピクセルのうち予め定めた基準色の撮像カメラと、前記基準色以外の参照色の撮像カメラとを配列し、前記基準色の撮像カメラで撮像した被写体画像の基準色の画素位置情報に、前記参照色の撮像カメラで撮像した被写体画像の参照色の画素位置情報を統合することで、前記グループ毎に１つの前記被写体画像を生成する画素位置修正手段、をさらに備え、
前記立体画像生成手段は、前記画素位置修正手段が生成した被写体画像から前記要素画像群を生成することを特徴とする請求項１から請求項７の何れか一項に記載の立体画像生成装置。
【請求項9】
前記撮像カメラアレイは、前記表示素子のサブピクセルに対応するように前記撮像カメラを配列し、前記撮像カメラで撮像した被写体画像における前記サブピクセルのうち予め定めた基準色の画素位置情報に、当該撮像カメラに隣接する他の撮像カメラで撮像した被写体画像における前記基準色以外の参照色の画素位置情報を統合することで、前記撮像カメラ毎に１つの前記被写体画像を生成する画素位置修正手段、をさらに備え、
前記立体画像生成手段は、前記画素位置修正手段が生成した被写体画像から前記要素画像群を生成し、
前記立体画像生成手段が生成したサブピクセル単位の要素画像群を、前記サブピクセルで構成された画素単位の縮小要素画像群に縮小して前記立体画像表示装置に出力する画像縮小手段、をさらに備えることを特徴とする請求項１から請求項７の何れか一項に記載の立体画像生成装置。
【請求項10】
前記撮像カメラアレイは、前記表示素子のサブピクセルに対応するように前記撮像カメラを配列し、前記立体画像生成手段が生成した要素画像群の注目画素における前記サブピクセルのうち予め定めた基準色の画素値と、当該注目画素に隣接する隣接画素における前記基準色以外の参照色の画素値とを、縮小後要素画像群における注目画素の基準色及び参照色の画素値とすることで、前記立体画像生成手段が生成したサブピクセル単位の要素画像群を前記サブピクセルで構成された画素単位の縮小要素画像群に縮小して前記立体画像表示装置に出力する画像縮小手段、をさらに備えることを特徴とする請求項１から請求項７の何れか一項に記載の立体画像生成装置。
【請求項11】
コンピュータを、請求項１から請求項１０の何れか一項に記載の立体画像生成装置として機能させるための立体画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体画像表示装置の奥行きに応じて、被写体画像から立体画像表示装置が表示する要素画像群を生成する立体画像生成装置及びそのプログラムに関する。
【背景技術】
【0002】
従来のインテグラルフォトグラフィ（ＩＰ）方式では、１台のカメラで複数の微小レンズが配列されたレンズアレイを通して被写体を撮像する。このとき、カメラがレンズアレイの焦平面を撮像するため、レンズアレイを構成する各微小レンズは、微小なカメラと同じ働きをする。その結果、レンズアレイ越しに被写体を撮像した画像は、微小レンズの位置に応じた微小画像（要素画像）が並んだ要素画像群となる。要素画像群は、被写体からの光線情報を記憶した画像であり、記憶できる光線数がカメラの解像度に依存する。このため、ＩＰ方式での撮像には、高解像度のカメラが必要となる。また、撮像光学系の色収差や歪みによる影響を補正する必要もある。
【0003】
また、従来から、コンピュータグラフィックス（ＣＧ）を用いて、ＩＰ方式の要素画像群を生成する技術が研究されている。従来技術では、計算機内で仮想３次元空間を生成し、３次元の被写体及び背景（セット）を実世界と同様に再現し、その仮想３次元空間において被写体からの光線を追跡することで、要素画像群を生成する。ＣＧによる要素画像を生成する手法として、下記の特許文献１，２及び非特許文献１，２に記載の手法が知られている。これらの要素画像生成手法は、被写体からの光線を制御する奥行き制御レンズを通して、被写体からの光線を追跡するものである。これらの手法では、要素画像群の画素数の回数だけ観察者側からカメラで撮像する必要がある。すなわち、非特許文献１の要素画像生成手法は、１画素毎に光線追跡法を用いるので、１画素毎に撮像を行うカメラと同等であり、撮像回数が要素画像群の画素数と同じになる。そこで、さらなる高速化のため、従来技術として、ＣＧオブジェクトを正射影によるカメラで撮像し、これらの画像を要素画像群に変換する手法も知られている（特許文献３、非特許文献３）。このような要素画像変換手法では、カメラで撮像する回数が要素画像を形成する画素数で済む。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第４５６７４２２号公報
【文献】国際公開第００／０５９２３５号
【文献】特開２０１１－２３４１４２号公報
【非特許文献】
【0005】
【文献】Spyros S. Athineos et al.,“Physical modeling of a microlens array setup for use in computer generated ＩＰ,”Proc of SPIE-IS&T Electronic Imaging,Vol.5664 pp.472-479,2005
【文献】中島勧他,“Integral Photographyの原理を用いた３次元ディスプレイの画像高速作成法”,映像情報メディア学会誌 Vol. 54, No. 3, pp.420-425 (2000)
【文献】M. Katayama et al., “A method for converting three-dimensional models into auto-stereoscopic images based on integral photography,” Proc of SPIE-IS&T Vol.6805 68050Z-1 68050Z-8
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、ＩＰ方式では、立体像が表示装置のレンズアレイから奥行き方向に離れるほど、立体像の解像度が低下する。このため、ＩＰ方式では、表示装置で十分な解像度が得られる範囲内に立体像の奥行きを圧縮した方がよい。しかしながら、前記した従来技術では、立体像の奥行きを圧縮していないという問題がある。
【0007】
そこで、本発明は、立体像の奥行きを圧縮できる立体画像生成装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
前記した課題に鑑みて、本発明に係る立体画像生成装置は、１以上の撮像カメラを備える撮像カメラアレイが撮像した被写体画像から、複数の光学素子を配列した光学素子アレイ及び表示素子を備える立体画像表示装置が表示する立体像の奥行きに応じて、立体画像表示装置が表示する要素画像群を生成する立体画像生成装置であって、パラメータ入力手段と、位置算出手段と、軸ずれ量算出手段と、撮像カメラ制御手段と、立体画像生成手段と、を備える構成とした。
【0009】
かかる構成によれば、立体画像生成装置は、パラメータ入力手段によって、立体画像表示装置の奥行き最大表示距離と、光学素子の焦点距離と、要素画像群を構成する要素画像の中心画素から撮像カメラ毎の計算対象画素までの画素間距離と、光学素子アレイから後方奥行き最大表示位置までの差分距離と、撮像カメラが備える撮像素子のサイズと、表示素子のサイズとを入力する。
【0010】
立体画像生成装置は、位置算出手段によって、奥行き最大表示距離と、光学素子の焦点距離と、画素間距離とに基づいて、撮像カメラの位置を算出する。
立体画像生成装置は、軸ずれ量算出手段によって、画素間距離と、差分距離と、光学素子の焦点距離と、撮像素子のサイズと、表示素子のサイズとに基づいて、撮像カメラが備える撮像レンズと撮像素子との軸ずれ量を算出する。
立体画像生成装置は、軸ずれ量算出手段によって、画素間距離と、差分距離と、光学素子の焦点距離と、撮像素子のサイズと、表示素子のサイズとに基づいて、撮像カメラが備える撮像レンズと撮像素子との軸ずれ量を算出する。
【0011】
立体画像生成装置は、撮像カメラ制御手段によって、位置算出手段が算出した位置に撮像カメラを移動させ、軸ずれ量算出手段が算出した軸ずれ量だけ撮像レンズと撮像素子とをずらす。
立体画像生成装置は、立体画像生成手段によって、撮像カメラアレイが撮像した被写体画像から要素画像群を生成する。
このように、立体画像生成装置は、撮像カメラが備える撮像レンズの光軸と撮像素子の中心軸とをずらすことで、立体画像の奥行きを圧縮することができる。
立体画像生成装置は、立体画像生成手段によって、撮像カメラアレイが撮像した被写体画像から要素画像群を生成する。
このように、立体画像生成装置は、撮像カメラが備える撮像レンズの光軸と撮像素子の中心軸とをずらすことで、立体画像の奥行きを圧縮することができる。
【0012】
また、前記した課題に鑑みて、本発明に係る立体画像生成装置は、仮想的な撮像カメラを配列した仮想的な撮像カメラアレイを介して生成した被写体画像から、複数の光学素子を配列した光学素子アレイ及び表示素子を備える立体画像表示装置の奥行きに応じて、立体画像表示装置が表示する要素画像群を生成する立体画像生成装置であって、パラメータ入力手段と、位置算出手段と、軸ずれ量算出手段と、撮像カメラ制御手段と、立体画像生成手段と、を備える構成とした。
【0013】
かかる構成によれば、立体画像生成装置は、パラメータ入力手段によって、立体画像表示装置の奥行き最大表示距離と、光学素子の焦点距離と、要素画像群を構成する要素画像の中心画素から撮像カメラ毎の計算対象画素までの画素間距離と、光学素子アレイから後方奥行き最大表示位置までの差分距離と、撮像カメラが備える撮像素子のサイズと、表示素子のサイズとを入力する。
【0014】
立体画像生成装置は、位置算出手段によって、奥行き最大表示距離と、光学素子の焦点距離と、画素間距離とに基づいて、撮像カメラの位置を算出する。
立体画像生成装置は、軸ずれ量算出手段によって、画素間距離と、差分距離と、光学素子の焦点距離と、撮像素子のサイズと、表示素子のサイズとに基づいて、撮像カメラが備える撮像レンズと撮像素子との軸ずれ量を算出する。
立体画像生成装置は、軸ずれ量算出手段によって、画素間距離と、差分距離と、光学素子の焦点距離と、撮像素子のサイズと、表示素子のサイズとに基づいて、撮像カメラが備える撮像レンズと撮像素子との軸ずれ量を算出する。
【0015】
立体画像生成装置は、撮像カメラ制御手段によって、位置算出手段が算出した位置及び軸ずれ量算出手段が算出した軸ずれ量で仮想的な撮像カメラを設定する。
立体画像生成装置は、立体画像生成手段によって、撮像カメラアレイを介して被写体画像を生成し、被写体画像から要素画像群を生成する。
このように、立体画像生成装置は、仮想的な撮像カメラが備える撮像レンズの光軸と撮像素子との中心軸をずらすことで、立体画像の奥行きを圧縮することができる。
立体画像生成装置は、立体画像生成手段によって、撮像カメラアレイを介して被写体画像を生成し、被写体画像から要素画像群を生成する。
このように、立体画像生成装置は、仮想的な撮像カメラが備える撮像レンズの光軸と撮像素子との中心軸をずらすことで、立体画像の奥行きを圧縮することができる。
【0016】
ここで、立体画像生成装置は、撮像レンズと撮像素子とをずらす代わりに、被写体画像から軸ずれ量に応じた画素位置の画素値を取得して要素画像群を生成してもよい（請求項４，６）。
このように、立体画像生成装置は、撮像カメラが備える撮像レンズの光軸と撮像素子の中心軸とをずらしたのと同等の処理を行うことで、立体画像の奥行きを圧縮することができる。
このように、立体画像生成装置は、撮像カメラが備える撮像レンズの光軸と撮像素子の中心軸とをずらしたのと同等の処理を行うことで、立体画像の奥行きを圧縮することができる。
【発明の効果】
【0017】
本発明によれば、以下のような優れた効果を奏する。
本発明に係る立体画像生成装置は、撮像レンズの光軸と撮像素子の中心軸とをずらした撮像カメラアレイで取得した複数の被写体画像から、立体像の奥行きを圧縮した要素画像群を生成するので、立体画像表示装置が解像度の高い奥行き範囲で立体像を表示することができる。
本発明に係る立体画像生成装置は、撮像レンズの光軸と撮像素子の中心軸とをずらした撮像カメラアレイで取得した複数の被写体画像から、立体像の奥行きを圧縮した要素画像群を生成するので、立体画像表示装置が解像度の高い奥行き範囲で立体像を表示することができる。
【0018】
さらに、本発明に係る立体画像生成装置は、被写体画像から軸ずれ量に応じた画素位置の画素値を取得し、立体像の奥行きを圧縮した要素画像群を生成するので、立体画像表示装置が解像度の高い奥行き範囲で立体像を表示することができる。
【図面の簡単な説明】
【0019】
【図1】立体画像表示装置の概略を示す概略構成図である。
【図2】立体画像撮像装置の概略を示す概略構成図である。
【図10】仮想的なレンズアレイの配置を説明する説明図である。
【図11】（ａ）～（ｄ）は撮像素子に入射する光線を説明する図である。
【図12】奥行き制御レンズによる非線形圧縮特性を表したグラフである。
【図13】第１実施形態において、軸ずれによる奥行きの圧縮を説明する説明図である。
【図14】第１実施形態において、軸ずれによる奥行きの圧縮を説明する説明図である。
【図15】第１実施形態に係る立体画像表示システムの構成を示すブロック図である。
【図16】第１実施形態において、撮像カメラアレイの外観を示す外観図である。
【図17】第１実施形態において、撮像カメラの軸ずれを説明する説明図であり、（ａ）は軸ずれが無いときの図であり、（ｂ）は軸ずれが有るときの図である。
【図19】第２実施形態に係る立体画像表示システムの構成を示すブロック図である。
【図21】第３実施形態において、撮像カメラアレイの外観を示す外観図である。
【図22】第３実施形態に係る立体画像表示システムの処理概要を説明する説明図である。
【図23】第３実施形態に係る立体画像表示システムの構成を示すブロック図である。
【図24】第３実施形態において、軸ずれ量を考慮した画素位置の画素値の取得を説明する説明図であり、（ａ）は軸ずれが無いときの図であり、（ｂ）は軸ずれが有るときの図である。
【図26】第４実施形態に係る立体画像表示システムの構成を示すブロック図である。
【図28】第５実施形態に係る立体画像表示システムの処理概要を説明する説明図である。
【図29】第７実施形態に係る立体画像表示システムの処理概要を説明する説明図である。
【図30】第７実施形態に係る立体画像表示システムの構成を示すブロック図である。
【図32】第８実施形態に係る立体画像表示システムの構成を示すブロック図である。
【図34】第９実施形態に係る立体画像表示システムの処理概要を説明する説明図である。
【図35】第９実施形態に係る立体画像表示システムの構成を示すブロック図である。
【図36】第９実施形態において、サブピクセルを考慮したダウンサンプリングを説明する説明図である。
【図38】第１０実施形態に係る立体画像表示システムの構成を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び処理には同一の符号を付し、説明を省略した。
本実施形態では、奥行きの圧縮原理を説明した後、立体画像表示システムについて説明する。
本実施形態では、奥行きの圧縮原理を説明した後、立体画像表示システムについて説明する。
【0021】
（第１実施形態）
［奥行きの圧縮原理］
以下、奥行きの圧縮原理として、立体画像表示装置と立体画像撮像装置との関係、撮像カメラによる置換、立体画像撮像装置の非線形圧縮特性、軸ずれによる奥行きの圧縮について、順に説明する。
［奥行きの圧縮原理］
以下、奥行きの圧縮原理として、立体画像表示装置と立体画像撮像装置との関係、撮像カメラによる置換、立体画像撮像装置の非線形圧縮特性、軸ずれによる奥行きの圧縮について、順に説明する。
【0022】
＜立体画像表示装置と立体画像撮像装置との関係＞
立体画像表示装置１０は、被写体αの立体像をＩＰ方式で表示するディスプレイである。例えば、立体画像表示装置１０は、図１に示すように、表示素子１１と、表示用レンズアレイ１２とを備える。
立体画像表示装置１０は、被写体αの立体像をＩＰ方式で表示するディスプレイである。例えば、立体画像表示装置１０は、図１に示すように、表示素子１１と、表示用レンズアレイ１２とを備える。
【0023】
表示素子１１は、表示用レンズアレイ１２を介して、要素画像群（立体画像）を表示するものである。
表示用レンズアレイ１２は、表示用要素レンズ１３（例えば、微小な凸レンズ）を２次元状に配列したものである。
表示用レンズアレイ１２は、表示用要素レンズ１３（例えば、微小な凸レンズ）を２次元状に配列したものである。
【0024】
図２に示すように、立体画像撮像装置９０は、被写体αをＩＰ方式で撮像するカメラであり、撮像素子９１と、撮像用レンズアレイ９２と、奥行き制御レンズ９４とを備える。ここで、立体画像撮像装置９０は、撮像素子９１の前面に撮像用レンズアレイ９２を配置し、撮像用レンズアレイ９２と被写体αとの間に奥行き制御レンズ９４を配置する。
【0025】
撮像素子９１は、撮像用レンズアレイ９２及び奥行き制御レンズ９４を介して、要素画像群を撮像する一般的な撮像素子である。この撮像素子９１は、後記する撮像用要素レンズ９３の焦点距離ＬＡｆに位置する。
撮像用レンズアレイ９２は、撮像用要素レンズ９３（例えば、微小な凸レンズ）を２次元状に配列したものである。
奥行き制御レンズ９４は、一般的な凸レンズである。奥行き制御レンズ９４の焦点距離をＤｆとする。ここで、焦点距離Ｄｆには、撮像用レンズアレイ９２が位置する。
撮像用レンズアレイ９２は、撮像用要素レンズ９３（例えば、微小な凸レンズ）を２次元状に配列したものである。
奥行き制御レンズ９４は、一般的な凸レンズである。奥行き制御レンズ９４の焦点距離をＤｆとする。ここで、焦点距離Ｄｆには、撮像用レンズアレイ９２が位置する。
【0026】
立体画像撮像装置９０は、高画質な立体画像を撮像するため、画素数が多い撮像素子９１と、高密度な撮像用レンズアレイ９２とが必要になる。また、立体画像撮像装置９０は、広範囲を撮像するためには、大口径、かつ、短焦点の奥行き制御レンズ９４が必要になる。このように、立体画像撮像装置９０の制約が大きいので、立体画像撮像装置９０を１台以上の一般的な撮像カメラ２１（図１７）で置換する手法を検討する。
【0027】
立体画像表示装置１０及び立体画像撮像装置９０は、奥行き制御レンズ９４の有無が大きく異なる。一方、表示素子１１及び撮像素子９１のサイズの比と、表示用レンズアレイ１２及び撮像用レンズアレイ９２の間隔及び焦点距離の比とは、通常同一となる。このような関係により、奥行き制御レンズ９４を備えない立体画像表示装置１０のパラメータを、立体画像撮像装置９０のパラメータとして扱うことができる。
【0028】
＜撮像カメラによる置換＞
図３には、被写体αからの光線を撮像素子９１が取得する様子を図示した。なお、図３では、説明を分かり易くするため、各撮像用要素レンズ９３の主点を通過する光線のみを図示すると共に、光線を撮像素子９１から被写体αの方向の矢印で図示した（図４～図９も同様）。
図３には、被写体αからの光線を撮像素子９１が取得する様子を図示した。なお、図３では、説明を分かり易くするため、各撮像用要素レンズ９３の主点を通過する光線のみを図示すると共に、光線を撮像素子９１から被写体αの方向の矢印で図示した（図４～図９も同様）。
【0029】
撮像用レンズアレイ９２のレンズ間隔ＬＡｐが、撮像素子９１の画素間隔ＰｌＸｐの整数倍であることとする。図３に示すように、撮像素子９１の各画素に入射する光線は、奥行き制御レンズ９４の被写体α側の主平面βで交わる点が存在する。従って、撮像素子９１が撮像する各要素画像で一番下の画素は、図４に示すような光線群が入射する。また、撮像素子９１が撮像する各要素画像で中心の画素は、図５に示すような光線群が入射する。さらに、撮像素子９１が撮像する各要素画像で一番上の画素は、図６に示すような光線群が入射する。
【0030】
ここで、図４に着目すると、奥行き制御レンズ９４の被写体α側の主平面βにおいて、光線が一点で交わっている。図７に示すように、撮像カメラ２１が備える撮像レンズ２７の主点と前記交点とが一致するように撮像カメラ２１を配置することで、各要素画像内の一番下の画素に入射する光線を１台の撮像カメラ２１で撮像できる。各要素画像内で一番下以外の画素に入射する光線も、一番下の画素と同様、それぞれ、１台の撮像カメラ２１で撮像できる。
【0031】
また、撮像カメラ２１の台数は、要素画像の画素数に依存する。例えば、要素画像が縦１０画素、横１０画素、計１００画素の場合、立体画像撮像装置９０を１００台の撮像カメラ２１で置換できる。図８では、各要素画像内の一番下、中央及び一番上の画素で説明したので、立体画像撮像装置９０を３台の撮像カメラ２１で置換している。
【0032】
＜立体画像撮像装置の非線形圧縮特性＞
立体画像の奥行きを圧縮（圧縮）するには、図９に示すように、撮像素子９１及び撮像用レンズアレイ９２を、奥行き制御レンズ９４の撮像素子９１側の主平面γよりもΔｆだけ離す。この主平面γからの距離Δｆに応じて、立体画像の奥行きが圧縮される。
立体画像の奥行きを圧縮（圧縮）するには、図９に示すように、撮像素子９１及び撮像用レンズアレイ９２を、奥行き制御レンズ９４の撮像素子９１側の主平面γよりもΔｆだけ離す。この主平面γからの距離Δｆに応じて、立体画像の奥行きが圧縮される。
【0033】
図１０に示すように、立体画像撮像装置９０は、奥行き制御レンズ９４を挟んで撮像用レンズアレイ９２の反対側に、奥行き制御レンズ９４により仮想的なレンズアレイ（仮想レンズアレイ）９５が生成される。奥行き制御レンズ９４から仮想レンズアレイ９５までの距離をＡとする。また、奥行き制御レンズ９４から撮像用レンズアレイ９２までの距離をＢとする。
【0034】
図１１に示すように、主平面γからの距離Δｆを奥行き制御レンズ９４の焦点距離Ｄｆの１．２５倍、１．５倍、１．７５倍、２．０倍に変更したときの光線群を図示した。図１１では、横軸が奥行き方向の位置を表し、縦軸が垂直方向の位置を表す。また、横軸の０が撮像素子９１の奥行き位置であり、縦軸の０が撮像素子９１で一番下の画素位置である。
【0035】
距離Ａ，Ｂは、主平面γからの距離Δｆが０から焦点距離Ｄｆまでの間で変化するとき、下記の式（１）で求めることができる。
【0036】
【数1】
【0037】
図１２に示すように、距離Ａ，Ｂの関係から、奥行き制御レンズ９４による非線形圧縮特性を求めることができる。図１２のグラフでは、横軸が、距離Ａを焦点距離Ｄｆで正規化した値を表し、縦軸が、距離Ｂを焦点距離Ｄｆで正規化した値を表す。
【0038】
図１２のグラフは、奥行き制御レンズ９４を基準として、被写体α側で焦点距離Ｄｆの２倍の位置（距離Ａ＝２．０）に被写体αの中心が配置されるとき、撮像素子９１側で焦点距離Ｄｆの２倍の位置（距離Ｂ＝２．０）に被写体αの光学像の中心が形成されることを表す。また、図１２のグラフは、奥行き制御レンズ９４を基準として、被写体α側で焦点距離Ｄｆの３倍の位置（距離Ａ＝３．０）に被写体αの中心が配置されるとき、撮像素子９１側で焦点距離Ｄｆの１．５倍の位置（距離Ｂ＝１．５）に被写体αの光学像の中心が形成されることを表す。
【0039】
つまり、被写体αの光学像の表示位置は、奥行き制御レンズ９４から撮像用レンズアレイ９２までの距離に依存する。これにより、被写体α側で無限大の位置から焦点距離Ｄｆの位置（主平面β）までの範囲（距離Ａ－焦点距離Ｄｆの範囲）は、撮像素子９１の側では、焦点距離Ｄｆの位置（主平面γ）から焦点距離Ｄｆの２倍の位置までの範囲に収まる。言い換えるなら、立体画像撮像装置９０において、無限大の空間を焦点距離Ｄｆの範囲に圧縮できる。このため、奥行き制御レンズ９４の焦点距離Ｄｆ及び主平面γからの距離Δｆを調整することで、立体画像表示装置１０で解像度が高い範囲に立体像の奥行きを圧縮できる。
【0040】
＜軸ずれによる奥行きの圧縮＞
図１３に示すように、奥行き制御レンズ９４から撮像用レンズアレイ９２までの距離がＬ１の場合を考える。この場合、各要素画像内の一番上の画素に入射する光線は、主平面β上の点Ｐを角度θで通過する。
図１４に示すように、奥行き制御レンズ９４から撮像用レンズアレイ９２までの距離がＬ２の場合を考える（ここでは、距離Ｌ１＜距離Ｌ２）。この場合、各要素画像内の一番上の画素に入射する光線は、主平面β上で同一点Ｐを角度φで通過する。なお、角度θ，φは、光線と立体画像撮像装置９０の光軸とのなす角である（θ≠φ）。
図１３に示すように、奥行き制御レンズ９４から撮像用レンズアレイ９２までの距離がＬ１の場合を考える。この場合、各要素画像内の一番上の画素に入射する光線は、主平面β上の点Ｐを角度θで通過する。
図１４に示すように、奥行き制御レンズ９４から撮像用レンズアレイ９２までの距離がＬ２の場合を考える（ここでは、距離Ｌ１＜距離Ｌ２）。この場合、各要素画像内の一番上の画素に入射する光線は、主平面β上で同一点Ｐを角度φで通過する。なお、角度θ，φは、光線と立体画像撮像装置９０の光軸とのなす角である（θ≠φ）。
【0041】
ここで、奥行き制御レンズ９４から撮像用レンズアレイ９２までの距離をＬ１からＬ２に変化させた場合、奥行き制御レンズ９４を通過後、各要素画像内の一番上の画素に入射する光線の角度θから角度φに変化する。つまり、奥行き制御レンズ９４から撮像用レンズアレイ９２までの距離Ｌ１，Ｌ２の変化が角度θ，φの変化として表れ、この角度θ，φの変化に応じて、立体画像撮像装置９０の撮影範囲（画角）が変化する。
【0042】
一方、立体画像表示装置１０（図１）は、奥行き制御レンズ９４を備えないので、立体画像撮像装置９０のような光線の角度変化が発生しない。このため、焦点距離Ｄｆに位置する主平面β上で撮像カメラ２１の軸をずらすことで、立体像の奥行きを圧縮できる。
【0043】
以上説明した奥行きの圧縮原理をまとめると、以下のとおりである。
立体画像撮像装置９０の距離Δｆを調整することで立体像の奥行きを圧縮できる。また、立体画像撮像装置９０を１台以上の撮像カメラ２１で置換できると共に、撮像カメラ２１の軸をずらすことで、立体画像撮像装置９０で距離Δｆを調整したときと同様、立体像の奥行き圧縮の効果が得られる。そして、立体画像表示装置１０のパラメータを、立体画像撮像装置９０のパラメータとして扱って、撮像カメラ２１の軸ずれを計算できる。
立体画像撮像装置９０の距離Δｆを調整することで立体像の奥行きを圧縮できる。また、立体画像撮像装置９０を１台以上の撮像カメラ２１で置換できると共に、撮像カメラ２１の軸をずらすことで、立体画像撮像装置９０で距離Δｆを調整したときと同様、立体像の奥行き圧縮の効果が得られる。そして、立体画像表示装置１０のパラメータを、立体画像撮像装置９０のパラメータとして扱って、撮像カメラ２１の軸ずれを計算できる。
【0044】
［立体画像表示システム］
図１５を参照し、本発明の第１実施形態に係る立体画像表示システム１について説明する。
立体画像表示システム１は、被写体αの立体像を表示するものであり、図１５に示すように、立体画像表示装置１０と、撮像カメラアレイ２０と、立体画像生成装置３０と、を備える。
図１５を参照し、本発明の第１実施形態に係る立体画像表示システム１について説明する。
立体画像表示システム１は、被写体αの立体像を表示するものであり、図１５に示すように、立体画像表示装置１０と、撮像カメラアレイ２０と、立体画像生成装置３０と、を備える。
【0045】
撮像カメラアレイ２０は、複数の撮像カメラ２１を配列したものである。本実施形態では、撮像カメラアレイ２０は、図１６に示すように、縦に１０台、横に１０台、合計１００台の撮像カメラ２１を２次元状に配列している。なお、図１６では、図面を見やすくするため、一部撮像カメラ２１の図示を省略した。
【0046】
撮像カメラアレイ２０は、立体画像生成装置３０（撮像カメラ制御手段３５）からの指令に応じて、各撮像カメラ２１の位置（水平方向、垂直方向及び奥行き方向の位置）を変更できる。
【0047】
図１６の例では、撮像カメラアレイ２０は、撮像カメラ制御手段３５からの指令に応じて、床面に形成されたレールに沿って、奥行き方向に移動する。また、撮像カメラアレイ２０は、１０台の撮像カメラ２１を搭載した昇降部材２２を１０段備える。各昇降部材２２は、撮像カメラ制御手段３５からの指令に応じて、２本の支柱２３に形成されたレールに沿って垂直方向に移動する。各撮像カメラ２１は、撮像カメラ制御手段３５からの指令に応じて、昇降部材２２に形成されたレールに沿って水平方向に移動する。
【0048】
撮像カメラ２１は、被写体αを撮像し、撮像した画像（被写体画像）を立体画像生成装置３０（被写体画像入力手段３６）に出力するものである。本実施形態では、１００台の撮像カメラ２１が、異なる位置から被写体画像を撮像し、被写体画像入力手段３６に出力する。
【0049】
ここで、撮像カメラ２１は、図１７（ａ）に示すように、撮像素子２５と、撮像レンズ２７と、を備える。この撮像素子２５の画素数は、撮像用レンズアレイ９２のレンズ数と一致する。また、撮像カメラ２１は、奥行きを圧縮するため、撮像カメラ制御手段３５からの指令に応じて、撮像素子２５の中心軸と、撮像レンズ２７の光軸とをずらすことができる（レンズシフト機能）。この中心軸とは、撮像素子２５の中心位置を通過し、撮像素子２５の撮像面に垂直になる軸のことである。さらに、撮像カメラ２１は、撮像カメラ制御手段３５からの指令に応じて、画角を変更できる。
【0050】
図１７（ａ）では、撮像素子２５の中心軸及び撮像レンズ２７の光軸が一致し、軸ずれしていない。一方、図１７（ｂ）では、撮像素子２５の中心軸及び撮像レンズ２７の光軸が一致せず、軸ずれしている（軸ずれ量ｄｙ）。ここで、撮像カメラ２１は、軸ずれ量ｄｙに関わらず、撮像素子２５の撮像面に対して、撮像レンズ２７の光軸が垂直になる。また、撮像カメラ２１は、撮像素子２５又は撮像レンズ２７の何れか一方のみを移動させてもよく、撮像素子２５及び撮像レンズ２７の両方を移動させてもよい。本実施形態では、撮像素子２５を移動させることとした。
【0051】
［立体画像生成装置の構成］
立体画像生成装置３０は、撮像カメラアレイ２０が撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。図１５に示すように、立体画像生成装置３０は、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２と、画素位置変換テーブル記憶手段３３と、演算手段３４と、撮像カメラ制御手段３５と、被写体画像入力手段３６と、要素画像群生成手段（立体画像生成手段）３７と、を備える。
立体画像生成装置３０は、撮像カメラアレイ２０が撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。図１５に示すように、立体画像生成装置３０は、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２と、画素位置変換テーブル記憶手段３３と、演算手段３４と、撮像カメラ制御手段３５と、被写体画像入力手段３６と、要素画像群生成手段（立体画像生成手段）３７と、を備える。
【0052】
パラメータ入力手段３１は、要素画像群の生成に必要な各種パラメータを入力するものである。例えば、パラメータ入力手段３１は、パラメータとして、立体画像表示装置１０の仕様及び撮像カメラアレイ２０の仕様を入力する。そして、パラメータ入力手段３１は、入力したパラメータを演算手段３４に出力する。
【0053】
立体画像表示装置１０の仕様には、立体画像表示装置１０の奥行き最大表示距離と、表示用要素レンズ１３の焦点距離と、表示用レンズアレイ１２から後方奥行き最大表示位置までの差分距離と、表示素子１１のサイズとが含まれる。
撮像カメラアレイ２０の仕様には、要素画像の中心画素から計算対象画素までの画素間距離と、撮像素子２５のサイズとが含まれる。
撮像カメラアレイ２０の仕様には、要素画像の中心画素から計算対象画素までの画素間距離と、撮像素子２５のサイズとが含まれる。
【0054】
画素位置変換テーブル生成手段３２は、要素画像群の生成に必要な画素位置変換テーブルを生成するものである。本実施形態では、画素位置変換テーブル生成手段３２は、撮像カメラ２１毎に画素位置変換テーブルを生成する。例えば、画素位置変換テーブル生成手段３２は、特許４６７６８６２号公報及び特許５０４４６８８号公報に記載の手法により、画素位置変換テーブルを生成できる。そして、画素位置変換テーブル生成手段３２は、生成した画素位置変換テーブルを画素位置変換テーブル記憶手段３３に書き込む。
画素位置変換テーブルは、撮像カメラ２１で撮像した被写体画像の各画素を、要素画像群を構成する要素画像の各画素に対応付けた情報である。つまり、画素位置変換テーブルは、画素単位の情報である。
画素位置変換テーブルは、撮像カメラ２１で撮像した被写体画像の各画素を、要素画像群を構成する要素画像の各画素に対応付けた情報である。つまり、画素位置変換テーブルは、画素単位の情報である。
【0055】
画素位置変換テーブル記憶手段３３は、画素位置変換テーブルを記憶するメモリ、ＨＤＤ（Hard Disk Drive）等の記憶装置である。本実施形態では、画素位置変換テーブル記憶手段３３は、撮像カメラ２１毎の画素位置変換テーブルを記憶する。
なお、画素位置変換テーブルは、立体画像表示装置１０の仕様が変化しない場合、参照可能である。言い換えるなら、画素位置変換テーブルは、立体画像表示装置１０の仕様が変化した場合、再度生成する必要がある。
なお、画素位置変換テーブルは、立体画像表示装置１０の仕様が変化しない場合、参照可能である。言い換えるなら、画素位置変換テーブルは、立体画像表示装置１０の仕様が変化した場合、再度生成する必要がある。
【0056】
演算手段３４は、撮像カメラ制御手段３５に必要な各種演算を行うものであり、位置算出手段３４１と、軸ずれ量算出手段３４３と、倍率算出手段３４５と、画角算出手段３４７と、を備える。
【0057】
位置算出手段３４１は、パラメータ入力手段３１から入力したパラメータを参照し、奥行き最大表示距離と、表示用要素レンズ１３の焦点距離と、画素間距離とに基づいて、撮像カメラアレイ２０を構成する撮像カメラ２１の位置を算出するものである。
【0058】
具体的には、位置算出手段３４１は、下記式（２）を用いて、各撮像カメラ２１の垂直方向の位置ｙを算出する。式（２）では、奥行き最大表示距離がＤｆであり（単位はメートル）、表示用要素レンズ１３の焦点距離がＤＬＡｆであり（単位はメートル）、画素間距離がＰｙである（単位はメートル）。
なお、位置算出手段３４１は、垂直方向と同様、各撮像カメラ２１の水平方向及び奥行き方向の位置も算出する。
なお、位置算出手段３４１は、垂直方向と同様、各撮像カメラ２１の水平方向及び奥行き方向の位置も算出する。
【0059】
【数2】
【0060】
奥行き最大表示距離Ｄｆとは、立体画像表示装置１０が表示用要素レンズ１３から奥行き方向に表示可能な最大距離のことである。すなわち、後方奥行き最大表示位置は、奥行き最大表示距離Ｄｆの内、表示用要素レンズ１３から後方（図１の表示素子１１側）への奥行き最大表示位置となる。
ここで、奥行き最大表示距離Ｄｆは、奥行き制御レンズ９４の焦点距離Ｄｆと対応している。例えば、立体画像表示装置１０及び立体画像撮像装置９０が同一サイズであれば、奥行き最大表示距離Ｄｆ及び焦点距離Ｄｆの値も同一となる。また、立体画像表示装置１０及び立体画像撮像装置９０のサイズが異なる場合、奥行き最大表示距離Ｄｆ及び焦点距離Ｄｆは、そのサイズ比に応じた関係となる（主平面γからの距離Δｆ及び差分距離Δｆも同様）。
ここで、奥行き最大表示距離Ｄｆは、奥行き制御レンズ９４の焦点距離Ｄｆと対応している。例えば、立体画像表示装置１０及び立体画像撮像装置９０が同一サイズであれば、奥行き最大表示距離Ｄｆ及び焦点距離Ｄｆの値も同一となる。また、立体画像表示装置１０及び立体画像撮像装置９０のサイズが異なる場合、奥行き最大表示距離Ｄｆ及び焦点距離Ｄｆは、そのサイズ比に応じた関係となる（主平面γからの距離Δｆ及び差分距離Δｆも同様）。
【0061】
画素間距離Ｐｙとは、要素画像群を構成する要素画像の中心画素から各計算対象画素までの距離のことである。撮像カメラ２１の台数は要素画像の画素数と同じであり、各撮像カメラ２１及び各計算対象画素が１対１で対応する。つまり、式（２）に画素間距離Ｐｙが含まれるので、撮像カメラ２１の位置ｙが異なる。
【0062】
軸ずれ量算出手段３４３は、パラメータ入力手段３１から入力したパラメータを参照し、画素間距離と、差分距離と、表示用要素レンズ１３の焦点距離と、撮像素子２５のサイズと、表示素子１１のサイズとに基づいて、各撮像カメラ２１の軸ずれ量を算出するものである。
【0063】
具体的には、軸ずれ量算出手段３４３は、下記式（３）を用いて、垂直方向で撮像素子２５の軸ずれ量ｄｙを算出する（単位はメートル）。式（３）では、差分距離がΔｆであり（単位はメートル）、撮像素子２５のサイズがＣｓであり（単位はメートル）、表示素子１１のサイズがＤｓである（単位は画素）。差分距離Δｆは、表示用要素レンズ１３から後方奥行き最大表示位置までの距離のことである。ここで、式（３）に画素間距離Ｐｙが含まれるので、撮像カメラ２１の軸ずれ量ｄｙが異なる。
【0064】
【数3】
【0065】
倍率算出手段３４５は、パラメータ入力手段３１から入力したパラメータを参照し、奥行き制御レンズ９４から仮想レンズアレイ９５までの距離Ａと、奥行き制御レンズ９４から撮像用レンズアレイ９２までの距離Ｂとの比である倍率を算出するものである。
【0066】
＜倍率の算出＞
図１０を参照し、倍率ｍの算出について説明する。
図１０に示すように、距離Ｂは、奥行き最大表示距離Ｄｆと差分距離Δfとの和（合計距離）である。また、距離Ａは、撮像用レンズアレイ９２より距離Ｂだけ離れた位置（Ｚ３）から、仮想レンズアレイ９５までの距離である。
ここで、撮像素子９１の奥行き位置をＺ１とし、このＺ１を原点とする。また、撮像用レンズアレイ９２の奥行き位置をＺ２とし、奥行き制御レンズ９４の奥行き位置をＺ３とする。また、主平面βの奥行き位置をＺ４とし、仮想レンズアレイ９５の奥行き位置をＺ５とする。この場合、奥行き位置Ｚ１～Ｚ５は、下記の式（４）で表すことができる。
図１０を参照し、倍率ｍの算出について説明する。
図１０に示すように、距離Ｂは、奥行き最大表示距離Ｄｆと差分距離Δfとの和（合計距離）である。また、距離Ａは、撮像用レンズアレイ９２より距離Ｂだけ離れた位置（Ｚ３）から、仮想レンズアレイ９５までの距離である。
ここで、撮像素子９１の奥行き位置をＺ１とし、このＺ１を原点とする。また、撮像用レンズアレイ９２の奥行き位置をＺ２とし、奥行き制御レンズ９４の奥行き位置をＺ３とする。また、主平面βの奥行き位置をＺ４とし、仮想レンズアレイ９５の奥行き位置をＺ５とする。この場合、奥行き位置Ｚ１～Ｚ５は、下記の式（４）で表すことができる。
【0067】
【数4】
【0068】
被写体αが仮想レンズアレイ９５よりも撮像素子９１側に位置する状態で要素画像群を撮像した場合を考える。この場合、その要素画像群を表示素子１１に表示すると、被写体αが飛び出したような立体像を形成する。
一方、被写体αが仮想レンズアレイ９５よりも撮像素子９１の反対側に位置する状態で要素画像群を撮像した場合を考える。この場合、その要素画像群を表示素子１１に表示すると、被写体αが窪んだような立体像を形成する。
一方、被写体αが仮想レンズアレイ９５よりも撮像素子９１の反対側に位置する状態で要素画像群を撮像した場合を考える。この場合、その要素画像群を表示素子１１に表示すると、被写体αが窪んだような立体像を形成する。
【0069】
非線形奥行き圧縮特性の光学系では、奥行きの圧縮と同時に被写体αの大きさも変化してしまう。従って、奥行き圧縮前後で被写体αの大きさが変化しないように、被写体αを拡大又は縮小する必要がある。
【0070】
ここで、仮想レンズアレイ９５のサイズは、撮像用レンズアレイ９２のサイズに倍率ｍを乗じた値になる。そして、非線形奥行き圧縮特性の光学系では、被写体αのサイズも仮想レンズアレイ９５のサイズに応じて拡大又は縮小する。従って、倍率算出手段３４５は、下記の式（５）を用いて、距離Ａ、Ｂの比である倍率ｍを算出し、算出した倍率ｍを被写体αのサイズに乗算すれば、仮想レンズアレイ９５のレンズ面においては被写体αが奥行き圧縮前と同じ大きさになる。
【0071】
【数5】
【0072】
画角算出手段３４７は、パラメータ入力手段３１から入力したパラメータを参照し、奥行き最大表示距離Ｄｆと、撮像素子２５のサイズと、表示素子１１のサイズとに基づいて、撮像カメラ２１の画角を算出するものである。
【0073】
具体的には、画角算出手段３４７は、下記の式（６）を用いて、撮像カメラ２１の焦点距離Ｃｆを算出し、この焦点距離Ｃｆから撮像カメラ２１の画角を算出する。なお、撮像カメラアレイ２０は、全ての撮像カメラ２１の焦点距離Ｃｆが同じになる。
【0074】
【数6】
【0075】
演算手段３４は、制御信号として、算出した撮像カメラ２１の位置（垂直方向、水平方向及び奥行き方向の位置）と、軸ずれ量と、倍率と、画角とを撮像カメラ制御手段３５に出力する。
【0076】
撮像カメラ制御手段３５は、演算手段３４から入力した制御信号に基づいて撮像カメラアレイ２０を制御し、撮像カメラアレイ２０に被写体画像の撮像を指令するものである。本実施形態では、撮像カメラ制御手段３５は、撮像カメラアレイ２０を構成する撮像カメラ２１毎に制御を行う。
【0077】
具体的には、撮像カメラ制御手段３５は、制御信号の位置に各撮像カメラ２１を移動させる。
また、撮像カメラ制御手段３５は、制御信号の軸ずれ量だけ、各撮像カメラ２１の撮像素子２５をずらす。さらに、撮像カメラ制御手段３５は、制御信号の画角に各撮像カメラ２１の画角を一致させる。
このとき、撮像カメラ制御手段３５は、被写体αのサイズを変更することが困難、かつ、前記倍率ｍが１より大きい場合、隣接する撮像カメラ２１の間隔及び軸ずれ量が倍率ｍだけ小さくなるように、各撮像カメラ２１の位置を修正する。
また、撮像カメラ制御手段３５は、制御信号の軸ずれ量だけ、各撮像カメラ２１の撮像素子２５をずらす。さらに、撮像カメラ制御手段３５は、制御信号の画角に各撮像カメラ２１の画角を一致させる。
このとき、撮像カメラ制御手段３５は、被写体αのサイズを変更することが困難、かつ、前記倍率ｍが１より大きい場合、隣接する撮像カメラ２１の間隔及び軸ずれ量が倍率ｍだけ小さくなるように、各撮像カメラ２１の位置を修正する。
【0078】
被写体画像入力手段３６は、撮像カメラアレイ２０が撮像した被写体画像を入力するものである。本実施形態では、被写体画像入力手段３６は、撮像カメラアレイ２０を構成する各撮像カメラ２１から被写体画像を入力する。そして、被写体画像入力手段３６は、各撮像カメラ２１からの被写体画像を要素画像群生成手段３７に出力する。
【0079】
要素画像群生成手段３７は、被写体画像入力手段３６より入力した被写体画像から要素画像群を生成するものである。本実施形態では、要素画像群生成手段３７は、画素位置変換テーブルを参照し、各撮像カメラ２１が撮像した被写体画像の画素位置を変換することで、要素画像群を生成する。つまり、要素画像群生成手段３７は、画素位置変換テーブルに従って、被写体画像の各画素を、要素画像群を構成する要素画像の各画素に割り当てる。
【0080】
ここで、要素画像群生成手段３７は、被写体画像の最上段の各画素を、各要素画像の最下段の各画素に割り当てる。また、要素画像群生成手段３７は、被写体画像の上から２段目の各画素を、各要素画像の下から２段目の各画素に割り当てる。このように、要素画像群生成手段３７は、被写体画像の画素を上下反転させて要素画像の画素に割り当てることで、立体像の奥行き反転を防止できる。
その後、要素画像群生成手段３７は、生成した要素画像群を立体画像表示装置１０に出力する。
その後、要素画像群生成手段３７は、生成した要素画像群を立体画像表示装置１０に出力する。
【0081】
［立体画像生成装置の動作］
図１８を参照し、立体画像生成装置３０の動作について説明する（適宜図１４参照）。
ここで、画素位置変換テーブル記憶手段３３は、画素位置変換テーブルを予め記憶していることとする。
図１８を参照し、立体画像生成装置３０の動作について説明する（適宜図１４参照）。
ここで、画素位置変換テーブル記憶手段３３は、画素位置変換テーブルを予め記憶していることとする。
【0082】
図１８に示すように、パラメータ入力手段３１は、要素画像群の生成に必要な各種パラメータの入力を受け付ける（ステップＳ１）。
位置算出手段３４１は、ステップＳ１で入力したパラメータを参照し、奥行き最大表示距離と、表示用要素レンズ１３の焦点距離と、画素間距離とに基づいて、各撮像カメラ２１の位置を算出する（ステップＳ２）。
位置算出手段３４１は、ステップＳ１で入力したパラメータを参照し、奥行き最大表示距離と、表示用要素レンズ１３の焦点距離と、画素間距離とに基づいて、各撮像カメラ２１の位置を算出する（ステップＳ２）。
【0083】
軸ずれ量算出手段３４３は、ステップＳ１で入力したパラメータを参照し、画素間距離と、差分距離と、表示用要素レンズ１３の焦点距離と、撮像素子２５のサイズと、表示素子１１のサイズとに基づいて、撮像レンズ２７と撮像素子２５との軸ずれ量を算出する（ステップＳ３）。
【0084】
倍率算出手段３４５は、ステップＳ１で入力したパラメータを参照し、奥行き制御レンズ９４から撮像用レンズアレイ９２までの距離と、奥行き制御レンズ９４から仮想レンズアレイ９５までの距離との比である倍率を算出する（ステップＳ４）。
【0085】
画角算出手段３４７は、ステップＳ１で入力した入力したパラメータを参照し、奥行き最大表示距離と、撮像素子２５のサイズと、表示素子１１のサイズとに基づいて、各撮像カメラ２１の画角を算出する（ステップＳ５）。
【0086】
撮像カメラ制御手段３５は、ステップＳ２で算出した位置、ステップＳ３で算出した軸ずれ量、ステップＳ４で算出した倍率及びステップＳ５で算出した画角に基づいて、各撮像カメラ２１を制御し、各撮像カメラ２１に被写体画像の撮像を指令する（ステップＳ６）。
被写体画像入力手段３６は、ステップＳ６の指令に応じて各撮像カメラ２１が撮像した被写体画像の入力を受け付ける（ステップＳ７）。
被写体画像入力手段３６は、ステップＳ６の指令に応じて各撮像カメラ２１が撮像した被写体画像の入力を受け付ける（ステップＳ７）。
【0087】
要素画像群生成手段３７は、ステップＳ７で入力した被写体画像から要素画像群を生成する。ここで、要素画像群生成手段３７は、画素位置変換テーブルを参照し、被写体画像の画素位置を変換することで、要素画像群を生成する（ステップＳ８）。
【0088】
［作用・効果］
以上のように、立体画像生成装置３０は、撮像レンズ２７と撮像素子２５との軸をずらし、立体像の奥行きを圧縮できる。これにより、立体画像生成装置３０は、立体画像表示装置１０が解像度の高い立体像を表示でき、立体画像の画質を向上させることができる。
以上のように、立体画像生成装置３０は、撮像レンズ２７と撮像素子２５との軸をずらし、立体像の奥行きを圧縮できる。これにより、立体画像生成装置３０は、立体画像表示装置１０が解像度の高い立体像を表示でき、立体画像の画質を向上させることができる。
【0089】
さらに、立体画像生成装置３０は、高解像度のカメラや高密度なレンズアレイを必要とせず、簡易な構成で実現することができる。さらに、立体画像生成装置３０は、奥行き制御レンズ９４に起因したレンズ歪みが発生せず、より高画質な立体画像を提供することができる。
【0090】
（第２実施形態）
図１９を参照し、本発明の第２実施形態に係る立体画像表示システム１Ｂについて、第１実施形態と異なる点を説明する。
図１９を参照し、本発明の第２実施形態に係る立体画像表示システム１Ｂについて、第１実施形態と異なる点を説明する。
【0091】
第１実施形態では、撮像カメラアレイ２０が実写した画像を処理対象とするのに対して、第２実施形態では、仮想的な撮像カメラアレイ（仮想カメラアレイ）によりＣＧ画像を処理対象とする点が異なる。
【0092】
仮想カメラアレイとは、仮想的な撮像カメラ（仮想カメラ）を２次元状に配列したものである。
仮想カメラとは、被写体αの３次元モデルを配置した３次元空間内での視点位置及び視点方向や画角等を設定するときの基準である。つまり、ＣＧでは、仮想カメラで被写体αを撮像したような要素画像群を生成する。
仮想カメラとは、被写体αの３次元モデルを配置した３次元空間内での視点位置及び視点方向や画角等を設定するときの基準である。つまり、ＣＧでは、仮想カメラで被写体αを撮像したような要素画像群を生成する。
【0093】
［立体画像生成装置の構成］
立体画像表示システム１Ｂは、被写体αの立体画像を表示するものであり、図１９に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｂと、を備える。
立体画像生成装置３０Ｂは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
立体画像表示システム１Ｂは、被写体αの立体画像を表示するものであり、図１９に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｂと、を備える。
立体画像生成装置３０Ｂは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
【0094】
図１９に示すように、立体画像生成装置３０Ｂは、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２と、画素位置変換テーブル記憶手段３３と、演算手段３４と、仮想カメラ設定手段（撮像カメラ制御手段）３５Ｂと、要素画像群生成手段（立体画像生成手段）３７Ｂと、３次元モデル入力手段３８とを備える。
なお、仮想カメラ設定手段３５Ｂ、要素画像群生成手段３７Ｂ及び３次元モデル入力手段３８以外は、第１実施形態と同様のため、説明を省略する。
なお、仮想カメラ設定手段３５Ｂ、要素画像群生成手段３７Ｂ及び３次元モデル入力手段３８以外は、第１実施形態と同様のため、説明を省略する。
【0095】
３次元モデル入力手段３８は、被写体の３次元形状及び色情報を表した３次元モデルを入力し、入力した３次元モデルを要素画像群生成手段３７Ｂに出力するものである。
３次元モデルの生成手法は、特に制限されないが、例えば、ポリゴン等にテクスチャマッピングを施すことで生成できる。
３次元モデルの生成手法は、特に制限されないが、例えば、ポリゴン等にテクスチャマッピングを施すことで生成できる。
【0096】
仮想カメラ設定手段３５Ｂは、演算手段３４から入力した制御信号に基づいて仮想的な撮像カメラ（仮想カメラ）を設定するものである。
具体的には、仮想カメラ設定手段３５Ｂは、仮想３次元空間において、制御信号の位置に各仮想カメラを配置する。また、仮想カメラ設定手段３５Ｂは、制御信号の軸ずれ量だけ、各仮想カメラの撮像素子と撮像レンズとをずらして設定する。また、仮想カメラ設定手段３５Ｂは、制御信号の画角に一致するように各仮想カメラの画角を設定する。
具体的には、仮想カメラ設定手段３５Ｂは、仮想３次元空間において、制御信号の位置に各仮想カメラを配置する。また、仮想カメラ設定手段３５Ｂは、制御信号の軸ずれ量だけ、各仮想カメラの撮像素子と撮像レンズとをずらして設定する。また、仮想カメラ設定手段３５Ｂは、制御信号の画角に一致するように各仮想カメラの画角を設定する。
【0097】
要素画像群生成手段３７Ｂは、仮想カメラ設定手段３５Ｂが設定した仮想カメラアレイを介して被写体画像を生成し、被写体画像から要素画像群を生成するものである。
具体的には、要素画像群生成手段３７Ｂは、各仮想カメラを配置した仮想３次元空間内に３次元モデル入力手段３８から入力した３次元モデルを配置する。ここで、要素画像群生成手段３７Ｂは、仮想レンズアレイのレンズ面において、奥行き圧縮前後で被写体の大きさが変化しないように、３次元モデルのサイズを倍率ｍだけ拡大又は縮小する。そして、要素画像群生成手段３７Ｂは、各仮想カメラで３次元モデルを撮像することで、被写体画像を生成する。さらに、要素画像群生成手段３７Ｂは、第１実施形態と同様、画素位置変換テーブルを参照し、被写体画像の画素位置を変換することで、要素画像群を生成する。
具体的には、要素画像群生成手段３７Ｂは、各仮想カメラを配置した仮想３次元空間内に３次元モデル入力手段３８から入力した３次元モデルを配置する。ここで、要素画像群生成手段３７Ｂは、仮想レンズアレイのレンズ面において、奥行き圧縮前後で被写体の大きさが変化しないように、３次元モデルのサイズを倍率ｍだけ拡大又は縮小する。そして、要素画像群生成手段３７Ｂは、各仮想カメラで３次元モデルを撮像することで、被写体画像を生成する。さらに、要素画像群生成手段３７Ｂは、第１実施形態と同様、画素位置変換テーブルを参照し、被写体画像の画素位置を変換することで、要素画像群を生成する。
【0098】
［立体画像生成装置の動作］
図２０を参照し、立体画像生成装置３０Ｂの動作について説明する（適宜図１９参照）。
ここで、画素位置変換テーブル記憶手段３３は、画素位置変換テーブルを予め記憶していることとする。
なお、ステップＳ１～Ｓ５の処理は、第１実施形態と同様のため、説明を省略する。
図２０を参照し、立体画像生成装置３０Ｂの動作について説明する（適宜図１９参照）。
ここで、画素位置変換テーブル記憶手段３３は、画素位置変換テーブルを予め記憶していることとする。
なお、ステップＳ１～Ｓ５の処理は、第１実施形態と同様のため、説明を省略する。
【0099】
仮想カメラ設定手段３５Ｂは、制御信号に基づいて仮想的な撮像カメラ（仮想カメラ）を設定する（ステップＳ１０）。
３次元モデル入力手段３８は、被写体の３次元形状及び色情報を表した３次元モデルの入力を受け付ける（ステップＳ１１）。
要素画像群生成手段３７Ｂは、ステップＳ１０で設定した仮想カメラを介して、ステップＳ１１で入力した３次元モデルの被写体画像を生成し、被写体画像から要素画像群を生成する（ステップＳ１２）。
３次元モデル入力手段３８は、被写体の３次元形状及び色情報を表した３次元モデルの入力を受け付ける（ステップＳ１１）。
要素画像群生成手段３７Ｂは、ステップＳ１０で設定した仮想カメラを介して、ステップＳ１１で入力した３次元モデルの被写体画像を生成し、被写体画像から要素画像群を生成する（ステップＳ１２）。
【0100】
［作用・効果］
以上のように、立体画像生成装置３０Ｂは、ＣＧにより被写体画像を生成する場合でも、第１実施形態と同様の効果を奏する。これにより、立体画像生成装置３０Ｂは、立体画像表示装置１０が解像度の高い立体像を表示可能となり、立体画像の画質を向上させることができる。
以上のように、立体画像生成装置３０Ｂは、ＣＧにより被写体画像を生成する場合でも、第１実施形態と同様の効果を奏する。これにより、立体画像生成装置３０Ｂは、立体画像表示装置１０が解像度の高い立体像を表示可能となり、立体画像の画質を向上させることができる。
【0101】
（第３実施形態）
本発明の第３実施形態に係る立体画像表示システム１Ｃ（図２３）について、第１実施形態と異なる点を説明する。
本発明の第３実施形態に係る立体画像表示システム１Ｃ（図２３）について、第１実施形態と異なる点を説明する。
【0102】
第１実施形態では、画素単位で処理を行うのに対し、第３実施形態では、サブピクセル単位で処理を行う点が異なる。また、第１実施形態では、撮像レンズ２７と撮像素子２５との軸をずらすのに対し（図１７）、第３実施形態では、軸ずれ量ｄｙに応じた画素位置の画素を被写体画像から取得する点が異なる。
【0103】
［立体画像表示システムの概略］
ここで、撮像カメラ２１が３板式、かつ、立体画像表示装置１０（図１）が投射型の場合、ＲＧＢ各色が同一位置となるので、色ずれが発生しない。一方、撮像カメラ２１が単板式、又は、立体画像表示装置１０がＲＧＢストライプ構造などの場合、それらサブピクセルの構造に起因してＲＧＢ各色の位置が微妙に異なるので、色ずれが発生じてしまう。特に、立体画像表示装置１０が直視型ディスプレイ（ＲＧＢストライプ構造が一般的）であり、高解像度の画像を撮像するために撮像カメラ２１が３板式であることが多く、撮像カメラ２１を立体画像表示装置１０のサブピクセルに対応して配列することが好ましい。
ここで、撮像カメラ２１が３板式、かつ、立体画像表示装置１０（図１）が投射型の場合、ＲＧＢ各色が同一位置となるので、色ずれが発生しない。一方、撮像カメラ２１が単板式、又は、立体画像表示装置１０がＲＧＢストライプ構造などの場合、それらサブピクセルの構造に起因してＲＧＢ各色の位置が微妙に異なるので、色ずれが発生じてしまう。特に、立体画像表示装置１０が直視型ディスプレイ（ＲＧＢストライプ構造が一般的）であり、高解像度の画像を撮像するために撮像カメラ２１が３板式であることが多く、撮像カメラ２１を立体画像表示装置１０のサブピクセルに対応して配列することが好ましい。
【0104】
例えば、立体画像表示装置１０において、ＲＧＢのサブピクセルが水平方向にストライプで配列されている場合を考える（ＲＧＢストライプ構造）。この場合、図１６の撮像カメラアレイ２０において、撮像カメラ２１の水平間隔を１／３とし、水平方向の軸ずれ量を１／３とし、水平方向で撮像カメラ２１の台数を３倍とする。具体的には、図２１に示すように、撮像カメラアレイ２０Ｃは、３０台の撮像カメラ２１Ｃを搭載した昇降部材２２を１０段備える。
【0105】
ここで、各撮像カメラ２１Ｃは、ＲＧＢの何れか一色のみを撮像する単色カメラである。この単色カメラとしては、一般的なカラーカメラの前面にＲＧＢ何れか一色のフィルタを装着したものがあげられる。つまり、撮像カメラアレイ２０Ｃは、単色カメラを配列した単色カメラアレイである。
【0106】
また、撮像カメラアレイ２０Ｃは、立体画像表示装置１０のサブピクセルで構成された画素単位のグループで撮像カメラ２１Ｃを配列する。本実施形態では、図２２に示すように、赤色の撮像カメラ２１Ｃと、緑色の撮像カメラ２１Ｃと、青色の撮像カメラ２１Ｃとの順で配列している。すなわち、撮像カメラアレイ２０Ｃでは、緑色の撮像カメラ２１Ｃと隣接する赤色及び青色の撮像カメラ２１との３台で、立体画像表示装置１０の１画素に対応するグループを構成する。例えば、撮像カメラアレイ２０Ｃでは、Ｒ１カメラと、Ｇ２カメラと、Ｂ３カメラとが１つのグループとなる。
【0107】
なお、図２２では、各撮像カメラ２１Ｃにサブピクセルの色及び位置を表す英数字を付加した。例えば、図面最上部の撮像カメラ２１Ｃには「Ｒ１」が付されているので、この撮像カメラ２１Ｃが赤色のサブピクセルに対応し、水平方向で左から１番目に位置することを表す。以後、Ｒ１が付された撮像カメラ２１Ｃを「Ｒ１カメラ」と呼ぶことがある（他の撮像カメラ２１Ｃも同様）。
また、図２２では、説明を簡易にするために撮像カメラ２１Ｃを９台のみ図示した。
また、図２２では、説明を簡易にするために撮像カメラ２１Ｃを９台のみ図示した。
【0108】
そして、図２２に示すように、ＲＧＢデータ交換処理により、各撮像カメラ２１Ｃで撮像した単色の被写体画像を画素位置情報を統合し、カラーの被写体画像を生成する。ここでは、緑色を基準色とし、赤色及び青色を参照色とし、基準色の画素位置情報に参照色の画素位置情報を統合することとする。
なお、画素位置情報の統合とは、基準色（緑色）の被写体画像の画素位置に参照色（赤色、青色）の被写体画像の画素位置をサブピクセルレベルで一致させることである。
なお、画素位置情報の統合とは、基準色（緑色）の被写体画像の画素位置に参照色（赤色、青色）の被写体画像の画素位置をサブピクセルレベルで一致させることである。
【0109】
図２２では、基準色のＧ２カメラで撮像した被写体画像と、参照色のＲ１カメラ及びＢ３カメラで撮像した被写体画像との画素位置情報を統合し、Ｇ２カメラ位置で撮像したのと等価なカラーの被写体画像（Ｒ１Ｇ２Ｂ３データ）を合成する。さらに、ＲＧＢデータ交換処理により、Ｇ５カメラ位置に対応する被写体画像（Ｒ４Ｇ５Ｂ６データ）、Ｇ８カメラ位置に対応する被写体画像（Ｒ７Ｇ８Ｂ９データ）も同様の手順で合成する。
【0110】
このように、各撮像カメラ２１Ｃが立体画像表示装置１０のサブピクセルに対応するように配列され、各撮像カメラ２１Ｃで撮像した被写体画像を、緑色の画素位置を基準として合成している。従って、合成したカラーの被写体画像では、赤色、緑色及び青色の画素位置がサブピクセルレベルで一致するので、色ずれが発生しない。
【0111】
その後、図２２に示すように、第１実施形態と同様、画素位置変換テーブルを参照し、各被写体画像の画素位置を変換することで、要素画像群を生成する。
なお、画素位置変換テーブルが画素単位の情報であるのに対し、撮像カメラ２１Ｃがサブピクセル単位で配列されている。従って、各画素位置変換テーブルは、１つのグループを構成する３台の撮像カメラ２１のうち、基準色である緑色の撮像カメラ２１Ｃに対応する。図２２では、画素位置変換テーブルは、Ｇ２，Ｇ５，Ｇ８カメラに対応する。
なお、画素位置変換テーブルが画素単位の情報であるのに対し、撮像カメラ２１Ｃがサブピクセル単位で配列されている。従って、各画素位置変換テーブルは、１つのグループを構成する３台の撮像カメラ２１のうち、基準色である緑色の撮像カメラ２１Ｃに対応する。図２２では、画素位置変換テーブルは、Ｇ２，Ｇ５，Ｇ８カメラに対応する。
【0112】
［立体画像生成装置の構成］
図２３を参照し、立体画像表示システム１Ｃの構成について説明する。
立体画像表示システム１Ｃは、被写体αの立体画像を表示するものであり、図２３に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｃと、を備える。
立体画像生成装置３０Ｃは、撮像カメラアレイ２０Ｃが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
図２３を参照し、立体画像表示システム１Ｃの構成について説明する。
立体画像表示システム１Ｃは、被写体αの立体画像を表示するものであり、図２３に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｃと、を備える。
立体画像生成装置３０Ｃは、撮像カメラアレイ２０Ｃが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
【0113】
図２３に示すように、立体画像生成装置３０Ｃは、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２と、画素位置変換テーブル記憶手段３３と、演算手段３４と、撮像カメラ制御手段３５Ｃと、被写体画像入力手段３６Ｃと、要素画像群生成手段（立体画像生成手段）３７Ｃと、を備える。
なお、撮像カメラ制御手段３５Ｃ、被写体画像入力手段３６Ｃ及び要素画像群生成手段３７Ｃ以外は、前記した各実施形態と同様のため、説明を省略する。
なお、撮像カメラ制御手段３５Ｃ、被写体画像入力手段３６Ｃ及び要素画像群生成手段３７Ｃ以外は、前記した各実施形態と同様のため、説明を省略する。
【0114】
撮像カメラ制御手段３５Ｃは、演算手段３４から入力した制御信号に基づいて撮像カメラアレイ２０Ｃを制御し、撮像カメラアレイ２０Ｃに被写体画像の撮像を指令するものである。
【0115】
具体的には、撮像カメラ制御手段３５Ｃは、第１実施形態と同様、制御信号の位置に各撮像カメラ２１Ｃを移動させ、制御信号の画角に各撮像カメラ２１Ｃの画角を一致させる。一方、撮像カメラ制御手段３５Ｃは、第１実施形態と異なり、撮像素子２５の中心軸をずらす制御を行わない。
【0116】
被写体画像入力手段３６Ｃは、撮像カメラアレイ２０Ｃを構成する各撮像カメラ２１Ｃから単色の被写体画像を入力する。そして、被写体画像入力手段３６Ｃは、各撮像カメラ２１Ｃからの被写体画像を要素画像群生成手段３７Ｃに出力する。
【0117】
要素画像群生成手段３７Ｃは、被写体画像入力手段３６Ｃより入力した被写体画像から要素画像群を生成するものであり、ＲＧＢデータ交換処理手段（画素位置修正手段）３７１を備える。
【0118】
ＲＧＢデータ交換処理手段３７１は、被写体画像入力手段３６Ｃからの単色の被写体画像に対して、ＲＧＢデータ交換処理を施すものである。このＲＧＢデータ交換処理は、緑色の撮像カメラ２１Ｃで撮像した被写体画像の緑色の画素位置情報に、赤色及び青色の撮像カメラ２１Ｃで撮像した被写体画像の赤色及び青色の画素位置情報を統合することで、カラーの被写体画像を生成する処理である。
【0119】
例えば、ＲＧＢデータ交換処理手段３７１は、図２２に示すように、Ｇ２カメラで撮像した被写体画像の注目画素の画素値（ＲＧＢ値）を、その注目画素のＧ値と、Ｒ１カメラで撮像した被写体画像の対応画素のＲ値と、Ｂ３カメラで撮像した被写体画像の対応画素のＢ値とする。そして、ＲＧＢデータ交換処理手段３７１は、Ｇ２カメラで撮像した被写体画像の左上画素から順にラスタスキャンするように注目画素を設定し、前記した処理を全画素に施す。これにより、ＲＧＢデータ交換処理手段３７１は、Ｇ２カメラ位置に対応した被写体画像（Ｒ１Ｇ２Ｂ３データ）を生成する。
【0120】
なお、ＲＧＢデータ交換処理手段３７１は、Ｒ４Ｇ５Ｂ６データ及びＲ７Ｇ８Ｂ９データも同様に生成する。
また、対応画素とは、参照色の被写体画像において、基準色の被写体画像の注目画素と同一座標の画素のことである。
また、対応画素とは、参照色の被写体画像において、基準色の被写体画像の注目画素と同一座標の画素のことである。
【0121】
続いて、要素画像群生成手段３７Ｃは、画素位置変換テーブルを参照し、ＲＧＢデータ交換処理手段３７１で生成した被写体画像の画素位置を変換することで、要素画像群を生成する。このとき、要素画像群生成手段３７Ｃは、各被写体画像から、軸ずれ量算出手段３４３で算出した軸ずれ量ｄｙに応じた画素位置の画素値を取得する。
【0122】
【0123】
最初に、図２４（ａ）に示すように、軸ずれがない場合を考える（軸ずれ量ｄｙ＝０）。この場合、要素画像群生成手段３７Ｃは、ＲＧＢデータ交換処理手段３７１で生成した被写体画像βから、撮像素子２５の中心位置を基準として所定サイズの画像領域β１を切り出す。つまり、要素画像群生成手段３７Ｃは、撮像素子２５の中心位置が被写体画像βの中心位置に対応するので、被写体画像βの中心位置を基準として画像領域β１を切り出す。
【0124】
なお、画像領域β１は、軸ずれ量ｄｙを考慮して、被写体画像βに収まるサイズで予め設定する。従って、撮像素子２５のサイズ（画素数）は、軸ずれ量ｄｙを考慮して、画像領域β１よりも大きくする。
【0125】
次に、図２４（ｂ）に示すように、軸ずれがある場合を考える。この場合、要素画像群生成手段３７Ｃは、ＲＧＢデータ交換処理手段３７１で生成した被写体画像βから、撮像素子２５の中心から軸ずれ量ｄｙだけ移動した位置を基準として、画像領域β１を切り出す。つまり、要素画像群生成手段３７Ｃは、被写体画像βの中心から軸ずれ量ｄｙずれた位置を基準として、画像領域β１を切り出す。
【0126】
このように、要素画像群生成手段３７Ｃは、撮像素子２５の中心から軸ずれ量ｄｙだけ外れた画素位置の画素値を取得することで、撮像レンズ２７の光軸と撮像素子２５の中心軸とをずらすのと同等の処理を行っている。
【0127】
その後、要素画像群生成手段３７Ｃは、切り出した画像領域β１を被写体画像として用いて、要素画像群を生成する。この要素画像群を生成する手法自体は、第１実施形態と同様のため、説明を省略する。
【0128】
【0129】
撮像カメラ制御手段３５Ｃは、ステップＳ２で算出した位置、ステップＳ４で算出した倍率及びステップＳ５で算出した画角に基づいて、各撮像カメラ２１Ｃを制御し、各撮像カメラ２１Ｃに被写体画像の撮像を指令する（ステップＳ６Ｃ）。
被写体画像入力手段３６Ｃは、ステップＳ６Ｃの指令に応じて各撮像カメラ２１Ｃが撮像した単色の被写体画像の入力を受け付ける（ステップＳ７Ｃ）。
被写体画像入力手段３６Ｃは、ステップＳ６Ｃの指令に応じて各撮像カメラ２１Ｃが撮像した単色の被写体画像の入力を受け付ける（ステップＳ７Ｃ）。
【0130】
ＲＧＢデータ交換処理手段３７１は、ステップＳ７Ｃで入力された単色の被写体画像に対して、ＲＧＢデータ交換処理を施し、カラーの被写体画像を生成する（ステップＳ２０）。
要素画像群生成手段３７Ｃは、ステップＳ２０で生成した被写体画像から、軸ずれ量ｄｙに応じた画素位置の画素値を取得して要素画像群を生成する（ステップＳ８Ｃ）。
要素画像群生成手段３７Ｃは、ステップＳ２０で生成した被写体画像から、軸ずれ量ｄｙに応じた画素位置の画素値を取得して要素画像群を生成する（ステップＳ８Ｃ）。
【0131】
［作用・効果］
以上のように、立体画像生成装置３０Ｃは、被写体画像から取得する画素位置を軸ずれ量ｄｙに応じてずらすことで、第１実施形態と同様の効果を奏する。これにより、立体画像生成装置３０Ｃは、立体画像表示装置１０が解像度の高い立体像を表示可能となり、立体画像の画質を向上させることができる。
以上のように、立体画像生成装置３０Ｃは、被写体画像から取得する画素位置を軸ずれ量ｄｙに応じてずらすことで、第１実施形態と同様の効果を奏する。これにより、立体画像生成装置３０Ｃは、立体画像表示装置１０が解像度の高い立体像を表示可能となり、立体画像の画質を向上させることができる。
【0132】
さらに、立体画像生成装置３０Ｃは、ＲＧＢデータ交換処理により、緑色の画素位置情報に赤色及び青色の画素位置情報を統合するので、立体画像表示装置１０で色ずれが発生せず、立体画像の画質をより向上させることができる。
【0133】
（第４実施形態）
図２６を参照し、本発明の第４実施形態に係る立体画像表示システム１Ｄについて、第３実施形態と異なる点を説明する。
図２６を参照し、本発明の第４実施形態に係る立体画像表示システム１Ｄについて、第３実施形態と異なる点を説明する。
【0134】
第３実施形態では、撮像カメラアレイ２０Ｃが実写した画像を処理対象とするのに対して、第４実施形態では、仮想カメラアレイによりＣＧ画像を処理対象とする点が異なる。
つまり、第４実施形態では、仮想カメラアレイは、ＲＧＢの何れか一色のみを撮像する単色の仮想カメラを第３実施形態と同様に配置している。
つまり、第４実施形態では、仮想カメラアレイは、ＲＧＢの何れか一色のみを撮像する単色の仮想カメラを第３実施形態と同様に配置している。
【0135】
［立体画像生成装置の構成］
図２６を参照し、立体画像表示システム１Ｄの構成について説明する。
立体画像表示システム１Ｄは、被写体αの立体画像を表示するものであり、図２６に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｄと、を備える。
立体画像生成装置３０Ｄは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
図２６を参照し、立体画像表示システム１Ｄの構成について説明する。
立体画像表示システム１Ｄは、被写体αの立体画像を表示するものであり、図２６に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｄと、を備える。
立体画像生成装置３０Ｄは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
【0136】
図２６に示すように、立体画像生成装置３０Ｄは、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２と、画素位置変換テーブル記憶手段３３と、演算手段３４と、仮想カメラ設定手段（撮像カメラ制御手段）３５Ｄと、要素画像群生成手段（立体画像生成手段）３７Ｄと、３次元モデル入力手段３８とを備える。
なお、仮想カメラ設定手段３５Ｄ及び要素画像群生成手段３７Ｄ以外は、第３実施形態と同様のため、説明を省略する。
なお、仮想カメラ設定手段３５Ｄ及び要素画像群生成手段３７Ｄ以外は、第３実施形態と同様のため、説明を省略する。
【0137】
仮想カメラ設定手段３５Ｄは、演算手段３４から入力した制御信号に基づいて単色の仮想カメラを設定するものである。
具体的には、仮想カメラ設定手段３５Ｄは、仮想３次元空間において、制御信号の位置に各仮想カメラを配置する。また、仮想カメラ設定手段３５Ｄは、制御信号の画角に一致するように各仮想カメラの画角を設定する。一方、仮想カメラ設定手段３５Ｄは、第２実施形態と異なり、仮想カメラの撮像素子の中心軸をずらす制御を行わない。
具体的には、仮想カメラ設定手段３５Ｄは、仮想３次元空間において、制御信号の位置に各仮想カメラを配置する。また、仮想カメラ設定手段３５Ｄは、制御信号の画角に一致するように各仮想カメラの画角を設定する。一方、仮想カメラ設定手段３５Ｄは、第２実施形態と異なり、仮想カメラの撮像素子の中心軸をずらす制御を行わない。
【0138】
要素画像群生成手段３７Ｄは、仮想カメラ設定手段３５Ｄが設定した仮想カメラアレイを介して被写体画像を生成し、その被写体画像から要素画像群を生成するものであり、ＲＧＢデータ交換処理手段３７１を備える。
なお、要素画像群生成手段３７Ｄは、仮想カメラにより被写体画像を生成する以外、第３実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段３７Ｄは、仮想カメラにより被写体画像を生成する以外、第３実施形態と同様のため、説明を省略する。
【0139】
【0140】
仮想カメラ設定手段３５Ｄは、制御信号に基づいて単色の仮想カメラを設定する（ステップＳ１０Ｄ）。
要素画像群生成手段３７Ｄは、ステップＳ１０Ｄで設定した仮想カメラを介して、ステップＳ１１で入力した３次元モデルの被写体画像を生成する。そして、ＲＧＢデータ交換処理手段３７１は、ＲＢＧデータ交換処理を行い、カラーの被写体画像を生成する（ステップＳ２０Ｄ）。
要素画像群生成手段３７Ｄは、ステップＳ２０Ｄで生成した被写体画像から、軸ずれ量ｄｙに応じた画素位置の画素値を取得して要素画像群を生成する（ステップＳ１２Ｄ）。
要素画像群生成手段３７Ｄは、ステップＳ１０Ｄで設定した仮想カメラを介して、ステップＳ１１で入力した３次元モデルの被写体画像を生成する。そして、ＲＧＢデータ交換処理手段３７１は、ＲＢＧデータ交換処理を行い、カラーの被写体画像を生成する（ステップＳ２０Ｄ）。
要素画像群生成手段３７Ｄは、ステップＳ２０Ｄで生成した被写体画像から、軸ずれ量ｄｙに応じた画素位置の画素値を取得して要素画像群を生成する（ステップＳ１２Ｄ）。
【0141】
［作用・効果］
以上のように、立体画像生成装置３０Ｄは、ＣＧにより被写体画像を生成する場合でも、第３実施形態と同様の効果を奏する。
以上のように、立体画像生成装置３０Ｄは、ＣＧにより被写体画像を生成する場合でも、第３実施形態と同様の効果を奏する。
【0142】
（第５実施形態）
本発明の第５実施形態に係る立体画像表示システム１Ｅ（図２３）について、第３実施形態と異なる点を説明する。
第３実施形態では、撮像カメラアレイ２０Ｃが単色カメラアレイであるのに対し、第５実施形態では、撮像カメラアレイ２０Ｅが、カラーカメラを配列したカラーカメラアレイである点が異なる。
本発明の第５実施形態に係る立体画像表示システム１Ｅ（図２３）について、第３実施形態と異なる点を説明する。
第３実施形態では、撮像カメラアレイ２０Ｃが単色カメラアレイであるのに対し、第５実施形態では、撮像カメラアレイ２０Ｅが、カラーカメラを配列したカラーカメラアレイである点が異なる。
【0143】
［立体画像表示システムの概略］
ＲＧＢの何れか一色を撮像する単色カメラよりも、ＲＧＢの全色を撮像できるカラーカメラの方が一般的である。そこで、撮像カメラアレイ２０Ｅは、図２１に示すように、単色カメラに代えて、カラーで撮像可能な撮像カメラ２１Ｅを配列したものである。つまり、撮像カメラアレイ２０Ｅは、３０台の撮像カメラ２１Ｅを搭載した昇降部材２２を１０段備える。
ＲＧＢの何れか一色を撮像する単色カメラよりも、ＲＧＢの全色を撮像できるカラーカメラの方が一般的である。そこで、撮像カメラアレイ２０Ｅは、図２１に示すように、単色カメラに代えて、カラーで撮像可能な撮像カメラ２１Ｅを配列したものである。つまり、撮像カメラアレイ２０Ｅは、３０台の撮像カメラ２１Ｅを搭載した昇降部材２２を１０段備える。
【0144】
ここで、撮像カメラアレイ２０Ｅは、立体画像表示装置１０のサブピクセルで構成された画素単位のグループで撮像カメラ２１Ｅを配列する。従って、撮像カメラアレイ２０Ｅは、図２８に示すように、水平方向に並んだ３台の撮像カメラ２１Ｅで、立体画像表示装置１０の１画素に対応する１つのグループを構成する。例えば、立体画像表示装置１０において、緑色のサブピクセルにＲ２Ｇ２Ｂ２カメラが対応し、赤色にＲ１Ｇ１Ｂ１カメラが対応し、青色のサブピクセルにＲ３Ｇ３Ｂ３カメラが対応するので、Ｒ１Ｇ１Ｂ１カメラ、Ｒ２Ｇ２Ｂ２カメラ及びＲ３Ｇ３Ｂ３カメラの３台で１つのグループを構成する。
【0145】
なお、図２８では、各撮像カメラ２１Ｅにサブピクセルの位置を表す英数字を付加した。例えば、図面最上部の撮像カメラ２１Ｅには「Ｒ１Ｇ１Ｂ１」が付されているので、この撮像カメラ２１Ｅが、水平方向で左から１番目に位置することを示す。
【0146】
また、図２８に示すように、第３実施形態と同様のＲＧＢデータ交換処理を行う。Ｒ２Ｇ２Ｂ２カメラで撮像した被写体画像と、Ｒ１Ｇ１Ｂ１カメラ及びＲ３Ｇ３Ｂ３カメラで撮像した被写体画像との画素位置情報を統合し、Ｇ２カメラ位置で撮像したのと等価なカラーの被写体画像（Ｒ１Ｇ２Ｂ３データ）を合成する。さらに、ＲＧＢデータ交換処理により、Ｇ５カメラ位置に対応する被写体画像（Ｒ４Ｇ５Ｂ６データ）、Ｇ８カメラ位置に対応する被写体画像（Ｒ７Ｇ８Ｂ９データ）も同様の手順で合成する。
なお、ＲＧＢデータ交換処理により、Ｇ２，Ｇ５，Ｇ８カメラ位置以外に対応する被写体画像も合成されるが、本実施形態では利用しない（図２８では破線で図示）。
なお、ＲＧＢデータ交換処理により、Ｇ２，Ｇ５，Ｇ８カメラ位置以外に対応する被写体画像も合成されるが、本実施形態では利用しない（図２８では破線で図示）。
【0147】
従って、第３実施形態と同様、合成後の被写体画像では、立体画像表示装置１０の赤色、緑色及び青色の画素位置情報を統合するので、色ずれが発生しないことになる。
その後、図２８に示すように、第３実施形態と同様、画素位置変換テーブルを参照し、各被写体画像の画素位置を変換することで、要素画像群を生成する。
その後、図２８に示すように、第３実施形態と同様、画素位置変換テーブルを参照し、各被写体画像の画素位置を変換することで、要素画像群を生成する。
【0148】
［立体画像生成装置の構成］
図２３に戻り、立体画像表示システム１Ｅの構成について説明する。
立体画像表示システム１Ｅは、被写体αの立体画像を表示するものであり、図２３に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｅと、を備える。
立体画像生成装置３０Ｅは、撮像カメラアレイ２０Ｅが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
図２３に戻り、立体画像表示システム１Ｅの構成について説明する。
立体画像表示システム１Ｅは、被写体αの立体画像を表示するものであり、図２３に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｅと、を備える。
立体画像生成装置３０Ｅは、撮像カメラアレイ２０Ｅが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
【0149】
図２３に示すように、立体画像生成装置３０Ｅは、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２と、画素位置変換テーブル記憶手段３３と、演算手段３４と、撮像カメラ制御手段３５Ｃと、被写体画像入力手段３６Ｅと、要素画像群生成手段（立体画像生成手段）３７Ｅと、を備える。
なお、被写体画像入力手段３６Ｅ及び要素画像群生成手段３７Ｅ以外は、前記した各実施形態と同様のため、説明を省略する。
なお、被写体画像入力手段３６Ｅ及び要素画像群生成手段３７Ｅ以外は、前記した各実施形態と同様のため、説明を省略する。
【0150】
被写体画像入力手段３６Ｅは、撮像カメラアレイ２０Ｅを構成する各撮像カメラ２１Ｅからカラーの被写体画像を入力する。そして、被写体画像入力手段３６Ｅは、各撮像カメラ２１Ｅからの被写体画像を要素画像群生成手段３７Ｃに出力する。
【0151】
要素画像群生成手段３７Ｅは、被写体画像入力手段３６Ｅより入力したカラーの被写体画像から要素画像群を生成するものであり、ＲＧＢデータ交換処理手段（画素位置修正手段）３７１Ｅを備える。
ＲＧＢデータ交換処理手段３７１Ｅは、被写体画像入力手段３６Ｃからのカラーの被写体画像に対して、ＲＧＢデータ交換処理を施すものである。
なお、要素画像群生成手段３７Ｅ及びＲＧＢデータ交換処理手段３７１Ｅは、処理対象の被写体画像が単色であるかカラーであるか以外、第３実施形態と同様のため、説明を省略する。
ＲＧＢデータ交換処理手段３７１Ｅは、被写体画像入力手段３６Ｃからのカラーの被写体画像に対して、ＲＧＢデータ交換処理を施すものである。
なお、要素画像群生成手段３７Ｅ及びＲＧＢデータ交換処理手段３７１Ｅは、処理対象の被写体画像が単色であるかカラーであるか以外、第３実施形態と同様のため、説明を省略する。
【0152】
【0153】
被写体画像入力手段３６Ｅは、ステップＳ６Ｃの指令に応じて各撮像カメラ２１Ｅが撮像したカラーの被写体画像の入力を受け付ける（ステップＳ７Ｅ）。
ＲＧＢデータ交換処理手段３７１Ｅは、ステップＳ７Ｅで入力されたカラーの被写体画像に対して、ＲＧＢデータ交換処理を施し、被写体画像を生成する（ステップＳ２０Ｅ）。
ＲＧＢデータ交換処理手段３７１Ｅは、ステップＳ７Ｅで入力されたカラーの被写体画像に対して、ＲＧＢデータ交換処理を施し、被写体画像を生成する（ステップＳ２０Ｅ）。
【0154】
［作用・効果］
以上のように、立体画像生成装置３０Ｅは、カラーカメラアレイを用いる場合でも、第３実施形態と同様の効果を奏する。
以上のように、立体画像生成装置３０Ｅは、カラーカメラアレイを用いる場合でも、第３実施形態と同様の効果を奏する。
【0155】
（第６実施形態）
図２６を参照し、本発明の第６実施形態に係る立体画像表示システム１Ｆについて、第５実施形態と異なる点を説明する。
図２６を参照し、本発明の第６実施形態に係る立体画像表示システム１Ｆについて、第５実施形態と異なる点を説明する。
【0156】
第５実施形態では、撮像カメラアレイ２０Ｅが実写した画像を処理対象とするのに対して、第６実施形態では、仮想カメラアレイによりＣＧ画像を処理対象とする点が異なる。
つまり、本実施形態では、仮想カメラアレイは、ＲＧＢの全色を撮像するカラーの仮想カメラを第５実施形態と同様に配置している。
つまり、本実施形態では、仮想カメラアレイは、ＲＧＢの全色を撮像するカラーの仮想カメラを第５実施形態と同様に配置している。
【0157】
［立体画像生成装置の構成］
図２６を参照し、立体画像表示システム１Ｆの構成について説明する。
立体画像表示システム１Ｆは、被写体αの立体画像を表示するものであり、図２６に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｆと、を備える。
立体画像生成装置３０Ｆは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
図２６を参照し、立体画像表示システム１Ｆの構成について説明する。
立体画像表示システム１Ｆは、被写体αの立体画像を表示するものであり、図２６に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｆと、を備える。
立体画像生成装置３０Ｆは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
【0158】
図２６に示すように、立体画像生成装置３０Ｆは、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２と、画素位置変換テーブル記憶手段３３と、演算手段３４と、仮想カメラ設定手段（撮像カメラ制御手段）３５Ｆと、要素画像群生成手段（立体画像生成手段）３７Ｆと、３次元モデル入力手段３８とを備える。
なお、仮想カメラ設定手段３５Ｆ及び要素画像群生成手段３７Ｆ以外は、前記した各実施形態と同様のため、説明を省略する。
なお、仮想カメラ設定手段３５Ｆ及び要素画像群生成手段３７Ｆ以外は、前記した各実施形態と同様のため、説明を省略する。
【0159】
仮想カメラ設定手段３５Ｆは、演算手段３４から入力した制御信号に基づいてカラーの仮想カメラを設定するものである。なお、設定する仮想カメラがカラーであること以外、第４実施形態と同様のため、説明を省略する。
【0160】
要素画像群生成手段３７Ｆは、仮想カメラ設定手段３５Ｆが設定した仮想カメラアレイを介して被写体画像を生成し、その被写体画像から要素画像群を生成するものであり、ＲＧＢデータ交換処理手段３７１Ｅを備える。
なお、要素画像群生成手段３７Ｆは、仮想カメラにより被写体画像を生成する以外、第５実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段３７Ｆは、仮想カメラにより被写体画像を生成する以外、第５実施形態と同様のため、説明を省略する。
【0161】
【0162】
仮想カメラ設定手段３５Ｆは、制御信号に基づいてカラーの仮想カメラを設定する（ステップＳ１０Ｆ）。
要素画像群生成手段３７Ｆは、ステップＳ１０Ｆで設定した仮想カメラを介して、ステップＳ１１で入力した３次元モデルの被写体画像を生成する。そして、ＲＧＢデータ交換処理手段３７１Ｅは、ＲＢＧデータ交換処理を行い、画素位置がサブピクセルレベルで一致した被写体画像を生成する（ステップＳ２０Ｆ）。
要素画像群生成手段３７Ｆは、ステップＳ１０Ｆで設定した仮想カメラを介して、ステップＳ１１で入力した３次元モデルの被写体画像を生成する。そして、ＲＧＢデータ交換処理手段３７１Ｅは、ＲＢＧデータ交換処理を行い、画素位置がサブピクセルレベルで一致した被写体画像を生成する（ステップＳ２０Ｆ）。
【0163】
［作用・効果］
以上のように、立体画像生成装置３０Ｆは、ＣＧにより被写体画像を生成する場合でも、第５実施形態と同様の効果を奏する。
以上のように、立体画像生成装置３０Ｆは、ＣＧにより被写体画像を生成する場合でも、第５実施形態と同様の効果を奏する。
【0164】
【0165】
第５実施形態では、Ｇ２，Ｇ５，Ｇ８カメラ位置に対応する被写体画像のみ利用するのに対し、第７実施形態では、Ｇ２，Ｇ５，Ｇ８カメラ位置以外の被写体画像も利用できる点が異なる。
また、第５実施形態では、画素位置変換テーブルが画素単位であるのに対し（図２８では３個）、第７実施形態では、画素位置変換テーブルがサブピクセル単位である点も異なる（図２９では９個）。
また、第５実施形態では、画素位置変換テーブルが画素単位であるのに対し（図２８では３個）、第７実施形態では、画素位置変換テーブルがサブピクセル単位である点も異なる（図２９では９個）。
【0166】
図２９に示すように、第５実施形態と同様のＲＧＢデータ交換処理を行い、被写体画像（Ｒ０Ｇ１Ｂ２データ～Ｒ８Ｇ９Ｂ１０データ）を生成する。ここで、Ｒ０Ｇ０Ｂ０カメラが存在せずにＲ０Ｇ１Ｂ２データのＲ値（Ｒ０）を取得できないので、Ｒ１Ｇ１Ｂ１カメラで撮像した被写体画像のＲ値（Ｒ１）を流用してもよい。これと同様、Ｒ１０Ｇ１０Ｂ１０カメラが存在しないので、Ｒ８Ｇ９Ｂ１０データのＢ値（Ｂ１０）として、Ｒ９Ｇ９Ｂ９カメラで撮像した被写体画像のＢ値（Ｂ９）を流用してもよい。このように、撮像カメラアレイ２０Ｅの両端に位置する撮像カメラ２１Ｅの画素値を流用することで、撮像カメラ２１Ｅの台数の増加を抑えられる。
【0167】
その後、図２９に示すように、画素位置変換テーブルを参照し、各被写体画像の画素位置を変換することで、要素画像群を生成する。ここで、立体画像表示装置１０のＲＧＢサブピクセルに合わせて要素画像群が生成されるので、図２８に比べて３倍、水平方向にオーバーサンプリングされてしまう。そこで、立体画像表示装置１０の画素数に合うように、水平方向で１／３のダウンサンプリングを行う。
【0168】
［立体画像生成装置の構成］
図３０を参照し、立体画像表示システム１Ｇの構成について説明する。
立体画像表示システム１Ｇは、被写体αの立体画像を表示するものであり、図３０に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｇと、を備える。
立体画像生成装置３０Ｇは、撮像カメラアレイ２０Ｅが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
図３０を参照し、立体画像表示システム１Ｇの構成について説明する。
立体画像表示システム１Ｇは、被写体αの立体画像を表示するものであり、図３０に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｇと、を備える。
立体画像生成装置３０Ｇは、撮像カメラアレイ２０Ｅが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
【0169】
図３０に示すように、立体画像生成装置３０Ｇは、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２Ｇと、画素位置変換テーブル記憶手段３３と、演算手段３４と、撮像カメラ制御手段３５Ｃと、被写体画像入力手段３６Ｅと、要素画像群生成手段（立体画像生成手段）３７Ｇと、ダウンサンプリング手段（画像縮小手段）３９とを備える。
なお、画素位置変換テーブル生成手段３２Ｇ、要素画像群生成手段３７Ｇ及びダウンサンプリング手段３９以外は、前記した各実施形態と同様のため、説明を省略する。
なお、画素位置変換テーブル生成手段３２Ｇ、要素画像群生成手段３７Ｇ及びダウンサンプリング手段３９以外は、前記した各実施形態と同様のため、説明を省略する。
【0170】
画素位置変換テーブル生成手段３２Ｇは、要素画像群の生成に必要な画素位置変換テーブルを生成するものである。本実施形態では、画素位置変換テーブル生成手段３２Ｇは、撮像カメラ２１Ｅ毎に画素位置変換テーブルを生成する。つまり、画素位置変換テーブルは、サブピクセル単位の情報となる。
【0171】
要素画像群生成手段３７Ｇは、被写体画像入力手段３６Ｅより入力した被写体画像から要素画像群を生成するものであり、ＲＧＢデータ交換処理手段３７１Ｅを備える。
なお、要素画像群生成手段３７Ｇは、全ての撮像カメラ２１Ｅが撮像した被写体画像から要素画像群を生成する以外、第５実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段３７Ｇは、全ての撮像カメラ２１Ｅが撮像した被写体画像から要素画像群を生成する以外、第５実施形態と同様のため、説明を省略する。
【0172】
ダウンサンプリング手段３９は、要素画像群生成手段３７Ｇから入力されたサブピクセル単位の要素画像群を、画素単位の縮小要素画像群にダウンサンプリング（縮小）するものである。例えば、ダウンサンプリング手段３９は、空間フィルタ等によるダウンサンプリングを行う。
その後、ダウンサンプリング手段３９は、ダウンサンプリングした縮小要素画像群を立体画像表示装置１０に出力する。
その後、ダウンサンプリング手段３９は、ダウンサンプリングした縮小要素画像群を立体画像表示装置１０に出力する。
【0173】
【0174】
要素画像群生成手段３７Ｇは、ステップＳ２０Ｅで生成した被写体画像から、軸ずれ量ｄｙに応じた画素位置の画素値を取得して要素画像群を生成する（ステップＳ８Ｇ）。
ダウンサンプリング手段３９は、ステップＳ８Ｇで生成した要素画像群をダウンサンプリングする（ステップＳ２１）。
ダウンサンプリング手段３９は、ステップＳ８Ｇで生成した要素画像群をダウンサンプリングする（ステップＳ２１）。
【0175】
［作用・効果］
以上のように、立体画像生成装置３０Ｇは、第５実施形態と同様の効果に加え、要素画像群をダウンサンプリングすることで、サブピクセルの開口率を小さくし、よりシャープな立体画像を生成することができる。
以上のように、立体画像生成装置３０Ｇは、第５実施形態と同様の効果に加え、要素画像群をダウンサンプリングすることで、サブピクセルの開口率を小さくし、よりシャープな立体画像を生成することができる。
【0176】
（第８実施形態）
図３２を参照し、本発明の第８実施形態に係る立体画像表示システム１Ｈについて、第７実施形態と異なる点を説明する。
第７実施形態では、撮像カメラアレイ２０Ｅが実写した画像を処理対象とするのに対して、第８実施形態では、仮想カメラアレイによりＣＧ画像を処理対象とする点が異なる。
図３２を参照し、本発明の第８実施形態に係る立体画像表示システム１Ｈについて、第７実施形態と異なる点を説明する。
第７実施形態では、撮像カメラアレイ２０Ｅが実写した画像を処理対象とするのに対して、第８実施形態では、仮想カメラアレイによりＣＧ画像を処理対象とする点が異なる。
【0177】
［立体画像生成装置の構成］
図３２を参照し、立体画像表示システム１Ｈの構成について説明する。
立体画像表示システム１Ｈは、被写体αの立体画像を表示するものであり、図３２に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｈと、を備える。
立体画像生成装置３０Ｈは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
図３２を参照し、立体画像表示システム１Ｈの構成について説明する。
立体画像表示システム１Ｈは、被写体αの立体画像を表示するものであり、図３２に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｈと、を備える。
立体画像生成装置３０Ｈは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
【0178】
図３２に示すように、立体画像生成装置３０Ｈは、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２Ｇと、画素位置変換テーブル記憶手段３３と、演算手段３４と、仮想カメラ設定手段３５Ｆと、要素画像群生成手段３７Ｈと、３次元モデル入力手段３８と、ダウンサンプリング手段３９とを備える。
なお、要素画像群生成手段３７Ｈ以外は、前記した各実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段３７Ｈ以外は、前記した各実施形態と同様のため、説明を省略する。
【0179】
要素画像群生成手段３７Ｈは、仮想カメラ設定手段３５Ｆが設定した仮想カメラアレイを介して被写体画像を生成し、その被写体画像から要素画像群を生成するものであり、ＲＧＢデータ交換処理手段３７１Ｅを備える。
なお、要素画像群生成手段３７Ｈは、仮想カメラにより被写体画像を生成する以外、第７実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段３７Ｈは、仮想カメラにより被写体画像を生成する以外、第７実施形態と同様のため、説明を省略する。
【0180】
［立体画像生成装置の動作］
図３３を参照し、立体画像生成装置３０Ｈの動作について説明する。
要素画像群生成手段３７Ｈは、ステップＳ２０Ｆで生成した被写体画像から、軸ずれ量ｄｙに応じた画素位置の画素値を取得して要素画像群を生成する（ステップＳ１２Ｈ）。
なお、ステップＳ１～Ｓ２０Ｆ，Ｓ２１の処理は、第６実施形態及び第７実施形態と同様のため、説明を省略した。
図３３を参照し、立体画像生成装置３０Ｈの動作について説明する。
要素画像群生成手段３７Ｈは、ステップＳ２０Ｆで生成した被写体画像から、軸ずれ量ｄｙに応じた画素位置の画素値を取得して要素画像群を生成する（ステップＳ１２Ｈ）。
なお、ステップＳ１～Ｓ２０Ｆ，Ｓ２１の処理は、第６実施形態及び第７実施形態と同様のため、説明を省略した。
【0181】
［作用・効果］
以上のように、立体画像生成装置３０Ｈは、ＣＧにより被写体画像を生成する場合でも、第７実施形態と同様の効果を奏する。
以上のように、立体画像生成装置３０Ｈは、ＣＧにより被写体画像を生成する場合でも、第７実施形態と同様の効果を奏する。
【0182】
（第９実施形態）
図３４を参照し、本発明の第９実施形態に係る立体画像表示システム１Ｉ（図３５）について、第７実施形態と異なる点を説明する。
第９実施形態では、ＲＧＢデータ交換処理を行わず、サブピクセルを考慮したダウンサンプリングを行う点が第７実施形態と異なる。
図３４を参照し、本発明の第９実施形態に係る立体画像表示システム１Ｉ（図３５）について、第７実施形態と異なる点を説明する。
第９実施形態では、ＲＧＢデータ交換処理を行わず、サブピクセルを考慮したダウンサンプリングを行う点が第７実施形態と異なる。
【0183】
図３４に示すように、立体画像表示システム１Ｉは、画素位置変換テーブルを参照し、撮像カメラ２１Ｅで撮像した被写体画像の画素位置を変換し、要素画像群を生成する。この要素画像群は、水平方向にオーバーサンプリングされており、かつ、ＲＧＢのサブピクセル位置がずれている。そこで、立体画像表示システム１Ｉは、サブピクセルを考慮したダウンサンプリングを行い、色ずれを抑制する。
【0184】
［立体画像生成装置の構成］
図３５を参照し、立体画像表示システム１Ｉの構成について説明する。
立体画像表示システム１Ｉは、被写体αの立体画像を表示するものであり、図３５に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｉと、を備える。
立体画像生成装置３０Ｉは、撮像カメラアレイ２０Ｅが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
図３５を参照し、立体画像表示システム１Ｉの構成について説明する。
立体画像表示システム１Ｉは、被写体αの立体画像を表示するものであり、図３５に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｉと、を備える。
立体画像生成装置３０Ｉは、撮像カメラアレイ２０Ｅが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
【0185】
図３５に示すように、立体画像生成装置３０Ｉは、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２Ｇと、画素位置変換テーブル記憶手段３３と、演算手段３４と、撮像カメラ制御手段３５Ｃと、被写体画像入力手段３６Ｅと、要素画像群生成手段３７（立体画像生成手段）Ｉと、ダウンサンプリング手段（画像縮小手段）３９Ｉとを備える。
なお、要素画像群生成手段３７Ｉ及びダウンサンプリング手段３９Ｉ以外は、前記した各実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段３７Ｉ及びダウンサンプリング手段３９Ｉ以外は、前記した各実施形態と同様のため、説明を省略する。
【0186】
要素画像群生成手段３７Ｉは、被写体画像入力手段３６Ｅより入力したカラーの被写体画像から要素画像群を生成するものである。
具体的には、要素画像群生成手段３７Ｉは、画素位置変換テーブルを参照し、被写体画像の画素位置を変換することで要素画像群を生成する。このとき、要素画像群生成手段３７Ｉは、各被写体画像から、軸ずれ量算出手段３４３で算出した軸ずれ量ｄｙに応じた画素位置の画素値を取得する。
その後、要素画像群生成手段３７Ｉは、生成した要素画像群をダウンサンプリング手段３９Ｉに出力する。
具体的には、要素画像群生成手段３７Ｉは、画素位置変換テーブルを参照し、被写体画像の画素位置を変換することで要素画像群を生成する。このとき、要素画像群生成手段３７Ｉは、各被写体画像から、軸ずれ量算出手段３４３で算出した軸ずれ量ｄｙに応じた画素位置の画素値を取得する。
その後、要素画像群生成手段３７Ｉは、生成した要素画像群をダウンサンプリング手段３９Ｉに出力する。
【0187】
ダウンサンプリング手段３９Ｉは、要素画像群生成手段３７Ｉからの要素画像群を、画素単位の縮小要素画像群にサブピクセルを考慮してダウンサンプリングするものである。
【0188】
＜サブピクセルを考慮したダウンサンプリング＞
図３６を参照し、サブピクセルを考慮したダウンサンプリングについて、説明する。
図３６に示すように、ダウンサンプリング手段３９Ｉは、要素画像群生成手段３７Ｇからの要素画像群γに、注目画素ＰＧと、この注目画素に隣接する隣接画素ＰＲ，ＰＢとを設定する。そして、ダウンサンプリング手段３９Ｉは、注目画素ＰＧのＧ値と、隣接画素ＰＲのＲ値と、隣接画素ＰＢのＢ値とを、縮小要素画像γＳの注目画素ＰＳの画素値（ＲＧＢ値）とする。
図３６を参照し、サブピクセルを考慮したダウンサンプリングについて、説明する。
図３６に示すように、ダウンサンプリング手段３９Ｉは、要素画像群生成手段３７Ｇからの要素画像群γに、注目画素ＰＧと、この注目画素に隣接する隣接画素ＰＲ，ＰＢとを設定する。そして、ダウンサンプリング手段３９Ｉは、注目画素ＰＧのＧ値と、隣接画素ＰＲのＲ値と、隣接画素ＰＢのＢ値とを、縮小要素画像γＳの注目画素ＰＳの画素値（ＲＧＢ値）とする。
【0189】
ここで、ダウンサンプリング手段３９Ｉは、要素画像群γの左上画素から順にラスタスキャンするように注目画素ＰＧを設定し、前記した処理を全画素に施す。これにより、ダウンサンプリング手段３９Ｉは、要素画像群γで水平方向に並んだ３画素を縮小要素画像γＳの１画素にダウンサンプリングし、縮小要素画像γＳを生成する。
【0190】
【0191】
要素画像群生成手段３７Ｉは、ステップＳ７Ｅで入力された被写体画像から、軸ずれ量ｄｙに応じた画素位置の画素値を取得して要素画像群を生成する（ステップＳ８Ｉ）。
ダウンサンプリング手段３９Ｉは、ステップＳ８Ｇで生成した要素画像群を、サブピクセルを考慮してダウンサンプリングする（ステップＳ２１Ｉ）。
ダウンサンプリング手段３９Ｉは、ステップＳ８Ｇで生成した要素画像群を、サブピクセルを考慮してダウンサンプリングする（ステップＳ２１Ｉ）。
【0192】
［作用・効果］
以上のように、立体画像生成装置３０Ｉは、第７実施形態と同様、要素画像群をダウンサンプリングすることで、サブピクセルの開口率を小さくし、よりシャープな立体画像を生成することができる。
以上のように、立体画像生成装置３０Ｉは、第７実施形態と同様、要素画像群をダウンサンプリングすることで、サブピクセルの開口率を小さくし、よりシャープな立体画像を生成することができる。
【0193】
（第１０実施形態）
図３８を参照し、本発明の第１０実施形態に係る立体画像表示システム１Ｊについて、第９実施形態と異なる点を説明する。
第９実施形態では、撮像カメラアレイ２０Ｅが実写した画像を処理対象とするのに対して、第１０実施形態では、仮想カメラアレイによりＣＧ画像を処理対象とする点が異なる。
図３８を参照し、本発明の第１０実施形態に係る立体画像表示システム１Ｊについて、第９実施形態と異なる点を説明する。
第９実施形態では、撮像カメラアレイ２０Ｅが実写した画像を処理対象とするのに対して、第１０実施形態では、仮想カメラアレイによりＣＧ画像を処理対象とする点が異なる。
【0194】
［立体画像生成装置の構成］
図３８を参照し、立体画像表示システム１Ｊの構成について説明する。
立体画像表示システム１Ｊは、被写体αの立体画像を表示するものであり、図３８に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｊと、を備える。
立体画像生成装置３０Ｊは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
図３８を参照し、立体画像表示システム１Ｊの構成について説明する。
立体画像表示システム１Ｊは、被写体αの立体画像を表示するものであり、図３８に示すように、立体画像表示装置１０と、立体画像生成装置３０Ｊと、を備える。
立体画像生成装置３０Ｊは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置１０が表示する要素画像群を生成するものである。
【0195】
図３８に示すように、立体画像生成装置３０Ｊは、パラメータ入力手段３１と、画素位置変換テーブル生成手段３２Ｇと、画素位置変換テーブル記憶手段３３と、演算手段３４と、仮想カメラ設定手段３５Ｆと、要素画像群生成手段（立体画像生成手段）３７Ｊと、３次元モデル入力手段３８と、ダウンサンプリング手段３９Ｉとを備える。
なお、要素画像群生成手段３７Ｊ以外は、前記した各実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段３７Ｊ以外は、前記した各実施形態と同様のため、説明を省略する。
【0196】
要素画像群生成手段３７Ｊは、仮想カメラ設定手段３５Ｆが設定した仮想カメラアレイを介して被写体画像を生成し、その被写体画像から要素画像群を生成するものである。
なお、要素画像群生成手段３７Ｊは、仮想カメラにより被写体画像を生成する以外、第９実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段３７Ｊは、仮想カメラにより被写体画像を生成する以外、第９実施形態と同様のため、説明を省略する。
【0197】
［立体画像生成装置の動作］
図３９を参照し、立体画像生成装置３０Ｊの動作について説明する（適宜図３８参照）。
要素画像群生成手段３７Ｊは、ステップＳ１１で入力した３次元モデルの被写体画像を生成し、被写体画像から要素画像群をサブピクセル単位で生成する（ステップＳ１２Ｊ）
なお、ステップＳ１～Ｓ１１，Ｓ２１Ｉの処理は、前記した各実施形態と同様のため、説明を省略した。
図３９を参照し、立体画像生成装置３０Ｊの動作について説明する（適宜図３８参照）。
要素画像群生成手段３７Ｊは、ステップＳ１１で入力した３次元モデルの被写体画像を生成し、被写体画像から要素画像群をサブピクセル単位で生成する（ステップＳ１２Ｊ）
なお、ステップＳ１～Ｓ１１，Ｓ２１Ｉの処理は、前記した各実施形態と同様のため、説明を省略した。
【0198】
［作用・効果］
以上のように、立体画像生成装置３０Ｊは、ＣＧにより被写体画像を生成する場合でも、第９実施形態と同様の効果を奏する。
以上のように、立体画像生成装置３０Ｊは、ＣＧにより被写体画像を生成する場合でも、第９実施形態と同様の効果を奏する。
【0199】
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0200】
（変形例１）
前記した各実施形態では、立体画像撮像装置において、撮像用要素レンズのレンズ間隔が、撮像素子の画素間隔の整数倍（整数画素間隔）であることとして説明したが、本発明は、これに限定されない。
つまり、本発明は、撮像用要素レンズのレンズ間隔が、撮像素子の画素間隔の整数倍でなくともよい（非整数画素間隔）。
前記した各実施形態では、立体画像撮像装置において、撮像用要素レンズのレンズ間隔が、撮像素子の画素間隔の整数倍（整数画素間隔）であることとして説明したが、本発明は、これに限定されない。
つまり、本発明は、撮像用要素レンズのレンズ間隔が、撮像素子の画素間隔の整数倍でなくともよい（非整数画素間隔）。
【0201】
非整数画素間隔の場合、撮像素子の各画素に入力する光線が同一方向になるとは限らない。つまり、奥行き制御レンズの被写体側主平面にできる光線群の集光点が撮像用要素レンズ内の要素画像の画素数数以上になるため、撮像カメラの間を通る光線が存在する。この場合、下記参考文献に記載の手法を用いて、撮像カメラの間を通る光線が主平面と交わる位置をレンズの主点位置とする仮想的な撮像カメラで補完することで、要素画像群を生成する。
【0202】
参考文献１：Cha Zhang et al.， “A Self-Reconfigurable Camera Array，”Eurographics Symposium on Rendering (2004)
参考文献２：稲本 他，“視点の内挿を利用した多視点サッカー映像の自由視点鑑賞システム，”２００２年映像情報メディア学会冬季大会，７－２
参考文献２：稲本 他，“視点の内挿を利用した多視点サッカー映像の自由視点鑑賞システム，”２００２年映像情報メディア学会冬季大会，７－２
【0203】
（変形例２）
前記した第３実施形態～第１０実施形態では、撮像カメラアレイの配列をサブピクセルに対応させると説明したが、本発明は、これに限定されない。すなわち、第１実施形態及び第２実施形態において、隣接する撮像カメラの画素値を補間することで、色ずれを抑制できる。
前記した第３実施形態～第１０実施形態では、撮像カメラアレイの配列をサブピクセルに対応させると説明したが、本発明は、これに限定されない。すなわち、第１実施形態及び第２実施形態において、隣接する撮像カメラの画素値を補間することで、色ずれを抑制できる。
【0204】
例えば、立体画像表示装置がＲＧＢストライプ構造の場合、Ｇ値をそのまま利用し、Ｒ値及びＢ値を補間するとよい。具体的には、Ｒ値は、左隣の画素のＲ値と注目画素の補間前のＲ値とから補間する。また、Ｂ値は、右隣の画素のＲ値と注目画素の補間前のＲ値から補間する。例えば、注目画素の補間前のＲ値をｖ１とし、左隣の画素のＲ値をｖ０とした場合、注目画素の補間後のＲ値を表すｖ１’は、下記の式で求めることができる（Ｂ値も同様）。
ｖ１’＝(ｖ１×２／３)＋(ｖ０×１／３)
ｖ１’＝(ｖ１×２／３)＋(ｖ０×１／３)
【0205】
なお、前記した手法では、水平方向における線形補間を用いているが、垂直方向の画素値を利用したり、精度の高い補間方法を用いることも可能である。
【0206】
（他変形例）
前記した各実施形態では、光学素子アレイが表示用要素レンズ等の光学素子を２次元に配列した表示用レンズアレイであることとして説明したが、本発明は、これに限定されない。例えば、光学素子アレイは、要素レンズを１次元に配列したレンズアレイであってもよい。また、光学素子アレイは、かまぼこ型の要素レンズ（レンチキュラーレンズ）を１次元に配列したレンチキュラーレンズアレイであってもよい。さらに、光学素子アレイは、ピンホールを１次元又は２次元に配列したピンホールアレイであってもよい。さらに、本発明は、ＩＰ方式だけでなく、視差バリア方式にも適用できる。
前記した各実施形態では、光学素子アレイが表示用要素レンズ等の光学素子を２次元に配列した表示用レンズアレイであることとして説明したが、本発明は、これに限定されない。例えば、光学素子アレイは、要素レンズを１次元に配列したレンズアレイであってもよい。また、光学素子アレイは、かまぼこ型の要素レンズ（レンチキュラーレンズ）を１次元に配列したレンチキュラーレンズアレイであってもよい。さらに、光学素子アレイは、ピンホールを１次元又は２次元に配列したピンホールアレイであってもよい。さらに、本発明は、ＩＰ方式だけでなく、視差バリア方式にも適用できる。
【0207】
各撮像カメラで撮像した被写体画像と、要素画像群を構成する要素画像の各画素とが１対１で対応する場合、被写体画像の画素数と要素画像の数とが等しくなる。一方、被写体画像の画素数が要素画像の数よりも多くなる場合、オーバーサンプリングになる。この場合、取得する光線の光線幅が狭くなると共に、高い周波数までサンプリング可能となる。また、画素の有効径が小さくなるため、実写の場合であれば感度が下がることになるが、ＣＧでは感度を考慮する必要がない。つまり、オーバーサンプリングした被写体画像から所望の光線に最も近い画素を取得、画素位置の変換を行うことで、画素サイズによる精度の低下を抑えることができる。
【0208】
前記した第１実施形態では、複数の撮像カメラで構成される撮像カメラアレイを用いることとして説明したが、本発明は、これに限定されない。
例えば、被写体が静止している場合、１台の撮像カメラを移動させ、順次、撮像カメラに被写体画像を撮像させてもよい。この場合、全ての位置で被写体画像を撮像した後、第１実施形態と同様の手法で要素画像群を生成できる。
例えば、被写体が静止している場合、１台の撮像カメラを移動させ、順次、撮像カメラに被写体画像を撮像させてもよい。この場合、全ての位置で被写体画像を撮像した後、第１実施形態と同様の手法で要素画像群を生成できる。
【0209】
前記した第１実施形態及び第２実施形態では、撮像カメラアレイをピンホールモデルとして説明した。撮像カメラアレイの撮像レンズの焦点位置が、撮像素子までの距離と等しいと仮定することで、撮像レンズの径が仮想レンズアレイの各レンズの有効径と等しくなる。撮像カメラアレイの各撮像レンズの有効レンズ径を小さくすることで、仮想レンズアレイの各レンズの有効径を小さくできる。有効径を小さくすると、被写体によってはサンプリング時の折り返しが生じる可能性がある。特に、撮像カメラアレイから仮想レンズアレイまでの距離が近い、又は、撮像カメラアレイから被写体までの距離に近い場合には折り返しが生じる可能性が高いが、高周波成分を強調した撮像ができるという利点がある。光の回折の影響があるため有効径を小さくし過ぎるのもよくないため、撮像する被写体の周波数成分を考慮する必要がある。特に、被写体の主な周波成分が高周波である場合には、有効径を小さくすることで高精細な立体画像を取得できる。
【0210】
前記した各実施形態では、立体画像生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、立体画像生成装置として協調動作させる立体画像生成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記憶媒体に書き込んで配布してもよい。
【符号の説明】
【0211】
１，１Ｂ，１Ｃ～１Ｊ 立体画像表示システム
１０ 立体画像表示装置
１１ 表示素子
１２ 表示用レンズアレイ（光学素子アレイ）
１３ 表示用要素レンズ（光学素子）
２０，２０Ｃ，２０Ｅ 撮像カメラアレイ
２１，２１Ｃ，２１Ｅ 撮像カメラ
２２ 昇降部材
２３ 支柱
２５ 撮像素子
２７ 撮像レンズ
３０，３０Ｂ，３０Ｃ～３０Ｊ 立体画像生成装置
３１ パラメータ入力手段
３２，３２Ｇ 画素位置変換テーブル生成手段
３３ 画素位置変換テーブル記憶手段
３４ 演算手段
３４１ 位置算出手段
３４３ 軸ずれ量算出手段
３４５ 倍率算出手段
３４７ 画角算出手段
３５，３５Ｃ 撮像カメラ制御手段
３５Ｂ，３５Ｄ，３５Ｆ 仮想カメラ設定手段（撮像カメラ制御手段）
３６，３６Ｃ，３６Ｅ 被写体画像入力手段
３７，３７Ｂ，３７Ｃ～３７Ｊ 要素画像群生成手段（立体画像生成手段）
３７１，３７１Ｅ ＲＧＢデータ交換処理手段（画素位置修正手段）
３８ ３次元モデル入力手段
３９，３９Ｉ ダウンサンプリング手段（画像縮小手段）
９０ 立体画像撮像装置
９１ 撮像素子
９２ 撮像用レンズアレイ
９３ 撮像用要素レンズ
９４ 奥行き制御レンズ
９５ 仮想レンズアレイ
１０ 立体画像表示装置
１１ 表示素子
１２ 表示用レンズアレイ（光学素子アレイ）
１３ 表示用要素レンズ（光学素子）
２０，２０Ｃ，２０Ｅ 撮像カメラアレイ
２１，２１Ｃ，２１Ｅ 撮像カメラ
２２ 昇降部材
２３ 支柱
２５ 撮像素子
２７ 撮像レンズ
３０，３０Ｂ，３０Ｃ～３０Ｊ 立体画像生成装置
３１ パラメータ入力手段
３２，３２Ｇ 画素位置変換テーブル生成手段
３３ 画素位置変換テーブル記憶手段
３４ 演算手段
３４１ 位置算出手段
３４３ 軸ずれ量算出手段
３４５ 倍率算出手段
３４７ 画角算出手段
３５，３５Ｃ 撮像カメラ制御手段
３５Ｂ，３５Ｄ，３５Ｆ 仮想カメラ設定手段（撮像カメラ制御手段）
３６，３６Ｃ，３６Ｅ 被写体画像入力手段
３７，３７Ｂ，３７Ｃ～３７Ｊ 要素画像群生成手段（立体画像生成手段）
３７１，３７１Ｅ ＲＧＢデータ交換処理手段（画素位置修正手段）
３８ ３次元モデル入力手段
３９，３９Ｉ ダウンサンプリング手段（画像縮小手段）
９０ 立体画像撮像装置
９１ 撮像素子
９２ 撮像用レンズアレイ
９３ 撮像用要素レンズ
９４ 奥行き制御レンズ
９５ 仮想レンズアレイ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】