特許 5767500 立体画像補正装置およびそのプログラム、ならびに、立体画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5767500

(24)【登録日】2015年6月26日

(45)【発行日】2015年8月19日

(54)【発明の名称】立体画像補正装置およびそのプログラム、ならびに、立体画像表示装置

(51)【国際特許分類】

   G02B 27/22 20060101AFI20150730BHJP

   H04N 13/04 20060101ALI20150730BHJP

【ＦＩ】

   G02B27/22

   H04N13/04

【請求項の数】3

【全頁数】25

(21)【出願番号】特願2011-84374(P2011-84374)

(22)【出願日】2011年4月6日

(65)【公開番号】特開2012-220614(P2012-220614A)

(43)【公開日】2012年11月12日

【審査請求日】2014年1月30日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】洗井 淳

(72)【発明者】

【氏名】日浦 人誌

(72)【発明者】

【氏名】佐々木 久幸

(72)【発明者】

【氏名】三浦 雅人

(72)【発明者】

【氏名】三科 智之

(72)【発明者】

【氏名】奥井 誠人

(72)【発明者】

【氏名】岡野 文男

【審査官】 山本 貴一

(56)【参考文献】

【文献】 特開２００９−２７２９２２（ＪＰ，Ａ）

【文献】 特開２００４−３３６２３９（ＪＰ，Ａ）

【文献】 特開２００９−２７６４１０（ＪＰ，Ａ）

【文献】 特開２００７−０６５４４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２７／２２

Ｈ０４Ｎ １３／０４

(57)【特許請求の範囲】

【請求項1】

第１要素光学レンズ群を通して被写体を撮影することにより取得された第１要素画像群を補正し、第２要素光学レンズ群を通して立体像として表示される第２要素画像群を生成する立体画像補正装置であって、
前記第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報を取得する第１配置情報取得手段と、
この第１配置情報取得手段で取得された前記それぞれの第１要素光学レンズの配置情報に従って、前記第１要素画像群を、要素画像毎に分配する分配手段と、
この分配手段で分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第１の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する第１要素画像変換手段と、
この第１要素画像変換手段で変換されたそれぞれの要素画像の光波情報を前記分配された数だけ加算する加算手段と、
前記第２要素光学レンズ群を構成するそれぞれの第２要素光学レンズの配置情報を取得する第２配置情報取得手段と、
この第２配置情報取得手段で取得された前記それぞれの第２要素光学レンズの配置情報に従って、前記加算手段によって加算された光波情報を、前記第２要素画像群を構成する要素画像毎に再分配する再分配手段と、
この再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する第２要素画像変換手段と、
この第２要素画像変換手段で変換された光波情報を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する結合手段と、を備える
ことを特徴とする立体画像補正装置。

【請求項2】

第１要素光学レンズ群を通して被写体を撮影することにより取得された第１要素画像群を補正し、第２要素光学レンズ群を通して立体像として表示される第２要素画像群を生成するために、コンピュータを、
前記第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報を取得する第１配置情報取得手段、
この第１配置情報取得手段で取得された前記それぞれの第１要素光学レンズの配置情報に従って、前記第１要素画像群を、要素画像毎に分配する分配手段、
この分配手段で分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第１の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する第１要素画像変換手段、
この第１要素画像変換手段で変換されたそれぞれの要素画像の光波情報を前記分配された数だけ加算する加算手段、
前記第２要素光学レンズ群を構成するそれぞれの第２要素光学レンズの配置情報を取得する第２配置情報取得手段、
この第２配置情報取得手段で取得された前記それぞれの第２要素光学レンズの配置情報に従って、前記加算手段によって加算された光波情報を、前記第２要素画像群を構成する要素画像毎に再分配する再分配手段、
この再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する第２要素画像変換手段、
この第２要素画像変換手段で変換された光波情報を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する結合手段、として機能させる
ための立体画像補正プログラム。

【請求項3】

第１要素光学レンズ群を通して被写体を撮影することにより取得された第１要素画像群を補正し、第２要素光学レンズ群を通して立体像として表示される第２要素画像群を生成し、この第２要素画像群を立体像として表示する立体画像表示装置であって、
前記第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報を取得する第１配置情報取得手段と、
この第１配置情報取得手段で取得された前記それぞれの第１要素光学レンズの配置情報に従って、前記第１要素画像群を、要素画像毎に分配する分配手段と、
この分配手段で分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第１の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する第１要素画像変換手段と、
この第１要素画像変換手段で変換されたそれぞれの要素画像の光波情報を前記分配された数だけ加算する加算手段と、
前記第２要素光学レンズ群を構成するそれぞれの第２要素光学レンズの配置情報を取得する第２配置情報取得手段と、
この第２配置情報取得手段で取得された前記それぞれの第２要素光学レンズの配置情報に従って、前記加算手段によって加算された光波情報を、前記第２要素画像群を構成する要素画像毎に再分配する再分配手段と、
この再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する第２要素画像変換手段と、
この第２要素画像変換手段で変換された光波情報を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する結合手段と、
この結合手段で生成された前記第２要素画像群を表示する表示素子と、
この表示素子から出力された要素画像の光波を通過させる前記第２要素光学レンズ群と、を備える
ことを特徴とする立体画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、立体像を表示するための画像を生成する技術及び立体像を表示する技術に係り、特に、ＩＰ（Integral Photography；インテグラルフォトグラフィ）方式の立体像を表示するための画像を生成する立体画像補正装置およびそのプログラム、ならびに、立体像を表示するための立体画像表示装置に関する。

【背景技術】

【0002】

一般に、レンズアレイや空間フィルタを通して被写体の三次元情報を取得する手法のうち、微小な光学素子アレイを用いて立体画像を撮像および表示する手法として、ＩＰ方式が知られている。

【0003】

ここで、図８（ａ）および図８（ｂ）を用いてＩＰ方式に基づく通常の立体画像撮影について説明する。図８（ａ）に示す立体画像撮影装置は、矢印で示す撮影方向１１４から、例えば、凸レンズで構成されたレンズ群１１２を通して被写体１１１を撮影する。ここで撮影方向１１４は、立体画像撮影装置がレンズ群１１２の前方（図８（ａ）では左方）に配置された被写体１１１を撮影する方向である。このときレンズ群１１２の後方（図８（ａ）では右方）の撮影板１１３には、レンズ群１１２を構成する凸レンズの個数と同じ個数だけ被写体１１１の像、例えば、像１１５が結像する。ここで、撮影板１１３は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）撮像素子である。

【0004】

図８（ｂ）には、一平面状に凸レンズを配列したレンズ群１２２と表示素子１２３により構成される立体画像表示装置、および立体像１２１、観察方向１２４、レンズ群の像１２５を示している。ここで、表示素子１２３には、図８（ａ）に示した立体画像撮影装置の撮影板１１３により撮影された像１１５に対応する像１２５を表示する。この表示素子１２３は、例えば液晶パネル等の情報表示デバイスから構成されている。立体画像表示装置から表示させた結果、図８（ｂ）に示すように、被写体１１１が存在した場所と同じ場所に立体像１２１が生成される。ただし、立体像１２１は逆視像として生成される。すなわち、図８（ａ）に示すように、撮影方向１１４から見た場合には、被写体１１１の円柱が角柱に対して手前に存在している。ところが、図８（ｂ）に示すように、被写体１１１に対応する立体像１２１では、観察方向１２４から見て、角柱が円柱の手前に生成されている。

【0005】

なお、図８（ａ）、図８（ｂ）には微小な光学素子アレイとしてレンズ群を表示し、このレンズ群を用いて被写体の立体情報の取得および表示を行うものとして動作を説明したが、微小な光学素子アレイとしては微小開口アレイ（空間フィルタ）を使用しても良い。

【0006】

図８（ａ）において、被写体１１１の角柱の大きさ（高さ）をｘｃ、レンズ群１１２から被写体１１１の角柱までの距離をｚｃ、レンズ群１１２から像１１５が撮影される面までの距離をｄｃ、レンズ群１１２を構成する凸レンズピッチをｐｃ、レンズ群１１２を構成する凸レンズにより生成される被写体の像の大きさ（高さ）をｋｃとする。また、図８（ｂ）において、立体像１２１の角柱の大きさ（高さ）をｘｒ、レンズ群１２２から立体像１２１の角柱までの距離をｚｒ、レンズ群１２２から像１２５が表示される面までの距離をｄ_ｒ、レンズ群１２２を構成する凸レンズピッチをｐｒ、表示素子１２３に表示される個々の像の大きさ（高さ）をｋｒとする。この場合、ｘｃとｘｒの関係は、非特許文献１により式（１０１）で表される。

【0007】

【数1】

【0008】

前記した式（１０２ａ）〜式（１０２ｃ）の関係から、図８（ａ）に示した立体画像撮影装置のレンズ群１１２を構成する凸レンズのピッチｐｃと、図８（ｂ）に示した立体画像表示装置のレンズ群１２２を構成する凸レンズのピッチｐｒとを異なるものとすることで、被写体１１１に対する立体像１２１の大きさの比率ｘｒ／ｘｃを制御できることが導かれる。また、同様に、撮影された被写体の像１１５の大きさｋｃと、表示する像１２５の大きさｋｒとを変化させることで、被写体１１１に対する立体像１２１の大きさの比率ｘｒ／ｘ_ｃを制御できることが導かれる。

【0009】

また、従来、被写体と比較して奥行きが反転した逆視像が生成される問題を解決するために、図８（ａ）に示した立体画像撮影装置で取得した情報を演算処理し、演算処理した後の情報を図８（ｂ）に示す立体画像表示装置に入力し、最終的に正しい奥行きの立体像を生成する立体画像奥行き変換装置が開示されている（特許文献１参照）。

【0010】

特許文献１で開示されている立体画像奥行き変換装置について図９（ａ）および図９（ｂ）を参照して説明する。図９（ａ）に示すのは、図８（ａ）で取得した像１３１、第１の仮想的なレンズアレイ１３２、仮想的に生成される立体像１３３、第２の仮想的なレンズアレイ１３４、第２の仮想的なレンズアレイ１３４により生成される像１３５（仮想的に生成された立体像１３３の像）である。ここで、像１３５は、光学的に生成されるものではなく、立体画像奥行き変換装置の演算処理により生成される。

【0011】

図９（ｂ）に示すのは、図９（ａ）で演算処理により生成された像１４１（つまり図９（ａ）における像１３５）、一平面状に凸レンズを配列したレンズ群１４２、立体像１４３、観察方向１４４である。図９（ｂ）に示すように、例えば図８（ｂ）の立体画像表示装置の動作の結果、観察方向１４４から見て、円柱が角柱に対して手前に観察されることとなる。立体像１４３は、図８（ａ）における被写体の奥行き関係と等価である。

【0012】

特許文献１に記載された手法に、前記した式（１０２ａ）〜式（１０２ｃ）の関係から導かれる立体像の大きさの比率を制御する方法を組み合わせれば、逆視像が生成される問題を解決しつつ、正しい奥行きの立体像を生成することが可能である。しかしながら、この場合には、被写体１１１に対する立体像１２１の大きさの比率ｘｒ／ｘｃを変化させようとするときには、比率ｘｒ／ｘｃに応じて光学系の装置を変更しなければならないため、実際上困難が伴う。そこで、従来、立体画像撮影装置や立体画像表示装置という光学的な装置に依存することなく、演算処理を用いて、被写体の凹凸と同じ再生像の比率を制御する立体画像変換装置が開示されている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】特開２００７−１１４４８３号公報

【特許文献2】特開２００９−２７２９２２号公報

【非特許文献】

【0014】

【非特許文献1】J．Optical Society of America A, Vol. 21, pp.951-958, 2004

【発明の概要】

【発明が解決しようとする課題】

【0015】

このように、特許文献１あるいは特許文献２に記載されたような立体画像の変換方法を用いることで、立体画像撮影装置で取得した立体情報を、演算処理を用いて、立体画像表示装置で表示されたときに所望の再生像となるように変換することができる。

【0016】

しかしながら、非特許文献１において指摘されているように、立体画像撮影装置のレンズ群と、立体画像表示装置のレンズ群との間に相対的な位置ずれが生じていると、再生像の画質を劣化させる原因となってしまう。
例えば、図１０（ａ）に示した立体画像撮影装置のレンズ群１１２と図１０（ｂ）に示した立体画像表示装置のレンズ群１２２では、レンズ群１１２を構成する凸レンズ１１２ｂ１の位置と、レンズ群１２２において、凸レンズ１２２ｂ１に対応して設けられる凸レンズ１２２ｂ１の位置とがずれている。このような場合、立体画像撮影装置でレンズ群１１２を通して被写体を撮影して取得した立体画像を立体画像表示装置でレンズ群１２２を通して再生像として表示するときに、立体画像表示装置の凸レンズ１２２ｂ１から出射された光線１２１ｂ１の方向が、他の凸レンズから出射された光線の方向とずれてしまうので、立体像１２１にぶれやぼけ等が生じてしまい、立体像１２１の画質の劣化を生じてしまうことになる。

【0017】

この画質劣化は、特許文献１に記載された方法のように、演算処理により正しい奥行きの立体像を生成する場合においても生じる可能性がある。例えば、図１１（ａ）、図１１（ｂ）に示すように、第１、第２の仮想的なレンズアレイ１３２、１３４と、レンズ群１４２ｂとの間に相対的な位置ずれが生じている場合、図１１（ｂ）に示すレンズ群１４２ｂを構成するレンズ１４２ｂ１から出射される光線１４３ｂ１の進む方向は、他のレンズから出射される光線でなる立体像１４３の結像位置からずれてしまい、その結果、立体像の画質の劣化を招いてしまうことになる。
またこの画質劣化は、特許文献２に記載された方法のように、演算処理により、被写体の大きさから変化させた立体像を生成する場合においても生じる可能性がある。

【0018】

かかる事情に鑑み、本発明は、被写体の撮影に用いる立体画像撮影装置のレンズ群と、被写体の表示に用いる立体画像表示装置のレンズ群との間に相対的な位置ずれがある場合に、これらの光学的な装置に依存することなく演算処理を用いて、立体画像撮影装置で取得された立体情報を、立体画像として表示されたときに相対的な位置ずれが補正された再生像となる画像情報へと変換することが可能な立体画像補正装置およびそのプログラム、ならびに、立体画像表示装置を提供することを課題とする。

【課題を解決するための手段】

【0019】

本発明は、前記課題を達成するために創案されたものであり、まず、請求項１に記載の立体画像補正装置は、第１要素光学レンズ群を通して被写体を撮影することにより取得された第１要素画像群を補正し、第２要素光学レンズ群を通して立体像として表示される第２要素画像群を生成する立体画像補正装置であって、第１配置情報取得手段と、分配手段と、第１要素画像変換手段と、加算手段と、第２配置情報取得手段と、再分配手段と、第２要素画像変換手段と、を備えることとした。

【0020】

かかる構成によれば、立体画像補正装置は、第１配置情報取得手段によって、第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報を取得する。
次に、立体画像補正装置は、分配手段によって、第１配置情報取得手段で取得されたそれぞれの第１要素光学レンズの配置情報に従って、第１要素画像群を、要素画像毎に分配する。このように、第１要素画像群を分配するときに、立体画像撮影装置の第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報を用いることで、第１要素画像群を、それぞれの第１要素光学レンズの要素画像領域に属する要素画像毎に正確に分配することができる。

【0021】

また、立体画像補正装置は、第１要素画像変換手段によって、分配手段によって分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第１の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する。第１要素画像変換手段に入力されるそれぞれの要素画像は、前記した分配手段において、第１要素画像群を、第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの要素画像領域に従って分配することにより得られたものである。したがって、第１要素画像変換手段によって、分配手段で分配されたそれぞれの要素画像の光波情報を、第１の仮想的な開口群を通過した光波情報に変換することで、それぞれの要素画像の光波情報を、あたかも、第１要素光学レンズ群を通過した光の波動を表す光波情報に変換するような演算処理を実行する。
さらに、立体画像補正装置は、加算手段によって、第１要素画像変換手段で変換されたそれぞれの要素画像の光波情報を分配された数だけ加算する。したがって、第１要素画像群のそれぞれの要素画像が第１要素画像変換手段によって変化を受けた結果として、要素画像群の中間生成段階の状態となる。

【0022】

またさらに、立体画像補正装置は、第２配置情報取得手段によって、第２要素光学レンズ群を構成するそれぞれの第２要素光学レンズの配置情報を取得する。
次に、立体画像補正装置は、再分配手段によって、第２配置情報取得手段で取得されたそれぞれの第２要素光学レンズの配置情報に従って、加算手段によって加算された光波情報を、第２要素画像群を構成する要素画像毎に再分配する。

【0023】

そして、立体画像補正装置は、第２要素画像変換手段によって、再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する。したがって、第２の仮想的な開口群を通過することで、それぞれの要素画像が変化を受けた結果として、いわば再撮影された要素画像の状態となる。ここで、第２要素画像変換手段に入力される要素画像の光波情報は、前記した再分配手段によって、加算手段で加算された要素画像の光波情報を第２要素光学レンズ群の配置情報に従って要素画像毎に再分配したものである。したがって、第２要素画像変換手段によって、この要素画像の光波情報を、第２の仮想的な開口群を通過した光の波動を表す光波情報に変換することで、立体画像撮影装置で撮影された第１要素画像群を、あたかも、立体画像表示装置の第２要素光学レンズに光学的に表示して再撮影したかのような演算処理を実行する。

【0024】

そして、立体画像補正装置は、結合手段によって、第２要素画像変換手段で変換された要素画像の光波情報を、再分配された数だけ結合することで第２要素画像群を生成する。これにより、立体画像として表示されたときに、ぶれやぼけ等がない良好な画質の再生像となる第２要素画像群を生成することができる。

【0025】

また、請求項２の立体画像補正プログラムは、第１要素光学レンズ群を通して被写体を撮影することにより取得された第１要素画像群を補正し、第２要素光学レンズ群を通して立体像として表示される第２要素画像群を生成するために、コンピュータを、第１配置情報取得手段、分配手段、第１要素画像変換手段、加算手段、第２配置情報取得手段、再分配手段、第２要素画像変換手段、結合手段、として機能させることとした。

【0026】

かかる構成によれば、立体画像補正プログラムは、第１配置情報取得手段によって、第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報を取得する。
次に、立体画像補正プログラムは、分配手段によって、第１配置情報取得手段で取得されたそれぞれの第１要素光学レンズの配置情報に従って、第１要素画像群を、要素画像毎に分配する。
また、立体画像補正プログラムは、第１要素画像変換手段によって、分配手段によって分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第１の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する。
さらに、立体画像補正プログラムは、加算手段によって、第１要素画像変換手段で変換されたそれぞれの要素画像の光波情報を分配された数だけ加算する。
またさらに、立体画像補正プログラムは、第２配置情報取得手段によって、第２要素光学レンズ群を構成するそれぞれの第２要素光学レンズの配置情報を取得する。
次に、立体画像補正プログラムは、再分配手段によって、第２配置情報取得手段で取得されたそれぞれの第２要素光学レンズの配置情報に従って、加算手段によって加算された光波情報を、第２要素画像群を構成する要素画像毎に再分配する。
そして、立体画像補正プログラムは、第２要素画像変換手段によって、再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する。
そして、立体画像補正プログラムは、結合手段によって、第２要素画像変換手段で変換された要素画像の光波情報を、再分配された数だけ結合することで第２要素画像群を生成する。

【0027】

また、請求項３に記載の立体画像表示装置は、第１要素光学レンズ群を通して被写体を撮影することにより取得された第１要素画像群を補正し、第２要素光学レンズ群を通して立体像として表示される第２要素画像群を生成し、この第２要素画像群を立体像として表示する立体画像表示装置であって、第１配置情報取得手段と、分配手段と、第１要素画像変換手段と、加算手段と、第２配置情報取得手段と、再分配手段と、第２要素画像変換手段と、結合手段と、表示素子と、第２要素光学レンズ群と、を備えることとした。

【0028】

かかる構成によれば、立体画像表示装置は、第１配置情報取得手段によって、第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報を取得する。
次に、立体画像表示装置は、分配手段によって、第１配置情報取得手段で取得されたそれぞれの第１要素光学レンズの配置情報に従って、第１要素画像群を、要素画像毎に分配する。
また、立体画像表示装置は、第１要素画像変換手段によって、分配手段によって分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第１の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する。
さらに、立体画像表示装置は、加算手段によって、第１要素画像変換手段で変換されたそれぞれの要素画像の光波情報を分配された数だけ加算する。
またさらに、立体画像表示装置は、第２配置情報取得手段によって、第２要素光学レンズ群を構成するそれぞれの第２要素光学レンズの配置情報を取得する。
次に、立体画像表示装置は、再分配手段によって、第２配置情報取得手段で取得されたそれぞれの第２要素光学レンズの配置情報に従って、加算手段によって加算された光波情報を、第２要素画像群を構成する要素画像毎に再分配する。
続いて、立体画像表示装置は、第２要素画像変換手段によって、再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する。
そして、立体画像表示装置は、結合手段によって、第２要素画像変換手段で変換された要素画像の光波情報を、再分配された数だけ結合することで第２要素画像群を生成する。
そして、立体画像表示装置は、表示素子によって、結合手段で生成された第２要素画像群を表示し、第２要素光学レンズ群によって、この表示素子から出力された第２要素画像群の光波を通過させて再生像を結像する。これによれば、ぶれやぼけ等のない良好な画質の再生像を表示することができる。

【発明の効果】

【0029】

本発明は、以下に示す効果を奏するものである。
請求項１に記載の発明によれば、立体画像撮影装置の第１要素光学レンズ群と立体画像表示装置の第２要素光学レンズ群の相対的な位置ずれによって立体像として表示されたときに画質が劣化した再生像となる第１要素画像群を、この相対的な位置ずれに応じて補正することで、立体像として表示されたときに良好な画質の再生像となる第２要素画像群を生成することができる。
また、請求項２に記載の発明によれば、立体画像補正プログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することで、立体画像補正装置と同等の効果を奏することができる。
請求項３に記載の発明によれば、立体画像表示装置は、立体画像撮影装置の第１要素光学レンズ群と立体画像表示装置の第２要素光学レンズ群の相対的な位置ずれによって立体像として表示されたときに画質が劣化した再生像となる第１要素画像群を、この相対的な位置ずれに応じて補正することで、立体像として表示されたときに良好な画質の再生像となる第２要素画像群を生成し、この再生像を表示することができる。

【図面の簡単な説明】

【0030】

【図1】本発明の実施形態に係る立体画像補正装置の一例を模式的に示す構成図である。

【図2】（ａ）は、立体画像撮影装置の第１要素光学レンズ群の構成の一部を示す図であり、（ｂ）は、立体画像表示装置の第２要素光学レンズ群の構成の一部を示す図である。

【図3】本発明の実施形態に係る立体画像補正装置の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。

【図4】本発明の実施形態に係る立体画像補正装置の演算処理で用いる積分範囲の一例を模式的に示す説明図である。

【図5】（ａ）は、立体画像撮影装置で被写体を撮影する様子を模式的に示す説明図であり、（ｂ）は、（ａ）で取得した第１要素画像群から、本発明の実施形態に係る立体画像補正装置で第２要素画像群を生成した後に、立体画像表示装置で再生像として表示する様子を模式的に示す説明図である。

【図6】本発明の実施形態に係る立体画像補正装置の演算処理で想定する仮想的な開口群の他の例を模式的に示す説明図である。

【図7】本発明の実施形態に係る立体画像補正装置の演算処理で想定する仮想的な開口群のさらに他の例を模式的に示す説明図である。

【図8】従来のＩＰ方式による立体画像の撮影および再生を模式的に示す説明図であり、（ａ）は、立体画像撮影装置、（ｂ）は、立体画像表示装置をそれぞれ示している。

【図9】図８において、立体画像撮影装置のレンズ群と立体画像表示装置のレンズ群との間に相対的な位置ずれが生じている場合を模式的に示す説明図である。

【図10】従来の逆視を回避する方法を模式的に示す説明図であり、（ａ）は、撮影で取得された情報を変換する立体画像奥行き変換装置、（ｂ）は、変換された像を表示する立体画像表示装置をそれぞれ示している。

【図11】図１０において、立体画像撮影装置のレンズ群と立体画像表示装置のレンズ群との間に相対的な位置ずれが生じている場合を模式的に示す説明図である。

【発明を実施するための形態】

【0031】

［立体画像補正装置の構成の概要］
まず、本実施形態の立体画像補正装置の構成の概要について図１および図２を参照して説明する。本実施形態の立体画像補正装置１０は、立体画像撮影装置２０において、図２（ａ）に示した第１要素光学レンズ群を通過して被写体を撮影することで取得した第１要素画像群の光波を、立体画像表示装置３０において、図２（ｂ）に示した第２要素光学レンズ群を通過して再生像として表示するために用いる第２要素画像群に変換するものである。

【0032】

ここで、図２（ａ）に示すように、立体画像撮影装置２０の第１要素光学レンズ群は、複数の第１要素光学レンズが同一平面上に配列されて構成されており、また、図２（ｂ）に示すように、立体画像表示装置３０の第２要素光学レンズ群は、複数の第２要素光学レンズが同一平面上に配列されて構成されている。ここで、図２（ａ）および（ｂ）に示すように、第１要素光学レンズ群は、第１要素光学レンズが隙間なく配列されて構成されている一方で、第２要素光学レンズ群は、１行目に配列された第２要素光学レンズと２行目に配列された第２要素光学レンズとの間に、隙間δが形成されていることにより、図２（ａ）に示した第１要素光学レンズ群と図２（ｂ）に示した第２要素光学レンズ群との間には、相対的な位置ずれがあることになる。

【0033】

本実施形態の立体画像補正装置１０は、このように、立体画像撮影装置２０の第１要素光学レンズ群と、立体画像表示装置３０の第２要素光学レンズ群との間に相対的な位置ずれがある場合に、立体画像として表示されたときに、劣化した再生像となる第１要素画像群の光波を、この相対的な位置ずれに応じて補正し、立体画像として表示されたときに、画質の良好な再生像となる第２要素画像群を生成するものである。
より具体的には、立体画像補正装置１０は、立体画像撮影装置２０において、被写体の像を形成する複数の第１要素光学レンズが同一平面上に配列された第１要素光学レンズ群を通過して被写体を撮影することで取得した第１要素画像群の光波を、立体画像表示装置３０において、複数の第２要素光学レンズが同一平面上に配列された第２要素光学レンズ群を通過して再生像として表示するために用いる第２要素画像群に変換するものである。

【0034】

この立体画像補正装置１０に入力される第１要素画像群は、立体画像撮影装置２０において、ＣＣＤ等の撮像素子によって撮影された映像信号である。そして、立体画像補正装置１０で生成された第２要素画像群は、立体画像表示装置３０において、液晶パネル等の情報表示デバイスに表示される。立体画像撮影装置２０および立体画像表示装置３０としては、例えば、図８（ａ）および図８（ｂ）に例示したような構成を採用することができる。

【0035】

立体画像補正装置１０は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置と、メモリ、ハードディスク等の記憶装置（記憶手段）と、マウスやキーボード等の外部から情報の入力を検出する入力装置と、ＬＡＮ（Local Area Network）等の通信回線を介して各種情報の送受信を行うインタフェース装置と、ＬＣＤ（Liquid Crystal Display）等の表示装置を備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。この立体画像補正装置１０は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより、図１に示す第１配置情報取得手段１１と、第２配置情報取得手段１２と、分配手段１３と、第１要素画像変換手段１４と、加算手段１５と、再分配手段１６と、第２要素画像変換手段１７と、結合手段１８とが実現される。

【0036】

第１配置情報取得手段１１は、立体画像撮影装置２０の第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報を取得する。また、第２配置情報取得手段１２は、立体画像表示装置３０の第２要素光学レンズ群を構成するそれぞれの第２要素光学レンズの配置情報を取得する。ここでの配置情報とは、例えば、第１要素光学レンズ（第２要素光学レンズ）毎の要素画像領域である。但し、後記する分配手段１３（再分配手段１６）において、第１要素光学レンズ（第２要素光学レンズ）の大きさが既知の場合、第１要素光学レンズ（第２要素光学レンズ）の位置情報であってもよい。

【0037】

分配手段１３は、第１要素画像群の光波を、第１配置情報取得手段１１で取得された、第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報に従って要素画像毎に分配するものである。ここでは、分配された要素画像をｍ（−Ｍ≦ｍ≦Ｍ）で識別することとする。第１要素画像変換手段１４は、この分配された例えば（２Ｍ＋１）個の要素画像毎に機能する。そして、分配された要素画像ｍは、その後、加算手段１５で加算される。そして、再分配手段１６は、加算された要素画像を、第２配置情報取得手段１２で取得された、第２要素光学レンズ群を構成するそれぞれの第２要素光学レンズの配置情報に従って再び分配する。このとき再分配された要素画像をｎ（−Ｎ≦ｎ≦Ｎ）で識別することとする。第２要素画像変換手段１７は、この再分配された例えば（２Ｎ＋１）個の要素画像毎に機能する。そして、再分配された要素画像ｎは、その後、結合手段１８で結合され第２要素画像群が生成されることとなる。

【0038】

［立体画像補正装置の演算処理で想定する仮想的な開口群の概要］
次に、本実施形態の立体画像補正装置１０の演算処理で想定する仮想的な開口群の概要について図３を参照（適宜図１参照）して説明する。図１に示す第１要素画像変換手段１４は、分配手段１３で分配された要素画像の光波を、第１の仮想的な開口群４１を通過して第２の仮想的な開口群４２へ伝搬する光波に変換する。ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表したものである。また、開口群を構成する要素（開口）は、レンズ等の光学素子やピンホール等の空間フィルタのことを意味する。以下では、開口を凸レンズ（要素レンズ）で表すこととする。また、第１の仮想的な開口群４１と第２の仮想的な開口群４２とは所定距離Ｌだけ離間している。また、第１の仮想的な開口群４１が仮想的なレンズアレイであれば、この所定距離Ｌは、要素レンズの焦点距離とすることができる。なお、第１および第２の仮想的な開口群４１，４２は、実際には存在せず、立体画像補正装置１０が演算処理を行うために想定したものである。

【0039】

図３において、第１要素画像群の光波は、第１の要素画像面４３から出射して、図４において厚み方向を示した平面状の第１および第２の仮想的な開口群４１，４２を、左から右へ通過して第２の要素画像面４４に入射する。また、ｋ_１は第１要素画像群におけるｍ番目の要素画像の領域を示し、ｄ_１は第１要素画像群（第１の要素画像面４３）から第１の仮想的な開口群４１までの距離を示す。同様に、ｋ_２は第２要素画像群におけるｎ番目の要素画像の領域を示し、ｄ_２は第２の仮想的な開口群４２から第２要素画像群（第２の要素画像面４４）までの距離を示す。

【0040】

また、図３において、ｐ_１は第１の仮想的な開口群４１を形成する要素レンズのピッチを示し、ｐ_２は第２の仮想的な開口群４２を形成する要素レンズのピッチを示す。本実施形態では、以下の式（１）で表されるピッチの比ΦをΦ＝１として設定する。つまり、第１および第２の仮想的な開口群４１，４２の要素レンズ（開口）のピッチは同じである。なお、第１の仮想的な開口群４１あるいは第２の仮想的な開口群４２の要素レンズ（開口）のピッチにばらつきがある場合、各要素レンズ（開口）間のピッチの平均値あるいは他の統計量を代表することで、第１の仮想的な開口群４１のピッチｐ_１あるいは第２の仮想的な開口群４２のピッチｐ_２とみなすものとする。

【0041】

【数2】

【0042】

［立体画像補正装置の詳細な構成］
＜第１配置情報取得手段＞
第１配置情報取得手段１１は、立体画像撮影装置２０の第１要素光学レンズ群（図２（ａ）参照）を構成するそれぞれの第１要素光学レンズの配置情報を取得するものである。
例えば、第１配置情報取得手段１１は、非特許文献３（非特許文献３：Proc. SPIE, vol.6803, pp.68030G1-68030G9, 2008）に記載された手法を用いて検出された第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの要素画像領域を配置情報として取得する。この手法によれば、立体画像撮影装置２０の第１要素光学レンズ群に平行光線を入射し、それぞれの第１要素光学レンズにより生成される点像の位置を重心法により検出することにより、それぞれの第１要素光学レンズの要素画像領域を配置情報として取得する。第１配置情報取得手段１１は、このようにして自ら配置情報を検出してもよいし、前記した手法を用いて他の装置によって検出された配置情報を取得してもよい。
例えば、前記した手法を用いて図示しない手段によって検出された配置情報が、図示しない記憶手段にメタデータとして予め記憶されている場合、第１配置情報取得手段１１は、適宜のタイミングで図示しない記憶手段から配置情報を読み出すようにしてもよい。

【0043】

また例えば、立体画像撮影装置２０が放送局のカメラである場合、放送局側で各カメラにおける配置情報を予め取得しておき、放送番組の配信時に、放送番組にその放送番組を撮影したカメラにおける配置情報を多重化して送信するようになっていてもよい。そして、例えば、立体画像表示装置３０がテレビ受信機であり、立体画像補正装置１０がテレビ受信機に組み込んで構成される場合、立体画像表示装置３０において放送番組が受信されると、この放送番組に多重化された配置情報を第１配置情報取得手段１１が取得するようにしてもよい。

【0044】

さらに例えば、放送局側で動画あるいは静止画等のデータフォーマット内にその動画あるいは静止画等を撮影した立体画像撮影装置２０の第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報を埋め込んでおき、立体画像表示装置３０において、動画あるいは静止画等のダウンロード時に、動画あるいは静止画等と共にダウンロードされた配置情報を第１配置情報取得手段１１が取得するようにしてもよい。
第１配置情報取得手段１１は、このようにして取得した配置情報を、分配手段１３に出力する。

【0045】

＜第２配置情報取得手段＞
第２配置情報取得手段１２は、立体画像表示装置３０の第２要素光学レンズ群（図２（ｂ）参照）を構成するそれぞれの第２要素光学レンズの配置情報を取得するものである。
第２配置情報取得手段１２は、例えば、第１配置情報取得手段１１において説明したのと同様に、非特許文献３（非特許文献３：Proc. SPIE, vol.6803, pp.68030G1-68030G9, 2008）に記載された手法を用いて第２要素光学レンズ群を構成するそれぞれの第２要素光学レンズの要素画像領域を配置情報として取得する。第２配置情報取得手段１２は、このようにして自ら配置情報を検出してもよいし、前記した手法を用いて他の装置によって検出された配置情報を取得してもよい。例えば、前記した手法を用いて図示しない手段によって検出された配置情報が、図示しない記憶手段にメタデータとして予め記憶されている場合、第２配置情報取得手段１２は、適宜のタイミングで図示しない記憶手段から配置情報を読み出すようにしてもよい。

【0046】

また例えば、製造メーカにおいて立体画像表示装置３０毎に第２要素光学レンズ群を構成する第２要素光学レンズの配置情報が予め測定され、この配置情報が立体画像表示装置３０毎に、自装置内の図示しない記憶手段に予め記憶されている場合、第２配置情報取得手段１２は、適宜のタイミングで図示しない記憶手段からこの配置情報を読み出すようにしてもよい。あるいは、立体画像表示装置３０の製造メーカが立体画像表示装置３０毎の配置情報を保有しており、この配置情報のダウンロードが許可されている場合、第２配置情報取得手段１２は、適宜のタイミングで自装置の配置情報をダウンロードするようにしてもよい。
第２配置情報取得手段１２は、このようにして取得した第２要素光学レンズ群を構成するそれぞれの第２要素光学レンズの配置情報を、再分配手段１６に出力する。

【0047】

なお、図１では、第１配置情報取得手段１１と第２配置情報取得手段１２が、それぞれ、外部から配置情報を取得する場合を例示したが、これに限定されず、前記したように、第１配置情報取得手段１１が立体画像撮影装置２０から、あるいは、第２配置情報取得手段１２が立体画像表示装置３０から直接配置情報を取得してもよいことはもちろんである。

【0048】

＜分配手段＞
分配手段１３は、入力された映像信号（第１要素画像群の光波）を要素画像単位に分配するものである。入力された映像信号（第１の要素画像面４３から出射する光波）は、第１要素画像群を構成する各要素画像の光波の束に相当し、これを第１要素画像群ｔ１と表記することとする。この分配手段１３は、入力された映像信号における第１要素画像群ｔ１を、第１配置情報取得手段１１で取得された配置情報に従って要素画像毎に分配する。つまり、分配手段１３は、入力画像全体（第１要素画像群ｔ１）から、例えば、第１配置情報取得手段１１で取得されたｍ番目の第１要素レンズの要素画像領域に対応する領域を、ｍ番目の要素画像として抽出する。これによれば、第１要素光学レンズ群を構成するそれぞれの第１要素光学レンズの配置情報に従って第１要素画像群ｔ１を要素画像毎に分配するため、入力画像全体（第１要素画像群ｔ１）を、それぞれの第１要素光学レンズが撮影した要素画像毎に正確に分配することができる。

【0049】

そして、分配手段１３は、入力された映像信号における第１要素画像群ｔ１のｍ番目の要素画像の光波（ｇ_ｓ，ｍ（ｘ_ｓ，ｍ，ｙ_ｓ，ｍ））を、このｍ番目の要素画像に予め対応付けられている第１要素画像変換手段１４に出力する。ここで、ｘ_ｓ，ｍは、入力画像全体（第１要素画像群）におけるｍ番目の要素画像の中心を原点とした場合のｘ座標を示す。同様に、ｙ_ｓ，ｍは、入力画像全体（第１要素画像群）におけるｍ番目の要素画像の中心を原点とした場合のｙ座標を示す。

【0050】

＜第１要素画像変換手段＞
第１要素画像変換手段１４は、図１に示すように、光波計算手段１４ａと、位相シフト手段１４ｂと、光波計算手段１４ｃとを備えている。

【0051】

≪光波計算手段１４ａ≫
光波計算手段１４ａは、要素画像の光波から、フレネル近似（Fresnel diffraction）に基づいて、第１の仮想的な開口群４１（図３参照）を構成する要素レンズに入射する光波を演算するものである。つまり、光波計算手段１４ａは、第１の仮想的な開口群４１のｍ番目の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（２）により要素画像毎の光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を演算する。

【0052】

【数3】

【0053】

ここで、ｘ_ｏ，ｍは、第１の仮想的な開口群４１のｍ番目の要素レンズの光軸中心を原点とした場合のｘ座標である。同様に、ｙ_ｏ，ｍは、第１の仮想的な開口群４１の要素レンズ群のｍ番目の開口部の光軸中心を原点とした場合のｙ座標である。また、ｆ_１は、第１の仮想的な開口群４１の要素レンズの焦点距離を示す。また、ｋは、波数２π／λ（λは光波の波長）である。この要素画像毎の光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））は、位相シフト手段１４ｂに出力される。

【0054】

≪位相シフト手段１４ｂ≫
位相シフト手段１４ｂは、入力された要素画像の光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））から、位相を、第１の仮想的な開口群４１の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段１４ｂは、以下の式（３）に示すように、光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を、第１の仮想的な開口群４１の要素レンズに相当する位相分だけシフトさせることで、第１の仮想的な開口群４１の要素レンズから出射する光波に相当する信号（Ｒ_ｏ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を演算する。この光波（Ｒ_ｏ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））は、光波計算手段１４ｃへ出力される。

【0055】

【数4】

【0056】

≪光波計算手段１４ｃ≫
光波計算手段１４ｃは、第１の仮想的な開口群４１の要素レンズから出射する光波、すなわち、位相シフト手段１４ｂから入力された要素画像の光波（Ｒ_ｏ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））をフレネル近似することで、第２の仮想的な開口群４２（図３参照）の要素レンズに入射する光波を演算するものである。つまり、光波計算手段１４ｃは、第２の仮想的な開口群４２の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（４）により要素画像毎の光波（Ｒ_ｄ，ｍ（ｘ_ｄ，ｍ，ｙ_ｄ，ｍ））を演算する。この要素画像毎の光波（Ｒ_ｄ，ｍ（ｘ_ｄ，ｍ，ｙ_ｄ，ｍ））は加算手段１５へ出力される。

【0057】

【数5】

【0058】

式（４）において、ｘ_ｄ，ｍは、第１の仮想的な開口群４１のｍ番目の要素レンズの光軸中心を原点とした場合の、第２の仮想的な開口群４２の入射面におけるｘ座標である。同様に、ｙ_ｄ，ｍは、第１の仮想的な開口群４１のｍ番目の要素レンズの光軸中心を原点とした場合の、第２の仮想的な開口群４２の入射面におけるｙ座標を示す。また、Ｌは、第１の仮想的な開口群４１と第２の仮想的な開口群４２との距離である。また、積分計算を実施する範囲は、ｍ番目の要素画像（要素画像（ｍ））の拡がる範囲と等価に設定することとする。第１要素画像群におけるｍ番目の要素画像が広がる範囲ｗの一例を図４に示す。この場合、第１要素画像群におけるｍ番目の要素画像が広がる範囲ｗは式（５）で表わされる。なお、ｋ_１は第１要素画像群におけるｍ番目の要素画像の領域を示し、ｄ_１は第１要素画像群（第１の要素画像面４３）から第１の仮想的な開口群４１までの距離を示す。

【0059】

【数6】

【0060】

なお、前記したように、第１要素画像変換手段１４に入力される要素画像の光波は、立体画像撮影装置２０で取得された第１要素画像群ｔ１を、分配手段１３によって、第１要素光学レンズ群を構成する第１要素光学レンズの配置情報に従って要素画像毎に分配することで得られたものである。このため、第１要素画像変換手段１４によって、例えばｍ番目の要素画像の光波を、第１の仮想的な開口群のｍ番目の開口を通過した光波に相当する光波に変換する処理は、このｍ番目の要素画像の光波を、第１要素光学レンズ群のｍ番目の第１要素光学レンズを通過した光波に変換することに相当することになる。

【0061】

＜加算手段＞
加算手段１５は、第１要素画像変換手段１４で変換されたそれぞれの要素画像の光波を、分配手段１３で分配された数だけ、第２の仮想的な開口群４２の入射面で加算するものである。この加算手段１５では、それぞれの要素画像の光波を分配手段１３で分配された数だけ加算することで、立体像を仮想的に再現した状態を算出している。加算手段１５は、第１の仮想的な開口群４１の要素レンズの画角に対応する光波を加算する。この加算手段１５は、第１の仮想的な開口群４２の要素レンズから出射されて第２の仮想的な開口群４２の要素レンズの入射面に到達する光波（Ｒ_ｄ，ｍ（ｘ_ｄ，ｍ，ｙ_ｄ，ｍ））を、第２の仮想的な開口群４２の領域内で加算する。つまり、第２の仮想的な開口群４２の入射面での光波に相当する信号として、以下の式（６）により、第２の仮想的な開口群４２の入射面での光波（Ｒ_ｐ（ｘ_ｐ，ｙ_ｐ））を演算する。

【0062】

【数7】

【0063】

ここで、ｘ_ｐは、第２の仮想的な開口群４２の中心を原点とした場合のｘ座標であり、同様に、ｙ_ｐは、第２の仮想的な開口群４２の中心を原点とした場合のｙ座標である。この光波（Ｒ_ｐ（ｘ_ｐ，ｙ_ｐ））は再分配手段１６へ出力される。

【0064】

＜再分配手段＞
再分配手段１６は、加算手段１５で加算された光波を、第２要素画像群を構成する要素画像毎に再分配するものである。この再分配手段１６は、加算手段１５から入力された光波（Ｒ_ｐ（ｘ_ｐ，ｙ_ｐ））を、第２配置情報取得手段１２で取得された第２要素光学レンズ群の第２配置情報に従って、要素画像単位に分割する。つまり、再分配手段１６は、例えば、第２配置情報取得手段１２からｎ番目の第２要素レンズの要素画像領域が入力されると、加算手段１５で加算された光波から、ｎ番目の第２要素レンズの要素画像領域に対応する領域に属する光波を、ｎ番目の要素画像として抽出する。

【0065】

光波（Ｒ_ｐ（ｘ_ｐ，ｙ_ｐ））を再分配した要素画像ごとの光波として、第２の仮想的な開口群４２を構成するｎ番目の要素レンズに対応する光波を、（Ｒ_ｐ，ｎ（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））とする。ここで、再分配手段１６は、第２の仮想的な開口群４２を構成する各要素レンズに入力された光波（Ｒ_ｐ，ｎ（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））を、第２の仮想的な開口群４２を横成するｎ番目の要素レンズに予め対応付けられている第２要素画像変換手段１７に出力する。

【0066】

＜第２要素画像変換手段＞
第２要素画像変換手段１７は、再分配手段１６で分配された要素画像の光波を、第２の仮想的な開口群４２を通過して結像するまでの距離だけ伝搬した光波に変換するものである。つまり、第２要素画像変換手段１７は、再分配手段１６によって第２要素光学レンズの配置情報に基づいて要素画像毎に再分配されたそれぞれの要素画像の光波を、それぞれの第２要素光学レンズを通過して結像するまでの距離だけ伝搬した光波に変換するものである。

【0067】

この第２要素画像変換手段１７は、再分配手段１６から入力された光波を、第２の仮想的な開口群４２の要素レンズ（焦点距離ｆ_２）の開口領域に再分配した後、その要素レンズ（焦点距離ｆ_２）を通過する光波に変換し、さらに、その要素レンズの焦点距離ｆ_２だけ光波を伝搬させる。第２要素画像変換手段１７は、例えば（２Ｎ＋１）個の要素画像毎に機能することで、各要素画像の光波の束を伝搬させる。これら伝搬する各要素画像の光波の束から第２要素画像群が構成されることとなる。これを第２要素画像群ｔ２と表記することとする。つまり、第２要素画像変換手段１７は、第２要素画像群ｔ２を演算する。第２要素画像変換手段１７は、図１に示すように、位相シフト手段１７ａと、光波計算手段１７ｂとを備えている。

【0068】

≪位相シフト手段１７ａ≫
位相シフト手段１７ａは、再分配手段１６から入力された光波（Ｒ_ｐ，ｎ（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））から、位相を、第２の仮想的な開口群４２の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段１７ａは、以下の式（７）に示すように、光波（Ｒ_ｐ，ｎ（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））を、第２の仮想的な開口群４２の要素レンズに相当する位相分だけシフトさせることで、第２の仮想的な開口群４２の要素レンズから出射する光波に相当する信号（Ｒ_ｒ，ｎ（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））を演算する。

【0069】

【数8】

【0070】

ここで、ｘ_ｐ，ｎは、第２の仮想的な開口群４２のｎ番目の要素レンズの光軸中心を原点とした場合のｘ座標である。同様に、ｙ_ｐ，ｎは、第２の仮想的な開口群４２のｎ番目の要素レンズの光軸中心を原点とした場合のｙ座標である。また、ｆ_２は、第２の仮想的な開口群４２の要素レンズの焦点距離である。この要素画像毎の光波（Ｒ_ｒ，ｎ（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））は、光波計算手段１７ｂへ出力される。

【0071】

≪光波計算手段１７ｂ≫
光波計算手段１７ｂは、第２の仮想的な開口群４２の要素レンズ毎の光波をフレネル近似することで、第２の仮想的な開口群４２の要素レンズから出射し、第２の要素画像面４４（図４参照）に到達する光波を演算するものである。すなわち、光波計算手段１７ｂは、以下の式（８）により、第２の仮想的な開口群４２のｎ番目の要素レンズから出射されて第２の要素画像面４４に到達する光波（Ｒ_ｅ，ｎ（ｘ_ｅ，ｎ，ｙ_ｅ，ｎ））を演算する。

【0072】

【数9】

【0073】

ここで、ｘ_ｅ，ｎは、出力画像全体（第２要素画像群）におけるｎ番目の要素画像の中心からのｘ座標である。同様に、ｙ_ｅ，ｎは出力画像全体におけるｎ番目の要素画像の中心からのｙ座標である。この光波計算手段１７ｂで演算された光波（Ｒ_ｅ，ｎ（ｘ_ｅ，ｎ，ｙ_ｅ，ｎ））は結合手段１８へ出力される。

【0074】

なお、前記したように、第２要素画像変換手段１７に入力される要素画像の光波は、加算手段１５から入力された要素画像の光波を、再分配手段１６によって、第２要素光学レンズ群を構成する第２要素光学レンズの配置情報に従って要素画像毎に分配することで得られたものである。このため、第２要素画像変換手段１７によって、例えばｍ番目の要素画像の光波を、第２の仮想的な開口群のｍ番目の開口を通過した光波に相当する光波に変換する処理は、このｍ番目の要素画像の光波を、あたかも、第２要素光学レンズ群のｍ番目の第２要素光学レンズに表示して再撮影する処理に相当することになる。

【0075】

＜結合手段＞
結合手段１８は、第２要素画像変換手段１７で変換された光波を、再分配手段１６で再分配された数だけ結合することで、第２要素画像群を生成するものである。この結合手段１８は、第２要素画像変換手段１７から出力された要素画像毎の光波から、その光波の電力の総和を演算することで、立体像の大きさが変換処理された映像信号、すなわち、第２要素画像群ｔ２となる映像信号を生成する。この結合手段１８で得られた第２要素画像群ｔ２は、立体画像表示装置３０（図１参照）へ出力される。

【0076】

ここで、第２要素画像変換手段１７から出力される第２の要素画像面４４に到達する光波（Ｒ_ｅ，ｎ（ｘ_ｅ，ｎ，ｙ_ｅ，ｎ））の電力は、光の振幅の２乗で表わすことができる。また、第１要素画像群ｔ１の各要素画像として発せられた光波は、インコヒーレント（波長や位相が一定ではない）であるため、光波の位相は無相関であるとみなすことができる。そこで、結合手段１８は、以下の式（９）に示すように、第２の要素画像面４４に到達する各要素画像の光波（例えばｎ番目の要素画像であればその光波は（Ｒ_ｅ，ｎ（ｘ_ｅ，ｎ，ｙ_ｅ，ｎ））である）の２乗を計算し、その和をとることで、第２要素画像群ｔ２全体の映像信号を得る。

【0077】

【数10】

【0078】

この第２要素画像群ｔ２は、立体画像表示装置３０に出力される。
図５（ｂ）に示すように、立体画像補正装置１０の結合手段１８から出力された第２要素画像群ｔ２が立体画像表示装置３０に入力されると、立体画像表示装置３０は、表示素子によって、この第２要素画像群ｔ２を表示する。そして、表示素子に表示された第２要素画像群ｔ２の光波が、表示素子の前方に配置された第２要素光学レンズ群を通過することにより、第２要素画像群ｔ２の光波が収束し、被写体が存在したのと同じ位置に再生像が生成される。

【0079】

ここで、本実施形態では、第１および第２の仮想的な開口群４１，４２のピッチの比ΦをΦ＝１としている。被写体１１１の大きさをｘ_ｃとし、再生される立体像１２１の大きさをｘ_ｒとすると、両者の関係は、前記した式（１０１）の通りである。つまり、前記した式（１０１）において、α＝γとすると、被写体１１１の大きさｘ_ｃと、再生される立体像１２１の大きさｘ_ｒとの関係は、以下の式（１０）で表わされることとなる。

【0080】

【数11】

【0081】

したがって、立体画像撮影装置２０における要素レンズのピッチｐ_ｃ（図８（ａ）参照）と、立体画像表示装置３０（図１参照）における要素レンズのピッチｐ_ｒ（図８（ｂ）参照）とが等しい場合には、被写体の大きさｘ_ｃ（図８（ａ）参照）と、再生される立体像の大きさｘ_ｒ（図８（ｂ）参照）とが等しくなる。

【0082】

またここで、図５（ａ）および図５（ｂ）に示すように、立体画像表示装置３０の第２要素光学レンズ群と、立体画像撮影装置２０の第１要素光学レンズ群との間で、相対的な位置ずれが生じている。しかし、立体画像補正装置１０によって、前記したような演算処理を行って、立体画像撮影装置２０で取得された第１要素画像群ｔ１の光波を、相対的な位置ずれに応じて補正して第２要素画像群ｔ２を生成したことにより、この第２要素画像群ｔ２を立体画像表示装置３０において再生像として表示すると、図５（ｂ）に示すように、ぶれやぼけ等がない良好な画質の立体像１２１となる。

【0083】

つまり、立体画像補正装置１０は、立体画像撮影装置２０の第１要素光学レンズ群を通して被写体を撮影することで取得した第１要素画像群を、第１要素光学レンズ群を構成する第１要素光学レンズの要素画像領域毎に正確に分配し、このそれぞれの要素画像の光波を伝搬させて加算することで仮想的な立体像を作り出し、この仮想的に作り出した立体像を、第２要素光学レンズ群を構成する第２要素光学レンズの位置情報に基づいて再分配し、このそれぞれの要素画像の光波を伝搬させて加算することで第２要素画像群を生成しているため、生成された第２要素画像群を、第２要素光学レンズを通して立体像として表示したときに、ぶれやぼけ等がない良好な画質の立体像１２１が得られることになる。

【0084】

このように、本実施形態の立体画像補正装置１０によれば、立体画像撮影装置２０の第１要素光学レンズ群と立体画像表示装置３０の第２要素光学レンズ群との間の相対的な位置ずれに応じて、立体画像撮影装置２０で取得された第１要素画像群ｔ１を補正し、立体像として表示されたときに、画質の良好な第２要素画像群ｔ２を生成することができる。

【0085】

以上、本実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲でさまざまに実施することができる。

【0086】

例えば、本実施形態では、図４に示したように、第１の仮想的な開口群４１を形成する要素レンズのピッチｐ_１と、第２の仮想的な開口群４２を形成する要素レンズのピッチｐ_２のピッチの比ΦをΦ＝１として設定したがこれに限定されない。例えば、図６に示すように、第１の仮想的な開口群４１を形成する要素レンズのピッチｐ_１と、第２の仮想的な開口群４２を形成する要素レンズのピッチｐ_３のピッチの比ΦをΦ≠１としてもよい。つまり、第１および第２の仮想的な開口群４１，４２の要素レンズ（開口）のピッチを異ならせてもよい。なお、図６では、Φ＜１の状態が図示されているが、Φ＞１と設定してもよい。このように、前記した（１）で表されるピッチの比Φを予め設定しておくことで、再生像の大きさの比率を所望の値に制御することができる。

【0087】

図６に示すように第１および第２の仮想的な開口群４１，４２の要素レンズ（開口）のピッチを異ならせた場合、要素画像の光波は、開口のピッチが互いに異なる２つの仮想的な開口群を通過するので、第１要素画像群の領域の長さと第２要素画像群の領域の長さとが異なることとなる。そのため、この第２要素画像群が立体画像として表示された場合に、第１要素画像群が立体画像として表示された場合とは像の大きさが異なる再生像を表示することができる。

【0088】

ここで、第１および第２の仮想的な開口群４１，４２の要素レンズ（開口）のピッチを異ならせた場合、被写体１１１の大きさｘ_ｃと、再生される立体像１２１の大きさｘ_ｒとの関係は、以下の式（１１）で表わされる。

【0089】

【数12】

【0090】

つまり、図１において、立体画像撮影装置２０における要素レンズのピッチｐ_ｃと、立体画像表示装置３０における要素レンズのピッチｐ_ｒとが仮に等しかったとしても、第１の仮想的な開口群４１の要素レンズのピッチｐ_１と、第２の仮想的な開口群４２の要素レンズのピッチｐ_２とを制御することで、被写体１１１の大きさｘ_ｃに対する再生される立体像１２１の大きさｘ_ｒを変化させることが可能となる。

【0091】

なお、説明の都合上、前記した式（１０）および式（１１）の説明において、前記した式（１０１）においてαとγとが等しい場合について記述したが、本発明では、前記した式（１０１）においてα≠γとしてもよい。同様に、立体画像撮影装置２０における要素レンズのピッチｐ_ｃと、立体画像表示装置３０における要素レンズのピッチｐ_ｒとが等しい場合について記述したが、ｐ_ｃ≠ｐ_ｒとしてもよい。

【0092】

またさらに、本実施形態では、立体画像撮影装置２０の第１要素光学レンズ群における第１要素光学レンズのピッチと、立体画像表示装置３０の第２要素光学レンズ群における第２要素光学レンズのピッチとが同じであるものとして説明したが、これらが異なる場合には、例えば、第１の仮想的な開口群４１のピッチに合わせて、第２の仮想的な開口群４２のピッチを変えてもよい。

【0093】

例えば、立体画像撮影装置２０における画面サイズが２０インチで立体画像撮影装置２０における画面サイズが５０インチの場合、第１要素光学レンズ群における第１要素光学レンズの数と、第２要素光学レンズ群における第２要素光学レンズの数が同じであるとすると、第１要素光学レンズ群における第１要素光学レンズのピッチは１ｍｍであり、第２要素光学レンズ群における第２要素光学レンズのピッチは２．５ｍｍとなる。
このように立体画像撮影装置２０と立体画像表示装置３０との画面サイズが合致していない場合、立体画像撮影装置２０で取得された第１要素画像群を、そのまま立体画像表示装置３０に表示しようとすると、立体画像表示装置３０の画面サイズに合致した適切な大きさで表示することができず、縮小されあるいは一部分のみが拡大された再生像となってしまう。

【0094】

そこで、第１の仮想的な開口群４１のピッチに合わせて第２の仮想的な開口群４２のピッチを変える、つまり、第２要素光学レンズ群における第２要素光学レンズが、第１要素光学レンズ群における第１要素光学レンズのピッチおよび数と同じピッチおよび数で配列された第２の仮想的な開口群４２を作り出し、第１要素画像群の光波を、この第１および第２の仮想的な開口群４１、４２を通過した光波に変換して第２要素画像群を生成する。これにより、立体像として表示されたときに、画質が良好であり、かつ、立体画像表示装置３０の画面サイズに応じた割合の再生像となる第２要素画像群を生成することができる。

【0095】

また、本実施形態では、前記した式（２）、式（４）および式（８）の演算において、フレネル近似を用いる式を示したが、ホイへンス・フレネル（Huygens-Fresnel）の原理による積分や、フランフォーファ近似（Fraunhofer diffraction）による積分を用いて演算してもよい。

【0096】

また、本実施形態では、前記した式（２）、式（３）、式（７）および式（８）の演算において、第１の仮想的な開口群４１の要素レンズの焦点距離ｆ_１、第２の仮想的な開口群４２の要素レンズの焦点距離ｆ_２をそれぞれ用いたが、これに限定されない。すなわち、焦点距離は、第１の仮想的な開口群４１を構成する要素レンズ毎に異なっていてもよいし、第２の仮想的な開口群４２を構成する要素レンズ毎に異なっていてもよい。

【0097】

また、本実施形態では、第１要素画像群を、立体像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像としたが、これに限定されない。例えば、第１要素画像群を、立体画像として表示されたときに、被写体の凹凸と同じ再生像となる複数の要素画像を用いてもよい。この場合、図示しない手段によって、立体像として表示されたときに被写体の凹凸と同じ再生像となる要素画像群を構成する個々の要素画像をそれぞれ点対称に反転させることで第１要素画像群を生成し、この第１要素画像群を、立体画像補正装置１０の分配手段に出力する。

【0098】

また、本実施形態では、第１の仮想的な開口群４１を構成する要素レンズの数や密度と、第２の仮想的な開口群４２を構成する要素レンズの数や密度との関係について記述していないが、これらの関係は任意である。例えば、図７に示すように、第１の仮想的な開口群５１を構成する要素レンズが粗に少ない数で配置され、第２の仮想的な開口群４２を構成する要素レンズが密に多数で配置されていてもよい。この場合、第１の仮想的な開口群５１を構成する要素レンズのピッチはｐ_４であり、図３に示した第１の仮想的な開口群４１を構成する要素レンズのピッチｐ_１とは異なっている。

【0099】

また、立体画像補正装置１０は、前記したようにハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現されるものとした。このプログラム（立体画像補正プログラム）は、通信回線を介して提供することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。また、立体画像補正装置１０は、前記した各手段を演算回路によって実現することも可能である。

【0100】

また、本実施形態では、第１および第２の仮想的な開口群４１，４２を構成する開口を要素レンズとして説明したが、ピンホール等の空間フィルタに置き換えてもよい。この場合、要素レンズの焦点距離ｆ_１，ｆ_２に対応する距離は任意の距離とすることができる。

【0101】

また、本実施形態の立体画像補正装置１０では、光波の伝搬に波動光学的な演算を適用したが、これに限定されない。例えば、特許文献２（特許文献２：特開２００９−２１７０８）に記載されたような幾何光学的な演算を適用してもよい。

【0102】

また、立体画像補正装置１０は、立体画像撮影装置２０や立体画像表示装置３０に組み込んで構成することもできる。例えば、立体画像撮影装置２０が放送局のカメラ等であり、立体画像表示装置３０が放送局から提供された立体画像を受信して表示するテレビ受像機であるような場合、立体画像補正装置１０を立体画像表示装置３０に組み込んで構成すると好ましい。このような場合、立体画像補正装置１０を立体画像撮影装置２０に組み込んで構成すると、放送局側で、膨大な数のテレビ受像機からそれぞれ取得した配置情報とカメラの配置情報とに応じて、それぞれのテレビ受像機に応じた立体画像を生成しなければならないため放送局側の負担が大きくなってしまう。これに対し、立体画像補正装置１０を立体画像表示装置３０に組み込んで構成すると、膨大な数のテレビ受像機が、各々、放送局から立体画像と配置情報とを取得し、この配置情報と自装置の配置情報とに応じて立体画像を補正すればよいため、利便性が高くなる。

【符号の説明】

【0103】

１０ 立体画像補正装置
１１ 第１配置情報取得手段
１２ 第２配置情報取得手段
１３ 分配手段
１４ 第１要素画像変換手段
１４ａ 光波計算手段
１４ｂ 位相シフト手段
１４ｃ 光波計算手段
１５ 加算手段
１６ 再分配手段
１７ 第２要素画像変換手段
１７ａ 位相シフト手段
１７ｂ 光波計算手段
１８ 結合手段
２０ 立体画像撮影装置
３０ 立体画像表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】