特許 6118527 空間歪み補正装置およびそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6118527

(24)【登録日】2017年3月31日

(45)【発行日】2017年4月19日

(54)【発明の名称】空間歪み補正装置およびそのプログラム

(51)【国際特許分類】

   H04N 13/04 20060101AFI20170410BHJP

   H04N 13/02 20060101ALI20170410BHJP

   H04N 13/00 20060101ALI20170410BHJP

【ＦＩ】

   H04N13/04 060

   H04N13/02 320

   H04N13/00 180

【請求項の数】5

【全頁数】22

(21)【出願番号】特願2012-206647(P2012-206647)

(22)【出願日】2012年9月20日

(65)【公開番号】特開2014-64076(P2014-64076A)

(43)【公開日】2014年4月10日

【審査請求日】2015年8月3日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】洗井 淳

(72)【発明者】

【氏名】日浦 人誌

(72)【発明者】

【氏名】佐々木 久幸

(72)【発明者】

【氏名】三浦 雅人

(72)【発明者】

【氏名】矢野 澄男

(72)【発明者】

【氏名】岩舘 祐一

(72)【発明者】

【氏名】奥井 誠人

(72)【発明者】

【氏名】三科 智之

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２００７−１１４４８３（ＪＰ，Ａ）

【文献】 特開２００９−２７２９２２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０２Ｂ ２７／２２

Ｇ０３Ｂ ３５／００

(57)【特許請求の範囲】

【請求項1】

インテグラルフォトグラフィ方式により立体画像撮影装置が撮影した映像信号である要素画像群を立体画像表示装置において表示する際に生じる立体像の空間歪みを抑えるように、前記立体画像表示装置が用いる要素画像群を補正する空間歪み補正装置であって、
前記立体画像撮影装置が撮影した映像信号である要素画像群を入力し、前記立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を、前記要素画像群から前記焦点距離だけ離した位置に仮想配置して、当該要素画像群の各画素の画素値を、前記仮想要素光学系群からの距離が異なる予め設定された複数の距離平面において、当該仮想要素光学系群を介した光路上の画素に割り当てることで、複数の距離平面画像を生成する距離平面画像生成手段と、
この距離平面画像生成手段で生成された距離平面ごとの距離平面画像を、距離に対応付けて、前記立体像を表示する立体像空間上の体積画素分布として記憶する体積画素分布記憶手段と、
前記立体画像撮影装置および前記立体画像表示装置のそれぞれの要素光学系のピッチの比率、焦点距離の比率、および、要素画像の大きさの比率で特定される空間歪み情報に基づいて、前記体積画素分布記憶手段に記憶されている立体像空間上の体積画素分布の座標を補正する空間位置補正手段と、
この空間位置補正手段で補正された体積画素分布の各画素値を、前記体積画素分布に対する前記仮想要素光学系群の後側焦平面において、当該仮想要素光学系群を介した光路上の画素に割り当てることで、補正後の要素画像群を生成する補正要素画像群生成手段と、
を備えることを特徴とする空間歪み補正装置。

【請求項2】

前記距離平面画像生成手段は、
前記入力された要素画像群を、前記立体画像表示装置の要素画像の大きさで分割する分割手段と、
この分割手段で分割された要素画像ごとに、当該要素画像の各画素の画素値を、当該画素と当該要素画像に対応する前記仮想要素光学系の中心とを通る直線が、前記仮想要素光学系群からの距離が異なる予め設定された距離平面と交わる点の画素に割り当てる画素割当手段と、
この画素割当手段で前記距離平面に画素値が割り当てられた要素画像ごとの画像を、要素画像の数だけ加算し平均化することで、前記要素画像群の距離平面に対応する距離平面画像を生成する結合手段と、を備え、
前記補正要素画像群生成手段は、
前記体積画素分布に対する前記仮想要素光学系群の後側焦平面を、補正後の要素画像群を生成する画像面として、前記画像面の各仮想要素光学系に対応する画素ごとに、当該画素と当該画素が含まれる画像領域に対応する仮想要素光学系の中心とを通る直線が前記補正された体積画素分布と交わる１つ以上の画素の画素値の平均値を割り当てる画素統合手段と、
この画素統合手段で画素値が割り当てられなかった前記画像領域の画素値を、画素値が割り当てられた画素の画素値により補間する補間手段と、
この補間手段で生成された要素画像分の画像領域を連結して補正後の要素画像群を生成する連結手段と、
を備えることを特徴とする請求項１に記載の空間歪み補正装置。

【請求項3】

前記立体画像撮影装置の要素光学系のピッチをｐ_ｃ、焦点距離をｄ_ｃ、要素画像の大きさをｋ_ｃとし、前記立体画像表示装置の要素光学系のピッチをｐ_ｒ、焦点距離をｄ_ｒ、要素画像の大きさをｋ_ｒとしたとき、補正前の前記立体像空間の座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）と、

【数1】

により算出した補正後の座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）とを対応付けて前記空間歪み情報として生成する空間歪み情報算出手段をさらに備えることを特徴とする請求項１または請求項２に記載の空間歪み補正装置。

【請求項4】

前記立体画像撮影装置が、要素光学系より被写体側に他の光学系を有し、前記被写体と前記他の光学系との距離をＬ_１、前記他の光学系を介して結像する実像と前記他の光学系との距離をＬ_２、前記他の光学系の焦点距離をｆとしたとき、
前記立体画像撮影装置の要素光学系のピッチをｐ_ｃ、焦点距離をｄ_ｃ、要素画像の大きさをｋ_ｃとし、前記立体画像表示装置の要素光学系のピッチをｐ_ｒ、焦点距離をｄ_ｒ、要素画像の大きさをｋ_ｒとしたとき、補正前の前記立体像空間の座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）と、

【数2】

により算出した補正後の座標（ｘ_ｃ′，ｙ_ｃ′，ｚ_ｃ′）とを対応付けて前記空間歪み情報として生成する空間歪み情報算出手段をさらに備えることを特徴とする請求項１または請求項２に記載の空間歪み補正装置。

【請求項5】

インテグラルフォトグラフィ方式により立体画像撮影装置が撮影した映像信号である要素画像群を立体画像表示装置において表示する際に生じる立体像の空間歪みを抑えるように、前記立体画像表示装置が用いる要素画像群を補正するために、コンピュータを、
前記立体画像撮影装置が撮影した映像信号である要素画像群を入力し、前記立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を、前記要素画像群から前記焦点距離だけ離した位置に仮想配置して、当該要素画像群の各画素の画素値を、前記仮想要素光学系群からの距離が異なる予め設定された複数の距離平面において、当該仮想要素光学系群を介した光路上の画素に割り当てることで、複数の距離平面画像を生成し、距離に対応付けて、前記立体像を表示する立体像空間上の体積画素分布として体積画素分布記憶手段に記憶させる距離平面画像生成手段、
前記立体画像撮影装置および前記立体画像表示装置のそれぞれの要素光学系のピッチの比率、焦点距離の比率、および、要素画像の大きさの比率で特定される空間歪み情報に基づいて、前記体積画素分布記憶手段に記憶されている立体像空間上の体積画素分布の座標を補正する空間位置補正手段、
この空間位置補正手段で補正された体積画素分布の各画素値を、前記体積画素分布に対する前記仮想要素光学系群の後側焦平面において、当該仮想要素光学系群を介した光路上の画素に割り当てることで、補正後の要素画像群を生成する補正要素画像群生成手段、
として機能させるための空間歪み補正プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、インテグラルフォトグラフィ方式により被写体を撮影した要素画像群を、立体像として表示させる際に生じる空間歪みを防止するために、要素画像群を補正する空間歪み補正装置およびそのプログラムに関する。

【背景技術】

【0002】

従来、任意の視点から自由に立体像を視認することが可能な立体像表示方式の一つとして、平面状に配列された凸レンズ群（レンズアレイ）あるいはピンホール群（空間フィルタ）を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている（例えば、特許文献１等）。

【0003】

ここで、図１１を参照して従来のＩＰ方式について説明する。図１１（ａ）はＩＰ方式における撮影の仕組みを示し、図１１（ｂ）はＩＰ方式における立体像の表示の仕組みを示している。
図１１（ａ）に示すように、立体画像撮影装置１００は、矢印で示す撮影方向Ａから、例えば、微小な凸レンズ等の光学素子である要素光学系（以下、要素レンズ）で構成された光学素子アレイ（以下、要素レンズ群）１０１を介して被写体Ｈを撮影する。ここで、撮影方向Ａは、立体画像撮影装置１００が要素レンズ群１０１の前方（図１１（ａ）では左方）に配置された被写体Ｈを撮影する方向である。このとき、要素レンズ群１０１の後方（図１１（ａ）では右方）の撮影板１０２には、要素レンズ群１０１を構成する要素レンズの個数と同じ個数だけ被写体Ｈの像（要素画像）が要素画像群１０３として結像する。ここで、撮影板１０２は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）撮像素子である。

【0004】

また、図１１（ｂ）に示すように、立体画像表示装置２００は、一平面状に凸レンズ等の要素レンズを配列した要素レンズ群２０１と表示板（表示素子）２０２により構成され、表示板２０２に、図１１（ａ）に示した立体画像撮影装置１００の撮影板１０２により撮影された要素画像群２０３を表示する。そして、観察者Ｏが、観察方向Ｂとして、要素レンズ群２０１を介して表示板２０２を見ると、被写体Ｈに対応した立体像Ｍが視認される。ここで、表示板２０２は、例えば液晶パネル等の情報表示デバイスである。
なお、図１１（ａ），（ｂ）では、要素レンズ群１０１，２０１として、微小な光学素子アレイを用いているが、微小開口アレイ（空間フィルタ）を用いてもよい。

【0005】

ここで、図１１（ａ）において、被写体Ｈの大きさ（高さ）をｘ_ｃ、要素レンズ群１０１から被写体Ｈまでの距離をｚ_ｃ、要素レンズ群１０１から撮影板１０２の撮影面までの距離をｄ_ｃ、要素レンズ群１０１を構成する要素レンズの中心間隔（ピッチ）をｐ_ｃ、撮影板１０２で撮影される被写体の像（要素画像）の大きさ（高さ）をｋ_ｃとする。

【0006】

また、図１１（ｂ）において、立体像Ｍの大きさ（高さ）をｘ_ｒ、要素レンズ群２０１から立体像Ｍまでの距離をｚ_ｒ、要素レンズ群２０１から表示板２０２の表示面までの距離をｄ_ｒ、要素レンズ群２０１を構成する要素レンズの中心間隔（ピッチ）をｐ_ｒ、表示板２０２に表示される個々の像（要素画像）の大きさ（高さ）をｋ_ｒとする。
なお、図１１中、（＋），（−）は、それぞれｘｙｚ座標の正方向、負方向を示す。
この場合、非特許文献１に記載されているように、ｘ_ｃとｘ_ｒとの関係は、以下の式（１）の関係を有する。なお、図１１には示していないが、被写体Ｈの大きさ（幅）ｙ_ｃと立体像Ｍの大きさ（幅）ｙ_ｒとの関係は、式（１）と同様に式（２）の関係を有する。また、ｚ_ｃとｚ_ｒとの関係は、以下の式（３）の関係を有する。

【0007】

【数1】

【0008】

この式（１）〜式（３）からも分かるように、γ（要素画像の大きさの比）とα（要素レンズのピッチの比）とが等しくない場合、立体像Ｍの大きさｘ_ｒ（ｙ_ｒ）は、被写体Ｈの大きさｘ_ｃ（ｙ_ｃ）に対して非線形に歪みが生じ、要素レンズ群２０１から立体像Ｍまでの距離ｚ_ｒは、要素レンズ群１０１から被写体Ｈまでの距離ｚ_ｃに対して非線形に歪みが生じることになる。

【0009】

なお、図１１で説明したＩＰ方式により被写体Ｈを撮影し、立体像Ｍとして表示させた場合、例えば、図１１（ａ）では、撮影方向Ａに対して、被写体Ｈの円柱が角柱よりも手前に存在し、図１１（ｂ）では、観察方向Ｂに対して、立体像Ｍの角柱が円柱よりも手前に視認される、いわゆる逆視現象が発生する。
この逆視現象を解決する手法は、すでに一般的な技術として開示されている（例えば、特許文献１参照）。ここで、逆視現象を解決する一手法である特許文献１に開示されている立体画像奥行き変換装置について、図１２を参照して簡単に説明しておく。

【0010】

図１２（ａ）は、図１１（ａ）で取得した要素画像群３０３、第１の仮想的な要素レンズ群３０１、仮想的に生成される立体像Ｍ_１、第２の仮想的な要素レンズ群３１１、第２の仮想的な要素レンズ群３１１により生成される要素画像群３１３（仮想的に生成された立体像Ｍ_１の像）を示す図である。ここで、要素画像群３１３は、光学的に生成されるものではなく、立体画像奥行き変換装置３００における演算処理により生成される。

【0011】

図１２（ｂ）に示した立体画像表示装置２００は、図１１（ｂ）に示した立体画像表示装置２００と同じものであって、表示する要素画像群のみが異なっている。すなわち、図１２（ｂ）に示した立体画像表示装置２００は、図１２（ａ）で演算処理により生成された要素画像群２０３（つまり図１２（ａ）における要素画像群３１３）を表示する。このように、立体画像表示装置２００は、立体画像奥行き変換装置３００において奥行きが変換された要素画像群２０３を表示することで、観察方向Ｂから見て、立体像Ｍ_２として、円柱が角柱に対して手前に観察されることとなる。この立体像Ｍ_２は、図１１（ａ）における被写体Ｈの奥行き関係と等価である。

【先行技術文献】

【特許文献】

【0012】

【特許文献1】特開２００７−１１４４８３号公報

【非特許文献】

【0013】

【非特許文献1】J.Arai, M.Okui, M.Kobayashi, and F.Okano:"Geometrical effects of positional errors in integral photography", J. Opt. Soc. Am. A，Vol. 21，pp.951-958，2004

【発明の概要】

【発明が解決しようとする課題】

【0014】

従来のＩＰ方式を用いて立体像を表示させる手法では、前記した式（１）〜式（３）で説明したように、立体画像撮影装置と立体画像表示装置との間で、要素画像の大きさの比と光学素子のピッチの比とが異なった場合、立体像の大きさや再生位置（レンズからの距離）が非線形に歪んでしまう。
そのため、立体像を表示する立体像空間は、被写体を撮影した被写体空間に対して歪みを持ち、立体像は、元の被写体に対して歪んだ形状で表示されてしまうという問題がある。

【0015】

本発明は、このような問題に鑑みてなされたものであり、ＩＰ方式により撮影された被写体の要素画像群を補正することで、表示時における立体像の空間歪みを抑えることが可能な空間歪み補正装置およびそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0016】

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の空間歪み補正装置は、インテグラルフォトグラフィ方式により立体画像撮影装置が撮影した映像信号である要素画像群を立体画像表示装置において表示する際に生じる立体像の空間歪みを抑えるように、前記立体画像表示装置が用いる要素画像群を補正する空間歪み補正装置であって、距離平面画像生成手段と、体積画素分布記憶手段と、空間位置補正手段と、補正要素画像群生成手段と、を備える構成とした。

【0017】

かかる構成において、空間歪み補正装置は、距離平面画像生成手段によって、立体画像撮影装置が撮影した映像信号である要素画像群を入力する。そして、空間歪み補正装置は、距離平面画像生成手段によって、立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を、要素画像群から焦点距離だけ離した位置に仮想配置して、当該要素画像群の各画素の画素値を、仮想要素光学系群からの距離が異なる予め設定された複数の距離平面において、当該仮想要素光学系群を介した光路上の画素に割り当てることで、複数の距離平面画像を生成する。そして、空間歪み補正装置は、距離平面画像生成手段によって、生成した距離平面画像を、距離に対応付けて、立体像を表示する立体像空間上の体積画素分布として体積画素分布記憶手段に記憶させる。

【0018】

このように、立体画像表示装置と同じ要素光学系を仮想的に空間上に配置して、要素画像群を、仮想的に光路上に展開することで、生成された体積画素分布は、立体画像表示装置が立体像を表示する立体像空間を仮想的に示したものとなる。
そして、空間歪み補正装置は、空間位置補正手段によって、立体画像撮影装置および立体画像表示装置のそれぞれの要素光学系のピッチの比率、焦点距離の比率、および、要素画像の大きさの比率で特定される空間歪み情報に基づいて、体積画素分布記憶手段に記憶されている立体像空間上の体積画素分布の座標を補正する。これによって、仮想的に再現された立体像空間から空間歪みが除去された被写体空間が仮想的に再現されることになる。

【0019】

そして、空間歪み補正装置は、補正要素画像群生成手段によって、空間位置補正手段で補正された体積画素分布の各画素値を、体積画素分布に対する仮想要素光学系群の後側焦平面において、当該仮想要素光学系群を介した光路上の画素に割り当てることで、補正後の要素画像群を生成する。このように、仮想的に再現した立体像空間の歪みを除去した空間上の体積画素分布から要素画像群を生成することで、立体画像表示装置で立体像を表示する際に生じる空間歪が予め除去されていることになる。

【0020】

また、請求項２に記載の空間歪み補正装置は、請求項１に記載の空間歪み補正装置において、前記距離平面画像生成手段が、分割手段と、画素割当手段と、結合手段と、を備え、前記補正要素画像群生成手段が、画素統合手段と、補間手段と、連結手段と、を備える構成とした。

【0021】

かかる構成において、空間歪み補正装置は、距離平面画像生成手段の分割手段によって、入力された要素画像群を、立体画像表示装置の要素画像の大きさで分割する。
そして、空間歪み補正装置は、画素割当手段によって、分割手段で分割された要素画像ごとに、当該要素画像の各画素の画素値を、当該画素と当該要素画像に対応する仮想要素光学系の中心とを通る直線が、仮想要素光学系群からの距離が異なる予め設定された距離平面と交わる点の画素に割り当てる。

【0022】

そして、空間歪み補正装置は、結合手段によって、画素割当手段で距離平面に画素値が割り当てられた要素画像ごとの画像を、要素画像の数だけ加算し平均化することで、要素画像群の距離平面に対応する距離平面画像を生成する。
これによって、要素画像群から、複数の距離平面画像で構成された体積画素分布が生成され、立体像空間に画素分布が展開されることになる。

【0023】

また、空間歪み補正装置は、補正要素画像群生成手段の画素統合手段によって、体積画素分布に対する仮想要素光学系群の後側焦平面を、補正後の要素画像群を生成する画像面として、その画像面の各仮想要素光学系に対応する画素ごとに、当該画素と当該画素が含まれる画像領域に対応する仮想要素光学系の中心とを通る直線が補正された体積画素分布と交わる１つ以上の画素の画素値の平均値を割り当てる。

【0024】

そして、空間歪み補正装置は、補間手段によって、画素統合手段で画素値が割り当てられなかった画像領域の画素値を、画素値が割り当てられた画素の画素値により補間する。この補間は、例えば、内挿や外挿によって行うことができる。
そして、空間歪み補正装置は、連結手段によって、補間手段で生成された要素画像分の画像領域を連結して補正後の要素画像群を生成する。
これによって、立体像空間上で空間位置が補正された体積画素分布が、再度、要素画像群として、平面上に再投影されることになる。

【0025】

さらに、請求項３に記載の空間歪み補正装置は、請求項１または請求項２に記載の空間歪み補正装置において、立体画像撮影装置の要素光学系のピッチをｐ_ｃ、焦点距離をｄ_ｃ、要素画像の大きさをｋ_ｃとし、立体画像表示装置の要素光学系のピッチをｐ_ｒ、焦点距離をｄ_ｒ、要素画像の大きさをｋ_ｒとしたとき、補正前の立体像空間の座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）と、

【数2】

により算出した補正後の座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）とを対応付けて空間歪み情報として生成する空間歪み情報算出手段をさらに備える構成とした。なお、ここでは、補正後のｘ_ｃ座標，ｙ_ｃ座標を算出する際に、補正後のｚ_ｃ座標を用いているが、まず、補正後のｚ_ｃ座標を算出し、このｚ_ｃ座標を用いて補正後のｘ_ｃ座標，ｙ_ｃ座標を算出すればよい。

【0026】

かかる構成において、空間歪み補正装置は、空間歪み情報算出手段によって、要素画像の大きさの比γと要素光学系のピッチの比αとが等しくない場合に生じる非線形な空間の歪みをこの演算式により補正し、補正前の空間座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）と補正後の空間座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）とを対応付けることで、空間歪み情報を生成する。

【0027】

また、請求項４に記載の空間歪み補正装置は、請求項１または請求項２に記載の空間歪み補正装置において、立体画像撮影装置が、要素光学系より被写体側に他の光学系を有し、被写体と他の光学系との距離をＬ_１、他の光学系を介して結像する実像と他の光学系との距離をＬ_２、他の光学系の焦点距離をｆとしたとき、立体画像撮影装置の要素光学系のピッチをｐ_ｃ、焦点距離をｄ_ｃ、要素画像の大きさをｋ_ｃとし、立体画像表示装置の要素光学系のピッチをｐ_ｒ、焦点距離をｄ_ｒ、要素画像の大きさをｋ_ｒとしたとき、補正前の立体像空間の座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）と、

【数3】

により算出した補正後の座標（ｘ_ｃ′，ｙ_ｃ′，ｚ_ｃ′）とを対応付けて空間歪み情報として生成する空間歪み情報算出手段をさらに備える構成とした。なお、ここでは、補正後のｘ_ｃ′座標，ｙ_ｃ′座標を算出する際に、補正後のｚ_ｃ′座標を用いているが、まず、補正後のｚ_ｃ′座標を算出し、このｚ_ｃ′座標を用いて補正後のｘ_ｃ′座標，ｙ_ｃ′座標を算出すればよい。

【0028】

かかる構成において、空間歪み補正装置は、空間歪み情報算出手段によって、要素画像の大きさの比γと要素光学系のピッチの比αとが等しくない場合に生じる非線形な空間の歪みに加え、要素光学系よりも前段階で発生する他の光学系によって生じる光学歪みをこの演算式により補正し、補正前の空間座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）と補正後の空間座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）とを対応付けることで、空間歪み情報を生成する。

【0029】

また、請求項５に記載の空間歪み補正プログラムは、インテグラルフォトグラフィ方式により立体画像撮影装置が撮影した映像信号である要素画像群を立体画像表示装置において表示する際に生じる立体像の空間歪みを抑えるように、前記立体画像表示装置が用いる要素画像群を補正するために、コンピュータを、距離平面画像生成手段、空間位置補正手段、補正要素画像群生成手段、として機能させる構成とした。

【0030】

かかる構成において、空間歪み補正プログラムは、距離平面画像生成手段によって、立体画像撮影装置が撮影した映像信号である要素画像群を入力する。そして、空間歪み補正プログラムは、距離平面画像生成手段によって、立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を、要素画像群から焦点距離だけ離した位置に仮想配置して、当該要素画像群の各画素の画素値を、仮想要素光学系群からの距離が異なる予め設定された複数の距離平面において、当該仮想要素光学系群を介した光路上の画素に割り当てることで、複数の距離平面画像を生成する。そして、空間歪み補正プログラムは、距離平面画像生成手段によって、生成した距離平面画像を、距離に対応付けて、立体像を表示する立体像空間上の体積画素分布として体積画素分布記憶手段に記憶させる。

【0031】

そして、空間歪み補正プログラムは、空間位置補正手段によって、立体画像撮影装置および立体画像表示装置のそれぞれの要素光学系のピッチの比率、焦点距離の比率、および、要素画像の大きさの比率で特定される空間歪み情報に基づいて、体積画素分布記憶手段に記憶されている立体像空間上の体積画素分布の座標を補正する。
そして、空間歪み補正プログラムは、補正要素画像群生成手段によって、空間位置補正手段で補正された体積画素分布の各画素値を、体積画素分布に対する仮想要素光学系群の後側焦平面において、当該仮想要素光学系群を介した光路上の画素に割り当てることで、補正後の要素画像群を生成する。

【発明の効果】

【0032】

本発明は、以下に示す優れた効果を奏するものである。
請求項１，２，５に記載の発明によれば、ＩＰ方式により立体画像撮影装置で撮影された要素画像群を、立体像空間に展開して歪みを補正した後、要素画像群を再生成するため、立体画像表示装置で表示する際の立体像の歪みを抑えることができる。
請求項３に記載の発明によれば、立体画像撮影装置と立体画像表示装置とで、要素画像の大きさの比や光学素子のピッチの比が異なる場合であっても、光学素子の情報を設定するだけで、どの程度の空間歪が発生するのかを演算によって求めることができるため、任意の立体画像表示装置において、歪みのない立体像を表示させることが可能になる。
請求項４に記載の発明によれば、立体画像撮影装置と立体画像表示装置との関係で発生する空間歪み以外に、立体画像撮影装置内部の光学系において歪みが発生する場合であっても、その発生する歪みを演算によって求め、補正することができる。これによって、立体画像表示装置において、歪みのない立体像を表示させることができる。

【図面の簡単な説明】

【0033】

【図1】本発明の実施形態に係る空間歪み補正装置の構成を示すブロック図である。

【図2】図１の空間歪み補正装置の距離平面画像生成手段の構成を示すブロック図である。

【図3】図１の空間歪み補正装置の補正要素画像群生成手段の構成を示すブロック図である。

【図4】被写体空間と立体像空間との関係を模式的に示した図である。

【図5】図２の距離平面画像生成手段が生成する距離平面画像を説明するための説明図である。

【図6】図１の空間歪み補正装置の体積画素分布記憶手段に記憶する体積画素分布を説明するための説明図である。

【図7】図１の空間歪み補正装置の空間位置補正手段における体積画素分布を補正する概念を示す図である。

【図8】図１の空間歪み補正装置の補正要素画像群生成手段における補正要素画像群を生成する概念を説明するための説明図である。

【図9】図１の空間歪み補正装置の動作を示すフローチャートである。

【図10】立体画像撮影装置における光学歪みを説明するための説明図である。

【図11】従来のＩＰ方式における被写体の撮影と立体像の表示を説明するための説明図である。

【図12】従来のＩＰ方式における逆視現象を解消させる手法を説明するための説明図である。

【発明を実施するための形態】

【0034】

以下、本発明の実施形態について図面を参照して説明する。
［空間歪み補正装置の構成］
最初に、図１を参照して、本発明の実施形態に係る空間歪み補正装置の構成について説明する。空間歪み補正装置１は、立体画像表示装置２００においてＩＰ方式により立体像を表示する際に、空間歪みが生じないように、立体画像撮影装置１００で撮影された要素画像群を補正するものである。

【0035】

この空間歪み補正装置１は、ＩＰ方式を用いた立体画像撮影装置１００が撮影した映像信号である要素画像群を入力し、補正した要素画像群（補正要素画像群）を出力する。この補正要素画像群は、ＩＰ方式を用いた立体画像表示装置２００において、立体像を表示する際の要素画像群として使用される。

【0036】

立体画像撮影装置１００は、被写体を要素画像群として撮影する一般的なＩＰ方式を用いた撮影装置であって、例えば、図１１に示した立体画像撮影装置１００である。また、立体画像表示装置２００は、要素画像群を立体像として表示する一般的な表示装置であって、例えば、図１１に示した立体画像表示装置２００である。
なお、空間歪み補正装置１に入力される要素画像群は、実際の被写体を撮影した映像信号である必要はなく、コンピュータグラフィックス等、計算機（不図示）によって、立体画像撮影装置１００を模式的に再現して生成されたものであっても構わない。

【0037】

また、空間歪み補正装置１は、外部から光学素子情報を入力する。この光学素子情報は、立体画像撮影装置１００および立体画像表示装置２００が備える光学素子である要素光学系（以下、要素レンズ）の特性および配置を示す情報である。
具体的には、光学素子情報は、立体画像撮影装置１００に関連する情報として、図１１（ａ）に示した立体画像撮影装置１００の要素レンズ群１０１から撮影板１０２の撮影面までの距離（要素レンズの焦点距離）ｄ_ｃ、要素レンズ群１０１を構成する要素レンズの中心間隔（ピッチ）ｐ_ｃ、撮影板１０２で撮影される被写体の要素画像の大きさｋ_ｃ、および、要素レンズの配置位置を含んでいる。

【0038】

また、光学素子情報は、立体画像表示装置２００に関連する情報として、図１１（ｂ）に示した立体画像表示装置２００の要素レンズ群２０１から表示板２０２の表示面までの距離（要素レンズの焦点距離）ｄ_ｒ、要素レンズ群２０１を構成する要素レンズの中心間隔（ピッチ）ｐ_ｒ、表示板２０２に表示される要素画像の大きさｋ_ｒ、および、要素レンズの配置位置を含んでいる。

【0039】

空間歪み補正装置１は、この光学素子情報に基づいて、要素画像群を補正するため、ここでは、空間歪み情報算出手段１０と、空間歪み情報記憶手段２０と、距離平面画像生成手段３０と、体積画素分布記憶手段４０と、空間位置補正手段５０と、補正要素画像群生成手段６０と、を備える。

【0040】

空間歪み情報算出手段１０は、被写体を撮影した空間（被写体空間）と、立体像を表示する空間（立体像空間）との空間歪みを算出するものである。ここで、被写体空間とは、被写体を含んだ仮想的な３次元座標空間である。また、立体像空間は、要素画像群を立体像として表示した際の仮想的な３次元座標空間である。この被写体空間および立体像空間は、空間歪みが存在していなければ同一の空間であるが、現実には、空間歪みが存在しているため、図４に示すように、図４（ｂ）の立体像空間は、図４（ａ）の被写体空間に対して歪んだ空間となる。
そこで、空間歪み情報算出手段１０は、被写体空間内の座標と、立体像空間内の座標との対応を空間歪み情報として算出する。

【0041】

具体的には、空間歪み情報算出手段１０は、前記式（１）〜式（３）の逆演算となる以下の式（４）〜式（６）により、立体像空間内の座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）が、どの被写体空間内の座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）に対応するのかを算出する。

【0042】

【数4】

【0043】

なお、ここでは、式（４），式（５）において、補正後のｘ_ｃ座標，ｙ_ｃ座標を算出する際に、補正後のｚ_ｃ座標を用いているが、まず、式（６）を用いて補正後のｚ_ｃ座標を算出し、このｚ_ｃ座標を用いて式（４），式（５）により補正後のｘ_ｃ座標，ｙ_ｃ座標を算出すればよい。

【0044】

この空間歪み情報算出手段１０が算出する立体像空間の範囲は、後記する体積画素分布記憶手段４０に記憶される体積画素分布を含む範囲とする。この体積画素分布の範囲については、距離平面画像生成手段３０の説明において併せて説明することとする。
この空間歪み情報算出手段１０は、被写体空間内の座標と立体像空間内の座標とを対応付けて空間歪み情報として空間歪み情報記憶手段２０に書き込む。
なお、この空間歪み情報算出手段１０は、要素画像群を補正するたびに空間歪み情報を算出する必要はなく、立体画像撮影装置１００および立体画像表示装置２００の光学素子情報に変更があった場合にのみ算出すれよい。

【0045】

空間歪み情報記憶手段２０は、空間歪み情報算出手段１０で算出された空間歪み情報を記憶するもので、ハードディスク等の一般的な記憶装置である。この空間歪み情報は、空間位置補正手段５０によって参照される。

【0046】

距離平面画像生成手段３０は、入力された要素画像群の各画素を、光学素子情報で示される立体画像表示装置２００の要素レンズのピッチおよび焦点距離が同じ仮想要素レンズ（仮想要素光学系）で構成される仮想要素レンズ群（仮想要素光学系群）を介して、光路追跡を行い、仮想要素レンズ群からの距離が異なる、予め設定された距離平面ごとに各画素の画素値を割り当てることで、距離ごとの平面画像（距離平面画像）を生成するものである。

【0047】

この距離平面画像生成手段３０は、異なる距離ごとに距離平面画像を生成し、距離に対応付けて体積画素分布記憶手段４０に書き込む。
すなわち、距離平面画像生成手段３０は、一平面で構成される要素画像群から、複数の距離によって異なる平面画像を生成することで、要素画像群を立体像として表示した際の画素分布に相当する空間（立体像空間）を再現させる。
この距離平面画像生成手段３０は、予め定めた複数距離における距離平面画像を生成し、体積画素分布として、体積画素分布記憶手段４０に書き込んだ後、体積画素分布を生成した旨を、空間位置補正手段５０に通知する。

【0048】

ここで、図５を参照して、距離平面画像生成手段３０が距離ごとに生成する距離平面画像について説明する。
図５に示すように、距離平面画像生成手段３０は、要素画像群Ｇの画像面に対して、立体画像表示装置２００における要素レンズ群と表示面までの距離ｄ_ｒ（図１１参照）と同じ距離だけ仮想的に離間して配置した仮想要素レンズ群Ｖを介して、光路追跡を行うことで、要素画像群Ｇの各画素の画素値を、任意の距離Ｌ_１，Ｌ_２，…，Ｌ_ｎごとに割り当てて、平面画像ｔ_１，ｔ_２，…，ｔ_ｎを生成する。

【0049】

ここで、距離Ｌ_１，Ｌ_２，…，Ｌ_ｎは、予め定めた複数の距離であって、その数および間隔は任意に定めることができる。なお、距離平面を多く設定すれば、それだけ歪み補正の効果を高めることができるが、演算量は増加する。そこで、距離平面の数および間隔は、要素画像群Ｇの画素数等に応じて定めることが好ましい。

【0050】

距離平面画像生成手段３０は、図５に示すように、ある要素画像の画素ｇから、対応する仮想要素レンズ（仮想的な開口〔仮想ピンホール〕）Ｖ_Ｌの中心を通る直線が任意の距離の平面と交わる座標上の画素に、画素ｇの画素値を割り当てる。すなわち、距離平面画像生成手段３０は、要素画像の画素ｇの画素値を、平面画像ｔ_１，…，ｔ_ｎとの交点の画素ｇ_１，…，ｇ_ｎの画素値とする。
これによって、図５に示すように、ある要素画像の画像領域ｋ_ｒの画素の画素値は、対応する仮想要素レンズＶ_Ｌを介して拡がり（ｗ_１，…，ｗ_ｎ）を持って距離平面に割り当てられる。例えば、要素画像の画像領域ｋ_ｒが距離Ｌ_１の距離平面において拡がる範囲ｗ_１は、以下の式（７）で表される。

【0051】

【数5】

【0052】

また、仮想要素レンズ群Ｖから最も離れた距離Ｌ_ｎに到達する要素画像の画像領域ｋ_ｒの範囲ｗ_ｎについても、式（７）と同様に求めることができる。
すなわち、距離平面画像生成手段３０が生成する立体を構成する平面画像（体積画素分布）は、奥行き方向であるｚ方向においては、仮想要素レンズ群Ｖに最も近い距離Ｌ_１から、仮想要素レンズ群Ｖから最も遠い距離Ｌ_ｎの範囲に生成され、ｘｙ方向においては、仮想要素レンズ群Ｖから最も遠い距離Ｌ_ｎにおいて要素画像群の画素値が割り当てられる最大の拡がり範囲、すなわち、要素画像群の大きさよりも上下左右にそれぞれｗ_ｎ／２分だけ大きい範囲に生成される。

【0053】

ここで、さらに図２を参照して、空間歪み補正装置１の距離平面画像生成手段３０の構成について説明する。
図５で説明した複数の距離平面画像からなる体積画素分布を生成するため、距離平面画像生成手段３０は、分割手段３１と、要素画像変換手段３２と、結合手段３３と、を備える。

【0054】

分割手段３１は、光学素子情報に基づいて、映像信号として入力される要素画像群を要素画像単位の画像に分割するものである。すなわち、分割手段３１は、要素画像群を、光学素子情報のうちの要素レンズの配置位置に対応する要素画像ごとに分割する。

【0055】

なお、分割手段３１は、要素画像群を立体画像表示装置２００が扱う要素画像の大きさで分割する。立体画像撮影装置１００と立体画像表示装置２００とで、要素画像の大きさ（サイズ、解像度）が異なる場合には、分割手段３１は、立体画像表示装置２００の要素画像の大きさに合うように、ダウンコンバート、アップコンバート等の画像変換処理を行う。
この分割手段３１は、分割した要素画像を、要素画像変換手段３２に出力する。

【0056】

要素画像変換手段３２は、光路追跡を行うことで、分割手段３１から入力される要素画像を、予め設定された距離における平面画像に変換するものである。ここでは、要素画像変換手段３２は、画素割当手段３２ａを備える。

【0057】

画素割当手段３２ａは、要素画像の画素ごとに、当該画素から仮想要素レンズの中心を通る直線が、予め設定された距離平面と交わる座標に、当該画素の画素値を割り当てるものである。これによって、要素画像ごとの距離平面画像が生成される。
この画素割当手段３２ａは、要素画像ごとに生成した距離平面画像を結合手段３３に出力する。

【0058】

結合手段３３は、要素画像変換手段３２（画素割当手段３２ａ）で生成された予め設定された距離平面における要素画像ごとの距離平面画像を当該距離平面において要素画像群の要素画像分だけ結合するものである。すなわち、結合手段３３は、予め設定された距離平面において、要素画像ごとに生成された距離平面画像の画素値を割り当てることで、要素画像群に対応した距離平面画像を生成する。
なお、結合手段３３は、距離平面画像の同一の座標に異なる要素画像の画素値が割り当てられている場合、同一の座標に割り当てられた画素値を加算し平均化することで、当該座標の画素値とする。
この結合手段３３は、要素画像群に対応して生成した距離平面画像を、距離に対応付けて体積画素分布記憶手段４０（図１参照）に書き込む。

【0059】

以上説明した距離平面画像生成手段３０は、仮想要素レンズ群からの距離を順次設定し直して、図５で説明したように、複数の距離平面に対応する平面画像を生成する。すなわち、距離平面画像生成手段３０は、図５に示すように、仮想要素レンズ群Ｖからの距離Ｌ_１，Ｌ_２，…，Ｌ_ｎに対応する平面画像ｔ_１，ｔ_２，…，ｔ_ｎを生成する。
この距離平面画像生成手段３０で生成された平面画像ｔ_１，ｔ_２，…，ｔ_ｎは、図６に示すように、距離ごとに配列されることで、空間上における体積画素分布として表すことができる。

【0060】

これによって、体積画素分布記憶手段４０には、複数の距離平面における平面画像で構成される体積画素分布が記憶される。この体積画素分布は、要素画像群を立体画像表示装置で表示させる際の立体像空間において、画素を分布させた状態に相当する。
すなわち、この体積画素分布には、空間歪みが発生していることになる。
図１に戻って、空間歪み補正装置１の全体構成について説明を続ける。

【0061】

体積画素分布記憶手段４０は、距離平面画像生成手段３０で生成された距離平面画像を距離に対応付けて、体積画素分布として記憶するもので、ハードディスク等の一般的な記憶装置である。この体積画素分布は、空間位置補正手段５０によって補正され、補正要素画像群生成手段６０によって参照される。

【0062】

空間位置補正手段５０は、距離平面画像生成手段３０によって生成された距離平面画像で構成される体積画素分布を、空間歪み情報記憶手段２０に記憶されている空間歪み情報に基づいて補正するものである。
すなわち、空間位置補正手段５０は、体積画素分布記憶手段４０に記憶されている体積画素分布の座標空間（立体像空間）の各座標を、空間歪み情報記憶手段２０に記憶されている空間歪み情報で補正することで、被写体空間の座標に変換する。

【0063】

具体的には、空間位置補正手段５０は、体積画素分布の座標空間（立体像空間）の座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）を、前記式（４）〜式（６）によって予め変換し対応付けられている被写体空間の座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）に変更する。
これによって、空間位置補正手段５０は、図７に示すように、距離平面画像生成手段３０によって生成された空間歪みを持った補正前の体積画素分布（図７（ａ））から、空間歪みを補正した体積画素分布（図７（ｂ））を生成する。
ここでは、空間位置補正手段５０は、体積画素分布の座標位置を補正した補正体積画素分布を体積画素分布記憶手段４０に書き込み、補正が完了した旨を補正要素画像群生成手段６０に通知する。

【0064】

補正要素画像群生成手段６０は、空間位置補正手段５０で補正された補正体積画素分布を、光学素子情報で示される立体画像表示装置２００の要素レンズのピッチおよび焦点距離が同じ仮想要素レンズ（仮想要素光学系）で構成される仮想要素レンズ群（仮想要素光学系群）を介して、光路追跡を行い、立体画像表示装置２００の表示面に相当する位置における要素画像群を生成するものである。

【0065】

すなわち、補正要素画像群生成手段６０は、図８に示すように、補正後の体積画素分布における各画素の画素値（例えば、点〔画素〕ａの画素値）を、当該画素から仮想要素レンズ群Ｖの中心を通る直線と交わる画像上の画素（例えば、点〔画素〕ａ′）の画素値として割り当てる。なお、図８では、ある点の画素値のみについて画像上に割り当てているが、補正後の体積画素分布全体に亘って割り当てを行う。これによって、補正された要素画像群（補正要素画像群Ｇ′）が生成されることになる。

【0066】

ここで、図３を参照（適宜図１参照）して、補正要素画像群生成手段６０の構成について説明する。図３に示すように、補正要素画像群生成手段６０は、要素画像逆変換手段６１と、連結手段６２と、を備える。

【0067】

要素画像逆変換手段６１は、補正後の体積画素分布から、光学素子情報で示される立体画像表示装置２００の要素レンズの配置位置に対応する要素画像を生成するものである。
すなわち、要素画像逆変換手段６１は、要素画像変換手段３２とは逆方向に、図５で説明した要素画像の画像領域ｋ_ｒの画素値を求める対象画素から、当該要素画像に対応する仮想要素レンズＶ_Ｌの中心を通る直線が交わる平面画像ｔの画素の値を、要素画像の対象画素の画素値とする。なお、距離平面画像生成手段３０においては、距離Ｌ_１，Ｌ_２，…，Ｌ_ｎは予め定めたものであったが、要素画像逆変換手段６１では、補正後の体積画素分布において、画素値が割り当てられた距離（ｚ座標）が、逆変換を行うために対象とする距離平面となる。
ここで、要素画像逆変換手段６１は、画素統合手段６１ａと、補間手段６１ｂと、を備える。

【0068】

画素統合手段６１ａは、補正後の体積画素分布で示される距離ごとの平面画像を、要素画像群の画像面（後側焦平面）において統合するものである。すなわち、画素統合手段６１ａは、補正後の体積画素分布で示される平面画像ごとに、要素画像群の画像面において、要素画像の各画素の画素値を、当該画素から仮想要素レンズＶ_Ｌの中心を通る直線が交わる平面画像上の画素の画素値として割り当てることで、要素画像を生成する。
なお、要素画像の各画素に対応する距離平面画像の画素は、複数の距離平面画像で複数存在する場合がある。その場合、画素統合手段６１ａは、対応する複数の距離平面画像の対応する画素の画素値の平均値を求め、要素画像の対応する画素値とする。
例えば、図５において、距離ごとの平面画像ｔが、補正後の体積画素分布を構成する画像であるとすると、画素統合手段６１ａは、要素画像の画素ｇの画素値を、画素ｇから仮想要素レンズＶ_Ｌの中心を通る直線が交わる複数の平面画像ｔ_１，ｔ_２，…，ｔ_ｎの画素ｇ_１，ｇ_２，…，ｇ_ｎの各画素値の平均値として算出する。
この画素統合手段６１ａは、生成した複数の要素画像を補間手段６１ｂに出力する。

【0069】

補間手段６１ｂは、画素統合手段６１ａにおいて生成された要素画像において、画素値が割り当てられていない画素の画素値を補間するものである。
この補間手段６１ｂに入力される要素画像は、補正後の体積画素分布である距離平面ごとの画素値を、要素画像の画素値に割り当てたものであるが、体積画素分布における画素の座標位置が補正されることで、必ずしも要素画像のすべての画素が割り当てられるとは限らない。

【0070】

そこで、補間手段６１ｂは、画素統合手段６１ａで生成された要素画像において、画素値が割り当てられなかった画素について、隣接する画素の画素値から補間処理によって、画素値を補間する。なお、この補間処理は、一般的な手法を用いればよく、例えば、補間手段６１ｂは、すでに画素値が割り当てられている画素から、内挿や外挿によって、画素値が割り当てられていない画素の画素値を算出する。
この補間手段６１ｂは、補間によりすべての画素値を求めた要素画像を連結手段６２に出力する。

【0071】

連結手段６２は、要素画像逆変換手段６１で生成された個々の要素画像を連結し、要素画像群として構成するものである。
この連結手段６２は、個々の要素画像を、光学素子情報のうちの要素レンズの配置位置に対応する位置に配列することで、補正後の要素画像群（補正要素画像群）を生成する。

【0072】

以上説明したように、空間歪み補正装置１は、ＩＰ方式で撮影（生成）された要素画像群を補正することで、被写体空間と立体像空間の歪みを解消し、立体像として表示される像の歪みを抑えることができる。
この空間歪み補正装置１は、一般的なコンピュータを前記した各手段として機能させるプログラム（空間歪み補正プログラム）により動作させることができる。

【0073】

なお、ここでは、空間歪み補正装置１に空間歪み情報算出手段１０を備える構成としたが、この空間歪み情報算出手段１０は、空間歪み補正装置１とは別体の空間歪み予測装置（不図示）の一構成とし、空間歪み補正装置１から省略してもよい。すなわち、空間歪み補正装置１は、空間歪み情報記憶手段２０に、空間歪み予測装置（不図示）によって予測された空間歪み情報を予め記憶しておく構成としてもよい。

【0074】

［空間歪み補正装置の動作］
次に、図９を参照（構成については、適宜図１〜図３参照）して、本発明の実施形態に係る空間歪み補正装置の動作について説明する。なお、ここでは、空間歪み情報算出手段１０が、被写体を撮影した空間（被写体空間）と立体像を表示する空間（立体像空間）との空間歪みを、予め、光学素子情報から算出し、空間歪み情報として、空間歪み情報記憶手段２０に書き込まれているものとする。

【0075】

まず、空間歪み補正装置１は、距離平面画像生成手段３０によって、要素画像群に対して仮想的に配置した仮想要素レンズか群から、予め定めた複数の距離平面までの距離の１つを初期値として設定する（ステップＳ１０）。

【0076】

そして、空間歪み補正装置１は、距離平面画像生成手段３０によって、要素画像群の各画素の画素値を、光路追跡により、ステップＳ１０で設定した距離に対応する距離平面に割り当てて距離ごとの平面座標（距離平面画像）を生成する（ステップＳ１１）。
すなわち、空間歪み補正装置１は、距離平面画像生成手段３０の分割手段３１によって、要素画像群を、光学素子情報で特定される要素画像ごとに分割する。

【0077】

そして、空間歪み補正装置１は、距離平面画像生成手段３０の要素画像変換手段３２によって、要素画像の各画素の画素値を、当該画素と、対応する仮想要素レンズの中心とを通る直線が、設定した距離の平面と交わる平面画像上の画素に当該画素値を割り当てる。

【0078】

そして、空間歪み補正装置１は、距離平面画像生成手段３０の結合手段３３によって、要素画像変換手段３２（画素割当手段３２ａ）で生成された距離平面における要素画像ごとの距離平面画像を当該距離平面において要素画像群の要素画像分だけ結合する。

【0079】

そして、空間歪み補正装置１は、距離平面画像生成手段３０（結合手段３３）によって、ステップＳ１１で生成された距離ごとの平面画像を、体積画素分布記憶手段４０に書き込む（ステップＳ１２）。この平面画像が、異なる距離平面ごとに生成されることで、体積画素分布となる。

【0080】

ここで、空間歪み補正装置１は、予め定めたすべての距離平面について平面画像が生成されていない場合、すなわち、予め定めた体積画素分布（立体像空間）が生成されていない場合（ステップＳ１３でＮｏ）、ステップＳ１０に戻って、新たな距離平面について平面画像を生成する。

【0081】

一方、予め定めたすべての距離平面について平面画像が生成された場合（ステップＳ１３でＹｅｓ）、空間歪み補正装置１は、空間位置補正手段５０によって、体積画素分布記憶手段４０に記憶された体積画素分布を、空間歪み情報記憶手段２０に記憶されている空間歪み情報に基づいて補正する（ステップＳ１４）。
すなわち、空間位置補正手段５０は、空間歪み情報で示される立体像空間から被写体空間への座標の対応関係に基づいて、体積画素分布の各画素の座標を変換する。これによって、空間歪みを持った体積画素分布が、被写体空間の分布に補正されることになる。

【0082】

そして、空間歪み補正装置１は、補正要素画像群生成手段６０の要素画像逆変換手段６１によって、光路追跡により、ステップＳ１４で補正された体積画素分布から、要素画像群の画像面の画素値を算出する（ステップＳ１５）。
すなわち、空間歪み補正装置１は、要素画像逆変換手段６１の画素統合手段６１ａによって、画素値を求める対象となる要素画像の画素ごとに、当該画素から仮想要素レンズの中心を通る直線上に存在する補正後の体積画素分布の画素の画素値を割り当てる。なお、このとき、直線上に画素値が割り当てられた複数の画素が存在する場合、画素統合手段６１ａは、それらの平均値を要素画像の画素値とする。
また、空間歪み補正装置１は、要素画像逆変換手段６１の補間手段６１ｂによって、画素統合手段６１ａにおいて生成された要素画像において、画素値が割り当てられていない画素の画素値を内挿等により補間する。

【0083】

そして、空間歪み補正装置１は、連結手段６２によって、要素画像逆変換手段６１で生成された個々の要素画像を連結し、補正後の要素画像群を生成する（ステップＳ１６）。
以上の動作によって、空間歪み補正装置１は、ＩＰ方式で撮影（生成）された要素画像群を補正し、立体像として表示される像の歪みを抑えることができる。

【0084】

以上、本発明の実施形態に係る空間歪み補正装置の構成および動作について説明したが、本発明はこれに限定されるものではない。
ここでは、空間歪み補正装置１に入力される要素画像群を、図１１に示した立体画像撮影装置１００で撮影したものとして説明した。しかし、立体画像撮影装置は、図１０の立体画像撮影装置１００Ｂに示すように、奥行きを制御する奥行き制御レンズ（ここでは、凸レンズ）１１０等の光学系を介して、被写体Ｈの実像Ｈ_２を撮影する構成を持つもの（例えば、文献：Opt. Engineering, vol.38, pp.1072-1077, 1999）が存在する。なお、ここで、要素レンズ群１０１や撮影板１０２は、図１１で説明したものと同様のものである。この場合、前記した式（１）〜式（３）による歪み以外に、被写体の実像を生成する際の光学系の空間歪みが発生する。

【0085】

図１０に示した立体画像撮影装置１００Ｂにおいて、要素レンズ群１０１から距離Ｌ_３だけ離れた位置に奥行き制御レンズ１１０が配置され、奥行き制御レンズ１１０から距離Ｌ_１だけ離れた位置に被写体Ｈが存在していたとすると、被写体Ｈの実像Ｈ_２は、以下の式（８）で表される、奥行き制御レンズ１１０から被写体Ｈの反対方向に距離Ｌ_２だけ離れた位置に生成される。ただし、ｆは、奥行き制御レンズ１１０の焦点距離である。

【0086】

【数6】

【0087】

また、立体画像撮影装置１００Ｂは、被写体Ｈの実像Ｈ_２を撮影するため、要素レンズ群１０１から、奥行き制御レンズ１１０方向に距離Ｌ_４だけ離間した位置に実像Ｈ_２を生成する。すなわち、実像Ｈ_２は、Ｌ_２＝Ｌ_３＋Ｌ_４で表される奥行き制御レンズ１１０と要素レンズ群１０１との間に生成される。このＬ_２を用いると、Ｌ_１は、以下の式（９）で表される。

【0088】

【数7】

【0089】

このような立体画像撮影装置１００Ｂを用いた場合、Ｌ_４を図１１に示した要素レンズ群１０１から被写体までの距離ｚ_ｃと考えればよい。また、被写体空間における被写体Ｈのｘ座標の値をｘ_１としたとき、被写体Ｈの実像Ｈ_２が生成される空間では、ｘ座標の値ｘ_２は、ｘ_２＝ｘ_１・Ｌ_２／Ｌ_１の関係を有している。そこで、この被写体Ｈの被写体空間におけるｘ_１を、図４（ａ）に示した被写体空間のｘ_ｃと考えればよい。ｙ座標については、ｘ座標と同様である。

【0090】

よって、図１０に示した立体画像撮影装置１００Ｂにおいて実像Ｈ_２を撮影した場合、空間歪み補正装置１の空間歪み情報算出手段１０（図１参照）は、前記した式（４）〜式（６）に対して、さらに、光学系の歪みを考慮して、以下の式（１０）〜式（１２）によって、立体像空間内の座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）が、どの被写体空間内の座標（ｘ_ｃ′，ｙ_ｃ′，ｚ_ｃ′）に対応するのかを算出する。

【0091】

【数8】

【0092】

ここで、Ｌ_１は、被写体Ｈと光学系（奥行き制御レンズ１１０）との距離、Ｌ_２は、光学系（奥行き制御レンズ１１０）を介して結像する実像Ｈ_２と光学系（奥行き制御レンズ１１０）との距離である。それ以外の変数は、前記した式（４）〜式（６）と同じである。なお、ここでは、式（１０），式（１１）において、補正後のｘ_ｃ′座標，ｙ_ｃ′座標を算出する際に、補正後のｚ_ｃ′座標を用いているが、まず、式（１２）を用いて補正後のｚ_ｃ′座標を算出し、このｚ_ｃ′座標を用いて式（１０），式（１１）により補正後のｘ_ｃ′座標，ｙ_ｃ′座標を算出すればよい。
これによって、空間歪み補正装置１は、光学素子に基づく空間歪みに、さらに、他の光学系の歪みが加わって撮影された要素画像群に対して、その歪みを補正した要素画像群を生成することができる。

【符号の説明】

【0093】

１ 空間歪み補正装置
１０ 空間歪み情報算出手段
２０ 空間歪み情報記憶手段
３０ 距離平面画像生成手段
３１ 分割手段
３２ 要素画像変換手段
３２ａ 画素割当手段
３３ 結合手段
４０ 体積画素分布記憶手段
５０ 空間位置補正手段
６０ 補正要素画像群生成手段
６１ 要素画像逆変換手段
６１ａ 画素統合手段
６１ｂ 補間手段
６２ 連結手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】