(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
従来、任意の視点から、特殊な立体メガネを用いることなく、立体画像を自由に見ることのできる立体画像方式の1つとして、インテグラルフォトグラフィ方式(以下、IPという)が知られている。IPによる撮像の概要について
図8を参照して説明する。
図8に示す立体画像取得装置101は、被写体の一例として、円柱111aおよび角柱111bを撮影するものとする。この立体画像取得装置101は、光学素子アレイ112と、撮像素子113とを備えている。光学素子アレイ112を構成する光学素子130は、例えば凸レンズや開口(空間フィルタ)が用いられる。ここでは、凸レンズを用いている。
【0003】
図8に示す立体画像取得装置101は、矢印で示す撮影方向114から、光学素子アレイ112を通して被写体(前景、背景)を撮影する。このとき、撮像素子113には、光学素子アレイ112を構成する光学素子130の個数と同じ個数だけ被写体の微小な像(要素画像)、例えば像115が結像する。実用的には、光学素子アレイ112と撮像素子113との間には、光学素子アレイ112を構成する光学素子130間で光の漏れこみを回避するための光学的な遮蔽板116が配設されている。ここでは、光学素子アレイ112から撮像素子113での距離をd
cとした。つまり、光軸に沿った遮蔽板116の長さはd
cである。また、光学素子アレイ112から被写体までの距離をz
c、1つの光学素子130により生成される被写体の像の大きさをk
cで表した。なお、
図8において(−)の記号は光学素子アレイ112の位置を基準にした負の方向(
図8において左)を示し、同様に(+)の記号は正の方向(
図8において右)を示す。撮像素子113は、通常の写真フィルムやCCD(Charge Coupled Device)撮像素子などの動画像を撮像可能な素子である。
【0004】
IPによる表示の概要について
図9を参照して説明する。
図9に示す立体画像表示装置102は、光学素子アレイ122と、表示素子123とを備えている。光学素子アレイ122は、撮像側の光学素子アレイ112に対応して設けられており、複数の光学素子130を2次元状に並べて形成したものである。ここで、表示素子123は、
図8に示す立体画像取得装置101の撮像素子113により撮影された像115に対応する像125を表示する。観察者Hは、矢印で示す観察方向124から、表示素子123の表面に設けられた光学素子アレイ122を見ると、立体像としての円柱121aおよび角柱121bを観察することができる。光学素子アレイ122と表示素子123との間には、光学素子アレイ122を構成する光学素子130間で光の漏れこみを回避するための光学的な遮蔽板126が配設されている。ここでは、光学素子アレイ122から表示素子123での距離をd
rとした。つまり、光軸に沿った遮蔽板126の長さはd
rである。また、表示素子123に表示される像125の大きさをk
r、光学素子アレイ122から立体像までの距離をz
rで表した。表示素子123は、例えば液晶パネル等で構成されている。
【0005】
ただし、
図8および
図9に示す構成では、被写体と比較して、生成される立体像の奥行きが反転してしまう。例えば
図8では、円柱111aと角柱111bは光学素子アレイ112に対して撮像素子113とは反対側(負の方向)に存在する。一方で、
図9では、立体像(円柱121a,角柱121b)は光学素子アレイ122に対して観察者Hと同じ側(正の方向)に存在する。つまり、撮像の際に窪んで見えたものが、表示の際に出っ張って見えることになる。奥行きが反転しても構わないような使用法の場合にはこのまま用いる。一方、奥行きを正す必要のある使用法の場合、光学的な制御や演算処理による制御によって奥行きを正すことができる。
【0006】
例えばIPの撮像時に、
図10に示す構成を用いて被写体の奥行き方向の位置を制御することもできる。
図10に示す立体画像取得装置103は、対物光学系117を備えている点が
図8に示す立体画像取得装置101とは相違している。なお、同じ構成には同じ符号を付して説明を省略する。対物光学系117は、例えば凸レンズで構成され、
図10に示すように、円柱111aや角柱111b等の被写体と光学素子アレイ112との間に配置される。そして、例えば、個々の光学素子で生成される個々の光学像(要素画像)を、その像の中心に対して点対称に変換することで奥行きの正しい立体像が得られることが知られている(例えば特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、例えば
図8に示す立体画像取得装置101は、光学素子アレイ112において光学素子130間で光の漏れこみを回避するための光学的な遮蔽板116を配置する必要があった。光学的な遮蔽板116を設けることは技術的に難しく、また、隣接する光学素子130を隙間なく密に配置したい要求もある。仮に遮蔽板を設けずに光学素子間で光の漏れこみを回避できるように光学素子アレイと撮像素子とを適切に配置できたとしても、被写体と比較して奥行きが反転した状態で、立体像が生成される問題があった。
【0009】
また、例えば
図10に示す立体画像取得装置103のように、光学素子アレイ112に光学的な遮蔽板116を備えることを前提とすると、生成される像115のピッチが固定される問題がある。仮に遮蔽板を設けなければ、ズームレンズのように対物光学系117と光学素子アレイ112との距離を変化させる場合、生成される像115のピッチは変化するのが自然であるが、立体画像取得装置103は遮蔽板116があることで、これに対応していない。そのため、対物光学系117と光学素子アレイ112との距離の変化も考慮する場合、
図10に示す立体画像取得装置103には例えば遮蔽板116を改良するなどのさらなる工夫が必要になってしまう。
【0010】
さらに、光学素子アレイに遮蔽板を設けないことを前提にして、被写体の奥行き方向の位置を制御する目的で
図10に示すように従来のIPの撮像時に対物光学系を設ける場合、対物光学系、光学素子アレイおよび撮像素子の配置や対物光学系の有効口径の大きさが不適切であると、隣接する光学素子によって生成される光学像に重複を生じる不具合が起きる。また、たとえ光学像の重複が生じなかったとしても、対物光学系の配置や有効口径の大きさが不適切であると、各光学素子によって生成される光学像に欠落箇所が生じる不具合が起きてしまう。
【0011】
本発明は、以上のような問題点に鑑みてなされたものであり、インテグラルフォトグラフィ方式による撮像において、隣接する光学素子によって生成される光学像に重複を生じず、かつ、各光学素子によって生成される光学像に欠落箇所を生じないようにして奥行きの正しい立体画像の情報を取得することができる立体画像取得装置および立体画像取得方法を提供することを課題とする。
【課題を解決するための手段】
【0012】
前記課題を解決するために、本発明の請求項1に係る立体画像取得装置は、複数の光学素子が2次元に配列した光学素子アレイと、被写体と前記光学素子アレイとの間に配置された対物光学系と、前記光学素子アレイによって生成された光学像を取得するための撮像素子と、を備えた立体画像取得装置であって、前記対物光学系の有効口径の大きさは、当該対物光学系から前記光学素子アレイまでの距離をz
2、前記光学素子アレイから前記撮像素子までの距離をd
c、前記光学素子によって撮像面に生成される画像の範囲をw
cとしたときに後記する式(2)で算出されるΩ0に設定され、画像情報処理部を備えることを特徴とする。
【0013】
かる構成によれば、立体画像取得装置は、対物光学系を介して光学素子アレイを構成する個々の光学素子によって生成された個々の光学像を撮像素子で取得する。そして、立体画像取得装置は、対物光学系の有効口径の大きさが、対物光学系光学素子アレイまでの距離z
2、光学素子アレイから撮像素子までの距離d
c、および光学素子によって撮像面に生成される画像の範囲w
cに応じてΩ0に設定されている。ここで、対物光学系の有効口径がΩ0より大きい場合、隣接する光学素子によって生成される光学像が重複してしまうこととなる。また、対物光学系の有効口径がΩ0より小さい場合、光学像に欠けが生じて十分な大きさの光学像を生成することができない。いずれの場合においても、生成された光学像を用いて、従来のIP表示により立体像を表示した場合、立体像の品質が劣化することとなる。一方、立体画像取得装置は、対物光学系の有効口径がΩ0に設定されているので、隣接する該光学素子によって生成される光学像に重複を生じず、かつ十分な大きさの光学像を生成することができる。さらに、立体画像取得装置は、画像情報処理部によって、前記有効口径を有する前記対物光学系を介して前記撮像素子によって前記光学素子毎に取得した画像情報における各光学像の中心位置および各光学像の領域を、前記対物光学系から前記光学素子アレイまでの距離z
2に基づいて算出し、前記各光学像を当該光学像の中心に対して点対称に反転する処理を行う。これにより、被写体と比較して正しい奥行きで、立体像を生成することができる。
【0014】
また、本発明の請求項2に係る立体画像取得装置は、請求項1に記載の立体画像取得装置において、前記対物光学系が複数のレンズの組み合わせにより構成され、フォーカス調整手段と、アイリス調整手段とを備えていることとした。
【0015】
かかる構成によれば、立体画像取得装置は、フォーカス調整手段によって、前記対物光学系から前記光学素子アレイまでの距離z
2として前記対物光学系の像側主点から前記光学素子アレイまでの距離を変化させる。そして、立体画像取得装置は、アイリス調整手段によって、前記対物光学系の像側主点から前記光学素子アレイまでの距離に応じて前記対物光学系の有効口径の大きさを調整する。したがって、対物光学系の有効口径が光学素子までの距離に応じて変化するので、対物光学系を所定の焦点距離に合わせて光学像に重複や欠けが生じないように設定すれば、光学像を拡大したときにも重複や欠けが生じない立体画像の情報を適切に取得できる。
【0016】
また、前記課題を解決するために、本発明の請求項3に係る立体画像取得方法は、複数の光学素子が2次元に配列した光学素子アレイと、被写体と前記光学素子アレイとの間に配置された対物光学系と、前記光学素子アレイによって生成された光学像を取得するための撮像素子と、前記撮像素子によって取得した画像情報を処理する画像情報処理部とを備えた立体画像取得装置による立体画像取得方法であって、前記画像情報処理部が、光学像領域算出ステップと、反転処理ステップとを実行することを特徴とする。
【0017】
かかる手順によれば、立体画像取得方法では、前記画像情報処理部が、光学像領域算出ステップにて、前記対物光学系から前記光学素子アレイまでの距離をz
2、前記光学素子アレイから前記撮像素子までの距離をd
c、前記光学素子によって撮像面に生成される画像の範囲をw
cとしたときに前記対物光学系の有効口径の大きさを後記する式(2)で算出されるΩ0に設定された有効口径を有する前記対物光学系を介して前記撮像素子によって前記光学素子毎に取得した画像情報における各光学像の中心位置および各光学像の領域を、前記対物光学系から前記光学素子アレイまでの距離z
2に基づいて算出する。そして、画像情報処理部は、反転処理ステップにて、前記各光学像を当該光学像の中心に対して点対称に反転する。
【0018】
また、本発明の請求項4に係る立体画像取得方法は、請求項3に記載の立体画像取得方法において、
前記対物光学系が、複数のレンズの組み合わせにより構成され、前記立体画像取得装置は、フォーカス調整手段とアイリス調整手段とを備え、
前記画像情報処理部は、前記式(2)において前記対物光学系から前記光学素子アレイまでの距離z2として前記対物光学系の像側主点から前記光学素子アレイまでの距離を用いて前記対物光学系の有効口径の大きさΩ0を決定する有効口径設定ステップを実行し、前記光学像領域算出ステップにて、前記有効口径設定ステップで決定された有効口径を有する前記対物光学系を介して取得した画像情報における各光学像の中心位置および各光学像の領域を算出し、前記フォーカス調整手段が、
前記対物光学系の像側主点から前記光学素子アレイまでの距離
z2を変化させる距離調整ステップを実行し、
前記画像情報処理部は、前記フォーカス調整手段によって更新された後の距離z2を用いて、前記式(2)の演算を再び行い、前記対物光学系の有効口径の大きさΩ0を更新し、前記アイリス調整手段が、
前記画像情報処理部によって更新された後の有効口径の大きさ
に応じて絞りを調整する有効口径調整ステップを実行し、前記画像情報処理部は、
前記アイリス調整手段によって有効口径が調整された対物光学系を介して取得した画像情報における各光学像の中心位置および各光学像の領域を算出することを特徴とする。
【0019】
かかる手順によれば、立体画像取得方法では、対物光学系の有効口径が光学素子までの距離に応じて変化するので、対物光学系を所定の焦点距離に合わせて光学像に重複や欠けが生じないように設定すれば、光学像を拡大したときにも重複や欠けが生じない立体画像の情報を適切に取得できる。
【発明の効果】
【0020】
本発明は、以下に示す優れた効果を奏するものである。
請求項1に係る立体画像取得装置によれば、隣接する光学素子によって生成される光学像に重複を生じず、かつ、各光学素子によって生成される光学像に欠落箇所を生じないようにして奥行きの正しい立体画像の情報を取得することができる。すなわち、インテグラルフォトグラフィ方式による撮像において、隣接する微小な光学素子間での光の漏れを回避し、かつ光学素子により十分な大きさの奥行きの正しい光学像を生成することができる。したがって、立体画像取得装置により取得した情報を用いて表示される立体画像の品質を高めることができる。
【0021】
請求項2に係る立体画像取得装置によれば、対物光学系を標準の焦点距離に合わせて光学像に重複や欠けが生じないように設定すれば、光学像を例えば拡大したときにも重複や欠けが生じない立体画像の情報を適切に取得することができる。
【0022】
請求項3に係る立体画像取得方法によれば、生成される光学像に重複を生じず、かつ、欠落箇所を生じないようにして奥行きの正しい立体画像の情報を取得することができるので、取得した情報を用いて表示される立体画像の品質を高めることができる。
請求項4に係る立体画像取得方法によれば、対物光学系を標準の焦点距離に合わせて光学像に重複や欠けが生じないように設定すれば、光学像を例えば拡大したときにも重複や欠けが生じない立体画像の情報を適切に取得することができる。
【発明を実施するための形態】
【0024】
以下、本発明の実施形態に係る立体画像取得装置および立体画像取得方法について、図面を参照しながら説明する。なお、各図面が示す部材のサイズや位置関係等は、説明の便宜上誇張していることがある。さらに、以下の説明において、同一の名称および符号については原則として同一もしくは同質の部材を示しており、詳細説明を適宜省略する。
【0025】
(第1実施形態)
本発明の第1実施形態に係る立体画像取得装置の構成について説明する。なお、
図8および
図10に示した従来の立体画像取得装置101,103において100番台の符号を付して説明した構成要素で下2ケタの数字が同じ構成については同様の構成要素なので説明を適宜省略して説明する。
【0026】
図1に示すように、立体画像取得装置1は、制御部としての光学系パラメータ取得部20、データ転送部21、画像情報処理部22および画像データ伝送部26を備えると共に、撮像部としての光学素子アレイ12、撮像素子13および対物光学系17を備えている。
【0027】
<制御部>
立体画像取得装置1の制御部は、図示を省略したCPU、メモリ、入出力インタフェース等を搭載した一般的なコンピュータで実現することができる。このとき、立体画像取得装置1の制御部は、コンピュータを前記した光学系パラメータ取得部20、データ転送部21、画像情報処理部22および画像データ伝送部26として機能させる立体画像取得プログラムによって動作する。
【0028】
光学系パラメータ取得部20は、対物光学系17から光学素子アレイ12までの距離を取得するものである。インテグラル式では、対物光学系17による被写体の実像を、光学素子アレイ12付近に生成することが多い。従って、対物光学系17から光学素子アレイ12までの距離z
2は、対物光学系17から被写体までの距離z
1および対物光学系17の焦点距離に応じて、設定される。本実施形態では、距離z
2として、固定された値を用いる。光学系パラメータ取得部20は、図示しない入力装置から距離z
2を受け付けるか、または、図示しないメモリに予め保持した距離z
2を読み出すことで、距離z
2を取得する。
【0029】
データ転送部21は、光学系パラメータ取得部20によって得られたデータを画像情報処理部22に転送するものである。転送タイミングは、被写体を撮影するときでもよいし、被写体を撮影する前でもよい。
画像データ伝送部26は、撮像素子13で取得した画像データを画像情報処理部22に伝送するものである。
【0030】
画像情報処理部22は、撮像素子13によって取得した画像情報を処理するものである。画像情報処理部22は、被写体と比較して正しい奥行きで、立体像を生成可能とするために、個々の光学素子30で取得した光学像(正立像)を、個々の光学像の中心に対して点対称に反転する処理を実行する。この際、光学系パラメータ取得部20によって取得される、対物光学系17から光学素子アレイ12までの距離z
2を用いる。なお、画像情報処理部22による演算処理の詳細については後記する。
【0031】
<撮像部>
図1では、立体画像取得装置1は、遠方の被写体の一例として、円柱11aおよび角柱11bを、対物光学系17を介して矢印で示す撮影方向14から撮影し、被写体の微小な画像(正立像)15を生成する。対物光学系17は、被写体(円柱11aおよび角柱11b)と光学素子アレイ12との間に配置されている。本実施形態では、対物光学系17は、単一の焦点距離を有する光学系であり、例えば凸レンズで構成されている。対物光学系17から被写体までの距離をz
1と表記し、対物光学系17から光学素子アレイ12までの距離をz
2と表記した。本実施形態では、距離z
2は、対物光学系17の主点から光学素子30の主点までの距離を表す。本実施形態では、距離z
2は固定されている。
【0032】
光学素子アレイ12は、複数の光学素子30を2次元に配列して構成されている。ここでは、光学素子30として例えば凸レンズを用いることとした。各光学素子30は、例えば正方格子状(グリッド構造)で配列されている。光学素子30の個数は図示した個数に限定されるものではなく、例えば、数百、数千、数万から数百万個形成されるようになっている。光学素子30のピッチをp
cとする。ここでは、隣り合った光学素子30同士を隙間なく並べることとしたので、ピッチは微小な凸レンズの直径に相当する。
【0033】
撮像素子13は、光学素子アレイ12によって生成された光学像を取得するものである。撮像素子13は、通常の写真フィルムやCCD撮像素子などの動画像を撮像可能な素子である。
【0034】
図1において、光学素子30によって撮像面に生成される微小画像の範囲であって良好な立体像の生成に必要な範囲をw
cと表記した。同様に光学素子30によって生成される微小画像を
図2(a)に示す。立体画像取得装置1は、
図2(a)に示すように、微小画像が重複もせず、欠落も生じない状態で配列できるようにするパラメータとして、後記する有効口径Ω0を設定している。
【0035】
実際に光学素子30によって生成される像の範囲は、光学素子30によって生成される、対物光学系17の有効口径の像の大きさと等価である。対物光学系17から光学素子アレイ12までの距離をz
2とし、光学素子アレイ12から撮像素子13までの距離をd
cとし、光学素子アレイ12を構成する光学素子30のピッチをp
cとすると、範囲w
cは、次の式(1)で表される。ここで、光学素子アレイ12から撮像素子13までの距離d
cとは、光学素子アレイ12を形成する光学素子30の主点と撮像素子13の撮像面との距離を表す。
【0037】
図1に示すように、光学素子アレイ12の中の所定の光学素子(
図1にe
0で示す光学素子)に注目する。対物光学系17の有効口径の大きさがΩ1の場合、つまり、絞り71を用いた場合、対物光学系17の有効口径が大きいために、破線で示す光線がe
0の光学素子に入射し、e
0の光学素子で生成される光学像の範囲は範囲w
cを越えることとなる。隣接する光学素子についても同様のことが言えるため、隣接する光学素子によって生成される光学像に重複を生ずることとなる。このように有効口径を適切な値に設定していない従来の装置では、微小画像が重複する場合がある。
図2(b)は、隣接する光学素子によって生成される光学像に重複が生じる場合の例を示す。
【0038】
また、
図1に示すように、対物光学系17の有効口径の大きさがΩ2の場合、つまり、絞り72を用いた場合、対物光学系17の有効口径が小さいために、一点鎖線で示す光線がe
0の光学素子に入射し、e
0の光学素子で生成される光学像の範囲は範囲w
cより狭くなる。隣接する光学素子についても同様のことが言える。このように有効口径を適切な値に設定していない従来の装置では、微小画像がケラレる場合、すなわち、微小画像に欠落が生じて十分な大きさの光学像を生成できない場合がある。具体的には、
図2(c)に示すように、光学素子によって生成される微小画像の輪郭の全周に亘って欠落が生じる場合がある。
【0039】
一方、立体画像取得装置1は、
図1に示すように、対物光学系17の有効口径の大きさがΩ0に設定されている。つまり、絞り70を用いている。この場合、実線で示す光線がe
0の光学素子に入射し、e
0の光学素子で生成される光学像の範囲は範囲w
cと等価となる。これにより、
図2(a)に示すように微小画像が重複もせず、欠落も生じないので、必要な立体画像の情報を適切に取得することができる。
【0040】
本実施形態では、対物光学系17は、当該対物光学系17の配置と、光学素子30によって撮像面に生成される画像の範囲と、により決定された有効口径を有する。具体的には、対物光学系17の有効口径は、次の式(2)で算出されるΩ0に決定されている。
【0042】
ここで、d
cは光学素子アレイ12から撮像素子13までの距離を示す。また、z
2は対物光学系17から光学素子アレイ12までの距離を示す。
【0043】
[有効口径の大きさの決定手順]
次に、本発明の第1実施形態に係る立体画像取得方法において、対物光学系17の有効口径の大きさΩ0を決定する手順について
図3を参照(適宜
図1参照)して説明する。
まず、光学素子アレイ12を構成する光学素子のピッチp
c、および光学素子アレイ12から撮像素子13までの距離d
cを設定する(ステップS1:撮像素子距離設定ステップ)。ここで、光学素子のピッチp
cは任意の値を取り得る。一般に、ピッチp
cが微細なほど、対物光学系17によって生成される被写体の実像を細かくサンプリングすることが可能となる。距離d
cは、光学素子の焦点距離に設定されることが多いが、この限りではない。
【0044】
次に、対象とする被写体を決定し、対物光学系17から被写体までの距離z
1を設定する(ステップS2:被写体距離設定ステップ)。続いて、対物光学系17の焦点距離と、ステップS2で設定した距離z
1とにより、対物光学系17から光学素子アレイ12までの距離z
2を設定する(ステップS3:対物光学系距離設定ステップ)。
【0045】
そして、前記式(2)を用いて、対物光学系17の有効口径の大きさΩ0を決定する(ステップS4:有効口径設定ステップ)。
以上の手順で立体画像取得装置1の配置を決定して構成すれば、光学素子30により生成される微小な画像15において、重複もせず、かつ欠落も生じることがない。
【0046】
[立体画像取得装置の制御部における演算処理]
本実施形態では、画像情報処理部22が前記式(2)を用いて有効口径の大きさΩ0を求める演算を行うこととした。このために、画像情報処理部22は、前記式(1)を用いて、生成される光学像の範囲w
cを求める演算も行う。
【0047】
画像情報処理部22による演算処理について
図4を参照(適宜
図1参照)して説明する。なお、
図4では、光学素子30の個数は一例であり、また、立体画像取得装置1の撮像部については上から見て光学素子アレイ12の中心の段数の配列を一部透視した平面図を模式的に示しており、撮影者が撮影方向14から見ると、被写体の円柱が左、角柱が右に見えるものとして説明する。
【0048】
画像情報処理部22は、反転処理を行うために、微小な光学像毎に点対称の中心を求める。ここでは、一例として、対物光学系17の中心と、光学素子アレイ12の中心と、撮像素子13の中心とを合わせておくものとする。具体的には、
図4に示すように、対物光学系17の主点23の位置と、撮像素子13の中心位置24とを合わせ、それらを、光学素子アレイ12の中心に位置する光学素子30(0番目の光学素子)の主点の位置に一致させるものとする。この前提において、画像情報処理部22では、距離z
2、ピッチp
c、距離d
cの値より次の式(3)を用いて、撮像素子13の中心位置24から各光学像の中心位置までの距離ξを算出する。
【0050】
式(3)においてnは、光学素子アレイ12の中心から水平に遠ざかる方向に数えた場合の光学素子の番号を表す。
図4を参照すると、光学素子アレイ12の中心から
図4において下(撮影者から見て左)に向かってn番目の光学素子をe
nで表している。この光学素子e
nによって撮像素子13の撮像面に生成される光学像の中心位置25とは、対物光学系17の主点23を通り、光学素子e
nの主点を通過した光線と、撮像素子13の撮像面との交点の位置に一致する。
図4では、n番目の光学素子e
nとして、n=2の場合を図示した。
【0051】
図4を参照すると、光学素子アレイ12の中心から
図4において上(撮影者から見て右)に向かって2番目の光学素子の場合の距離ξは、下(撮影者から見て左)に向かって2番目の光学素子の場合の距離ξと同じ値となる。また、本実施形態のように、光学素子アレイ12における光学素子30の配列が正方格子状(グリッド構造)の場合、図示する中心の段数における配列もその他の段数の配列も同じものとなる。
【0052】
また、光学像のピッチηは、撮像素子13の中心位置24からn番目の中心位置までの距離と、撮像素子13の中心位置24から(n−1)番目の中心位置までの距離との差分で表せるので、画像情報処理部22は、次の式(4)を用いて光学像のピッチηを算出する。
【0054】
なお、光学素子アレイ12において隣接する光学素子を隙間なく配列した場合、式(4)で示す光学像のピッチηと、前記式(1)で示す光学像の範囲w
cとは同値となる。
【0055】
[微小な光学像毎の点対称の中心の求め方の変形例]
上記具体例では、簡単のため、対物光学系17,光学素子アレイ12,撮像素子13の中心位置を合わせておくことを式(3)の前提であるものとしたが、対物光学系17、光学素子アレイ12、撮像素子13の相対的な位置関係が分かっていれば、この限りでは無い。例えば撮像素子13の中心と光学素子30の中心とが一致していなくてもよい。このような場合、撮像素子13の中心と光学素子30の中心とのずれ分を検出すれば、撮像素子13の中心位置から各光学像の中心位置までの距離を正確に算出することができる。例えば、撮像素子13の中心と光学素子30の中心と間の幅方向のずれがΔxであり、高さ方向のずれがΔyである場合、式(3)のξをΔxだけずらし、1つ1つの画像の中心の高さをΔyだけずらせばよい。
【0056】
一例として、撮像素子13の中心と光学素子30の中心と間の幅方向のずれΔxが、光学素子のピッチp
cの半分の場合について
図5を参照して説明する。
図5は、光学素子アレイ12を、
図4において上(撮影者から見て右)に向かって1/2ピッチだけずらした点が
図4と相違している。この場合、前記式(3)を、次の式(5)または式(6)に置換すればよい。なお、式(5)は、光学素子アレイ12の中心から最も近い光学素子の番号を0番と数えたときの関係式を表し、式(6)は、光学素子アレイ12の中心から最も近い光学素子の番号を1番と数えたときの関係式を表している。
【0058】
[立体画像取得方法]
次に、本発明の第1実施形態に係る立体画像取得方法として、主に画像情報処理部22の処理手順について
図6を参照(適宜
図4および
図5参照)して説明する。
ステップS11では、
図3に示すステップS3で設定した、対物光学系17から光学素子アレイ12までの距離z
2を光学系パラメータ取得部20にて取得する。
ステップS12では、光学系パラメータ取得部20で取得した距離z
2を、データ転送部21が画像情報処理部22に転送する。このときには、画像情報処理部22では、
図3に示すステップS1で設定する、光学素子アレイ12を構成する光学素子のピッチp
c、および光学素子アレイ12から撮像素子13までの距離d
cを保持しておく。
【0059】
ステップS13では、画像情報処理部22は、距離z
2、ピッチp
c、距離d
cの値より前記式(3)を用いて、撮像素子13の中心位置から各光学像の中心位置までの距離ξを算出する。このときには、画像情報処理部22は、前記式(4)を用いて、光学像のピッチηを算出する(以上、光学像領域算出ステップ)。
【0060】
ステップS14では、画像データ伝送部26は、
図3のステップS4で設定された有効口径Ω0を有する対物光学系17を介して撮像素子13で取得した画像データを画像情報処理部22へ伝送しておく。なお、ステップS14の処理は、ステップS11〜S13とは独立に行ってよい。
【0061】
ステップS15では、画像情報処理部22は、ステップS14で取得した画像データ、および、ステップS13で算出した各光学像の中心位置および各光学像の領域を用いて、各光学像を各光学像の中心に対して点対称に反転する処理を実行する(反転処理ステップ)。反転処理した後の画像データは、図示しない記憶手段に蓄積され、所定のタイミングで図示しない出力手段に出力される。この反転処理した後の画像データを、
図9に示す立体画像表示装置102に入力することで、被写体と比較して同じ奥行きで立体像を生成することができる。
【0062】
[光学的な遮蔽板も対物光学系も使用しない従来例との対比]
ここでは、
図1の立体画像取得装置1(以下、実施例という)の効果を説明するために、光学的な遮蔽板116(
図8参照)を設けず、かつ対物光学系17(
図1参照)を使用しない従来例(以下、比較例という)との対比を説明する。
<比較例>
比較例の装置によって被写体を撮影した場合、光学素子アレイにおける個々の光学素子で生成される個々の像115(
図8参照)は倒立像となる。このままIP表示すると奥行きが反転してしまう(
図9参照)。そこで、被写体と比較して奥行きの正しい立体像を生成するために、これら個々の光学像を点対称に反転する処理を行う場合、倒立像から正立像への変換となる。そして、比較例では、立体像の奥行きが正しくなったとしても、光学的な遮蔽板116も対物光学系17も使用しないため、光学素子間で光の漏れこみが起こり、隣接する光学素子によって生成される光学像に重複が生じてしまう(
図2(b)参照)。
【0063】
<実施例>
図1の立体画像取得装置1(実施例)によって、対物光学系17を介して被写体を撮影した場合、対物光学系17で生成される被写体の実像は、被写体と同じ奥行き関係を維持しつつも、被写体と比べると上下左右が反転している。そして、この対物光学系17で生成される被写体の実像から、光学素子アレイにおける個々の光学素子によって生成される個々の像15(
図1参照)は正立像となる。このままIP表示すると奥行きが反転してしまう(
図9参照)。しかしながら、画像情報処理部22が、これら個々の光学像を点対称に反転する処理を行うので立体像の奥行きを正しくすることができる。このとき、実施例の場合、比較例とは反対に、正立像から倒立像への変換となる。そして、実施例では、対物光学系17の有効口径Ω0を式(2)によって適正値に設定するので、光学的な遮蔽板116(
図8参照)を設けることなく、光学素子間で光の漏れこみを防止し、隣接する光学素子によって生成される光学像に重複が生じることはない(
図2(a)参照)。
【0064】
この実施例において、反転処理した時点の画像データをIP表示すると、被写体と比較して上下左右は反転しているものの、奥行きの正しい立体像が生成される。そして、被写体の撮像側において上下左右の反転を解消する必要がある場合、画像情報処理部22では、さらに、撮像面全体を180度回転させた画像データを生成する処理を実行するように構成してもよい。このようにすることで、上下左右の反転が解消される。なお、撮像側において上下左右の反転を解消することなく立体像の再生側において表示面全体を180度回転させる処理を実行すれば、上下左右の反転を解消させることもできる。
【0065】
本発明の第1実施形態に係る立体画像取得装置および立体画像取得方法によれば、対物光学系17の有効口径Ω0が適正な値に設定されているので、隣接する光学素子によって生成される光学像に重複を生じず、かつ十分な大きさの光学像を生成することができる。さらに、各光学像を各光学像の中心に対して点対称に反転する処理を行うので被写体と比較して同じ奥行きで立体像を生成することができる。したがって、取得した情報を用いて表示される立体画像の品質を高めることができる。
【0066】
(第2実施形態)
本発明の第2実施形態に係る立体画像取得装置および立体画像取得方法について、
図7を参照(適宜
図1参照)しながら説明する。
図7に示す立体画像取得装置1Bは、フォーカス調整部41と、アイリス調整部42とを備え、対物光学系18の構成が第1実施形態の立体画像取得装置1とは異なっている。よって、
図1に示す立体画像取得装置1と同じ構成には同じ符号を付して説明を適宜省略する。
【0067】
対物光学系18は、被写体(円柱11aおよび角柱11b)と光学素子アレイ12との間に配置されている。本実施形態では、対物光学系18は、焦点距離が可変の光学系であり、複数のレンズの組み合わせにより構成され、例えばズームレンズにより構成される。本実施形態では、距離z
1とは、被写体から対物光学系18の物側主点(第一主点)181までの距離を表し、距離z
2とは、対物光学系18の像側主点(第二主点)182から光学素子30の主点までの距離を表す。つまり、立体画像取得装置1Bは、光学素子アレイ12から対物光学系18までの距離z
2が可変となっている。
【0068】
対物光学系18の有効口径Ωは、光学素子30で生成される光学像の範囲が、範囲w
cと等価となるような口径であって、対物光学系18の像側主点182の位置における口径を表す。そして、本実施形態では、対象とする被写体までの距離z
1に応じて、対物光学系18の像側主点182から光学素子アレイ12までの距離z
2が変化する可能性がある。つまり、本実施形態では、距離z
2に対応して、式(2)を満足する有効口径Ω0となるように、対物光学系18の有効口径の大きさを制御する。
【0069】
フォーカス調整部(フォーカス調整手段)41とアイリス調整部(アイリス調整手段)42とは、図示しない操作部からの操作信号に応じて図示しないモータ等の駆動手段に指令信号を出力することで対物光学系18のフォーカスやアイリス(絞り)を調整するものである。これら調整部41,42は例えばズームレンズに用いられている従来公知の制御手段を用いることができる。
【0070】
フォーカス調整部41は、対物光学系18から光学素子アレイ
12までの距離として、対物光学系18の像側主点182から光学素子アレイ12までの距離z
2を変化させる。フォーカス調整部41は、絞り80と図示しない撮像素子側のレンズとの間の距離を変化させることでフォーカスを調整する。
【0071】
アイリス調整部42は、対物光学系18の像側主点182から光学素子アレイ12までの距離z
2に応じて対物光学系18の有効口径の大きさΩ0を調整するものである。アイリス調整部42は、距離z
2に応じて絞り80の開閉の程度(アイリス)を変化させる。
【0072】
本実施形態では、距離z
2が変動した場合、フォーカス調整部41は、更新された距離z
2の情報を光学系パラメータ取得部20に出力する。この更新情報が光学系パラメータ取得部20からデータ転送部21によって画像情報処理部22に転送された場合、画像情報処理部22は、更新された距離z
2を用いて、前記式(2)の演算を行い、有効口径の大きさΩ0を更新し、指令信号としてアイリス調整部42に出力する。これにより、フォーカス調整部41により距離z
2を例えば小さくした場合、アイリス調整部42によって、対物光学系18の撮像素子側のレンズの有効口径を小さくすることができる。
【0073】
次に、本発明の第2実施形態に係る立体画像取得方法について
図3を参照(適宜
図1参照)して説明する。なお、第1実施形態に係る立体画像取得方法と同じ手順には同じ符号を付して説明を適宜省略する。
【0074】
まず、ステップS1として、撮像素子距離設定ステップを行い、次に、ステップS2として、被写体距離設定ステップを行う。そして、ステップS3として、対物光学系18の焦点距離と、ステップS2で設定した距離z
1とから、対物光学系18の像側主点182から光学素子アレイ12までの距離z
2を設定する(対物光学系距離設定ステップ)。そして、ステップS4として、有効口径設定ステップを行う。以上の手順で立体画像取得装置1Bの配置を決定して構成する。対物光学系18の有効口径の大きさを制御した後、画像情報処理部22での処理は、本発明の第1実施形態と同様である(
図6参照)。
【0075】
続いて、対物光学系18の例えばズーム機能により、被写体の像を拡大する場合、再びステップS2を行う。このときに、対象とする被写体までの距離z
1が変化するので、その新たな距離z
1を設定する。続いて再びステップS3を行うときに、新たな距離z
1に応じて新たな距離z
2をフォーカス調整部41が設定する。続いて再びステップS4を行うときに、画像情報処理部22は、前記式(2)を用いて、対物光学系18の有効口径を新たに決定し、アイリス調整部42は絞り80を調整する。以上の手順で立体画像取得装置1Bの配置を決定して構成する。対物光学系18の有効口径の大きさを制御した後、画像情報処理部22での処理は、本発明の第1実施形態と同様である(
図6参照)。
【0076】
本発明の第2実施形態に係る立体画像取得装置および立体画像取得方法によれば、光学素子30により生成される微小な画像15において、重複もせず、かつ欠落も生じないように一旦設定すれば、被写体の像を例えば拡大する場合であっても光学素子30により生成される微小な画像15において、重複もせず、かつ欠落も生じることがなくなる。
【0077】
以上、各実施形態に基づいて本発明に係る立体画像取得装置および立体画像取得方法について説明したが、本発明はこれらに限定されるものではない。例えば、各実施形態においては、距離z
2、ピッチp
c、距離d
cの値より前記式(3)を用いて、撮像素子13の中心位置24から各光学像の中心位置までの距離を算出したが、予め代表的な複数の距離z
2に対して撮像素子13の中心位置24から各光学像の中心位置までの距離をデータとして画像情報処理部22に保持しておいてもよい。
【0078】
また、各実施形態では、光学素子アレイ12では光学素子30を正方格子状で配列するものとして説明したが、俵積状いわゆるラインオフセット状に配列してもよい。このように光学素子30をラインオフセット状で配列する場合、光学素子アレイ12を撮影方向14から見たときに、
図4に示す光学素子30の配列(一段)を例えば奇数番目の段に積み、
図5に示す光学素子30の配列(一段)を例えば偶数番目に積むというように交互に積み重ねることとなる。つまり、ラインオフセット状で配列する場合、奇数段では、
図4に示すように、対物光学系17の主点23の位置と、撮像素子13の中心位置24とを合わせ、その中心軸に対して、光学素子アレイ12の中心に位置する光学素子30(0番目の光学素子)の主点の位置を一致させる。さらに、偶数段では、
図5に示すように、対物光学系17の主点23の位置と、撮像素子13の中心位置24とを合わせ、その中心軸に対して、光学素子アレイ12の中心に位置する隣接した2つの光学素子30の接点の位置に一致させる。そして、ラインオフセット状の配列の場合、画像情報処理部22は、例えば奇数番目の段については、前記式(3)を用いて演算し、例えば偶数番目の段については、前記式(5)または前記式(6)を用いて演算すればよい。
【0079】
また、各実施形態では、一例として、対物光学系17,18が凸レンズ状の光学素子で構成される場合を示したが、この限りではない。
また、各実施形態では、光学素子アレイ12を構成する光学素子30を凸レンズ状の光学素子で構成される場合で説明したが、凸レンズと同じ機能を有するのであれば、ピンホールのような他の光学素子であってもよい。
【0080】
各実施形態では、前記式(2)の演算を画像情報処理部22が行うこととしたが、本発明はこれに限定されず、他の演算処理部にて行うように構成してもよい。例えば第2実施形態において、フォーカス調整部41またはアイリス調整部42にその演算機能を兼ね備えさせてもよい。