特許第6248484号(P6248484)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特許6248484立体視画像生成装置、立体視画像生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6248484
(24)【登録日】2017年12月1日
(45)【発行日】2017年12月20日
(54)【発明の名称】立体視画像生成装置、立体視画像生成方法
(51)【国際特許分類】
   H04N 13/02 20060101AFI20171211BHJP
   G03B 35/00 20060101ALI20171211BHJP
   G03B 35/08 20060101ALI20171211BHJP
【FI】
   H04N13/02 100
   H04N13/02 140
   H04N13/02 170
   H04N13/02 820
   H04N13/02 530
   H04N13/02 570
   G03B35/00 A
   G03B35/08
【請求項の数】13
【全頁数】43
(21)【出願番号】特願2013-188377(P2013-188377)
(22)【出願日】2013年9月11日
(65)【公開番号】特開2015-56729(P2015-56729A)
(43)【公開日】2015年3月23日
【審査請求日】2016年1月14日
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(74)【代理人】
【識別番号】100114122
【弁理士】
【氏名又は名称】鈴木 伸夫
(74)【代理人】
【識別番号】100086841
【弁理士】
【氏名又は名称】脇 篤夫
(72)【発明者】
【氏名】林 恒生
【審査官】 佐野 潤一
(56)【参考文献】
【文献】 特開2002−344999(JP,A)
【文献】 特開2010−268443(JP,A)
【文献】 国際公開第2012/043211(WO,A1)
【文献】 国際公開第2012/043003(WO,A1)
【文献】 特開2012−015820(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00−15/00
H04N 5/222−5/257
G03B 35/00−35/26
(57)【特許請求の範囲】
【請求項1】
被写体からの光を集光する集光レンズを介した光が入射され、光軸回り方向に四以上の二の倍数個の領域が分割形成されると共に、前記領域ごとに入射光を通過/遮蔽自在に構成された瞳分割部と、
前記瞳分割部を通過した像が結像される撮像素子を有し、前記瞳分割部における異なる前記領域を通過したそれぞれの像についての撮像画像を時分割により選択的に取得する画像選択取得部と、
前記画像選択取得部が取得した複数の前記撮像画像をそれぞれ異なる組み合わせで加算する画像加算部と、を備える
立体視画像生成装置。
【請求項2】
被写体からの光を集光する集光レンズを介した光が入射され、光軸回り方向に四以上の二の倍数個の領域が分割形成されると共に、それぞれの前記領域が異なる波長帯の光を選択的に通過させるように構成された瞳分割部と、
前記瞳分割部を通過した像が結像され前記瞳分割部における個々の前記領域を通過する各波長帯の光を受光可能に構成された撮像素子を有し、前記瞳分割部における異なる前記領域を通過したそれぞれの像についての撮像画像を前記像の少なくとも波長の違いを利用して選択的に取得する画像選択取得部と、
前記画像選択取得部が取得した複数の前記撮像画像をそれぞれ異なる組み合わせで加算する画像加算部と、を備える
立体視画像生成装置。
【請求項3】
記画像選択取得部は、
前記被写体に対する照明光として前記瞳分割部における個々の前記領域を通過する各波長帯の光とそれぞれ同波長帯の光を選択的に発光可能に構成された波長可変照明部を有し、前記波長可変照明部によって順次異なる波長帯の光を発光し、前記波長可変照明部の発光波長の切り替えごとに前記瞳分割部を通過した光を前記撮像素子により順次受光する
請求項2に記載の立体視画像生成装置。
【請求項4】
前記瞳分割部は、
それぞれの前記領域が赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に通過させるように構成され、
前記撮像素子は、前記赤色波長帯、前記緑色波長帯、及び前記青色波長帯の光を受光可能に構成されている
請求項3に記載の立体画像生成装置。
【請求項5】
数の観察者がそれぞれ位置する方角の情報に基づき、前記瞳分割部の前記領域のうち各前記観察者の片目領域同士の重複部分に該当する複数の前記領域を入射光が同時通過するように制御を行う制御部を備える
請求項1又は請求項3又は請求項4に記載の立体視画像生成装置。
【請求項6】
記撮像素子は、
それぞれが前記瞳分割部における異なる前記領域を通過した光と同波長帯の光を選択的に透過する複数の波長フィルタが撮像面上の異なる位置に配置されている
請求項2に記載の立体視画像生成装置。
【請求項7】
前記瞳分割部は、
それぞれの前記領域が赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に通過させるように構成されている
請求項6に記載の立体視画像生成装置。
【請求項8】
前記画像選択取得部は、
異なる前記領域を通過したそれぞれの像についての撮像画像をそれぞれの前記像の波長及び偏光の違いを利用して選択的に取得する
請求項6又は請求項7に記載の立体視画像生成装置。
【請求項9】
前記瞳分割部は、
それぞれが赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に透過する複数の瞳側波長フィルタが形成された波長分離素子と、それぞれが異なる偏光を選択的に透過する複数の瞳側偏光板が形成された偏光分離素子とを有し、前記波長分離素子と前記偏光分離素子とが光軸方向に重ねて配置されて前記領域ごとに波長帯と偏光の組み合わせが異なる光を選択的に通過させるように構成されており、
前記撮像素子は、
それぞれが異なる前記瞳側波長フィルタを通過した光と同波長帯の光を選択的に透過する複数の像面側波長フィルタと、それぞれが異なる前記瞳側偏光板を通過した偏光と同じ偏光方向による偏光を選択的に透過する複数の像面側偏光板とを有し、前記像面側波長フィルタと前記像面側偏光板とが撮像面に平行な面内の異なる位置に異なる組み合わせでそれぞれ光軸方向に重ねて配置されている
請求項8に記載の立体視画像生成装置。
【請求項10】
前記瞳分割部における前記領域の分割が前記瞳分割部の径方向にも行われており、
前記画像選択取得部は、
前記瞳分割部における前記径方向に配された各領域のうちから一又は複数の領域を選択し、選択した領域を通過した像についての撮像画像を取得する
請求項1乃至請求項9の何れかに記載の立体視画像生成装置。
【請求項11】
前記画像選択取得部が取得した撮像画像に基づき得られる左目画像、右目画像を回転させる画像回転処理部を備える
請求項1乃至請求項10の何れかに記載の立体視画像生成装置。
【請求項12】
被写体からの光を集光する集光レンズを介した光が入射され、光軸回り方向に四以上の二の倍数個の領域が分割形成されると共に、前記領域ごとに入射光を通過/遮蔽自在に構成された瞳分割部と、前記瞳分割部を通過した像が結像される撮像素子を用いて、前記瞳分割部における異なる前記領域を通過したそれぞれの像についての撮像画像を時分割により選択的に取得する画像選択取得ステップと、
前記画像選択取得ステップが取得した複数の前記撮像画像をそれぞれ異なる組み合わせで加算する画像加算ステップと、を有する
立体視画像生成方法。
【請求項13】
被写体からの光を集光する集光レンズを介した光が入射され、光軸回り方向に四以上の二の倍数個の領域が分割形成されると共に、それぞれの前記領域が異なる波長帯の光を選択的に通過させるように構成された瞳分割部と、前記瞳分割部を通過した像が結像され前記瞳分割部における個々の前記領域を通過する各波長帯の光を受光可能に構成された撮像素子とを用いて、前記瞳分割部における異なる前記領域を通過したそれぞれの像についての撮像画像を前記像の少なくとも波長の違いを利用して選択的に取得する画像選択取得ステップと、
前記画像選択取得ステップが取得した複数の前記撮像画像をそれぞれ異なる組み合わせで加算する画像加算ステップと、を有する
立体視画像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、立体視画像を生成するための立体視画像生成装置とその方法についての技術分野に関する。
【先行技術文献】
【特許文献】
【0002】
【特許文献1】特開2006−50320号公報
【背景技術】
【0003】
例えば外科手術等に用いられる手術用顕微鏡として、観察の対象についての立体視画像を提示可能とされたものがある(例えば上記特許文献1を参照)。立体視画像を得るためには、対象を左目で見た画像に相当する左目画像と、右目で見た画像に相当する右目画像とを個別に得ることを要する。観察者の左目に左目画像、右目に右目画像を提示することで立体視が実現される。
【0004】
特許文献1においては、例えば執刀医などとしての術者とその助手などの複数の観察者がそれぞれ異なる方角から対象をモニタを介して観察する際に、各観察者の位置する方角に応じた画像を生成する技術が開示されている。なお、ここで言う「方角」は、対象を中心として放射状に0deg(度)〜360degで定義した方角を意味する。
具体的に、特許文献1に記載の技術では、対物レンズ32等の光学系が内蔵された鏡体12の周囲を回動可能に取り付けられた複数の立体モニタ48によりそれぞれの観察者が任意の方角から観察を行うことが可能とされている。立体モニタ48の回動位置(角度)情報が観察者の位置する方角の情報として入力され、その方角に対応した画像、つまり観察者がその方角から対象を見たときの当該観察者の左目の視点で観察される画像と右目の視点で観察される画像とによる立体視画像が立体モニタ48により提示される。
このとき、特許文献1に記載の技術では、複数の方角からの観察に対応するために、光軸回り方向に分割された複数の領域(視点)からそれぞれ対象を見たときの像を個別に撮像できるようにしている(特許文献1の図6等を参照)。そして、撮像したそれら視点ごとの画像のうちから観察者の位置する方角に応じた二つの画像、すなわち当該方角に位置する観察者の左目の視点で観察される画像と右目の視点で観察される画像とを選択し、それらを左目画像、右目画像として立体モニタ48に表示することで立体視画像の提示を行っている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、上記のように特許文献1に記載の技術では、複数の方角からの観察を可能とするために、光軸回り方向に分割形成されたそれぞれ領域を通過した像を個別に撮像できるようにしている。
しかしながら、特許文献1に記載の技術では、それぞれの領域を通過した像を個別に撮像できるようにするにあたり、それらの領域ごとに撮像光学系及び撮像素子を設けている。このため、装置の大型化が問題となる。
【0006】
そこで、本技術では上記の問題点を克服し、異なる方角から対象を観察したときの立体視画像をそれぞれ適正に提示するにあたって、装置の大型化の防止を図ることを目的とする。
【課題を解決するための手段】
【0007】
技術に係る第一の構成としての立体視画像生成装置は、被写体からの光を集光する集光レンズを介した光が入射され、光軸回り方向に四以上の二の倍数個の領域が分割形成されると共に、前記領域ごとに入射光を通過/遮蔽自在に構成された瞳分割部と、前記瞳分割部を通過した像が結像される撮像素子を有し、前記瞳分割部における異なる前記領域を通過したそれぞれの像についての撮像画像を時分割により選択的に取得する画像選択取得部と、前記画像選択取得部が取得した複数の前記撮像画像をそれぞれ異なる組み合わせで加算する画像加算部と、を備えるものである。
【0008】
これにより、瞳分割部の異なる領域を通過した像を個別に撮像するにあたって、瞳分割部以降の撮像光学系や撮像素子を領域ごとに個別に設ける必要がなくなる。
また、四以上の二の倍数個のそれぞれの方角ごとに、その方角に位置する観察者の左目領域の各一部を通過した像の撮像画像同士、右目領域の各一部を通過した像の撮像画像同士を加算して得ることが可能となる。
【0009】
本技術に係る第二の構成としての立体視画像生成装置は、被写体からの光を集光する集光レンズを介した光が入射され、光軸回り方向に四以上の二の倍数個の領域が分割形成されると共に、それぞれの前記領域が異なる波長帯の光を選択的に通過させるように構成された瞳分割部と、前記瞳分割部を通過した像が結像され前記瞳分割部における個々の前記領域を通過する各波長帯の光を受光可能に構成された撮像素子を有し、前記瞳分割部における異なる前記領域を通過したそれぞれの像についての撮像画像を前記像の少なくとも波長の違いを利用して選択的に取得する画像選択取得部と、前記画像選択取得部が取得した複数の前記撮像画像をそれぞれ異なる組み合わせで加算する画像加算部と、を備えるものである。
これにより、瞳分割部の異なる領域を通過した像を個別に撮像するにあたって、瞳分割部以降の撮像光学系や撮像素子を領域ごとに個別に設ける必要がなくなる。
また、四以上の二の倍数個のそれぞれの方角ごとに、その方角に位置する観察者の左目領域の各一部を通過した像の撮像画像同士、右目領域の各一部を通過した像の撮像画像同士を加算して得ることが可能となる。
【0010】
記した本技術に係る第二の構成としての立体視画像生成装置においては、前記画像選択取得部は、前記被写体に対する照明光として前記瞳分割部における個々の前記領域を通過する各波長帯の光とそれぞれ同波長帯の光を選択的に発光可能に構成された波長可変照明部を有し、前記波長可変照明部によって順次異なる波長帯の光を発光し、前記波長可変照明部の発光波長の切り替えごとに前記瞳分割部を通過した光を前記撮像素子により順次受光することが望ましい。
これにより、波長可変照明部の発光波長を切り替えるという簡易な手法で異なる領域を通過したそれぞれの像についての撮像画像が選択的に取得される。
【0011】
記した本技術に係る第二の構成としての立体視画像生成装置においては、前記瞳分割部は、それぞれの前記領域が赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に通過させるように構成され、前記撮像素子は、前記赤色波長帯、前記緑色波長帯、及び前記青色波長帯の光を受光可能に構成されていることが望ましい。
これにより、波長可変照明部の発光波長を切り替えるという簡易な手法で異なる領域を通過したそれぞれの像についての撮像画像が選択的に取得される。また、撮像画像としてカラー画像が得られる。
【0012】
記した本技術に係る第一又は第二の構成としての立体視画像生成装置においては、複数の観察者がそれぞれ位置する方角の情報に基づき、前記瞳分割部の前記領域のうち各前記観察者の片目領域同士の重複部分に該当する複数の前記領域を入射光が同時通過するように制御を行う制御部を備えることが望ましい。
これにより、立体視画像を1枚分提示するにあたって必要な撮像素子による撮像回数が低減される。
【0014】
記した本技術に係る第二の構成としての立体視画像生成装置においては、記撮像素子は、それぞれが前記瞳分割部における異なる前記領域を通過した光と同波長帯の光を選択的に透過する複数の波長フィルタが撮像面上の異なる位置に配置されていることが望ましい。
これにより、それぞれの領域を通過した像が撮像面のそれぞれ異なる位置で個別に撮像される。
【0015】
記した本技術に係る第二の構成としての立体視画像生成装置においては、前記瞳分割部は、それぞれの前記領域が赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に通過させるように構成されていることが望ましい。
これにより、それぞれの領域を通過した像についての撮像画像を撮像面のそれぞれ異なる位置で個別に撮像しつつ、撮像画像としてカラー画像が得られる。
【0016】
記した本技術に係る第二の構成としての立体視画像生成装置においては、前記画像選択取得部は、異なる前記領域を通過したそれぞれの像についての撮像画像をそれぞれの前記像の波長及び偏光の違いを利用して選択的に取得することが望ましい。
波長のみでなく偏光の違いも利用して領域が分割されるため、用いる波長の種類が少なくなる。
【0017】
記した本技術に係る第二の構成としての立体視画像生成装置においては、前記瞳分割部は、それぞれが赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に透過する複数の瞳側波長フィルタが形成された波長分離素子と、それぞれが異なる偏光を選択的に透過する複数の瞳側偏光板が形成された偏光分離素子とを有し、前記波長分離素子と前記偏光分離素子とが光軸方向に重ねて配置されて前記領域ごとに波長帯と偏光の組み合わせが異なる光を選択的に通過させるように構成されており、前記撮像素子は、それぞれが異なる前記瞳側波長フィルタを通過した光と同波長帯の光を選択的に透過する複数の像面側波長フィルタと、それぞれが異なる前記瞳側偏光板を通過した偏光と同じ偏光方向による偏光を選択的に透過する複数の像面側偏光板とを有し、前記像面側波長フィルタと前記像面側偏光板とが撮像面に平行な面内の異なる位置に異なる組み合わせでそれぞれ光軸方向に重ねて配置されていることが望ましい。
これにより、それぞれの領域を通過した像が撮像面のそれぞれ異なる位置で個別に撮像される。また、それぞれの領域を通過した像についての撮像画像としてカラー画像が得られる。
【0018】
記した本技術に係る第一又は第二の構成としての立体視画像生成装置においては、前記瞳分割部における前記領域の分割が前記瞳分割部の径方向にも行われており、前記画像選択取得部は、前記瞳分割部における前記径方向に配された各領域のうちから一又は複数の領域を選択し、選択した領域を通過した像についての撮像画像を取得することが望ましい。
これにより、視点重心の位置が異なる撮像画像が選択的に得られる。
【0019】
記した本技術に係る第一又は第二の構成としての立体視画像生成装置においては、前記画像選択取得部が取得した撮像画像に基づき得られる左目画像、右目画像を回転させる画像回転処理部を備えることが望ましい。
これにより、左目画像と右目画像により実現される立体視画像上に映し出される対象の向きを、観察者が対象に対して位置する方角から実際に対象を観察したときの対象の向きと一致させることが可能となる。
【発明の効果】
【0020】
本技術によれば、異なる方角から対象を観察したときの立体視画像をそれぞれ適正に提示するにあたって、装置の大型化を防止できる。
【0021】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0022】
図1】第1の実施の形態としての立体視画像生成装置の内部構成を示したブロック図である。
図2】方角の概念についての説明図である。
図3】第1の実施の形態の立体視画像生成装置が備える瞳分割部の構成についての説明図である。
図4】第1の実施の形態の立体視画像生成装置が備える左右画像個別生成部の内部構成についての説明図である。
図5】第2の実施の形態の立体視画像生成装置の内部構成を示したブロック図である。
図6】第2の実施の形態の立体視画像生成装置が備える照明部の構成と波長帯の分割例についての説明図である。
図7】第2の実施の形態の立体視画像生成装置が備える瞳分割部の構成についての説明図である。
図8】第2の実施の形態の立体視画像生成装置が備える左右画像個別生成部の内部構成についての説明図である。
図9】第3の実施の形態の立体視画像生成装置の内部構成を示したブロック図である。
図10】第3の実施の形態の立体視画像生成装置が備える撮像素子の構成についての説明図である。
図11】第3の実施の形態の立体視画像生成装置が備える左右画像個別生成部の内部構成についての説明図である。
図12】第3の実施の形態における第一領域通過像抽出部〜第四領域通過像抽出部が抽出を行う画素位置についての説明図である。
図13】第4の実施の形態の立体視画像生成装置の内部構成を示したブロック図である。
図14】波長分離素子と偏光分離素子の構成についての説明図である。
図15】第4の実施の形態の立体視画像生成装置が備える撮像素子の構成についての説明図である。
図16】第4の実施の形態の立体視画像生成装置が備える左右画像個別生成部の内部構成についての説明図である。
図17】第4の実施の形態における第一領域通過像抽出部〜第四領域通過像抽出部が抽出を行う画素位置についての説明図である。
図18】第5の実施の形態の立体視画像生成装置の内部構成を示したブロック図である。
図19】第5の実施の形態の立体視画像生成装置が備える瞳分割部の構成と観察者の可動範囲についての説明図である。
図20】第5の実施の形態の立体視画像生成装置が備える左右画像個別生成部の内部構成についての説明図である。
図21】光を同時通過させることが可能な領域の組み合わせについての説明図である。
図22】第6の実施の形態の立体視画像生成装置の内部構成を示したブロック図である。
図23】第6の実施の形態の立体視画像生成装置が備える瞳分割部の構成についての説明図である。
図24】視差調整の変形例についての説明図である。
図25】瞳分割部における領域分割の変形例についての説明図である。
【発明を実施するための形態】
【0023】
以下、実施の形態を次の順序で説明する。

<1.第1の実施の形態>
[1-1.立体視画像生成装置の全体構成]
[1-2.撮像画像の時分割取得について]
[1-3.方角ごとの左目画像、右目画像の生成]
[1-4.第1の実施の形態のまとめ]
<2.第2の実施の形態>
[2-1.構成及び動作]
[2-2.第2の実施の形態のまとめ]
<3.第3の実施の形態>
[3-1.構成及び動作]
[3-2.第3の実施の形態のまとめ]
<4.第4の実施の形態>
[4-1.構成及び動作]
[4-2.第4の実施の形態のまとめ]
<5.第5の実施の形態>
[5-1.構成及び動作]
[5-2.第5の実施の形態のまとめ]
<6.第6の実施の形態>
[6-1.構成及び動作]
[6-2.第6の実施の形態のまとめ]
<7.変形例>
<8.本技術>
【0024】
<1.第1の実施の形態>
[1-1.立体視画像生成装置の全体構成]

図1は、本技術に係る第1の実施の形態としての立体視画像生成装置1の内部構成を示したブロック図である。
本実施の形態の立体視画像生成装置1は、例えば手術用顕微鏡とされ、観察の対象Xについての立体視画像を観察者に提示するための四つの表示部(第一表示部6−1〜第四表示部6−4)を備えている。これら四つの表示部によって四人の観察者が対象Xについての立体視画像の提示を同時に受けることが可能とされている。
本実施の形態において、第一表示部6−1〜第四表示部6−4はそれぞれ取付位置が固定とされている。すなわち、各観察者の位置する方角は固定であることが前提とされている。
【0025】
ここで、本明細書における「方角」の概念について図2を参照して説明しておく。
先ず、図2Aに示すように、本明細書において言う「方角」とは、対象Xを中心として放射状に0deg(度)〜360degで定義した方角を意味する。ここでは、方角を表す角度の値(deg)が増大する方向は、対象Xを真上から見たときの時計回り方向と一致している。
【0026】
図2Bは、観察者が0degの方角から対象Xを観察した際の対象Xに対する観察者の左目(L)、右目(R)の位置関係を表している。同様に、図2C図2Eは、観察者がそれぞれ90deg、180deg、270degの方角から対象を観察した際の対象Xに対する観察者の左目、右目の位置関係を表している。
これら図2B図2Eを参照して分かるように、観察者が位置する方角が異なると、対象Xに対する観察者の左目、右目の位置関係も異なる。
【0027】
本実施の形態の立体視画像生成装置1においては、第一表示部6−1は表示面が0degの方角を向くように固定され、第二表示部6−2は表示面が90degの方角を向くように固定されている。また、第三表示部6−3は表示面が180degの方角を向くように固定され、第四表示部6−4は表示面が270degの方角を向くように固定されているとする。すなわち、この場合の観察者の立ち位置としては0deg、90deg、180deg、270degの何れかの方角となる。
【0028】
説明を図1に戻す。
図1において、立体視画像生成装置1は、上記した第一表示部6−1〜第四表示部6−4と共に、光学ユニット2、撮像素子3、左右画像個別生成部4、第一表示制御部5−1〜第四表示制御部5−4、制御部7及び照明部8を備えている。
【0029】
光学ユニット2内においては、物体側(被写体側)から順に集光レンズ21、瞳分割部22及び結像レンズ23が配置されている。
集光レンズ21は、被写体としての対象Xからの光を集光する。
【0030】
瞳分割部22は、集光レンズ21によって集光された光がほぼ平行光となる位置に対して設けられ、集光レンズ21を介した光が入射する。
【0031】
図3は、瞳分割部22の構成についての説明図である。なおこの図では瞳分割部22を像面側から見ている。
瞳分割部22は、光軸Ox回り方向に複数の領域Aが分割形成されており、領域Aごとに入射光を通過/遮蔽自在に構成されている。具体的に、本例の瞳分割部22は、光軸Oxと交差する二本の分割線(瞳分割線)によって四つの領域Aに分割されている。
【0032】
図3では、対象Xを基準とした方角を併記して瞳分割部22と方角との関係を表しているが、図のように一方の分割線は0deg−180degの軸と平行とされ、他方の分割線は90deg−270degの軸と平行とされており、四つの領域Aは等分されている。四つの領域Aうち0deg〜90degにかけての領域Aを「領域A1」、90deg〜180degにかけての領域Aを「領域A2」、180deg〜270degにかけての領域Aを「領域A3」、270deg〜0deg(360deg)にかけての領域Aを「領域A4」と表記する。
瞳分割部22は、各領域Aがそれぞれ電子シャッタによって構成されたことで、領域Aごとに入射光を通過/遮蔽自在とされている。領域A1、A2、A3、A4に形成された電子シャッタをそれぞれ「第一電子シャッタ22a」「第二電子シャッタ22b」「第三電子シャッタ22c」「第四電子シャッタ22d」と表記する。
【0033】
なお、手術用顕微鏡の場合、対象Xの観察は、通常は対象Xの真上に集光レンズ21を位置させて行われる。図3を始めとして後述する図7,14,19A,21,23,24,25においては、この前提の下で方角を併記している。
【0034】
瞳分割部22における第一電子シャッタ22a〜第四電子シャッタ22dの開/閉制御は制御部7により行われる。
【0035】
図1において、瞳分割部22を通過した光は、結像レンズ23を介することで撮像素子3の撮像面(受光面)上に結像される。
【0036】
撮像素子3は、例えばCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサー等で構成され、撮像面に結像された被写体像に応じた光を画素単位で受光して電気信号に変換する(光電変換)。本例における撮像素子3は、いわゆるRGGB型の撮像素子とされ、カラー画像の撮像が可能とされている。
【0037】
本例において、撮像素子3の光軸Ox回り方向における設置角度は、方角=0degの位置が観察の基準位置となるように設定されている。具体的には、0degの方角に位置する観察者が実際に対象Xを観察したときの対象Xの向き(図2B参照)と、0degの方角に表示面が向けられている第一表示部6−1により提示される立体視画像内に映し出される対象Xの向きとが一致するように撮像素子3の光軸Ox回り方向における設置角度が設定されている。
【0038】
左右画像個別生成部4は、撮像素子3によって画素単位で得られた電気信号すなわち撮像画像信号に基づき、左目画像GL1、右目画像GR1、左目画像GL2、右目画像GR2、左目画像GL3、右目画像GR3、左目画像GL4及び右目画像GR4を生成する。
左目画像GL1、右目画像GR1は、0degの方角に位置する観察者の左目で観察される像、右目で観察される像にそれぞれ対応した画像である。左目画像GL2、右目画像GR2は、90degの方角に位置する観察者の左目で観察される像、右目で観察される像にそれぞれ対応した画像である。また、左目画像GL3、右目画像GR3は、180degの方角に位置する観察者の左目で観察される像、右目で観察される像にそれぞれ対応した画像であり、左目画像GL4、右目画像GR4は、270degの方角に位置する観察者の左目で観察される像、右目で観察される像にそれぞれ対応した画像である。
なお、左右画像個別生成部4の内部構成については後述する。
【0039】
左右画像個別生成部4で生成された左目画像GL1及び右目画像GR1は第一表示制御部5−1に、左目画像GL2及び右目画像GR2は第二表示制御部5−2に、左目画像GL3及び右目画像GR3が第三表示制御部5−3に、左目画像GL4及び右目画像GR4は第四表示制御部5−4にそれぞれ供給される。
【0040】
第一表示制御部5−1は、左右画像個別生成部4から供給された左目画像GLと右目画像GRを第一表示部6−1に立体視が実現されるように表示させる制御を行う。同様に、第二表示制御部5−2は第二表示部6−2に、第三表示制御部5−3は第三表示部6−3に、第四表示制御部5−4は第四表示部6−4に、それぞれ左右画像個別生成部4から供給された左目画像GLと右目画像GRを立体視が実現されるように表示させる制御を行う。
本例において、第一表示部6−1〜第四表示部6−4は、例えばレンチキュラー方式によって立体視画像を提示するディスプレイとされ、各表示制御部5はそれぞれレンチキュラー方式に対応した表示制御を行う。
【0041】
なお、第一表示部6−1〜第四表示部6−4の少なくとも何れかは、眼鏡型のディスプレイとされてもよい。この場合、眼鏡型のディスプレイとされた表示部6は立体視画像生成装置1の本体部とケーブルを介して接続されるか、或いは無線通信によって対応する表示制御部5からの表示制御を受ける。
【0042】
照明部8は、例えば白色等の可視光を発光する光源を有し、制御部7からの指示に応じて当該光源を点灯させて対象Xを照明する。
【0043】
制御部7は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリを備えたマイクロコンピュータで構成され、CPUが例えばROMに記録されたプログラムに従った処理を実行することで立体視画像生成装置1の全体制御を行う。
例えば、制御部7は、瞳分割部22における第一電子シャッタ22a〜第四電子シャッタ22dの開/閉制御を行う。また制御部7は、撮像素子3による撮像動作を制御する。さらに制御部7は、左右画像個別生成部4に対する制御を行う。
なお、制御部7によるこれら第一電子シャッタ22a〜第四電子シャッタ22d、撮像素子3及び左右画像個別生成部4に対する制御の具体的な内容については後述する。
【0044】
[1-2.撮像画像の時分割取得について]

本実施の形態の立体視画像生成装置1においては、図3に示したように領域Aごとに入射光を通過/遮蔽自在に構成された瞳分割部22を用いて、撮像素子3に対して領域A1を通過した像、領域A2を通過した像、領域A3を通過した像、領域A4を通過した像を択一的に結像させる。具体的には、第一電子シャッタ22a、第二電子シャッタ22b、第三電子シャッタ22c、第四電子シャッタ22dを順次択一的に開状態とすることで、領域A1を通過した像、領域A2を通過した像、領域A3を通過した像、領域A4を通過した像を時間軸方向において個別に撮像素子3に結像させる。
【0045】
ここで、先の図2図3を対比すると、領域A1は0degの方角から対象Xを観察した際の左目領域の一部を構成することが分かる。同時に領域A1は、90degの方角から対象Xを観察した際の右目領域の一部、及び180degの方角から対象Xを観察した際の右目領域の一部、及び270degの方角から対象Xを観察した際の左目領域の一部を構成していることが分かる。この点からも理解されるように、領域A1〜領域A4の各領域Aは、0deg、90deg、180deg、270degのうちの任意の方角から対象Xを観察したときの左目領域又は右目領域の一部を構成していることになる。
確認のため、0deg、90deg、180deg、270degの方角に位置する観察者それぞれにとっての左目領域、右目領域を以下に示しておく。

0deg
左目領域…A1+A2
右目領域…A3+A4
90deg
左目領域…A2+A3
右目領域…A1+A4
180deg
左目領域…A3+A4
右目領域…A1+A2
270deg
左目領域…A1+A4
右目領域…A2+A3
【0046】
上記より、領域A1、領域A2、領域A3、領域A4を通過した像を0deg、90deg、180deg、270degの方角に応じて所定に組み合わせることで、それぞれの方角に対応した左目画像GL、右目画像GRを取得できることが分かる。
【0047】
制御部7は、第一電子シャッタ22a、第二電子シャッタ22b、第三電子シャッタ22c、第四電子シャッタ22dを順次択一的に開状態とする制御を所定の周期で繰り返し実行する。
ここで、領域A1のみを入射光が通過する期間を「期間t1」、領域A2のみを入射光が通過する期間を「期間t2」、領域A3のみを入射光が通過する期間を「期間t3」、領域A4のみを入射光が通過する期間を「期間t4」と表記する。
【0048】
制御部7は、これら期間t1〜期間t4ごとに撮像素子3が撮像画像信号を個別に取得するように撮像素子3の撮像動作を制御する。
これにより、撮像素子3においては、領域A1を通過した像についての撮像画像信号(「撮像画像信号Ga1」と表記)、領域A2を通過した像についての撮像画像信号(「撮像画像信号Ga2」と表記)、領域A3を通過した像についての撮像画像信号(「撮像画像信号Ga3」と表記)、領域A4を通過した像についての撮像画像信号(「撮像画像信号Ga4」と表記)が時間軸方向において個別に取得される。
【0049】
[1-3.方角ごとの左目画像、右目画像の生成]

図4は、左右画像個別生成部4の内部構成についての説明図である。なお、この図では撮像素子3と制御部7も併せて示している。
左右画像個別生成部4は、セレクタ41、第一左側加算部42−1L、第一右側加算部42−1R、第二左側加算部42−2L、第二右側加算部42−2R、第三左側加算部42−3L、第三右側加算部42−3R、第四左側加算部42−4L、第四右側加算部42−4R、現像処理部43−1L、現像処理部43−1R、現像処理部43−2L、現像処理部43−2R、現像処理部43−3L、現像処理部43−3R、現像処理部43−4L、現像処理部43−4R、第二回転処理部44−2L、第二回転処理部44−2R、第三回転処理部44−3L、第三回転処理部44−3R、第四回転処理部44−4L、第四回転処理部44−4Rを備えている。
【0050】
セレクタ41には、撮像素子3より撮像画像信号Ga1〜Ga4が順次入力される。セレクタ41は、出力端子TL1、TR1、TL2、TR2、TL3、TR3、TL4、TR4を有している。図のように出力端子TL1は第一左側加算部42−1Lに、出力端子TR1は第一右側加算部42−1Rにそれぞれ接続されている。また、出力端子TL2は第二左側加算部42−2Lに、出力端子TR2は第二右側加算部42−2Rに、出力端子TL3は第三左側加算部42−3Lに、出力端子TR3は第三右側加算部42−3Rに、出力端子TL4は第四左側加算部42−4Lに、出力端子TR4は第四右側加算部42−4Rにそれぞれ接続されている。
セレクタ41は、期間tごとに、撮像素子3から入力された撮像画像信号Gaを制御部7からの指示に応じて選択した出力端子Tにより出力する。
【0051】
制御部7は、セレクタ41において撮像画像信号Gaを出力する出力端子Tを期間tごとに以下のように選択させる。

t1…TL1、TR2、TR3、TL4
t2…TL1、TL2、TR3、TR4
t3…TR1、TL2、TL3、TR4
t4…TR1、TR2、TL3、TL4
【0052】
これにより、第一左側加算部42−1Lには、0degの方角に位置する観察者にとっての左目画像GL1を得る上で必要な撮像画像信号Ga1及びGa2が入力され、第一右側加算部42−1Rには右目画像GR1を得る上で必要な撮像画像信号Ga3及びGa4が入力される。また、第二左側加算部42−2Lには90degの方角に位置する観察者にとっての左目画像GL2を得る上で必要な撮像画像信号Ga2及びGa3が入力され、第二右側加算部42−2Rには右目画像GR2を得る上で必要な撮像画像信号Ga1及びGa4が入力される。さらに、第三左側加算部42−3Lには180degの方角に位置する観察者にとっての左目画像GL3を得る上で必要な撮像画像信号Ga3及びGa4が入力され、第三右側加算部42−3Rには右目画像GR3を得る上で必要な撮像画像信号Ga1及びGa2が入力される。また、第四左側加算部42−4Lには270degの方角に位置する観察者にとっての左目画像GL4を得る上で必要な撮像画像信号Ga1及びGa4が入力され、第四右側加算部42−4Rには右目画像GR4を得る上で必要な撮像画像信号Ga2及びGa3が入力される。
各加算部42は、入力された二つの撮像画像信号に基づくそれぞれの撮像画像を加算する。
【0053】
第一左側加算部42−1Lによる加算後の撮像画像は現像処理部43−1Lに、第一右側加算部42−1Rによる加算後の撮像画像は現像処理部43−1Rに、第二左側加算部42−2Lによる加算後の撮像画像は現像処理部43−12Lに、第二右側加算部42−2Rによる加算後の撮像画像は現像処理部43−2Rに、第三左側加算部42−3Lによる加算後の撮像画像は現像処理部43−3Lに、第三右側加算部42−3Rによる加算後の撮像画像は現像処理部43−3Rに、第四左側加算部42−4Lによる加算後の撮像画像は現像処理部43−4Lに、第四右側加算部42−4Rによる加算後の撮像画像は現像処理部43−4Rにそれぞれ供給される。
【0054】
各現像処理部43は、入力された撮像画像についての現像処理を行う。RGGB型の撮像素子3が用いられた本例における現像処理は、少なくとも撮像素子3の一つの画素ごとにR、G、Bの各値を得るためのデモザイク処理を行う。デモザイク処理としては、撮像素子3上の水平方向=i番目,垂直方向=j番目の位置にある画素について、その画素のカラーフィルタ(波長フィルタ)によって受光される色以外の他の色の各値をそれぞれ近傍の同色の画素の値を用いて算出する処理を行えばよい。
この現像処理により、カラー画像としての撮像画像が得られる。
【0055】
現像処理部43−1Lによって得られた撮像画像は左目画像GL1として出力される。また、現像処理部43−1Rによって得られた撮像画像は右目画像GR1として出力される。
【0056】
一方、現像処理部43−2Lによって得られた撮像画像は第二回転処理部44−2Lに、現像処理部43−2Rによって得られた撮像画像は第二回転処理部44−2Rに、現像処理部43−3Lによって得られた撮像画像は第三回転処理部44−3Lに、現像処理部43−3Rによって得られた撮像画像は第三回転処理部44−3Rに、現像処理部43−4Lによって得られた撮像画像は第四回転処理部44−4Lに、現像処理部43−4Rによって得られた撮像画像は第四回転処理部44−4Rにそれぞれ供給される。
【0057】
各回転処理部44は、入力された撮像画像を予め定められた角度だけ回転させる。
具体的に、第二回転処理部44−2L及び44−2Rは、入力された撮像画像を90deg回転させる。また、第三回転処理部44−3L及び44−3Rは入力された撮像画像を180deg回転させる。第四回転処理部44−4L及び44−4Rは入力された撮像画像を270deg回転させる。
【0058】
前述のように本例の立体視画像生成装置1においては、撮像素子3の光軸Ox回り方向における設置角度を方角=0degの位置が観察の基準位置となるように設定している。このため、0deg以外の方角に対応する撮像画像については、それぞれ0degからの角度差に応じた分だけ回転させる。これにより、0deg以外の各方角に位置する観察者について、実際に対象Xを観察したときの対象Xの向きと立体視画像内に映し出される対象Xの向きとが一致しない事態を解消できる。
【0059】
第二回転処理部44−2Lによる回転処理を経た撮像画像は左目画像GL2として出力され、第二回転処理部44−2Rによる回転処理を経た撮像画像は右目画像GR2として出力される。また、第三回転処理部44−3Lによる回転処理を経た撮像画像は左目画像GL3として出力され、第三回転処理部44−3Rによる回転処理を経た撮像画像は右目画像GR3として出力される。第四回転処理部44−4Lによる回転処理を経た撮像画像は左目画像GL4として出力され、第四回転処理部44−4Rによる回転処理を経た撮像画像は右目画像GR4として出力される。
【0060】
[1-4.第1の実施の形態のまとめ]

上記のように第1の実施の形態の立体視画像生成装置1は、被写体からの光を集光する集光レンズ21を介した光が入射されると共に、光軸Ox回り方向に三以上の領域Aが分割形成された瞳分割部22と、瞳分割部22を通過した像が結像される撮像素子3を有し、瞳分割部22における異なる領域Aを通過したそれぞれの像についての撮像画像を時分割により選択的に取得する画像選択取得部(撮像素子3、セレクタ41及び制御部7)とを備えている。
これにより、瞳分割部22の異なる領域Aを通過した像を個別に撮像するにあたって、瞳分割部22以降の撮像光学系や撮像素子3を領域Aごとに個別に設ける必要がなくなる。
従って、異なる方角から対象Xを観察したときの立体視画像をそれぞれ適正に提示するにあたって、装置の大型化を防止できる。
【0061】
なお、領域Aの分割数が三以上であることの意義については後述する。
【0062】
また、立体視画像生成装置1は、瞳分割部22が四以上の二の倍数個の領域Aを有し、前記画像選択取得部が取得した複数の撮像画像をそれぞれ異なる組み合わせで加算する画像加算部(42−1L〜42−4R)を備えている。
これにより、四以上の二の倍数個のそれぞれの方角ごとに、その方角に位置する観察者の左目領域の各一部を通過した像の撮像画像同士、右目領域の各一部を通過した像の撮像画像同士を加算して得ることが可能となる。
従って、四以上の二の倍数個の方角からの観察に対応することができる。
【0063】
さらに、立体視画像生成装置1においては、前記画像選択取得部が、瞳分割部22における異なる領域Aを通過したそれぞれの像についての撮像画像を撮像素子3によって時分割取得している。
これにより、異なる領域Aを通過したそれぞれの像についての撮像画像を選択的に取得するにあたり、それら異なる領域Aを通過したそれぞれの像を撮像素子3で同時に受光する必要がない。
従って、この場合の撮像素子3は、異なる領域Aを通過したそれぞれの像を撮像面における異なる位置で受光するための構成が不要であり、構成の簡易化が図られ、コストの削減が図られる。
【0064】
さらにまた、立体視画像生成装置1においては、瞳分割部22が、領域Aごとに入射光を通過/遮蔽自在に構成され、前記画像選択取得部が、入射光を通過させる領域Aを順次選択し、選択した領域Aを通過した像を撮像素子3により順次受光する。
これにより、領域Aごとの入射光の通過/遮蔽を制御するという簡易な手法で異なる領域Aを通過したそれぞれの像についての撮像画像が選択的に取得される。
従って、異なる方角から対象を観察したときの立体視画像をそれぞれ適正に提示する立体視画像生成装置を容易に実現できる。
【0065】
加えて、立体視画像生成装置1は、前記画像選択取得部が取得した撮像画像に基づき得られる左目画像GL、右目画像GRを回転させる画像回転処理部(第二回転処理部44−2L〜第四回転処理部44−4R)を備えている。
これにより、左目画像GLと右目画像GRにより実現される立体視画像上に映し出される対象Xの向きを、観察者が対象Xに対して位置する方角から実際に対象Xを観察したときの対象Xの向きと一致させることが可能となる。
従って、立体視画像上における対象Xの向きと実際に対象Xを観察したときの対象Xの向きとの不一致に起因した違和感の発生防止を図ることができる。
【0066】
<2.第2の実施の形態>
[2-1.構成及び動作]

図5は、第2の実施の形態としての立体視画像生成装置1Aの内部構成を示したブロック図である。
第2の実施の形態の立体視画像生成装置1Aは、第1の実施の形態の立体視画像生成装置1と同様に異なる領域Aを通過したそれぞれの像についての撮像画像を時分割により選択的に取得するものである。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
【0067】
立体視画像生成装置1Aは、立体視画像生成装置1と比較して、光学ユニット2に代えて光学ユニット2Aが、左右画像個別生成部4に代えて左右画像個別生成部4Aが、制御部7に代えて制御部7Aが、照明部8に代えて照明部8Aが設けられた点が異なる。
【0068】
光学ユニット2Aは、瞳分割部22に代えて瞳分割部22Aが設けられた点が光学ユニット2と異なる。
なお、瞳分割部22Aの構成は後述する。
【0069】
照明部8Aは、図6Aに示すようにレーザ駆動部81と複数のLD(レーザダイオード)82を備えている。複数のLD82としては、赤色波長帯の光を発光する赤色第一LD82R1、赤色第二LD82R2、赤色第三LD82R3、赤色第四LD82R4と、緑色波長帯の光を発光する緑色第一LD82G1、緑色第二LD82G2、緑色第三LD82G3、緑色第四LD82G4と、青色波長帯の光を発光する青色第一LD82B1、青色第二LD82B2、青色第三LD82B3、青色第四LD82B4が備えられている。
赤色第一LD82R1、赤色第二LD82R2、赤色第三LD82R3、赤色第四LD82R4は、赤色波長帯におけるそれぞれ異なる波長帯の光を発光可能とされている。具体的には、図6Bに示すように赤色波長帯を四つの波長帯に分割したときの各波長帯をそれぞれ波長帯R1、R2、R3、R4とすると、赤色第一LD82R1は波長帯R1の光を、赤色第二LD82R2は波長帯R2の光を、赤色第三LD82R3は波長帯R3の光を、赤色第四LD82R4は波長帯R4の光をそれぞれ発光可能とされている。
緑色の各LD82、青色の各LD82としても、それぞれの色の波長帯における異なる波長帯の光を発光可能とされている。具体的に、緑色の各LD82については、図6Bに示すように緑色波長帯を四つの波長帯に分割したときの各波長帯をそれぞれ波長帯G1、G2、G3、G4とすると、緑色第一LD82G1は波長帯G1の光を、緑色第二LD82G2は波長帯G2の光を、緑色第三LD82G3は波長帯G3の光を、緑色第四LD82G4は波長帯G4の光をそれぞれ発光可能とされている。また、青色の各LD82としては、図6Bに示すように青色波長帯を四つの波長帯に分割したときの各波長帯をそれぞれ波長帯B1、B2、B3、B4とすると、青色第一LD82B1は波長帯B1の光を、青色第二LD82B2は波長帯B2の光を、青色第三LD82B3は波長帯B3の光を、青色第四LD82B4は波長帯B4の光をそれぞれ発光可能とされている。
【0070】
レーザ駆動部81は、制御部7Aからの指示信号SLによって指示されたLD82を発光駆動する。
【0071】
図7は、瞳分割部22Aの構成についての説明図である。なおこの図では瞳分割部22Aを像面側から見ている。
瞳分割部22Aは、瞳分割部22と同様の領域A1〜A4が分割形成されている。瞳分割部22Aにおいては、領域A1〜A4の個々が波長フィルタによって構成されている。領域A1は波長フィルタ22Aa、領域A2は波長フィルタ22Ab、領域A3は波長フィルタ22Ac、領域A4は波長フィルタ22Adによって構成されている。
波長フィルタ22Aa〜22Adは、いわゆるマルチバンドパスフィルタとして構成され、三つの波長帯の光を選択的に透過する。具体的に、波長フィルタ22Aaは波長帯R1、G1、B1の各光を透過し、波長フィルタ22Abは波長帯R2、G2、B2の各光を透過する。また、波長フィルタ22Acは波長帯R3、G3、B3の各光を透過し、波長フィルタ22Adは波長帯R4、G4、B4の各光を透過する。
【0072】
図5に戻り、制御部7Aは、指示信号SLによって照明部8AにおけるLD82のオン/オフを以下のように制御する。
すなわち、赤色第一LD82R1及び緑色第一LD82G1及び青色第一LD82B1の組、赤色第二LD82R2及び緑色第二LD82G2及び青色第二LD82B2の組、赤色第三LD82R3及び緑色第三LD82G3及び青色第三LD82B3の組、赤色第四LD82R4及び緑色第四LD82G4及び青色第四LD82B4の組を順次択一的にオンとさせる。制御部7Aは、このように各組のLD82を順次オンさせる制御を所定の周期で繰り返し実行する。
【0073】
これによると、瞳分割部22Aには、被写体からの光として波長帯R1及びG1及びB1の光、波長帯R2及びG2及びB2の光、波長帯R3及びG3及びB3の光、波長帯R4及びG4及びB4の光が順次入射する。
波長帯R1及びG1及びB1の光が入射する期間では領域A1のみを光が通過し、波長帯R2及びG2及びB2の光が入射する期間では領域A2のみを光が通過し、波長帯R3及びG3及びB3の光が入射する期間では領域A3のみを光が通過し、波長帯R4及びG4及びB4の光が入射する期間では領域A4のみを光が通過する。
この点より、第2の実施の形態の立体視画像生成装置1Aにおいても、領域A1のみを入射光が通過する期間t1、領域A2のみを入射光が通過する期間t2、領域A3のみを入射光が通過する期間t3、領域A4のみを入射光が通過する期間t4が所定周期で繰り返される。
【0074】
制御部7Aは、制御部7と同様に、期間t1〜期間t4ごとに撮像素子3が撮像画像信号を個別に取得するように撮像素子3の撮像動作を制御する。これにより、第1の実施の形態の場合と同様に撮像画像信号Ga1、撮像画像信号Ga2、撮像画像信号Ga3、撮像画像信号Ga4が時間軸方向において個別に取得される。
【0075】
ここで、上記のように第2の実施の形態においても撮像画像信号Ga1、撮像画像信号Ga2、撮像画像信号Ga3、撮像画像信号Ga4が時間軸方向において個別に取得されることから、第1の実施の形態の場合と同様の左右画像個別生成部4を用いれば、0deg、90deg、180deg、270degの各方角に対応した立体視画像の提示を行うことができる。
但し、第2の実施の形態において得られる撮像画像信号Ga1、撮像画像信号Ga2、撮像画像信号Ga3、撮像画像信号Ga4はそれぞれ赤色波長帯、緑色波長帯、青色波長帯ごとに所定の波長帯の色成分が欠落している。具体的に、撮像画像信号Ga1は波長帯R1及びG1及びB1以外の波長帯の色成分が欠落し、撮像画像信号Ga2は波長帯R2及びG2及びB2以外の波長帯の色成分が欠落している。また、撮像画像信号Ga3は波長帯R3及びG3及びB3以外の波長帯の色成分が欠落し、撮像画像信号Ga4は波長帯R4及びG4及びB4以外の波長帯の色成分が欠落している。
【0076】
この点に鑑み、立体視画像生成装置1Aにおいては、左右画像個別生成部4に代えて図8に示す左右画像個別生成部4Aを設けている。
左右画像個別生成部4Aは、左右画像個別生成部4と比較してセレクタ41と各加算部42との間にそれぞれ色補正部45が挿入された点が異なる。
具体的に、セレクタ41の出力端子TL1と第一左側加算部42−1Lとの間に第一左側色補正部45−1Lが、出力端子TR1と第一右側加算部42−1Rとの間に第一右側色補正部45−1Rが、出力端子TL2と第二左側加算部42−2Lとの間に第二左側色補正部45−2Lが、出力端子TR2と第二右側加算部42−2Rとの間に第二右側色補正部45−2Rが、出力端子TL3と第三左側加算部42−3Lとの間に第三左側色補正部45−3Lが、出力端子TR3と第三右側加算部42−3Rとの間に第三右側色補正部45−3Rが、出力端子TL4と第四左側加算部42−4Lとの間に第四左側色補正部45−4Lが、出力端子TR4と第四右側加算部42−4Rとの間に第四右側色補正部45−4Rがそれぞれ挿入されている。
【0077】
制御部7Aは、セレクタ41に対する出力端子Tの選択制御として、制御部7と同様の制御を行う。すなわち、端子TL1〜TR4の各端子Tにおいて期間t1〜期間t4の各期間tに出力される撮像画像信号Gaの種類は、第1の実施の形態の場合と同様である。
【0078】
第一左側色補正部45−1L〜第四右側色補正部45−4Rとそれらに入力される撮像画像信号Gaが有する色成分との関係を期間tごとに表すと以下のようになる。

45−1L
t1:Ga1(R1,G1,B1)、t2:Ga2(R2,G2,B2)
45−1R
t3:Ga3(R3,G3,B3)、t4:Ga4(R4,G4,B4)
45−2L
t2:Ga2(R2,G2,B2)、t3:Ga3(R3,G3,B3)
45−2R
t1:Ga1(R1,G1,B1)、t4:Ga4(R4,G4,B4)
45−3L
t3:Ga3(R3,G3,B3)、t4:Ga4(R4,G4,B4)
45−3R
t1:Ga1(R1,G1,B1)、t2:Ga2(R2,G2,B2)
45−4L
t1:Ga1(R1,G1,B1)、t4:Ga4(R4,G4,B4)
45−4R
t2:Ga2(R2,G2,B2)、t3:Ga3(R3,G3,B3)
【0079】
撮像画像信号Ga1と撮像画像信号Ga2のみが入力される第一左側色補正部45−1Lと第三右側色補正部45−3Rは、入力された撮像画像信号Gaに対して波長帯R1,G1,B1以外の色成分を補う処理(以下「対第一波長補正処理」と表記)と波長帯R2,G2,B2以外の色成分を補う処理(「対第二波長補正処理」と表記)とを選択的に実行可能に構成されている。撮像画像信号Ga3と撮像画像信号Ga4のみが入力される第一右側色補正部45−1Rと第三左側色補正部45−3Lは、入力された撮像画像信号Gaに対して波長帯R3,G3,B3以外の色成分を補う処理(「対第三波長補正処理」と表記)と波長帯R4,G4,B4以外の色成分を補う処理(「対第四波長補正処理」と表記)とを選択的に実行可能に構成されている。また、撮像画像信号Ga2と撮像画像信号Ga3のみが入力される第二左側色補正部45−2Lと第四右側色補正部45−4Rは、入力された撮像画像信号Gaに対して対第二波長補正処理と対第三波長補正処理とを選択的に実行可能に構成され、撮像画像信号Ga1と撮像画像信号Ga4のみが入力される第二右側色補正部45−2Rと第四左側色補正部45−4Lは入力された撮像画像信号Gaに対して対第一波長補正処理と対第四波長補正処理とを選択的に実行可能に構成されている。
【0080】
制御部7Aは、第一左側色補正部45−1L〜第四右側色補正部45−4Rに対し、期間tごとに以下の補正処理が実行されるように制御を行う。

t1
45−1L、45−2R、45−3R、45−4Lに対第一波長補正処理
t2
45−1L、45−2L、45−3R、45−4Rに対第二波長補正処理
t3
45−1R、45−2L、45−3L、45−4Rに対第三波長補正処理
t4
45−1R、45−2R、45−3L、45−4Lに対第四波長補正処理
【0081】
これにより、瞳分割部22Aの通過時に欠落した色成分が適正に補われ、カラー画像による立体視画像の提示を適正に行うことができる。
【0082】
[2-2.第2の実施の形態のまとめ]

上記のように第2の実施の形態の立体視画像生成装置1Aは、被写体からの光を集光する集光レンズ21を介した光が入射されると共に、光軸Ox回り方向に三以上の領域Aが分割形成された瞳分割部22Aと、瞳分割部22Aを通過した像が結像される撮像素子3を有し、瞳分割部22Aにおける異なる領域Aを通過したそれぞれの像についての撮像画像を時分割により選択的に取得する画像選択取得部(照明部8A、撮像素子3、セレクタ41及び制御部7A)とを備えている。
これにより、第1の実施の形態の場合と同様に、瞳分割部22Aの異なる領域Aを通過した像を個別に撮像するにあたって、瞳分割部22A以降の撮像光学系や撮像素子3を領域Aごとに個別に設ける必要がなくなる。
従って、異なる方角から対象Xを観察したときの立体視画像をそれぞれ適正に提示するにあたって、装置の大型化を防止できる。
【0083】
また、立体視画像生成装置1Aにおいては、前記画像選択取得部が、瞳分割部22Aにおける異なる領域Aを通過したそれぞれの像についての撮像画像を第1の実施の形態の場合と同様に撮像素子3によって時分割取得している。
これにより、第1の実施の形態の場合と同様に撮像素子3の構成の簡易化が図られ、コストの削減が図られる。
【0084】
さらに、立体視画像生成装置1Aにおいては、瞳分割部22Aが、それぞれの領域Aが赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に通過させるように構成され、撮像素子3は、赤色波長帯、緑色波長帯、及び青色波長帯の光を受光可能に構成されており、前記画像選択取得部が、被写体に対する照明光として瞳分割部22Aにおける個々の領域Aを通過する各波長帯の光とそれぞれ同波長帯の光を選択的に発光可能に構成された波長可変照明部(照明部8A)を有し、波長可変照明部によって順次異なる波長帯の光を発光し、波長可変照明部の発光波長の切り替えごとに瞳分割部22Aを通過した光を撮像素子3により順次受光している。
これにより、波長可変照明部の発光波長を切り替えるという簡易な手法で異なる領域Aを通過したそれぞれの像についての撮像画像が選択的に取得される。
従って、異なる方角から対象を観察したときの立体視画像をそれぞれ適正に提示する立体視画像生成装置を容易に実現できる。
【0085】
<3.第3の実施の形態>
[3-1.構成及び動作]

図9は、第3の実施の形態の立体視画像生成装置1Bの内部構成を示したブロック図である。
第3の実施の形態の立体視画像生成装置1Bは、異なる領域Aを通過したそれぞれの像についての撮像画像をそれぞれの像の波長の違いを利用して選択的に取得するものである。
【0086】
立体視画像生成装置1Bは、第2の実施の形態の立体視画像生成装置1Aと比較して撮像素子3に代えて撮像素子3Aが、左右画像個別生成部4Aに代えて左右画像個別生成部4Bが、制御部7Aに代えて制御部7Bが、照明部8Aに代えて照明部8が設けられた点が異なる。
制御部7Bは、撮像素子3Aに所定の周期で撮像画像信号を順次取得させる制御を行う。
なお、照明部8は、第1の実施の形態の場合と同様に対象Xとしての被写体を白色光により照明する。
【0087】
図10は、撮像素子3Aの構成についての説明図であり、撮像素子3Aの撮像面側における一部を拡大して示している。
撮像素子3Aは、撮像素子3と同様にRGGB型の撮像素子とされる。
ここで、RGGB型の撮像素子においては、水平方向2画素×垂直方向2画素の計4画素が一つのRGGBユニットを形成し、RGGBユニットにおける左上の画素には赤色波長帯、右上と左下の画素にはそれぞれ緑色波長帯、右下の画素には青色波長帯の光を選択的に透過するカラーフィルタ(波長フィルタ)がそれぞれ形成されている。すなわち、左上の画素は赤色画素、右上と左下の画素は緑色画素、右下の画素は青色画素となる。
通常のRGGB型の撮像素子(撮像素子3)は、RGGBユニットが水平方向及び垂直方向に配列されて成るが、撮像素子3Aは、RGGBユニットとしてそれぞれ赤色波長帯、緑色波長帯、青色波長帯についての透過波長帯が異なるように構成された4種のRGGBユニットU1、U2、U3、U4を有している。そして、これらRGGBユニットU1〜U4で構成された水平方向4画素×垂直方向4画素=16画素で成るブロックBが水平方向及び垂直方向に配列されて成る。
図示するようにRGGBユニットU1は、赤色画素として波長帯R1の光を選択的に透過する波長フィルタが形成された画素、緑色画素として波長帯G1の光を選択的に透過する波長フィルタが形成された画素、青色画素として波長帯B1の光を選択的に透過する波長フィルタが形成された画素がそれぞれ形成されている。RGGBユニットU2は、赤色画素として波長帯R2の光を選択的に透過する波長フィルタが形成された画素、緑色画素として波長帯G2の光を選択的に透過する波長フィルタが形成された画素、青色画素として波長帯B2の光を選択的に透過する波長フィルタが形成された画素がそれぞれ形成され、RGGBユニットU3は赤色画素として波長帯R3の光を選択的に透過する波長フィルタが形成された画素、緑色画素として波長帯G3の光を選択的に透過する波長フィルタが形成された画素、青色画素として波長帯B3の光を選択的に透過する波長フィルタが形成された画素がそれぞれ形成され、RGGBユニットU4は赤色画素として波長帯R4の光を選択的に透過する波長フィルタが形成された画素、緑色画素として波長帯G4の光を選択的に透過する波長フィルタが形成された画素、青色画素として波長帯B4の光を選択的に透過する波長フィルタが形成された画素がそれぞれ形成されている。
各ブロックB内におけるRGGBユニットU1〜U4の配置位置関係は同じとされている。本例の場合、各ブロックBにおいてはRGGBユニットU1が左上、RGGBユニットU2が右上、RGGBユニットU3が左下、RGGBユニットU4が右下に位置している。
【0088】
上記のように構成された撮像素子3Aによれば、瞳分割部22Aの領域A1を通過した像はRGGBユニットU1のみで撮像(受光)され、領域A2を通過した像はRGGBユニットU2のみで撮像される。また領域3を通過した像はRGGBユニットU3のみで撮像され、領域4を通過した像はRGGBユニットU4のみで撮像される。
【0089】
図11は、左右画像個別生成部4Bの内部構成についての説明図である。
左右画像個別生成部4Bは、左右画像個別生成部4Aと比較して第一左側加算部42−1L〜第四右側加算部42−4Rよりも前段の構成が異なるもので、他の部分の構成は左右画像個別生成部4Aと同様である。
【0090】
左右画像個別生成部4Bにおいては、撮像素子3Aで得られた撮像画像信号が第一領域通過像抽出部46−1、第二領域通過像抽出部46−2、第三領域通過像抽出部46−3、第四領域通過像抽出部46−4にそれぞれ入力される。
各領域通過像抽出部46は、撮像素子3Aより入力された撮像画像信号に基づく撮像画像から予め定められた画素位置の画素値を抽出する。
【0091】
図12A図12Dは、第一領域通過像抽出部46−1〜第四領域通過像抽出部46−4が抽出を行う画素位置をそれぞれ白抜きにより表している。
第一領域通過像抽出部46−1は、RGGBユニットU1と同画素位置の画素値を抽出する(図12A)。また第二領域通過像抽出部46−2は、RGGBユニットU2と同画素位置の画素値を抽出し(図12B)、第三領域通過像抽出部46−3はRGGBユニットU3と同画素位置の画素値を抽出し(図12C)、第四領域通過像抽出部46−4はRGGBユニットU4と同画素位置の画素値を抽出する(図12D)。
なお、ここで言う「抽出」とは、元の撮像画像から対象とする画素位置以外の画素位置の画素値を破棄する(例えば「0」とする)ことを意味する。
【0092】
第一領域通過像抽出部46−1による抽出処理が施された撮像画像は第一補間処理部47−1に、第二領域通過像抽出部46−2による抽出処理が施された撮像画像は第二補間処理部47−2に、第三領域通過像抽出部46−3による抽出処理が施された撮像画像は第三補間処理部47−3に、第四領域通過像抽出部46−4による抽出処理が施された撮像画像は第四補間処理部47−4にそれぞれ入力される。
【0093】
各補間処理部47は、入力された撮像画像について、画素値が抽出された画素位置以外の画素位置の画素値を補間する。
具体的に、第一補間処理部47−1は、RGGBユニットU1と同画素位置以外の画素位置の画素値をRGGBユニットU1と同画素位置の画素値に基づき補間する。また、第二補間処理部47−2はRGGBユニットU2と同画素位置以外の画素位置の画素値をRGGBユニットU2と同画素位置の画素値に基づき補間し、第三補間処理部47−3はRGGBユニットU3と同画素位置以外の画素位置の画素値をRGGBユニットU3と同画素位置の画素値に基づき補間し、第四補間処理部47−4はRGGBユニットU4と同画素位置以外の画素位置の画素値をRGGBユニットU4と同画素位置の画素値に基づき補間する。
【0094】
第一補間処理部47−1による補間処理が施された撮像画像は第一色補正部48−1に、第二補間処理部47−2による補間処理が施された撮像画像は第二色補正部48−2に、第三補間処理部47−3による補間処理が施された撮像画像は第三色補正部48−3に、第四補間処理部47−4による補間処理が施された撮像画像は第四色補正部48−4にそれぞれ入力される。
【0095】
各色補正部48は、入力された撮像画像に対し欠落した色成分を補う処理を実行する。
ここで、第一領域通過像抽出部46−1による抽出処理を経た撮像画像は領域A1を通過した像についての撮像画像に相当するため、波長帯R1、G1、B1以外の色成分が欠落している。また、第二領域通過像抽出部46−2による抽出処理を経た撮像画像は領域A2を通過した像についての撮像画像に相当するため波長帯R2、G2、B2以外の色成分が欠落し、第三領域通過像抽出部46−3による抽出処理を経た撮像画像は領域A3を通過した像についての撮像画像に相当するため波長帯R3、G3、B3以外の色成分が欠落している。第四領域通過像抽出部46−4による抽出処理を経た撮像画像は領域A4を通過した像についての撮像画像に相当するため波長帯R4、G4、B4以外の色成分が欠落している。
【0096】
第一色補正部48−1は、入力された撮像画像に対し前述した対第一波長補正処理を実行する。また、第二色補正部48−2は入力された撮像画像に対し前述した対第二波長補正処理を実行し、第三色補正部48−3は入力された撮像画像に対し前述した対第三波長補正処理を実行し、第四色補正部48−4は入力された撮像画像に対し前述した対第四波長補正処理を実行する。
これにより、瞳分割部22Aの通過時に欠落した色成分が適正に補われる。
【0097】
この場合の第一左側加算部42−1L〜第四右側加算部42−4Rには、それぞれ第一色補正部48−1〜第一色補正部48−4のうち対応する二つの色補正部48より撮像画像が入力される。第一左側加算部42−1L〜第四右側加算部42−4Rと第一色補正部48−1〜第一色補正部48−4との接続関係は下記の通りである。

42−1L…48−1及び48−2
42−1R…48−3及び48−4
42−2L…48−2及び48−3
42−2R…48−1及び48−4
42−3L…48−3及び48−4
42−3R…48−1及び48−2
42−4L…48−1及び48−4
42−4R…48−2及び48−3
【0098】
これにより0deg、90deg、180deg、270degの方角に位置する観察者それぞれにとっての左目領域、右目領域ごとに撮像画像が適正に加算される。
【0099】
[3-2.第3の実施の形態のまとめ]

上記のように第3の実施の形態の立体視画像生成装置1Bは、被写体からの光を集光する集光レンズ21を介した光が入射されると共に、光軸Ox回り方向に三以上の領域Aが分割形成された瞳分割部22Aと、瞳分割部22Aを通過した像が結像される撮像素子3Aを有し、瞳分割部22Aにおける異なる領域Aを通過したそれぞれの像についての撮像画像をそれぞれの像の波長の違いを利用して選択的に取得する画像選択取得部(撮像素子3A及び第一領域通過像抽出部46−1〜第四領域通過像抽出部46−4)とを備えている。
これにより、瞳分割部22Aの異なる領域Aを通過した像を個別に撮像するにあたって、瞳分割部22A以降の撮像光学系や撮像素子3Aを領域Aごとに個別に設ける必要がなくなる。
従って、異なる方角から対象Xを観察したときの立体視画像をそれぞれ適正に提示するにあたって、装置の大型化を防止できる。
【0100】
また、立体視画像生成装置1Bにおいては、瞳分割部22Aは、それぞれの領域Aが異なる波長帯の光を選択的に通過させるように構成され、撮像素子3Aは、それぞれが瞳分割部22Aにおける異なる領域Aを通過した光と同波長帯の光を選択的に透過する複数の波長フィルタが撮像面上の異なる位置に配置されている。
これにより、それぞれの領域Aを通過した像が撮像面のそれぞれ異なる位置で個別に撮像される。
従って、それぞれの領域Aを通過した像についての撮像画像を同時に取得できる。
【0101】
ここで、立体視画像一枚分の表示期間すなわち左目画像GLと右目画像GRの各一枚を表示する期間を「一表示期間」とすると、上記のように各領域Aを通過した像についての撮像画像を同時に取得できれば、第1,第2の実施の形態のように一表示期間を複数の期間tに区切る必要がなくなる。このため、撮像素子3Aのシャッタスピードを長くすることができ、暗い被写体や動きの速い被写体を撮像する上で有利となる。
【0102】
また、上記のようにそれぞれの領域Aを通過した像についての撮像画像を同時に取得できれば、立体視画像を1枚分提示するにあたって必要な撮像素子3Aによる撮像回数は「1」となる。従って、第1、第2の実施の形態のように時分割取得する場合と比較して撮像素子3Aの撮像回数を低減できる。
【0103】
さらに、立体視画像生成装置1Bにおいては、瞳分割部22Aは、それぞれの領域Aが赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に通過させるように構成され、撮像素子3Aは、それぞれが瞳分割部22Aにおける異なる領域Aを通過した光と同波長帯の光を選択的に透過する複数の波長フィルタが撮像面上の異なる位置に配置されている。
これにより、それぞれの領域Aを通過した像についての撮像画像を撮像面のそれぞれ異なる位置で個別に撮像しつつ、撮像画像としてカラー画像が得られる。
従って、カラー画像による視認性に優れた立体視画像を提示できる。
【0104】
<4.第4の実施の形態>
[4-1.構成及び動作]

図13は、第4の実施の形態の立体視画像生成装置1Cの内部構成を示したブロック図である。
第4の実施の形態の立体視画像生成装置1Cは、異なる領域Aを通過したそれぞれの像についての撮像画像をそれぞれの像の波長及び偏光の違いを利用して選択的に取得するものである。
【0105】
立体視画像生成装置1Bは、第3の実施の形態の立体視画像生成装置1Aと比較して光学ユニット2Aに代えて光学ユニット2Bが、撮像素子3Aに代えて撮像素子3Bが、左右画像個別生成部4Bに代えて左右画像個別生成部4Cが設けられた点が異なる。
【0106】
光学ユニット2Bは、光学ユニット2Aと比較して瞳分割部22Aに代えて瞳分割部22Bが設けられた点が異なる。
瞳分割部22Bは、波長分離素子24と偏光分離素子25とを有している。これら波長分離素子24と偏光分離素子25は光軸方向に重ねて配置されている。本例では、これら波長分離素子24と偏光分離素子25は対向した状態で貼り合わされている。本例の瞳分割部22Bにおいては、被写体側から像面側にかけて波長分離素子24、偏光分離素子25の順で配置されているが、これらの配置関係は逆であってもよい。
【0107】
図14Aは、波長分離素子24の構成についての説明図である。
波長分離素子24は、波長帯R1、G1、B1の各光を選択的に透過する波長フィルタ24aと波長帯R2、G2、B2の各光を選択的に透過する波長フィルタ24bとを有している。波長分離素子24は、光軸Ocと交差する一本の分割線で仕切られた二つの領域を有し、一方の領域に波長フィルタ24aが形成され他方の領域に波長フィルタ24bが形成されている。
本例において、これら波長フィルタ24aと波長フィルタ24bを仕切る分割線は90deg−270degの軸と平行とされており、この分割線を境に波長フィルタ24aが0deg側、波長フィルタ24bが180deg側にそれぞれ形成されている。
【0108】
図14Bは、偏光分離素子25の構成についての説明図である。
偏光分離素子25は、偏光板25aと偏光板25bを有している。偏光分離素子25は、光軸Ocと交差する一本の分割線で仕切られた二つの領域を有し、一方の領域に偏光板25aが、他方の領域に偏光板25bが形成されている。
本例において、偏光板25aと偏光板25bを仕切る分割線は0deg−180degの軸と平行とされており、この分割線を境に偏光板25aが90deg側、偏光板25bが270deg側にそれぞれ形成されている。
偏光板25aの透過軸は、図中の実線矢印で示すように90deg−270degの軸と平行とされている。すなわち、偏光板25aは90deg−270degの軸と平行な偏光方向による直線偏光を選択的に透過する。一方、偏光板25bの透過軸は0deg−180degの軸と平行とされており、偏光板25bは0deg−180degの軸と平行な偏光方向による直線偏光を選択的に透過する。
以下、90deg−270degの軸と平行な偏光方向を「第一偏光方向」、0deg−180degの軸と平行な偏光方向を「第二偏光方向」と表記する。
【0109】
波長分離素子24と偏光分離素子25は光軸方向に重ねて配置されているので、瞳分割部22Bは、これら波長分離素子24と偏光分離素子25が有する各分割線によって四つの領域Aに分割されている。ここでも、第1,第2の実施の形態の場合と同様に四つの領域Aうち0deg〜90degにかけての領域Aを「領域A1」、90deg〜180degにかけての領域Aを「領域A2」、180deg〜270degにかけての領域Aを「領域A3」、270deg〜0deg(360deg)にかけての領域Aを「領域A4」と表記する。
【0110】
瞳分割部22Bにおいて、領域A1は、波長帯と偏光の組み合わせとして、波長帯R1、G1、B1と第一偏光方向との組み合わせによる光を通過させる領域Aとなる。領域A2は波長帯R2、G2、B2と第一偏光方向との組み合わせによる光を、領域A3は波長帯R2、G2、B2と第二偏光方向との組み合わせによる光を、領域A4は波長帯R1、G1、B1と第二偏光方向との組み合わせによる光をそれぞれ通過させる領域Aとなる。
【0111】
図15は、撮像素子3Bの構成についての説明図である。なおこの図では、水平方向の画素数をn、垂直方向の画素数をmと表記している。
撮像素子3Bは、波長フィルタ24a、24bを通過した光と同波長帯の光をそれぞれ選択的に透過する複数の波長フィルタ(像面側波長フィルタ)と、偏光板25a、25bを通過した偏光と同じ偏光方向による偏光をそれぞれ選択的に透過する偏光板3Ba、3Bb(像面側偏光板)とを有している。
【0112】
撮像素子3Bにおいては、垂直方向に延びる列として、RGGBユニットU1のみが配列された列と、RGGBユニットU2が配列された列とが水平方向に交互に配列されている。そして、第一偏光方向による偏光を選択的に透過する偏光板3Baと第二偏光方向による偏光を選択的に透過する偏光板3Bbが二本の水平ラインごとに交互に配置されている。それぞれの偏光板3Ba及び偏光板3Bbは、RGGBユニットU1、U2のそれぞれに形成された波長フィルタを覆うように形成されている。すなわち、これら波長フィルタに対し偏光板3Ba及び偏光板3Bbは光軸方向に重ねて配置されている。
【0113】
このような構成により、撮像素子3Bにおいては、RGGBユニットU1、U2に形成された各種の波長フィルタと偏光板3Ba、3Bbとが、撮像面に平行な面内の異なる位置に異なる組み合わせでそれぞれ光軸方向に重ねて配置されている。
具体的に、図15に示す撮像素子3Bの構成によると、撮像面上においてはRGGBユニットU1に偏光板3Baが重なっている部分と、RGGBユニットU2に偏光板3Baが重なっている部分と、RGGBユニットU2に偏光板3Bbが重なっている部分と、RGGBユニットU1に偏光板3Bbが重なっている部分の四種の部分が存在する。これらの部分は、同順でそれぞれ領域A1を通過した光と同じ波長帯と偏光の組み合わせによる光、領域A2を通過した光と同じ波長帯と偏光の組み合わせによる光、領域A3を通過した光と同じ波長帯と偏光の組み合わせによる光、領域A4を通過した光と同じ波長帯と偏光の組み合わせによる光をそれぞれ通過する部分となる。
このため、撮像素子3Bにおいては、瞳分割部22Bのそれぞれの領域Aを通過した像が撮像面のそれぞれ異なる位置で個別に撮像される。
【0114】
図16は、左右画像個別生成部4Cの内部構成についての説明図である。
左右画像個別生成部4Cは、左右画像個別生成部4Bと比較して第一左側加算部42−1L〜第四右側加算部42−4Rよりも前段の構成が異なるもので、他の部分の構成は左右画像個別生成部4Bと同様である。
【0115】
左右画像個別生成部4Cにおいては、撮像素子3Bで得られた撮像画像信号が第一領域通過像抽出部46'−1、第二領域通過像抽出部46'−2、第三領域通過像抽出部46'−3、第四領域通過像抽出部46'−4にそれぞれ入力される。
各領域通過像抽出部46'は、撮像素子3Bより入力された撮像画像信号に基づく撮像画像から予め定められた画素位置の画素値を抽出する。
【0116】
図17A図17Dは、第一領域通過像抽出部46'−1〜第四領域通過像抽出部46'−4が抽出を行う画素位置をそれぞれ白抜きにより表している。
第一領域通過像抽出部46'−1は偏光板3Baが重ねられたRGGBユニットU1と同画素位置の画素値を抽出する(図17A)。第二領域通過像抽出部46'−2は偏光板3Baが重ねられたRGGBユニットU2と同画素位置の画素値を抽出し(図17B)、第三領域通過像抽出部46'−3は偏光板3Bbが重ねられたRGGBユニットU2と同画素位置の画素値を抽出し(図17C)、第四領域通過像抽出部46'−4は偏光板3Bbが重ねられたRGGBユニットU1と同画素位置の画素値を抽出する(図17D)。
【0117】
第一領域通過像抽出部46'−1による抽出処理が施された撮像画像は第一補間処理部47'−1に、第二領域通過像抽出部46'−2による抽出処理が施された撮像画像は第二補間処理部47'−2に、第三領域通過像抽出部46'−3による抽出処理が施された撮像画像は第三補間処理部47'−3に、第四領域通過像抽出部46'−4による抽出処理が施された撮像画像は第四補間処理部47'−4にそれぞれ入力される。
【0118】
各補間処理部47'は、入力された撮像画像について、画素値が抽出された画素位置以外の画素位置の画素値を補間する。すなわち、第一補間処理部47'−1は偏光板3Baが重ねられたRGGBユニットU1と同画素位置以外の画素位置の画素値を当該RGGBユニットU1と同画素位置の画素値に基づき補間する。また、第二補間処理部47'−2は偏光板3Baが重ねられたRGGBユニットU2と同画素位置以外の画素位置の画素値を当該RGGBユニットU2と同画素位置の画素値に基づき補間し、第三補間処理部47'−3は偏光板3Bbが重ねられたRGGBユニットU2と同画素位置以外の画素位置の画素値を当該RGGBユニットU2と同画素位置の画素値に基づき補間し、第四補間処理部47'−4は偏光板3Bbが重ねられたRGGBユニットU1と同画素位置以外の画素位置の画素値を当該RGGBユニットU1と同画素位置の画素値に基づき補間する。
【0119】
左右画像個別生成部4Cにおいては、色補正部48としてRGGBユニットU1に対応した第一色補正部48−1とRGGBユニットU2に対応した第二色補正部48−2の二種のみが設けられている。
第一補間処理部47'−1による補間処理が施された撮像画像は一方の第一色補正部48−1に、第二補間処理部47'−2による補間処理が施された撮像画像は一方の第二色補正部48−2に、第三補間処理部47'−3による補間処理が施された撮像画像は他方の第二色補正部48−2に、第四補間処理部47'−4による補間処理が施された撮像画像は他方の第一色補正部48−1にそれぞれ入力される。
これにより、一方の第一色補正部48−1によっては領域A1の通過時に欠落した色成分が補われ、一方の第二色補正部48−2によっては領域A2の通過時に欠落した色成分が補われる。他方の第二色補正部48−2によっては領域A3の通過時に欠落した色成分が補われ、他方の第一色補正部48−1によっては領域A4の通過時に欠落した色成分が補われる。
【0120】
この場合の第一左側加算部42−1L〜第四右側加算部42−4Rには、それぞれ上記の二つの第一色補正部48−1と二つの第二色補正部48−2の計四つの色補正部48のうち対応する二つの色補正部48より撮像画像が入力される。具体的には、

42−1L…一方の48−1及び一方の48−2
42−1R…他方の48−2及び他方の48−1
42−2L…一方の48−2及び他方の48−2
42−2R…一方の48−1及び他方の48−1
42−3L…他方の48−2及び他方の48−1
42−3R…一方の48−1及び一方の48−2
42−4L…一方の48−1及び他方の48−1
42−4R…一方の48−2及び他方の48−2

の対応関係により撮像画像が入力される。
【0121】
[4-2.第4の実施の形態のまとめ]

上記のように第4の実施の形態の立体視画像生成装置1Cは、被写体からの光を集光する集光レンズ21を介した光が入射されると共に、光軸Ox回り方向に三以上の領域Aが分割形成された瞳分割部22Bと、瞳分割部22Bを通過した像が結像される撮像素子3Bを有し、瞳分割部22Bにおける異なる領域Aを通過したそれぞれの像についての撮像画像をそれぞれの像の波長及び偏光の違いを利用して選択的に取得する画像選択取得部(撮像素子3B及び第一領域通過像抽出部46'−1〜第四領域通過像抽出部46'−4)とを備えている。
これにより、瞳分割部22Bの異なる領域Aを通過した像を個別に撮像するにあたって、瞳分割部22B以降の撮像光学系や撮像素子3Bを領域ごとに個別に設ける必要がなくなる。
従って、異なる方角から対象Xを観察したときの立体視画像をそれぞれ適正に提示するにあたって、装置の大型化を防止できる。
【0122】
また、波長のみでなく偏光の違いも利用して領域Aが分割されるため、用いる波長の種類が少なくなる。ここで、波長フィルタは、分離すべき波長の種類が多いとその作製が困難となる。この点より、用いる波長の種類を少なくできる第4の実施の形態の立体視画像生成装置1Cによれば、瞳分割部22Bに用いる波長フィルタの作製容易性を向上できる。
【0123】
また、立体視画像生成装置1Cにおいては、瞳分割部22Bは、それぞれが赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に透過する複数の瞳側波長フィルタ(24a、24b)が形成された波長分離素子24と、それぞれが異なる偏光を選択的に透過する複数の瞳側偏光板(25a、25b)が形成された偏光分離素子25とを有し、波長分離素子24と偏光分離素子25とが光軸方向に重ねて配置されて領域Aごとに波長帯と偏光の組み合わせが異なる光を選択的に通過させるように構成されている。そして、撮像素子3Bは、それぞれが異なる瞳側波長フィルタを通過した光と同波長帯の光を選択的に透過する複数の像面側波長フィルタ(RGGBユニットU1、U2にそれぞれ形成された波長フィルタ)と、それぞれが異なる瞳側偏光板を通過した偏光と同じ偏光方向による偏光を選択的に透過する複数の像面側偏光板(3Ba、3Bb)とを有し、像面側波長フィルタと像面側偏光板とが撮像面に平行な面内の異なる位置に異なる組み合わせでそれぞれ光軸方向に重ねて配置されている。
これにより、それぞれの領域Aを通過した像が撮像面のそれぞれ異なる位置で個別に撮像される。また、それぞれの領域Aを通過した像についての撮像画像としてカラー画像が得られる。
従って、それぞれの領域Aを通過した像についての撮像画像を同時に取得でき、またカラー画像による視認性に優れた立体視画像を提供できる。
【0124】
<5.第5の実施の形態>
[5-1.構成及び動作]

図18は、第5の実施の形態の立体視画像生成装置1Dの内部構成を示したブロック図である。
ここで、第5の実施の形態では、これまでの各実施の形態とは異なり、各観察者が位置する方角が固定ではなく観察者の移動が許容されている。立体視画像生成装置1Dにおいては、第三表示部6−3と第四表示部6−4が省略され第一表示部6−1、第二表示部6−2のみが設けられている。これら第一表示部6−1、第二表示部6−2は、表示面の向く方角を変化させることができるように立体視画像生成装置1Dにおいて回動可能に取り付けられている。具体的に、本例における第一表示部6−1、第二表示部6−2は、後述する光学ユニット2'を内蔵する鏡体の周囲を回動可能に取り付けられている。
【0125】
立体視画像生成装置1Dは、第1の実施の形態の立体視画像生成装置1と比較して、光学ユニット2に代えて光学ユニット2'が、左右画像個別生成部4に代えて左右画像個別生成部4Dが、制御部7に代えて制御部7Cが設けられた点が異なる。また、第三表示部6−3と第四表示部6−4が省略されたことに伴い第三表示制御部5−3と第四表示制御部5−4が省略された点と、メモリ9が追加された点が異なる。
光学ユニット2'は、光学ユニット2における瞳分割部22に代えて瞳分割部22'が設けられたものである。
メモリ9は、制御部7Cが読出可能なメモリであり、制御テーブル9aを記憶している。なお、制御テーブル9aについては後述する。
【0126】
図19Aは、瞳分割部22'の構成についての説明図である。
瞳分割部22'は、瞳分割部22と同様に光軸Ox回り方向に複数の領域Aが分割形成され、領域Aごとに入射光を通過/遮蔽自在に構成されているが、領域Aの分割数が「8」とされている点が異なる。具体的に、瞳分割部22'は、光軸Oxと交差する四本の分割線によって八つの領域Aが分割形成されている。
この場合の分割線は、それぞれ0deg−180degの軸、45deg−225degの軸、90deg−270degの軸、135deg−315degの軸と平行とされており、八つの領域Aは等分されている。本実施の形態では、八つの領域Aうち0deg〜45degにかけての領域Aを「領域A1」、45deg〜90degにかけての領域Aを「領域A2」、90deg〜135degにかけての領域Aを「領域A3」、135deg〜180degにかけての領域Aを「領域A4」、180deg〜225degにかけての領域Aを「領域A5」、225deg〜270degにかけての領域Aを「領域A6」、270deg〜315degにかけての領域Aを「領域A7」、315deg〜0degにかけての領域Aを「領域A8」と表記する。
また、領域A1〜A8に形成された電子シャッタをそれぞれ「第一電子シャッタ22'a」「第二電子シャッタ22'b」「第三電子シャッタ22'c」「第四電子シャッタ22'd」「第五電子シャッタ22'e」「第六電子シャッタ22'f」「第七電子シャッタ22'g」「第八電子シャッタ22'h」と表記する。
【0127】
瞳分割部22'における第一電子シャッタ22'a〜第八電子シャッタ22'hの開/閉制御は制御部7Cが行う。
【0128】
図19Bは、観察者の可動範囲についての説明図である。
実線矢印が第一表示部6−1による立体視画像の提示を受ける一方の観察者の可動範囲を、波線矢印が第二表示部6−2による立体視画像の提示を受ける他方の観察者の可動範囲をそれぞれ表している。本例の立体視画像生成装置1Dでは、第一表示部6−1の回動可能範囲が時計回り方向に270degの方角から90degの方角にかけての180degの範囲とされている。また、第二表示部6−2の回動可能範囲は同じく時計回り方向に90degの方角から270degの方角にかけての180degの範囲とされている。
【0129】
ここで、上記の可動範囲のうち適正な立体視画像の提示が可能な方角は、瞳分割部22'における分割線がそれぞれ向く方角と同じ0deg、45deg、90deg、135deg、180deg、225deg、270deg、315degの八つである。
【0130】
図20は、左右画像個別生成部4Dの内部構成についての説明図である。なお図20では瞳分割部22'、撮像素子3、制御部7C、メモリ9も併せて示している。
左右画像個別生成部4Dは、左右画像個別生成部4と比較して、セレクタ41に代えてセレクタ41'が設けられた点と、第一左側加算部42−1Lに代えて第一左側加算部42'−1Lが、第一右側加算部42−1Rに代えて第一右側加算部42'−1Rが、第二左側加算部42−2Lに代えて第二左側加算部42'−2Lが、第二右側加算部42−2Rに代えて第二右側加算部42'−2Rがそれぞれ設けられた点が異なる。
さらに、第三左側加算部42−3L〜第四右側加算部42−4R、及び現像処理部43−3L〜現像処理部43−4R、及び第三回転処理部44−3L〜第四回転処理部44−4Rが省略された点と、第二回転処理部44−2Lに代えて第二回転処理部44'−2Lが、第二回転処理部44−2Rに代えて第二回転処理部44'−2Rが設けられた点と、第一回転処理部44'−1Lと第一回転処理部44'−1Rが追加された点が異なる。
【0131】
セレクタ41'は、セレクタ41から出力端子TL3〜TR4が省略されたものである。
【0132】
セレクタ41'の出力端子TL1は第一左側加算部42'−1Lに、出力端子TR1は第一右側加算部42'−1Rに、出力端子TL2は第二左側加算部42'−2Lに、出力端子TR2は第二右側加算部42'−2Rにそれぞれ接続されている。
各加算部42'は、加算後の撮像画像を制御部7Cからの指示に応じたタイミングで出力する。
【0133】
各回転処理部44'は、入力された撮像画像を制御部7Cより指示された回転角度だけ回転させる。
【0134】
ここで、制御部7Cには、信号Sa1、信号Sa2により各観察者が位置する方角を表す情報が入力される。これら信号Sa1、Sa2は、図示は省略した操作部により観察者から操作入力させて得た信号であってもよいし、或いは第一表示部6−1、第二表示部6−2の回動角度を検出する検出部を設けて該検出部により検出して得た信号としてもよい。
【0135】
制御部7Cは、これら信号Sa1、Sa2によってそれぞれ入力された各観察者が位置する方角の情報に基づき、第一回転処理部44'−1L〜第二回転処理部44'−2Rにおける画像の回転角度を指示する。本例においても、撮像素子3の光軸Ox回り方向における設置角度は方角=0degの位置が観察の基準位置となるように設定されている。このため、制御部7Cは、第一回転処理部44'−1Lと第一回転処理部44'−1Rには信号Sa1により与えられた方角の角度degと同じ角度degによる回転角度を指示し、第二回転処理部44'−2Lと第二回転処理部44'−2Rには信号Sa2により与えられた方角の角度degと同じ角度degによる回転角度を指示する。
これにより、実際に対象Xを観察したときの対象Xの向きと立体視画像内に映し出される対象Xの向きとを一致させることができる。
【0136】
また、制御部7Cは、信号Sa1、Sa2によりそれぞれ入力された各観察者が位置する方角の情報と、メモリ9に記憶された制御テーブル9aの格納情報とに基づき、瞳分割部22'のシャッタ制御、撮像素子3の撮像タイミングの制御、セレクタ41'の出力端子Tの選択制御、及び第一左側加算部42−1L〜第二右側加算部42−2Rの画像出力タイミングの制御を行う。
以下、これらの制御について説明する。
【0137】
先ず前提として、観察者が位置する方角に応じた左目画像GL、右目画像GRを得るためには、第1の実施の形態の場合と同様に、瞳分割部22'を構成している個々の領域Aの通過像についての撮像画像を時間軸上で個別に取得する。そして、取得した撮像画像を観察者が位置する方角に応じた左目領域、右目領域ごとに加算することが考えられる。
しかしながら、本例のように観察者の移動を許容して、立体視画像の提示を可能とすべき方角が比較的多くなる場合には、上記のように領域Aごとに撮像画像を個別に取得していると撮像素子3による撮像回数も多くなり好ましくない。
【0138】
そこで、第5の実施の形態では、複数の領域Aに光を同時通過させることで撮像回数の低減を図る。
【0139】
図21は、光を同時通過させることが可能な領域Aの組み合わせについて説明するための図であり、図21A図21B図21Cは一方の観察者の位置する方角と他方の観察者が位置する方角の組み合わせがそれぞれ「0deg、135deg」「315deg、225deg」「0deg、180deg」である場合を例示している。
図21Aの場合、0degに位置する一方の観察者にとっての左目領域と右目領域は0deg−180degの軸で分断されるため、左目領域は領域A1〜A4、右目領域は領域A5〜A8となる。また、135degに位置する他方の観察者にとっての左目領域と右目領域は135deg−315degの軸で分断されるため、左目領域は領域A4〜A7、右目領域は領域A8〜A3となる。
これによると、一方の観察者にとっての左目領域(A1〜A4)と他方の観察者にとっての右目領域(A8〜A3)には重複部分(A1〜A3)が生じることが分かる。また、他方の観察者にとっての右目領域(A5〜A8)と他方の観察者にとっての左目領域(A4〜A7)には重複部分(A5〜A7)が生じる。
【0140】
ここで、或る方角に位置する観察者の左目画像GLを適正に得るためには、その観察者にとっての左目領域を構成している領域Aを通過した像と当該観察者の右目領域を構成している領域Aを通過した像とが撮像素子3に同時に撮像されないことを要する(左目側と右目側のクロストーク防止のため)。同様に、或る方角に位置する観察者の右目画像GRを適正に得るためには、その観察者にとっての右目領域を構成している領域Aを通過した像と当該観察者の左目領域を構成している領域Aを通過した像とが撮像素子3に同時に撮像されないことを要する。
上記の重複部分は、それぞれの観察者にとって、左目領域であれば左目領域内に、右目領域であれば右目領域内にそれぞれ収まっている。従って、これらの重複部分を構成する領域Aについては、各観察者の左目画像GLと右目画像GRを適正に得るにあたって、光を同時通過させることができる。
【0141】
このように、各観察者にとっての片目領域同士の重複部分に該当する領域Aについては、光を同時通過させることができる。すなわち、これら重複部分に該当する領域A1は電子シャッタを同時に開状態にできる。
【0142】
図21Aの場合においては、一表示期間を四つの期間t1〜t4に分割し、例えば期間t1では領域A1、A2、A3に形成された第一電子シャッタ22'a、第二電子シャッタ22'b、第三電子シャッタ22'cのみを開状態とし、期間t2では領域A4に形成された第四電子シャッタ22'dのみを開状態とする。また期間t3では領域A5、A6、A7に形成された第五電子シャッタ22'e、第六電子シャッタ22'f、第七電子シャッタ22'gのみを開状態とし、期間t4では領域A8に形成された第八電子シャッタ22'hのみを開状態とする。
そして、期間t1〜t4でそれぞれ得られる撮像画像信号について、以下のようにセレクタ41'の出力端子Tの選択制御を行うことで、観察者ごとに適正な左目画像GL、右目画像GRを生成できる。

t1…TL1及びTR2
t2…TL1及びTL2
t3…TR1及びTL2
t4…TR1及びTR2
【0143】
一方、図21Bの場合は、重複部分は領域A1とA8、領域A2とA3、領域A4とA5、領域A6とA7の四つである。
この場合は、一表示期間を期間t1〜t4に分割し、例えば期間t1では領域A1、A8に形成された第一電子シャッタ22'a、第八電子シャッタ22'hのみを開状態とし、期間t2では領域A2、A3に形成された第二電子シャッタ22'b、第三電子シャッタ22'cのみを開状態とし、期間t3では領域A4、A5に形成された第四電子シャッタ22'd、第五電子シャッタ22'eのみを開状態とし、期間t4では領域A6、A7に形成された第六電子シャッタ22'f、第七電子シャッタ22'gのみを開状態とする。
そして、この場合は、期間t1〜t4でそれぞれ得られる撮像画像信号について以下のようにセレクタ41'の出力端子Tの選択制御を行うことで、観察者ごとに適正な左目画像GL、右目画像GRを生成できる。

t1…TL1及びTL2
t2…TL1及びTR2
t3…TR1及びTR2
t4…TR1及びTL2
【0144】
また、図21Cの場合は、重複部分は領域A1〜A4、領域A5〜A8の二つである。
この場合は、一表示期間の分割数は期間t1と期間t2の二つで済む。例えば期間t1では領域A1〜A4に形成された第一電子シャッタ22'a〜第四電子シャッタ22'dのみを開状態とし、期間t2では領域A5〜A8に形成された第五電子シャッタ22'e〜第八電子シャッタ22'hのみを開状態とする。
そして、この場合は、期間t1、t2でそれぞれ得られる撮像画像信号について以下のようにセレクタ41'の出力端子Tの選択制御を行うことで、観察者ごとに適正な左目画像GL、右目画像GRを生成できる。

t1…TL1及びTR2
t2…TR1及びTL2
【0145】
なお、図21Cのように一表示期間の分割数が「2」で済むのは、それぞれの観察者が位置する方角の角度差が180degとなる場合である。換言すれば、それ以外の場合は一表示期間の分割数は「4」である。
【0146】
説明を図20に戻す。
制御テーブル9aには、各観察者の位置する方角の組み合わせごとに、
a)一表示期間を構成する期間tの数
b)期間tと開状態とすべき領域Aとの対応関係
c)期間tとセレクタ44'において選択されるべき出力端子Tとの対応関係
の各情報が格納されている。
これらa)〜c)の各情報は、図21で説明したような各観察者にとっての片目領域同士の重複部分に光を同時通過させる動作が実現されるように定められている。
【0147】
制御部7Cは、制御テーブル9aに格納された上記a)〜c)の各情報に基づき、瞳分割部22'のシャッタ制御、撮像素子3の撮像タイミングの制御、セレクタ41'の出力端子Tの選択制御、及び第一左側加算部42−1L〜第二右側加算部42−2Rの画像出力タイミングの制御を行う。撮像素子3の撮像タイミングの制御、第一左側加算部42−1L〜第二右側加算部42−2Rの画像出力タイミングの制御については上記a)の情報に基づき行う。
【0148】
これにより、複数の領域Aに光を同時通過させて撮像素子3による撮像回数を低減しつつ、各観察者の左目画像GL、右目画像GRを適正に得ることができる。
【0149】
[5-2.第5の実施の形態のまとめ]

上記のように第5の実施の形態の立体視画像生成装置1Dは、瞳分割部22'は四以上の二の倍数個の領域Aを有し、複数の観察者がそれぞれ位置する方角の情報に基づき、瞳分割部22'の領域Aのうち各観察者の片目領域同士の重複部分に該当する複数の領域Aを入射光が同時通過するように制御を行う制御部7Cを備えている。
これにより、立体視画像を1枚分提示するにあたって必要な撮像素子3による撮像回数が低減される。
従って、撮像素子3のシャッタスピードを長くすることができ、暗い被写体や動きの速い被写体を撮像する上で有利となる。
【0150】
なお、本例のように領域Aの分割数が「8」である場合は、観察者(表示部6)の数が「6」までであれば各観察者の片目領域同士の重複領域が生じ得る。
或いは、第1の実施の形態のように領域Aの分割数が「4」である場合は観察者の数が「2」までであれば各観察者の片目領域同士の重複領域が生じ得る。
従って、領域Aの分割数が「8」である場合は表示部6の数が「6」まで、領域Aの分割数が「4」である場合は表示部6の数が「2」までであればそれぞれ第5の実施の形態の制御を行うことができる。
【0151】
また、上記では、第1の実施の形態のように領域Aごとに光を通過/遮蔽自在に構成された瞳分割部22'を用いた場合を例示したが、第2の実施の形態のように照明部8Aと瞳分割部22Aによって光を通過させる領域Aを選択する構成が採られる場合にも、第5の実施の形態の制御を行うことが可能である。
この場合、制御テーブル9aには、前述したb)の情報(期間tと開状態とすべき領域Aとの対応関係の情報)に代えて、期間tと発光すべきLD82との対応関係の情報を格納しておく。
【0152】
<6.第6の実施の形態>
[6-1.構成及び動作]

図22は、第6の実施の形態の立体視画像生成装置1Eの内部構成を示したブロック図である。
第6の実施の形態は、視差の調整に係るものである。
立体視画像生成装置1Eは、第1の実施の形態の立体視画像生成装置1と比較して光学ユニット2に代えて光学ユニット2Cが、制御部7に代えて制御部7Dが設けられた点が異なる。
光学ユニット2Cは、光学ユニット2と比較して瞳分割部22に代えて瞳分割部22Cが設けられた点が異なる。
【0153】
図23は、瞳分割部22Cの構成についての説明図である。
瞳分割部22Cは、領域Aの分割が径方向にも行われている。具体的に、本例の瞳分割部22Cは、瞳分割部22において領域A1、A2、A3、A4であったそれぞれの領域が径方向に二分割されている。領域A1において、より光軸Oxに近い内側の領域を「領域A1i」、外側の領域を「領域A1o」とする。また、領域A2における内側の領域を「領域A2i」、外側の領域を「領域A2o」とし、領域A3における内側の領域を「領域A3i」、外側の領域を「領域A3o」とし、領域A4における内側の領域を「領域A4i」、外側の領域を「領域A4o」とする。
瞳分割部22Cにおいては、これら領域Aごとに電子シャッタが形成されている。領域A1i、領域A1oに形成された電子シャッタをそれぞれ「第一内側電子シャッタ22Cai」「第一外側電子シャッタ22Cao」とする。領域A2i、領域A2oに形成された電子シャッタをそれぞれ「第二内側電子シャッタ22Cbi」「第二外側電子シャッタ22Cbo」とする。領域A3i、領域A3oに形成された電子シャッタはそれぞれ「第三内側電子シャッタ22Cci」「第三外側電子シャッタ22Cco」とし、領域A4i、領域A4oに形成された電子シャッタはそれぞれ「第四内側電子シャッタ22Cdi」「第四外側電子シャッタ22Cdo」とする。
【0154】
図22において、制御部7Dには、信号Ssによって視差の指示が行われる。この場合、視差の指示は観察者の操作入力により行われ、信号Ssは図示は省略した操作部からの操作入力信号とされている。本例の場合、視差の指示は「大」「小」の二段階で行われる。
なお、本例においては、視差の調整による作用が各観察者(各表示部6)に共通に与えられる。
【0155】
制御部7Dは、視差として「大」が指示されたことに応じて、各領域Aにおける外側領域である領域A1o、A2o、A3o、A4oに形成された第一外側電子シャッタ22Cao、第二外側電子シャッタ22Cbo、第三外側電子シャッタ22Cco、第四外側電子シャッタ22Cdoを順次択一的の閉状態とする制御を行う。
一方、視差として「小」が指示された場合は、各領域Aにおける内側領域である領域A1i、A2i、A3i、A4iに形成された第一内側電子シャッタ22Cai、第二内側電子シャッタ22Cbi、第三内側電子シャッタ22Cci、第四内側電子シャッタ22Cdiを順次択一的の閉状態とする制御を実行する。
【0156】
ここで、図23において、例えば0degに位置する観察者について着目してみると、上記のように視差「大」の指示に応じた制御が行われた場合は、左目画像GLの生成には領域A1oと領域A2oの通過像が用いられ、右目画像GRの生成には領域A3oと領域A4oの通過像が用いられる。このとき、左目側の視点重心は、領域A1oと領域A2oとで形成された領域内にあり、光軸Oxから見て比較的外側に位置する。また、右目側の視点重心は、領域A3oと領域A4oとで形成された領域内にあり、同様に光軸Oxから見て比較的外側に位置する。
これに対し、視差「小」の指示に応じた制御が行われた場合は、左目画像GLの生成には領域A1iと領域A2iの通過像が用いられ、右目画像GRの生成には領域A3iと領域A4iの通過像が用いられる。この場合、左目側の視点重心は領域A1iと領域A2iとで形成された領域内にあり、光軸Oxから見て比較的内側に位置する。また、右目側の視点重心は領域A3iと領域A4iとで形成された領域内にあり、同様に光軸Oxから見て比較的内側に位置する。
【0157】
この点からも理解されるように、上記のような視差「大」「小」の指示に応じた制御が行われることにより、各観察者について左目側の視点重心と右目側の視点重心の間隔を「大」「小」に調整できる。従って、視差の「大」「小」を調整できる。
【0158】
なお、上記では瞳分割部22Cの外側領域のみ、又は内側領域のみを選択することで視差を二段階に調整する例を挙げたが、例えばこれら外側領域のみ、又は内側領域のみの選択に加えて外側領域及び内側領域の選択も加えることで、視差を三段階に調整することもできる。外側領域及び内側領域を選択した場合には、左目側、右目側の視点重心は外側領域のみを選択した場合と内側領域のみを選択した場合の中間付近となる。このため、外側領域のみの選択時の視差を「大」、内側領域のみの選択時の視差を「小」とすると、外側領域及び内側領域の選択によって「中」の視差を実現でき、三段階の調整が可能となる。
【0159】
また、上記では視差の調整を各観察者に共通に作用させる例を挙げたが、視差の調整は観察者ごとに個別に行うことも可能である。
【0160】
ここで、図24を参照して、視差調整の変形例について説明する。
この変形例では、図24Aに示すように領域分割が格子状に行われた瞳分割部22C'を用いる。この場合、領域の分割は、0deg−180degの軸に平行な三本の分割線と90deg−270degの軸に平行な三本の分割線とにより行われ、「16」の領域が分割形成されている。これら0deg−180degの軸に平行な分割線と90deg−270degの軸に平行な分割線のうちそれぞれ中央に位置する各一本は光軸Oxと交差している。
【0161】
瞳分割部22C'において、0deg−180degの軸と平行な方向に配列された複数の領域で成るラインを「縦ラインV」、90deg−270degの軸と平行な方向に配列された複数の領域で成るラインを「横ラインH」と表記する。そして、縦ラインVについては、図24Bに示すように90degの方角から270degの方角にかけて順に「縦ラインV1o」「縦ラインV1i」「縦ラインV2i」「縦ラインV2o」と表記し、横ラインHについては図24Cに示すように0degの方角から180degの方角にかけて順に「横ラインH1o」「横ラインH1i」「横ラインH2i」「横ラインH2o」と表記する。
【0162】
本例においても、観察者の位置する方角は0deg、90deg、180deg、270degで固定されているとする。
本例では、視差の「大」「小」の指示に応じて瞳分割部22C'の各領域に形成された電子シャッタの制御を以下のように行う。

・視差「大」時
期間t1…V1oのみ開
期間t2…H2oのみ開
期間t3…V2oのみ開
期間t4…H1oのみ開
・視差「小」時
期間t1…V1iのみ開
期間t2…H2iのみ開
期間t3…V2iのみ開
期間t4…H1iのみ開

また、セレクタ41の出力端子Tの選択制御は視差の「大」「小」に関わらず以下のように行う。

期間t1…TL1及びTR3
期間t2…TL2及びTR4
期間t3…TR1及びTL3
期間t4…T2R及びTL4

なお、本変形例では加算部42は不要である。
【0163】
上記の変形例によっても、0deg、90deg、180deg、270degに位置するそれぞれの観察者ごとに左目画像GL、右目画像GRを適正に生成しつつ、視差の調整を行うことができる。
【0164】
[6-2.第6の実施の形態のまとめ]

上記のように第6の実施の形態の立体視画像生成装置1Eは、瞳分割部22Cにおける領域Aの分割が瞳分割部22Cの径方向にも行われており、画像選択取得部(撮像素子3及び制御部7)は、瞳分割部22Cにおける径方向に配された各領域Aのうちから一又は複数の領域Aを選択し、選択した領域Aを通過した像についての撮像画像を取得している。
これにより、視点重心の位置が異なる撮像画像が選択的に得られる。
従って、視差の調整を行うことができる。
【0165】
なお、第6の実施の形態による視差調整は、第2〜第5の実施の形態にも適用可能である。
【0166】
<7.変形例>

なお、本技術は上記で説明した具体例に限定されるべきものではなく、多様な変形例が考えられる。
例えば、上記では、瞳分割部における領域Aの分割数が四以上の二の倍数個とされる場合を例示したが、本技術において、領域Aの分割数は少なくとも三以上であればよい。
図25Aは、光軸Ox回り方向に三つの領域A(A1〜A3とする)が分割形成された場合を例示している。この場合、領域A1〜A3は120deg間隔で配置されている。図中に示す領域A1〜A3の位置関係によると、領域A1、A3は0degの方角に位置する観察者の左目領域、右目領域にそれぞれ対応し、領域A1、A2は120degの方角に位置する観察者の右目領域、左目領域にそれぞれ対応し、領域A2、A3は240degの方角に位置する観察者の右目領域、左目領域にそれぞれ対応していることが分かる。この点より、光軸Ox回り方向に三つの領域Aが分割形成された瞳分割部を用いれば、三つの方角のそれぞれについて左目画像GL、右目画像GRを適正に生成できることが分かる。
図25Bは、光軸Ox回り方向に五つの領域A(A1〜A5とする)が分割形成された場合を例示している。この場合、領域A1〜A5は72deg間隔で配置されている。これによれり、0deg、72deg、144deg、216deg、288degの各方角についてそれぞれ左目画像GL、右目画像GRを適正に生成できることが分かる。すなわち、光軸Ox回り方向に五つの領域Aが分割形成された瞳分割部を用いた場合には、五つの方角のそれぞれについて左目画像GL、右目画像GRを適正に生成できる。
このように、異なる方角から対象を観察したときの立体視画像をそれぞれ適正に提示するにあたっては、瞳分割部の領域分割数は三つ以上であればよく、また二の倍数である必要性もない。
【0167】
また、第2の実施の形態では、照明部8Aについて、それぞれが異なる波長による光を発光する複数のLDを選択的に発光させる構成を例示したが、例えば波長可変LDなど駆動電流の制御により発光波長を変化させることが可能な光源を用いた構成とすることもできる。
また、照明部8Aの光源としてはLED(発光ダイオード)など他の発光素子を用いることもできる。
【0168】
また、第5の実施の形態のように観察者の位置する方角の情報の取得が要請される場合、当該方角の情報の取得は、例えばカメラを用いた自動検出により行ってもよい。
【0169】
また、上記では、本技術が手術用顕微鏡に適用される場合を例示したが、本技術は例えば内視鏡などの他の光学製品に対しても好適に適用できる。
【0170】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0171】
<8.本技術>

なお、本技術は、以下のような構成を採ることもできる。
(1)
被写体からの光を集光する集光レンズを介した光が入射されると共に、光軸回り方向に三以上の領域が分割形成された瞳分割部と、
前記瞳分割部を通過した像が結像される撮像素子を有し、前記瞳分割部における異なる前記領域を通過したそれぞれの像についての撮像画像を時分割により又はそれぞれの前記像の少なくとも波長の違いを利用して選択的に取得する画像選択取得部と、を備える
立体視画像生成装置。
(2)
前記瞳分割部は四以上の二の倍数個の前記領域を有し、
前記画像選択取得部が取得した複数の前記撮像画像をそれぞれ異なる組み合わせで加算する画像加算部を備える
前記(1)に記載の立体視画像生成装置。
(3)
前記画像選択取得部は、
前記瞳分割部における異なる前記領域を通過したそれぞれの像についての撮像画像を前記撮像素子によって時分割取得する
前記(1)又は(2)に記載の立体視画像生成装置。
(4)
前記瞳分割部は四以上の二の倍数個の前記領域を有し、
複数の観察者がそれぞれ位置する方角の情報に基づき、前記瞳分割部の前記領域のうち各前記観察者の片目領域同士の重複部分に該当する複数の前記領域を入射光が同時通過するように制御を行う制御部を備える
前記(3)に記載の立体視画像生成装置。
(5)
前記瞳分割部は、前記領域ごとに入射光を通過/遮蔽自在に構成され、
前記画像選択取得部は、
入射光を通過させる前記領域を順次選択し、選択した前記領域を通過した像を前記撮像素子により順次受光する
前記(3)又は(4)に記載の立体視画像生成装置。
(6)
前記瞳分割部は、
それぞれの前記領域が赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に通過させるように構成され、
前記撮像素子は、前記赤色波長帯、前記緑色波長帯、及び前記青色波長帯の光を受光可能に構成されており、
前記画像選択取得部は、
前記被写体に対する照明光として前記瞳分割部における個々の前記領域を通過する各波長帯の光とそれぞれ同波長帯の光を選択的に発光可能に構成された波長可変照明部を有し、前記波長可変照明部によって順次異なる波長帯の光を発光し、前記波長可変照明部の発光波長の切り替えごとに前記瞳分割部を通過した光を前記撮像素子により順次受光する
前記(3)又は(4)に記載の立体視画像生成装置。
(7)
前記瞳分割部は、
それぞれの前記領域が異なる波長帯の光を選択的に通過させるように構成され、
前記撮像素子は、
それぞれが前記瞳分割部における異なる前記領域を通過した光と同波長帯の光を選択的に透過する複数の波長フィルタが撮像面上の異なる位置に配置されている
前記(1)又は(2)に記載の立体視画像生成装置。
(8)
前記瞳分割部は、
それぞれの前記領域が赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に通過させるように構成され、
前記撮像素子は、
それぞれが前記瞳分割部における異なる前記領域を通過した光と同波長帯の光を選択的に透過する複数の波長フィルタが撮像面上の異なる位置に配置されている
前記(7)に記載の立体視画像生成装置。
(9)
前記画像選択取得部は、
異なる前記領域を通過したそれぞれの像についての撮像画像をそれぞれの前記像の波長及び偏光の違いを利用して選択的に取得する
前記(1)又は(2)に記載の立体視画像生成装置。
(10)
前記瞳分割部は、
それぞれが赤色波長帯、緑色波長帯、及び青色波長帯の各波長帯におけるそれぞれ異なる波長帯の光を選択的に透過する複数の瞳側波長フィルタが形成された波長分離素子と、それぞれが異なる偏光を選択的に透過する複数の瞳側偏光板が形成された偏光分離素子とを有し、前記波長分離素子と前記偏光分離素子とが光軸方向に重ねて配置されて前記領域ごとに波長帯と偏光の組み合わせが異なる光を選択的に通過させるように構成されており、
前記撮像素子は、
それぞれが異なる前記瞳側波長フィルタを通過した光と同波長帯の光を選択的に透過する複数の像面側波長フィルタと、それぞれが異なる前記瞳側偏光板を通過した偏光と同じ偏光方向による偏光を選択的に透過する複数の像面側偏光板とを有し、前記像面側波長フィルタと前記像面側偏光板とが撮像面に平行な面内の異なる位置に異なる組み合わせでそれぞれ光軸方向に重ねて配置されている
前記(9)に記載の立体視画像生成装置。
(11)
前記瞳分割部における前記領域の分割が前記瞳分割部の径方向にも行われており、
前記画像選択取得部は、
前記瞳分割部における前記径方向に配された各領域のうちから一又は複数の領域を選択し、選択した領域を通過した像についての撮像画像を取得する
前記(1)乃至(10)の何れかに記載の立体視画像生成装置。
(12)
前記画像選択取得部が取得した撮像画像に基づき得られる左目画像、右目画像を回転させる画像回転処理部を備える
前記(1)乃至(11)の何れかに記載の立体視画像生成装置。
【符号の説明】
【0172】
1,1A〜1E…立体視画像生成装置、2,2',2A〜2C…光学ユニット、22,22',22A〜22C,22C'…瞳分割部、22a〜22d,22'a〜22'h,22Ca〜22Cd…電子シャッタ、22Aa〜22Ad…波長フィルタ、3,3A,3B…撮像素子、3Ba,3Bb…偏光板、4,4A〜4D…左右画像個別生成部、7,7A〜7C…制御部、24…偏光分離素子、25…偏光分離素子
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25