特開 2022-184138 画像処理装置、撮像装置、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022184138

(43)【公開日】2022-12-13

(54)【発明の名称】画像処理装置、撮像装置、制御方法、及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221206BHJP

   H04N 5/225 20060101ALI20221206BHJP

   H04N 13/239 20180101ALI20221206BHJP

   H04N 13/128 20180101ALI20221206BHJP

   G03B 35/10 20210101ALI20221206BHJP

   G03B 15/00 20210101ALN20221206BHJP

【ＦＩ】

H04N5/232

H04N5/225 800

H04N5/225 300

H04N13/239

H04N13/128

G03B35/10

G03B15/00 B

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021091809

(22)【出願日】2021-05-31

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】大嶋 孝治

【テーマコード（参考）】

2H059

5C061

5C122

【Ｆターム（参考）】

2H059AA08

2H059AA13

2H059AA18

5C061AB04

5C061AB06

5C122EA47

5C122FA04

5C122FB05

5C122FC04

5C122FC06

5C122FC07

5C122HA86

5C122HA88

5C122HB01

(57)【要約】

【課題】好適な立体感を提示する両眼立体視用の画像を出力する。
【解決手段】画像処理装置は、被写体について、両眼立体視に係る一対の撮像画像を出力する画像処理装置であって、所定の距離離間して設けられた複数の撮像光学系について、被写体を撮像した撮像画像群を取得する取得手段であって、複数の撮像光学系のうちの少なくとも１つの撮像光学系については、各々異なる瞳領域を通過した光束に係る複数の撮像画像を取得する取得手段と、両眼立体視に係る一対の撮像画像について、設定すべき基線長を決定する決定手段と、決定手段により決定された設定すべき基線長に基づき、取得手段により取得された撮像画像群のうちから、両眼立体視に係る一対の撮像画像を選択して出力する出力手段と、を有することを特徴とする。
【選択図】図５

【特許請求の範囲】

【請求項1】

被写体について、両眼立体視に係る一対の撮像画像を出力する画像処理装置であって、
所定の距離離間して設けられた複数の撮像光学系について、前記被写体を撮像した撮像画像群を取得する取得手段であって、前記複数の撮像光学系のうちの少なくとも１つの撮像光学系については、各々異なる瞳領域を通過した光束に係る複数の撮像画像を取得する取得手段と、
前記両眼立体視に係る一対の撮像画像について、設定すべき基線長を決定する決定手段と、
前記決定手段により決定された前記設定すべき基線長に基づき、前記取得手段により取得された前記撮像画像群のうちから、前記両眼立体視に係る一対の撮像画像を選択して出力する出力手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記出力手段は、前記撮像画像群のうちの異なる撮像光学系について取得された２つの撮像画像を、前記両眼立体視に係る一対の撮像画像として選択することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記出力手段は、前記両眼立体視に係る一対の撮像画像の選択に代えて、前記複数の撮像画像を合成して生成した画像を前記両眼立体視に係る一対の撮像画像として出力する請求項１または２に記載の画像処理装置。

【請求項4】

前記決定手段により決定される前記設定すべき基線長は、前記撮像画像群のそれぞれに対応する瞳領域の重心間距離に基づいて決定されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

被写体について、両眼立体視に係る一対の撮像画像を出力する画像処理装置であって、
前記両眼立体視に係る一対の撮像画像について、設定すべき基線長を決定する決定手段と、
所定の距離離間して設けられた複数の撮像光学系について、前記決定手段により決定された前記設定すべき基線長に基づいて、前記被写体を撮像する撮像素子の画素の読み出し態様を制御する制御手段と、
前記複数の撮像光学系について前記制御手段による制御に基づく前記撮像素子からの読み出しにより取得された２つの撮像画像を、前記両眼立体視に係る一対の撮像画像として出力する出力手段と、
を有し、
前記撮像素子の画素は、対応する撮像光学系の各々異なる瞳領域を通過した光束について読み出しが可能に構成されることを特徴とする画像処理装置。

【請求項6】

前記出力手段は、前記複数の撮像光学系のうちの異なる撮像光学系について取得された２つの撮像画像を、前記両眼立体視に係る一対の撮像画像として出力することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記制御手段による制御に基づく前記撮像素子からの読み出しにより取得される撮像画像は、１つの撮像光学系の各々異なる瞳領域を通過した光束に係る画素出力を合成することで得られた撮像画像を含むことを特徴とする請求項５または６に記載の画像処理装置。

【請求項8】

前記決定手段により決定される前記設定すべき基線長は、前記複数の撮像光学系について前記撮像素子が読み出し可能な光束に対応する瞳領域の重心間距離に基づいて決定されることを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記決定手段は、前記被写体に係る被写体距離に基づいて、前記設定すべき基線長を決定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記決定手段はさらに、前記複数の撮像光学系の撮像設定に基づいて、前記設定すべき基線長を決定することを特徴とする請求項９に記載の画像処理装置。

【請求項11】

請求項１乃至１０のいずれか１項に記載の画像処理装置と、
前記複数の撮像光学系のうちの少なくとも１つの撮像光学系と、
前記少なくとも１つの撮像光学系を介して入射した光束を撮像する撮像手段と、
を有することを特徴とする撮像装置。

【請求項12】

被写体について、両眼立体視に係る一対の撮像画像を出力する画像処理装置の制御方法であって、
所定の距離離間して設けられた複数の撮像光学系について、前記被写体を撮像した撮像画像群を取得する取得工程であって、前記複数の撮像光学系のうちの少なくとも１つの撮像光学系については、各々異なる瞳領域を通過した光束に係る複数の撮像画像を取得する取得工程と、
前記両眼立体視に係る一対の撮像画像について、設定すべき基線長を決定する決定工程と、
前記決定工程において決定された前記設定すべき基線長に基づき、前記取得工程において取得された前記撮像画像群のうちから、前記両眼立体視に係る一対の撮像画像を選択して出力する出力工程と、
を有することを特徴とする制御方法。

【請求項13】

被写体について、両眼立体視に係る一対の撮像画像を出力する画像処理装置の制御方法であって、
前記両眼立体視に係る一対の撮像画像について、設定すべき基線長を決定する決定工程と、
所定の距離離間して設けられた複数の撮像光学系について、前記決定工程において決定された前記設定すべき基線長に基づいて、前記被写体を撮像する撮像素子の画素の読み出し態様を制御する制御工程と、
前記複数の撮像光学系について前記制御工程における制御に基づく前記撮像素子からの読み出しにより取得された２つの撮像画像を、前記両眼立体視に係る一対の撮像画像として出力する出力工程と、
を有し、
前記撮像素子の画素は、対応する撮像光学系の各々異なる瞳領域を通過した光束について読み出しが可能に構成されることを特徴とする制御方法。

【請求項14】

コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に両眼立体視を可能ならしめる画像群を撮像する撮像技術に関する。

【背景技術】

【0002】

基線長だけ離間された位置で被写体を撮像することで、両眼立体視を実現せしめる１組の撮像画像を得ることができる。これらの撮像画像間での見え方の差（視差）により立体感が知覚されるが、主要被写体と撮像装置との距離及び基線長に応じて立体感の知覚度合いは異なる。特許文献１には、１組の撮像画像の撮像に係り撮像装置を移動（スライド）させて２回撮像を行う態様において、主要被写体について好適な立体感が得られる撮像を実現する撮像装置が開示されている。具体的には、特許文献１では、一方の眼球に係る撮像が行われた際に、主要被写体の撮影距離及び焦点距離に基づいて立体感が好適となる基線長が決定される。そして、当該基線長分スライドした位置での撮像に係る予測画像を生成し、当該予測画像とスルー画像とが一致する撮像装置の移動が検出された場合に、他方の眼球に係る撮像が行われている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－０３８６４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１では他方の眼球に係る撮像を行う場合、手動で撮像装置の位置をスライドさせる必要があり、実際に行われた撮像に係る基線長に誤差が生じ、得られた１組の撮像画像により好適な立体感を提示できない可能性があった。また特許文献１のように異なるタイミングで各眼球に係る撮像を行う態様では、各撮像画像に表れる水平ラインやフォーカス状態に差異が生じる可能性もあり、好適な両眼立体視を実現できない可能性もあった。

【0005】

本発明は、上述の問題点に鑑みてなされたものであり、好適な立体感を提示する両眼立体視用の画像を出力する画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

前述の目的を達成するために、本発明の１つの態様の画像処理装置は、被写体について、両眼立体視に係る一対の撮像画像を出力する画像処理装置であって、所定の距離離間して設けられた複数の撮像光学系について、被写体を撮像した撮像画像群を取得する取得手段であって、複数の撮像光学系のうちの少なくとも１つの撮像光学系については、各々異なる瞳領域を通過した光束に係る複数の撮像画像を取得する取得手段と、両眼立体視に係る一対の撮像画像について、設定すべき基線長を決定する決定手段と、決定手段により決定された設定すべき基線長に基づき、取得手段により取得された撮像画像群のうちから、両眼立体視に係る一対の撮像画像を選択して出力する出力手段と、を有することを特徴とする。

【0007】

また本発明の別の態様の画像処理装置は、被写体について、両眼立体視に係る一対の撮像画像を出力する画像処理装置であって、両眼立体視に係る一対の撮像画像について、設定すべき基線長を決定する決定手段と、所定の距離離間して設けられた複数の撮像光学系について、決定手段により決定された設定すべき基線長に基づいて、被写体を撮像する撮像素子の画素の読み出し態様を制御する制御手段と、複数の撮像光学系について制御手段による制御に基づく撮像素子からの読み出しにより取得された２つの撮像画像を、両眼立体視に係る一対の撮像画像として出力する出力手段と、を有し、撮像素子の画素は、対応する撮像光学系の各々異なる瞳領域を通過した光束について読み出しが可能に構成されることを特徴とする。

【発明の効果】

【0008】

このような構成により本発明によれば、好適な立体感を提示する両眼立体視用の画像を出力することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態及び変形例に係る撮像装置１００の機能構成を例示したブロック図

【図2】本発明の実施形態に係る撮像装置１００及び立体視撮影用レンズ２００の外観構成を例示した図

【図3】本発明の実施形態に係る撮像素子１０１の詳細構成路例示したブロック図

【図4】本発明の実施形態に係る撮像素子１０１に結像される光学像を例示した図

【図5】本発明の実施形態及び変形例に係る、両眼立体視に係る一対の撮像画像について採用可能な基線長を説明するための図

【図6】本発明の実施形態及び変形例に係る、採用可能な基線長と被写体距離との関係を例示した図

【図7】本発明の実施形態及び変形例に係る撮像装置１００で実行される画像出力処理を例示したフローチャート

【図8】本発明の変形例に係る、適用可能な構成を説明するための図

【図9】本発明の変形例に係る、適用可能な構成を説明するための別の図

【発明を実施するための形態】

【0010】

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

以下に説明する一実施形態は、画像処理装置の一例としての、複数の撮像光学系を有し、これらを介して入射した光束について瞳分割した画像を撮像可能な撮像装置に、本発明を適用した例を説明する。しかし、本発明は、所定の距離離間して配置された撮像装置から瞳分割画像を取得可能な任意の機器に適用可能である。

【0012】

《撮像装置の構成》
図１は、本実施形態に係る撮像装置１００の機能構成を示したブロック図である。撮像装置１００は、任意の撮像光学系を着脱可能に構成されたレンズ交換式の撮像装置である。本実施形態では両眼立体視に係る一対の撮像画像を得るべく、図２に示されるように２つの撮像光学系２０２Ｌ及びＲが、所定の基線長だけ離間して設けられた立体視撮影用レンズ２００がカメラマウント２０１を介して着脱可能に装着されるものとして説明する。ここで、図２は立体視撮影用レンズ２００が装着された状態の撮像装置１００の前面（撮像時に被写体と対向する面）を例示した正面図である。なお、本実施形態ではレンズ交換式の撮像装置であり、立体視撮影用レンズ２００の装着時において両眼立体視用の画像を撮像及び記録可能に構成されるものとして説明する。

【0013】

制御部１０３は、例えばＲＯＭやＲＡＭ（不図示）を備えたマイクロコンピュータ等の制御回路であり、撮像装置１００が有する各ブロックの動作を制御する。具体的には制御部１０３は、ＲＯＭに格納された各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより、各ブロックの動作を制御する。

【0014】

撮像素子１０１は、例えばＣＭＯＳセンサやＣＣＤ等の撮像素子であり、立体視撮影用レンズ２００を介して入射した光束に基づく撮像画像を出力する。より詳しくは、撮像素子１０１は、撮像に結像された光学像を光電変換することで、アナログ画像信号を出力する。

【0015】

なお、本実施形態では撮像装置１００はレンズ交換式であり、１枚の撮像素子１０１を具備するものとして説明する。即ち、立体視撮影用レンズ２００の装着時において、撮像素子１０１には２つの撮像光学系２０２Ｌ及びＲそれぞれに係る光学像が、分離した領域に結像されて光電変換され、アナログ画像信号が出力される。換言すれば、撮像素子１０１には２つの光軸に係る２つのイメージサークルが形成されるため、出力されるアナログ画像信号は、両眼立体視用の左眼用画像及び右眼用画像に係る信号を含んでおり、これを分離することで視差を有する一対の撮像画像を取得できる。しかしながら、本発明の実施はこれに限られるものではなく、１つの撮像光学系に対して１枚の撮像素子が設けられた撮像系を、２種類具備する態様で撮像装置１００は構成されるものであってもよい。

【0016】

また本実施形態の撮像素子１０１はさらに、各撮像光学系２０２を介して入射する光束についても視差を有する一対の撮像画像を取得可能なよう、光電変換素子（フォトダイオード（ＰＤ））が構成される。より詳しくは、図３に示されるように、撮像素子１０１の１つの画素（以下、単位画素として言及）３００には２つのＰＤ３１１Ａ及びＢが設けられており、当該単位画素３００の位置に入射した光束を瞳分割して撮像可能である。１つの単位画素３００には１枚のマイクロレンズ３１０が設けられており、２つのＰＤ３１１Ａ及びＢのそれぞれは、撮像光学系２０２の射出瞳の異なる瞳領域を通過した光束についての電荷を蓄積する。即ち、各ＰＤ３１１は、単位画素３００を構成する分割画素であり、ＰＤ３１１Ａ及びＢに蓄積された電荷を混合合算する、あるいは読み出したのちに画素値を加算することで、該単位画素３００の全体（１画素）に係る画像信号を得ることもできる。

【0017】

図３に示されるように、撮像素子１０１には複数の単位画素３００が行列上（格子状）に配置されており、そのそれぞれが上述のＰＤ３１１Ａ及びＢを有する。詳細は後述するが、本実施形態の撮像装置１００では、基線長の態様を異ならせた両眼立体視に係る撮像画像群を出力可能とすべく、ＰＤ３１１Ａ及びＢによる瞳分割は立体視撮影用レンズ２００の基線長方向と同方向についてなされる。即ち、各単位画素３００においてＰＤ３１１ＡとＢが配列される方向は、撮像装置１００に装着された状態での立体視撮影用レンズ２００における、撮像光学系２０２ＬとＲが配列される方向と対応するよう構成されている。なお、図３の例では単位画素３００は４行４列の１６個が示されているが、実際には撮像素子１０１には、数百万～数千万の単位画素３００が配置される。

【0018】

各単位画素３００は、行ごとに接続された信号線３０８を介して、行単位で順次選択・駆動されて、それぞれの接続先である垂直出力線３０１に画素信号が出力される。図３では、図の視認性を優先して信号線３０８を０行目のみに示しているが、実際には各行に配線される。電流源３０２は、各垂直出力線３０１に接続されている。

【0019】

垂直出力線３０１に出力された画素信号は、読み出し回路３０３に転送されて読み出され、水平走査回路３０４の駆動により、水平出力線３０５及び出力アンプ回路３０６を経由して、アナログ画像信号として順次出力される。ここで、読み出し回路３０３は、垂直出力線３０１ごとの列回路により構成され、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器等（不図示）を有しており、垂直走査回路３０７によって選択された単位画素３００に係る信号を読み出す。垂直走査回路３０７は、信号線３０８の制御を行い、各単位画素３００の駆動制御を行う。

【0020】

本実施形態の撮像素子１０１は、各ＰＤ３１１の画素信号を選択的に出力可能に構成されており、いずれかの分割画素に係る画素信号を出力するか、２つの分割画素を混合合算した画素信号を出力するかを制御することができるものとする。以下では発明の理解を容易にすべく、両眼立体視用の読み出しに係り、図３において右側の分割画素であるＰＤ３１１Ａからの出力信号をＡ像データ信号、左側の分割画素であるＰＤ３１１Ｂからの出力信号をＢ像データ信号として言及する。ここで、Ａ像データ信号とＢ像データ信号について公知の相関演算等の処理を行って像ずれ量（瞳分割位相差）を導出することで、撮像面位相差に基づく測距を行うこともできる。

【0021】

Ａ像データ信号で構成された撮像画像とＢ像データ信号で構成された撮像画像は、いずれも、２種類の撮像光学系２０２Ｌ及びＲを通過した光束に係る像を含む態様となっている。従って、本実施形態の撮像素子１０１は、２種類の撮像光学系２０２についてそれぞれ瞳分割した２種の撮像画像と合成した１種の撮像画像を得ることができるため、原理的には６種類の位置で撮像された撮像画像を取得可能である。

【0022】

なお、本実施形態では、１つの単位画素３００が有するＰＤ３１１Ａ及びＢについて一対の垂直出力線３０１と読み出し回路３０３の列回路とが設けられるものとして説明するが、本発明の実施はこれに限られるものではない。ＰＤ３１１Ａ及びＢのそれぞれについて、垂直出力線３０１と列回路とが設けられるものであってもよい。

【0023】

撮像素子１０１から出力されたアナログ画像信号は、画像処理部１０２に入力され、Ａ／Ｄ変換処理、各種演算処理、フィルタ処理を含む補正処理、現像処理等が適用され、画像データ（デジタル画像信号）に変換される。画像処理部１０２は、種々の画像処理を実行する画像処理回路であり、撮像に係る各種処理の他、両眼立体視に係る一対の撮像画像の出力に係る処理も行う。

【0024】

メモリ１０４及び記録部１０５は、画像処理部１０２から出力された画像信号（撮像画像）を保持／記録する不揮発性メモリやメモリカード等の記録媒体である。メモリ１０４は、画像処理部１０２における画像処理の作業領域として用いられるものであってもよい。記録部１０５は、通常の撮影や両眼立体視用の撮影がなされた場合に、撮影結果を記録する。

【0025】

表示部１０６は、例えばＬＣＤ等の表示装置と、当該表示装置への画像の表示制御を行う表示回路とを含む構成である。表示部１０６は、例えば撮像時には撮像画像をスルー表示することで、電子ビューファインダとして機能する。また表示部１０６は、撮像設定等の撮像装置１００の動作に係る各種設定の調整に係るＧＵＩを表示する。

【0026】

操作入力部１０７は、例えばモード切替ダイアルやレリーズスイッチ等の撮像装置１００が備える各種操作部材を含むユーザインタフェースである。操作入力部１０７は、これらユーザインタフェースに対する操作入力が検出された場合に、該当の制御信号を制御部１０３に出力する。

【0027】

本実施形態ではハードウェアとして撮像装置１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

【0028】

《両眼立体視用の撮影の概要》
次に、このような構成をもつ撮像装置１００における、両眼立体視用に係る一対の撮像画像（左眼用画像及び右眼用画像）を出力する処理の概要について、図を参照して説明する。

【0029】

立体視撮影用レンズ２００が装着されて撮像が行われる場合、図４に示されるように、撮像素子１０１の有効画素部４００には、撮像光学系２０２Ｌ及びＲに係るイメージサークル４０１Ｌ及びＲが形成される。ここで、図４は、撮像装置１００の前面から撮像光軸方向に撮像素子１０１を見た場合の、有効画素部４００を示している。図示されるように、有効画素部４００には、図中の左右に分かれて、撮像光学系２０２Ｌに係る光束のイメージサークル４０１Ｌが、撮像光学系２０２Ｒに係る光束のイメージサークル４０１Ｒが結像されている。即ち、左眼用画像に係るイメージサークル４０１Ｌは、有効画素部４００中の有効画素部４００Ｌにより撮像され、右眼用画像に係るイメージサークル４０１Ｒは、有効画素部４００中の有効画素部４００Ｒにより撮像される。

【0030】

このとき、各単位画素３００についてＰＤ３１１Ａ及びＢの画素出力を混合合算して取得（以下、合算取得と言及）することで、イメージサークル４０１Ｌ及びＲに係る、一対の撮像画像を得ることができる。当該一対の撮像画像は、図４に示されるように、イメージサークル４０１Ｌとイメージサークル４０１Ｒの中心間距離Ｌ０を基線長として撮像されたものであり、画像間でＬ０に対応する視差を有している。

【0031】

ここで、Ｌ０は立体視撮影用レンズ２００における撮像光学系２０２ＬとＲの距離により確定する要素であり、固定である。従って、合算取得により得られた一対の撮像画像は基線長が固定であるため、両眼立体視した場合に、例えば被写体が遠方にいる場合には提示される立体感が低減する、被写体が近距離にいる場合には立体感が過誇張されることがある。即ち、所定の距離離間して設けられた２つの撮像光学系２０２Ｌ及びＲを用いて両眼立体視用の撮影を行う場合には、基線長が固定であるが故に、被写体距離によっては、得られる１組の撮像画像が、被写体について好適な立体感を提示できない可能性がある。

【0032】

本実施形態の撮像装置１００は、被写体距離に応じた好適な立体感を提示する両眼立体視に係る一対の撮像画像を出力すべく、取得可能である撮像画像群のうちから、左眼用画像及び右眼用画像を選択的に決定することで基線長を調整することができる。以下、図５に示した、イメージサークル４０１ＬとＲの対応する位置（各サークル内の同一位置）に配置される単位画素５００Ｌ及びＲにフォーカスして、撮像される光束に対応する瞳領域と、両眼立体視用に選択した場合の基線長との関係を説明する。

【0033】

まず、単位画素５００Ｌ及びＲについて画素出力を合算取得する場合、当該画素出力に対応する瞳領域はそれぞれ５０１Ｌ、５０１Ｒとなる。また画素出力を合算取得しない場合、単位画素５００Ｌについては、ＰＤ３１１Ｂの画素出力に対応する瞳領域は５０２Ｌ、同ＰＤ３１１Ａの画素出力に対応する瞳領域は５０２Ｒとなる。また単位画素５００Ｒについては、ＰＤ３１１Ｂの画素出力に対応する瞳領域は５０３Ｌ、同ＰＤ３１１Ａの画素出力に対応する瞳領域は５０３Ｒとなる。従って、本実施形態の撮像素子１０１によれば、瞳領域５０１Ｌ、５０１Ｒ、５０２Ｌ、５０２Ｒ、５０３Ｌ及び５０３Ｒに係る、６種類の撮像位置に対応した撮像画像を取得することができる。

【0034】

ここで、両眼立体視に係る一対の撮像画像についての基線長は、これら撮像画像に対応する瞳領域の（空間上の）重心間距離に対応するため、本実施形態では合算取得する場合の基線長Ｌ０を基準として、左眼用画像及び右眼用画像の選択態様を異ならせる。

【0035】

より詳しくは、当該基線長Ｌ０では立体感が低減し得る被写体について一対の撮像画像を出力する際には、画像処理部１０２は、最も長い基線長Ｌ１の組み合わせとなる、瞳領域５０２Ｌと瞳領域５０３Ｒに係る撮像画像を選択する。即ち、この場合、撮像光学系２０２Ｌに対応する有効画素部４００ＬについてはＰＤ３１１Ｂから取得された撮像画像が左眼用画像として選択される。また撮像光学系２０２Ｒに対応する有効画素部４００ＲについてはＰＤ３１１Ａから取得された撮像画像が右眼用画像として選択される。当該選択により、基線長がＬ１に拡張され、左眼用画像及び右眼用画像間での視差が増大するため、提示される立体感を基線長Ｌ０の場合に比べて強調することができる。

【0036】

一方、基線長Ｌ０では立体感が過誇張され得る被写体について一対の撮像画像を出力する際には、画像処理部１０２は、最も短い基線長Ｌ２の組み合わせとなる、瞳領域５０２Ｒと瞳領域５０３Ｌに係る撮像画像を選択する。即ち、この場合、撮像光学系２０２Ｌに対応する有効画素部４００ＬについてはＰＤ３１１Ａから取得された撮像画像が左眼用画像として選択される。また撮像光学系２０２Ｒに対応する有効画素部４００ＲについてはＰＤ３１１Ｂから取得された撮像画像が右眼用画像として選択される。当該選択により、基線長がＬ２に縮小され、左眼用画像及び右眼用画像間での視差が低減するため、提示される立体感を基線長Ｌ０の場合に比べて抑えることができる。

【0037】

このように本実施形態の撮像装置１００では、取得可能な撮像画像群のうちから両眼立体視に係る一対の撮像画像とする画像の選択方法が３種類設けられており、撮像される被写体や撮像設定に基づいて異ならせることが可能である。以下、一対の撮像画像とする画像の選択基準について、図６を参照して説明する。

【0038】

図６は、本実施形態の撮像装置１００において、両眼立体視に係る一対の撮像画像として実現可能な基線長Ｌ０、Ｌ１、Ｌ２の３種類について、好適な立体感を示す被写体の位置関係を示している（図中上方向が奥行き方向）。好適な立体感は、基線長分だけ離間した２つの撮像位置（各射出瞳の重心位置）と被写体とを結んだときに実現される視差角（輻輳角）に応じて定まる。図６では、基線長Ｌ０、Ｌ１、Ｌ２のそれぞれについて、好適な立体感を示す視差角θ０、θ１、θ２となる位置に存在する被写体Ｐ０、Ｐ１、Ｐ２が示されている。即ち、被写体Ｐ０は、撮像光学系２０２Ｌ及びＲについて合算取得により得られた（瞳領域５０１Ｌ及びＲに係る）撮像画像群を両眼立体視に用いた際に、好適な立体感を示す被写体である。被写体Ｐ１は、撮像光学系２０２Ｌについて瞳領域５０２Ｌに係る撮像画像を、撮像光学系２０２Ｒについて瞳領域５０３Ｒに係る撮像画像を用いて両眼立体視を行う際に、好適な立体感を示す被写体である。被写体Ｐ２は、撮像光学系２０２Ｌについて瞳領域５０２Ｒに係る撮像画像を、撮像光学系２０２Ｒについて瞳領域５０３Ｌに係る撮像画像を用いて両眼立体視を行う際に、好適な立体感を示す被写体である。

【0039】

図示されるように、３種類の基線長Ｌ０、Ｌ１、Ｌ２について好適な立体感を提示する被写体Ｐ０、Ｐ１、Ｐ２はそれぞれ被写体距離が異なっている（Ｐ２の被写体距離＜Ｐ０の被写体距離＜Ｐ１の被写体距離）。本実施形態では両眼立体視に係る一対の撮像画像の選択方法を、撮像に係る主被写体の被写体距離に基づいて異ならせるものとして説明する。以下では、被写体Ｐ１までの距離以上の被写体距離を遠距離、被写体Ｐ０までの距離に満たない被写体距離を近距離、これらの間の被写体距離を中距離として言及する。そして、主被写体が遠距離に存在する場合には基線長Ｌ１に係る一対の撮像画像を、中距離に存在する場合には基線長Ｌ０に係る一対の撮像画像を、近距離に存在する場合には基線長Ｌ２に係る一対の撮像画像を、両眼立体視用に選択する。

【0040】

《画像出力処理》
このような構成をもつ本実施形態の撮像装置１００において、両眼立体視に係る撮影に係り実行される画像出力処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０３が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。本画像出力処理は、例えば両眼立体視に係る撮影モードが選択されて撮影指示がなされた際に開始されるものとして説明する。なお、当該撮影に係り、撮像素子１０１からは、ＰＤ３１１Ｌに係る画像信号とＰＤ３１１Ｒに係る画像信号とを分離可能な態様で撮像画像が出力されているものとする。

【0041】

Ｓ７０１で、制御部１０３は、主被写体の被写体距離の情報を取得する。主被写体の被写体距離は、例えば撮影に先立って行われた撮像に係るＡ像データ信号とＢ像データ信号とについて相関演算を行うことで得られるものであってもよいし、その他の手法で取得されるものであってもよい。

【0042】

Ｓ７０２で、制御部１０３は、主被写体の被写体距離が遠距離であるか否かを判断する。即ち、制御部１０３は、主被写体の被写体距離が図６に係る被写体Ｐ１までの距離以上であるか否かを判断する。制御部１０３は、主被写体の被写体距離が遠距離であると判断した場合は処理をＳ７０３に移し、遠距離ではないと判断した場合は処理をＳ７０５に移す。

【0043】

Ｓ７０３で、画像処理部１０２は制御部１０３の制御の下、基線長Ｌ１の関係となる２つの撮像画像を両眼立体視に係る一対の撮像画像として選択する。具体的には、画像処理部１０２は、有効画素部４００Ｌの領域についてＰＤ３１１Ｂから得られた画像信号に基づく撮像画像を、左眼用画像として選択する。また画像処理部１０２は、有効画素部４００Ｒの領域についてＰＤ３１１Ａから得られた画像信号に基づく撮像画像を、右眼用画像として選択する。即ち、画像処理部１０２は、被写体距離が遠距離と判断された主被写体について、両眼立体視に係る一対の撮像の基線長をＬ１とすることを決定し、これに基づき、対応する２つの撮像画像を選択して出力する。

【0044】

Ｓ７０４で、画像処理部１０２は撮像素子１０１の制御の下、Ｓ７０３において選択した一対の撮像画像について、分割画素による画素出力の低下分を補うよう、増幅処理を適用して各撮像画像のゲイン調整を行う。そして画像処理部１０２は、ゲイン調整後の一対の撮像画像を記録部１０５に伝送し、記録させる。

【0045】

一方、Ｓ７０２において主被写体の被写体距離が遠距離ではないと判断した場合、制御部１０３はＳ７０５で、当該被写体距離が中距離であるか否かを判断する。即ち、制御部１０３は、主被写体の被写体距離が図６に係る被写体Ｐ０までの距離以上であるか否かを判断する。制御部１０３は、主被写体の被写体距離が中距離であると判断した場合は処理をＳ７０６に移し、中距離ではない（近距離である）と判断した場合は処理をＳ７０７に移す。

【0046】

Ｓ７０６で、画像処理部１０２は制御部１０３の制御の下、基線長Ｌ０の関係となる２つの撮像画像を両眼立体視に係る一対の撮像画像として選択する。具体的には、画像処理部１０２は、有効画素部４００Ｌ及びＲの領域の双方について、ＰＤ３１１Ａ及びＢから得られた（合算取得された）画像信号に基づく撮像画像を、左眼用画像・右眼用画像として選択する。そして画像処理部１０２は、これら一対の撮像画像を記録部１０５に伝送し、記録させる。即ち、画像処理部１０２は、被写体距離が中距離と判断された主被写体について、両眼立体視に係る一対の撮像の基線長をＬ０とすることを決定し、これに基づき、対応する２つの撮像画像を選択して、あるいは、分割画素に係る撮像画像を合算して出力する。

【0047】

一方Ｓ７０５において主被写体の被写体距離が近距離であると判断された場合、画像処理部１０２は制御部１０３の制御の下、Ｓ７０７で、基線長Ｌ２の関係となる２つの撮像画像を両眼立体視に係る一対の撮像画像として選択する。具体的には、画像処理部１０２は、有効画素部４００Ｌの領域についてＰＤ３１１Ａから得られた画像信号に基づく撮像画像を、左眼用画像として選択する。また画像処理部１０２は、有効画素部４００Ｒの領域についてＰＤ３１１Ｂから得られた画像信号に基づく撮像画像を、右眼用画像として選択する。即ち、画像処理部１０２は、被写体距離が近距離と判断された主被写体について、両眼立体視に係る一対の撮像の基線長をＬ２とすることを決定し、これに基づき、対応する２つの撮像画像を選択して出力する。

【0048】

Ｓ７０８で、画像処理部１０２は撮像素子１０１の制御の下、Ｓ７０７において選択した一対の撮像画像について、分割画素による画素出力の低下分を補うよう、増幅処理を適用して各撮像画像のゲイン調整を行う。そして画像処理部１０２は、ゲイン調整後の一対の撮像画像を記録部１０５に伝送し、記録させる。

【0049】

このようにすることで、被写体距離に応じて基線長の異なる撮像画像を選択的に左眼用画像及び右眼用画像とすることができるため、好適な立体感を提示する両眼立体視用の画像を出力することができる。

【0050】

なお、本実施形態の画像出力処理では、得られた撮像素子１０１の出力から両眼立体視に係る一対の撮像画像とする画像信号を抽出する態様について説明したが、本発明の実施はこれに限られるものではない。例えば、被写体距離に応じて撮像素子１０１の読み出し態様（ＰＤ３１１ＡとＢのいずれから読み出しを行うか）を制御することにより、好適な立体感を提示する両眼立体視用の画像を出力するものであってもよい。より詳しくは、主被写体の被写体距離に基づく設定すべき基線長の決定の結果に基づいて、撮像素子１０１の各単位画素３００について読み出し態様を制御することにより、撮像素子１０１から両眼立体視用の画像のみが出力されるようにしてもよい。

【0051】

例えば、設定すべき基線長がＬ１である場合には、制御部１０３は、有効画素部４００Ｌの領域に含まれる単位画素３００については、ＰＤ３１１Ａのみ読み出し動作を行うよう、撮像素子１０１の動作を制御する。また制御部１０３は、有効画素部４００Ｒの領域に含まれる単位画素３００については、ＰＤ３１１Ｂのみ読み出し動作を行うよう、撮像素子１０１の動作を制御する。また例えば、設定すべき基線長がＬ０である場合には、制御部１０３は、有効画素部４００Ｌ及びＲの領域に含まれる単位画素３００について、ＰＤ３１１Ａ及びＢを合算して読み出すよう、撮像素子１０１の動作を制御する。

【0052】

また、本実施形態では主被写体の被写体距離のみに基づいて、出力する一対の撮像画像に係る基線長を決定する態様について説明したが、本発明の実施はこれに限られるものではない。例えば、立体視撮影用レンズ２００の焦点距離等によって撮像画角は変化し得るものであるため、画像における主被写体の像の大きさに応じて基線長を決定するものとしてもよい。具体的には、焦点距離がＸ１の場合に基線長決定に係る被写体距離の閾値を図６に係るＰ０及びＰ１までの距離に基づいて設定するが、焦点距離がＸ１よりも長いＸ２の場合には閾値を、より短い被写体Ｐ２及びＰ３（＜Ｐ２）までの距離に変更してもよい。

【0053】

また本実施形態では、撮像素子１０１の出力から取得可能な６種類の撮像画像のうちから、撮像光学系２０２Ｌ及びＲの基線長Ｌ０、最長の基線長Ｌ１、及び最短の基線長Ｌ２に対応する組み合わせのいずれかを出力する態様について説明した。しかしながら、本発明の実施はこれに限られるものではなく、とり得るいずれの基線長の組み合わせを出力可能に構成されるものであってもよいことは言うまでもない。即ち、本発明の実施は、撮像光学系２０２Ｌに係る有効画素部４００Ｌの領域の画素出力から左眼用画像を選択し、撮像光学系２０２Ｒに係る有効画素部４００Ｒの領域の画素出力から右眼用画像を選択して出力する態様に限定されるものではない。

【0054】

なお、本実施形態では単位画素３００に設けられたＰＤ３１１Ａ及びＢからの合算取得により、対応する撮像光学系２０２の光軸を重心位置にもつ（分割しない）瞳領域に係る撮像画像を取得して選択可能であるものとして説明した。しかしながら、本発明の実施に際して、１つの撮像光学系の異なる瞳領域に係る画素出力を合成することで取得される撮像画像は、分割しない瞳領域に対応するものに限られるものではない。即ち、例えば重み付け加算等、これら画素出力の合成の態様を異ならせることで、異なる重心位置の瞳領域に係る撮像画像を生成し、両眼立体視に係る一対の撮像画像として出力可能としてもよい。これにより、両眼立体視に係る基線長を細かく調整することができ、より好適な立体感を提示する一対の撮像画像を出力することができる。

【0055】

また本実施形態では、１つの単位画素３００が受光する光束を、立体視撮影用レンズ２００の基線長方向に２分割して取得可能な態様の撮像素子１０１を用いる例について説明したが、本発明の実施はこれに限られるものではない。即ち、瞳分割の態様は、図３の例に限られるものではなく、３つ以上のＰＤ３１１を配置することにより実現されるものであってもよい。これにより、撮像素子１０１の出力からとり得る基線長の組み合わせの種類をより増大させることができる。また瞳分割は、複数のＰＤ３１１を配置することにより行われるものである必要はなく、例えばＰＤ３１１への入射光束を制限する遮光部材を設けることで実現されるものであってもよい。１つの態様では、遮光部材に複数の開口を設け、それぞれを通過した光束を異なる画素出力とし、これらの組み合わせに基づいて両眼立体視用の画像を生成するようにしてもよい。

【0056】

また本実施形態では、主被写体の被写体距離に応じて画像処理部１０２が予め定められた基線長となるよう、左眼用画像及び右眼用画像とする撮像画像を選択するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、提示される立体感についてユーザの手動入力に基づく好み等を反映し、撮像画像の選択を行うものであってもよい。

【0057】

［変形例］
上述した実施形態では、２つの撮像光学系２０２を有する立体視撮影用レンズ２００を装着した１つの撮像装置１００において本発明を実現する態様について説明したが、本発明の実施はこれに限られるものではない。本発明は、所定の距離離間して配置された複数の撮像光学系について、被写体を撮像して得られた撮像画像群に基づいて、両眼立体視に係る一対の撮像画像を出力可能な装置であれば適用可能である。このとき、複数の撮像光学系の全てについて瞳分割した撮像が行われるものである必要はなく、このうちの少なくとも１つの撮像光学系について瞳分割した撮像が行われる態様であれば、本発明は適用可能である。

【0058】

例えば、図８に示されるように、所定の距離離間して配置された、瞳分割した撮像が可能な複数の撮像装置を共働させる態様において、同時の撮像で得られた撮像画像を一方の撮像装置で受信し、本発明が実現されるものであってもよい。あるいは、これらの撮像装置から撮像画像を受信した他の装置において、本発明が実現されるものであってもよい。

【0059】

また上述した実施形態では、２つの撮像光学系２０２が同一の性能を有する、または同一の撮像設定であることを前提に説明したが、本発明の実施はこれに限られるものではない。例えば図９に示されるように、各々異なる性能の複数の撮像系を具備し、このうちの少なくともいずれかの撮像系について瞳分割した撮像が可能であるスマートフォン等の電子機器についても、本発明は適用可能である。このとき、得られる撮像画像群について、撮像素子の画素数や撮像光学系の撮像設定等の相違がある場合には、これらを同条件に変換する処理を行った上で、好適な立体感を提示する基線長に基づいて両眼立体視に係る一対の撮像画像が選択されればよい。

【0060】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0061】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0062】

１００：撮像装置、１０１：撮像素子、１０２：画像処理部、１０３：制御部、１０４：メモリ、１０５：記録部、２００：立体視撮影用レンズ、２０２：撮像光学系、３００：単位画素、３０１：垂直出力線、３０２：電流源、３０３：読み出し回路、３０４：水平走査回路、３０５：水平出力線、３０６：出力アンプ回路、３０７：垂直走査回路、３０８：信号線、３１０：マイクロレンズ、３１１：ＰＤ、４００：有効画素部、４０１：イメージサークル、５００：単位画素、５０１：瞳領域、５０２：瞳領域、５０３：瞳領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】