特許 6039301 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6039301

(24)【登録日】2016年11月11日

(45)【発行日】2016年12月7日

(54)【発明の名称】撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体

(51)【国際特許分類】

   H04N 13/00 20060101AFI20161128BHJP

   H04N 13/02 20060101ALI20161128BHJP

   H04N 5/225 20060101ALI20161128BHJP

【ＦＩ】

   H04N13/00 220

   H04N13/02 320

   H04N5/225 Z

【請求項の数】12

【全頁数】19

(21)【出願番号】特願2012-176657(P2012-176657)

(22)【出願日】2012年8月9日

(65)【公開番号】特開2014-36347(P2014-36347A)

(43)【公開日】2014年2月24日

【審査請求日】2015年7月16日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】上田 敏治

(72)【発明者】

【氏名】岸 隆史

【審査官】 益戸 宏

(56)【参考文献】

【文献】 国際公開第２０１２／００２３０７（ＷＯ，Ａ１）

【文献】 特開２０１２−１４７０４６（ＪＰ，Ａ）

【文献】 特開２０１０−０６８０１８（ＪＰ，Ａ）

【文献】 特開２０１１−１９９７５５（ＪＰ，Ａ）

【文献】 特開２０１１−１９７２７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００ − １５／００

Ｈ０４Ｎ ５／２２５

Ｇ０３Ｂ ３５／００

(57)【特許請求の範囲】

【請求項1】

立体画像を生成する撮像装置であって、
１つのマイクロレンズに対して複数の画素を配置して構成された単位画素セルを備え、該単位画素セルの画素ごとに分離された第１の像信号および第２の像信号を出力する撮像素子と、
前記第１の像信号と前記第２の像信号との間の像ずれ量を視差として算出する視差検出手段と、
基準絞りからの絞りの差に応じた前記視差の差を低減するように補正を行う画像補正手段と、を有することを特徴とする撮像装置。

【請求項2】

前記画像補正手段は、前記絞りに応じた視差倍率を用いて前記補正を行うことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記基準絞りは、開放絞りであり、
前記画像補正手段は、前記視差が前記開放絞りに対応する視差に近づくように前記補正を行うことを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記画像補正手段は、前記視差が撮影開始時の視差に近づくように前記補正を行うことを特徴とする請求項１または２に記載の撮像装置。

【請求項5】

前記撮像装置は、前記画像補正手段による前記補正に用いられるパラメータを、本撮影前に取得するモードを有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項6】

前記画像補正手段は、連続撮影の際には、該連続撮影が終了するまで、撮影初期に設定されたパラメータを用いて前記補正を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項7】

前記画像補正手段は、前記第１の像信号と前記第２の像信号とを取得した際の前記絞りに対応する視差が、前記基準絞りに対応する視差に近づくように前記補正を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項8】

前記画像補正手段は、前記基準絞りからの前記絞りの差に応じて、合焦対象の主被写体とは異なる被写体の視差が増加するように前記補正を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

【請求項9】

請求項１乃至８のいずれか１項に記載の撮像装置と、
光学像を前記撮像素子に結像させる撮像光学系と、を有することを特徴とする撮像システム。

【請求項10】

立体画像を生成する撮像装置の制御方法であって、
１つのマイクロレンズに対して複数の画素を配置して構成された単位画素セルを有する撮像素子を用いて、該単位画素セルの画素ごとに分離された第１の像信号および第２の像信号を出力するステップと、
前記第１の像信号と前記第２の像信号との間の像ずれ量を視差として算出するステップと、
基準絞りからの絞りの差に応じた前記視差の差を低減するように補正を行うステップと、を有することを特徴とする撮像装置の制御方法。

【請求項11】

請求項１０に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。

【請求項12】

コンピュータに、請求項１０に記載の撮像装置の制御方法を実行させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、立体画像を生成する撮像装置に関する。

【背景技術】

【0002】

近年、１つのマイクロレンズに対して複数の画素を配置して構成された単位画素セルを備え（複合画素構造）、単位画素セルの画素ごとに分離された第１の像信号および第２の像信号を出力する撮像素子が提案されている。

【0003】

特許文献１においては、撮像素子の一部を複合画素構造とし、この複合画素を情報取得用（測距用）の画素として用いる構成が開示されている。しかし、情報取得性能（測距性能）を考慮すると、撮像素子の全域を複合画素構造とすることが有効である。このため、撮像素子の全面を複合画素構造とし、複合画素構造における単位画素を、撮影用および情報取得用（測距用）として兼用することが提案されている。

【0004】

さらに近年、複合画素構造の画素を用いて、視差を有する２つの画像（左像、右像）を取得することができる。このため、複眼（複数台）の撮像装置を用いる必要のない、単眼での立体画像撮影装置を実現することも考えられている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４０２７１１３号

【発明の概要】

【発明が解決しようとする課題】

【0006】

複眼（複数台）の撮像装置を用いた場合には、２つの撮像装置（カメラ）がなす輻輳角によって立体感が決定されるため、撮像光学系の絞りを変更しても安定した立体感を得ることができる。

【0007】

しかしながら、単眼での撮像装置を用いて立体画像を得ようとする場合、撮像面上で生じる像ずれ量は、撮像光学系の絞り（絞り径）に応じて変化する。すなわち、同一被写体を撮影した場合でも、絞りを変更することで像ずれ量が変化し、立体感が変化してしまう。

【0008】

そこで本発明は、１つのマイクロレンズに対して複数の画素を配置して構成された単位画素セルを有する撮像素子を用いて立体画像を生成する際に、立体感の絞り依存性を低減する撮像装置、撮像システム、および、撮像装置の制御方法を提供する。また、その撮像装置の制御方法をコンピュータで実行可能なプログラム、および、そのプログラムが記憶された記憶媒体を提供する。

【課題を解決するための手段】

【0009】

本発明の一側面としての撮像装置は、立体画像を生成する撮像装置であって、１つのマイクロレンズに対して複数の画素を配置して構成された単位画素セルを備え、該単位画素セルの画素ごとに分離された第１の像信号および第２の像信号を出力する撮像素子と、前記第１の像信号と前記第２の像信号との間の像ずれ量を視差として算出する視差検出手段と、基準絞りからの絞りの差に応じた前記視差の差を低減するように補正を行う画像補正手段とを有する。

【0010】

本発明の他の側面としての撮像システムは、前記撮像装置と、光学像を前記撮像素子に結像させる撮像光学系とを有する。

【0011】

本発明の他の側面としての撮像装置の制御方法は、立体画像を生成する撮像装置の制御方法であって、１つのマイクロレンズに対して複数の画素を配置して構成された単位画素セルを有する撮像素子を用いて、該単位画素セルの画素ごとに分離された第１の像信号および第２の像信号を出力するステップと、前記第１の像信号と前記第２の像信号との間の像ずれ量を視差として算出するステップと、基準絞りからの絞りの差に応じた前記視差の差を低減するように補正を行うステップとを有する。

【0012】

本発明の他の側面としてのプログラムは、前記撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムである。

【0013】

本発明の他の側面としての記憶媒体は、コンピュータに、前記撮像装置の制御方法を実行させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体である。

【0014】

本発明の他の目的及び特徴は、以下の実施例において説明される。

【発明の効果】

【0015】

本発明によれば、１つのマイクロレンズに対して複数の画素を配置して構成された単位画素セルを有する撮像素子を用いて立体画像を生成する際に、立体感の絞り依存性を低減させる撮像装置、撮像システム、および、撮像装置の制御方法を提供することができる。また、その撮像装置の制御方法をコンピュータで実行可能なプログラム、および、そのプログラムが記憶された記憶媒体を提供することができる。

【図面の簡単な説明】

【0016】

【図1】実施例１における撮像装置の全体構成を示すブロック図である。

【図2】実施例１における撮像素子の単位画素セルの概念図（上面図）である。

【図3】実施例１における撮像素子の画素配置の一例である。

【図4】実施例１における撮像装置の撮影動作を示すフローチャートである。

【図5】実施例１における像ずれ量検出（視差マップ算出）の説明図である。

【図6】実施例１における撮像素子の立体画像撮影（絞り依存）の説明図である。

【図7】実施例１におけるデフォーカス量と像ずれ量との関係図である。

【図8】実施例１におけるデフォーカス量と像ずれ量との関係図（絞り依存）である。

【図9】実施例１における絞り径（Ｆ値）と傾き係数との関係図である。

【図10】実施例１における立体感補正の模式図である。

【図11】実施例１における立体画像データの模式図である。

【図12】実施例２における撮像装置の撮影動作を示すフローチャートである。

【図13】実施例３における撮像装置の撮影動作を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

【実施例1】

【0018】

まず、図１を参照して、本発明の実施例１における撮像装置について説明する。図１は、撮像装置１００（撮像システム）の全体構成を示すブロック図である。撮像装置１００は、立体画像を生成する撮像装置である。と１１０は、撮像素子１１４上に光学像（被写体像）を結像させるレンズ（撮影レンズ）である。１１１は、レンズ１１０を介して撮像素子１１４へ入射する光を制限する絞りである。１１２は、レンズ１１０を介して撮像素子１１４への入射光を遮光するシャッタ（ＳＨ）である。１１３は、レンズ１１０のフォーカス制御や絞り１１１の開口径制御などを行うレンズ制御部である。レンズ１１０、絞り１１１、シャッタ１１２、および、レンズ制御部１１３により、レンズユニット１０１（撮像光学系）が構成される。また撮像装置１００は、レンズユニット１０１および撮像装置本体により構成される。

【0019】

１１４は、レンズユニット１０１を介して得られた光学像を電気信号（アナログ信号）に変換するＣＭＯＳセンサやＣＣＤセンサなどの撮像素子である。撮像素子１１４は、１つのマイクロレンズに対して複数の画素を配置して構成された単位画素セルを備え、単位画素セルの画素ごとに分離された像信号（第１の像信号および第２の像信号）を出力する。このような構成により、単位画素セル毎に異なる像信号を出力することができる。なお、撮像素子１１４の構造の詳細については、図２および図３を参照して後述する。

【0020】

１１６は出力信号処理回路である。出力信号処理回路１１６は、撮像素子１１４から出力されるアナログ信号に対して、オプティカルブラックのレベルを基準レベルに合わせるためＯＢクランプなどの処理を行う。出力信号処理回路１１６は、このアナログ信号をデジタル信号に変換するアナログ・フロント・エンド（ＡＦＥ）や、各画素のデジタル出力を受けて各種補正処理や並び替えなどをデジタル処理するデジタルフロントエンド（ＤＦＥ）などを含む。

【0021】

１１７は、撮像素子１１４および出力信号処理回路１１６に制御信号を供給するタイミング発生回路（ＴＧ）である。１１８は、後段の測距演算（焦点検出演算）および画像処理を行うために、出力信号処理回路１１６の出力を一時的に保存するメモリである。１１９は、メモリ１１８に保存された撮像素子１１４の左右の像信号（像出力）、すなわち出力信号処理回路１１６によりデジタル処理された信号を用いて測距演算を行う測距演算部である。測距演算部１１９は、撮像素子１１４に関して像分離した出力方向における相関演算を行ってレンズ１１０のデフォーカス量を求め、後述のシステム制御回路１５０へデフォーカス量に関する情報を転送する。

【0022】

１２３は、メモリ１１８に保存された撮像素子１１４の左右の像信号に対して相関演算を行って左右像間の対応点での像ずれ量を算出する視差検出手段である。視差検出手段１２３は、各ポイント（対応点）での左右像間の像ずれ量に基づいて周知の視差マップを作成し、左右像間の像ずれ量を求める。なお本実施例において、「左右像間の像ずれ量」または「左右像間の対応点での像ずれ量」を「視差」と定義する。このため、視差検出手段１２３は、第１の像信号と第２の像信号との間の像ずれ量を視差として算出する。また本実施例において、視差検出手段１２３は、測距演算部１１９とは別に（分離して）構成されているが、本実施例はこれに限定されるものではない。例えば、測距演算部１１９の内部に視差検出手段１２３を設け、測距演算の途中で視差マップを作成するように構成してもよい。

【0023】

１２０は画像補正手段（立体感補正手段）である。画像補正手段１２０は、視差検出手段１２３により作成された視差マップの情報、および、撮影時に取得しているレンズ情報（絞り径、焦点距離など）に基づいて、Ａ像（左像）およびＢ像（右像）の各画素の出力を補正して立体感補正を行う。すなわち、画像補正手段１２０は、絞り１１１（絞り径）の変化に応じた視差の変化量を低減するように補正を行う。

【0024】

１１５は補正パラメータ設定手段である。補正パラメータ設定手段１１５は、画像補正手段１２０による補正を行うためのパラメータを設定する。１２１は画像処理回路である。画像処理回路１２１は、出力信号処理回路１１６、メモリ１１８、視差検出手段１２３、および、画像補正手段１２０を介してデジタル処理された像信号（に関するデータ）に対して、所定の色変換などの画像処理を行う。

【0025】

１２４は、左右像の各々の関連情報を、保存形式で生成する関連情報付与手段である。関連情報付与手段１２４は、具体的には、画像補正手段１２０や視差検出手段１２３で得られた立体感補正のための情報を含む関連情報を生成する。１２２はメモリ制御回路である。メモリ制御回路１２２は、画像処理回路１２１により生成された画像データと関連情報付与手段１２４により生成された関連情報とを後述のメモリ１３０へ転送するなどの制御を行う。

【0026】

１２８は、ＴＦＴ方式のＬＣＤからなる画像表示部である。１３０は撮影された静止画像データや動画像データと関連情報とを関連付けて格納するメモリである。１５０は画像処理装置全体を制御するシステム制御回路である。システム制御回路１５０は、周知の信号処理装置（ＣＰＵ）などを内蔵する。なお、一般的な撮像装置には、測光手段、電源制御手段、スイッチ操作部などが含まれるが、本実施例における主要要素ではないため、ここでの説明は省略する。

【0027】

次に、図２を参照して、本実施例における撮像素子１１４について説明する。図２は、撮像素子１１４（複合画素構造の撮像素子）における単位画素セルの概念図（上面図）である。１は、撮像素子１１４の単位画素セルである。１ａ、１ｂは、それぞれ、光電変換素子を含む周知の撮像画素構造を備えた画素である。画素１ａ、１ｂからの信号（第１の像信号、第２の像信号）は、それぞれ個別に出力できるように構成されている。また、画素１ａ、１ｂの上面には、周知の同色のカラーフィルタが配設されている。

【0028】

２はマイクロレンズである。一つのマイクロレンズ２の下に配置されている複数の画素１ａ、１ｂは、同一のマイクロレンズ２を介して入射光を取り込む単位画素セルとして扱われる。画素１ａ、１ｂは、その配置により、瞳分割されて得られた複数の異なる像を得ることができる。なお本実施例において、複合画素構造として単位画素セル１の内部に２つの分離画素が設けられているが、本実施例はこれに限定されるものではない。複合画素構造としては、例えば、４画素、５画素、９画素などの分割で構成された複合画素でもよい。その際、単位画素セル１の分割画素毎の出力を加算して、少なくとも左目用および右目用として分離された２つの画像出力（像信号）を得ることで、同様の効果を得ることが可能である。

【0029】

像信号を左右の画像に分離する方法としては、例えば、縦横２画素構成の４画素の場合、左の上下２画素と右の上下２画素をそれぞれ加算する方法がある。また、左右に分離された一対の２画素のみ（例えば、上の左右２画素など）を用いて左右の画像出力としてもよい。また、縦横２画素および中央１画素の５画素構成の場合、中央１画素を除いて、４画素構成と同様の加算出力などで左右に分離した画像出力を得ることができる。また、縦横３画素の９画素の分割画素においても、左縦３画素および右縦３画素を加算し、中央縦３画素を除くことで、上記と同様に左右の画像に分離した出力を得ることが可能である。

【0030】

次に、図３を参照して、撮像素子１１４の画素配置について説明する。図３は、撮像素子１１４の画素配置の一例を示す図である。２０１は、画像処理の基準となるオプティカルブラック（ＯＢ）画素領域である。２０２は、図２を参照して説明した複数の単位画素セル１が配置され、像信号を取得する有効画素領域である。２０３は、記録画素として基本的に用いられる記録画素領域である。記録画素領域２０３は、有効画素領域２０２の中心と記録画素領域２０３の中心とを一致させた基本的な記録画素領域である。記録画素領域２０３は、有効画素領域２０２よりも狭く設定されている。有効画素領域２０２の端部と記録画素領域２０３の端部との間の領域（記録画素マージン領域Ｍ１、Ｍ２）は、後述の立体感補正制御時に用いられることがある。

【0031】

画像データを保存する際には、記録画素領域２０３のデータのみを保存することで、既に立体感調整が行われた画像データを保存することが好ましい。ただし、一般的に記録画素領域２０３の保存は、後処理の不要なマルチピクチャーフォーマット（ＭＰＯ）、ＪＰＥＧ、動画ファイル（ＡＶＩファイルなど）などで行われることが好ましい。記録画素領域２０３の保存する場合、全てのファイルを記録画素領域２０３のみを保存するだけでなく、例えば、ＲＡＷ形式のファイル保存時には有効画素領域２０２や全画素領域を保存してもよい。その際、関連情報として、立体感調整を行う場合の撮影光学系の絞り情報や焦点距離情報などの立体感補正関連の情報を付与して保存する。関連情報の付与については、図１１等を参照して後述する。

【0032】

次に、図４を参照して、本実施例における撮像装置１００の撮影動作について説明する。図４は、撮像装置１００の撮影動作を示すフローチャートである。本フローは、不図示の撮影開始スイッチＳＷ（ライブビュー開始スイッチ、撮影準備スイッチなど）がオンになることで開始する。図４の各ステップは、システム制御回路１５０の指令に基づいて実行される。

【0033】

まずステップＳ３０１において、本撮影前における測距および測光を行うための予備撮影を行う。予備撮影は、図２を参照して説明した単位画素セル１で分割された出力信号（Ａ像、Ｂ像）に基づいて、測距演算部１１９が現在のピント位置（デフォーカス量）を算出することで行われる。続いてステップＳ３０２において、システム制御回路１５０は、ステップＳ３０１で算出されたデフォーカス量に基づいて合焦位置を求める。またレンズ制御部１１３は、合焦目標に向かってレンズ１１０を駆動させるフォーカス動作を行う。そしてステップＳ３０３において、ステップＳ３０１で得られた情報に基づいて被写体露出情報を得るための測光動作が行われる。続いてステップＳ３０４において、ステップＳ３０３で得られた被写体露出情報に基づいて、本撮影時の適正のシャッタ秒時などの撮影条件を決定する。ステップＳ３０４において決定された撮影条件（レンズユニット１０１に関する情報）、具体的には、絞り、焦点距離、レンズ固有情報なども、不図示のメモリに記憶される。

【0034】

次にステップＳ３０５において、撮影スイッチＳＷ２（静止画記録スイッチ、動画記録スイッチなど）がオンされたか否かを確認する。撮影スイッチＳＷ２がオンされている場合には、ステップＳ３０７に移行する。一方、スイッチＳＷ２がオンされていない場合には、ステップＳ３０６へ移行する。ステップＳ３０６では、撮影開始時にオンされている撮影開始スイッチＳＷがオフされたか否かを確認する。撮影開始スイッチＳＷがオフされている場合には撮影動作を終了する。一方、撮影開始スイッチＳＷがオンの状態を維持している場合にはステップＳ３０１へ移行し、再度、予備撮影を行う。

【0035】

ステップＳ３０７において、ステップＳ３０４で決定された撮影条件に従い、シャッタ制御や撮像素子１１４の蓄積や読み出し動作などの撮影動作を行う。なお、動画撮影の場合など、フレーム毎にメカニカルな遮光を行うための時間を確保することができないことがある。このため、撮像素子１１４の駆動（スリットローリングシャッター駆動）を行い、常にシャッタ１１２は開いたままで動作する場合もある。読み出された出力信号は、左右像のそれぞれについて、メモリ１１８に一時的に保存される。

【0036】

続いてステップＳ３０８において、視差検出手段１２３は左像（Ａ像）と右像（Ｂ像）間の対応点の像ずれ量（視差）を検出し、視差マップを作成する。このような視差の検出（像ずれ量の検出）は、ステップＳ３０７にて撮像素子１１４から読み出されて出力信号処理回路１１６を介してメモリ１１８に一時的に保存されている画像に基づいて行われる。なお、ステップＳ３０８における像ずれ量の検出については、図５を参照して後述する。

【0037】

続いてステップＳ３５１において、測距演算部１１９は、ステップＳ３０７にて撮影された画像の相関演算などを行ってデフォーカス量を求め、このデフォーカス量を次フレーム撮影時の測距データとして不図示のメモリに保存する。なお本実施例においては、測距演算部１１９と視差検出手段１２３とを別構成としているため、ステップＳ３０８とステップＳ３５１とを個別動作として説明している。ただし、視差検出手段１２３の検出結果は測距動作にも使用可能であるため、測距動作の中での一部の情報として視差検出を行い、検出した視差を測距情報に流用してもよい。

【0038】

次にステップＳ３０９において、画像補正手段１２０は、ステップＳ３０８にて作成した視差マップ、および、ステップＳ３０４にて記憶した撮影条件（レンズユニット１０１に関する情報）に基づいて、単位画素のそれぞれの適正な補正量を求める。そして画像補正手段１２０は、この補正量に基づいて、撮影されたＡ像、Ｂ像に対して視差不足分を補うように立体感補正処理を行う。立体感補正処理の詳細については、図６乃至図１０を参照して後述する。

【0039】

続いてステップＳ３１０において、画像処理回路１２１は、ステップＳ３０９における立体感補正処理後のＡ像、Ｂ像のそれぞれに対して、色変換などの画像処理を行う。画像処理回路１２１は、この画像処理によりＪＰＥＧなどへの現像、画像サイズ切り出し、および、圧縮処理を行い、Ａ像、Ｂ像のマルチピクチャーフォーマットによる保存を行う。すなわち、この画像処理により、Ａ像、Ｂ像の立体感補正後（立体感調整後）の画像が作成されることになる。

【0040】

続いてステップＳ３１１において、関連情報付与手段１２４は、立体感補正処理に関する情報を含む画像情報および撮影関連情報を補正パラメータ設定手段１１５などから読み出す。そして関連情報付与手段１２４は、関連情報を生成し、ステップＳ３１０で作成した画像に関連情報を付与したデータを作成する。

【0041】

続いてステップＳ３１２において、メモリ制御回路１２２は、ステップＳ３１０の画像処理後のデータに対してステップＳ３１１にて生成された関連情報を付与して得られたデータを、メモリ１３０に転送して記録する。このデータをＲＡＷ画像で記録する場合、ステップＳ３１０における画像記録は立体感補正を行わない状態（未処理状態）で、ステップＳ３１１での関連情報として視差マップ情報や撮影レンズ関連情報を記録する。このような構成により、画像保存後に、表示装置にて立体感補正を行う際に有用な情報として扱うことも可能となる。なお、本実施例はＲＡＷ画像に限定されるものではなく、ＪＰＥＧ形式などの画像においても関連情報を付与してもよい。

【0042】

次にステップＳ３１３において、システム制御回路１５０は、撮影開始スイッチＳＷがオフされたか否かを判定する。撮影開始スイッチＳＷがオフされていない場合、撮影が継続されるものとしてステップＳ３０２に戻る。そしてシステム制御回路１５０は、直前のステップＳ３５１で測距演算部１１９により算出されたデフォーカス量に基づいて、合焦位置を求める。そしてレンズ制御部１１３は、合焦目標に向かってレンズ１１０を駆動させるフォーカス動作を行う。一方、ステップＳ３１３において、撮影開始スイッチＳＷがオフされている場合、本フローの撮影動作を終了し、待機状態に戻る。

【0043】

次に、図５を参照して、図４中のステップＳ３０８における像ずれ量の検出（視差マップの作成）について説明する。図５は、像ずれ量の検出（視差マップの作成）の説明図である。ここで視差マップとは、Ａ像（左像）とＢ像（右像）との間で、分割瞳による光束の違いに応じて生じる撮像素子１１４上での対応点のずれ（像ずれ量）に基づいて、それぞれの対応点の視差を求めるためのデータである。このデータを利用することにより、撮影光学系のデフォーカス量や、被写体の距離などを推定することができる。視差マップの作成方法としては、部分画像（全画像を所定の領域にブロック分割した各ブロックの画像）毎に左右像（Ａ像、Ｂ像）の面積相関値を算出する「ステレオマッチング法」などが一般的に用いられる。

【0044】

ステレオマッチング法としては種々の方法が存在するが、本実施例では、差分和を用いた単純なテンプレートマッチング法を特徴点の対応付けに用いた場合について説明する。図５（ａ）、（ｂ）は、Ａ像（左像）、Ｂ像（右像）をそれぞれ示す。なお、図５（ａ）は画像内の各画素点を示しているが、図５（ｂ）は説明の便宜上、不要な画素点は省略している。図５（ａ）、（ｂ）に示されるように、撮影画像の視点位置が左側に相当するＡ像（左像）の部分画像を基準画像４０１、視点位置が右側に相当するＢ像（右像）の部分画像を参照画像４０２とそれぞれ設定して、テンプレートマッチングを行う。本実施例においては、同一の単位画素セル１内を左右像（Ａ像、Ｂ像）に分割しているため、基本的にはｘ方向の一次元ずれしか存在しない。このため、本実施例はでは一次元の相関について説明するが、二次元ずれについても適用可能である。

【0045】

まず、基準画像４０１中の特定の点を注目画素４０４（ｘ，ｙ）として選択する。そして、注目画素４０４を中心とした所定サイズの領域をテンプレート４０３として切り出す。次に、大まかな視点の移動量を考慮して、参照画像４０２内の対応点探索領域４０７を任意に設定する。そして、対応点探索領域４０７内に存在する参照画素４０５を順次選択するとともに、参照画素４０５を中心としたテンプレート４０３と同一サイズのウィンドウ領域４０６について、基準画像４０１内のテンプレート４０３との類似度を算出する。注目画素４０４の類似度の算出は、対応点探索領域４０７内について、ウィンドウ領域４０６を移動させながら、順次実施される。

【0046】

対応点候補の近傍の類似度は、以下の式（１）で表されるように、画素値の差の二乗和で計算できる。

【0047】

【数1】

【0048】

ここで、（ｘ，ｙ）は左像（Ａ像）における注目画素４０４の位置、Ｉ（ｘ，ｙ）は左像（Ａ像）における注目画素４０４の画像信号である。（ｘｂ＋ｉ，ｙ）は右像（Ｂ像）における参照画素４０５の位置、Ｉ０（ｘｂ＋ｉ，ｙ）は右像（Ｂ像）における参照画素４０５の画像信号である。Ｋは対応点探索領域４０７である。ＪＳＤＤは「残差平方和」と呼ばれ、各画素値が完全に一致したとき０となる。したがって、注目画素４０４に対応した類似度ＪＳＤＤが最小となる参照画素４０５を、対応点（ｘｍｉｎ，ｙ）として決定する。そして、類似度の算出に用いられ他注目画素４０４（ｘ，ｙ）と、決定した対応点（ｘｍｉｎ，ｙ）との水平方向のずれＸ＝ｘ−ｘｍｉｎを求める。

【0049】

以上のようなテンプレートマッチング処理により、Ａ像（左像）を基準としたＢ像（右像）の対応情報が求められ、注目画素の座標と対応点の座標との水平方向のずれである差Ｘ（＝ｘ−ｘｍｉｎ）を、左右像間の像ずれ量として取得する。この演算を各単位画素セルに対して実施して各画素セルの位置に配置したものが視差マップである。なお本実施例は、上述の方法による像ずれ量算出に限定されるものではなく、マッチング対象となる２つの視点画像における画素ごとの像ずれ量を算出可能な方法であれば、他の方法を用いてもよい。

【0050】

次に、図６乃至図１０を参照して、本実施例における立体感補正に関するパラメータの算出について説明する。立体感補正は、図５を参照して説明した像ずれ量（視差）に対して、基準とする絞り径相当の像ずれ量（視差）になるように、絞りに依存する係数を掛けた画像に補正するために行われる。

【0051】

図６（ａ）、（ｂ）は、撮像素子１１４の立体画像撮影（絞り依存）の説明図であり、被写体と撮像光学系によるピント位置と撮像面の結像状態との関係を示している。図６（ａ）、（ｂ）では、焦点距離ｐにおいて、図６（ａ）の絞り径ｄ１、および、図６（ｂ）の絞り径ｄ２で、丸印で示される主被写体に合焦している状態がそれぞれ示されている。画素１ａ、１ｂに対する被写体上からの光束は、撮影光学系の中のａ画素に対応する分割瞳を通ってａ画素に入射する光束と、撮影光学系の中のｂ画素に対応する分割瞳を通ってｂ画素に入射する光束とにそれぞれ分割される。これらの２つの光束は、被写体上の同一点から入射しているため、撮影光学系のピントが合った主被写体からの光束は、破線で示されるように、同一のマイクロレンズ２を通過して撮像素子１１４上の１点に到達する。したがって、Ａ像（左像）とＢ像（右像）は、撮像素子１１４上では略一致する。図６（ａ）、（ｂ）では、Ａ像（左像）、Ｂ像（右像）ともに単位画素セルＰ７に結像している。

【0052】

一方、三角印で示される遠景被写体からの入射光束は、実線で示されるように、結像点が撮影光学系側に存在する。このため、撮像面がピント位置より後ろに存在する、いわゆる後ピン状態となる。後ピン状態では、ａ画素、ｂ画素の光束の到達位置が互いにずれ、Ａ像（左像）とＢ像（右像）には対応点のずれ（視差）が生じる。図６（ａ）では、Ａ像（左像）はＰ９、Ｂ像（右像）はＰ５に結像している。また図６（ｂ）では、Ａ像（左像）はＰ８、Ｂ像（右像）はＰ６にそれぞれ結像している。

【0053】

図７は、デフォーカス量と左右像間の像ずれ量（視差）との関係図であり、図６（ａ）の状態における関係を示している。図７中の横軸はデフォーカス量を示し、縦軸は像ずれ量を示している。図７に示されるように、デフォーカス量と左右像間の像ずれ量は比例関係となっている。デフォーカス量は１／距離に比例するため、デフォーカス量を求めることにより距離を算出することができる。デフォーカス量をＤ、左右像間の像ずれ量をＸとすると、以下の式（２）が成立する。

【0054】

Ｄ＝Ｋ×Ｘ＋Ｈ … （２）
ここで、Ｈは過焦点オフセット、Ｋは係数（傾き係数）である。係数Ｋは、レンズユニット１０１の絞り１１１に依存する左右像間の分割瞳の重心間距離Ｂ（図６（ａ）ではＢ１、図６（ｂ）ではＢ２）と、レンズ１１０と撮像素子１１４との焦点距離ｐから、以下の式（３）のように算出される。

【0055】

Ｋ＝Ｂ／ｐ … （３）
図８は、図７の関係に基づいて、図６（ａ）、（ｂ）のそれぞれの状態におけるデフォーカス量Ｄと左右像間の像ずれ量（視差）との関係図である。本実施例では、図６（ａ）の絞り径ｄ１を立体感補正目標である基準の条件とし、絞り径ｄ１は、撮影時に使用している撮影光学系（レンズユニット１０１）の設定可能な最大の絞り径（開放絞り）であるとする。ここで、開放絞りとする理由は、装着された撮影光学系（レンズユニット１０１）の中で設定可能な最大の像ずれ量（視差）となる条件であるためである。本実施例において、画像補正手段１２０は、視差が絞り１１１の開放絞り時の視差になるように、または、開放絞り時の視差に近づくように補正を行う。

【0056】

図８に示されるように、図６（ａ）の絞り径ｄ１の状態が傾き係数Ｋ１、図６（ｂ）の絞り径ｄ２の状態が傾き係数Ｋ２をそれぞれ有する。このように、丸印で示される合焦点では、絞り径ｄ１、ｄ２に依存せず左右像間の像ずれ量（視差）は生じない。一方、後ピン状態（三角印）や前ピン状態（四角印）では、絞り径ｄ１、ｄ２に応じて左右像間の像ずれ量（視差）は異なる。

【0057】

具体的には、図６（ａ）、（ｂ）の後ピン状態（三角印）の左右像間の像ずれ量Ｘ１、Ｘ２（視差）の関係は、Ｘ１＞Ｘ２となる。このとき、傾き係数Ｋ２を傾き係数Ｋ１に合わせるための立体感補正係数Ｚは、以下の式（４）のように設定される。

【0058】

Ｚ＝Ｘ１／Ｘ２＝Ｂ１／Ｂ２＝Ｋ１／Ｋ２ … （４）
すなわち、基準となる絞り径ｄ１の傾き係数Ｋ１、および、実際に撮影した絞り径ｄ２での傾き係数Ｋ２に基づいて、絞り１１１に依存する像ずれ量（視差）の補正倍率（視差倍率）である立体感補正係数Ｚを求める。立体感補正係数Ｚ（視差倍率）を用いることにより、絞り径に依存せずに、左右間の像ずれ量（視差）を得ることができる。

【0059】

図９は、絞り径（Ｆ値）と傾き係数Ｋとの関係図であり、焦点距離ｐが５０ｍｍの場合を示している。絞り径Ｆ５．６で撮影した画像を、Ｆ１．８相当で撮影した像ずれ量（視差）に補正する場合、立体感補正係数Ｚ＝１．８０／０．７＝２．５８を用いて補正を行えばよい。なお、傾き係数Ｋは、絞り径、焦点距離、撮像素子の光強度分布などのデータを予め記憶しておくことにより演算で求めることができる。ただし、実際は使用するレンズの種類に応じて、レンズの収差や構造によるケラレなどが異なるため、レンズ毎（絞り毎）にデータを予め記憶しておくことが好ましい。本実施例において、焦点距離ｐとして説明しているが、実際のレンズは複数枚のレンズを組み合わせた構造を有する。このため、焦点距離ｐを射出瞳距離として計算することにより、より高精度の結果が得られる。

【0060】

図５で測定した左右像間の像ずれ量Ｘ（視差）、図６乃至図９を参照して説明した立体感補正係数Ｚ、および、補正目標の像ずれ量Ｘ’（目標視差）の関係は、以下の式（５）のように表される。

【0061】

Ｘ’＝Ｘ×Ｚ … （５）
すなわち、左右間の像ずれ量Ｘ（視差）が、補正目標の像ずれ量Ｘ’（視差）になるように、各々の画素の像ずれ量（視差）を水平方向にＺ倍だけ拡大した画像に補正することにより、立体感が補正される。以上のように、本実施例では、立体感を補正するためのパラメータ（立体感補正係数Ｚ）を、レンズユニット１０１（撮影光学系）の絞り情報に基づいて取得する。

【0062】

図１０は、本実施例における立体感補正の模式図である。図１０（１ａ）は、撮像装置に対する被写体位置関係を示す上視図である。主被写体（丸印）に対して、遠景被写体（三角印）が存在し、撮影光学系は主被写体にピントが合うように制御されている。図１０（１ｂ）は、撮像装置から被写体を正面に見た場合を示しており、２Ｄ撮影（二次元撮影）の場合には、本図に示されるように記録される。

【0063】

図１０（２ａ）〜（２ｃ）は、各々の被写体が同一ライン上にあるとして模式的に撮像素子のＡ像（左像）、Ｂ像（右像）を示す図である。図１０（２ａ）は基準となる絞り径ｄ１（絞り径大）の立体感補正前、図１０（２ｂ）は絞り径ｄ２（絞り径小）の立体感補正前、図１０（２ｃ）は絞り径ｄ２（絞り径小）の立体感補正後の状態をそれぞれ示している。図１０（２ａ）は、主被写体（丸印）の像ずれはなく、遠景被写体（三角印）の左右像間の像ずれ量Ｘ１を有する。一方、図１０（２ｂ）は主被写体（丸印）の像ずれはなく、遠景被写体（三角印）の左右像間の像ずれ量はＸ１より小さいＸ２となる。この際、図１０（２ａ）の遠景被写体（三角印）は、図１０（２ｂ）の遠景被写体（三角印）よりボケた像となっている可能性がある。図１０（２ｃ）は、図１０（２ｂ）に対して立体感補正を行って得られた状態を示している。図１０（２ｃ）は、Ａ像（左像）およびＢ像（右像）の対応被写体に、各々、図５乃至図９の方法を用いて、左右像間の像ずれ量Ｘに対して、絞り径に応じた立体感補正係数Ｚを掛けた状態である。

【0064】

図１０（３ａ）〜（３ｃ）は、図１０（２ａ）〜（２ｃ）のように撮影および立体感補正がなされた画像を表示した場合、観測者が視認できる立体感について示す模式図（上視図）である。図１０（３ａ）は、主被写体に像ずれがないため、主被写体は、基準面となる表示装置面上に存在するように見える。一方、遠景被写体は、絞り径ｄ１に応じた、左右像間の像ずれ量（視差）から発生する左目の視点と右目の視点の延長線上にある交差ポイント（クロスポイント）が表示装置面より奥に発生するため、奥まった立体感が得られる。また、図１０（３ｂ）において、遠景被写体は、絞り径ｄ２に応じたクロスポイントは表示装置面より奥に発生するが、図１０（３ａ）と比較して、表示装置面に近い位置にクロスポイントがある。このため、図１０（３ｂ）の立体感は、図１０（３ａ）と比較して低い。

【0065】

一方、図１０（３ｃ）では、表示装置面上の像に対して立体感補正がなされている。このため、遠景被写体のクロスポイントは、基準となる絞り径ｄ１での撮影時と略同等となる。したがって、絞り径ｄ２での撮影でも、大きい絞り径ｄ１と同様の立体感を得ることができる。小さい絞り径ｄ２のほうが、基準となる絞り径ｄ１より被写界深度が深いため、よりピントの合った奥行き感を得ることが可能である。なお、ここでは遠景被写体について説明したが、近景被写体についても同様の補正をすることで、所望の絞り径で発生する立体感と同様の浮き出し感を得ることができる。

【0066】

図１１は、図４におけるステップＳ３１１、Ｓ３１２を参照して説明した、画像データおよび関連情報を含む立体画像データの模式図である。図１１（ａ）において、６０１は一組の立体画像として撮影された立体画像データである。像ずれ量が補正された左像データ６０２Ｌおよび右像データ６０２Ｒが立体画像データ内に保存されている。６０３は、立体画像データ６０１の関連情報である。関連情報６０３には、前述の像ずれ量情報から決定された立体感補正のための情報（例えば、絞り径ｄ、立体感補正係数Ｚなど）が含まれる。また、関連情報６０３は、シャッタ秒時、フレームレート、撮影レンズ情報（焦点距離、射出瞳距離、Ｆ値、開放Ｆ値）など、撮影に関する他の情報を含んでもよい。ここでは、関連情報６０３を左像データ６０２Ｌおよび右像データ６０２Ｒを含めて一つの領域で示しているが、関連情報６０３は、左像専用領域および右像専用領域の別領域にそれぞれ保存してもよい。

【0067】

図１１（ｂ）は、複数の形式の画像ファイルを関連付けた場合を示している。図１１（ｂ）において、６１１は一組の立体画像として撮影された画像（左右像）のデータ（立体画像データ）である。６１２、６１４は、撮影された画像（左右像）のデータをそれぞれ異なる形式で保存された画像データである。例えば、６１２は第１の形式としてＪＰＥＧ、６１４は第２の形式としてＲＡＷという異なる形式で保存された画像データである。各々の画像データ６１２、６１４には、左像データ６１２Ｌ、６１４Ｌ、右像データ６１２Ｒ、６１４Ｒが含まれる。なお、各々の形式で保存されている画像データの画像サイズは同様である必要はなく、例えば、画像データ６１２は像ずれ量を補正した記録画素領域の画像データであり、画像データ６１４は像ずれ量を補正していない有効画素領域の画像データであってもよい。

【0068】

６１３は第１の形式で保存されている立体画像データ６１１の関連情報、６１５は第２形式で保存されている立体画像データ６１１の関連情報である。関連情報６１３、６１５には、前述の像ずれ量情報から決定された立体感補正のための情報（例えば、立体感補正係数Ｚなど）が含まれる。図１１（ａ）中の関連情報６０３と同様に、シャッタ秒時、フレームレート、撮影レンズ情報（絞り径（Ｆ値）、焦点距離、射出瞳距離、開放Ｆ値）など、撮影に関する他の情報を含んでもよい。なお、同一の画像の異形式情報を保存する場合、各々の形式での関連情報は同一内容である必要はない。例えば、立体感補正のための情報も、第１の形式では立体感補正係数Ｚのみを保存し、第２の形式では絞り径（Ｆ値）と立体感補正係数Ｚの両方を保存するようにしてもよい。

【0069】

図１１において、一組の立体画像として撮影された画像データ（左右像）において左右像の像ずれ量（視差）が補正されているが、本実施例はこれに限定されるものではない。例えば、画像記録時に、撮影レンズ情報（焦点距離、射出瞳距離、Ｆ値、開放Ｆ値など）や立体感補正係数Ｚなどの立体感補正に関連する情報を立体画像データに付与することで、表示装置側で、撮影時の情報の所望の像ずれ量（視差）を補正することもできる。このため、保存する画像データ（左右像）は左右像の像ずれ量を補正している必要はない。すなわち、図４のステップＳ３１０における立体感補正処理動作で補正画像作成を行わない場合があってもよい。

【0070】

なお本実施例において、立体感の基準（補正目標）となる絞り径ｄ１は、撮影に使用する撮影光学系における開放絞りとして説明したが、本実施例はこれに限定されるものではない。撮像装置１００は、例えば、所望の絞り値を基準として設定できるモードを有していてもよい。また、絞り径ｄ１は、撮影に使用しているレンズに関わらず、焦点距離と絞り径の理論値や、他のレンズでの所定絞り径を基準として補正してもよい。この方法によれば、撮影光学系での開放絞り以上の像ずれ量（視差）を発生させることも可能となる。

【0071】

以上のとおり、本実施例によれば、分割画素を用いて測距動作と立体画像を得る撮像装置において、所定距離被写体相当の像ずれ量分の画像シフトを行うことができる。このため、主被写体（合焦位置）に擬似的な像ずれを与え、主被写体に立体感を付与することが可能となる。

【実施例2】

【0072】

次に、本発明の実施例２における撮像装置について説明する。実施例１では、主に単写による撮影動作を説明した。この点、連続撮影動作（連写、動画等）を行う場合、第１フレームからの立体感の変化に対して違和感が生じることを考慮すると、第１フレームの絞り径を基準（立体感補正目標）の絞り径ｄ１に設定し、第２フレーム以降の立体感を補正することが好ましい。

【0073】

図１２を参照して、第１フレーム撮影時（撮影開始時）の絞り径を立体感補正基準として設定するシーケンスについて説明する。図１２は、本実施例における撮像装置の撮影動作を示すフローチャートであり、連続動作時の簡易的な撮影シーケンスを示している。図１２のフローは、撮像装置の連続撮影動作モード設定スイッチ（不図示）により連続撮影動作（連写、動画など）が設定された状態で、撮影開始スイッチＳＷがオンされることで開始する。なお、図１２の各ステップは、システム制御回路１５０の指令に基づいて行われる。

【0074】

まずステップＳ９０１において、第１フレームの撮影を行う。撮影動作は、図４を参照して説明した撮影シーケンスと同様である。ただし、ステップＳ９０１では立体感の補正を行う必要はないため、図４のステップＳ３０９は実行しない。続いてステップＳ９０２において、ステップＳ９０１にて使用した絞り径を補正目標となる基準の絞り径ｄ１として記憶する。そしてステップＳ９０３において、システム制御回路１５０は、撮影開始スイッチＳＷがオンの状態を維持しているか、または、オフされているかを判定する。撮影開始スイッチＳＷがオンの場合、ステップＳ９０４へ移行する。一方、撮影開始スイッチＳＷがオフの場合、本シーケンスを終了し、待機状態へ戻る。

【0075】

ステップＳ９０４において、システム制御回路１５０は、第１フレームの場合と同様に、図４を参照して説明した撮影シーケンスを実行する。このとき、立体感補正の基準となる絞り径ｄ１として、ステップＳ９０２で記憶した絞り径（第１フレームの絞り径）が用いられる。撮影動作が終了すると、ステップＳ９０３に戻る。なお、第１フレームを本撮影前の予備撮影として用いてもよい。

【0076】

本実施例によれば、連続撮影動作時に初期設定された絞り径を立体感の基準として設定し、その絞り径を用いて立体感補正を行う。すなわち、画像補正手段１２０は、視差が撮影開始時の視差になるように、または、撮影開始時の視差に近づくように補正を行う。このため、立体感の変化に対する違和感を低減することが可能である。

【0077】

また、図４および図１２に示されるシーケンスのように、連続撮影（連写、動画等）の際に、基準（補正目標）とする絞り径ｄ１を変更しないように設定してもよい。このとき、画像補正手段１２０は、連続撮影の際には、連続撮影が終了するまで、撮影初期に設定されたパラメータを用いて補正を行う。このような構成によれば、連続的に取得される間に絞り径が変化した場合でも、安定した立体感を得ることができる。

【実施例3】

【0078】

次に、本発明の実施例３における撮像装置について説明する。実施例１では、予め記憶しているか、または、演算で算出した係数（補正係数）が用いられる。しかし、交換レンズなどを含む複数のデータを予め記憶しておくことは、メモリ効率の観点では好ましくない。また、記憶されているレンズ以外の種類のレンズが撮像装置本体に装着された場合に、予期しない問題が発生する可能性もある。

【0079】

そこで本実施例は、本撮影前の予備撮影動作中に、所定距離被写体の左右像間の像ずれ量（視差）Ｘ１、Ｘ２を取得して立体感補正係数Ｚを算出することにより、予め個々のレンズデータを記憶する必要がない立体感補正値を算出する。具体的には、本実施例の撮像装置１００は、画像補正手段１２０による補正に用いられるパラメータ（立体感補正係数Ｚなど）を本撮影前に取得する動作モードを有する。

【0080】

図１３は、本実施例における撮像装置の撮影動作を示すフローチャートであり、補正係数の算出方法を示している。本フローは、本撮影前に、不図示のスイッチ手段による補正値取得動作でもよく、または、図４中のステップＳ３０１の予備撮影動作の一部として動作してもよい。なお、図１３の各ステップは、システム制御回路１５０の指令に基づいて行われる。

【0081】

まずステップＳ１１０１において、レンズユニット１０１における絞り１１１を、基準となる絞り径ｄ１（Ｆ値）に設定する（基準絞り設定）。強い立体感を得るため、装着されたレンズの開放絞りに設定することが好ましいが、本実施例はこれに限定されるものではない。基準となる絞り径ｄ１を、例えば、ユーザが希望する所定の絞り径に設定してもよい。続いてステップＳ１１０２において、測距、測光のための予備撮影動作を行う。

【0082】

次にステップＳ１１０３において、システム制御回路１５０は、ステップＳ１１０２にて算出されたデフォーカス量から合焦位置を求める。そしてレンズ制御部１１３は、合焦目標に向かってレンズ１１０を駆動させるフォーカス動作を行う。続いてステップＳ１１０４において、ステップＳ１１０２で得た情報から被写体露出情報を得るための測光動作を行う。そしてステップＳ１１０５において、ステップＳ１１０１〜Ｓ１１０４で設定された撮影条件に従い、シャッタ制御や撮像素子１１４の蓄積および読み出し動作（第１の撮影）を行う。

【0083】

次にステップＳ１１０６において、視差検出手段１２３は、左像（Ａ像）と右像（Ｂ像）との間の視差マップを作成し、その際に特徴点を抽出（決定）する。視差マップは、ステップＳ１１０５で撮像素子１１４から読み出され、出力信号処理回路１１６を介してメモリ１１８に一時的に保存されている画像に基づいて作成される。特徴点の決定方法としては、例えば、左右像間で所定の像ずれ量が発生している領域を形状、色、出力値などから特徴点として認識する方法がある。または、主被写体（左右像間で像ずれ量がない領域）からの距離などを利用して設定してもよい。ただし、像ずれ量を検出するための領域設定であるため、特徴点としては合焦位置でない領域が設定される。

【0084】

次にステップＳ１１０７において、視差検出手段１２３は、ステップＳ１１０６にて抽出された特徴点における左右像間のずれを像ずれ量Ｘ１（第１の視差）として検出する。視差の検出方法は、例えば図５を参照して説明した方法が用いられる。

【0085】

続いてステップＳ１１０８において、ステップＳ１１０１にて設定された絞り径ｄ１を、絞り径ｄ１と異なる絞り径ｄ２（Ｆ値）に変更する。ステップＳ１１０８にて設定される絞り径ｄ２は、撮影時に用いられる絞り径（Ｆ値）である。そしてステップＳ１１０９において、ステップＳ１１０１〜Ｓ１１０４で設定された撮影条件に従い、シャッタ制御や撮像素子１１４の蓄積および読み出し動作（第２の撮影）を行う。このとき、絞り径ｄ１から絞り径ｄ２に変更されているため、シャッタ制御および蓄積時間の設定は適正露出になるように変更される。

【0086】

次にステップＳ１１１０において、視差検出手段１２３は、左像（Ａ像）と右像（Ｂ像）との間の視差マップを作成し、その際に特徴点を抽出（決定）する。視差マップは、ステップＳ１１０９で撮像素子１１４から読み出され、出力信号処理回路１１６を介してメモリ１１８に一時的に保存されている画像に基づいて作成される。続いてステップＳ１１１１において、視差検出手段１２３は、ステップＳ１１０７と同様に、ステップＳ１１１０にて抽出された特徴点における左右像間のずれを像ずれ量Ｘ２（第２の視差）として検出する。

【0087】

次にステップＳ１１１２において、システム制御回路１５０は、ステップＳ１１０７にて検出された像ずれ量Ｘ１（第１の視差）と、ステップＳ１１１１にて検出された像ずれ量Ｘ２（第２の視差）とを比較し、立体感補正係数Ｚを算出する。そしてステップＳ１１１３において、ステップＳ１１１２で算出された立体感補正係数Ｚを、補正パラメータ設定手段１１５などに記憶して、本フローを終了する。なお、図１３のフローは、２つの絞り径の状態のみを比較して立体感補正係数を求めているが、本実施例はこれに限定されるものではない。本実施例は、絞り径を変更して、複数回、図１３のフローを繰り返し、複数の絞り径における補正係数を取得するようにしてもよい。

【0088】

本実施例によれば、装着されたレンズで絞り径を変更させてデータを取得して立体感補正係数を算出することにより、データの記憶領域を低減して効率的な立体感補正動作が可能となる。

【0089】

上記各実施例によれば、１つのマイクロレンズに対して複数の画素を配置して構成された単位画素セルを有する撮像素子で立体画像を生成する際、立体感の絞り依存性を低減させる撮像装置、撮像システム、および、撮像装置の制御方法を提供することができる。また、その撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムを提供することができる。また、コンピュータに、その撮像装置の制御方法を実行させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を提供することができる。

【0090】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0091】

１００ 撮像装置
１１１ 絞り
１１４ 撮像素子
１２０ 画像補正手段
１２３ 視差検出手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】