(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-10
(45)【発行日】2024-06-18
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20240611BHJP
H04N 23/12 20230101ALI20240611BHJP
H04N 23/54 20230101ALI20240611BHJP
H04N 23/67 20230101ALI20240611BHJP
H04N 25/704 20230101ALI20240611BHJP
G02B 7/34 20210101ALI20240611BHJP
G03B 13/36 20210101ALI20240611BHJP
【ＦＩ】
H04N23/60 500
H04N23/12
H04N23/54
H04N23/67
H04N25/704
G02B7/34
G03B13/36
【請求項の数】
9
(21)【出願番号】P 2023025815
(22)【出願日】2023-02-22
(62)【分割の表示】P 2021089424の分割
【原出願日】2016-12-05
(65)【公開番号】P2023075146
(43)【公開日】2023-05-30
【審査請求日】2023-02-22
(31)【優先権主張番号】P 2015237632
(32)【優先日】2015-12-04
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】平間 宣孝
【審査官】藏田 敦之
(56)【参考文献】
【文献】特開２０１１－１９７２７７（ＪＰ，Ａ）
【文献】特開２０１０－２０６７２２（ＪＰ，Ａ）
【文献】特開２００７－２５９４０４（ＪＰ，Ａ）
【文献】特開２００１－３３０７６９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／１２
Ｈ０４Ｎ ２３／５４
Ｈ０４Ｎ ２３／６７
Ｈ０４Ｎ ２５／７０４
Ｇ０２Ｂ ７／２８ － ７／４０
Ｇ０３Ｂ １３／３０ －１３／３６
(57)【特許請求の範囲】
【請求項1】
光学系の第１領域を通過した光を光電変換して電荷を生成する第１光電変換部と、前記光学系の第２領域を通過した光を光電変換して電荷を生成する第２光電変換部とをそれぞれ有する複数の画素を有する撮像部と、前記第１光電変換部で生成された電荷に基づく第１信号と、前記第２光電変換部で生成された電荷に基づく第２信号とに基づいて、前記撮像部の撮像面において合焦領域と非合焦領域とを区分する、または、前記合焦領域と前記非合焦領域との少なくとも一方を抽出する区分部と、
前記複数の画素のうち前記非合焦領域に含まれる少なくとも１つの画素から出力される前記第１信号および前記第２信号のいずれか一方を選択して、選択された信号に基づいて画像データを生成する第１生成部と、
を備える撮像装置。
【請求項2】
請求項１に記載の撮像装置において、前記区分部は、前記第１信号と前記第２信号とに基づくデフォーカス量に基づいて、前記合焦領域と前記非合焦領域とを区分する、または、前記合焦領域と前記非合焦領域との少なくとも一方を抽出する撮像装置。
【請求項3】
請求項１または請求項２に記載の撮像装置において、前記合焦領域に含まれる画素から出力される前記第１信号および前記第２信号に基づいて画像データを生成する第２生成部を備える撮像装置。
【請求項4】
請求項１から請求項３のいずれか一項に記載の撮像装置において、前記第１生成部で生成された前記画像データを解析する解析部を備える撮像装置。
【請求項5】
請求項４に記載の撮像装置において、前記解析部は、前記合焦領域の画像データの解析を前記第１信号および前記第２信号に基づいて解析する撮像装置。
【請求項6】
請求項１から請求項５のいずれか一項に記載の撮像装置において、前記複数の画素のうち前記合焦領域と前記非合焦領域とに含まれる画素から出力された前記第１信号および前記第２信号に基づく画像を表示する表示部を備える撮像装置。
【請求項7】
請求項１から請求項６のいずれか一項に記載の撮像装置において、前記複数の画素のうち前記合焦領域と前記非合焦領域とに含まれる画素から出力された前記第１信号および前記第２信号に基づく画像データを記録する記録部を備える撮像装置。
【請求項8】
請求項１から請求項７のいずれか一項に記載の撮像装置において、前記第１生成部は、前記複数の画素のうち前記非合焦領域に含まれる画素から出力される前記第１信号および前記第２信号のいずれか一方を、前記光学系の情報に基づいて選択する撮像装置。
【請求項9】
請求項１から請求項８のいずれか一項に記載の撮像装置において、
前記複数の画素には、ベイヤー配列の規則に従って色フィルタが配置されている撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
像面位相差方式による焦点検出が可能な撮像素子が知られている（特許文献１参照）。非合焦領域に対応する画素では、画像がボケてしまうため、用途によっては適さない場合があった。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００１－８３４０７号公報
【発明の概要】
【0004】
請求項１に記載の撮像装置は、光学系の第１領域を通過した光を光電変換して電荷を生成する第１光電変換部と、前記光学系の第２領域を通過した光を光電変換して電荷を生成する第２光電変換部とをそれぞれ有する複数の画素を有する撮像部と、前記第１光電変換部で生成された電荷に基づく第１信号と、前記第２光電変換部で生成された電荷に基づく第２信号とに基づいて、前記撮像部の撮像面において合焦領域と非合焦領域とを区分する、または、前記合焦領域と前記非合焦領域との少なくとも一方を抽出する区分部と、前記複数の画素のうち前記非合焦領域に含まれる少なくとも１つの画素から出力される前記第１信号および前記第２信号のいずれか一方を選択して、選択された信号に基づいて画像データを生成する第１生成部と、を備える。
【図面の簡単な説明】
【0005】
【図1】本発明の一実施の形態によるデジタルカメラの構成を示す図である。
【図2】ボディ駆動制御装置の構成を示す図である。
【図3】撮像素子の詳細な構成を示す図である。
【図4】撮像素子の詳細な構成を示す図である。
【図5】画素の構成を示す図である。
【図6】瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。
【図7】合焦状態における模式的な光路図である。
【図8】非合焦状態における模式的な光路図である。
【図9】略合焦領域に対応する画素の画像信号の並びを例示する図である。
【図10】Ｇ成分の補間処理を説明する図である。
【図11】Ｒ成分の補間処理を説明する図である。
【図12】非合焦領域に対応する画素において、光電変換部の出力信号の並びを例示する図である。
【図13】Ｇ成分の補間処理を説明する図である。
【図14】Ｒ成分の補間処理を説明する図である。
【図15】交換レンズの射出瞳の位置とケラレとの関係を説明する図である。
【発明を実施するための形態】
【0006】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本実施形態の撮像装置の一例であるレンズ交換式のデジタルカメラの構成を示す図である。デジタルカメラ２０１は、交換レンズ２０２とカメラボディ２０３から構成される。種々の交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。
【0007】
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備える。レンズ駆動制御装置２０６は、不図示のマイクロコンピュータ、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、レンズ駆動制御装置２０６は、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【0008】
カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７などを備える。また、カメラボディ２０３には、メモリカード２１９が装着される。
【0009】
ボディ駆動制御装置２１４は、マイクロコンピュータ、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の駆動制御と撮像素子２１２からの出力信号の読み出しと、該出力信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、該出力信号に基づく画像処理演算と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は、電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。
【0010】
液晶表示素子２１６は電子ビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は、撮像素子２１２によるスルー画像を液晶表示素子２１６に表示する。撮影者は、接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
【0011】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２の各画素で光電変換され、各画素の出力信号がボディ駆動制御装置２１４へ送られる。
【0012】
ボディ駆動制御装置２１４は、撮像素子２１２の出力信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の出力信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【0013】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【0014】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【0015】
図２は、ボディ駆動制御装置２１４の構成を示すブロック図である。ボディ駆動制御装置２１４は、焦点検出部２３０、区分部２３１、第１の画像信号生成部２３２、第２の画像信号生成部２３３、画像解析部２３４、表示制御部２３５、記録制御部２３６、およびケラレ判定部２３７を機能的に備える。
【0016】
焦点検出部２３０は、撮像素子２１２の出力信号に基づいて後述する処理を行って、焦点検出を行う。区分部２３１は、撮影画面を略合焦領域と非合焦領域に区分し、或いは略合焦領域および非合焦領域のうちの少なくとも一方を抽出する。第１の画像信号生成部２３２は、撮像素子２１２の出力信号に基づいて後述する処理を行って、画像解析用の画像信号を生成する。なお、画像解析用の画像信号は、画像として出力されることを目的として生成される複数の画素信号に限られない。画像解析用の画像信号は、撮像素子２１２の複数の画素における複数の光電変換部が出力する複数の出力信号の生データとして得られる複数の画素信号や、それらの生データをもとに、画像として出力されることなく画像解析用データとして生成される複数の画素信号であってもよい。第２の画像信号生成部２３３は、撮像素子２１２の出力信号に基づいて後述する処理を行って、表示用画像（スルー画像）や記録用画像を構成する複数の画素信号からなる画像信号を生成する。画像解析部２３４は、第１の画像信号生成部２３２により生成された画像信号に基づき、被写体画像の解析処理を行う。表示制御部２３５は、第２の画像信号生成部２３３により生成された画像信号に基づき、液晶表示素子２１６にスルー画像を表示する。記録制御部２３６は、第２の画像信号生成部２３３により生成された画像信号に基づき、メモリカード２１９に画像データを記録する。ケラレ判定部２３７は、交換レンズ２０２のレンズ情報（射出瞳位置の情報）に基づいて、ケラレの状況を判定する。なお、これらの各部について詳しくは後述する。
【0017】
図３および図４は、撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２の一部を拡大して示した図である。図３は、画素３１１のレイアウトを示す図である。複数の画素３１１は、行方向（水平方向）および列方向（垂直方向）において二次元状に配列されている。各画素３１１は、マイクロレンズ（不図示）と一対の光電変換部１３、１４とを有する。図３において、一対の光電変換部１３、１４は水平方向に並んで配置されている。図４は、図３に示す画素３１１の配列における色フィルタの配列を示した図である。画素３１１には、ベイヤー配列の規則に従って色フィルタ（Ｒ：赤色フィルタ、Ｇ：緑色フィルタ、Ｂ：青色フィルタ）が配置されている。すなわち、画素３１１として、赤色成分に関する分光感度特性を有する（すなわち赤色フィルタが配置された）Ｒ画素と緑色成分に関する分光感度特性を有する（すなわち緑色フィルタが配置された）Ｇ画素と青色成分に関する分光感度特性を有する（すなわち青色フィルタが配置された）Ｂ画素とが設けられている。画素３１１は、撮影用画素と焦点検出用画素とを兼ねており、画素３１１が撮像素子２１２の全面に配置されている。したがって、撮影画面上の任意の位置で焦点検出を行うことが可能である。
【0018】
図５は、画素３１１の構成を示す断面図である。画素３１１において、一対の光電変換部１３、１４の前方にマイクロレンズ１０が配置される。一対の光電変換部１３、１４は半導体回路基板２９上に形成される。また、色フィルタ（不図示）はマイクロレンズ１０と一対の光電変換部１３、１４の中間に配置される。このような構成により一対の光電変換部１３，１４は、交換レンズ２０２の射出瞳の一対の測距瞳を通過する一対の光束をそれぞれ受光する。
【0019】
図６は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。図６において、射出瞳９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズ１０から前方の距離ｄの位置に設定されている。図６には他に、交換レンズの光軸９１、マイクロレンズ１０、光電変換部１３、１４、画素３１１、光束７３、７４が示されている。
【0020】
測距瞳９３，９４は、射出瞳９０のうちの互いに異なる部分領域であり、水平方向に並ぶとともに、光軸９１を通る垂直線に対して線対称な形状となっている。光電変換部１３は、測距瞳９３を通過して画素３１１のマイクロレンズ１０に向かう光束７３によりマイクロレンズ１０上に形成される像の強度に対応した信号を生成して出力する。また、光電変換部１４は、測距瞳９４を通過して画素３１１のマイクロレンズ１０に向う光束７４によりマイクロレンズ１０上に形成される像の強度に対応した信号を生成して出力する。
【0021】
図６では、光軸９１近傍の隣接する５つの画素３１１を模式的に例示しているが、画面周辺に配置された画素３１１においても、各光電変換部１３、１４は、それぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。マイクロレンズ１０により、一対の光電変換部１３、１４と上述した互いに異なる部分領域、すなわち一対の測距瞳９３、９４とが互いに共役関係になる。
【0022】
所定の焦点検出エリアにおいて水平方向に配列した複数の画素３１１の光電変換部１３の出力信号の列と光電変換部１４の出力信号の列とによって、測距瞳９３と測距瞳９４をそれぞれ通過する光束７３、７４が画素３１１の配列上に形成する一対の像の強度分布に関する情報が得られる。焦点検出部２３０は、光電変換部１３の出力信号の列と光電変換部１４の出力信号の列とのズレ量を公知の像ズレ検出演算処理（相関演算処理、位相差検出処理）によって検出することによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量を検出する。焦点検出部２３０は、この像ズレ量に基づいて、予定結像面に対する現在の結像面の偏差（デフォーカス量）を算出する。
【0023】
図７は、被写体にピントが合っている状態、すなわち合焦状態における模式的な光路図である。図７では、光軸９１近傍の隣接する５つの画素３１１１～３１１５を模式的に例示している。図７において被写体上の点Ｐから出射して、射出瞳９０上の点９５を通過した光７５は、画素３１１３の光電変換部１３に入射する。一方、被写体上の点Ｐから出射して、射出瞳９０上の点９６を通過した光７６は、画素３１１３の光電変換部１４に入射する。このように、合焦状態では、同じ点Ｐから出射され、射出瞳９０上で異なる箇所を通過した光７５、７６がそれぞれ同じ画素３１１３の光電変換部１３、１４に入射する。
【0024】
図８は、被写体にピントが合っていない状態、すなわち非合焦状態における模式的な光路図である。図８は、被写体より前側にピントが合っている、いわゆる前ピンの状態を示している。また、図８では、光軸９１近傍の隣接する５つの画素３１１１～３１１５を模式的に例示している。図８において被写体上の点Ｐから出射して、射出瞳９０上の点９５を通過した光７５は、画素３１１２の光電変換部１３に入射する。一方、被写体上の点Ｐから出射して、射出瞳９０上の点９６を通過した光７６は、画素３１１４の光電変換部１４に入射する。このように、非合焦状態では、同じ点Ｐから出射され、射出瞳９０上で異なる箇所を通過した光７５、７６がそれぞれ異なる画素３１１２、３１１４の光電変換部１３，１４に入射される。この点をふまえると、非合焦状態では、同じ画素３１１内の光電変換部１３、１４に、それぞれ被写体上の異なる点から出射された光が入射されることとなる。なお、被写体より後側にピントが合っている、いわゆる後ピンの状態でも同様である。
【0025】
各画素３１１において光電変換部１３の出力信号と光電変換部１４の出力信号とを加算して画像信号を生成する場合、非合焦領域に対応する画素では、被写体上の異なる点から出射された出力信号が加算されることになるのでボケた画像となる。画像の解析処理を行う際にはできるだけボケの少ない画像の方が好ましい。そこで、本実施形態では、解析用の画像を生成する際、略合焦領域に対応する画素３１１では光電変換部１３、１４の出力信号を加算して画像信号を生成し、非合焦領域に対応する画素３１１では光電変換部１３、１４の出力信号のいずれか一方を用いて画像信号を生成する。なお、スルー画像または記録用の画像を生成する際には、ボケを生かした画像とするため、撮影画面全体に対応する画素３１１について、光電変換部１３、１４の出力信号を加算して画像信号を生成する。このような画像信号の生成処理について、以下、詳細に説明する。
【0026】
（解析用の画像信号の生成）
解析用の画像信号の生成処理について説明する。まず、焦点検出部２３０は、撮影画面を多数の領域に分割し、これらの領域に対応するデフォーカス量を上述した処理によって検出することで、撮影画面上の種々の位置におけるデフォーカス量を検出し、合焦状態の分布を示すデフォーカス量のマップを作成する。そして、区分部２３１は、このデフォーカス量のマップに基づき、撮影画面を略合焦領域と非合焦領域とに区分するか、または略合焦領域および非合焦領域のうちの少なくとも一方を抽出する。なお、略合焦領域はデフォーカス量が所定閾値よりも小さい領域（小デフォーカス領域）であり、非合焦領域はデフォーカス量が所定閾値よりも大きい領域（大デフォーカス領域）である。
解析用の画像信号の生成処理について説明する。まず、焦点検出部２３０は、撮影画面を多数の領域に分割し、これらの領域に対応するデフォーカス量を上述した処理によって検出することで、撮影画面上の種々の位置におけるデフォーカス量を検出し、合焦状態の分布を示すデフォーカス量のマップを作成する。そして、区分部２３１は、このデフォーカス量のマップに基づき、撮影画面を略合焦領域と非合焦領域とに区分するか、または略合焦領域および非合焦領域のうちの少なくとも一方を抽出する。なお、略合焦領域はデフォーカス量が所定閾値よりも小さい領域（小デフォーカス領域）であり、非合焦領域はデフォーカス量が所定閾値よりも大きい領域（大デフォーカス領域）である。
【0027】
＜略合焦領域の画像信号の生成＞
第１の画像信号生成部２３２は、区分部２３１により区分または抽出された略合焦領域に対応する画素３１１については、光電変換部１３の出力信号ａと光電変換部１４の出力信号ｂとを加算して平均した、（ａ＋ｂ）／２を画像信号として生成する。図９は、このようにして生成された略合焦領域に対応する画素３１１の画像信号の並びを例示する図である。画素３１１の画像信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の画像信号が不足する。第１の画像信号生成部２３２は、光電変換部１３、１４の出力信号を加算して生成した画像信号について、周辺の画素位置の画像信号を用いて不足する色成分の画像信号を生成する色補間処理（デモザイク）を行う。この色補間処理の際には、画像構造、例えばエッジや線状構造等のテクスチャの方向判定を実施し、縦方向、横方向のどちらに構造を持っているかによって補間方法を変える。
第１の画像信号生成部２３２は、区分部２３１により区分または抽出された略合焦領域に対応する画素３１１については、光電変換部１３の出力信号ａと光電変換部１４の出力信号ｂとを加算して平均した、（ａ＋ｂ）／２を画像信号として生成する。図９は、このようにして生成された略合焦領域に対応する画素３１１の画像信号の並びを例示する図である。画素３１１の画像信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の画像信号が不足する。第１の画像信号生成部２３２は、光電変換部１３、１４の出力信号を加算して生成した画像信号について、周辺の画素位置の画像信号を用いて不足する色成分の画像信号を生成する色補間処理（デモザイク）を行う。この色補間処理の際には、画像構造、例えばエッジや線状構造等のテクスチャの方向判定を実施し、縦方向、横方向のどちらに構造を持っているかによって補間方法を変える。
【0028】
図９において、補間対象とする画素位置（以下注目位置と呼ぶ）（Ｉ，Ｊ）を斜線で示す。第１の画像信号生成部２３２は、注目位置（Ｉ，Ｊ）において、不足する色成分であるＧ成分に関して画像構造の方向判定を行う。第１の画像信号生成部２３２は、注目位置（Ｉ，Ｊ）に上下左右に隣接する４つの画素位置、（Ｉ－１，Ｊ）、（Ｉ＋１，Ｊ）、（Ｉ，Ｊ－１）、（Ｉ，Ｊ＋１）の画像信号（Ｇ信号）を用いて次式（１）～（４）により方向判定を行う。なお、図９では上記４つの位置を丸印で示す。
【0029】
|G(I-1,J)-G(I+1,J)|>th_1且つ|G(I,J-1)-G(I,J+1)|<th_2 ・・・（１）
|G(I-1,J)-G(I+1,J)|<th_1且つ|G(I,J-1)-G(I,J+1)|>th_2 ・・・（２）
|G(I-1,J)-G(I+1,J)|>th_1且つ|G(I,J-1)-G(I,J+1)|>th_2 ・・・（３）
|G(I-1,J)-G(I+1,J)|<th_1且つ|G(I,J-1)-G(I,J+1)|<th_2 ・・・（４）
ただし、閾値th_1およびth_2は、所定値である。
|G(I-1,J)-G(I+1,J)|<th_1且つ|G(I,J-1)-G(I,J+1)|>th_2 ・・・（２）
|G(I-1,J)-G(I+1,J)|>th_1且つ|G(I,J-1)-G(I,J+1)|>th_2 ・・・（３）
|G(I-1,J)-G(I+1,J)|<th_1且つ|G(I,J-1)-G(I,J+1)|<th_2 ・・・（４）
ただし、閾値th_1およびth_2は、所定値である。
【0030】
第１の画像信号生成部２３２は、上記式（１）が成立する場合は、注目位置（Ｉ，Ｊ）に対して横（行）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（２）が成立する場合は、注目位置（Ｉ，Ｊ）に対して縦（列）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（３）が成立する場合は、注目位置（Ｉ，Ｊ）に対してエッジの角があると判定する。第１の画像信号生成部２３２は、上記式（４）が成立する場合は、注目位置（Ｉ，Ｊ）がエッジ上にないと判定する。
【0031】
図１０は、Ｇ成分の補間処理を説明する図である。第１の画像信号生成部２３２は、上記方向判定において横（行）方向にエッジがあると判定した場合は、図１０（ａ）に示すように、注目位置（Ｉ，Ｊ）に縦方向に隣接する２つの画素位置（Ｉ，Ｊ－１）、（Ｉ，Ｊ＋１）の画像信号（Ｇ信号）に基づき、次式（５）を用いて、注目位置（Ｉ，Ｊ）のＧ信号を求める。
G(I,J)={G(I,J-1)+G(I,J+1)}/2 ・・・（５）
G(I,J)={G(I,J-1)+G(I,J+1)}/2 ・・・（５）
【0032】
また、第１の画像信号生成部２３２は、上記方向判定において縦（列）方向にエッジがあると判定した場合は、図１０（ｂ）に示すように、太枠で示す注目位置（Ｉ，Ｊ）に横方向に隣接する２つの画素位置（Ｉ－１，Ｊ）、（Ｉ＋１，Ｊ）の画像信号（Ｇ成分の信号）に基づき、次式（６）を用いて、注目位置（Ｉ，Ｊ）のＧ成分の信号を求める。
G(I,J)={G(I-1,J)+G(I+1,J)}/2 ・・・（６）
G(I,J)={G(I-1,J)+G(I+1,J)}/2 ・・・（６）
【0033】
また、第１の画像信号生成部２３２は、上記方向判定においてエッジの角があるまたはエッジがないと判定した場合は、図１０（ｃ）に示すように、注目位置（Ｉ，Ｊ）に縦横方向に隣接する４つの画素位置（Ｉ－１，Ｊ）、（Ｉ＋１，Ｊ）、（Ｉ，Ｊ－１）、（Ｉ，Ｊ＋１）の画像信号（Ｇ成分の信号）に基づき、次式（７）を用いて、注目位置（Ｉ，Ｊ）のＧ成分の信号を求める。
G(I,J)={G(I-1,J)+G(I+1,J)+G(I,J-1)+G(I,J+1)}/4 ・・・（７）
G(I,J)={G(I-1,J)+G(I+1,J)+G(I,J-1)+G(I,J+1)}/4 ・・・（７）
【0034】
第１の画像信号生成部２３２は、Ｂ成分の位置およびＲ成分の位置においてそれぞれ上述したようにＧ成分の信号を補間する処理を行うことで、略合焦領域に対応する各画素３１１の位置においてＧ成分の信号を得ることができる。
【0035】
図１１は、Ｒ成分の補間処理を説明する図である。図１１（ａ）は、図９からＲ成分の信号を抽出した図である。第１の画像信号生成部２３２は、図９におけるＢ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＲ成分の信号を用いて注目位置におけるＲ成分の信号を補間処理によって生成する。Ｒ成分の信号の補間処理において、まず、第１の画像信号生成部２３２は、Ｇ成分の信号とＲ色成分の信号とに基づいて、図１１（ｂ）に示すように色差成分Ｃｒの信号を算出する。
【0036】
そして、第１の画像信号生成部２３２は、図１１（ｂ）の太枠で示す注目位置（Ｉ＋１，Ｊ＋１）において、斜め方向に隣接して位置する４つの画素位置（Ｉ，Ｊ）、（Ｉ＋２，Ｊ）、（Ｉ，Ｊ＋２）、（Ｉ＋２，Ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（８）により、注目位置（Ｉ＋１，Ｊ＋１）における色差成分Ｃｒの信号を算出する。
Cr(I+1,J+1)={Cr(I,J)+Cr(I+2,J)+Cr(I,J＋2)+Cr(I+2,J+2)}/4 ・・・（８）
Cr(I+1,J+1)={Cr(I,J)+Cr(I+2,J)+Cr(I,J＋2)+Cr(I+2,J+2)}/4 ・・・（８）
【0037】
また、第１の画像信号生成部２３２は、図１１（ｃ）の太枠で示す注目位置（Ｉ＋１，Ｊ＋２）において、上下左右に隣接して位置する４つの画素位置（Ｉ＋１，Ｊ＋１）、（Ｉ，Ｊ＋２）、（Ｉ＋１，Ｊ＋３）、（Ｉ＋２，Ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（９）により、注目位置（Ｉ＋１，Ｊ＋２）における色差成分Ｃｒの信号を算出する。
Cr(I+1,J+2)={Cr(I+1,J+1)+Cr(I,J+2)+Cr(I+1,J＋3)+Cr(I+2,J+2)}/4 ・・・（９）
Cr(I+1,J+2)={Cr(I+1,J+1)+Cr(I,J+2)+Cr(I+1,J＋3)+Cr(I+2,J+2)}/4 ・・・（９）
【0038】
第１の画像信号生成部２３２は、このようにして各画素３１１の位置において色差成分Ｃｒの信号を得たのち、各画素３１１の位置に対応させてＧ成分の信号を加算することにより、各画素３１１の位置においてＲ成分の信号を得ることができる。
【0039】
また、第１の画像信号生成部２３２は、図９におけるＲ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＢ成分の信号を用いて注目位置におけるＢ成分の信号を補間処理によって生成する。Ｂ成分の信号の補間処理は、各画素３１１の位置において、色差Ｃｂの信号を得たのち、Ｇ成分の信号を加算することにより行う。これは、Ｒ成分の信号の補間処理と同様に行えばよいので、詳細な説明は省略する。
【0040】
このようにして、第１の画像信号生成部２３２は、略合焦領域に対応する画素３１１について、ＲＧＢ成分の画像信号を得ることができる。
【0041】
＜非合焦領域の画像信号の生成＞
第１の画像信号生成部２３２は、区分部２３１により区分または抽出された非合焦領域に対応する画素３１１については、光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成する。なお、画像信号の生成に用いる光電変換部として、光電変換部１３、１４のどちらを選択してもよいが、連続する非合焦領域内において、選択する光電変換部は統一する。以下では、光電変換部１３の出力信号に基づき画像信号を生成する例を説明するが、光電変換部１４の出力信号に基づき画像信号を生成する場合も同様である。
第１の画像信号生成部２３２は、区分部２３１により区分または抽出された非合焦領域に対応する画素３１１については、光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成する。なお、画像信号の生成に用いる光電変換部として、光電変換部１３、１４のどちらを選択してもよいが、連続する非合焦領域内において、選択する光電変換部は統一する。以下では、光電変換部１３の出力信号に基づき画像信号を生成する例を説明するが、光電変換部１４の出力信号に基づき画像信号を生成する場合も同様である。
【0042】
図１２は、非合焦領域に対応する画素３１１において、光電変換部１３、１４の出力信号の並びを例示する図である。光電変換部１３、１４の出力信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の信号が不足する。ここでは、第１の画像信号生成部２３２は、非合焦領域に対応する画素３１１について、光電変換部１３の出力信号を画像信号とする。そのため第１の画像信号生成部２３２は、周辺の画素３１１の光電変換部１３の出力信号を用いて不足する色成分の信号を生成する色補間処理を行う。この色補間処理の際にも、画像構造の方向判定を実施し、縦方向、横方向のどちらに構造を持っているかによって補間方法を変える。
【0043】
図１２において、補間対象とする画素位置における光電変換部１３に対応する位置（以下注目位置と呼ぶ）（ｉ，ｊ）を斜線で示す。第１の画像信号生成部２３２は、注目位置（ｉ，ｊ）において、不足する色成分であるＧ成分に関して画像構造の方向判定を行う。第１の画像信号生成部２３２は、補間対象とする画素位置に上下左右に隣接する画素における光電変換部１３に対応する４つの位置、（ｉ－２，ｊ）、（ｉ＋２，ｊ）、（ｉ，ｊ－１）、（ｉ，ｊ＋１）の光電変換信号（Ｇ信号）を用いて次式（１０）～（１３）により方向判定を行う。なお、図１２では上記４つの位置を丸印で示す。
【0044】
|G(i-2,j)-G(i+2,j)|>th_1且つ|G(i,j-1)-G(i,j+1)|<th_2 ・・・（１０）
|G(i-2,j)-G(i+2,j)|<th_1且つ|G(i,j-1)-G(i,j+1)|>th_2 ・・・（１１）
|G(i-2,j)-G(i+2,j)|>th_1且つ|G(i,j-1)-G(i,j+1)|>th_2 ・・・（１２）
|G(i-2,j)-G(i+2,j)|<th_1且つ|G(i,j-1)-G(i,j+1)|<th_2 ・・・（１３）
ただし、閾値th_1およびth_2は、所定値である。
|G(i-2,j)-G(i+2,j)|<th_1且つ|G(i,j-1)-G(i,j+1)|>th_2 ・・・（１１）
|G(i-2,j)-G(i+2,j)|>th_1且つ|G(i,j-1)-G(i,j+1)|>th_2 ・・・（１２）
|G(i-2,j)-G(i+2,j)|<th_1且つ|G(i,j-1)-G(i,j+1)|<th_2 ・・・（１３）
ただし、閾値th_1およびth_2は、所定値である。
【0045】
第１の画像信号生成部２３２は、上記式（１０）が成立する場合は、注目位置（ｉ，ｊ）に対して横（行）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（１１）が成立する場合は、注目位置（ｉ，ｊ）に対して縦（列）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（１２）が成立する場合は、注目位置（ｉ，ｊ）に対してエッジの角があると判定する。第１の画像信号生成部２３２は、上記式（１３）が成立する場合は、注目位置（ｉ，ｊ）がエッジ上にないと判定する。
【0046】
図１３は、Ｇ成分の補間処理を説明する図である。図１３（ａ）は、上記方向判定において横（行）方向にエッジがあると判定された場合を説明する図である。この場合、第１の画像信号生成部２３２は、図１３（ａ）において太枠で示す注目位置（ｉ，ｊ）に対応する画素に縦方向に隣接する画素の光電変換部１３に対応する２つの位置（ｉ，ｊ－１）、（ｉ，ｊ＋１）の出力信号（Ｇ成分の信号）を次式（１４）のように単純平均することにより、注目位置（ｉ，ｊ）のＧ成分の信号を求める。
G(i,j)={G(i,j-1)+G(i,j+1)}/2 ・・・（１４）
G(i,j)={G(i,j-1)+G(i,j+1)}/2 ・・・（１４）
【0047】
図１３（ｂ）は、上記方向判定において縦（列）方向にエッジがあると判定した場合を説明する図である。この場合、第１の画像信号生成部２３２は、図１３（ｂ）において太枠で示す注目位置（ｉ，ｊ）に対応する画素に横方向に隣接する画素の光電変換部１３に対応する２つの位置（ｉ－２，ｊ）、（ｉ＋２，ｊ）の出力信号（Ｇ成分の信号）を次式（１５）のように単純平均することにより、注目位置（ｉ，ｊ）のＧ成分の信号を求める。
G(i,j)={G(i-2,j)+G(i+2,j)}/2 ・・・（１５）
G(i,j)={G(i-2,j)+G(i+2,j)}/2 ・・・（１５）
【0048】
図１３（ｃ）は、上記方向判定においてエッジの角があるまたはエッジがないと判定した場合を説明する図である。この場合、第１の画像信号生成部２３２は、図１３（ｃ）において太枠で示す注目位置（ｉ，ｊ）に対応する画素に縦横方向に隣接する画素の光電変換部１３に対応する４つの位置（ｉ－２，ｊ）、（ｉ＋２，ｊ）、（ｉ，ｊ－１）、（ｉ，ｊ＋１）の出力信号（Ｇ成分の信号）を、次式（１６）に示すように加重平均することにより、注目位置（ｉ，ｊ）のＧ成分の信号を求める。
G(i,j)={G(i-2,j)+G(i+2,j)+2*G(i,j-1)+2*G(i,j+1)}/6 ・・・（１６）
G(i,j)={G(i-2,j)+G(i+2,j)+2*G(i,j-1)+2*G(i,j+1)}/6 ・・・（１６）
【0049】
式（１６）では、注目位置と上記４つの位置との間の距離に応じて重み付け係数を変えている。横方向に隣接する画素の光電変換部１３に対応する位置（ｉ－２，ｊ）、（ｉ＋２，ｊ）よりも、縦方向に隣接する画素の光電変換部１３に対応する位置（ｉ，ｊ－１）、（ｉ，ｊ＋１）の方が注目位置（ｉ，ｊ）との距離が近いので、Ｇ（ｉ－２，ｊ）、Ｇ（ｉ＋２，ｊ）よりもＧ（ｉ，ｊ－１）、（ｉ，ｊ＋１）に乗算する重み付け係数を大きくしている。
【0050】
第１の画像信号生成部２３２は、Ｂ成分の位置およびＲ成分の位置においてそれぞれ上述したようにＧ成分の信号を補間する処理を行うことで、非合焦領域に対応する各画素３１１の位置においてＧ成分の信号を得ることができる。
【0051】
図１４は、Ｒ成分の補間処理を説明する図である。図１４（ａ）は、図１２からＲ成分の信号を抽出した図である。第１の画像信号生成部２３２は、図１２におけるＢ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＲ成分の信号を用いて注目位置におけるＲ成分の信号を補間処理によって生成する。Ｒ成分の信号の補間処理において、まず、第１の画像信号生成部２３２は、Ｇ成分の信号とＲ色成分の信号とに基づいて、図１４（ｂ）に示すように色差成分Ｃｒの信号を算出する。
【0052】
そして、第１の画像信号生成部２３２は、図１４（ｂ）の太枠で示す注目位置（ｉ＋２，ｊ＋１）に対応する画素に斜め方向に隣接する画素の光電変換部１３に対応する４つの位置（ｉ，ｊ）、（ｉ，ｊ＋２）、（ｉ＋４，ｊ）、（ｉ＋４，ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（１７）により、注目位置（ｉ＋２，ｊ＋１）における色差成分Ｃｒの信号を算出する。
Cr(i+2,j+1)={Cr(i,j)+Cr(i,j+2)+Cr(i+4,j)+Cr(i+4,j+2)}/4 ・・・（１７）
Cr(i+2,j+1)={Cr(i,j)+Cr(i,j+2)+Cr(i+4,j)+Cr(i+4,j+2)}/4 ・・・（１７）
【0053】
また、第１の画像信号生成部２３２は、図１４（ｃ）の太枠で示す注目位置（ｉ＋２，ｊ＋２）に対応する画素に縦横方向に隣接する画素の光電変換部１３に対応する４つの位置（ｉ＋２，ｊ＋１）、（ｉ，ｊ＋２）、（ｉ＋２，ｊ＋３）、（ｉ＋４，ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（１８）により、注目位置（ｉ＋２，ｊ＋２）における色差成分Ｃｒの信号を算出する。
Cr(i+2,j+2)={Cr(i+2,j+1)+Cr(i,j+2)+Cr(i+2,j＋3)+Cr(i+4,J+2)}/4 ・・・（１８）
Cr(i+2,j+2)={Cr(i+2,j+1)+Cr(i,j+2)+Cr(i+2,j＋3)+Cr(i+4,J+2)}/4 ・・・（１８）
【0054】
第１の画像信号生成部２３２は、このようにして各画素３１１の位置において色差成分Ｃｒの信号を得たのち、各画素３１１の位置に対応させてＧ成分の信号を加算することにより、各画素３１１の位置においてＲ成分の信号を得ることができる。
【0055】
また、第１の画像信号生成部２３２は、図１２におけるＲ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＢ成分の信号を用いて注目位置におけるＢ成分の信号を補間処理によって生成する。Ｂ成分の信号の補間処理は、各画素３１１の位置において、色差Ｃｂの信号を得たのち、Ｇ成分の信号を加算することにより行う。これは、Ｒ成分の信号の補間処理と同様に行えばよいので、詳細な説明は省略する。
【0056】
このようにして、第１の画像信号生成部２３２は、非合焦領域に対応する画素３１１についても、ＲＧＢ成分の画像信号を得ることができる。
【0057】
以上のように、第１の画像信号生成部２３２は、略合焦領域に対応する画素３１１については、光電変換部１３、１４の出力信号を加算した加算信号に基づき画像信号を生成し、非合焦領域に対応する画素３１１については、光電変換部１３、１４のいずれか一方の出力信号に基づき画像信号を生成する。
【0058】
＜ケラレの判定＞
上述では、非合焦領域に対応する画素３１１において、光電変換部１３の出力信号を用いて画像信号を生成する場合について説明したが、ケラレの状況に基づいて光電変換部１３、１４のいずれか一方を選択して画像信号を生成するようにしてもよい。
上述では、非合焦領域に対応する画素３１１において、光電変換部１３の出力信号を用いて画像信号を生成する場合について説明したが、ケラレの状況に基づいて光電変換部１３、１４のいずれか一方を選択して画像信号を生成するようにしてもよい。
【0059】
図１５は、交換レンズ２０２の射出瞳の位置とケラレとの関係を説明する図である。撮像素子２１２上の画素エリア１０１、１０２には一対の測距瞳９３、９４を通過する光束により一対の像が形成され、当該一対の像に対応する信号を各画素エリア１０１、１０２に配置された画素３１１が出力することになる。一対の測距瞳９３、９４は、交換レンズ２０２の射出瞳９０の測距瞳面に位置し、その測距瞳面は、交換レンズ２０２の予定結像面に配置されたマイクロレンズ１０の前方の距離ｄの位置に設定されている。距離ｄは、標準として設定した交換レンズ２０２における射出瞳９０からマイクロレンズ１０までの距離であり、以下、標準距離と呼ぶ。なお、カメラボディ２０３には種々の交換レンズ２０２が装着可能であり、装着する交換レンズ２０２によっては射出瞳９０がマイクロレンズ１０から標準距離ｄ以外の位置にある場合も想定される。
【0060】
測距瞳９３を通る光束２７２と測距瞳９４を通る光束２７３が、画素エリア１０１に一対の像を形成する。測距瞳９３を通る光束２８２と測距瞳９４を通る光束２８３が、画素エリア１０２に一対の像を形成する。交換レンズ２０２の射出瞳の位置が標準距離ｄの位置にある場合は、画素エリア１０１の光電変換部１３、１４が受光する光束２７２、２７３および画素エリア１０２の光電変換部１３、１４が受光する光束２８２、２８３は制限されない（すなわちケラレが生じない）。
【0061】
光軸９１上にある画素エリア１０１に属する画素３１１については交換レンズ２０２の射出瞳の位置が標準距離ｄ以外の位置にあっても、光電変換部１３、１４が受光する光束２７２、２７３は光軸９１に対して対称に制限されるので、画像信号を生成する際、光電変換部１３、１４のどちらを選択してもよい。
【0062】
一方、光軸９１から離れた（撮影画面の周辺に位置する）画素エリア１０２に属する画素３１１については、交換レンズ２０２の射出瞳の位置によって光電変換部１３、１４が受光する光束２８２、２８３の制限のされ方が異なるので、より光束が制限されていない（ケラレが少ない、すなわち一様輝度における出力が大きい）方の光電変換部を選択して、画像信号を生成する。
【0063】
例えば交換レンズ２０２の射出瞳が標準距離ｄより短い距離ｄ１の瞳面１０５にあった場合、光束２８３より光束２８２の方がケラレが少ないので、光束２８２を受光する光電変換部１３を選択して画像信号を生成する。
【0064】
また交換レンズ２０２の射出瞳が標準距離ｄより長い距離ｄ２の瞳面１１０にあった場合、光束２８２より光束２８３の方がケラレが少ないので、光束２８３を受光する光電変換部１４を選択して画像信号を生成する。
【0065】
なお、画素エリア１０２と光軸９１に対して反対側にある画素エリアに関しては、画素エリア１０２と一対の光束のケラレ方が逆になる。すなわち交換レンズ２０２の射出瞳が標準距離ｄより短い距離ｄ１の瞳面１０５にあった場合は光電変換部１４を選択し、交換レンズ２０２の射出瞳が標準距離ｄより長い距離ｄ２の瞳面１１０にあった場合、光電変換部１３を選択する。
【0066】
このようにケラレ判定部２３７は、交換レンズ２０２の射出瞳の位置情報に基づき、非合焦領域に対応する画素３１１の位置において、ケラレの状況、すなわちケラレが一対の光束のどちらに多く生じるかを判定し、光電変換部１３、１４のうち、ケラレの少ない方の光束を受光する光電変換部を選択する。第１の画像信号生成部２３２は、非合焦領域に対応する画素３１１の位置において、ケラレ判定部２３７によって選択された光電変換部の出力信号に基づき画像信号を生成する。なお、光電変換部１３、１４が受光する一対の光束において、ケラレが同程度である場合、もしくは両方ともケラレが生じない場合には、光電変換部１３、１４のどちらを選択するようにしてもよい。
【0067】
また、交換レンズ２０２の射出瞳の位置情報は、交換レンズ２０２のレンズ駆動制御装置２０６から電気接点２１３を介して通信により取得すればよい。また、ケラレ判定部２３７は、交換レンズ２０２の射出瞳の位置情報に加え、交換レンズ２０２の絞り値（Ｆ値）の情報を用いて、上記ケラレの状況を判定してもよい。
【0068】
＜画像の解析＞
画像解析部２３４は、第１の画像信号生成部２３２により生成された画像信号に基づき、被写体画像の解析処理を行う。上述したように当該画像信号は、非合焦領域について光電変換部１３、１４のいずれか一方の出力信号を用いていることにより、非合焦領域についてもボケの少ない画像となるので、被写体画像の解析処理を精度よく行うことができる。
画像解析部２３４は、第１の画像信号生成部２３２により生成された画像信号に基づき、被写体画像の解析処理を行う。上述したように当該画像信号は、非合焦領域について光電変換部１３、１４のいずれか一方の出力信号を用いていることにより、非合焦領域についてもボケの少ない画像となるので、被写体画像の解析処理を精度よく行うことができる。
【0069】
画像解析部２３４は、被写体画像の解析処理として、たとえば、被写体画像からエッジを検出するエッジ検出処理、および被写体画像内の顔を認識する顔認識処理の少なくとも一方を行う。顔認識処理としては、たとえば、被写体画像内の顔を検出し、その顔が所定人物の顔であるか否かを識別する顔認証処理などを行う。顔認証処理では、被写体画像に含まれる顔の特徴量と、あらかじめカメラボディ２０３内の不図示の記憶部に登録されている登録ユーザーの顔の特徴量とを比較し、被写体画像に含まれる顔が登録ユーザーの顔であるか否かを識別する。エッジ検出処理および顔認識処理は、公知の技術であるため、詳細な説明は省略する。
【0070】
（スルー画像および記録用の画像信号の生成）
第２の画像信号生成部２３３は、撮影画面全体に対応する画素３１１について、光電変換部１３の出力信号ａと光電変換部１４の出力信号ｂとを加算して平均した、（ａ＋ｂ）／２を、スルー画像または記録用の画像信号として生成する。この画像信号の生成処理は、上述した第１の画像信号生成部２３２において、略合焦領域に対応する画素の画像信号の生成処理と同様に行うため、詳細な説明を省略する。
第２の画像信号生成部２３３は、撮影画面全体に対応する画素３１１について、光電変換部１３の出力信号ａと光電変換部１４の出力信号ｂとを加算して平均した、（ａ＋ｂ）／２を、スルー画像または記録用の画像信号として生成する。この画像信号の生成処理は、上述した第１の画像信号生成部２３２において、略合焦領域に対応する画素の画像信号の生成処理と同様に行うため、詳細な説明を省略する。
【0071】
表示制御部２３５は、第２の画像信号生成部２３３により生成された画像信号に基づき、液晶表示素子２１６にスルー画像を表示させる。また、不図示のシャッターボタンが全押し操作された場合は、記録制御部２３６は、第２の画像信号生成部２３３により生成された画像信号に基づき、メモリカード２１９に画像を記録する。
【0072】
このようにスルー画像または記録用の画像を生成する際には、ボケを生かした画像とするため、解析用の画像と異なり、非合焦領域においても光電変換部１３、１４の出力信号を加算して画像信号を生成する。
【0073】
上述した実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラ２０１において、撮像素子２１２には、マイクロレンズ１０と交換レンズ２０２の瞳の一対の領域を通過した一対の光束をマイクロレンズ１０を介してそれぞれ受光して一対の出力信号をそれぞれ生成する一対の光電変換部１３、１４を有する画素３１１が二次元状に配置される。焦点検出部２３０は、横方向に配置された複数の画素３１１から出力される一対の出力信号の列のズレ量を検出して、撮影画面上の種々の位置におけるデフォーカス量を検出する。区分部２３１は、デフォーカス量に基づき、前記撮影画面を略合焦領域と非合焦領域とに区分する。第１の画像信号生成部２３２は、略合焦領域の画素３１１については、光電変換部１３の出力信号と光電変換部１４の出力信号とを加算した加算信号によって画像信号を生成し、非合焦領域の画素３１１については、光電変換部１３の出力信号と光電変換部１４の出力信号とのいずれか一方の出力信号によって画像信号を生成する。このような構成により、非合焦領域においてもボケの少ない画像、すなわち撮影画面全体が鮮明な画像を取得することができる。
（１）デジタルカメラ２０１において、撮像素子２１２には、マイクロレンズ１０と交換レンズ２０２の瞳の一対の領域を通過した一対の光束をマイクロレンズ１０を介してそれぞれ受光して一対の出力信号をそれぞれ生成する一対の光電変換部１３、１４を有する画素３１１が二次元状に配置される。焦点検出部２３０は、横方向に配置された複数の画素３１１から出力される一対の出力信号の列のズレ量を検出して、撮影画面上の種々の位置におけるデフォーカス量を検出する。区分部２３１は、デフォーカス量に基づき、前記撮影画面を略合焦領域と非合焦領域とに区分する。第１の画像信号生成部２３２は、略合焦領域の画素３１１については、光電変換部１３の出力信号と光電変換部１４の出力信号とを加算した加算信号によって画像信号を生成し、非合焦領域の画素３１１については、光電変換部１３の出力信号と光電変換部１４の出力信号とのいずれか一方の出力信号によって画像信号を生成する。このような構成により、非合焦領域においてもボケの少ない画像、すなわち撮影画面全体が鮮明な画像を取得することができる。
【0074】
（２）デジタルカメラ２０１において、第２の画像信号生成部２３３は、撮影画面全体の画素３１１について、光電変換部１３の出力信号と光電変換部１４の出力信号とを加算した加算信号によって画像信号を生成する。このような構成により、非合焦領域のボケを生かした画像を取得することができる。
【0075】
（３）デジタルカメラ２０１において、画像解析部２３４は、第１の画像信号生成部２３２により生成された画像信号に基づき、被写体画像の解析処理を行い、表示制御部２３５は、第２の画像信号生成部２３３により生成された画像信号に基づき、スルー画像を液晶表示素子２１６に表示させる。このような構成により、非合焦領域においてボケの少ない画像を用いて被写体画像の解析処理を行うので当該解析処理を精度よく行うことができ、スルー画像としては非合焦領域のボケを生かした画像を表示することができる。
【0076】
（４）デジタルカメラ２０１において、ケラレ判定部２３７は、交換レンズ２０２の瞳位置の情報に基づきケラレが一対の光束のどちらに多く生じるかを判定し、光電変換部１３、１４のうち、ケラレの少ない方の光束を受光する光電変換部を選択する。第１の画像信号生成部２３２は、非合焦領域の画素３１１について、ケラレ判定部２３７によって選択された光電変換部の出力信号によって画像信号を生成する。このような構成により、ケラレが少ない、すなわち一様輝度における出力が大きい方の光電変換部を用いて画像信号を生成することができる。
【0077】
（５）デジタルカメラ２０１において、第１の画像信号生成部２３２は、非合焦領域の画素３１１について、光電変換部１３の出力信号によって画像信号を生成する場合には、周辺の画素３１１における光電変換部１３の出力信号に基づき色補間処理を行い、光電変換部１４の出力信号によって画像信号を生成する場合には、周辺の画素３１１における光電変換部１４の出力信号に基づき色補間処理を行う。このような構成により、色補間処理を精度よく行うことができる。
【0078】
（６）デジタルカメラ２０１は、撮像素子２１２と、第１の画像信号生成部２３２とを有する。撮像素子２１２には、交換レンズ２０２の射出瞳９０の一対の測距瞳９３および９４を通過した一対の光束である第１および第２の光束７３、７４をそれぞれ受光して第１の出力信号を生成する第１の光電変換部１３と第２の出力信号を生成する第２の光電変換部１４とを有する画素が複数配置される。第１の画像信号生成部２３２は、第１の出力信号により、画像信号生成に用いられる画素３１１の信号を生成する。このような構成により、ボケの少ない鮮明な画像を取得することができる。
【0079】
（７）デジタルカメラ２０１は、撮像素子２１２と、第１の画像信号生成部２３２とを有する。撮像素子２１２は、第１の画素３１１とその周辺の第２の画素３１１とをそれぞれ複数有する。第１の画素３１１は、交換レンズ２０２の射出瞳９０の一対の測距瞳９３および９４を通過した一対の光束である第１および第２の光束をそれぞれ受光して第１の色成分の第１の信号及び第２の信号をそれぞれ生成する第１の光電変換部１３及び第２の光電変換部１４を有する。第２の画素３１１は、交換レンズ２０２の射出瞳９０の一対の測距瞳９３および９４を通過した一対の光束である第１および第２の光束をそれぞれ受光して第２の色成分の第３の信号及び第４の信号をそれぞれ生成する第３の光電変換部１３及び第４の光電変換部１４を有する。第１の画像信号生成部２３２は、略合焦領域では、第３の信号と第４の信号とを加算して生成した画像信号により、第１の画素３１１の位置における第２の色成分の信号を補間する。第１の画像信号生成部２３２は、非合焦領域では、第３の信号により、第１の画素３１１の位置における第２の色成分の信号を補間する。このような構成により、色補間処理を使い分けることができる。また、ボケを生かした画像とボケの少ない画像とを適宜作成することができる。
【0080】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
ボディ駆動制御装置２１４は、第１の画像信号生成部２３２を、スルー画像または記録用画像生成のための画像信号の生成部としても用いることができる。この場合、スルー画像または記録用の画像は、非合焦領域においてもボケの少ない画像となる。
（変形例１）
ボディ駆動制御装置２１４は、第１の画像信号生成部２３２を、スルー画像または記録用画像生成のための画像信号の生成部としても用いることができる。この場合、スルー画像または記録用の画像は、非合焦領域においてもボケの少ない画像となる。
【0081】
その場合、ボディ駆動制御装置２１４は、第１の画像信号生成部２３２により画像を生成するモードと第２の画像信号生成部２３３により画像を生成するモードとをたとえばユーザー操作に応じて切り替えることによって、好適なスルー画像または記録用の画像を生成してもよい。これにより、非合焦領域においてもボケの少ない画像を撮影するか、ボケを生かした画像を撮影するかをユーザーの所望に応じて選択することができる。
【0082】
また、ボディ駆動制御装置２１４は、第１の画像信号生成部２３２により生成された画像信号により生成された画像信号を用いたスルー画像または記録用の画像を生成するとともに、第２の画像信号生成部２３３により生成された画像信号を用いたスルー画像または記録用の画像を生成することにより、２種類の画像を生成してもよい。これにより、１回の撮影において、２種類の画像、すなわち非合焦領域においてもボケの少ない画像とボケを生かした画像との両方を取得することができる。ユーザーは、これら２種類の画像を、所望に応じて適宜利用することができる。
【0083】
（変形例２）
第１の画像信号生成部２３２は、略合焦領域に対応する画素３１１及び非合焦領域に対応する画素３１１の両方について、光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成することとしてもよい。光電変換部１３、１４の出力信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の信号が不足する。そのため、第１の画像信号生成部２３２は、光電変換部１３の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１３の出力信号を用いて不足する色成分の信号を生成し、光電変換部１４の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１４の出力信号を用いて不足する色成分の信号を生成する色補間処理を行う。
第１の画像信号生成部２３２は、略合焦領域に対応する画素３１１及び非合焦領域に対応する画素３１１の両方について、光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成することとしてもよい。光電変換部１３、１４の出力信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の信号が不足する。そのため、第１の画像信号生成部２３２は、光電変換部１３の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１３の出力信号を用いて不足する色成分の信号を生成し、光電変換部１４の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１４の出力信号を用いて不足する色成分の信号を生成する色補間処理を行う。
【0084】
こうした第１の画像信号生成部２３２による画像信号生成処理と色補間処理とに基づき、解析用の画像信号が生成される。さらに、こうした第１の画像信号生成部２３２による画像信号生成処理と色補間処理とに基づき、スルー画像および記録用の画像信号が生成されることとしてもよい。この場合、スルー画像または記録用の画像は、非合焦領域においてもボケの少ない画像となる。
【0085】
（変形例３）
撮影画面を略合焦領域と非合焦領域とに区分する区分部２３１を設けないこととしてもよい。この場合において、第１の画像信号生成部２３２は、撮影画面内の領域に対応する画素３１１の光電変換部１３、１４の出力信号を加算して画像信号を生成する。その際、第１の画像信号生成部２３２は、周辺の画素３１１の光電変換部１３、１４の出力信号を加算して不足する色成分の信号を生成する第１の補間処理を行う。こうして第１の画像信号生成部２３２により生成された画像信号は、解析用の画像信号として用いてもよいし、スルー画像および記録用の画像信号として用いてもよい。
撮影画面を略合焦領域と非合焦領域とに区分する区分部２３１を設けないこととしてもよい。この場合において、第１の画像信号生成部２３２は、撮影画面内の領域に対応する画素３１１の光電変換部１３、１４の出力信号を加算して画像信号を生成する。その際、第１の画像信号生成部２３２は、周辺の画素３１１の光電変換部１３、１４の出力信号を加算して不足する色成分の信号を生成する第１の補間処理を行う。こうして第１の画像信号生成部２３２により生成された画像信号は、解析用の画像信号として用いてもよいし、スルー画像および記録用の画像信号として用いてもよい。
【0086】
第２の画像信号生成部２３３は、撮影画面内の領域に対応する画素３１１の光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成する。その際、第２の画像信号生成部２３３は、光電変換部１３の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１３の出力信号を用いて不足する色成分の信号を生成し、光電変換部１４の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１４の出力信号を用いて不足する色成分の信号を生成する第２の補間処理を行う。こうして第２の画像信号生成部２３３により生成された画像信号は、解析用の画像信号として用いてもよいし、スルー画像および記録用の画像信号として用いてもよい。
【0087】
（変形例４）
色補間処理の方法は、上述した例に限らない。たとえば、図１３（ｃ）に示したＧ成分の補間処理において、注目位置に対応する画素に縦横方向に隣接する画素の光電変換部１３に対応する４つの位置の出力信号（Ｇ成分の信号）を単純平均することで、注目位置におけるＧ成分の信号を求めるようにしてもよい。
色補間処理の方法は、上述した例に限らない。たとえば、図１３（ｃ）に示したＧ成分の補間処理において、注目位置に対応する画素に縦横方向に隣接する画素の光電変換部１３に対応する４つの位置の出力信号（Ｇ成分の信号）を単純平均することで、注目位置におけるＧ成分の信号を求めるようにしてもよい。
【0088】
また、たとえば、Ｇ成分の補間処理において、横方向または縦方向にエッジがあると判定された場合も、注目位置に対応する画素に縦横方向に隣接する４つの画素の出力信号を加重平均することにより、注目位置のＧ成分の信号を求めるようにしてもよい。この場合、横方向にエッジがあると判定された場合は、縦方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を大きくし、横方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を小さくする。一方、縦方向にエッジがあると判定された場合は、横方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を大きくし、縦方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を小さくする。
【0089】
（変形例５）
上述した実施の形態では、画素３１１の例として、１画素当たり２つの光電変換部を有する２ＰＤ構成を例に説明したが、複数の光電変換部の数は２つに限らず、４ＰＤでも１６ＰＤでも構わない。
上述した実施の形態では、画素３１１の例として、１画素当たり２つの光電変換部を有する２ＰＤ構成を例に説明したが、複数の光電変換部の数は２つに限らず、４ＰＤでも１６ＰＤでも構わない。
【0090】
（変形例６）
上述した実施の形態では、撮像素子２１２の例として、撮像面の全域に焦点検出用の画素（一対の光電変換部を有する画素）が設けられる例について説明した。しかしながら、撮像素子２１２において、焦点検出エリアに対応する位置にのみ焦点検出用の画素が配置され、その他の位置には通常の画素（１つの光電変換部を有する画素）が配置されていてもよい。
上述した実施の形態では、撮像素子２１２の例として、撮像面の全域に焦点検出用の画素（一対の光電変換部を有する画素）が設けられる例について説明した。しかしながら、撮像素子２１２において、焦点検出エリアに対応する位置にのみ焦点検出用の画素が配置され、その他の位置には通常の画素（１つの光電変換部を有する画素）が配置されていてもよい。
【0091】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0092】
１０…マイクロレンズ、１３、１４…光電変換部、２０１…デジタルカメラ、２０２…交換レンズ、２０３…カメラボディ、２１２…撮像素子、２１４…ボディ駆動制御装置、２１６…液晶表示素子、２１９…メモリカード、２３０…焦点検出部、２３１…区分部、２３２…第１の画像信号生成部、２３３…第２の画像信号生成部、２３４…画像解析部、２３５…表示制御部、２３６…記録制御部、２３７…ケラレ判定部、３１１…画素
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】