特許 6013284 撮像装置及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6013284

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月25日

(54)【発明の名称】撮像装置及び撮像方法

(51)【国際特許分類】

   G02B 7/34 20060101AFI20161011BHJP

   H04N 5/232 20060101ALI20161011BHJP

   H04N 9/07 20060101ALI20161011BHJP

   G03B 13/36 20060101ALI20161011BHJP

【ＦＩ】

   G02B7/34

   H04N5/232 H

   H04N9/07 D

   G03B13/36

【請求項の数】12

【全頁数】22

(21)【出願番号】特願2013-133918(P2013-133918)

(22)【出願日】2013年6月26日

(65)【公開番号】特開2015-11058(P2015-11058A)

(43)【公開日】2015年1月19日

【審査請求日】2016年4月1日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(72)【発明者】

【氏名】今出 愼一

【審査官】 川俣 洋史

(56)【参考文献】

【文献】 特開２００１−１７４６９６（ＪＰ，Ａ）

【文献】 特開２０１３−０４４８０６（ＪＰ，Ａ）

【文献】 特開２０１３−０５７７６１（ＪＰ，Ａ）

【文献】 特開２０１２−２３７８３１（ＪＰ，Ａ）

【文献】 特開昭６３−２６５２１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ７／２８ − ７／４０

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ９／０７

(57)【特許請求の範囲】

【請求項1】

第１波長帯域の光を透過する第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過する第２瞳と、を有する光学系と、
第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含み、第１色〜第３色の画素値を取得する撮像素子と、
前記第１色及び前記第３色の画素値を、前記第１透過率特性と前記第３透過率特性の重複部分の成分値に基づいて補正する補正処理部と、
前記補正した前記第１色の画素値で構成する画像と、前記補正した前記第３色の画素値で構成する画像と、の間の位相差を検出する位相差検出部と、
を含むことを特徴とする撮像装置。

【請求項2】

請求項１において、
前記第２色は、前記第１色よりも長波長側であり且つ前記第３色よりも短波長側の色であり、
前記第１瞳が透過する前記第１波長帯域は、前記第３色に対応し、前記第２瞳が透過する前記第２波長帯域は、前記第１色に対応することを特徴とする撮像装置。

【請求項3】

請求項２において、
前記補正処理部は、
前記第２色の画素値に基づいて前記第１透過率特性と前記第３透過率特性の前記重複部分の成分値を推定し、前記第１色及び前記第３色の画素値から前記重複部分の成分値を低下させる補正を行うことを特徴とする撮像装置。

【請求項4】

請求項３において、
前記補正処理部は、
前記第１透過率特性と前記第３透過率特性に基づく第１係数を前記第２色の画素値に乗じることで、前記重複部分の成分値を求めることを特徴とする撮像装置。

【請求項5】

請求項４において、
前記第１係数を乗じた前記第２透過率特性と前記重複部分との類似性が最も高い場合の前記第１係数を取得する係数取得部を含むことを特徴とする撮像装置。

【請求項6】

請求項５において、
前記類似性が最も高い場合の前記第１係数は、
前記重複部分の複数波長での透過率を成分とするベクトルと、前記第１係数を乗じた前記第２透過率特性の前記複数波長での透過率を成分とするベクトルと、の間のユークリッド距離が最小となる場合の前記第１係数であることを特徴とする撮像装置。

【請求項7】

請求項３乃至６のいずれかにおいて、
前記補正処理部は、
前記重複部分の成分値を前記第１色の画素値から減算することで前記第１色の画素値を補正し、前記重複部分の成分値を前記第３色の画素値から減算することで前記第３色の画素値を補正することを特徴とする撮像装置。

【請求項8】

請求項７において、
前記補正処理部は、
前記第１透過率特性と前記第３透過率特性に基づく第２係数を乗じた前記第２色の画素値から、前記重複部分の成分値と前記補正した前記第１色の画素値と前記補正した前記第３色の画素値とを減算することで、前記第２色の画素値を補正することを特徴とする撮像装置。

【請求項9】

請求項８において、
前記第１透過率特性の短波長側の一部及び前記第３透過率特性の長波長側の一部と、前記第２係数を乗じた前記第２透過率特性と、の類似性が最も高い場合の前記第２係数を取得する係数取得部を含むことを特徴とする撮像装置。

【請求項10】

請求項９において、
前記第１透過率特性の最大透過率よりも短波長側の所定波長を第１波長とし、前記第３透過率特性の最大透過率よりも長波長側の所定波長を第２波長とする場合に、
前記類似性が最も高い場合の前記第２係数は、
前記第１透過率特性における前記第１波長よりも短波長側の複数波長での透過率を成分とするベクトル、及び前記第３透過率特性における前記第２波長よりも長波長側の複数波長での透過率を成分とするベクトルと、前記第２係数を乗じた前記第２透過率特性の前記複数波長での透過率を成分とするベクトルと、の間のユークリッド距離が最小となる場合の前記第２係数であることを特徴とする撮像装置。

【請求項11】

請求項３乃至６のいずれかにおいて、
前記補正処理部は、
前記重複部分の成分値の候補値、及び前記第１色の画素値を前記候補値で補正した値、及び前記第３色の画素値を前記候補値で補正した値と、前記第１色〜第３色の画素値と、の類似性を表す評価値を求め、
前記類似性が最も高い場合の前記候補値を前記評価値に基づいて決定することで、前記重複部分の成分値を求めることを特徴とする撮像装置。

【請求項12】

第１波長帯域の光を透過する第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過する第２瞳と、を有する光学系により結像し、
第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により前記結像を撮像する処理を行い、
前記撮像により取得した第１色〜第３色の画素値のうち前記第１色及び前記第３色の画素値を、前記第１透過率特性と前記第３透過率特性の重複部分の成分値に基づいて補正する処理を行い、
前記補正した前記第１色の画素値で構成する画像と、前記補正した前記第３色の画素値で構成する画像と、の間の位相差を検出する処理を行う、
ことを特徴とする撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び撮像方法等に関する。

【背景技術】

【0002】

近年の撮像装置には、原色ＲＧＢのカラーフィルタを有する撮像素子が広く用いられている。カラーフィルタの帯域を広くするほど透過光量が増えて撮像感度が得られるため、一般的な撮像素子では、ＲＧＢのカラーフィルタの透過率特性を意図的にオーバーラップさせる手法が用いられている。

【0003】

また、例えば位相差ＡＦ等において、２つの瞳の視差を用いた位相差検出が行われている。例えば、特許文献１には、右瞳がＲとＧを透過し、左瞳がＧとＢを透過し、撮像したＲＧＢ画像のうち視差を持つＲ画像（右瞳画像）とＢ画像（左瞳画像）の位相差を検出する手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１−１７４６９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、カラーフィルタの透過率特性をオーバーラップさせると２つの瞳画像の分離性が低下し、位相差検出の精度が低下するという課題がある。

【0006】

例えば、上述した特許文献１の手法では、撮像素子のＢとＧのカラーフィルタの透過率特性にオーバーラップがあるため、ＲとＧを透過する右瞳の透過光がＢ画像（左瞳画像）に混入する。これにより、左右瞳の分離性が低下し、位相差検出の精度が低下するという課題がある。

【0007】

本発明の幾つかの態様によれば、カラーフィルタの透過率特性がオーバーラップした撮像画像から高精度な位相差検出が可能な撮像装置及び撮像方法等を提供できる。

【課題を解決するための手段】

【0008】

本発明の一態様は、第１波長帯域の光を透過する第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過する第２瞳と、を有する光学系と、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含み、第１色〜第３色の画素値を取得する撮像素子と、前記第１色及び前記第３色の画素値を、前記第１透過率特性と前記第３透過率特性の重複部分の成分値に基づいて補正する補正処理部と、前記補正した前記第１色の画素値で構成する画像と、前記補正した前記第３色の画素値で構成する画像と、の間の位相差を検出する位相差検出部と、を含む撮像装置に関係する。

【0009】

また本発明の他の態様は、第１波長帯域の光を透過する第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過する第２瞳と、を有する光学系により結像し、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により前記結像を撮像する処理を行い、前記撮像により取得した第１色〜第３色の画素値のうち前記第１色及び前記第３色の画素値を、前記第１透過率特性と前記第３透過率特性の重複部分の成分値に基づいて補正する処理を行い、前記補正した前記第１色の画素値で構成する画像と、前記補正した前記第３色の画素値で構成する画像と、の間の位相差を検出する処理を行う撮像方法に関係する。

【0010】

本発明の一態様と他の態様によれば、第１色及び第３色の画素値が、第１透過率特性と第３透過率特性の重複部分の成分値に基づいて補正され、その補正された第１色の画素値で構成する画像と、補正された第３色の画素値で構成する画像と、の間の位相差が検出される。これにより、カラーフィルタの透過率特性がオーバーラップした撮像画像から高精度な位相差検出を行うことが可能になる。

【図面の簡単な説明】

【0011】

【図1】撮像装置の基本構成例。

【図2】高色再現画像を求める手法についての説明図。

【図3】高色再現画像を求める手法についての説明図。

【図4】係数αを求める手法についての説明図。

【図5】係数βを求める手法についての説明図。

【図6】第１実施形態における撮像装置の構成例。

【図7】第２実施形態における高色再現画像を求める手法についての説明図。

【図8】第３実施形態における撮像装置の基本構成例。

【図9】右瞳画像と左瞳画像を分離する手法についての説明図。

【図10】右瞳画像と左瞳画像のプロファイルについての説明図。

【図11】第３実施形態における撮像装置の構成例。

【図12】シミュレーション結果の例。

【図13】シミュレーション結果の例。

【図14】測距手法についての説明図。

【発明を実施するための形態】

【0012】

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

【0013】

１．本実施形態の概要
まず、本実施形態の概要について説明する。以下ではＲＧＢベイヤ配列の撮像素子を用いる場合を例に説明するが、本実施形態はこれに限定されず、波長帯域がオーバーラップするカラーフィルタを有する撮像素子であればよい。また、以下では第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。

【0014】

図８に、撮像装置の基本構成例を示す。撮像装置の光学系１０には、瞳分割用の光学フィルタ１２が設けられ、光学フィルタ１２には、右瞳に対応する光学フィルタＦＬ１と、左瞳に対応する光学フィルタＦＬ２が設けられる。図９に、光学フィルタ１２の透過率特性と撮像素子のカラーフィルタの透過率特性を模式的に示す。光学フィルタ１２の右瞳、左瞳は、透過率特性ｆ^Ｒ、ｆ^Ｌを有し、ＲＧＢのカラーフィルタは、透過率特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒを有する。この場合、例えば右瞳画像を赤色画素値ｒ＝Ｉ・Ｆ_Ｒで構成し、左瞳画像を青色画素値ｂ＝Ｉ・Ｆ_Ｂで構成することにより、位相差画像が得られる。ここで、Ｉは撮像素子の画素への入射光量である。

【0015】

しかしながら、カラーフィルタの透過率特性Ｆ_Ｂ、Ｆ_Ｒはφ_ＲＢ＝φ_ＧＢ＋φ_ＧＲでオーバーラップしているため、赤色と青色の色純度は低下している。この色純度の低下により、左右瞳画像は互いに混ざった成分をもってしまう。即ち、右瞳画像はｒ＝Ｉ・Ｆ_Ｒ＝Ｉ・（φ_Ｒ＋φ_ＧＲ＋φ_ＧＢ）と表されるが、そのうちＩ・φ_ＧＢは左瞳を通過した成分である。また、左瞳画像はｂ＝Ｉ・Ｆ_Ｂ＝Ｉ・（φ_Ｂ＋φ_ＧＢ＋φ_ＧＲ）と表されるが、そのうちＩ・φ_ＧＲは右瞳を通過した成分である。この成分により左右瞳画像の分離性が低下し、位相差検出の精度を低下させる要因となる。

【0016】

そこで図１に示すように、本実施形態の撮像装置は、光学系１０と撮像素子２０と補正処理部１２０と位相差検出部１８５を含む。光学系１０は、第１波長帯域ｆ^Ｒの光を透過する第１瞳１１と、第１波長帯域とは異なる第２波長帯域ｆ^Ｌの光を透過する第２瞳１３と、を有する。撮像素子２０は、第１透過率特性Ｆ_Ｂを有する第１色（青色）フィルタと、第２透過率特性Ｆ_Ｇを有する第２色（緑色）フィルタと、第３透過率特性Ｆ_Ｒを有する第３色（赤色）フィルタとを含み、第１色〜第３色の画素値ｂ、ｇ、ｒを取得する。補正処理部１２０は、第１色及び第３色の画素値ｂ、ｒを、第１透過率特性Ｆ_Ｂと第３透過率特性Ｆ_Ｒの重複部分φ_ＲＢ＝φ_ＧＢ＋φ_ＧＲの成分値に基づいて補正する。そして位相差検出部１８５は、その補正した第１色の画素値ｂ’＝Ｉ・φ_Ｂで構成する画像（左瞳画像）と、補正した第３色の画素値ｒ’＝Ｉ・φ_Ｒで構成する画像（右瞳画像）と、の間の位相差を検出する。

【0017】

このようにすれば、第１色と第３色の画素値ｂ、ｒにおいて互いに重複する成分（Ｉ・φ_ＲＢを、補正により低下させる（又はキャンセルする）ことが可能となる。これにより、カラーフィルタの透過率特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒがオーバーラップした撮像画像から、互いの成分の混入が低下した（又はキャンセルされた）右瞳画像（ｒ’＝Ｉ・φ_Ｒ）、左瞳画像（ｂ’＝Ｉ・φ_Ｂ）を得ることができる。これにより、高精度な位相差検出を実現できる。

【0018】

後述する実施形態を例に、より具体的に説明する。一般的な撮像素子では、透過率特性Ｆ_Ｂ、Ｆ_Ｒの重複部分φ_ＲＢが緑色（第２色）の透過率特性Ｆ_Ｇに相似であることから、緑色の画素値ｇに基づいて重複部分φ_ＲＢの成分値Ｉ・φ_ＲＢを推定する。この成分値Ｉ・φ_ＲＢを画素値ｂ、ｒから減算することで、補正後の青色と赤色の画素値｛ｂ’，ｒ’｝＝｛Ｉ・φ_Ｂ，Ｉ・φ_Ｒ｝を得る。

【0019】

このようにして、第１色と第３色の画素値ｂ、ｒを重複部分の成分値Ｉ・φ_ＲＢに基づいて補正し、補正後の画素値｛ｂ’，ｒ’｝＝｛Ｉ・φ_Ｂ，Ｉ・φ_Ｒ｝を求めている。この補正後の画素値Ｉ・φ_Ｂ、Ｉ・φ_Ｒは、カラーフィルタの透過率特性Ｆ_Ｂ、Ｆ_Ｒのオーバーラップ部分が除かれることで、色純度の高い画素値となっている。この色純度の高い画素値を用いることで、位相差検出における相関演算の精度を向上できる。

【0020】

２．第１実施形態
２．１．高純度分光分離手法
次に、本実施形態の詳細について説明する。なお以下では、撮像素子２０を適宜、撮像センサとも呼ぶ。また、透過率特性（分光特性）｛Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ，Ｆ_Ｇ１，Ｆ_Ｇ２｝や、透過率特性の領域又は部分｛φ_Ｂ，φ_Ｇ，φ_Ｒ，φ_ＲＢ｝は、波長λの関数であるが、簡単のためＦ_Ｂ（λ）等をＦ_Ｂ等と表記する。また、｛φ_Ｂ，φ_Ｇ，φ_Ｒ，φ_ＲＢ｝に光量Ｉを乗じ（て波長λで積分し）た｛Ｉ・φ_Ｂ，Ｉ・φ_Ｇ，Ｉ・φ_Ｒ，Ｉ・φ_ＲＢ｝は画素値又は成分値である。

【0021】

まず、瞳分割を行わないＲＧＢ撮像画像から高色再現画像を取得する手法について説明する。図２、図３に示すように、撮像センサのカラーフィルタの透過率特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒを４つの領域φ_Ｒ、φ_ＲＢ、φ_Ｂ、φ_Ｇに分けて考える。φ_ＲＢは、Ｆ_ＢとＦ_Ｒが重なる部分である。φ_Ｒは、Ｆ_Ｒから重複部分φ_ＲＢを除いた部分である。φ_Ｂは、Ｆ_Ｂから重複部分φ_ＲＢを除いた部分である。φ_Ｇは、Ｆ_Ｂ、Ｆ_Ｒを包含するようにＦ_Ｇをゲインアップした特性Ｆ_Ｇ２からφ_Ｒ、φ_ＲＢ、φ_Ｂを除いた部分である。

【0022】

φ_Ｒ、φ_Ｇ、φ_Ｂを、高純度な原色ＲＧＢの分光特性フィルタを通過した光量成分と捉えると、φ_Ｒ、φ_Ｇ、φ_Ｂの特性を予め求めることができれば、高色再現の画像を得ることができる。

【0023】

図２を用いて、赤色と青色の高純度画素値｛ｒ’，ｂ’｝＝｛Ｉ・φ_Ｒ，Ｉ・φ_Ｂ｝を抽出する手法について説明する。なお以下では、一般に広く使われているカラー撮像センサでは、重複部分φ_ＲＢの分光特性Ｆ_ＲＧと緑色のカラーフィルタの分光特性Ｆ_Ｇの相似性が高いことが分かっている。相互の特性そのものの相似性が高いため、φ_ＲＢを下式（１）により近似できる。なお、係数αの求め方は後述する。
φ_ＲＢ≒Ｆ_Ｇ１＝α・Ｆ_Ｇ，
０＜α＜１．０ （１）

【0024】

上式（１）で求めたφ_ＲＢからφ_Ｒ、φ_Ｂを求める。図２から分かるように、下式（２）が成り立つ。
Ｆ_Ｒ＝φ_Ｒ＋φ_ＲＢ，
Ｆ_Ｂ＝φ_Ｂ＋φ_ＲＢ （２）

【0025】

上式（１）、（２）より、下式（３）が成り立つことから、φ_Ｒ、φ_Ｂを求めることができる。
φ_Ｒ＝Ｆ_Ｒ−φ_ＲＢ≒Ｆ_Ｒ−α・Ｆ_Ｇ，
φ_Ｂ＝Ｆ_Ｂ−φ_ＲＢ≒Ｆ_Ｂ−α・Ｆ_Ｇ （３）

【0026】

撮像センサの画素に入力する光量値をＩとすると、実際に各画素のＲＧＢ画素値として得られるのは、下式（４）となる。
ｒ＝Ｉ・Ｆ_Ｒ，
ｇ＝Ｉ・Ｆ_Ｇ，
ｂ＝Ｉ・Ｆ_Ｂ （４）

【0027】

即ち、上式（３）、（４）より、高純度画素値ｒ’、ｂ’は下式（５）のように求められる。
ｒ’＝Ｉ・φ_Ｒ≒ｒ−α・ｇ，
ｂ’＝Ｉ・φ_ｂ≒ｂ−α・ｇ （５）

【0028】

次に、図３を用いて、緑色の高純度画素値ｇ’＝Ｉ・φ_Ｇを抽出する手法について説明する。分光特性Ｆ_Ｇ２は、緑色の分光特性Ｆ_Ｇにゲインβ（係数β）を乗じたものである。ゲインβは、Ｆ_Ｇ２が領域φ_Ｒ及び領域φ_Ｂを包含し、且つ最小のゲインとなるように求める。なお、ゲインβの求め方の詳細は後述する。

【0029】

下式（６）に示すように、ゲインβにより緑色の分光特性Ｆ_Ｇをゲインアップした分光特性Ｆ_Ｇ２を得る。
Ｆ_Ｇ２＝β・Ｆ_Ｇ，
１．０＜β （６）

【0030】

上式（６）で得られたＦ_Ｇ２と、上式（１）、（３）で求めたφ_Ｒ、φ_ＲＢ、φ_Ｂから、下式（７）によりφ_Ｇが得られる。
φ_Ｇ＝β・Ｆ_Ｇ−（φ_Ｒ＋φ_ＲＢ＋φ_Ｂ） （７）

【0031】

上式（１）、（４）、（７）より、高純度画素値ｇ’は下式（８）のように求められる。
ｇ’＝Ｉ・φ_Ｇ＝β・ｇ−（ｒ＋α・ｇ＋ｂ） （８）

【0032】

以上のようにして、高純度な原色画素値｛ｒ’，ｇ’，ｂ’｝＝｛Ｉ・φ_Ｂ，Ｉ・φ_Ｇ，Ｉ・φ_Ｒ｝が得られる。

【0033】

なお、高感度画像としては、ＲＧＢ特性の重なりが大きい撮像センサで取得したままの画像を使えばよいので、画素値ｒ、ｇ、ｂを用いればよい。

【0034】

２．２．係数α、βの算出手法
次に、上記の係数α、βを推定する手法について説明する。以下で説明する手法で予め求めておいた係数α、βを画像処理装置１００に記憶しておいてもよいし、或は、画像処理装置１００が分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒを取得し、その分光特性に基づいて係数α、βを求めてもよい。

【0035】

図４に示すように、実用的観点から、分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_ＲはＦ_Ｇに対してＦ_Ｂ、Ｆ_Ｒが対称的な特性になっているとは限らないので、Ｆ_Ｂ、Ｆ_Ｒに偏りのある特性の場合について、係数α、βの決定手法を示す。

【0036】

まず、係数αの求め方について説明する。Ｆ_ＢとＦ_Ｒの重なり部分φ_ＲＢはＦ_Ｇに対して偏っており、Ｆ_Ｇの最大値を示す波長をλ_Ｃとし、Ｆ_ＢとＦ_Ｒのクロスポイントを示す波長をλ’_Ｃとする。下式（９）に示すように、重複部分φ_ＲＢの分光特性及び分光特性Ｆ_Ｇを、波長λ_０、λ_１、λ_２、・・・、λ_Ｎにおける透過率を成分としたベクトルＶ_ＲＢ、Ｖ_Ｇとして捉える。
Ｖ_ＲＢ＝［φ_ＲＢ（λ_０），φ_ＲＢ（λ_１），φ_ＲＢ（λ_２），・・・，φ_ＲＢ（λ_Ｎ）］，
Ｖ_Ｇ＝［Ｆ_Ｇ（λ_０），Ｆ_Ｇ（λ_１），Ｆ_Ｇ（λ_２），・・・，Ｆ_Ｇ（λ_Ｎ）］ （９）

【0037】

下式（１０）に示すように、これらのベクトルＶ_ＲＢ、Ｖ_Ｇのユークリッド距離が最小になるときの係数αを採用する。これにより、φ_ＲＢとαＦ_Ｇ（＝Ｆ_Ｇ１）の類似性を高くできるため、漏れ光成分の低減効果を最適化できる。

【数1】

【0038】

なお、係数αの算出手法は上記に限定されない。例えば、係数αを変数として変化させ、上式（１）と上式（３）によりφ_Ｒ、φ_Ｂを求め、光量Ｉをフラットな分光特性である白色光と仮定して上式（５）によりｒ’、ｂ’を求め、そのホワイトバランスが最良になるように係数αを探索的に求めてもよい。

【0039】

次に、係数βの求め方について説明する。図５に示すように、φ_Ｒ、φ_Ｂを包含するようにＦ_ＧをゲインアップしたＦ_Ｇ２からφ_Ｒ、φ_ＲＢ、φ_Ｂを差し引いた部分をφ_Ｇとする。分光特性Ｆ_ＲとＦ_Ｇ２がほぼ合致する波長域をλ_Ｒ、・・・、λ_Ｎとし、分光特性Ｆ_ＢとＦ_Ｇ２がほぼ合致する波長域をλ_０、・・・、λ_Ｂとする。下式（１１）に示すように、波長λ_Ｒ、λ_Ｒ＋１、・・・、λ_Ｎにおける分光特性Ｆ_Ｒ、Ｆ_Ｇ２の透過率を成分としたベクトルをＶ_Ｒ、Ｖ_ＧＲ２とする。また、波長λ_０、λ_１、・・・、λ_Ｂにおける分光特性Ｆ_Ｂ、Ｆ_Ｇ２の透過率を成分としたベクトルをＶ_Ｂ、Ｖ_ＧＢ２とする。
Ｖ_Ｒ＝［Ｆ_Ｒ（λ_Ｒ），Ｆ_Ｒ（λ_Ｒ＋１），・・・，Ｆ_Ｒ（λ_Ｎ）］，
Ｖ_ＧＲ２＝［Ｆ_Ｇ２（λ_Ｒ），Ｆ_Ｇ２（λ_Ｒ＋１），・・・，Ｆ_Ｇ２（λ_Ｎ）］，
Ｖ_Ｂ＝［Ｆ_Ｂ（λ_０），Ｆ_Ｂ（λ_１），・・・，Ｆ_Ｂ（λ_Ｂ）］，
Ｖ_ＧＢ２＝［Ｆ_Ｇ２（λ_０），Ｆ_Ｇ２（λ_１），・・・，Ｆ_Ｇ２（λ_Ｂ）］ （１１）

【0040】

下式（１２）に示すように、これらのベクトルＶ_Ｒ、Ｖ_ＧＲ２、Ｖ_Ｂ、Ｖ_ＧＢ２のユークリッド距離が最小になるときの係数βを採用する。これにより、φ_Ｒ、φ_ＢとβＦ_Ｇ（＝Ｆ_Ｇ２）の類似性を高くできるため、漏れ光成分の低減効果を最適化できる。

【数2】

【0041】

なお、係数βの算出手法は上記に限定されない。例えば、係数βを変数として変化させ、上式（１）と上式（３）によりφ_Ｒ、φ_ＲＢ、φ_Ｂを求め、光量Ｉをフラットな分光特性である白色光と仮定して上式（５）によりｒ’、ｇ’、ｂ’を求め、そのホワイトバランスが最良になるように係数βを探索的に求めてもよい。

【0042】

以上の説明では分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒを撮像センサのカラーフィルタの分光特性であるものとして説明したが、分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒは、例えば撮像光学系の分光特性や撮像センサの画素の感度特性、光源の分光特性等を含んでもよい。この場合、照明や撮像センサによる撮像条件が決まっていれば、分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒはそれに従った特性となるので、予め係数α，βを求めておくことができる。一方、外光などによる撮影の場合は、撮影ごとに分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒを検出し、その分光特性から係数α，βを求めてもよい。

【0043】

２．３．撮像装置
図６に、高感度画像｛ｒ，ｇ，ｂ｝と高色再現画像｛ｒ’，ｇ’，ｂ’｝を同時取得する撮像装置の構成例を示す。

【0044】

撮像装置は、結像レンズ１４（光学系）、撮像部４０、モニタ表示部５０、分光特性検出部６０、画像処理装置１００を含む。画像処理装置１００は、デモザイキング部１３０、高画質化処理部１４０、モニタ画像生成部１５０、高純度分光分離処理部１６０、高画質化処理部１８０、撮像モード選択部１９０、分光特性記憶部１９５を含む。

【0045】

撮像部４０は、撮像素子２０と撮像処理部を含む。撮像素子２０は、例えばベイヤ配列のカラー撮像センサである。撮像処理部は、撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理等を行い、ベイヤ配列の画像｛ｒ，ｇｒ，ｇｂ，ｂ｝を出力する。

【0046】

デモザイキング部１３０は、ベイヤ配列の画像をデモザイキング処理し、画素毎にＲＧＢ画素値を有する画像（３板化画像）｛ｒ，ｇ，ｂ｝を生成する。

【0047】

カラー撮像センサは、ＲＧＢの分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒの重なりを大きくしたものを採用しているので、画像｛ｒ，ｇ，ｂ｝は、そのまま高感度画像として扱える。なお、カラー撮像センサとして、通常のオーバーラップ特性をもつ撮像センサを用いてもよいし、或は、通常よりもオーバーラップを大きくした撮像センサを用いてもよい。後者の場合、各色の帯域を広くできるため、通常よりも高感度な撮影が可能であり、例えば暗所等でも明るい画像が得られる。

【0048】

高画質化処理部１４０は、高感度画像｛ｒ，ｇ，ｂ｝に対して高画質化処理（例えば、ノイズ低減処理や、階調補正処理等）を行い、その画像をモニタ画像生成部１５０へ出力する。モニタ画像生成部１５０は、その画像をモニタ表示部５０に表示する処理を行う。

【0049】

高純度分光分離処理部１６０は、係数α、βを取得する係数取得部１７０と、デモザイキング処理を経た３板化画像｛ｒ，ｇ，ｂ｝から純度の高い原色成分を抽出する補正処理部１２０を含む。

【0050】

具体的には、分光特性記憶部１９５は、カラーフィルタの分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝を記憶する。この分光特性は、例えば撮像部４０から取得してもよいし、予め分光特性記憶部１９５に記憶しておいてもよい。また、外光や照明光の分光特性を取得する分光特性検出部６０を更に設け、その外光や照明光の分光特性を加えて分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝を取得してもよい。

【0051】

係数取得部１７０は、分光特性記憶部１９５から分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝を読み出し、その分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝に基づいて、上述の手法により係数α、βを求める。

【0052】

或は、分光特性記憶部１９５は、予め分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝から求めておいた係数α、βを記憶しておいてもよい。この場合、係数取得部１７０は、分光特性記憶部１９５から係数α、βを読み出すことにより、係数α、βを取得する。

【0053】

補正処理部１２０は、上述の手法に基づく処理を行うことにより、係数α、βに基づいて高色再現画像｛ｒ’，ｇ’，ｂ’｝を求め、その高色再現画像を出力する。

【0054】

高画質化処理部１８０は、色の再現性を高めるために、高色再現画像｛ｒ’，ｇ’，ｂ’｝に対して色バランス等の調整処理を行う。即ち、高色再現画像｛ｒ’，ｇ’，ｂ’｝に対してホワイトバランス処理等の適正な高画質化処理を施す。高画質化処理部１８０は、その画像をモニタ画像生成部１５０へ出力し、モニタ画像生成部１５０は、その画像をモニタ表示部５０に表示する処理を行う。

【0055】

撮像モード選択部１９０は、モニタ表示画像を選択する処理を行う。具体的には、モニタ画像生成部１５０に対して、高感度画像と高色再現画像のうち選択した一方をモニタに表示させる指示を行う。或は、高感度画像と高色再現画像の両方を表示させる指示を行ってもよい。画像の選択は、例えば不図示の操作部を介して入力されたユーザー指示に基づいて行ってもよい。或は、外光センサを設け、その外光センサで検出した明るさに基づいて画像を選択してもよい。例えば、外光が閾値より明るい場合には高色再現画像を選択し、外光が閾値より暗い場合には高感度画像を選択してもよい。

【0056】

なお、上記では画像処理装置１００が撮像装置に設けられる場合を例に説明したが、本実施形態はこれに限定されず、画像処理装置１００を撮像装置と別体に構成してもよい。この場合、別体に構成された撮像装置が撮像画像データと分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝のデータを不図示の記録装置に記録しておく。そして、画像処理装置１００が、記録されたデータを取得し、そのデータから高色再現画像｛ｒ’，ｇ’，ｂ’｝を求める。このように、別体の画像処理装置１００が事後処理により高色再現画像を求めてもよい。別体の画像処理装置１００としては、例えばＰＣ等の情報処理装置が想定される。

【0057】

この撮像システムによれば、例えば、暗所環境において感度を優先したい場合は高感度画像を選択し、明所環境において色再現性を優先したい場合は高色再現画像を１度に撮影した画像から選択できる。条件を変えて複数回に分けて撮影する従来のやり方に比べ、リアルタイムに２種類の撮影を可能にし、データ量の節約と目的に柔軟に応じた撮影を可能とする。また、本実施形態では、基本的に撮像センサのカラーフィルタの特性に依存するだけなので、純度の高い３原色画素値を抽出するための光学フィルタやその機械的挿抜機構も不要なために、実施が容易で実現性に極めて優れている。

【0058】

３．第２実施形態
次に、第２実施形態について説明する。第２実施形態の撮像装置は、図１や図６の撮像装置と同様に構成できる。

【0059】

第２実施形態では、領域｛φ_Ｒ，φ_ＲＢ，φ_Ｂ｝の分光特性を関係式に基づいて推定する。具体的には、上記領域の画素値｛Ｉ・φ_Ｒ，Ｉ・φ_ＲＢ，Ｉ・φ_Ｂ｝＝｛ｒ’，ｇｘ，ｂ’｝と、デモザイキング処理後の原色画素値｛ｒ，ｇ，ｂ｝との間には、下式（１３）の関係が成り立つ。ここで、便宜的にＩ・φ_ＲＢ＝ｇｘとする。
ｒ＝Ｉ・Ｆ_Ｒ＝Ｉ・（φ_Ｒ＋φ_ＲＢ）＝ｒ’＋ｇｘ，
ｂ＝Ｉ・Ｆ_Ｂ＝Ｉ・（φ_Ｂ＋φ_ＲＢ）＝ｂ’＋ｇｘ （１３）

【0060】

上式（１３）より、Ｉ・φ_ＲＢ＝ｇｘを未知数（未知変数）として下式（１４）の関係式が求められる。
ｇｘ＝（未知数），
ｒ’＝ｒ−ｇｘ，
ｂ’＝ｂ−ｇｘ （１４）

【0061】

上式（１４）は、未知数ｇｘが決まると｛ｒ’，ｂ’｝が一意的に決まることを示している。ｇｘが正しければ｛ｒ’，ｂ’｝は必ず正しい値として求めることができる。

【0062】

しかしながら、現段階では候補値｛ｒ’，ｇｘ，ｂ’｝の組み合わせ解は多数存在している。この多数解の中から尤もらしい解を特定するために、候補値｛ｒ’，ｇｘ，ｂ’｝の近傍に存在する参照値｛Ｉ_Ｒ，Ｉ_ＲＢ，Ｉ_Ｂ｝を求める。分光特性Ｆ_Ｒに占めるφ_Ｒの占有率をγ_Ｒとし、分光特性Ｆ_Ｂに占めるφ_Ｂの占有率をγ_Ｂとし、参照値を下式（１５）とする。ここで、αは第１の実施形態にて求めた係数である。
Ｉ_Ｒ＝Ｉ・φ_Ｒ＝Ｉ・（γ_Ｒ・Ｆ_Ｒ）＝γ_Ｒ・ｒ，
Ｉ_ＲＢ＝Ｉ・φ_ＲＢ＝Ｉ・（α・Ｆ_Ｇ）＝α・ｇ，
Ｉ_Ｂ＝Ｉ・φ_Ｂ＝Ｉ・（γ_Ｂ・Ｆ_Ｂ）＝γ_Ｂ・ｂ （１５）

【0063】

候補値｛ｒ’，ｇｘ，ｂ’｝の中から参照値｛Ｉ_Ｒ，Ｉ_ＲＢ，Ｉ_Ｂ｝に最尤度な組み合わせ解を求めるために、それらの誤差が最小になるような候補値｛ｒ’，ｇｘ，ｂ’｝を求めるものとする。

【0064】

分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝は撮像条件で決まり、それにより係数αと占有率γ_Ｒ、γ_Ｂは既知情報であるから、それらを上式（１５）に代入し、参照値｛Ｉ_Ｒ，Ｉ_ＲＢ，Ｉ_Ｂ｝を求める。その参照値と上式（１４）を下式（１６）の評価関数Ｅ（ｇｘ）に代入し、評価関数Ｅ（ｇｘ）が最小になる未知数ｇｘを求める。即ち、図７に示すように、未知数ｇｘにより求められる候補値｛ｒ’，ｇｘ，ｂ’｝と参照値｛Ｉ_Ｒ，Ｉ_ＲＢ，Ｉ_Ｂ｝の誤差が最小になるような未知数ｇｘを特定する。
Ｅ（ｇｘ）＝（ｒ’−Ｉ_Ｒ）^２＋（ｇｘ−Ｉ_ＲＢ）^２＋（ｂ’−Ｉ_Ｂ）^２ （１６）

【0065】

上式（１６）において、未知数ｇｘを変化させて評価関数Ｅ（ｇｘ）が最小になるｇｘを探索的に求めてもよいし、上式（１６）を未知数ｇｘの２次関数として展開し、解析的に解いてｇｘを特定してもよい。

【0066】

なお、候補値｛ｒ’，ｇｘ，ｂ’｝の取りえる範囲は下式（１７）のように決まっているので、その条件を満足する組み合わせ値となるように、ｇｘを決定する。
０≦ｒ’＜（最大設定画素値），
０≦ｇｘ＜（最大設定画素値），
０≦ｂ’＜（最大設定画素値） （１７）

【0067】

４．第３実施形態
４．１．左右瞳画像の漏れ光を低減する手法
次に、第３実施形態について説明する。第３実施形態では、左右瞳による位相差検出を行い、その左右瞳画像の間での漏れ光を低減する。

【0068】

なお、以下では１眼の光学系の瞳を分割する例を説明するが、本実施形態はこれに限定されず、２眼の光学系を２つの瞳としてもよい。また、以下では第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。

【0069】

図８に、第３実施形態における撮像装置の基本構成例を示す。撮像装置は、被写体を撮像センサに結像させる光学系１０を含む。光学系１０は、結像レンズ１４と光学フィルタ１２を有する。

【0070】

光学フィルタ１２は、透過率特性ｆ^Ｒを有する右瞳フィルタＦＬ１（第１フィルタ）と、透過率特性ｆ^Ｌを有する左瞳フィルタＦＬ２（第２フィルタ）と、を有する。光学フィルタ１２は、撮像光学系１０の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。撮像素子に入射する光量をＩとすると、Ｉ^Ｒ（ｘ）＝Ｉ（ｘ）・ｆ^Ｒ、Ｉ^Ｌ（ｘ）＝Ｉ（ｘ）・ｆ^Ｌ、Ｉ（ｘ）＝Ｉ^Ｒ（ｘ）＋Ｉ^Ｌ（ｘ）である。ここで、ｘは水平方向（瞳分割方向）における位置（座標）である。

【0071】

透過率特性｛ｆ^Ｒ，ｆ^Ｌ｝は、撮像波長帯域を２つの分光（バンド）成分に分割したものである。即ち、図９に示すように、原色ＲＧＢの３つの分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝を含む（覆う）バンドを２つに分割したものである。例えば、Ｆ_ＲとＦ_Ｂがクロスする波長λ_Ｃでバンドを分割する。或は、左右瞳画像の分離性が良くなるように設定した波長でバンドを分割してもよい。

【0072】

撮像センサで撮像した画像は、図９のような原色ＲＧＢの３つの分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝を入射光量Ｉに乗じた成分値として得られる。分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝は、撮像センサの画素毎に設けられたカラーフィルタの分光特性だけでなく、被写体に照射される外光又は照明光の分光特性が合成されたものとして定義される。

【0073】

さて、分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝を４つの領域に分けて考える。Ｆ_Ｒとｆ^Ｒが重なる部分をφ_ＧＲとし、Ｆ_Ｂとｆ^Ｌが重なる部分をφ_ＧＢとする。Ｆ_Ｒから重複成分φ_ＲＢ（＝φ_ＧＲ＋φ_ＧＢ）を差し引いた部分をφ_Ｒとし、Ｆ_Ｂから重複部分φ_ＲＢ（＝φ_ＧＲ＋φ_ＧＢ）を差し引いた部分をφ_Ｂとする。

【0074】

位相差情報を精度良く検出するには、左右の瞳分割画像が高精度に分離できる必要がある。左右瞳には分離した帯域｛ｆ^Ｒ，ｆ^Ｌ｝を割り当てているため、例えば右瞳画像を画素値ｒ＝Ｉ・Ｆ_Ｒで構成し、左瞳画像を画素値ｂ＝Ｉ・Ｆ_Ｂで構成することにより瞳分割画像を分離できる。

【0075】

ところが、撮像センサのフィルタ特性は、そもそも左右の瞳分割画像に割り当てた波長帯域｛ｆ^Ｒ，ｆ^Ｌ｝に完全には分離されておらず、相互に瞳画像成分が漏れ光として入り込み合成されて取得してしまうという課題がある。即ち、右瞳画像の画素値ｒ＝Ｉ・Ｆ_Ｒには、左瞳の分光特性ｆ^Ｌと重なるφ_ＧＢの成分が含まれており、左瞳画像の画素値ｂ＝Ｉ・Ｆ_Ｂには、右瞳の分光特性ｆ^Ｒと重なるφ_ＧＲの成分が含まれている。このように、左右瞳画像が相互に混入して、分離性が低下している。

【0076】

このような分離性の低下は、位相差検出の精度を低下させる要因となる。図１０に示すように、例えば被写体が白から黒へ変化する像パターンである場合、右瞳画像と左瞳画像のプロファイルの歪みが発生し、右瞳画像と左瞳画像の類似性を失う。この類似性の低下により、相関演算による位相差検出の精度が著しく劣化する。

【0077】

即ち、右瞳、左瞳を通過した成分は、それぞれ左瞳、右瞳のポイントスプレッドファンクションＰＳＦ^Ｌ、ＰＳＦ^Ｒと被写体のプロファイルとのコンボリューションになっている。これにより、右瞳、左瞳を通過した成分の間には視差（位相差）が生じる。右瞳画像の画素値ｒは、右瞳を通過したＩ^Ｒ・（φ_Ｒ＋φ_ＧＲ）に左瞳を通過したＩ^Ｌ・φ_ＧＢが加算されているため、これらの視差をもつ成分を加算した画素値ｒのプロファイルは、右瞳のみのプロファイルとならず歪んでいる。画素値ｂについても同様であり、左瞳を通過したＩ^Ｌ・（φ_Ｂ＋φ_ＧＢ）に右瞳を通過したＩ^Ｒ・φ_ＧＲが加算されており、プロファイルは歪んでいる。これらのプロファイルの相関演算を行った場合、歪みの影響で類似性が低下しており、正確なマッチングができなくなってしまう。

【0078】

そこで、本実施形態では、右瞳画像から不要な左瞳の通過成分Ｉ^Ｌ・φ_ＧＢを除き、左瞳画像から不要な右瞳の通過成分Ｉ^Ｒ・φ_ＧＲを除く。φ_ＲＢ＝φ_ＧＲ＋φ_ＧＢなので、第１実施形態等で説明した手法によりφ_ＲＢの成分値を低減又は除去することにより、分光特性｛φ_Ｒ，φ_Ｂ｝の画素値｛ｒ’，ｂ’｝＝｛Ｉ^Ｒ・φ_Ｒ，Ｉ^Ｌ・φ_Ｂ｝を求めることができる。この画素値｛ｒ’，ｂ’｝は、それぞれ純粋な右瞳、左瞳の通過光の成分と見なせるので、歪みのないプロファイルが得られる。この画素値｛ｒ’，ｂ’｝でそれぞれ右瞳画像、左瞳画像を構成することにより、左右瞳画像の類似性が保たれ、高精度な位相差検出が可能となる。

【0079】

４．２．撮像装置
図１１に、第３実施形態における撮像装置の構成例を示す。光学系１０（光学フィルタ１２、結像レンズ１４）、撮像部４０、モニタ表示部５０、分光特性検出部６０、画像処理装置１００を含む。画像処理装置１００は、デモザイキング部１３０、モニタ画像生成部１５０、高純度分光分離処理部１６０、測距演算部１７５、高画質化処理部１８０、位相差検出部１８５、分光特性記憶部１９５を含む。なお、図１や図６で説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。

【0080】

分光特性記憶部１９５は、光学フィルタ１２の分光特性と照明光（又は外光）の分光特性と撮像センサのカラーフィルタの分光特性で決まる分光特性｛Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ｝を記憶する。或は、分光特性｛Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ｝から予め求めた係数α、βを記憶してもよい。

【0081】

位相差検出部１８５は、高純度分光分離処理部１６０が出力する高色純度の左右瞳画像｛ｒ’，ｂ’｝の位相差δ（ｘ，ｙ）を検出する。位相差δ（ｘ，ｙ）は、各画素について求める。（ｘ，ｙ）は画像上における位置（座標）であり、例えばｘは水平走査方向、ｙは垂直走査方向に対応する。

【0082】

測距演算部１７５は、検出された位相差δ（ｘ，ｙ）に基づいて３次元計測を行う。即ち、各画素位置（ｘ，ｙ）での被写体までの距離を位相差δ（ｘ，ｙ）から算出し、物体の３次元形状情報を取得する。なお、測距手法の詳細については後述する。

【0083】

本実施形態のアプリケーションとしては、例えば位相差δ（ｘ，ｙ）を用いた高速位相差ＡＦや、測距情報を用いた３次元計測、立体表示等が想定できる。

【0084】

なお、上記では高純度分光分離処理部１６０が高色再現画素値｛ｒ’，ｇ’，ｂ’｝を求める場合を例に説明したが、本実施形態はこれに限定されず、例えば高純度分光分離処理部１６０が高色再現画素値｛ｒ’，ｂ’｝のみを求めてもよい。

【0085】

４．３．シミュレーション例
図１２、１３に、第３実施形態に第１実施形態を適用した場合のシミュレーション結果の例を示す。

【0086】

図１２は、シミュレーションにおいて設定したＲＧＢの分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒと、被写体の分光特性である。被写体の分光特性は任意に設定可能であり、図１２の特性に限定されるものではない。また図１２には、第１実施形態で説明した分光特性Ｆ_Ｇ１＝α・Ｆ_Ｇを示す。α・Ｆ_Ｇは、分光特性Ｆ_Ｂ、Ｆ_Ｒの重複部分φ_ＲＢを係数αと分光特性Ｆ_Ｇにより近似したものである。

【0087】

図１３は、図１２の分光特性をもとに被写体のエッジ部分（例えば図１０のようなエッジ）についてシミュレーションを行った結果である。ｒ、ｂのプロファイルは、補正前の右瞳画像と左瞳画像のプロファイルである。画素値ｒ’、ｂ’のプロファイルは、補正後の右瞳画像と左瞳画像のプロファイルである。左右瞳画像のプロファイルは、本来、瞳分割方向（横軸方向）に位相差δの分だけ離れた相似なプロファイルであることが望ましい。しかしながら、補正前のプロファイルでは左右瞳画像が混合し、左右瞳画像の相似性が失われていることが分かる。一方、補正後のプロファイルでは、瞳分割方向に位相差δの分だけ離れた相似なプロファイルとなっていることが分かる。このような相似なプロファイルで相関演算を行うことにより、位相差検出の精度が向上することは明かである。

【0088】

以上の実施形態によれば、図９に示すように、第２色（緑色）は、第１色（青色）よりも長波長側及び第３色（赤色）よりも短波長側の色である。そして、第１瞳（第１フィルタＦＬ１、右瞳）が透過する第１波長帯域ｆ^Ｒは、第３色（赤色）に対応し、第２瞳（第２フィルタＦＬ２、左瞳）が透過する第２波長帯域ｆ^Ｌは、第１色（青色）に対応する。

【0089】

このようにすれば、第３色（赤色）の画像を第１瞳画像（右瞳画像）とし、第１色（青色）の画像を第２瞳画像（左瞳画像）とすることで、位相差を検出することができる。そして、本実施形態では、第１色及び第３色の画素値が、第１透過率特性Ｆ_Ｂと第３透過率特性Ｆ_Ｒの重複部分φ_ＲＢの成分値に基づいて補正されるので、左右瞳画像の混合（漏れ光）を低減でき、高精度な位相差検出を実現できる。

【0090】

ここで、第３色に対応する第１波長帯域とは、白色帯域（Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂを覆う帯域）のうち少なくとも第３色の帯域を含むものであり、第３色の透過率特性Ｆ_Ｒの帯域全てを含む必要はない。例えば、第３色の透過率特性Ｆ_Ｒの主要な帯域（例えば最大透過率の前後の帯域）に対応していればよい。例えば本実施形態では、図９に示すように、白色帯域を波長λ_Ｃで分割した２つの帯域のうち、長波長側（即ち赤色側）の帯域である。また、第１色に対応する第２波長帯域も同様である。即ち、白色帯域のうち少なくとも第１色の帯域を含むものであり、第１色の透過率特性Ｆ_Ｂの帯域全てを含む必要はない。

【0091】

また本実施形態では、補正処理部１２０は、第２色の画素値ｇに基づいて第１透過率特性Ｆ_Ｂと第３透過率特性Ｆ_Ｒの重複部分の成分値Ｉ・φ_ＲＢ≒α・ｇを推定し、第１色及び第３色の画素値ｂ、ｇから重複部分の成分値Ｉ・φ_ＲＢ≒α・ｇを低下させる補正を行う。

【0092】

このようにすれば、第１色及び第３色の画素値ｂ、ｒにおいて互いに重複する成分（Ｉ・φ_ＲＢ）を、補正により低下させる又はキャンセルすることが可能となる。これにより、カラーフィルタの透過率特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒがオーバーラップした高感度な撮像画像から、あたかもオーバーラップが小さいカラーフィルタを用いたかのような色純度の高い画像を得ることができる。このような色純度の高い画像を用いて相関演算を行うことにより、位相差検出の精度を向上できる。

【0093】

また本実施形態では、補正処理部１２０は、第１透過率特性Ｆ_Ｂと第３透過率特性Ｆ_Ｒに基づく第１係数αを第２色の画素値ｇに乗じることで、重複部分の成分値Ｉ・φ_ＲＢ≒α・ｇを求める（図２、上式（１）〜（５））。

【0094】

上述したように、一般的な撮像素子では第１色（青色）及び第３色（赤色）のカラーフィルタの分光特性Ｆ_Ｂ、Ｆ_Ｒの重複部分φ_ＲＢは、第２色（緑色）のカラーフィルタの分光特性Ｆ_Ｇに相似である。また、本実施形態では高色純度の画像を分離できることから、一般的な撮像素子とは異なる分光特性を設定することも可能であり、その際に重複部分φ_ＲＢとＦ_Ｇの相似性を高く設定しておくことも可能である。このような相似性から、重複部分の成分値Ｉ・φ_ＲＢをα・ｇと推定することが可能となり、その推定値に基づいて第１色〜第３色の画素値ｂ、ｇ、ｒの色純度を上げる補正が可能となる。

【0095】

また本実施形態では、係数取得部１７０は、第１係数αを乗じた第２透過率特性Ｆ_Ｇと重複部分φ_ＲＢとの類似性が最も高い場合の第１係数αを取得する（図４、上式（９）、（１０））。

【0096】

このようにすれば、第２透過率特性Ｆ_Ｇと重複部分φ_ＲＢとの類似性に基づいて、その類似性が最も高いときの係数αを決定することができる。これにより、色純度を上げる補正（即ち、画素値ｒ、ｂから重複部分の成分α・ｇを減算する補正）の精度を向上できる。

【0097】

また本実施形態では、類似性が最も高い場合の第１係数αは、重複部分φ_ＲＢの複数波長λ_０、λ_１、・・・、λ_Ｎでの透過率を成分とするベクトルＶ_ＲＢと、第１係数αを乗じた第２透過率特性Ｆ_Ｇの複数波長λ_０、λ_１、・・・、λ_Ｎでの透過率を成分とするベクトルＶ_Ｇと、の間のユークリッド距離が最小となる場合の第１係数αである（図４、上式（９）、（１０））。

【0098】

このようにすれば、ベクトルＶ_ＲＢとベクトルＶ_Ｇとの間のユークリッド距離を指標として類似度を求めることができる。そして、その指標が最小値をとる場合を類似度が最も高い場合として、第１係数αを決定することができる。

【0099】

また本実施形態では、補正処理部１２０は、重複部分φ_ＲＢの成分値α・ｇを第１色の画素値ｂから減算することで第１色の画素値ｂを補正し（画素値ｂ’）、重複部分φ_ＲＢの成分値α・ｇを第３色の画素値ｒから減算することで第３色の画素値ｒを補正する（画素値ｒ’）（上式（１）〜（５））。

【0100】

このようにすれば、第１係数により推定した重複部分φ_ＲＢの成分値α・ｇにより、第１色と第３色の画素値ｂ、ｒから重複部分φ_ＲＢの成分値Ｉ・φ_ＲＢを低下させることができる。これにより、カラーフィルタの分光特性がオーバーラップした撮像画像から、色純度が高い画素値ｂ、ｒを求めることができる。

【0101】

また本実施形態では、補正処理部１２０は、第１透過率特性Ｆ_Ｂと第３透過率特性Ｆ_Ｒに基づく第２係数βを乗じた第２色の画素値ｇから、重複部分の成分値α・ｇと補正した第１色の画素値ｂ’と補正した第３色の画素値ｒ’とを減算することで、第２色の画素値ｇを補正する（画素値ｇ’）（図５、上式（６）、（７））。

【0102】

このようにすれば、第２透過率特性Ｆ_Ｇを第２係数βでゲインアップした分光特性の成分値β・ｇを推定し、その推定した成分値β・ｇに基づいて色純度の高い第２色の画素値ｇ’を求めることができる。即ち、成分値β・ｇから、第１色、第２色の画素値ｂ、ｒとの重複部分を低下させる補正を行うことができる。

【0103】

また本実施形態では、図５に示すように、係数取得部１７０は、第１透過率特性Ｆ_Ｂの短波長側の一部（波長λ_Ｂより短波長側）及び第３透過率特性Ｆ_Ｒの長波長側の一部（波長λ_Ｒより短波長側）と、第２係数βを乗じた第２透過率特性Ｆ_Ｇと、の類似性が最も高い場合の第２係数βを取得する（上式（１１）、（１２））。

【0104】

このようにすれば、第２透過率特性Ｆ_Ｇと第１、第３透過率特性Ｆ_Ｂ、Ｆ_Ｒの一部との類似性に基づいて、その類似性が最も高いときの係数βを決定することができる。これにより、色純度を上げる補正（即ち、成分値β・ｇから重複部分の成分ｒ’、ｂ’、α・ｇを減算する補正）の精度を向上できる。

【0105】

また本実施形態では、図５に示すように、第１透過率特性Ｆ_Ｂの最大透過率よりも短波長側の所定波長を第１波長λ_Ｂとし、第３透過率特性Ｆ_Ｒの最大透過率よりも長波長側の所定波長を第２波長λ_Ｒとする。そして、第１透過率特性Ｆ_Ｂにおける第１波長λ_Ｂよりも短波長側の複数波長λ_０、λ_１、・・・、λ_Ｂでの透過率を成分とするベクトルをＶ_Ｂとする。第３透過率特性Ｆ_Ｒにおける第２波長λ_Ｒよりも長波長側の複数波長λ_Ｒ、λ_Ｒ＋１、・・・、λ_Ｎでの透過率を成分とするベクトルをＶ_Ｒとする。第２係数βを乗じた第２透過率特性Ｆ_Ｇの複数波長での透過率を成分とするベクトルをＶ_ＧＢ２、Ｖ_ＧＲ２とする（上式（１１））。この場合に、類似性が最も高い場合の第２係数βは、ベクトルＶ_Ｂ及びベクトルＶ_ＲとベクトルＶ_ＧＢ２、Ｖ_ＧＲ２との間のユークリッド距離が最小となる場合の第２係数βである（上式（１２））。

【0106】

このようにすれば、ベクトルＶ_Ｂ及びベクトルＶ_ＲとベクトルＶ_ＧＢ２、Ｖ_ＧＲ２との間のユークリッド距離を指標として類似度を求めることができる。そして、その指標が最小値をとる場合を類似度が最も高い場合として、第２係数βを決定することができる。

【0107】

また本実施形態では、補正処理部１２０は、重複部分φ_ＲＢの成分値ｇｘ＝Ｉ・φ_ＲＢの候補値、及び第１色（青色）の画素値ｂを候補値ｇｘで補正した値ｂ’＝ｂ−ｇｘ、及び第３色（赤色）の画素値ｒを候補値ｇｘで補正した値ｒ’＝ｒ−ｇｘと、第１色〜第３色の画素値ｂ、ｇ、ｒと、の類似性を表す評価値Ｅ（ｇｘ）を求める（上式（１３）〜（１６））。そして、補正処理部１２０は、類似性が最も高い場合の候補値ｇｘを評価値Ｅ（ｇｘ）に基づいて決定することで、重複部分φ_ＲＢの成分値ｇｘ＝Ｉ・φ_ＲＢを求める（図７）。

【0108】

このようにすれば、補正後の画素値の候補値｛ｒ’，ｇｘ，ｂ’｝と第１色〜第３色の画素値ｂ、ｇ、ｒと、の類似性に基づいて、補正後の画素値｛ｒ’，ｇ’，ｂ’｝を求めることが可能となる。即ち、類似性の指標として評価値Ｅ（ｇｘ）を求め、例えばその評価値Ｅ（ｇｘ）が最小値となる場合を類似性が最も高い場合として、重複部分φ_ＲＢの成分値ｇｘを決定できる。重複部分φ_ＲＢの成分値ｇｘが求まれば、第１実施形態と同様にして色純度の高い画素値｛ｒ’，ｇ’，ｂ’｝を求めることが可能である。

【0109】

５．位相差から距離を求める手法
次に、位相差から被写体までの距離を求める手法について説明する。この測距手法は、例えば測距演算部１７５の処理に用いる。或は、求めたデフォーカス量を用いて位相差ＡＦ制御を行ってもよい。

【0110】

図１４に示すように、絞りを開放した時の開口径をＡとし、開口径Ａに対する左右の瞳の重心間の距離をｑ×Ａとし、光軸上における結像レンズ１４の中心から撮像素子のセンサ面ＰＳまでの距離をｓとし、センサ面ＰＳにおける右瞳画像Ｉ^Ｒ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）の位相差をδとすると、三角測量法により下式（１８）が成り立つ。
ｑ×Ａ：δ＝ｂ：ｄ，
ｂ＝ｓ＋ｄ （１８）

【0111】

ここで、ｑは、０＜ｑ≦１を満たす係数であり、ｑ×Ａは、絞り量によっても変化する値である。ｓは、レンズ位置検出センサにより検出される値である。ｂは、光軸上における結像レンズ１４の中心からフォーカス位置ＰＦまでの距離を表す。δは、相関演算により求められる。上式（１８）よりデフォーカス量ｄは下式（１９）で与えられる。
ｄ＝（δ×ｓ）／｛（ｑ×Ａ）−δ｝ （１９）

【0112】

距離ａは、フォーカス位置ＰＦに対応する距離であり、光軸上における結像レンズ１４から被写体までの距離である。一般的に結像光学系では、複数のレンズで構成される結像光学系の合成焦点距離をｆとすると、下式（２０）が成り立つ。
（１／ａ）＋（１／ｂ）＝１／ｆ （２０）

【0113】

上式（１９）で求めたデフォーカス量ｄ及び検出可能な値ｓから、上式（１８）によりｂを求め、そのｂと、結像光学構成により決まる合成焦点距離ｆとを上式（２０）に代入し、距離ａを算出する。任意の画素位置に対応する距離ａを算出できるので、被写体までの距離計測や、被写体の３次元形状計測を行うことが可能である。

【0114】

ＡＦ制御を行う場合には、次のようにする。図１４が、例えば撮像装置の上部（瞳分割方向に垂直な方向）から見た図である場合、ｘは水平方向（瞳分割方向）の座標軸である。座標軸ｘでの位相差δを、右瞳画像Ｉ^Ｒ（ｘ）及び左瞳画像Ｉ^Ｌ（ｘ）のいずれかを基準として正負の符号で表すように定義し、その位相差δの正負により、センサ面ＰＳがフォーカス位置ＰＦの前方にあるのか後方にあるのかを識別する。センサ面ＰＳとフォーカス位置ＰＦの前後関係が分かれば、フォーカス位置ＰＦにセンサ面ＰＳを一致させる際に、どちらの方向にフォーカスレンズを移動させれば良いのかが簡単に分る。

【0115】

デフォーカス量ｄ及び位相差δの符号を求めた後、それらに基づいて、デフォーカス量ｄをゼロにするようにフォーカスレンズを駆動させ、フォーカシングを行う。本実施形態では、左右瞳により水平方向に色分割しているので、撮像画像の中のフォーカシングさせたい水平方向の領域を選択して相関演算を行えばよい。なお、瞳色分割の方向は水平方向とは限らないので、左右帯域分離光学フィルタの設定条件（分割方向）に合わせて適宜、相関演算を行う方向を設定すればよい。また、デフォーカス量ｄを求める対象領域は、撮像画像の一部領域に限らず、撮像画像の全領域を対象としてもよい。その場合は、複数のデフォーカス量ｄが求められるので、それらを所定の評価関数により最終的なデフォーカス量を決定するプロセスが必要である。

【0116】

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、撮像装置、画像処理装置の構成・動作や、それらの作動方法（撮像方法、画像処理方法）も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0117】

１０ 撮像光学系、１１ 第１瞳、１２ 光学フィルタ、１３ 第２瞳、
１４ 結像レンズ、２０ 撮像素子、４０ 撮像部、５０ モニタ表示部、
６０ 分光特性検出部、１００ 画像処理装置、１１０ 画像取得部、
１２０ 補正処理部、１３０ デモザイキング部、１４０ 高画質化処理部、
１５０ モニタ画像生成部、１６０ 高純度分光分離処理部、
１７０ 係数取得部、１７５ 測距演算部、１８０ 高画質化処理部、
１８５ 位相差検出部、１９０ 撮像モード選択部、１９５ 分光特性記憶部、
Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ 第１〜第３透過率特性、
ＦＬ１ 右瞳フィルタ、ＦＬ２ 左瞳フィルタ、
ＰＳＦ^Ｌ 左瞳のポイントスプレッドファンクション、
ＰＳＦ^Ｒ 右瞳のポイントスプレッドファンクション、
ｂ，ｇ，ｒ 第１色〜第３色の画素値、
ｂ’，ｇ’，ｒ’ 補正後の第１色〜第３色の画素値、
ｆ^Ｌ 左瞳フィルタの透過率特性、ｆ^Ｒ 右瞳フィルタの透過率特性、
δ 位相差、λ_Ｂ，λ_Ｒ 第１、第２波長、
φ_Ｂ，φ_Ｇ，φ_Ｒ，φ_ＲＢ，φ_ＧＢ，φ_ＧＲ 領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】