特許 6017399 撮像装置及び位相差検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6017399

(24)【登録日】2016年10月7日

(45)【発行日】2016年11月2日

(54)【発明の名称】撮像装置及び位相差検出方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20161020BHJP

   G02B 7/28 20060101ALI20161020BHJP

   G06T 1/00 20060101ALI20161020BHJP

   H04N 5/232 20060101ALI20161020BHJP

   H04N 9/07 20060101ALI20161020BHJP

   G03B 13/36 20060101ALI20161020BHJP

   G02B 7/34 20060101ALI20161020BHJP

【ＦＩ】

   G01C3/06 120P

   G02B7/28 N

   G06T1/00 315

   H04N5/232 H

   H04N9/07 C

   G03B13/36

   G02B7/34

【請求項の数】11

【全頁数】25

(21)【出願番号】特願2013-220023(P2013-220023)

(22)【出願日】2013年10月23日

(65)【公開番号】特開2015-82033(P2015-82033A)

(43)【公開日】2015年4月27日

【審査請求日】2016年7月5日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(72)【発明者】

【氏名】今出 愼一

【審査官】 神谷 健一

(56)【参考文献】

【文献】 特開２００２−２７１８１８（ＪＰ，Ａ）

【文献】 特開２００６−２４１４１（ＪＰ，Ａ）

【文献】 特開２０１３−４４８０６（ＪＰ，Ａ）

【文献】 特開２００１−１２４９８４（ＪＰ，Ａ）

【文献】 特開２００１−３０５４１５（ＪＰ，Ａ）

【文献】 特開２０１４−３５４３０（ＪＰ，Ａ）

【文献】 特開２０１４−３８１５１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／０６

Ｇ０２Ｂ ７／２８

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ １３／３６

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ９／０７

ＩＥＥＥ Ｘｐｌｏｒｅ

ＳＰＩＥ Ｄｉｇｉｔａｌ Ｌｉｂｒａｒｙ

(57)【特許請求の範囲】

【請求項1】

同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部と、
前記第１被写体像が撮像された第１画像と前記第２被写体像が撮像された第２画像の間の相関係数を求め、前記相関係数に基づいて前記第１画像と前記第２画像の間の位相差を検出する位相差検出部と、
を備え、
前記位相差検出部は、
前記第１画像の画素値と前記第２画像の画素値を正規化し、前記正規化した前記第１画像の画素値と前記第２画像の画素値の平均値を求め、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の減少区間において加算処理した値と、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の増加区間において加算処理した値と、に基づいて前記相関係数を求めることを特徴とする撮像装置。

【請求項2】

請求項１において、
前記位相差検出部は、
前記第１画像と前記第２画像のエポピーラ線上の所定区間において、前記正規化した前記第１画像の画素値と前記第２画像の画素値の交点を求め、前記所定区間を前記交点で区切った複数の区間のうち前記平均値が増加する区間を前記増加区間に設定し、前記平均値が減少する区間を前記減少区間に設定することを特徴とする撮像装置。

【請求項3】

請求項１又は２において、
前記位相差検出部は、
前記正規化した前記第１画像の画素値と前記第２画像の画素値との大小関係を、前記減少区間及び前記増加区間の各区間について判定し、当該判定した前記大小関係に基づいて、前記減算処理した値が正の値となるように、前記正規化した前記第１画像の画素値と前記第２画像の画素値を前記各区間において減算処理し、当該減算処理した値を加算処理して前記相関係数を求めることを特徴とする撮像装置。

【請求項4】

請求項１又は２において、
前記位相差検出部は、
前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記減少区間において加算処理した値の絶対値と、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記増加区間において加算処理した値の絶対値と、を加算処理して前記相関係数を求めることを特徴とする撮像装置。

【請求項5】

請求項１乃至４のいずれかにおいて、
前記第１画像と前記第２画像の画素数を増加させ、前記第１被写体像と前記第２被写体像のサンプリングピッチを仮想的に高密度化する高密度化処理を行う高密度化処理部を備え、
前記位相差検出部は、
前記高密度化された前記第１画像と前記第２画像の位相差を検出することを特徴とする撮像装置。

【請求項6】

請求項５において、
前記撮像部は、
前記第１被写体像を撮像する画素のピッチ及び前記第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下である光学ローパスフィルタを有し、
前記高密度化処理部は、
前記高密度化処理として、前記第１画像と前記第２画像に対するアップサンプリング処理と、前記アップサンプリング処理後の前記第１画像と前記第２画像に対する２次元ローパスフィルタ処理と、を行うことを特徴とする撮像装置。

【請求項7】

請求項５又は６において、
前記撮像部は、
結像光学系と、
前記結像光学系の瞳を、前記第１被写体像を通過させる第１瞳と前記第２被写体像を通過させる第２瞳とに分割する瞳分割フィルタと、
前記結像光学系により結像された前記第１被写体像及び前記第２被写体像を撮像する撮像素子と、
を有することを特徴とする撮像装置。

【請求項8】

請求項７において、
前記撮像素子は、
原色ベイヤ配列の撮像素子であり、
前記瞳分割フィルタは、
赤色に対応する波長帯域を透過するフィルタを前記第１瞳として有し、青色に対応する波長帯域を透過するフィルタを前記第２瞳として有し、
前記高密度化処理部は、
前記撮像素子により撮像されたベイヤ配列の画像のうち赤色の画像を前記第１の画像とし、青色の画像を前記第２の画像として、前記高密度化処理を行うことを特徴とする撮像装置。

【請求項9】

請求項６において、
前記高密度化処理部は、
前記アップサンプリング処理として、前記第１画像及び前記第２画像の画素をＮ×Ｎ画素に分割し、前記Ｎ×Ｎ画素に元の画素の画素値を複製する処理を行うことを特徴とする撮像装置。

【請求項10】

請求項６において、
前記２次元ローパスフィルタ処理のカットオフ周波数は、１／（２Ｐ）以下であることを特徴とする撮像装置。

【請求項11】

同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像し、
前記第１被写体像が撮像された第１画像の画素値と前記第２被写体像が撮像された第２画像の画素値を正規化し、
前記正規化した前記第１画像の画素値と前記第２画像の画素値の平均値を求め、
前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の減少区間において加算処理した値と、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の増加区間において加算処理した値と、に基づいて相関係数を求め、
前記相関係数に基づいて前記第１画像と前記第２画像の間の位相差を検出する、
ことを特徴とする位相差検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び位相差検出方法等に関する。

【背景技術】

【0002】

位置がずれた（位相差がある）２つの波形を比較して位相差を求める検出法は、例えばステレオ画像３Ｄ計測における視差量検出や、電気信号における基準信号に位相を合わせる制御（ＰＬＬ制御）に必要な位相差検出等の、広い分野で欠かせない重要な技術となっている。

【0003】

一般的には、２つの類似する比較波形をずらしながら最もマッチングする位置を特定し、ずらす前の位置とマッチングが取れた位置の差（ずれ量）を位相差として検出する。従来より、２つの類似波形の位相差を求めるためのマッチング評価方法は、例えばＺＮＣＣ（Zero-mean Normalized Cross-Correlation）に代表される正規化相互相関演算法や、相互の差分絶対値の合計によるＳＡＤ（Sum of Absolute Difference）等、種々提案されている。

【0004】

このようなマッチング評価では、後述のように比較波形のノイズが影響を与える。そのノイズの影響を低減する手法として、例えば特許文献１には、ノイズを含んだ比較波形（文献では被探索画像とテンプレート画像と称される）からそれぞれノイズ成分を推定して取り除く手法が開示されている。この手法では、対称とする画像の微小領域を任意に選択し、その領域での分散値を近似的にノイズの分散値として求めている。微小領域では、信号成分の変化が小さいのでほぼ一定値をとるので、分散値の推定値はほぼノイズの分散値を表していると仮定されている。この分散値を使って比較波形からノイズ成分を取り除いてマッチング評価値を定義する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００１−２２９４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

さて、ＺＮＣＣやＳＡＤ等のマッチング評価方法では、原理的には、比較波形の形が振幅方向に相似関係をもつものであれば、正規化した比較波形同士が合致した位置において相関係数は極大又は極小のピーク値を示す。

【0007】

しかしながら、比較波形の類似性を弱めるような劣化要因が比較波形の相互に加わると、比較波形が合致した位置であっても評価値は必ずしも極大又は極小のピーク値を示さなくなる。例えば、ランダム性のあるノイズなどの劣化要因は、画像を検出するたびに変化するので、極大のピーク値又は極小のピーク値が示す位相差検出位置は、正しい位置に対して誤差ばらつきを含んだものとなる。誤差ばらつきによる検出位置の変動範囲が検出可能なマッチング位置の検出分解能又は検出精度となってくるため、従来のマッチング評価方法では、劣化要因によってマッチング位置の検出分解能又は検出精度が大きく左右されるという課題がある。

【0008】

本発明の幾つかの態様によれば、位相差検出の誤差ばらつきを低減することが可能な撮像装置及び位相差検出方法等を提供できる。

【課題を解決するための手段】

【0009】

本発明の一態様は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部と、前記第１被写体像が撮像された第１画像と前記第２被写体像が撮像された第２画像の間の相関係数を求め、前記相関係数に基づいて前記第１画像と前記第２画像の間の位相差を検出する位相差検出部と、を備え、前記位相差検出部は、前記第１画像の画素値と前記第２画像の画素値を正規化し、前記正規化した前記第１画像の画素値と前記第２画像の画素値の平均値を求め、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の減少区間において加算処理した値と、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の増加区間において加算処理した値と、に基づいて前記相関係数を求める撮像装置に関係する。

【0010】

また本発明の他の態様は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像し、前記第１被写体像が撮像された第１画像の画素値と前記第２被写体像が撮像された第２画像の画素値を正規化し、前記正規化した前記第１画像の画素値と前記第２画像の画素値の平均値を求め、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の減少区間において加算処理した値と、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の増加区間において加算処理した値と、に基づいて相関係数を求め、前記相関係数に基づいて前記第１画像と前記第２画像の間の位相差を検出する、位相差検出方法に関係する。

【図面の簡単な説明】

【0011】

【図1】マッチング評価における劣化要因の影響についての説明図。

【図2】撮像装置の構成例。

【図3】改良ＳＡＤによるマッチング評価の説明図。

【図4】波形のＳＮ比に対する位相差検出値の統計的分散値のシミュレーション結果。

【図5】第２実施形態における撮像装置の構成例。

【図6】瞳分割方式によるステレオ画像計測の基本原理についての説明図。

【図7】第３実施形態における撮像装置の構成例。

【図8】瞳分割フィルタと撮像素子の分光特性の例。

【図9】高密度化処理についての説明図。

【図10】図１０（Ａ）〜図１０（Ｄ）は、高密度化処理についての説明図。

【図11】高密度化処理についての説明図。

【図12】図１２（Ａ）〜図１２（Ｃ）は、高密度化処理による位相差検出のシミュレーション結果。

【図13】高密度化処理についての説明図。

【図14】サンプリングデータの類似性についてのシミュレーション結果。

【図15】正規化手法の変形例についての説明図。

【発明を実施するための形態】

【0012】

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

【0013】

１．本実施形態の概要
マッチング評価では比較波形に劣化要因が加わる場合がある。劣化要因として、例えばランダムノイズや、量子化ノイズや、２つの瞳のポイントスプレッドファンクションが非対称であることによる比較波形の類似性劣化、比較波形間のクロストーク等が想定される。以下では、劣化要因としてランダムノイズが加わる場合を例に説明する。また、ステレオ画像を比較波形とする場合を例に説明するが、本実施形態のマッチング評価手法は、位相差のある２つの信号波形を比較するものであれば適用可能である。

【0014】

従来の一般的なマッチング評価方法（ＺＮＣＣ、ＳＡＤなど）では、劣化要因によりマッチング位置の検出誤差が発生し、高い検出分解能又は検出精度が得られ難くなる。

【0015】

図１に示すように、ノイズの影響は比較波形の周波数成分が低周波になればなるほど顕著に現れる。即ち、光学分解能が小さい画像の比較波形の相関係数は、低周波成分の波形であるため、相関係数のピークの近傍値との差異が小さい。そのため、ノイズが付加されると顕著にピークのばらつきが大きくなり、真のピーク値の特定が困難になる。よって高精度にて位相差を求める条件としては、非常に不利な状態と言える。

【0016】

実際は、位相差を求める場合に比較波形が必ずしも高周波成分をもっている波形とは限らない。例えば、ステレオ画像３Ｄ計測においても、合焦位置では高周波成分を多くもつが相対的に非合焦位置（ボケ状態の位置）では低周波成分しかもっていない。３Ｄ計測では奥行き方向の所定の計測範囲において位相差を求める必要があり、それにはボケ状態の画像も利用せざるを得ないため、比較波形が低周波成分であっても正確な位相差を求める必要がある。高精度な位相差検出を実現するためには、ノイズの影響をできるだけ排除することが課題となる。

【0017】

上述の特許文献１では、推定したノイズを比較波形から取り除いているが、信号成分とノイズが加算された比較波形からノイズを推定するため推定精度の良否が問題となる。この推定は、画像の微小領域において信号成分がほぼ一定と言う仮説を前提にしているが、コントラスト変化が激しい領域では、その仮説が成り立たない場合が多々ある。そのため、かえって信号成分の一部をノイズ成分として誤推定してしまう可能性があるので、高精度なマッチング検出を実現するには課題が残る。

【0018】

以上より、如何にノイズの影響を受けずに、より正しいマッチング位置を検出するかという課題の解決が位相差検出においては重要である。

【0019】

そこで本実施形態では、図２に示すように、撮像装置は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部１０と、第１被写体像が撮像された第１画像と第２被写体像が撮像された第２画像の間の相関係数を求め、その相関係数に基づいて第１画像と第２画像の間の位相差を検出する位相差検出部３０と、を含む。

【0020】

そして、位相差検出部３０は、第１画像の画素値と第２画像の画素値を正規化し、正規化した第１画像の画素値と第２画像の画素値の平均値を求め、正規化した第１画像の画素値と第２画像の画素値を減算処理した値を平均値の減少区間において加算処理した値と、正規化した第１画像の画素値と第２画像の画素値を減算処理した値を平均値の増加区間において加算処理した値と、に基づいて相関係数を求める。

【0021】

例えば、後述の第１実施形態を例にとると、図３に示す左瞳画像Ｉ_Ｌと右瞳画像Ｉ_Ｒが第１画像と第２画像に対応し、それらを正規化した左瞳画像ｎＩ_Ｌと右瞳画像ｎＩ_Ｒを求める。下式（４）、（６）に示すように、平均値ｎＩの減少区間Ｆａと増加区間Ｒａにおいて、それぞれ、正規化した左瞳画像ｎＩ_Ｌと右瞳画像ｎＩ_Ｒを減算する。その減算した値を各区間において加算し、その加算した値を加算して相関係数ＩＳＡＤを求める。

【0022】

このように、減少区間Ｆａと増加区間Ｒａに分けて、左瞳画像ｎＩ_Ｌと右瞳画像ｎＩ_Ｒの減算値を加算することで、下式（３）、（５）に示すように、区間ごとに比較波形の信号減算値Ｄが正の値になるように差し引く順序を変えることが可能となる。或は、下式（１３）に示すように、差し引く順序を変えなくても、各区間で減算値を加算し、それぞれ絶対値をとることで、各区間において加算した後に正の値にすることもできる。

【0023】

このようにして求めた相関係数ＩＳＡＤでは、下式（９）に示すように、比較波形の信号成分は差分絶対値和（｜Ｉ_Ｒ−Ｉ_Ｌ｜の和）となり、比較波形のノイズ成分は単なる差分和（ｎ_Ｒ−ｎ_Ｌの和）となる。これにより、ノイズ成分は加算効果により低減された値となる。よって、この相関係数ＩＳＡＤが最小になる位置をマッチング位置として評価することにより、誤差ばらつきが小さい高分解能又は高精度な位相差検出が可能となる。なお、この手法を以下では改良ＳＡＤと呼ぶ。

【0024】

２．第１実施形態
２．１．改良ＳＡＤによるマッチング手法
次に、改良ＳＡＤの詳細について説明する。撮像装置の構成は上述した図２の構成と同様である。なお以下では、単眼の撮像光学系を左右の瞳に分割して視差を発生させ、左瞳画像を第１画像とし、右瞳画像を第２画像とする場合を例に説明する。但し、本実施形態はこれに限定されず、例えば二眼の撮像部を用いる場合にも適用できる。

【0025】

図３に、改良ＳＡＤ（Improved Sum of Absolute Difference）によるマッチング評価の説明図を示す。

【0026】

Ｉ_Ｌ，Ｉ_Ｒは、撮像された左右の瞳画像の一部プロファイル（波形パターン）である。即ち、左右の瞳を通過した光線により撮像素子に形成された視差画像の、水平方向ｘ（視差方向）における画素値パターンである。瞳画像Ｉ_Ｌ、Ｉ_Ｒには位相差δのずれが生じている。

【0027】

瞳画像Ｉ_Ｌ、Ｉ_Ｒは振幅ゲインが揃っていないので、所定演算区間ｗ（相関係数の算出に用いる区間）の値を用いて正規化を行い、振幅ゲインを合わせる。正規化した瞳画像ｎＩ_Ｌ、ｎＩ_Ｒは、下式（１）により求められる。シグマ記号の“ｗ”は、所定演算区間ｗの範囲で和をとることを表す。

【数1】

【0028】

次に、正規化された瞳画像ｎＩ_Ｌ、ｎＩ_Ｒを加算した合成波形ｎＩを下式（２）のように生成する。

【数2】

【0029】

次に、所定演算区間ｗにおいて、瞳画像ｎＩ_Ｌ、ｎＩ_Ｒが交差するクロスポイントを検出し、隣接するクロスポイントとクロスポイントの区間を求める。区間内の合成波形ｎＩが増加傾向にある場合を増加区間Ｒａとし、減少傾向にある場合を減少区間Ｆａとする。増減区間の判定は、例えば、クロスポイントで区切った区間内で合成波形ｎＩの隣接画素差分値（微分値）を積算し、正の場合は増加区間、負の場合は減少区間として判断する。

【0030】

次に、増加区間Ｒａ、減少区間Ｆａごとに下式（３）のルールに従い、瞳画像Ｉ_ＬとＩ_Ｒの減算の順序を変えて減算値Ｄを求める。即ち、各区間において減算値Ｄ＞０となるように減算の順序を決める。

【数3】

【0031】

求めた減算値Ｄを、下式（４）に示すように、所定演算区間ｗを越えない範囲内において全て加算し、ＩＳＡＤ評価値（マッチング評価係数）を求める。シグマ記号の“Ｒａ”、“Ｆａ”は、所定演算区間ｗ内の全てのＲａ、Ｆａの範囲で和ととることを表す。但し、所定演算区間ｗ内にクロスポイントが存在しない場合であっても所定演算区間ｗが増加区間であるのか減少区間であるのかを判断し、所定演算区間ｗにおいてＩＳＡＤ評価値を求めればよい。

【数4】

【0032】

前ピントと後ピントでは瞳画像Ｉ_ＬとＩ_Ｒの左右が入れ替わる。図３とは逆に左瞳画像Ｉ_Ｌが右瞳画像Ｉ_Ｒの左にシフトした場合には、正規化した瞳画像ｎＩ_ＬとｎＩ_Ｒの大小関係が入れ替わるので下式（５）のように減算値Ｄを求める。ＩＳＡＤ評価値は下式（６）となる。

【数5】

【数6】

【0033】

瞳画像ｎＩ_ＬとｎＩ_Ｒの大小関係は、例えば各区間Ｒａ、Ｆａにおいて瞳画像ｎＩ_ＬとｎＩ_Ｒの画素値を比較して判定する。そして、その判定結果に基づいて上式（４）又は（６）を選択し、ＩＳＡＤ評価値を算出する。

【0034】

従来のＳＡＤ（Sum of Absolute Difference）のように増減区間を分けずに瞳画像Ｉ_ＬとＩ_Ｒとの絶対値和を取る方法ではなく、本実施形態では増減区間を敢えて分け瞳画像Ｉ_ＬとＩ_Ｒとの差分値和を取っている理由について説明する。なお、以下では正規化した波形も単に“Ｉ_Ｌ”、“Ｉ_Ｒ”等と表記する。

【0035】

Ｉ_Ｌ、Ｉ_Ｒは極めて類似性の高い波形パターンであると仮定する。下式（７）に示すように、それらに独立してノイズ成分ｎ_Ｒ、ｎ_Ｌが付加された波形をＩ_Ｌ’、Ｉ_Ｒ’とする。

【数7】

【0036】

波形Ｉ_Ｌ’、Ｉ_Ｒ’のマッチング評価として従来のＳＡＤを当てはめてみると、下式（８）となる。

【数8】

【0037】

ＳＡＤ評価値は、その定義から分かるように、本来は比較波形が一致するとゼロを示す。しかしながら、上式（８）に示すように、ＳＡＤ評価値は、波形Ｉ_ＬとＩ_Ｒの差分絶対値和に加えてノイズ成分ｎ_Ｒとｎ_Ｌの差分絶対値和が加算された値を最大値としてもつ。ノイズ成分ｎ_Ｒ、ｎ_Ｌとしてはランダムノイズが想定されるが、絶対値をとっているため加算しても打ち消し合わない。このことは、波形Ｉ_ＬとＩ_Ｒが一致する状態、つまり｜Ｉ_Ｌ−Ｉ_Ｒ｜＝０であってもＳＡＤ評価値にはノイズ成分が多く残ることを意味する。即ち、｜Ｉ_Ｌ−Ｉ_Ｒ｜＝０であっても評価値が最小値を必ずしも示さないので、正しいマッチング位置を判定することができなくなる。よって、従来のＳＡＤ評価値ではノイズの影響を非常に受けやすいことが分かる。

【0038】

一方、上式（４）で定義したＩＳＡＤ評価値に上式（７）を当てはめると、下式（９）の関係が得られる。

【数9】

【0039】

ＩＳＡＤ評価値では、波形Ｉ_ＬとＩ_Ｒの差分絶対値和と絶対値をとらないノイズ成分ｎ_Ｒとｎ_Ｌの単なる差分和とが加算されたものが求められる。波形Ｉ_ＬとＩ_Ｒの差分絶対値和は両者が一致した場合に｜Ｉ_Ｌ−Ｉ_Ｒ｜＝０を示す。ノイズ成分ｎ_Ｒとｎ_Ｌの単なる差分和は、絶対値をとっていないためランダムノイズの加算効果によりその成分値が低減される。区間ＲａとＦａでノイズ成分の差分の符号が逆になるが、ランダムノイズのため加算効果には影響しない。この加算効果により、ＩＳＡＤ評価値では、波形Ｉ_ＬとＩ_Ｒのマッチング位置をノイズが大きく低減された状態で評価できる。このように、ＩＳＡＤ評価値ではノイズの影響を受けにくいマッチング評価が可能となり、従来のＳＡＤに比べ非常に優位な評価方法と言える。

【0040】

図４に、波形Ｉ_Ｌ’、Ｉ_Ｒ’のＳＮ比（ＳＮＲ）に対する位相差検出値の統計的分散値σのシミュレーション結果を示す。

【0041】

波形Ｉ_Ｌ’、Ｉ_Ｒ’にはエッジ波形を用いている。位相差検出値には、マッチング評価値がピーク値となるときの位相差を用いている。分散値σは、次のようにして求めている。即ち、ノイズのパワーを同一にして、ノイズの出現パターンをランダムに異ならせて波形Ｉ_Ｌ’、Ｉ_Ｒ’を作る。その波形Ｉ_Ｌ’、Ｉ_Ｒ’を用いて複数回のマッチングを試行し、位相差を求める。そして、その位相差と、真の波形Ｉ_Ｌ、Ｉ_Ｒがもつ位相差の真値との誤差を求め、その誤差の発生分布から分散値σを求める。

【0042】

比較例として、従来のＺＮＣＣ（Zero-mean Normalized Cross-Correlation）による相関係数を使った場合の分散値σを示す。同一のＳＮ比に対して、ＩＳＡＤ評価値による位相差検出値の誤差ばらつきσは、ＺＮＣＣ評価値による位相差検出の誤差ばらつきσよりも明らかに小さい。即ち、ＩＳＡＤ評価値はノイズの影響を受けにくく、位相差の検出分解能が高いことが分かる。

【0043】

例えば、低周波数画像どうしの相関演算では、ノイズ等の劣化要因が加わると相関ピークのばらつきが大きくなり、位相差の検出精度が劣化する。この点、本実施形態によれば、ノイズが加わった場合でも従来の手法に比べて相関ピークのばらつきσが小さいため、高精度な位相差検出が可能となる。

【0044】

なお、改良ＳＡＤを後述する第２、第３実施形態と組み合わせることで、更に高精度な位相差検出を効果的に行うことも可能である。この場合、撮像装置の構成は、第２実施形態又は第３実施形態と同様である。第３実施形態の場合、位相差微細検出部７０が本実施形態の位相差検出処理を行う。

【0045】

以上の実施形態によれば、位相差検出部３０は、第１画像Ｉ_Ｌ（左瞳画像）と第２画像（右瞳画像）のエポピーラ線上の所定区間ｗ（所定演算区間）において、正規化した第１画像ｎＩ_Ｌの画素値と第２画像ｎＩ_Ｒの画素値の交点を求め、その交点で所定区間ｗを区切った複数の区間のうち平均値ｎＩが増加する区間を増加区間Ｒａに設定し、平均値ｎＩが減少する区間を減少区間Ｆａに設定する。

【0046】

このようにすれば、正規化した第１画像ｎＩ_Ｌの画素値と第２画像ｎＩ_Ｒの画素値の平均値ｎＩから、その平均値ｎＩの増加区間Ｒａと減少区間Ｆａを決定できる。増加区間Ｒａと減少区間Ｆａを分けることによって、上式（４）、（６）、（１３）のように区間を分けて減算値を加算することができ、改良ＳＡＤの評価値を求めることが可能となる。

【0047】

ここで、エポピーラ線とは、ステレオ撮影された２つの画像において対応点を探索するための直線のことである。即ち、一方の画像上の点に対応する視線を他方の画像上に投影したものがエポピーラ線であり、一方の画像上の点に対応する点を他方の画像上で探索する際には、その探索範囲はエポピーラ線上に限定される。後述する図７のような単眼の撮像光学系を水平走査方向に瞳分割した場合には、平行ステレオとなるので、エポピーラ線は、水平走査線となる。

【0048】

また、以上の実施形態によれば、位相差検出部３０は、正規化した第１画像ｎＩ_Ｌの画素値と第２画像ｎＩ_Ｒの画素値との大小関係を、減少区間Ｆａ及び増加区間Ｒａの各区間について判定する（上式（３）、（５））。そして、その判定した大小関係に基づいて、減算処理した値Ｄが正の値となるように、正規化した第１画像ｎＩ_Ｌの画素値と第２画像ｎＩ_Ｒの画素値を各区間において減算処理し、その減算処理した値を加算処理して相関係数ＩＳＡＤを求める（上式（３）〜（６））。

【0049】

このようにすれば、上式（３）、（５）で説明したように、増加区間Ｒａと減少区間Ｆａで第１画像ｎＩ_Ｌの波形と第２画像ｎＩ_Ｒの波形の大小関係を決定でき、その大小関係を使って、波形を減算する順番を減算値Ｄが各区間で正となるように決めることができる。これにより、上式（９）で説明したように、相関係数ＩＳＡＤの信号成分｜Ｉ_Ｒ−Ｉ_Ｌ｜を絶対値和として残すと共に、ノイズ成分（ｎ_Ｒ−ｎ_Ｌ）を単純和として加算効果で低減できる。

【0050】

２．２．正規化の変形例
瞳画像Ｉ_Ｌ、Ｉ_Ｒの正規化手法は上式（１）に限らず、例えば次のように正規化してもよい。

【0051】

図１５の左図に、左右の瞳画像Ｉ_Ｌ、Ｉ_Ｒの一部プロファイル（波形パターン）を示す。上述したように本実施形態のマッチング評価法（ISAD）を行うには異なる瞳画像Ｉ_Ｌ、Ｉ_Ｒのレベルを正規化し、図１５の右図のような波形パターンを得る必要がある。

【0052】

いま右瞳画像Ｉ_Ｒの区間ｗ_Ｒに対してゲイン補正を行うことを考える。瞳画像Ｉ_ＬとＩ_Ｒは区間ｗにおいて相似波形であり且つずれ量δ_Ｕ、δ_Ｄが非常に小さいと仮定する。この場合、右瞳画像Ｉ_Ｒの上ピークであるｘ位置Ｕ_Ｒの画素値と左瞳画像Ｉ_Ｌの上ピークであるｘ位置Ｕ_Ｌの画素値とが対応することは明らかである。また、右瞳画像Ｉ_Ｒの下ピークであるｘ位置Ｄ_Ｒの画素値と左瞳画像Ｉ_Ｌの下ピークであるｘ位置Ｄ_Ｌの画素値とが対応することは明らかである。

【0053】

そこで、まずピーク位置Ｕ_Ｒ、Ｄ_Ｒ、Ｕ_Ｌ、Ｄ_Ｌを求める。そして、下式（１０）のように、ピーク位置Ｕ_ＲとＤ_Ｒの範囲において平均値Ａｖ（Ｒ）を求め、ピーク位置Ｕ_ＬとＤ_Ｌの範囲において平均値Ａｖ（Ｌ）を求める。

【数10】

【0054】

平均値Ａｖ（Ｒ）、Ａｖ（Ｌ）から補正ゲインを求め、下式（１１）により区間ｗ_Ｒにおける正規化を行う。この正規化により、図１５の右図のように同一レベルの左右の瞳画像ｎＩ_Ｌ，ｎＩ_Ｒの波形パターンが得られる。

【数11】

【0055】

なお、正規化の計算式は上式（１１）に限らず、下式（１２）のように瞳画像Ｉ_Ｌ、Ｉ_Ｒの両方の正規化波形として計算してもよい。

【数12】

【0056】

いずれにしても、マッチングが得られる区間どうし（区間ｗ_Ｒとｗ_Ｌ）でゲイン補正を行い、瞳画像Ｉ_Ｌ、Ｉ_Ｒを正規化するので、同レベルの波形を比較してマッチング評価値が得られ、効果的である。また、瞳画像Ｉ_ＬＩ_Ｒが近接し、ずれ量が非常に小さい状態で詳細な位相差を求めるときには、隣接ピークが対応関係にあることが利用できるので都合がよい。

【0057】

２．３．ＩＳＡＤ評価値の第２の算出手法
ＩＳＡＤ評価値の算出手法は、上式（４）、（６）に限らず、例えば下式（１３）を用いてもよい。

【数13】

【0058】

上式（１３）では、位相差検出部３０は、正規化した第１画像ｎＩ_Ｌ（左瞳画像）の画素値と第２画像ｎＩ_Ｒ（右瞳画像）の画素値を減算処理した値を、減少区間Ｆａにおいて加算処理し、その絶対値を求める。また、正規化した第１画像ｎＩ_Ｌの画素値と第２画像ｎＩ_Ｒの画素値を減算処理した値を、増加区間Ｒａにおいて加算処理し、その絶対値を求める。そして、各区間での絶対値を加算処理して相関係数ＩＳＡＤを求める。

【0059】

増加区間Ｒａ又は減少区間Ｆａでは、瞳画像ｎＩ_ＲとｎＩ_Ｌの減算値は正又は負の値に統一されている。各区間において減算値を積算すると正又は負の値が得られるが、その絶対値を取れば、上式（４）、（６）と同様のＩＳＡＤ評価値が得られる。この手法では、減算値を正にしなくてもよいため、瞳画像ｎＩ_ＲとｎＩ_Ｌの減算の順序を入れ替える必要がなく、固定したままで済む。

【0060】

例えば、左瞳画像ｎＩ_Ｌが右瞳画像ｎＩ_Ｒの右側にシフトしている場合と、左瞳画像ｎＩ_Ｌが右瞳画像ｎＩ_Ｒの左側にシフトしている場合とでは、瞳画像ｎＩ_ＲとｎＩ_Ｌの上下関係が変わる。そのため、減算値が正になるようにするには、瞳画像ｎＩ_ＲとｎＩ_Ｌの値の各区間での上下関係を判断し、減算の順序を適応的に変える必要があるが、上式（１３）を用いれば、その必要はなくなるので都合が良い。

【0061】

３．第２実施形態
次に、第２実施形態について説明する。この実施形態では、画像処理によりサンプリングピッチの高密度化を行い、その高密度化した視差画像を用いて高精度な位相差検出を行う。更に、上述した改良ＳＡＤを組み合わせることで、より高精度な位相差検出を行うことが可能である。

【0062】

従来の位相差検出では、瞳分割により撮像された２つの視差画像の各画像を受け持つサンプリング画素の密度により位相差の検出分解能が決まってしまう。即ち、図１３の左図に示すように、視差画像の波形パターンはサンプリング画素によりサンプリングされたデータとして扱われる。その２つの波形パターンの相対位置を初期位置からシフトしながら相関係数を求める際、２つの波形パターンのサンプリング位置が一致する相対位置での相関係数が得られる。そのため、マッチング位置の検出分解能はサンプリング密度で決まることとなり、初期位置とマッチング位置の差である位相差の分解能もサンプリング密度で決まることになる。

【0063】

例えば、位相差検出を測距に応用した場合を考える。下式（１５）で後述のように、距離分解能Δｚは、位相差の検出分解能Δｓによって決まる。即ち、高分解能な測距を実現しようとすると、より高い位相差検出分解能が必要となる。しかしながら、昨今、撮像素子の画素密度は光学分解能の限界まで近づいてきており、今後の大幅な画素密度の改善は見込めない。したがって、如何に与えられた撮像素子を使って、その画素密度以上の高密度サンプリングを実現できるかが大きな課題となる。

【0064】

図５に、この課題を解決できる本実施形態の撮像装置の構成例を示す。撮像装置は、光学ローパスフィルタ１１を有する撮像部１０と、高密度化処理部２０と、位相差検出部３０と、を含む。

【0065】

高密度化処理部２０は、第１画像と第２画像の画素数を増加させ、第１被写体像と第２被写体像のサンプリングピッチを仮想的に高密度化する処理を行う。そして、位相差検出部３０は、その高密度化された第１画像と第２画像の位相差を検出する。

【0066】

例えば、後述する第３実施形態では、単眼の撮像光学系を瞳分割し、ベイヤ配列の撮像素子を用いて視差画像を取得する。このとき、第１瞳を通過する第１被写体像を赤色画素で撮像し、第２瞳を通過する第２被写体像を青色画素で撮像する。そして、撮像素子の画素密度（画素ピッチｐ）に対してＮ倍のサンプリング密度（画素ピッチｐ／Ｎ）をもつ第１画像と第２画像を生成する。

【0067】

このようにすれば、見かけ上のサンプリング密度を撮像素子の画素密度よりも格段に高密度にした視差画像を生成することができる。即ち、この視差画像を用いて位相差を検出することで、従来の検出分解能よりも飛躍的に高分解能な位相差検出を行うことが可能となる。例えば、上記の例では、Ｎ倍の密度で相関係数を求めることができるので、従来のＮ倍の分解能で位相差を検出することが可能となる。

【0068】

４．第３実施形態
４．１．ステレオ画像計測の手法
次に、高密度化処理の詳細を第３実施形態として説明する。この実施形態では、単眼の撮像部を瞳分割し、２つの瞳に異なる色を割り当てて視差画像を取得し、その視差画像を高密度化処理する。

【0069】

まず、瞳分割方式によるステレオ画像計測の基本原理について、図６を用いて説明する。なお以下では、瞳を左右（水平走査方向）に分割する場合を例に説明するが、瞳の分割方向は左右に限定されず、光軸に直交する任意の方向であればよい。

【0070】

被写体面からの反射光は、結像レンズ１２（結像光学系）を通り、撮像素子面にて像を形成し、撮像素子により画像信号として取得される。このとき、被写体の基準位置ＲＰをゼロとした座標軸を（ｘ，ｙ，ｚ）とし、それに対応する撮像素子面の合焦位置ＲＰ’をゼロとした座標軸を（ｘ’，ｙ’）とする。例えば、ｘ’軸は撮像素子の水平走査方向に対応し、ｙ’軸は撮像素子の垂直走査方向に対応する。ｚ軸は、結像レンズ１２の光軸方向、即ち、奥行き距離方向に対応する。

【0071】

被写体の基準位置ＲＰから結像レンズ１２の中心までの距離をａ_０とし、結像レンズ１２の中心から撮像素子面までの距離をｂ_０とする。この距離ａ_０、ｂ_０は、撮像部の設計により決まる距離である。

【0072】

さて、結像レンズ１２の左半分を左瞳と呼び、右半分を右瞳と呼ぶとする。ＧＰ_Ｌは左瞳の重心位置であり、ＧＰ_Ｒは右瞳の重心位置である。被写体面が基準位置からｚ方向に離れると、撮像素子面で得られる画像はデフォーカス状態となり、左瞳の通過画像Ｉ_Ｌと右瞳の通過画像Ｉ_Ｒ（以下、左瞳画像、右瞳画像と言う）は、ずれた画像、即ち位相差ｓをもった画像となる。なお、ここでは便宜上レンズ中心に瞳位置があるようにしたが、実際はレンズの外の絞り等の位置に瞳位置が存在するのが常識である。

【0073】

上記の位相差ｓと被写体面の位置ｚの関係を求める。撮像素子面で得られる左右瞳画像Ｉ_Ｌ、Ｉ_Ｒの位相差ｓと被写体面の位置ｚの関係は、下式（１４）により決定される。

【数14】

【0074】

ここで、Ｍは基準合焦位置における光学総合倍率である。結像視野サークル径をφＩＣとし、撮像範囲の視野サークル径をφＯＣとすると、Ｍ＝φＩＣ／φＯＣ＝ｂ_０／ａ_０である。ｌは、左瞳の重心ＧＰ_Ｌと右瞳の重心ＧＰ_Ｒの間の距離である。なお、上式（１４）が成り立つのは厳密には光学系の軸上についてであるが、原理説明のために軸外での関係式は省略する。

【0075】

位相差ｓを求めるためには、左瞳画像Ｉ_Ｌと右瞳画像Ｉ_Ｒを分離して取得できなければならないが、その分離手法については種々考えられる。例えば、左瞳位置に赤色を透過する光学フィルタを設け、右瞳位置に青色を透過する光学フィルタを設定し、撮像素子で得られる赤色画像を左瞳画像として分離し、青色画像を右瞳画像として分離する。或は、特開２００９−１４５４０１に開示されるように、撮像素子面に入射する光線角度により左右瞳画像を分離取得する手法もある。或は、古くから行われている二眼カメラを用いて、左右瞳画像に相当する視差ステレオ画像を別々に取得する手法もある。いずれの手法も用いることが可能であり、目的・用途に応じて選択されればよい。

【0076】

高精度な３Ｄ計測を実現するためには、ｚ分解能を如何に高められるかが重要な課題である。上式（１４）を変形し、ｚ分解能Δｚを位相差分解能Δｓにより表すと、下式（１５）となる。

【数15】

【0077】

上式（１５）から分かるように、ｚ方向の測定分解能を向上させるためには、位相差分解能Δｓを小さくすることによりｚ分解能Δｚを小さくすることが求められる。即ち、ｚ分解能Δｚを高めるためには、左右の瞳画像の位相差を如何に細かく検出できるかにかかっており、そのためには撮像素子による左右瞳画像のサンプリング密度を上げる必要がある。しかしながら、サンプリング密度は撮像素子の画素ピッチにより制限され、現状の画素ピッチはほぼ限界に近づきつつあり、これ以上大幅に細かくしていくことは困難となっている。

【0078】

４．２．撮像装置
図７に、第３実施形態における撮像装置の構成例を示す。撮像装置は、撮像部１０、高密度化処理部２０（高密度化計測用現像部）、位相差検出部３０、光学特性記憶部４０、測距演算部８０、立体形状出力処理部９０を含む。なお、既に上述した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

【0079】

撮像部１０は、光学ローパスフィルタ１１、結像レンズ１２（結像光学系）、瞳分割フィルタ１３、撮像素子１４、撮像処理部１５を含む。

【0080】

瞳分割フィルタ１３の左瞳にはＲ（赤色）フィルタが設けられ、右瞳にはＢ（青色）フィルタが設けられる。撮像素子１４はベイヤ画素配列のＲＧＢカラーイメージセンサである。図８に、瞳分割フィルタ１３と撮像素子１４の分光特性を示す。Ｆ^Ｌは左瞳のＲフィルタの分光特性であり、Ｆ^Ｒは右瞳のＢフィルタの分光特性である。Ｔ_Ｂ、Ｔ_Ｇ、Ｔ_Ｒは、それぞれＢ、Ｇ（緑色）、Ｒの画素の分光特性である。瞳の分光特性Ｆ^Ｌ、Ｆ^Ｒは、Ｒ画素とＢ画素の分光特性Ｔ_Ｂ、Ｔ_Ｒのクロスポイント（波長λｃ）で分割されており、全体としてＲＧＢの帯域を覆っている。分光特性Ｆ^Ｌ、Ｆ^Ｒは、ともにＧの成分（の一部）を透過する特性になっている。

【0081】

なお、分光特性｛Ｔ_Ｂ、Ｔ_Ｇ、Ｔ_Ｒ｝は、撮像素子１４の画素毎に設けられたカラーフィルタの特性のみならず、被写体に照射される外光又は照明光の分光特性や、画素自体の分光特性が合成されたものとして定義される。分光特性に関するパラメータは、すべて波長λに対する設定値（対応値）であるが、本明細書では従属変数としての波長λの表記は省略している。

【0082】

被写体からの反射光は、結像レンズ１２、瞳分割フィルタ１３、光学ローパスフィルタ１１を通過し、撮像素子１４に像を形成する。このとき、Ｒ画素の画素値として、被写体からの反射光の分光特性に、左瞳の分光特性Ｆ^ＬとＲ画素の分光特性Ｔ_Ｒを掛けた成分値が得られる。また、Ｂ画素の画素値として、被写体からの反射光の分光特性に、右瞳の分光特性Ｆ^ＲとＢ画素の分光特性Ｔ_Ｂを掛けた成分値が得られる。即ち、ベイヤ画像のうちＲ画像により左瞳画像が得られ、Ｂ画像により右瞳画像が得られる。

【0083】

撮像処理部１５は、撮像動作の制御や、撮像信号の処理を行う。例えば、撮像素子１４からの画素信号をデジタルデータに変換し、ベイヤ配列の画像データ（いわゆるＲＡＷ画像データ）を出力する。

【0084】

高密度化処理部２０は、Ｒ画像とＢ画像の位相差をサンプリング画素ピッチよりも小さい分解能で検出するためのサンプリング密度の高密度化処理を行う。この処理によりサンプリング密度はＮ×Ｎ倍となる。Ｎは例えば１００〜１００００である。高密度化処理の詳細については後述する。

【0085】

なお、高密度化処理部２０は、光学特性記憶部４０に記憶された分光特性Ｆ^Ｒ、Ｆ^Ｌ、Ｔ_Ｂ、Ｔ_Ｇ、Ｔ_Ｒに基づいて、Ｒ画像とＢ画像の高精度な分離を行ってもよい。例えば、Ｒ画素の分光特性Ｔ_Ｂは左瞳の分光特性Ｆ^Ｌの帯域にも成分をもっている。そのため、右瞳画像であるべきＲ画像には左瞳の成分が混入している。このような左右瞳の混合を分光特性Ｆ^Ｒ、Ｆ^Ｌ、Ｔ_Ｂ、Ｔ_Ｇ、Ｔ_Ｒに基づいて低減する処理を行ってもよい。

【0086】

位相差検出部３０は、位相差ラフ検出部５０、検出可能領域抽出部６０（検出可能特徴部位抽出部）、位相差微細検出部７０を含む。

【0087】

位相差ラフ検出部５０は、位相差微細検出部７０が行う位相差検出の密度よりも粗い位相差検出を行う。例えば、高密度化処理後の画像や高密度化処理前のベイヤ画像に対して、画素を間引いて相関演算を行う。

【0088】

検出可能領域抽出部６０は、位相差ラフ検出部５０からの相関係数に基づいて、位相差検出が可能か否かの判定を行い、その判定結果によりｚ方向の距離情報を取得できるか否かを判断し、検出可能領域の画像を位相差微細検出部７０へ出力する。例えば、相関ピークが存在するか否かを判定することで位相差検出が可能か否かを判定する。

【0089】

位相差微細検出部７０では、高密度化処理後の画像に対して位相差検出を行い、サンプリング画素ピッチよりも小さい分解能により位相差を精細に求める。位相差の検出は、検出可能領域抽出部６０により位相差検出が可能と判断された領域に対して行う。

【0090】

測距演算部８０は、位相差微細検出部７０により検出された位相差に基づいて、ｚ方向の距離を高分解能に算出する。立体形状出力処理部９０は、ｚ方向の距離情報に基づいて立体形状データを構成し、その立体形状データを出力する。

【0091】

４．３．高密度化処理
次に、サンプリング密度の高密度化処理について詳細に説明する。

【0092】

光学ローパスフィルタ１１を通った左右のＲ、Ｂの瞳画像は、カラー撮像素子１４によりサンプリングされる。撮像素子１４のＲ、Ｂ画素は図９のように配置されている。光学ローパスフィルタ１１は、アンチエイリアスフィルタであり、Ｒ、Ｂの瞳画像に折り返し雑音が発生しないように設けられる。各瞳画像のサンプリングピッチは２ｐなのでサンプリング周波数は１／（２ｐ）であり、それに対応して決まるナイキスト周波数１／（４ｐ）以下にカットオフ周波数を設定する。

【0093】

Ｒ、Ｂ画像の周波数特性は、図１０（Ａ）のようになる。即ち、光学ＬＰＦの周波数特性が例えば１／（４ｐ）の場合、−１／（４ｐ）〜＋１／（４ｐ）の帯域をもつ。図示を省略しているが、１／（２ｐ）の繰り返し周期をもつ。なお、点線は、画素開口の周波数特性を示す。開口幅ｐに対応して、−１／ｐ〜＋１／ｐの帯域をもつ。

【0094】

次に、撮像素子１４により得られたＲ、Ｂの瞳画像の一つ一つのサンプリング画素について、１画素以下の見かけ上の微小画素により構成されているかのようなデータを作成する。例えば、縦横０．１画素によりサンプリングされた画素値を生成する場合、１画素を縦横にそれぞれＮ＝１０等分し、１画素がＮ×Ｎ＝１００個の微小画素で構成されることを想定する。微小画素の画素値は、元の画素の値と等しい値を適用する。このアップサンプリング処理をＲ画素およびＢ画素全てにおいて行う。

【0095】

Ｒ、Ｂ画像の周波数特性は、図１０（Ｂ）のようになる。画素を分割してデータを複製しただけなので、周波数特性はアップサンプリング前と同様である。即ち、例えば−１／（４ｐ）〜＋１／（４ｐ）の帯域をもち、１／（２ｐ）の繰り返し周期をもつ。

【0096】

次に、微小画素で構成されたサンプリングデータを２次元ローパスフィルタによりフィルタリングし、未検出部分の画素を含めて撮像画像全面における微小画素を再構成する。即ち、撮像素子１４の画素ピッチｐに対して画素ピッチｐ／Ｎの画像データを生成し、見かけ上Ｎ倍のサンプリング密度が得られる。２次元ローパスフィルタのカットオフ周波数は、光学ローパスフィルタ同様にＲ又はＢのサンプリングピッチ２ｐで決まるナイキスト周波数１／（４ｐ）以下に設定される。２次元ローパスフィルタは、例えばガウシアンフィルタである。

【0097】

２次元ローパスフィルタの周波数特性は、例えば図１０（Ｃ）に示す通りである。２次元ローパスフィルタ後のＲ、Ｂ画像の周波数特性は、図１０（Ｄ）のようになる。画素ピッチがｐ／Ｎとなったことに対応して、繰り返し周波数がＮ／ｐとなる。帯域は、光学ローパスフィルタの周波数特性に２次元ローパスフィルタの周波数特性を乗じたものの帯域に対応する。

【0098】

図１１の左図に示すように、高密度化処理前の左右のＲ、Ｂの瞳画像Ｉ_Ｌ、Ｉ_Ｒは、２ｐピッチでサンプリングされた画像である。上記の高密度化処理により、図１１の右図に示すように、左右のＲ、Ｂの瞳画像Ｉ_Ｌ、Ｉ_Ｒは、単純に撮像素子１４でサンプリングした密度を大きく超える密度（ピッチｐ／Ｎ）でサンプリングした画像データとして得ることができる。

【0099】

図１２（Ａ）〜図１２（Ｃ）に、高密度化処理による位相差検出のシミュレーション結果を示す。横軸は、相関演算における初期位置を“０”とし、その初期位置からのシフト量を画素数で表したものである。

【0100】

図１２（Ａ）は、位相差を求める波形である。撮像素子の画素ピッチをｐとすると、波形Ｉ（ｘ）とＩ（ｘ−δ）は位相差δ＝０．２ｐをもった波形であり、画素ピッチｐでサンプリングした波形である。

【0101】

図１２（Ｂ）は、サンプリング波形Ｉ（ｘ）、Ｉ（ｘ−δ）を単純に０．１ｐでアップサンプリングし（１画素を０．１ｐに分割し、その画素と同一の値を複製する）、０．１ｐ刻みでシフトしながら相互相関係数を求めたものである。本来、δ＝０．２ｐのところで相関ピークが検出されなければならないが、サンプリング波形は１画素単位の値しか持ち得ないので、δ＝０において相関ピークを示し、１画素以下の分解能での検出はできていない。

【0102】

図１２（Ｃ）は、サンプリング波形Ｉ（ｘ）、Ｉ（ｘ−δ）に対して本実施形態の高密度化処理を行い、相互相関係数を求めたものである。即ち、上記のアップサンプリングに加え、カットオフ周波数１／（４ｐ）以下のローパスフィルタをかけた後に、０．１ｐ刻みでシフトしながら相互相関係数を求めたものである。δ＝０．２ｐにて明確に相関ピークを示し、０．１ｐ単位の検出分解能が得られることが分かる。

【0103】

以上より、本実施形態のアップサンプリング処理と２次元ローパスフィルタ処理によって、撮像素子の画素ピッチ以下での位相差検出分解能を可能にすることができる。

【0104】

また、通常の位相差検出では、サンプリング位置が異なることで左右のＲ、Ｂの瞳画像サンプリングデータの類似性が劣化するが、本実施形態によれば、この課題を解決できる。この点について、図１３を用いて説明する。

【0105】

図１３の左図に示すように、左右のＲ、Ｂの瞳画像Ｉ_Ｌ、Ｉ_Ｒは、ほぼ同一の波形であり、位相差δを有する。図１３の右図に示すように、仮に瞳画像Ｉ_Ｌ、Ｉ_Ｒの波形を一致させたとする。このとき、瞳画像Ｉ_Ｌ、Ｉ_Ｒはマッチングしており、本来は、このように波形の類似性が最も高い位置での相関係数が得られることが望ましい。

【0106】

しかしながら、視差δは任意であるため、ほぼ同一波形である瞳画像Ｉ_Ｌ、Ｉ_Ｒに対してＲ、Ｂの画素がサンプリングする位置は一般的に同一とはならない。そのため、例えば左右のＲ，Ｂの瞳画像Ｉ_Ｌ、Ｉ_Ｒが光学的に同一であっても、得られるサンプリングデータは異なったものとなり、サンプリングデータで見れば類似性が失われている。このことは、相関係数から瞳画像Ｉ_Ｌ、Ｉ_Ｒのマッチング位置を求めようとしたときに、正確な位置が求められないことを意味する。

【0107】

例えば、瞳画像Ｉ_Ｌ、Ｉ_Ｒを１サンプリング画素ずつ（即ち２ｐピッチで）ずらしながら、相関係数を求めたとする。相関係数が得られるのは、瞳画像Ｉ_Ｌ、Ｉ_Ｒの画素（即ち実線矢印と点線矢印）が一致する各位置である。即ち、サンプリング位置が異なる瞳画像Ｉ_Ｌ、Ｉ_Ｒでは、波形が一致したときの相関係数は得られず、位相差の検出誤差が生じる。

【0108】

この点、本実施形態によれば、図１１の右図のように瞳画像Ｉ_Ｌ、Ｉ_Ｒを高密度にサンプリングしたデータが得られるので、サンプリングデータの類似性を確保することができ、位相差の検出精度を向上できる。また、２次元ローパスフィルタをかけることにより、Ｒ、Ｂの瞳画像Ｉ_Ｌ、Ｉ_Ｒに重畳されたノイズ成分が抑圧され、ノイズによるマッチング位置の検出誤差ばらつきを抑える効果がある。

【0109】

図１４に、サンプリングデータの類似性についてシミュレーションした結果を示す。上段の図はサンプリング位置を示す。サンプリング位置Ｂ２、Ｂ４、Ｂ６、Ｂ８は、サンプリング位置Ａから０．２ｐずつシフトした位置である。例えば、位相差が０．６ｐの場合、左瞳画像はサンプリング位置Ａでサンプリングされ、右瞳画像はサンプリング位置Ｂ６でサンプリングされる。

【0110】

中段の図はサンプリングデータを示す。サンプリングデータは、センサ入力波形をサンプリング位置Ａ、Ｂ２、Ｂ４、Ｂ６、Ｂ８でサンプリングしたデータである。センサ入力波形は、センサ面に結像した被写体像の波形である。この時点では、サンプリング位置が異なっているのでサンプリングデータ間の類似性は低下している。

【0111】

下段の図は各サンプリングデータに本実施形態の高密度化処理を施したものである。波形データＡｓ、Ｂｓ２、Ｂｓ４、Ｂｓ６、Ｂｓ８は、サンプリング位置Ａ、Ｂ２、Ｂ４、Ｂ６、Ｂ８に対応する。波形データＡｓ、Ｂｓ２、Ｂｓ４、Ｂｓ６、Ｂｓ８は、一致して識別不能であり、サンプリングデータ間の類似性が高いことが分かる。この類似性の高いサンプリングデータを用いることで、高精度な位相差検出が可能となる。

【0112】

以上の実施形態によれば、撮像部１０は、第１被写体像を撮像する画素のピッチ及び第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下である光学ローパスフィルタ１１を有する。そして、高密度化処理部２０は、高密度化処理として、第１画像Ｉ_Ｌ（左瞳画像、Ｒ画像）と第２画像Ｉ_Ｒ（右瞳画像、Ｂ画像）に対するアップサンプリング処理と、そのアップサンプリング処理後の第１画像Ｉ_Ｌと第２画像Ｉ_Ｒに対する２次元ローパスフィルタ処理と、を行う。

【0113】

図９に示すように、第３実施形態では第１画像Ｉ_Ｌと第２画像Ｉ_ＲのサンプリングピッチはそれぞれＰ＝２ｐである。そして、第１画像Ｉ_Ｌと第２画像Ｉ_Ｒを、それぞれＮ×Ｎ倍の画素数にアップサンプリング処理し、その画像に対して２次元ローパスフィルタ処理を行う。

【0114】

以上のようにすれば、撮像素子の画素密度（画素ピッチｐ）に対して、見かけ上のサンプリング密度（画素ピッチｐ／Ｎ）をＮ倍とした視差画像を得ることができる。図１２等で説明したように、この視差画像を用いて位相差を検出することで、従来の検出分解能よりも飛躍的に高分解能な位相差検出を行うことが可能となる。

【0115】

また、上述した改良ＳＡＤを組み合わせることで、更に高精度な位相差検出が可能となる。即ち、高密度化処理では、２次元ＬＰＦにより高周波成分がカットされているため、低周波成分の波形どうしの位相差検出となりノイズの影響を受ける可能性がある。この点、改良ＳＡＤによりノイズの影響を低減できるので、高密度化処理による検出分解能を最大限に活かすことが可能となる。

【0116】

なお、本実施形態を二眼の撮像部に適用した場合、例えば、二眼の撮像光学系それぞれに撮像素子が設けられる。この場合、視差画像のサンプリングピッチＰは撮像素子の画素ピッチｐと同一となるので、Ｐ＝ｐとなる。

【0117】

以上の実施形態によれば、撮像部１０は、結像光学系（結像レンズ１２）と、結像光学系の瞳を、第１被写体像を通過させる第１瞳（左瞳）と第２被写体像を通過させる第２瞳（右瞳）とに分割する瞳分割フィルタ１３と、結像光学系により結像された第１被写体像及び第２被写体像を撮像する撮像素子１４と、を有する。

【0118】

このようにすれば、単眼の撮像部１０で視差画像を撮像できる。そして、その視差画像に高密度化処理を施すことで、単眼であっても高分解能な測距が可能となる。即ち、上式（１５）に示すように、測距の分解能Δｚを上げるためには瞳の重心間距離ｌを離す必要があるが、単眼は二眼に比べて瞳の重心間距離ｌを確保しにくい。この点、本実施形態では高密度化処理により位相差の検出分解能Δｓを上げることができるため、上式（１５）により、瞳の重心間距離ｌが小さい場合であっても高分解能な測距を実現できる。例えば、内視鏡（工業用、医療用等）ではスコープを細径にするニーズがあるが、単眼は細径を実現しやすく、また、細径にして瞳の重心間距離ｌが小さくなっても高密度化処理により高精度な測距が可能である。

【0119】

また、本実施形態では、撮像素子１４は、原色ベイヤ配列の撮像素子である。瞳分割フィルタ１３は、赤色に対応する波長帯域を透過するフィルタ（図８の分光特性Ｆ^Ｌ）を第１瞳として有し、青色に対応する波長帯域を透過するフィルタ（図８の分光特性Ｆ^Ｒ）を第２瞳として有する。そして、高密度化処理部２０は、撮像素子１４により撮像されたベイヤ配列の画像のうち赤色の画像を第１の画像（左瞳画像）とし、青色の画像を第２の画像（右瞳画像）として、高密度化処理を行う。

【0120】

このようにすれば、一般的に用いられている原色ベイヤ配列のカラーイメージセンサを用いて、高分解能な位相差検出を実現できる。瞳分割フィルタ１３を挿入し、Ｒ、Ｂ画像を取り出すだけで視差画像を構成できるので、従来からある撮像部に大きな変更を加えずに高分解能な位相差検出を実現できる。また、光学系には瞳分割フィルタ１３が加わるだけなので撮像部１０をコンパクトに構成でき、例えば上述した細径の内視鏡等を実現できる。

【0121】

また、本実施形態では、撮像素子１４の画素ピッチをｐとする場合に、第１被写体像を撮像する赤色の画素のピッチ及び第２被写体像を撮像する青色の画素のピッチは、Ｐ＝２ｐである。そして、光学ローパスフィルタ１１のカットオフ周波数は、１／（２Ｐ）＝１／（４ｐ）以下である。

【0122】

瞳分割しない通常の撮影では、撮像素子の画素ピッチｐに対応するナイキスト周波数は１／（２ｐ）であり、光学ローパスフィルタ１１のカットオフ周波数を１／（２ｐ）以下に設定する。一方、本実施形態では、視差画像それぞれにサンプリングを行っているので、そのサンプリングピッチ２ｐに対応したナイキスト周波数１／（４ｐ）以下にカットオフ周波数を設定する。これにより、視差画像における折り返し雑音を抑制できる。

【0123】

また、本実施形態では、高密度化処理部２０は、アップサンプリング処理として、第１画像及び第２画像の画素をＮ×Ｎ画素に分割し、そのＮ×Ｎ画素に元の画素の画素値を複製する処理を行う。

【0124】

また、本実施形態では、２次元ローパスフィルタ処理のカットオフ周波数は、１／（２Ｐ）以下である。

【0125】

このように、視差画像の画素をＮ×Ｎ画素に分割し、元の画素の画素値を複製することで、まずデータ上で微細な画素を準備することができる。そして、そのデータに対してカットオフ周波数１／（２Ｐ）以下の２次元ローパスフィルタ処理を行うことで、あたかも微細な画素でサンプリングしたかのような視差画像を生成できる。視差画像の周波数帯域は光学ローパスフィルタ１１により１／（２Ｐ）以下に制限されているため、それに対応して２次元ローパスフィルタのカットオフ周波数を１／（２Ｐ）以下に設定することで、視差画像の成分を残しながら、その帯域外のノイズを低減することができる。

【0126】

なお、以上の実施形態では原色ベイヤ配列のカラー撮像素子を用いる場合を例に説明したが、本実施形態はこれに限定されず、例えば補色のカラー撮像素子を用いることも可能である。この場合、補色のカラー撮像素子で撮像したＹＣｒＣｂ画像からＲ画像、Ｂ画像を生成し、視差画像として用いればよい。

【0127】

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0128】

１０ 撮像部、１１ 光学ローパスフィルタ、１２ 結像レンズ、
１３ 瞳分割フィルタ、１４ 撮像素子、１５ 撮像処理部、
２０ 高密度化処理部、３０ 位相差検出部、４０ 光学特性記憶部、
５０ 位相差ラフ検出部、６０ 検出可能領域抽出部、
７０ 位相差微細検出部、８０ 測距演算部、９０ 立体形状出力処理部、
Ｆ^Ｌ，Ｆ^Ｒ 分光特性、Ｆａ 減少区間、Ｉ_Ｌ 左瞳画像、Ｉ_Ｒ 右瞳画像、
Ｐ サンプリングピッチ、Ｒａ 増加区間、Ｔ_Ｂ，Ｔ_Ｇ，Ｔ_Ｒ 分光特性、
ｎＩ 合成波形、ｎＩ_Ｌ 正規化した左瞳画像、ｎＩ_Ｒ 正規化した右瞳画像、
ｐ 画素ピッチ、ｓ 位相差、ｗ 所定演算区間、
ｘ，ｙ，ｚ，ｘ’，ｙ’ 座標、Δｓ 位相差分解能、Δｚ 距離分解能、
δ 位相差、σ 分散値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】