(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6626551
(24)【登録日】2019年12月6日
(45)【発行日】2019年12月25日
(54)【発明の名称】画像処理装置、画像処理方法、および撮像装置並びにその制御方法
(51)【国際特許分類】
G02B 7/28 20060101AFI20191216BHJP
G03B 13/36 20060101ALI20191216BHJP
H04N 5/232 20060101ALI20191216BHJP
【FI】
G02B7/28 N
G03B13/36
H04N5/232 290
【請求項の数】27
【全頁数】18
(21)【出願番号】特願2018-188108(P2018-188108)
(22)【出願日】2018年10月3日
(62)【分割の表示】特願2014-167479(P2014-167479)の分割
【原出願日】2014年8月20日
(65)【公開番号】特開2019-35967(P2019-35967A)
(43)【公開日】2019年3月7日
【審査請求日】2018年10月3日
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【弁理士】
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100128668
【弁理士】
【氏名又は名称】齋藤 正巳
(72)【発明者】
【氏名】中山 文貴
【審査官】
井亀 諭
(56)【参考文献】
【文献】
特開2012−134881(JP,A)
【文献】
特開2009−162748(JP,A)
【文献】
特開2013−046209(JP,A)
【文献】
国際公開第2012/101719(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 7/28
G03B 13/36
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、
前記変換手段にて変換された距離情報を用いて画像処理を施す画像処理手段と、
を備え、
前記変換手段は、合焦近傍の距離情報に、合焦近傍でない距離情報に比べてより多く階調が割り当てられた変換特性を用いて、前記距離情報を分解能変換して出力し、
前記画像処理は、前記変換手段にて変換された距離情報を用いて前記画像の各領域を距離情報に応じて変形する画像変形処理を含む
ことを特徴とする画像処理装置。
【請求項2】
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、合焦近傍の距離分解能が必要なアプリケーションが出力先である場合に、合焦近傍の距離情報に、合焦近傍でない距離情報に比べてより多く分解能が割り当てられた変換特性に決定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、合焦被写体の距離情報を基準に前後の距離情報で非対称に階調が割り当てられる変換特性をさらに有することを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、前記撮影光学系のレンズのF値に応じて分解能変換が異なる変換特性をさらに有することを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、前記撮影光学系のレンズのF値に応じて、該F値が大きいほど、より大きい距離情報に割り当てる階調をより少なくする変換特性をさらに有することを特徴とする請求項1に記載の画像処理装置。
【請求項6】
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、前記被写体像の撮像における基線長に応じて分解能変換が異なる変換特性をさらに有することを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、前記被写体像の撮像におけるISO感度に応じて分解能変換が異なる変換特性をさらに有することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、相対的に広い測距範囲が必要なアプリケーションが出力先である場合に、線形的な分解能変換を行う前記変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする請求項1に記載の画像処理装置。
【請求項9】
前記距離情報は被写体距離の情報であり、
前記決定手段は、前記複数の画像の画像信号に基づいて得られるデフォーカス量から被写体距離の情報を前記距離情報として生成する生成手段を有し、
前記変換手段は、前記変換特性に従って前記被写体距離を変換することを特徴とする請求項1に記載の画像処理装置。
【請求項10】
前記変換手段は、前記距離情報に対して二つ以上の変換特性をそれぞれ決定し、該変換特性のそれぞれに従って前記距離情報を変換し、当該変換によって得られた複数の結果を出力することを特徴とする請求項1に記載の画像処理装置。
【請求項11】
前記複数の画像の画像信号は、ボケの異なる前記被写体像の複数の画像の画像信号、前記撮影光学系の瞳の異なる領域からの被写体像を撮像して得られた複数の画像の画像信号、又は被写体を複数の撮像手段で撮像して得られた複数の画像の画像信号であることを特徴とする請求項1に記載の画像処理装置。
【請求項12】
前記距離情報は、前記複数の画像の一致度を表す値又は前記複数の画像のボケの評価値に基づいていることを特徴とする請求項1に記載の画像処理装置。
【請求項13】
前記距離情報は、前記複数の画像の画像信号から算出される、画像内の被写体の被写体距離に対応する情報であることを特徴とする請求項1に記載の画像処理装置。
【請求項14】
前記変換手段によって前記変換特性を用いて変換された距離情報は、被写体距離マップとして出力されることを特徴とする請求項1に記載の画像処理装置。
【請求項15】
前記距離情報は、前記複数の画像の画像信号から算出されるデフォーカス量を示す情報であることを特徴とする請求項1に記載の画像処理装置。
【請求項16】
前記変換手段によって前記変換特性を用いて変換された前記距離情報は、デフォーカスマップとして出力されることを特徴とする請求項1に記載の画像処理装置。
【請求項17】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、
前記変換手段にて変換された距離情報を用いて画像処理を施す画像処理手段と、
を備え、
前記変換手段は、合焦被写体の距離情報を基準に前後の距離情報で非対称に階調が割り当てられる変換特性を用いて、前記距離情報を分解能変換して出力し、
前記画像処理は、前記変換手段にて変換された距離情報を用いて前記画像の各領域を距離情報に応じて変形する画像変形処理を含む
ことを特徴とする画像処理装置。
【請求項18】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、を備え、
前記変換手段は、前記撮影光学系のレンズのF値に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理装置。
【請求項19】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、
を備え、
前記変換手段は、前記撮影光学系のレンズのF値に応じて、該F値が大きいほど、より大きい距離情報に割り当てる階調をより少なくする変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理装置。
【請求項20】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、
を備え、
前記変換手段は、前記被写体像の撮像における基線長に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理装置。
【請求項21】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、
を備え、
前記変換手段は、前記被写体像の撮像におけるISO感度に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理装置。
【請求項22】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
前記変換工程にて変換された距離情報を用いて画像処理を施す画像処理工程と、
を備え、
前記変換工程は、合焦近傍の距離情報に、合焦近傍でない距離情報に比べてより多く階調が割り当てられた変換特性を用いて、前記距離情報を分解能変換して出力し、
前記画像処理は、前記変換工程にて変換された距離情報を用いて前記画像の各領域を距離情報に応じて変形する画像変形処理を含む
ことを特徴とする画像処理方法。
【請求項23】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
前記変換工程にて変換された距離情報を用いて画像処理を施す画像処理工程と、
を備え、
前記変換工程は、合焦被写体の距離情報を基準に前後の距離情報で非対称に階調が割り当てられる変換特性を用いて、前記距離情報を分解能変換して出力し、
前記画像処理は、前記変換工程にて変換された距離情報を用いて前記画像の各領域を距離情報に応じて変形する画像変形処理を含む
ことを特徴とする画像処理方法。
【請求項24】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
を備え、
前記変換工程は、前記撮影光学系のレンズのF値に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理方法。
【請求項25】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
を備え、
前記変換工程は、前記撮影光学系のレンズのF値に応じて、該F値が大きいほど、より大きい距離情報に割り当てる階調をより少なくする変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理方法。
【請求項26】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
を備え、
前記変換工程は、前記被写体像の撮像における基線長に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理方法。
【請求項27】
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
を備え、
前記変換工程は、前記被写体像の撮像におけるISO感度に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理装置又は撮像装置に関し、特に、被写体の一対の画像の視差量からデフォーカス量(受光面とレンズの結像面との差)又は被写体距離を検出する画像処理装置又は撮像装置に関する。
【背景技術】
【0002】
従来から瞳分割型位相差検出方式やボケの異なる複数の画像を用いてデフォーカス量を検出する撮像装置が知られている。
【0003】
特許文献1では、画像の像ずれ量(視差量)からデフォーカス量を算出する方法が開示されている。画像を微小ブロックに分割したときの微小ブロックにおける一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなるずらし量が視差量となる。さらに、算出したずらし量に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて被写体像面の予定結像面に対するデフォーカス量を算出する。
【0004】
特許文献2では、Depth from Defocus(DFD)方式でデフォーカス量を算出する方法が開示されている。DFD方式は、撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出してデフォーカス量を算出する。さらに、これらの手法で算出したデフォーカス量は像面上の距離であるため、レンズの公式を用いて物面距離に変換した被写体距離情報を算出することも可能である。
【0005】
また、これらの手法で算出したデフォーカス量や被写体距離を用いて、様々な画像処理に応用する技術も開示されている。特許文献3では、顔の明るさを補正する際、合焦した顔の明るさを適正にするように、デフォーカス量に応じて補正ゲインを変更する処理を行なっている。特許文献4では、被写体距離を用いて被写体が撮像装置から所定の距離に入った時に撮像を行なう処理を行なっている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−15754号公報
【特許文献2】特開2013−253964号公報
【特許文献3】特開2010−45457号公報
【特許文献4】特開2013−243529号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、上述の手法で算出したデフォーカス量と被写体距離(両者を合わせて距離情報と呼ぶ)を撮像装置の外部へ出力する場合や、撮像装置内の別のモジュールやアプリケーションへ出力する場合、出力先に応じて距離情報を変換して出力する必要がある。例えば、特許文献3のように合焦近傍の距離分解能が必要なものもあれば、特許文献4のように測距範囲が必要なものもある。また、出力先と接続する伝送路は有限語長となるため、その語長に収める必要もある。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明によれば、撮像装置は、撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、複数の画像の画像信号を用いて、被写体像のデフォーカス量を決定する決定手段と、階調変換のための複数の異なる変換特性を有し、複数の異なる変換特性の少なくとも一つに従ってデフォーカス量を階調変換して出力する変換手段とを備える。
【発明の効果】
【0009】
本発明によれば、出力先が必要とする階調特性を有するデフォーカス量または被写体距離を出力可能な画像処理装置または撮像装置を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の第1の実施例に係わる画像処理装置を適用した撮像装置のシステム構成を示す図である。
【
図2】
図1の撮像装置が有する撮像素子の画素配列を模式的に示す図である。
【
図3】本発明の第1の実施例に係わる撮像装置における像生成、デフォーカス量計算、階調変換のブロック構成を示す図である。
【
図4】視差を有する画像を用いた像ずれ量の検出を説明するための図である。
【
図5】本発明の第1の実施例に係わる階調変換特性の例を示す図である。
【
図6】F値、像ずれ量、デフォーカス量の関係を示す図である。
【
図7】本発明の第2の実施例に係わる画像処理装置における像生成、デフォーカス量計算、被写体距離計算、階調変換のブロック構成を示す図である。
【
図8】本発明の第1の実施例に係わる階調変換特性の他の例を示す図である。
【
図9】撮像面距離と物面距離の関係を説明するための図である。
【
図10】本発明の第2の実施例に係わる階調変換特性の例を示す図である。
【
図11】
図1の撮像装置が有する撮像素子の画素配列の他の例を示す図である。
【
図12】本発明の第3の実施例に係わる画像処理装置のブロック構成を示す図である。
【
図13】本発明の第4の実施例に係わる画像処理装置のブロック構成を示す図である。
【
図14】本発明の第4の実施例に係わる画像生成を説明するための図である。
【
図15】本発明の第4の実施例における被写体距離と距離マップの関係を説明するための図である。
【
図16】本発明の第4の実施例に係わる被写体距離と背景倍率の関係を説明するための図である。
【発明を実施するための形態】
【0011】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施例では、撮像装置の一例としてのデジタルカメラに本発明の画像処理装置を適用した例を説明する。
【実施例1】
【0012】
図1は、本発明の第1の実施例に係る画像処理装置を適用した撮像装置の例としてのデジタルカメラの機能構成を示すブロック図である。同図において、制御部101は、例えばCPUであり、デジタルカメラ100が備える各ブロックの動作プログラムをROM102より読み出し、RAM103に展開して実行することでデジタルカメラ100が備える各ブロックの動作を制御する。ROM102は、書き換え可能な不揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。RAM103は、書き換え可能な揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【0013】
撮影光学系104は、被写体像を撮像部105に結像する。撮像部105は、例えばCCDやCMOSセンサ等の撮像素子を含み、撮影光学系104により撮像素子に結像された光学像を光電変換して得られたアナログ画像信号をA/D変換部106に出力する。A/D変換部106は、入力されたアナログ画像信号のA/D変換処理を行い、得られたデジタル画像データをRAM103に出力して記憶させる。
【0014】
画像処理部107は、RAM103に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小/拡大、フィルタリングなど、様々な画像処理を適用する。
【0015】
記録媒体108は着脱可能なメモリカード等であり、RAM103に記憶されている画像処理部107で処理された画像やA/D変換部106でA/D変換された画像などが、記録画像として記録される。また、画像処理部107ならびに記録媒体108では、後述するデフォーカス量や被写体距離の生成と記録も行なっている。
【0016】
図2は、本実施例に係わるデジタルカメラ100が有する撮像部105の画素配列構成を模式的に示しており、特許文献1で開示されている撮像素子と同様である。同図において、単位画素202は、マイクロレンズ201と一対の光電変換部203、204とから構成される。光電変換部203、204(分割画素)は、マイクロレンズ201(瞳分割手段)を介して、撮影光学系104の射出瞳の異なる瞳領域からの光束を受光する。
図1の撮像部105において、単位画素202が二次元に規則的に配列されているので、各単位画素の例えば分割画素203の光電変換出力を集めれば、対応する瞳分割領域を通過した光束による像の画像信号が生成される。同様に、他の分割画素204の光電変換出力から、対応する他の瞳領域を通過した光束による像の画像信号が生成される。このように、撮像部105によれば、一対の視差を有する画像信号を取得できる。本実施例においては、光電変換部203で撮像された画像をA像、光電変換部204で撮像された画像をB像とする。
【0017】
図3は、本実施例に係わる画像処理装置を適用したデジタルカメラの画像処理部107における像生成処理、デフォーカス量計算処理、階調変換を説明するための図である。
【0018】
同図において、305は撮影光学系104の瞳の異なる領域から到来する光束が形成する複数の被写体像(本実施例ではA像およびB像)を加算し、撮影光学系104の瞳の全域から到来する光束が生ずる単一の被写体像に対応する像を生成する像生成部である。306はA像入力、307はB像入力、308は像出力である。生成された像には、さらにホワイトバランス調整、色補間、縮小/拡大、フィルタリングなどの画像処理が施され、処理後の画像は記録画像として
図1の記録媒体108に記録される。
【0019】
301は着目画素位置におけるデフォーカス量を計算するデフォーカス量計算部であり、302はA像入力、303はB像入力、304はデフォーカス量出力である。デフォーカス量計算部301は、A像とB像の相関関数を計算するなどしてデフォーカス量を計算する。
【0020】
ここで、相関関数を計算する処理について説明する。相関関数からデフォーカス量を計算する処理は、特許文献1で開示されている手法を適用すればよく、その具体的処理について
図4を用いて説明する。
図4の各図は、横軸が像ずれ量、縦軸が後述する式(1)で表現される画像の相関量であり、同図(a)は相関度が高い例、(b)、(c)は相関度が低い例を示している。
【0021】
特許文献1によれば、まず微小ブロックにおける一対の画素データを(E(1)〜E(m))、(F(1)〜F(m)、mはデータ数)と一般化して表現する。そして、データ系列(E(1)〜E(m))に対しデータ系列(F(1)〜F(m)を相対的にずらしながら数式1により2つのデータ列間の像ずれ量kにおける相関量C(k)を演算する。
C(k)=Σ|E(n)−F(n+k)| ・・・(1)
【0022】
(1)式において、Σ演算はnについて計算される。この演算においてn、n+kのとる範囲は1〜mの範囲に限定される。また、像ずれ量kは整数であり、画像間の相対的シフト量である。
【0023】
(1)式の演算結果は、
図4(a)に示すように、一対のデータ系列の相関が高いシフト量において相関量C(k)が最小(小さいほど相関度が高い)になる。続いて下記(2)〜(5)式による3点内挿の手法を用い、連続的な相関量に対する最小値C(x)を与えるシフト量xを求める。
x=kj+D/SLOP ・・・(2) ,
C(x)=C(kj)−|D| ・・・(3) ,
D={C(kj-1)−C(kj+1) /2 ・・・(4) ,
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)} ・・・(5)
【0024】
(2)式で求めたシフト量xより、被写体像面の予定結像面に対するデフォーカス量DEFを下記(6)式で求めることができる。
DEF=KX・PY・x ・・・(6)
【0025】
(6)式において、PYは撮像素子の画素ピッチ(撮像素子を構成する画素間距離)であり、KXは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数であり単位はmm/pixである。なお、一対の測距瞳を通過する光束の重心の開き角の大きさは、レンズの絞り開口の大きさ(F値)に応じて変化するので、レンズ情報に応じて決定される。この内容について
図6を用いて説明する。
図6は予定結像面に対するデフォーカス量、F値、像ずれ量の関係を示す図である。
図6において、601が撮像対象の物面、602がレンズ、603が撮像素子の予定結像面であり、予定結像面603からデフォーカス量605でデフォーカスした位置での像面が604である。607、608がF値に応じた像ずれ量を示しており、607はF値が小さい(開放)場合の像ずれ量、608はF値が大きい(絞り)場合の像ずれ量である。
図6によると、デフォーカスした位置での像面に対する像ずれ量は開放側で大きくなり、絞り側で小さくなることがわかる。言い換えれば、同じデフォーカス量であっても、像ずれ量はF値によって異なる。これが、像ずれ量からデフォーカス量を算出する際にF値に応じたゲインであるKXを乗算する理由である。
【0026】
また、算出されたデフォーカス量DEFに信頼性があるかどうかは、以下のようにして判定される。
図4(b)に示すように、一対のデータ系列の相関度が低い場合は、内挿された相関量の最小値C(x)の値が大きくなる。したがって、C(x)が所定値以上の場合は信頼性が低いと判定する。あるいは、コントラストに比例した値となるSLOPでC(x)を除してC(x)をデータのコントラストで正規化したときの値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるSLOPが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量DEFの信頼性が低いと判定する。
【0027】
さらに、
図4(c)に示すように、一対のデータ系列の相関度が低く、所定のシフト範囲k min〜k maxの間で相関量C(k)の落ち込みがない場合は、最小値C(x)を求めることができないので、このような場合は像ずれ量が検出不能と判定する。像ずれ量の検出が可能である場合は、(6)式によってデフォーカス量を算出する。
【0028】
なお、特許文献1では相関関数に画素の差分絶対値和であるSAD(Sum of Absolute Difference)を用いているが、本実施例はこれに限定されるものではない。例えば、画素の差分二乗和SSD(Sum of Squared Difference)や正規相互相関であるNCC(Normalized Cross Correlation)を用いてもよい。SADやSSDは相関が高いほど値が小さくなるのに対して、NCCは相関が高いほど値が大きくなる。また、SAD、NCC以外でも、一対の被写体像の一致度を計算するものであればどのような相関演算式を用いてもよい。
【0029】
図3に戻り、309はデフォーカス量304を出力する際、出力先あるいは規格に応じてデータ変換を行なう階調変換部であり、310は階調変換されたデフォーカス量(これをデフォーカスマップ出力と呼ぶ)である。本実施例では、出力先とのインターフェースが8ビット(0から255)階調であるものとして、
図5を用いて階調変換を説明する。
図5は階調変換部309によるデフォーカス量からデフォーカスマップへの変換特性を示しており、横軸がデフォーカス量、縦軸がデフォーカスマップである。また、デフォーカス量が0[mm]と検出された被写体は合焦被写体であり、デフォーカス量が正方向に大きくなるに連れて合焦被写体より前方にいる被写体、デフォーカス量が負方向に大きくなるに連れて合焦被写体より後方にいる被写体であることを示す。
図5(a)の変換特性501はデフォーカス量304をリニア階調変換しているのに対して、(b)の変換特性502はデフォーカス量304に対して合焦領域近傍である0[mm]付近のデフォーカス量に対して多くのビットが割りあたるようなノンリニアの階調変換を行なっている。出力先が特許文献4に示すような広い測距範囲が必要なアプリケーションであれば、変換特性501のようなリニア階調変換で、どのデフォーカス量に対しても均等なビット割り当てを行なう。一方、出力先が特許文献3に示すような合焦近傍の距離分解能が必要なアプリケーションであれば、変換特性502のようなノンリニア階調変換で、合焦近傍のデフォーカス量に対して多くのビット割り当てを行なうようにする。なお、変換特性502で示したノンリニア特性は一つの例であり、
図5(c)の変換特性503に示すように、デフォーカス量0[mm]を基準に左右非対称(合焦被写体より手前の被写体よりも後方の被写体に対して多くのビット割り当てる)であっても良い。また、アプリケーションによっては特定被写体(例えばユーザが指定した被写体)のデフォーカス量が必要な場合は、(d)の変換特性504に示すような階調特性にしても良い。
これらの階調変換部309が適用する階調変換特性の候補は、出力先や規格と、対応する階調変換特性がテーブルデータとして予めROM102に記憶されていてもよい。また、出力先であるPCやプリンタ、モバイル機器などに接続された状態で、出力先である外部装置その他接続状態にあるサーバから受信してもよい。規格を選択する場合、規格に応じて階調変換特性の候補を予めROM102に記憶されていてもよい。また、階調変換部309が適用する階調変換特性は、被写体検出や出力先あるいは規格の情報に応じて変換時にその都度生成されてもよい。どの出力先や規格に適合させるかの判定は、予めROM102に記憶されている複数の出力先の候補から選ぶ、あるいは前述したような外部装置と接続された状態で、外部装置やその他接続状態にあるサーバから、当該外部装置が対応する出力bit数や規格などの情報を取得する。
【0030】
また、式(6)で説明したように、像ずれ量からデフォーカス量を算出する際、F値に応じたゲインKXを乗算している。そのため、階調特性はF値に応じて変化させることも可能である。このことを、
図8を用いて説明する。
図8は、
図5と同様にデフォーカス量からデフォーカスマップへの変換特性を示す図で、リニア階調変換特性をF値に応じて調整したものを示している。なお、801がF=1.8、802がF=3.5、803がF=5.6の階調特性である。同じデフォーカス量に対して発生する像ずれ量はF値が小さいほど大きくなるため測距範囲が広くなる。そのため、階調特性801(F=1.8)はリニア特性に近く、階調特性802(F=3.5)、階調特性803(F=5.6)になるに連れて、大きいデフォーカス量に対してはビット割り当てを少なくするような階調特性になる。また、測距範囲が変動する要因はF値だけでなく、画像を取得する際の基線長によっても変わってくる。基線長が長くなるほど視差がつきやすく測距範囲が広がることになるため、基線長に応じて階調特性を変更することも可能である。また、撮像素子のISO感度など、撮影条件に応じて測距範囲や測距分解能が変化する場合は、その撮影条件に応じた階調特性にすることも可能である。
【0031】
また、視差を有する画像信号を取得する撮像装置のセンサは
図2に限ったものではなく、
図11に示す画素配列構造でも良い。
図11において、画素1106はマイクロレンズ1105と二対の光電変換部1101、1104と1102、1103とから構成される。
図1の撮像部105において、その画素1106が二次元的に規則的に配列されている。光電変換部1101で撮像されるのがA像、光電変換部1102で撮像されるのがB像、光電変換部1103で撮像されるのがC像、光電変換部1104で撮像されるのがD像、として
図3と同様に像生成とデフォーカスマップを生成することができる。
【0032】
なお、今までの説明ではデフォーカス量の算出として瞳分割撮像素子を用いた例を示したが、デフォーカス量の算出はこれに限ったものではない。レンズと撮像素子をステレオ配置した複眼カメラから得られた画像を用いてデフォーカス量を算出することも可能である。また、画像の像ずれ量からデフォーカス量を算出する手法だけでなく、特許文献2や従来技術に記載されている、ボケの異なる複数の画像のパワーに基づくボケ評価値からデフォーカス量を算出するDFD方式を用いても良い。
【0033】
本実施の形態によれば、デフォーカス量を出力する際に、出力先に応じた階調特性を行うことが可能な画像処理装置および撮像装置を提供することができる。
【実施例2】
【0034】
以下、本発明の第2の実施例に係わる画像処理装置を適用した撮像装置としてのデジタルカメラについて説明する。なお本実施例における撮像装置の一例としてのデジタルカメラの構成ならびに撮像素子は、第1の実施例で
図1、
図2を用いて説明した各構成と同様であるので、ここでの説明は必要のない限り省略する。第1の実施例と異なるのは、階調変換部の出力情報が被写体距離(物面距離)であることである。
【0035】
図7は、本実施例に係わる画像処理装置を適用したデジタルカメラの画像処理部107における像生成処理、デフォーカス量計算処理、被写体距離計算処理、階調変換を説明するための図である。同図において、705は撮影光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像を加算して、撮影光学系の瞳の全域から到来する光束が生ずる単一の被写体像を生成する像生成部である。706はA像入力、707はB像入力、708は像出力である。生成された像には、さらにホワイトバランス調整、色補間、縮小/拡大、フィルタリングなどの処理が施され、処理後の画像は記録画像として
図1の記録媒体108に記録される。701は着目画素位置におけるデフォーカス量を計算するデフォーカス量計算部であり、702はA像入力、703はB像入力、704はデフォーカス量出力である。デフォーカス量計算部701はA像とB像の相関関数を計算するなどしてデフォーカス量を計算する。デフォーカス量の計算は上述した処理と同様である。709はデフォーカス量704から被写体距離に変換する計算部であり、
図9を用いて説明する。
図9は撮像面距離から物面距離の変換を示した図であり、901が合焦物体面、902がレンズ、903が撮像面、904がデフォーカス量905でデフォーカスした撮像面位置である。また、906が合焦物体距離OBJ(0)、907が合焦像物体に対する撮像面距離S(0)、908が測距する物体距離OBJ(def)である。OBJ(0)、OBJ(def)に対して各々レンズの公式から、下記式が成立する。
【数1】
【数2】
【0036】
(7)、(8)式からOBJ(def)が左辺になるように変形すると、
【数3】
となる。この(9)式を用いて、デフォーカス量から被写体距離への変換を行なうことができる。711は被写体距離710を出力する際、出力先に応じてデータ変換を行なう階調変換部であり、711は階調変換された被写体距離(これを距離マップ出力と呼ぶ)である。本実施例では、出力先とのインターフェースが8ビット(0から255)階調であるものとして
図10を用いて説明する。
【0037】
図10は階調変換部711で被写体距離から距離マップへの変換の変換特性の例を示しており、横軸が被写体距離、縦軸が距離マップであり、合焦物体までの距離を5000[mm]とした例を示している。変換特性1001は被写体距離710をリニア階調変換しているのに対して、変換特性1002は被写体距離710に対して合焦領域近傍である5000[mm]付近の被写体距離に対して多くのビットが割りあたるようなノンリニアの階調変換を行なっている。出力先が特許文献4に示すような広い測距範囲が必要なアプリケーションであれば、1001のようなリニア階調変換で、どの被写体距離に対しても均等なビット割り当てを行なう。一方、出力先が特許文献3に示すような合焦近傍の距離分解能が必要なアプリケーションであれば、変換特性1002のようなノンリニア階調変換で、合焦近傍の被写体距離に対して多くのビット割り当てを行なうようにする。
【0038】
本実施の形態によれば、デフォーカス量に基づいて被写体距離を出力する際に、出力先に応じた階調特性を被写体距離に行うことが可能な画像処理装置および撮像装置を提供することができる。
【実施例3】
【0039】
以下、本発明の第3の実施例に係わる画像処理装置を適用した撮像装置であるデジタルカメラについて説明する。なお本実施例における撮像装置の一例としてのデジタルカメラの構成ならびに撮像素子は、第1の実施例で
図1、
図2を用いて説明した各構成と同様であるので、ここでの説明は必要のない限り省略する。第1の実施例と異なるのは、デフォーカスマップの出力先が複数ある形態である。
【0040】
図12は、本実施例に係わる画像処理装置を適用したデジタルカメラの画像処理部107における像生成処理、像ずれ量検出、デフォーカス量計算処理、階調変換を説明するための図である。
【0041】
同図において、1205は撮影光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像を加算して、撮影光学系の瞳の全域から到来する光束が生ずる単一の被写体像を生成する像生成部である。1206はA像入力、1207はB像入力、1208は像出力である。生成された像には、さらにホワイトバランス調整、色補間、縮小/拡大、フィルタリングなどの処理が施され、処理後の画像は記録画像として
図1の記録媒体108に記録される。1201は着目画素位置におけるデフォーカス量を計算するデフォーカス量計算部であり、1202はA像入力、1203はB像入力、1204はデフォーカス量出力である。デフォーカス量計算部1201はA像とB像の相関関数を計算するなどしてデフォーカス量を計算する。デフォーカス量の計算は第1の実施例で説明した処理と同様の処理である。1209、1211はデフォーカス量1204を出力する際、出力先に応じてデータ変換を行なう階調変換部であり、それぞれ異なる階調特性で変換を行なう。1210、1211は各々で階調変換されたデフォーカスマップ出力である。本実施例では、出力先とのインターフェースが8ビット(0から255)階調であり、2つの出力先に接続されているものとして
図5を用いて説明する。デフォーカスマップ出力1210の出力先が特許文献4に示すような広い測距範囲が必要なアプリケーションであれば、階調変換部1209は変換特性501のようなリニア階調変換で、どのデフォーカス量に対しても均等なビット割り当てを行なう。一方、1212の出力先が特許文献3に示すような合焦近傍の距離分解能が必要なアプリケーションであれば、階調変換部1211は変換特性502のようなノンリニア階調変換で、合焦近傍のデフォーカス量に対して多くのビット割り当てを行なうようにする。
【0042】
なお、本実施例では2つの出力部を例にしたが、出力部が2つ以上になっても同様の処理を行なう事が出来る。また、階調変換の特性も501、502に示しただけでなく、第1の実施例で示したように、出力先のアプリケーションに応じた階調特性にしても良い。また、第2の実施例に示した様に出力がデフォーカス量ではなく被写体距離であってもよい。さらに、一方がデフォーカス量、もう一方が被写体距離という形態でも良い。
【0043】
本実施例によれば、デフォーカス量や被写体距離を複数の出力先に出力する際に、出力先に応じた階調特性を行なうことが可能な画像処理装置および撮像装置を提供することができる。
【実施例4】
【0044】
以下、本発明の第4の実施例に係わる画像処理装置を適用した撮像装置であるデジタルカメラについて説明する。本実施例では、距離情報を画像処理アプリケーションに出力し、本アプリケーションが階調変換された距離情報に基づいて処理パラメータを生成し、撮影画像の背景領域を拡大した仮想視点画像を生成する処理を行う例を示す。
【0045】
以下、本発明の本実施例に係わる画像処理装置を適用した撮像装置であるデジタルカメラについて説明する。なお本実施例における撮像装置の一例としてのデジタルカメラの構成は、第1の実施例で
図1および
図2を用いて説明した各構成と同様であるので、ここでの説明は必要のない限り省略する。
【0046】
本実施例に係わる画像処理装置を適用した撮像装置であるデジタルカメラのシステム構成と処理について
図13、
図14を用いて説明する。
図13は、
図1の画像処理部107における像生成部1305、被写体距離計算処理部1301、階調変換部1309と、画像変形パラメータ算出部1311、画像変形部1313である。また1310は被写体距離情報であり、画像変形部1313では被写体の領域分割、変形パラメータ算出部1311では各被写体の倍率算出に用いる。また、1310の伝送路語長は8ビット(0〜255)とする。また、画像変形部1313は、領域分割部1321、領域別変形部1322、画像合成部1323で構成される。
【0047】
図14は本実施例に係わる画像処理装置を適用した撮像装置の処理構成を示す図であり、この図を用いて各処理を説明する。1401は撮影画像であり、この撮影画像から被写体距離情報1310を用いて合焦距離と同じ距離にある領域(以下、合焦被写体領域と呼ぶ)1411と複数の背景領域1421に分割した画像を生成する(領域分割部1321)。次に、被写体距離情報1310に基づいて各背景被写体に対する倍率を算出して背景拡大画像1431を生成し(領域別変形部1322)、最後に合焦被写体画像1411と合成することで画像1441を生成する(画像合成部1323)。
【0048】
ここで、画像の変形パラメータについて
図16を用いて説明する。
図16は説明を分かりやすくするために、合焦被写体と背景の2つの被写体を撮影した場合を例にとる。また、図中の記号が示す内容は、次の通りである。
y
1:合焦被写体の大きさ、y
2:背景の大きさ
f
w:撮影時の焦点距離
y
w1、y
w2:撮影時の像面上の大きさ
S
w1、S
w2:撮影時の被写体までの距離
f
T:仮想視点での焦点距離
y
T1、y
T2:仮想視点で撮影した時の像面上の大きさ
S
T1、S
T2:仮想視点での被写体距離
t
3:撮影時から仮想視点へのカメラ移動量
【0049】
合焦被写体の大きさを変化させずに背景を大きくした画像を生成する場合、撮影時の合焦被写体y
1の像面上の大きさy
w1に対して、仮想視点で撮影した合焦被写体y
1の像面上の大きさy
T1が同じとなる。このため、三角形の相似関係とレンズの公式から、背景の変倍率として下記式(10)が成立する。
【数4】
【0050】
ここで、背景の変倍率をN=y
T2/y
w2と定義し、背景の変倍率Nは撮影時の焦点距離f
w、被写体距離情報S
w1、S
w2、仮想視点の焦点距離f
Tにより算出される。この関係を
図15を用いて説明する。
図15(a)、(c)および(d)は、横軸を背景の被写体距離、縦軸を背景の変倍率を示したものである。また、
図15(b)は、
図14の1401と1501の対応関係を示した図である。
図15(a)の変倍曲線1501は、横軸を背景の被写体距離、縦軸を背景の変倍率としてグラフ化すると、一定以上距離が離れると背景の変倍率は値が収束する特性があると言える。そのため、所定の距離より遠くにある背景を同一の変倍率で変倍して処理することが可能であることがわかる。また、一定以上距離が離れている背景を同一の変倍率とする所定の距離を、上限距離S
mと定義すると、S
mは撮影時の焦点距離、仮想焦点距離、被写体距離に応じて変化するため、上限距離を一意に決定することができない。そのため、変倍率の変化量を用いて上限距離を決定することができる。具体的には
図15(c)を用いて説明する。変倍曲線1510は変倍曲線1501と同じであり、S
w2の一定距離ΔS
w2に対する変倍率Nの変化量を算出し、変化量が所定の値よりも小さくなる距離を探し、そこを上限距離S
mとすることを示している。変化量1512は所定の値よりも大きいのに対し、変化量1513は所定の値よりも小さいため、変化量1513の距離を上限距離S
mとして判定する。ここでの所定の値は、変倍率の変化量の差が視覚的に目立つ値を予め設定している。
【0051】
被写体距離情報1310を変形パラメータ算出部1311に渡す際の階調変換について
図15(a)および(d)を用いて説明する。同図(d)は、横軸を被写体距離、縦軸を距離マップとした図であり、変倍曲線1531は、撮像装置の至近側にある被写体に対しては被写体距離に対する変倍率の変化量が大きいため距離分解能が大きくなるような階調変換を示す。一方、撮像装置から遠ざかる位置では被写体距離に対する変倍率の変化量が小さくなるため、距離分解能が徐々に小さくなる階調変換を行っている。そして、上限距離S
mを超える被写体距離に対しては、距離マップ値を最大値として出力するようになっている。
【0052】
本実施例によっても、距離情報を用いる処理に最適な階調特性で距離情報を出力することが可能な画像処理装置および撮像装置を提供することができる。
また、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、CD−ROM、CD−R、磁気テープ、不揮発性のメモリーカード、ROMなどを用いることもできる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。
上述した実施例は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。