特許第6052057号(P6052057)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特許6052057信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6052057
(24)【登録日】2016年12月9日
(45)【発行日】2016年12月27日
(54)【発明の名称】信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器
(51)【国際特許分類】
   G02B 7/34 20060101AFI20161219BHJP
   G03B 13/36 20060101ALI20161219BHJP
   H04N 5/369 20110101ALI20161219BHJP
   H04N 5/232 20060101ALI20161219BHJP
【FI】
   G02B7/34
   G03B13/36
   H04N5/335 690
   H04N5/232 H
【請求項の数】19
【全頁数】30
(21)【出願番号】特願2013-107677(P2013-107677)
(22)【出願日】2013年5月22日
(65)【公開番号】特開2014-228671(P2014-228671A)
(43)【公開日】2014年12月8日
【審査請求日】2015年12月16日
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(72)【発明者】
【氏名】佐野 乾一
(72)【発明者】
【氏名】舘 真透
【審査官】 森内 正明
(56)【参考文献】
【文献】 特開2012−173334(JP,A)
【文献】 特開2009−244854(JP,A)
【文献】 特開2009−217252(JP,A)
【文献】 特開2011−232544(JP,A)
【文献】 特開2009−244862(JP,A)
【文献】 特開2013−214048(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 7/28 − 7/40
G03B 3/00 − 3/12
G03B 13/30 − 13/36
H04N 5/222 − 5/257
H04N 5/30 − 5/335
(57)【特許請求の範囲】
【請求項1】
受光領域の一部が遮光されている遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、
取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部と
を備え、
前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する
信号処理装置。
【請求項2】
前記信頼度判定部は、前記ダイナミックレンジが所定の閾値よりも大であり、かつ、前記周辺画素列の画素値が単調増加または単調減少の傾向を有していると判定された場合に、前記遮光画素が位相差の検出を行うのに適した画素であると判定する
請求項に記載の信号処理装置。
【請求項3】
前記信頼度判定部は、
算出された前記遮光画素の位相差を、近傍の他の遮光画素の位相差と比較することにより、前記位相差検出部により検出された位相差が信頼できる値であるかを判定する検出位相差判定部を有する
請求項またはに記載の信号処理装置。
【請求項4】
前記検出位相差判定部は、画素内の遮光領域の配置が、位相差を算出した前記遮光画素と前記他の遮光画素で同じ場合、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の符号が同じで、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の差分絶対値が所定の閾値より小である場合に、前記位相差検出部により検出された位相差が信頼できる値であると判定する
請求項に記載の信号処理装置。
【請求項5】
前記検出位相差判定部は、画素内の遮光領域の配置が、位相差を算出した前記遮光画素と前記他の遮光画素で異なる場合、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の符号が異なり、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の差分絶対値が所定の閾値より小である場合に、前記位相差検出部により検出された位相差が信頼できる値であると判定する
請求項に記載の信号処理装置。
【請求項6】
前記位相差検出部は、取得した前記遮光画素の画素値を、遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
請求項1乃至のいずれかに記載の信号処理装置。
【請求項7】
前記位相差検出部は、取得した前記遮光画素の画素値を、補正テーブルを参照して決定された遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
請求項に記載の信号処理装置。
【請求項8】
前記位相差検出部は、取得した前記遮光画素の画素値を、周辺の他の遮光画素から算出した遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
請求項に記載の信号処理装置。
【請求項9】
前記位相差検出部は、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値に対応する前記周辺画素列の画素値波形上の位置を求めることで、前記遮光画素の位相差を算出する
請求項1乃至のいずれかに記載の信号処理装置。
【請求項10】
前記位相差検出部は、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値との差分が小さい前記周辺画素列の2つの画素値を用いて、前記遮光画素の位相差を算出する
請求項に記載の信号処理装置。
【請求項11】
前記位相差検出部は、前記補正後の画素値と、前記周辺画素列の2つの画素値それぞれとの画素差分の比に基づいて、前記遮光画素の位相差を算出する
請求項10に記載の信号処理装置。
【請求項12】
前記位相差検出部は、前記周辺画素列の画素が遮光画素である場合には、その遮光画素の画素値として、その周辺の通常画素の画素値で補間した値を用いる
請求項乃至11のいずれかに記載の信号処理装置。
【請求項13】
複数の前記遮光画素が配置されている撮像領域を、所定数の領域に分割する領域分割部と、
検出された前記位相差に基づいて、分割された前記領域ごとの位相差を決定する領域位相差決定部と
をさらに備える
請求項1乃至12のいずれかに記載の信号処理装置。
【請求項14】
前記領域分割部は、画像のテクスチャ情報を用いて、前記撮像領域を、所定数の領域に分割する
請求項13に記載の信号処理装置。
【請求項15】
前記領域分割部は、同一の奥行きと認識される領域単位に、前記撮像領域を、所定数の領域に分割する
請求項13または14に記載の信号処理装置。
【請求項16】
前記領域位相差決定部は、検出された前記位相差に対して統計処理を用いて、分割された前記領域ごとの位相差を決定する
請求項13乃至15のいずれかに記載の信号処理装置。
【請求項17】
遮光画素を有する撮像部からの信号を処理する信号処理装置が、
受光領域の一部が遮光されている遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、
取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定し、
前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する
信号処理方法。
【請求項18】
受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを有し、複数の前記遮光画素それぞれの前記遮光領域の位置が同一である画素アレイ部と、
前記遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、
取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部と
を備え、
前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する
固体撮像装置。
【請求項19】
受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを有し、複数の前記遮光画素それぞれの前記遮光領域の位置が同一である画素アレイ部と、
前記遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、
取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部と
を備え、
前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する
固体撮像装置
を備える電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器に関し、特に、位相差を検出するための遮光画素の配置の自由度を向上させることができるようにする信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器に関する。
【背景技術】
【0002】
近年、複数の画素が行列状に配置されている画素領域内に、映像出力用の通常画素に加えて、焦点検出用の位相差画素を配置した固体撮像装置が提案されている(例えば、特許文献1,2参照)。
【0003】
位相差画素としては、従来、画素内の受光領域の一部(例えば、右側)が遮光された片側遮光画素と、遮光領域を片側遮光画素とは反対の位置(例えば、左側)にした反対側遮光画素の画素対を規則的に配列させたものが一般的である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−33975号公報
【特許文献2】特開2012−23562号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、遮光画素を設けると画質の劣化を招くおそれがあるため、画質劣化の低減と高精度な位相差検出を両立する上で、遮光画素の配置には大きな制約があり、遮光画素を自由に配置することができなかった。
【0006】
本技術は、このような状況に鑑みてなされたものであり、位相差を検出するための遮光画素の配置の自由度を向上させることができるようにするものである。
【課題を解決するための手段】
【0007】
本技術の第1の側面の信号処理装置は、受光領域の一部が遮光されている遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部とを備え、前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する
【0008】
本技術の第1の側面の信号処理方法は、遮光画素を有する撮像部からの信号を処理する信号処理装置が、受光領域の一部が遮光されている遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する。
【0009】
本技術の第1の側面においては、受光領域の一部が遮光されている遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値が取得され、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかが判定され、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値が、前記周辺画素列の画素値と比較されることにより、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差が検出される。
【0010】
本技術の第2の側面の固体撮像装置は、受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを有し、複数の前記遮光画素それぞれの前記遮光領域の位置が同一である画素アレイ部と、前記遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部とを備え、前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する
【0011】
本技術の第3の側面の電子機器は、受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを有し、複数の前記遮光画素それぞれの前記遮光領域の位置が同一である画素アレイ部と、前記遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部とを備え、前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する固体撮像装置を備える。
【0012】
本技術の第2および第3の側面においては、受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを備える画素アレイ部が設けられ、前記画素アレイ部内に配置されている複数の前記遮光画素それぞれの前記遮光領域の位置が同一とされる。前記遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値が取得され、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかが判定され、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値が、前記周辺画素列の画素値と比較されることにより、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差が検出される。
【0013】
信号処理装置および固体撮像装置は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
【発明の効果】
【0014】
本技術の第1の側面によれば、位相差を検出するための遮光画素の配置の自由度を向上させることができる。
【0015】
本技術の第2及び第3の側面によれば、位相差を検出するための遮光画素の配置の自由度を向上させた装置を提供することができる。
【図面の簡単な説明】
【0016】
図1】本技術が適用された固体撮像装置の概略構成を示すブロック図である。
図2】遮光画素を説明する図である。
図3】従来の位相差検出方法について説明する図である。
図4】本実施の形態の遮光画素の配置例を示す図である。
図5】信号処理回路の機能構成ブロック図である。
図6】周辺画素列の画素値の例を示す図である。
図7】周辺画素列の画素値の例を示す図である。
図8】位相差検出処理について説明する図である。
図9】領域分割部の処理を説明する図である。
図10】ヒストグラム作成部の処理を説明する図である。
図11】位相差検出処理を説明するフローチャートである。
図12】その他の遮光画素の配置例を示す図である。
図13】その他の遮光画素の配置例を示す図である。
図14】その他の遮光画素の配置例を示す図である。
図15】その他の遮光画素の配置例を示す図である。
図16】その他の遮光画素の配置例を示す図である。
図17】その他の遮光画素の配置例を示す図である。
図18】その他の遮光画素の配置例を示す図である。
図19】その他の遮光画素の配置例を示す図である。
図20】その他の遮光画素の配置例を示す図である。
図21】その他の遮光画素の配置例を示す図である。
図22】固体撮像装置の基板構成について説明する図である。
図23】信号処理回路が独立した形態を示すブロック図である。
図24】本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0017】
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.信号処理回路を含む固体撮像装置の概略構成例
2.信号処理回路の詳細構成例
3.信号処理回路の位相差検出処理フロー
4.遮光画素のその他の配置例
5.固体撮像装置の基板構成例
6.電子機器への適用例
【0018】
<1.固体撮像装置の概略構成例>
図1は、本技術が適用された固体撮像装置の概略構成を示すブロック図である。
【0019】
図1の固体撮像装置1は、画素アレイ部11、AD変換部12、水平転送部13、信号処理回路14、タイミング制御部15、および画素駆動部16を含んで構成される。画素アレイ部11、AD変換部12、水平転送部13、タイミング制御部15、および画素駆動部16は、撮像部17を構成する。
【0020】
画素アレイ部11は、光電変換部となるフォトダイオードと、複数の画素トランジスタ(いわゆるMOSトランジスタ)を有する画素を、2次元アレイ状に(行方向および列方向に)複数配置して構成されている。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの3つのトランジスタで構成することができる。画素は、その他、選択トランジスタを追加した4つのトランジスタで構成することもできる。
【0021】
画素アレイ部11には、映像出力用の画素(以下、通常画素ともいう。)に加えて、焦点検出用の画素である遮光画素が、所定の配列で配置されている。遮光画素の配置例については後述する。
【0022】
AD変換部12は、画素アレイ部11の画素列ごとに配置された複数のADC(Analog-Digital Converter)を有し、1行分の画素から出力されるアナログの画素信号に対して、画素列ごとに、CDS(Correlated Double Sampling;相関2重サンプリング)処理し、さらにAD変換処理する。AD変換処理後のデジタルの画素信号は、水平転送部13に出力される。
【0023】
水平転送部13は、水平走査回路などで構成され、AD変換部12内の各ADCに記憶されているデジタルの画素信号を、順次、所定のタイミングで信号処理回路14に出力する。
【0024】
信号処理回路14は、水平転送部13から供給される画素信号に対して、所定のデジタル信号処理を行う。
【0025】
具体的には、信号処理回路14は、水平転送部13から供給される遮光画素の画素信号に基づいて、画素アレイ部11の画素領域を複数の領域に分割し、分割された領域ごとに位相差を検出する位相差検出処理を実行する。また、信号処理回路14は、遮光画素の映像出力用の画素値を、遮光画素の近傍の通常画素の画素値から生成する画素補間処理なども実行する。
【0026】
なお、信号処理回路14には、上述した位相差検出処理および画素補間処理以外のデジタル信号処理、例えば、黒レベル調整処理や列ばらつき補正処理なども実行させるようにこともできる。
【0027】
タイミング制御部15は、垂直同期信号、水平同期信号などの各種のタイミング信号を生成するタイミングジェネレータなどによって構成される。タイミング制御部15は、タイミングジェネレータで生成された各種のタイミング信号を、AD変換部12、水平転送部13、信号処理回路14、及び画素駆動部16に供給し、各部の動作タイミングを制御する。
【0028】
画素駆動部16は、例えばシフトレジスタによって構成され、画素アレイ部11の各画素を行単位で、順次、垂直方向に選択走査し、各画素の光電変換部において受光量に応じて生成された信号電荷に基づく画素信号を、AD変換部12に出力させる。
【0029】
以上のように構成される固体撮像装置1は、例えば、CDS処理とAD変換処理を行うADCが画素列ごとに配置されたカラムAD方式のCMOSイメージセンサとして構成される。
【0030】
<遮光画素の例>
次に、図2を参照して、焦点検出用の画素である遮光画素について説明する。
【0031】
従来、焦点検出用の画素を画素アレイ部内に配置する場合には、画素内の受光領域の一部が遮光された片側遮光画素と、遮光領域の位置を片側遮光画素とは反対にした反対側遮光画素を対にして画素アレイ部内に配置していた。
【0032】
図2A乃至図2Cは、片側遮光画素と反対側遮光画素の例を示している。
【0033】
図2Aは、右側に遮光領域を有する片側遮光画素と、左側に遮光領域を有する反対側遮光画素の例を示している。このような遮光画素の遮光方向を、左右方向(水平方向)であるという。
【0034】
図2Bは、下側に遮光領域を有する片側遮光画素と、上側に遮光領域を有する反対側遮光画素の例を示している。このような遮光画素の遮光方向を、上下方向(垂直方向)であるという。
【0035】
図2Cは、左斜め下側に遮光領域を有する片側遮光画素と、右斜め上側に遮光領域を有する反対側遮光画素の例を示している。このような遮光画素の遮光方向を、斜め方向(右上斜め方向)であるという。
【0036】
なお、遮光領域の異なるどちらの遮光画素を、片側遮光画素または反対側遮光画素とするかは便宜的なものである。したがって、画素対のどちらを片側遮光画素または反対側遮光画素と呼んでもよい。
【0037】
<従来の位相差検出方法>
図3を参照して、遮光画素を用いた従来の位相差検出方法について説明する。
【0038】
図3は、図2Aに示した右側に遮光領域を有する片側遮光画素と、左側に遮光領域を有する反対側遮光画素の対が遮光方向に規則的に配列されている場合の、各画素の画素位置と画素値の関係を示している。なお、図3では、通常画素の画素値のプロットは省略されている。
【0039】
図3に示されるように、片側遮光画素と反対側遮光画素の画素信号には、遮光位置の相違により、位相差(像のずれ)が発生する。この片側遮光画素と反対側遮光画素の画素対の画素信号の位相差phase_difを相関演算により求めることで、デフォーカス量を算出することができるため、撮影レンズを調整(移動)することで、オートフォーカスを達成することができる。
【0040】
したがって、従来の方法で位相差を検出する場合には、画素アレイ部に、片側遮光画素と反対側遮光画素の画素対が配列されている必要があった。
【0041】
<本実施の形態の遮光画素の配置例>
図4は、固体撮像装置1の画素アレイ部11の遮光画素の配置を示している。
【0042】
画素アレイ部11では、片側遮光画素と反対側遮光画素のうちの一方、図4の例では、右側に遮光領域を有する片側遮光画素のみが、所定の規則で配置されている。より具体的には、遮光方向には疎になり、遮光方向ではない方向の近傍には他の片側遮光画素が配置されるように、片側遮光画素が配置されている。
【0043】
後述するように、信号処理回路14が行う位相差検出方法(以下、本手法ともいう。)では、1個の片側遮光画素のみで位相差を検出することができる。したがって、画素アレイ部11では、従来のように、遮光画素を、片側遮光画素と反対側遮光画素の対で配置する必要がなく、図4に示されるように、全ての遮光画素の遮光領域の位置を同一とすることができる。
【0044】
なお、詳細は後述するが、本手法が適用可能な遮光画素の配置は、図4に示した配置に限定されず、これ以外の配置例を採用することも勿論可能である。
【0045】
<2.信号処理回路の詳細構成例>
次に、信号処理回路14が行う位相差検出方法の詳細について説明する。
【0046】
<信号処理回路のブロック図>
図5は、信号処理回路14の位相差検出処理部分の機能構成例を示すブロック図である。
【0047】
信号処理回路14は、メモリ部31、信頼度判定部32、位相差検出部33、および領域単位位相差決定部34により構成される。
【0048】
メモリ部31は、水平転送部13(図1)から供給される各画素の画素信号(画素値)を記憶する。メモリ部31は、画素アレイ部11の全画素数分の記憶容量を有するものでもよいし、位相差検出処理に必要な画素アレイ部11の複数行分の記憶容量を有するものでもよい。
【0049】
また、メモリ部31は、信頼度判定部32及び位相差検出部33で判定、検出された遮光画素の位相差も記憶する。
【0050】
メモリ部31に記憶された各画素の画素値および位相差は、必要に応じて、信頼度判定部32、領域単位位相差決定部34によって読み出される。
【0051】
信頼度判定部32及び位相差検出部33では、メモリ部31に記憶されている画素値に対応する画素アレイ部11の各画素が、順次、注目画素に設定される。そして、遮光画素が注目画素に設定された場合に、信頼度判定部32は、位相差検出のための信頼度の判定を行う。換言すれば、信頼度判定部32は、注目画素に設定された遮光画素が位相差の検出を行うのに適した画素であるか否かの判定を行う。
【0052】
信頼度判定部32は、ダイナミックレンジ判定部41、単調増減判定部42、および正負絶対値判定部43により構成される。
【0053】
ダイナミックレンジ判定部41は、注目画素に設定された遮光画素の遮光方向に沿った注目画素周辺の複数の通常画素を周辺画素列に設定し、周辺画素列を構成する各画素の画素値をメモリ部31から取得する。
【0054】
そして、ダイナミックレンジ判定部41は、周辺画素列の画素値の最大値と最小値を探索して、最大値と最小値の差分で計算されるダイナミックレンジDRを算出し、算出したダイナミックレンジDRが、予め設定した閾値DR_THよりも大であるか否かを判定する。
【0055】
単調増減判定部42は、周辺画素列における隣接画素どうしの画素値の差分値(微分値)PIX_DIFを算出し、その算出結果に基づいて、周辺画素列の画素値が単調増加または単調減少の傾向を有しているか否かを判定する。具体的には、単調増減判定部42は、周辺画素列に対して算出した全ての画素差分値PIX_DIFが、単調増加の閾値UP_THより大(PIX_DIF>UP_TH)、または、単調減少の閾値LO_THより小(PIX_DIF<LO_TH)であるかを判定する。
【0056】
以上のようにして、ダイナミックレンジ判定部41および単調増減判定部42は、注目画素が、明りょうな位相差が発現しており、ノイズやテクスチャによる誤った位相差の検出の可能性が小さい遮光画素であるか否かを判定している。
【0057】
図6は、算出されたダイナミックレンジDRが閾値DR_THよりも大であり、かつ、周辺画素列の画素値が単調増加または単調減少の傾向を有している場合の例を示している。図6および図7において、斜線を付した三角は、周辺画素列の各画素を示しており、黒色の四角は、注目画素(遮光画素)を示している。
【0058】
図6に示されるように、算出されたダイナミックレンジDRが閾値DR_THよりも大であり、かつ、周辺画素列の画素値が単調増加または単調減少の傾向を有している場合、注目画素は、位相差の検出に適した画素であると判定される。
【0059】
一方、図7は、算出されたダイナミックレンジDRが閾値DR_TH以下であり、かつ、周辺画素列の画素値が単調増加および単調減少のいずれの傾向でもない場合の例を示している。
【0060】
図7に示されるように、算出されたダイナミックレンジDRが閾値DR_TH以下であり、かつ、周辺画素列の画素値が単調増加および単調減少のいずれの傾向でもない場合、注目画素は、位相差の検出に適した画素ではないと判定される。
【0061】
ダイナミックレンジ判定部41および単調増減判定部42により、注目画素が、位相差の検出に適した画素であると判定された場合、信頼度判定部32から位相差検出部33に位相差検出の指令が供給される。
【0062】
位相差検出部33は、単調増減判定部42から、注目画素の位相差の検出が指令された場合、注目画素の位相差を検出(算出)する。
【0063】
まず、位相差検出部33は、注目画素とされた遮光画素の遮光率に応じて、注目画素の画素値をゲイン倍するゲイン倍補正を行うことにより、遮光画素の遮光率に応じた注目画素の感度低下を補正する。
【0064】
例えば、無地の被写体を撮影したときの遮光画素とその近傍の通常画素の画素値とを用いて、遮光率=(遮光画素の画素値)/(近傍の通常画素の画素値)を計算することにより、画素アレイ部11内の各遮光画素の遮光率が予め計算され、補正テーブルとして、位相差検出部33内に記憶されている。位相差検出部33は、補正テーブルを参照して注目画素の遮光率を決定し、ゲイン倍補正後の遮光画素の画素値=(遮光画素の画素値)/(遮光率)を計算することにより、ゲイン倍補正後の注目画素の画素値を算出する。
【0065】
あるいはまた、次のようにして、補正テーブルを用いずに、遮光画素の遮光率に応じたゲイン倍補正を行ってもよい。すなわち、位相差検出部33は、メモリ部31に記憶されている画像のなかから、注目画素の周辺の平坦部(輝度変化の少ない領域)にある遮光画素を探索し、探索された遮光画素について、補正テーブル作成時と同様に遮光率を計算する。そして、位相差検出部33は、計算された周辺平坦部の遮光率を、注目画素の遮光率とみなして、ゲイン倍補正後の遮光画素の画素値=(遮光画素の画素値)/(遮光率)を計算することにより、ゲイン倍補正後の注目画素の画素値を算出する。
【0066】
なお、位相差検出部33は、ゲイン倍補正の計算を、補正テーブルの遮光率を用いて行う場合と、補正テーブルを用いずに周辺平坦部の遮光画素の遮光率を用いて行う場合とを、モード等により切り替えて選択的に実行することもできる。
【0067】
次に、位相差検出部33は、ゲイン倍補正された注目画素の画素値であるゲイン倍補正値と、それとの差分が小さい遮光方向周辺の複数の通常画素の画素値とを用いて、注目画素の位相差を算出する。
【0068】
図8を参照して、位相差検出部33による位相差検出処理について説明する。
【0069】
図8は、右側に遮光領域を有する片側遮光画素である注目画素と、注目画素に対して遮光方向周辺の複数の通常画素の、画素位置と画素値をプロットした図である。
【0070】
図8の例では、注目画素の遮光方向(水平方向)の画素位置がx_shieldであり、撮像部17から出力されてきた注目画素の画素値がP1である。そして、注目画素の画素値P1がゲイン倍補正された後の値が、ゲイン倍補正値v_shieldとなっている。
【0071】
位相差検出部33は、注目画素のゲイン倍補正値v_shieldと、それとの差分が小さい遮光方向周辺の複数の通常画素を探索する。
【0072】
例えば、ゲイン倍補正値v_shieldとの差分が小さい遮光方向周辺の2個の通常画素を探索することとして、ゲイン倍補正値v_shieldと最も差分が小さい画素値v_norm_fを有する画素位置x_norm_fの画素と、次に差分が小さい画素値v_norm_sを有する画素位置x_norm_sの画素が探索される。
【0073】
そして、位相差検出部33は、探索された複数の通常画素の画素値を用いて、通常画素の画素値波形上の注目画素の画素位置xを推定する。探索した個数が2個である場合には、注目画素の画素位置xから画素位置x_norm_fまでの距離と、画素位置xから画素位置x_norm_sまでの距離の比が、ゲイン倍補正値v_shieldと画素値v_norm_fの画素差分と、ゲイン倍補正値v_shieldと画素値v_norm_sの画素差分の比に等しいという以下の関係から、注目画素の通常画素値波形上の画素位置xを求めることができる。
(v_shield - v_norm_f) : (v_norm_s - v_shield) = (x - x_norm_f) : (x_norm_s - x)
【0074】
注目画素の通常画素値波形上の位置xが得られると、その通常画素値波形上の位置xと、注目画素の画素位置x_shieldとの距離(x-x_shield)を求めることができる。この距離(x-x_shield)は、図8に示されるように、いま求めたい位相差phase_difの半分phase_dif_halfに相当する。
【0075】
仮に、注目画素が、左側に遮光領域を有する反対側遮光画素であった場合には、反対側遮光画素の画素値をゲイン倍補正した値は、図8の通常画素の画素信号に対して、距離phase_dif_halfだけ右側に移動した破線上の位置となる。したがって、通常画素値波形上の位置xと、注目画素の画素位置x_shieldとの距離(x-x_shield)を2倍した値が、いま求めたい位相差phase_difとなり、phase_dif=(x-x_shield)×2の関係が成り立つので、phase_dif=(x-x_shield)×2を計算することで、注目画素の位相差phase_difを求めることができる。なお、遮光画素の画素信号はゲイン倍しているものの位相は変化しないため、図3のphase_difと図8のphase_difは等しい。
【0076】
以上のように、位相差検出部33は、注目画素のゲイン倍補正値v_shieldと、それとの差分が小さい遮光方向の2画素の画素位置x_norm_f及びx_norm_sと、画素値v_norm_f及びv_norm_sとを用いて、注目画素の位相差phase_difを算出することができる。
【0077】
なお、上述した例では、簡便な計算例として、ゲイン倍補正値v_shieldに対応する通常画素値波形上の位置xを、ゲイン倍補正値v_shieldとの差分が小さい2個の通常画素の画素値を用いて、2点間距離の比で算出する例について説明した。
【0078】
このような方法以外に、例えば、ゲイン倍補正値v_shieldとの差分が小さい3画素以上の通常画素の画素値を用いて、最小二乗法により、通常画素値波形を近似直線として算出し、算出された近似直線を用いて、通常画素値波形上の位置xを求めてもよい。
【0079】
また例えば、ゲイン倍補正値v_shieldとの差分が小さい3画素以上の通常画素の画素値を用いて、通常画素値波形を、近似曲線(関数フィッティング)により算出し、算出された近似曲線を用いて、通常画素値波形上の位置xを求めてもよい。
【0080】
近似直線や近似曲線を用いることにより、よりロバストに、通常画素値波形上の位置xを求めることができる。
【0081】
位相差検出部33は、以上のように、注目画素である遮光画素の画素値をゲイン倍補正した画素値を、周辺画素列の画素値と比較することにより、注目画素の位相差を検出する。そして、位相差検出部33は、検出した注目画素の位相差を、信頼度判定部32の正負絶対値判定部43に供給する。
【0082】
図5の説明に戻り、正負絶対値判定部43は、位相差検出部33において注目画素の位相差が検出された場合にのみ動作する。
【0083】
正負絶対値判定部43は、位相差検出部33で検出された注目画素の位相差を、注目画素の近傍にある他の遮光画素(以下、近傍遮光画素という。)の位相差と比較することにより、検出された注目画素の位相差が信頼できる値であるか否かを判定する。
【0084】
検出された注目画素の位相差が信頼できる値である場合には、注目画素の位相差と、近傍遮光画素の位相差の絶対値は近い値となる。換言すれば、注目画素の位相差と近傍遮光画素の位相差の差分絶対値は所定の閾値NEAR_THより小さい値となる。また、本実施の形態では、注目画素と近傍遮光画素は、いずれも片側遮光画素であり、画素内の遮光領域の位置が同じであるので、注目画素の位相差と近傍遮光画素の位相差の符号は一致する。換言すれば、注目画素の位相差と近傍遮光画素の位相差の乗算結果は正の値(>0)となる。
【0085】
そこで、正負絶対値判定部43は、注目画素の位相差と近傍遮光画素の位相差の乗算結果が正の値(>0)となり、かつ、注目画素の位相差と近傍遮光画素の位相差の差分絶対値が所定の閾値NEAR_THより小さい値であるかを判定することにより、検出された注目画素の位相差が信頼できる値であるか否かを判定する。
【0086】
なお、仮に、注目画素が片側遮光画素で、近傍遮光画素が反対側遮光画素である場合のように、注目画素と近傍遮光画素の画素内の遮光領域の位置が反対である場合には、注目画素と近傍遮光画素の位相差の絶対値は近い値となるが、位相差の符号は一致しない。したがって、この場合には、正負絶対値判定部43は、注目画素の位相差と近傍遮光画素の位相差の乗算結果が負の値(<0)となり、かつ、注目画素の位相差と近傍遮光画素の位相差の差分絶対値が所定の閾値NEAR_THより小さい値であるかを判定することにより、検出された注目画素の位相差が信頼できる値であるか否かを判定することになる。
【0087】
画素アレイ部11では、図4を参照して説明したように、遮光方向には疎になり、遮光方向ではない方向に、他の片側遮光画素が近接して配置されている。したがって、正負絶対値判定部43による正負絶対値判定処理では、遮光方向ではない方向の近傍に配置されている他の片側遮光画素が、近傍遮光画素として選択される。
【0088】
なお、位相差検出部33で位相差の検出処理が行われる前に、ダイナミックレンジ判定部41および単調増減判定部42により、注目画素が位相差の検出に適した画素であるか否かが判定されている。したがって、位相差検出後の正負絶対値判定部43による正負絶対値判定処理は、省略してもよい。
【0089】
正負絶対値判定部43は、検出された注目画素の位相差が信頼できる値であると判定された場合に、検出された注目画素の位相差を、メモリ部31に記憶させる。
【0090】
領域単位位相差決定部34は、画素アレイ部11の画素領域を複数の領域に分割し、メモリ部31に記憶されている各遮光画素の位相差に基づいて、位相差を領域ごとに決定する。
【0091】
領域単位位相差決定部34は、領域分割部51、ヒストグラム作成部52、および、領域位相差決定部53により構成される。
【0092】
領域分割部51は、画素アレイ部11の画素領域を複数の領域に分割する。
【0093】
例えば、領域分割部51は、最も単純な方法として、画素アレイ部11の画素領域を、n×m(n,m>1)の分割数で矩形の領域に分割する。多くの場合、このような分割方法で問題はないが、分割数が少ない場合には、一つの領域内に複数の奥行きが存在する可能性がある。
【0094】
そこで、領域分割部51は、撮像された画像のテクスチャ情報を用いて、同一の奥行きの可能性が高い領域を抽出して、同一の奥行きと認識される領域については一つの領域として扱うようにすることができる。
【0095】
同一の奥行き領域を抽出することは、画像中の被写体を認識して区別することとほぼ同義であるため、正確に行うことは難しいが、補助的な情報として利用することはできる。同一の奥行きの領域は色が似ており、異なる奥行きの領域の境界はエッジになっているという前提の下で、領域分割部51が、画像のテクスチャ情報として、画像の色情報やエッジ情報を用いて、同一の奥行き領域を抽出する例について説明する。
【0096】
まず、領域分割部51は、撮像された画像に対して、画素値の微分値が大きい箇所を検出することにより、エッジの抽出を行う。そして、領域分割部51は、抽出されたエッジで囲まれた領域内の色が似ているか、すなわち、RGB値の割合が近いか否かを判定する。色が似ていると判定された領域は、同一の奥行きの領域であると判定される。
【0097】
また、顔認識技術などを用いて個別に認識された領域も、同一の奥行きの領域として扱うことができる。
【0098】
図9Aは、撮像された画像をn×mの分割数で矩形の領域に分割した例を示している。
【0099】
図9Bは、所定の分割数で矩形の領域に分割した後、同一の奥行きの領域についてさらに分割した例を示している。
【0100】
なお、n×mによる分割数が所定数以上である場合には、同一の奥行き領域抽出による領域分割は省略してもよい。また、矩形領域によるn×mの分割を行わずに、同一の奥行き領域抽出による領域分割のみを行ってもよい。
【0101】
しかし、矩形領域による領域分割と、同一奥行き領域抽出による領域分割とを組み合わせることにより、矩形領域による分割数を少なめにして、効率的かつ効果的に、領域を分割することができる。
【0102】
位相差検出の従来の手法では、片側遮光画素と反対側遮光画素の対で位相差画素が配置されている必要があるため、分割可能な領域の大きさや形状には制約があった。しかし、信号処理回路14による位相差検出方法は、一つの片側遮光画素のみで位相差を検出することができるため、分割可能な領域の大きさや形状には制約がない。そのため、図9Bに示されるように、画像のテクスチャ情報を用いて、様々な大きさや形状に分割された領域であっても、領域ごとの位相差を検出することができる。
【0103】
図5の説明に戻り、ヒストグラム作成部52は、メモリ部31に記憶されている遮光画素の位相差を取得し、領域分割部51によって分割された領域ごとに、検出された位相差のヒストグラムを作成する。
【0104】
領域位相差決定部53は、ヒストグラム作成部52によって作成された領域ごとの位相差のヒストグラムを用いて、領域ごとに位相差を決定する。例えば、領域位相差決定部53は、95%信頼区間(平均値±2×標準偏差)に含まれる位相差のみを採用することとして、それ以外の位相差を外れ値として除外する。そして、領域位相差決定部53は、除外後の領域内の位相差を用いて平均値を算出し、その算出結果を、その領域の位相差として決定する。
【0105】
図10は、ヒストグラム作成部52によって作成された位相差のヒストグラムのうち、矩形で囲まれた位相差のみが平均値の計算対象として採用され、領域内の位相差の平均値が計算される例を示している。
【0106】
領域位相差決定部53は、領域を識別する領域情報と、その領域の位相差を、後段の処理ブロックに出力する。
【0107】
後段の処理ブロックには、例えば、検出された位相差に基づいてデフォーカス量を算出し、撮像光学系を駆動制御する制御部が設けられる。制御部は、例えば、領域位相差決定部53から供給された領域ごとの位相差のうち、顔認識処理により識別された顔検出領域に対応する領域の位相差を選択して、デフォーカス量を算出し、撮像光学系を駆動制御する。あるいは、制御部は、領域位相差決定部53から供給された領域ごとの位相差のうち、ユーザによって操作指示された領域の位相差を選択して、デフォーカス量を算出し、撮像光学系を駆動制御する。
【0108】
<3.位相差検出処理の処理フロー>
次に、図11のフローチャートを参照して、信号処理回路14による位相差検出処理について説明する。この処理は、例えば、メモリ部31内に、撮像部17で撮像された画像の画素値が一定量以上蓄積されたときに開始される。
【0109】
初めに、ステップS1において、信頼度判定部32は、メモリ部31に記憶されている画素値に対応する所定の画素を注目画素に設定する。例えば、信頼度判定部32は、メモリ部31に記憶されている一フレーム分の画素値のうち、ラスタスキャン順で読み出す場合の先頭の画素値に対応する画素を注目画素に設定する。
【0110】
ステップS2において、信頼度判定部32は、設定した注目画素が位相差画素であるか否かを判定する。なお、信号処理回路14には、画素アレイ部11の画素領域のどの画素が遮光画素であるかが予め登録されている。
【0111】
ステップS2で、注目画素が位相差画素ではないと判定された場合、処理は後述するステップS13に進む。
【0112】
一方、ステップS2で、注目画素が位相差画素であると判定された場合、処理はステップS3に進む。ステップS3において、信頼度判定部32のダイナミックレンジ判定部41は、注目画素に設定された遮光画素の遮光方向に沿った注目画素周辺の複数の通常画素を周辺画素列に設定する。そして、ダイナミックレンジ判定部41は、周辺画素列を構成する各画素の画素値をメモリ部31から取得する。
【0113】
ステップS4において、ダイナミックレンジ判定部41は、周辺画素列の画素値の最大値と最小値を探索し、最大値と最小値の差分で計算されるダイナミックレンジDRを算出する。
【0114】
そして、ステップS5において、ダイナミックレンジ判定部41は、算出したダイナミックレンジDRが閾値DR_THよりも大であるかを判定する。
【0115】
ステップS5で、算出したダイナミックレンジDRが閾値DR_THよりも大ではないと判定された場合、処理はステップS13に進む。
【0116】
一方、ステップS5で、算出したダイナミックレンジDRが閾値DR_THよりも大であると判定された場合、処理はステップS6に進み、単調増減判定部42は、周辺画素列における隣接画素どうしの画素値の差分値PIX_DIFを算出する。差分値PIX_DIFは、複数得られる。
【0117】
ステップS7において、単調増減判定部42は、周辺画素列に対して算出された複数の差分値PIX_DIFに基づいて、周辺画素列の画素値が単調増加または単調減少の傾向を有しているかを判定する。
【0118】
ステップS7で、周辺画素列の画素値が単調増加または単調減少の傾向を有していないと判定された場合、処理はステップS13に進む。
【0119】
一方、ステップS7で、周辺画素列の画素値が単調増加または単調減少の傾向を有していると判定された場合、注目画素は位相差の検出に適した画素であると判定され、処理はステップS8に進み、単調増減判定部42から位相差検出部33に、位相差検出の指令が供給される。
【0120】
位相差検出の指令が供給された位相差検出部33は、ステップS8において、注目画素に設定されている遮光画素の遮光率に基づいて、注目画素の画素値をゲイン倍補正する。注目画素に設定されている遮光画素の遮光率は、上述したように、補正テーブルから取得したり、注目画素周辺の平坦部の遮光画素とその周辺画素の画素値から求めることができる。
【0121】
ステップS9において、位相差検出部33は、ゲイン倍補正された注目画素の画素値であるゲイン倍補正値v_shieldと、それとの差分が小さい遮光方向周辺の複数の通常画素の画素値から、注目画素の位相差phase_difを検出する。
【0122】
具体的には、図8を参照して説明したように、注目画素周辺の複数の通常画素から、注目画素の通常画素値波形上の位置xが求められる。そして、注目画素の画素位置x_shieldと、通常画素値波形上の位置xとを用いて、phase_dif=(x-x_shield)×2により、注目画素の位相差phase_difが算出される。位相差検出部33により算出された注目画素の位相差phase_difは、信頼度判定部32の正負絶対値判定部43に供給される。
【0123】
ステップS10において、正負絶対値判定部43は、注目画素の近傍にある他の遮光画素である近傍遮光画素の位相差を、メモリ部31から取得する。
【0124】
ステップS11において、正負絶対値判定部43は、算出された注目画素の位相差phase_difが信頼できる値であるかを判定する。具体的には、正負絶対値判定部43は、注目画素の位相差phase_difと近傍遮光画素の位相差の乗算結果が正の値となるか、および、注目画素の位相差phase_difと近傍遮光画素の位相差の差分絶対値が所定の閾値NEAR_THより小さい値となるかを判定する。
【0125】
ステップS11で、算出された注目画素の位相差phase_difが信頼できる値ではないと判定された場合、処理はステップS13に進む。
【0126】
一方、ステップS11で、算出された注目画素の位相差phase_difが信頼できる値であると判定された場合、処理はステップS12に進み、正負絶対値判定部43は、算出された注目画素の位相差phase_difを、メモリ部31に記憶させる。
【0127】
ステップS13において、信頼度判定部32は、メモリ部31に記憶されている全ての画素を注目画素としたかを判定する。
【0128】
ステップS13で、全ての画素を注目画素としていないと判定された場合、処理はステップS14に進み、信号処理回路14は、まだ注目画素とされていない次の画素を注目画素に設定して、処理をステップS2に戻す。これにより、新たに設定された注目画素に対して、上述したステップS2からステップS13までの処理が実行される。
【0129】
一方、ステップS13で、全ての画素を注目画素としたと判定された場合、処理はステップS15に進む。
【0130】
ステップS15において、領域分割部51は、画素アレイ部11の画素領域を複数の領域に分割する。例えば、領域分割部51は、画素アレイ部11の画素領域を、n×mの分割数で矩形の領域に分割する。
【0131】
ステップS16において、ヒストグラム作成部52は、分割された複数の領域のうちの一つの領域を、注目領域に設定する。
【0132】
ステップS17において、ヒストグラム作成部52は、注目領域内の位相差をメモリ部31から取得し、注目領域の位相差のヒストグラムを作成する。
【0133】
ステップS18において、領域位相差決定部53は、統計処理により、注目領域の位相差を決定する。すなわち、領域位相差決定部53は、注目領域内の位相差の外れ値を除去し、除去後の位相差のみを用いて位相差の平均値を算出することにより、注目領域の位相差を決定する。決定された位相差は、その領域を識別する領域情報とともに、後段に出力される。
【0134】
ステップS19において、領域位相差決定部53は、分割された複数の領域のうちの全ての領域を注目領域としたかを判定する。
【0135】
ステップS19で、全ての領域をまだ注目領域としていないと判定された場合、処理はステップS20に進み、ヒストグラム作成部52は、まだ注目領域とされていない所定の領域を、注目領域に設定する。その後、処理はステップS16に戻され、上述したステップS16からステップS19までの処理が繰り返される。
【0136】
一方、ステップS19で、全ての領域を注目領域としたと判定された場合、信号処理回路14による位相差検出処理は終了する。
【0137】
なお、上述した例では、位相差検出部33が位相差を算出した次の処理で、算出された位相差を近傍遮光画素の位相差と比較して、算出された位相差の信頼度を判定するようにした。しかし、注目画素の近傍の遮光画素の位相差がまだ検出されていない場合もあり得る。したがって、上述したステップS3乃至S9の処理を全ての遮光画素について実行した後で、ステップS10乃至S12の処理を、全ての遮光画素について実行するようにしてもよい。
【0138】
以上のように、信号処理回路14による位相差検出処理によれば、従来、片側遮光画素と反対側遮光画素の対で検出していた位相差を、1つの遮光画素のみで検出することができる。
【0139】
1つの遮光画素のみで位相差を検出するため、信号処理回路14の信頼度判定部32によって、予め、遮光画素が位相差検出に適した画素であるか否かの信頼度判定が行われる。また、領域単位位相差決定部34は、画素アレイ部11の画素領域を複数の領域に分割し、検出された複数の位相差を領域単位で統計処理することにより、位相差を、領域単位で決定する。
【0140】
このように、信号処理回路14による位相差検出処理によれば、1つの遮光画素のみで位相差を検出することができるので、遮光画素の配置の自由度を上げることができ、微小領域や複雑な形状の領域における位相差検出も可能となる。
【0141】
また、信号処理回路14は、遮光画素の周辺に密に配置された高SN比の通常画素の画素値を利用して遮光画素の位相差を算出するので、位相差の検出精度を向上させることができる。
【0142】
<4.遮光画素のその他の配置例>
上述した実施の形態では、画素アレイ部11における遮光画素の配置が、図4を参照して説明したように、遮光方向には疎になり、遮光方向ではない方向には、他の遮光画素が近接配置されている例について説明した。
【0143】
図4に示した配置の場合、周辺画素列は全ての通常画素となり、算出された位相差の正負絶対値判定を行うときに必要な近傍遮光画素も、すぐ近くに配置されているので、よりロバストに位相差を検出することができる。
【0144】
しかし、信号処理回路14による本手法は、図4に示した以外の遮光画素の配置であっても、適用することができる。
【0145】
図12乃至図21を参照して、信号処理回路14による本手法が適用可能であり、画素アレイ部11が採用可能なその他の遮光画素の配置例について説明する。
【0146】
図4では片側遮光画素が規則的に配置されているのに対して、図12は、片側遮光画素をランダムに配置した例を示している。
【0147】
また、図13は、片側遮光画素と反対側遮光画素のそれぞれをランダムに配置した例を示している。
【0148】
従来の位相差検出では、片側遮光画素と反対側遮光画素を対で規則的に配置して、対称に出現される遮光画素の画素信号を用いて、位相差が検出される。したがって、図13のように、片側遮光画素と反対側遮光画素がランダムに配置された場合には、片側遮光画素の画素信号と反対側遮光画素の画素信号の波形を復元できないため、従来の手法では、位相差を検出することができなかった。
【0149】
しかし、本手法によれば、一つの遮光画素と、遮光方向の複数の通常画素があれば良いので、図13に示したような配置でも、問題なく位相差を検出することができる。
【0150】
図14は、片側遮光画素と反対側遮光画素の対を、ランダムに配置した例を示している。
【0151】
このように配置した場合、遮光方向に設定される周辺画素列は全ての通常画素となり、正負絶対値判定の近傍遮光画素としては、対とされた他方の遮光画素を利用することができるので、よりロバストに位相差を検出することができる。
【0152】
図14の配置では、注目画素の近傍遮光画素は、注目画素とは反対の遮光領域を有する遮光画素となる。したがって、正負絶対値判定処理では、注目画素の位相差と近傍遮光画素の位相差の乗算結果が負の値(<0)となり、かつ、注目画素の位相差と近傍遮光画素の位相差の差分絶対値が所定の閾値NEAR_THより小である場合に、検出された注目画素の位相差が信頼できる値であると判定される。
【0153】
図15は、遮光画素の従来の配置例を示している。
【0154】
図15Aは、右側が遮光された片側遮光画素と、左側が遮光された反対側遮光画素の対を、遮光方向である水平方向に並べて配置した例を示している。
【0155】
図15Bは、下側が遮光された片側遮光画素と、上側が遮光された反対側遮光画素の対を、遮光方向である垂直方向に並べて配置した例を示している。
【0156】
図15Cは、左斜め下側が遮光された片側遮光画素と、右斜め上側が遮光された反対側遮光画素の対を、遮光方向である右斜め方向に並べて配置した例を示している。
【0157】
このような従来の配置例においても、本手法を採用することができる。
【0158】
ただし、本手法では、注目画素に対して遮光方向の周辺画素列の画素値を用いて、注目画素が位相差検出に適した画素であるかどうかが判定される。そのため、図15Aの配置に対しては、図16Aに示されるように、周辺画素列とされる、遮光方向の複数の遮光画素の画素値として、その周辺、例えば、上下の通常画素の画素値を用いて補間した値を用いることで、本手法を適用することができる。
【0159】
図15Bの配置に対しては、図16Bに示されるように、周辺画素列とされる、遮光方向の複数の遮光画素の画素値として、その周辺、例えば、左右の通常画素の画素値を用いて補間した値を用いることで、本手法を適用することができる。
【0160】
図15Cの配置に対しては、図16Cに示されるように、周辺画素列とされる、遮光方向の複数の遮光画素の画素値として、その周辺、例えば、左斜め上と左斜め下の通常画素の画素値を用いて補間した値を用いることで、本手法を適用することができる。
【0161】
図15に示した従来の配置例は、遮光画素が遮光方向に一列に並んでいるため、位相差検出のためには都合がいいが、撮像画像の画質は劣化する可能性がある。そこで、図17Aに示されるように、片側遮光画素と反対側遮光画素の対が、遮蔽方向とは異なる方向に配列された配置も、従来から採用されている。
【0162】
本手法は、図17Aに示されるような配置においても採用することができる。この場合も、周辺画素列に設定される複数の画素のなかには遮光画素が含まれるので、図17Bに示されるように、その画素値として、例えば、上下の通常画素の画素値を用いて補間した値を用いることで、本手法を適用することができる。
【0163】
図15および図17は、片側遮光画素と反対側遮光画素の対を、水平方向、垂直方向、斜め方向に配置した従来の配置例であるが、本手法は、上述したように、片側遮光画素のみでも位相差を検出することができるので、図18乃至図21に示すような配置でも、位相差を検出することができる。
【0164】
図18は、右側に遮光領域を有する片側遮光画素のみを、遮光方向である水平方向に並べて配置した例を示している。
【0165】
図19は、下側に遮光領域を有する片側遮光画素のみを、遮光方向である垂直方向に並べて配置した例を示している。
【0166】
図20は、左斜め下側に遮光領域を有する片側遮光画素を、遮光方向である斜め方向に並べて配置した例を示している。
【0167】
さらには、図21に示されるような、片側遮光画素の対を、遮蔽方向とは異なる方向に配列したような配置でも、本手法によれば位相差を検出することができる。
【0168】
このように、本手法によれば、一つの遮光画素のみでも位相差を検出することができるので、位相差を検出するための遮光画素の配置の自由度を向上させることができる。
【0169】
<5.固体撮像装置の基板構成例>
次に、図22を参照して、図1の固体撮像装置1の基板構成について説明する。
【0170】
固体撮像装置1は、シリコン(Si)等の半導体基板を用いて、図22A乃至図22Cに示される第1乃至第3の基板構成のいずれかを採用して、作成することができる。
【0171】
図22Aは、固体撮像装置1の第1の基板構成を示している。
【0172】
図22Aの固体撮像装置1は、1つの半導体基板81内に、画素領域82と、制御回路83と、信号処理するためのロジック回路84とを搭載して構成される。図22Aにおける画素領域82には、例えば、図1の画素アレイ部11が含まれ、図22Aにおける制御回路83には、図1のAD変換部12、水平転送部13、タイミング制御部15、画素駆動部16などが含まれる。また、図22Aにおけるロジック回路84には、図1の信号処理回路14が含まれる。
【0173】
図22Bは、固体撮像装置1の第2の基板構成を示している。
【0174】
第2の基板構成では、固体撮像装置1が、第1の半導体基板85と、第2の半導体基板86が積層された構造となっており、第1の半導体基板85には、画素領域82と制御回路83が形成され、第2の半導体基板86には、ロジック回路84が形成されている。
【0175】
図22Cは、固体撮像装置1の第3の基板構成を示している。
【0176】
第3の基板構成においても、第2の基板構成と同様に、第1の半導体基板85と第2の半導体基板86が積層された構造となっている。しかし、第1の半導体基板85には、画素領域82のみが形成されており、第2の半導体基板86に、制御回路83とロジック回路84が形成されている。
【0177】
固体撮像装置1は、以上のような基板構成で製造することができる。
【0178】
<その他の実施の形態>
次に、上述した位相差検出処理を行う信号処理回路のその他の実施の形態について説明する。
<信号処理回路が独立した形態>
図23は、上述した位相差検出処理を行う信号処理回路が信号処理装置として独立した形態となった構成例を示している。
【0179】
すなわち、上述した例では、図1を参照して説明したように、位相差検出処理を行う信号処理回路14が、固体撮像装置1の一部として組み込まれていた。
【0180】
しかし、図23の例では、図1の撮像部17に対応する固体撮像装置91と、それとは別に設けられた、図1の信号処理回路14に対応する信号処理装置92とで構成されている。
【0181】
固体撮像装置91は、遮光画素の配置として、上述した図4図12乃至図15図17A図18乃至図21等の各構成を採用することができ、位相差を検出するための遮光画素の配置の自由度を向上させた装置とすることができる。
【0182】
信号処理装置92は、固体撮像装置91から出力される画素信号に基づいて、上述した位相差検出処理を行い、検出した位相差を出力する。また、信号処理装置92は、遮光画素の画素値を補間により算出し、通常画素の画素値とともに、映像出力用の画素信号として出力する。
【0183】
<6.電子機器への適用例>
本技術を適用した固体撮像装置および信号処理装置は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えたオーディオプレーヤといった各種の電子機器に適用することができる。また、固体撮像装置および信号処理装置は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理回路とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
【0184】
図24は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
【0185】
図24の撮像装置100は、レンズ群などからなる光学部101、上述した固体撮像装置91の構成を有する固体撮像装置(撮像デバイス)102、および、上述した信号処理回路14の機能を有するDSP(Digital Signal Processor)回路103を備える。また、撮像装置100は、フレームメモリ104、表示部105、記録部106、操作部107、および電源部108も備える。DSP回路103、フレームメモリ104、表示部105、記録部106、操作部107および電源部108は、バスライン109を介して相互に接続されている。
【0186】
光学部101は、被写体からの入射光(像光)を取り込んで固体撮像装置102の撮像面上に結像する。固体撮像装置102は、光学部101によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
【0187】
表示部105は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像装置102で撮像された動画または静止画を表示する。記録部106は、固体撮像装置102で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
【0188】
操作部107は、ユーザによる操作の下に、撮像装置100が持つ様々な機能について操作指令を発する。電源部108は、DSP回路103、フレームメモリ104、表示部105、記録部106および操作部107の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
【0189】
また、本技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像装置への適用に限らず、赤外線やX線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像装置(物理量分布検知装置)全般に対して適用可能である。
【0190】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0191】
なお、本技術は以下のような構成も取ることができる。
(1)
受光領域の一部が遮光されている遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部を備える
信号処理装置。
(2)
前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部をさらに備え、
前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素に対して位相差を検出する
前記(1)に記載の信号処理装置。
(3)
前記信頼度判定部は、
取得された前記周辺画素列の画素値のダイナミックレンジを算出し、算出されたダイナミックレンジを判定するダイナミックレンジ判定部と、
取得された前記周辺画素列の画素値の単調増加および単調減少を判定する単調増減判定部と
を有し、
前記信頼度判定部は、前記ダイナミックレンジ判定部および前記単調増減判定部により、算出されたダイナミックレンジが所定の閾値よりも大であり、かつ、前記周辺画素列の画素値が単調増加または単調減少の傾向を有していると判定された場合に、前記遮光画素が位相差の検出を行うのに適した画素であると判定する
前記(2)に記載の信号処理装置。
(4)
前記信頼度判定部は、
算出された前記遮光画素の位相差を、近傍の他の遮光画素の位相差と比較することにより、前記位相差検出部により検出された位相差が信頼できる値であるかを判定する検出位相差判定部を有する
前記(2)または(3)に記載の信号処理装置。
(5)
前記検出位相差判定部は、画素内の遮光領域の配置が、位相差を算出した前記遮光画素と前記他の遮光画素で同じ場合、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の符号が同じで、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の差分絶対値が所定の閾値より小である場合に、前記位相差検出部により検出された位相差が信頼できる値であると判定する
前記(4)に記載の信号処理装置。
(6)
前記検出位相差判定部は、画素内の遮光領域の配置が、位相差を算出した前記遮光画素と前記他の遮光画素で異なる場合、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の符号が異なり、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の差分絶対値が所定の閾値より小である場合に、前記位相差検出部により検出された位相差が信頼できる値であると判定する
前記(4)に記載の信号処理装置。
(7)
前記位相差検出部は、取得した前記遮光画素の画素値を、遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
前記(1)乃至(6)のいずれかに記載の信号処理装置。
(8)
前記位相差検出部は、取得した前記遮光画素の画素値を、前記補正テーブルに基づいて決定された遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
前記(7)に記載の信号処理装置。
(9)
前記位相差検出部は、取得した前記遮光画素の画素値を、周辺の他の遮光画素から算出した遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
前記(7)に記載の信号処理装置。
(10)
前記位相差検出部は、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値に対応する前記周辺画素列の画素値波形上の位置を求めることで、前記遮光画素の位相差を算出する
前記(1)乃至(9)のいずれかに記載の信号処理装置。
(11)
前記位相差検出部は、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値との差分が小さい前記周辺画素列の2つの画素値を用いて、前記遮光画素の位相差を算出する
前記(10)に記載の信号処理装置。
(12)
前記位相差検出部は、前記補正後の画素値と、前記周辺画素列の2つの画素値それぞれとの画素差分の比に基づいて、前記遮光画素の位相差を算出する
前記(11)に記載の信号処理装置。
(13)
前記位相差検出部は、前記周辺画素列の画素が遮光画素である場合には、その遮光画素の画素値として、その周辺の通常画素の画素値で補間した値を用いる
前記(10)乃至(12)のいずれかに記載の信号処理装置。
(14)
複数の前記遮光画素が配置されている撮像領域を、所定数の領域に分割する領域分割部と、
検出された前記位相差に基づいて、分割された前記領域ごとの位相差を決定する領域位相差決定部と
をさらに備える
前記(1)乃至(13)のいずれかに記載の信号処理装置。
(15)
前記領域分割部は、画像のテクスチャ情報を用いて、前記撮像領域を、所定数の領域に分割する
前記(14)に記載の信号処理装置。
(16)
前記領域分割部は、同一の奥行きと認識される領域単位に、前記撮像領域を、所定数の領域に分割する
前記(14)または(15)に記載の信号処理装置。
(17)
前記領域位相差決定部は、検出された前記位相差に対して統計処理を用いて、分割された前記領域ごとの位相差を決定する
前記(14)乃至(16)のいずれかに記載の信号処理装置。
(18)
遮光画素を有する撮像部からの信号を処理する信号処理装置が、
受光領域の一部が遮光されている遮光画素1画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、
前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する
信号処理方法。
(19)
受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを備える画素アレイ部を備え、
前記画素アレイ部内に配置されている複数の前記遮光画素それぞれの前記遮光領域の位置は同一である
固体撮像装置。
(20)
受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを備える画素アレイ部を備え、
前記画素アレイ部内に配置されている複数の前記遮光画素それぞれの前記遮光領域の位置は同一である
固体撮像装置
を備える電子機器。
【符号の説明】
【0192】
1 固体撮像装置, 14 信号処理回路, 17 撮像部, 32 信頼度判定部, 33 位相差検出部, 34 領域単位位相差決定部, 41 ダイナミックレンジ判定部, 42 単調増減判定部, 43 正負絶対値判定部, 51 領域分割部, 52 ヒストグラム作成部, 53 領域位相差決定部, 91 固体撮像装置, 92 信号処理装置, 100 撮像装置, 102 固体撮像装置, 103 DSP回路
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24