特許 7445508 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-28

(45)【発行日】2024-03-07

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 25/704 20230101AFI20240229BHJP

   H04N 25/76 20230101ALI20240229BHJP

   G02B 7/34 20210101ALI20240229BHJP

   H04N 23/13 20230101ALI20240229BHJP

   H04N 23/54 20230101ALI20240229BHJP

【ＦＩ】

H04N25/704

H04N25/76

G02B7/34

H04N23/13

H04N23/54

【請求項の数】 9

(21)【出願番号】P 2020076282

(22)【出願日】2020-04-22

(65)【公開番号】P2021175052

(43)【公開日】2021-11-01

【審査請求日】2023-03-22

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】菊地 幸大

(72)【発明者】

【氏名】船津 良平

(72)【発明者】

【氏名】安江 俊夫

(72)【発明者】

【氏名】冨岡 宏平

(72)【発明者】

【氏名】松原 智樹

(72)【発明者】

【氏名】山下 誉行

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１０－２１０９０３（ＪＰ，Ａ）

【文献】特開２０１１－０２８１７７（ＪＰ，Ａ）

【文献】国際公開第２０１９／１２３６００（ＷＯ，Ａ１）

【文献】特開２０１４－０４８３２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／００－２５／７９

Ｈ０４Ｎ ２３／００－２３／９５９

Ｇ０２Ｂ ７／３４

(57)【特許請求の範囲】

【請求項1】

複数のイメージセンサを備えた多板撮像方式の撮像装置であって、
位相差検出画素を有する第１のイメージセンサと、
第２のイメージセンサと、
前記第１のイメージセンサの前記位相差検出画素の信号と、前記第２のイメージセンサにおける前記位相差検出画素と２次元撮像面上で同位置の画素の信号を読み出し、２種類の位相差画像として出力する位相差情報読み出し回路と、
前記２種類の位相差画像間の相対位置ベクトルを検出し、前記相対位置ベクトルから合焦状態を求める位相差検出回路と
を備えることを特徴とする撮像装置。

【請求項2】

請求項１に記載の撮像装置において、
前記第１のイメージセンサの前記位相差検出画素は、画素の一方の半分の領域が遮光されており、前記第２のイメージセンサの前記位相差検出画素と２次元撮像面上で同位置の画素は、画素の他方の半分の領域が遮光されていることを特徴とする撮像装置。

【請求項3】

請求項１に記載の撮像装置において、
前記第１のイメージセンサの前記位相差検出画素は、画素の一方の半分の領域が遮光されており、前記第２のイメージセンサの前記位相差検出画素と２次元撮像面上で同位置の画素は、通常画素であることを特徴とする撮像装置。

【請求項4】

請求項１乃至３のいずれか一項に記載の撮像装置において、
前記イメージセンサの画像に注目領域を設定し、前記第１のイメージセンサの前記位相差検出画素の信号と、前記第２のイメージセンサにおける前記位相差検出画素と２次元撮像面上で同位置の画素の信号のうち、前記注目領域に含まれる信号を、位相差画像として出力する注目領域切り出し回路とを備えることを特徴とする撮像装置。

【請求項5】

請求項１乃至４のいずれか一項に記載の撮像装置において、
前記２種類の位相差画像の感度差を補正する感度補正回路をさらに備えることを特徴とする撮像装置。

【請求項6】

請求項１乃至５のいずれか一項に記載の撮像装置において、
前記位相差情報読み出し回路から、前記複数のイメージセンサの前記位相差検出画素以外の画素の信号が入力され、前記位相差検出画素の位置の信号を、前記位相差検出画素の周辺画素の信号、前記複数のイメージセンサのうち、他のイメージセンサの前記位相差検出画素と２次元撮像面上で同位置の画素の信号、及びその周辺画素の信号、の少なくとも１つから補間又は推定処理して求める画素補間回路をさらに備えることを特徴とする撮像装置。

【請求項7】

請求項１乃至６のいずれか一項に記載の撮像装置において、
前記位相差検出回路は、ブロックマッチング手法により前記相対位置ベクトルを検出することを特徴とする撮像装置。

【請求項8】

請求項７に記載の撮像装置において、
前記位相差検出回路は、ブロックマッチング手法による探索時に、サブピクセル単位でシフトすることを特徴とする撮像装置。

【請求項9】

請求項１乃至８のいずれか一項に記載の撮像装置において、
前記多板撮像方式はＲｃｈ、Ｇｃｈ、Ｂｃｈの３成分を用いる３板撮像方式であって、前記位相差画像の信号を、以下の式（１）～（３）の対応する色信号の変換式を用いて、ｎビットの画素値に変換し、

【数1】

【数2】

【数3】

［ここで、Ｒi,j、Ｇi,j、Ｂi,jは、(x,y)＝(i,j)における画素値、ｎは画像の有効ビット数、α、β、γは、０以上１以下の実数］
変換された前記位相差画像に基づいて、前記相対位置ベクトルを検出することを特徴とする撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は撮像装置に関し、特に、映像撮影時のレンズフォーカス距離と被写体距離との差分に応じた合焦状態を検出する撮像装置に関する。

【背景技術】

【0002】

近年、撮像装置に対し、オートフォーカス機能や画像と同時に奥行き情報を取得する機能を付加するニーズが増えている。これら機能の実現には、レンズのフォーカス距離と被写体距離との位置関係で変化する撮影画像の合焦状態を検出するための技術が欠かせない。従来、画像の取得と合焦状態の検出を同時に行うための手法として、像面位相差検出方式がよく知られている。像面位相差検出方式は、互いが異なる形状の射出瞳に応じた感度を持つ一対の画素（位相差検出画素）を設けたイメージセンサを用いて、検出された結像面上の相対距離ベクトル（位相差情報）から合焦状態を検出する方式である（例えば、特許文献１）。

【0003】

特許文献１では、マイクロレンズとフォトダイオードとの間の金属配線層を利用し、画素の開口の半分の領域を遮光した位相差検出画素対（左目・右目）をセンサの撮像面上に隣接して配置した撮像装置が示されており、この位相差検出画素対の出力から合焦状態を検出している。特許文献１は、カラーフィルタアレイを有する単一のイメージセンサからカラー画像を取得する、いわゆる単板撮像方式における合焦状態検出手法の例である。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１５７６２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方、放送用カメラなどの高感度や優れた色再現性などの高い画質が求められるカメラでは、３板撮像方式に代表される、複数のイメージセンサと入射光分光用のダイクロイックプリズム（分光プリズム）を用いてカラー画像を取得する多板撮像方式が多く用いられている。ここで、３板撮像方式においては、主にＲｃｈ、Ｇｃｈ、Ｂｃｈの３成分に分光するための分光プリズムが用いられる。

【0006】

しかし、こうした３板撮像方式における像面位相差検出法は、最適な手法が確立していない。仮に特許文献１と同様の手法を用いて、３板撮像方式のそれぞれのイメージセンサに位相差検出画素を備えた場合、位相差検出画素は画像取得時に画素欠陥として扱われるため、画像内の広い領域で画質が低下してしまい、高画質な画像取得を目的とする３板撮像方式の利点が失われてしまう、という問題が生じる。

【0007】

従って、本発明はこのような問題に鑑みてなされたものであり、本発明の目的は、３板撮像方式をはじめとする多板撮像方式の撮像装置であって、簡便な方法で高精度な合焦状態検出と、高画質な画像取得を両立することができる撮像装置を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために本発明に係る撮像装置は、複数のイメージセンサを備えた多板撮像方式の撮像装置であって、位相差検出画素を有する第１のイメージセンサと、第２のイメージセンサと、前記第１のイメージセンサの前記位相差検出画素の信号と、前記第２のイメージセンサにおける前記位相差検出画素と２次元撮像面上で同位置の画素の信号を読み出し、２種類の位相差画像として出力する位相差情報読み出し回路と、前記２種類の位相差画像間の相対位置ベクトルを検出し、前記相対位置ベクトルから合焦状態を求める位相差検出回路とを備えることを特徴とする。

【0009】

また、前記撮像装置は、前記第１のイメージセンサの前記位相差検出画素が、画素の一方の半分の領域が遮光されており、前記第２のイメージセンサの前記位相差検出画素と２次元撮像面上で同位置の画素は、画素の他方の半分の領域が遮光されていることが望ましい。

【0010】

また、前記撮像装置は、前記第１のイメージセンサの前記位相差検出画素が、画素の一方の半分の領域が遮光されており、前記第２のイメージセンサの前記位相差検出画素と２次元撮像面上で同位置の画素は、通常画素であることが望ましい。

【0011】

また、前記撮像装置は、前記イメージセンサの画像に注目領域を設定し、前記第１のイメージセンサの前記位相差検出画素の信号と、前記第２のイメージセンサにおける前記位相差検出画素と２次元撮像面上で同位置の画素の信号のうち、前記注目領域に含まれる信号を、位相差画像として出力する注目領域切り出し回路とを備えることが望ましい。

【0012】

また、前記撮像装置は、前記２種類の位相差画像の感度差を補正する感度補正回路をさらに備えることが望ましい。

【0013】

また、前記撮像装置は、前記位相差情報読み出し回路から、前記複数のイメージセンサの前記位相差検出画素以外の画素の信号が入力され、前記位相差検出画素の位置の信号を、前記位相差検出画素の周辺画素の信号、前記複数のイメージセンサのうち、他のイメージセンサの前記位相差検出画素と２次元撮像面上で同位置の画素の信号、及びその周辺画素の信号、の少なくとも１つから補間又は推定処理して求める画素補間回路をさらに備えることが望ましい。

【0014】

また、前記撮像装置は、前記位相差検出回路が、ブロックマッチング手法により前記相対位置ベクトルを検出することが望ましい。

【0015】

また、前記撮像装置は、前記位相差検出回路が、ブロックマッチング手法による探索時に、サブピクセル単位でシフトすることが望ましい。

【0016】

また、前記撮像装置は、Ｒｃｈ、Ｇｃｈ、Ｂｃｈの３成分を用いる３板撮像方式であって、前記位相差画像の信号を、色信号ごとに設定された所定の変換式を用いて、ｎビットの画素値に変換し、変換された前記位相差画像に基づいて、前記相対位置ベクトルを検出することが望ましい。

【発明の効果】

【0017】

本発明における撮像装置によれば、３板撮像方式をはじめとする多板撮像方式の撮像装置において、簡便な方法で高精度な合焦状態検出と、高画質な画像取得を両立することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態の撮像装置のブロック図の例である。

【図2】位相差検出画素付きイメージセンサの撮像面の例を示す図である。

【図3】本発明の撮像装置における位相差検出処理のフローの例を示す図である。

【図4】位相差検出画素付きイメージセンサで撮影した画像の例である。

【図5】第１実施形態の撮像装置で求めた位相差検出結果を示す図である。

【図6】第２実施形態の撮像装置で求めた位相差検出結果を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施の形態について説明する。

【0020】

（第１実施形態）
図１は、本発明の一実施形態の撮像装置のブロック図の例である。図１の撮像装置は、３板撮像方式の撮像装置であり、レンズ１０、分光プリズム２０、イメージセンサ群３０（３１～３３）、位相差情報読み出し回路４０、注目領域切り出し回路４１、感度補正回路５０、位相差検出回路６０、画素補間回路７０、プロセス回路８０を備えている。以下、各構成回路について説明する。

【0021】

レンズ１０は、一般的なカメラのレンズであり、所定の焦点距離を有し、画像（物体の像）を各イメージセンサ（撮像素子）の撮像面に結像する。例えば、放送用ズームレンズはフォーカス群、ズーム群、リレー群、エクステンダ群といったレンズ群から成り立っており、レンズ枚数は３０枚から４０枚に達するものもある。

【0022】

分光プリズム２０は、入射光の色分解を行う。例えば、分光プリズム２０は、ダイクロイックミラーによる選択反射を利用して、入射光をＲ（赤）、Ｇ（緑）、Ｂ（青）の３色に分解する。

【0023】

イメージセンサ群３０は、少なくとも１つの位相差検出画素付きイメージセンサ３１（第１のイメージセンサ）を備えている。他のイメージセンサ３２，３３（第２のイメージセンサ）は通常のイメージセンサ（位相差検出画素なし）であってよく、また、一方のイメージセンサ（３２又は３３）を位相差検出画素付きイメージセンサとする構成としてもよい。例えば、Ｂ成分（Ｂｃｈ）イメージセンサ３１を位相差検出画素付きイメージセンサとすることができるが、位相差検出画素付きイメージセンサは、Ｂｃｈに限られず、何色のチャンネルとしてもよい。

【0024】

なお、Ｂｃｈの画像は、人間の視覚における輝度情報に対する寄与が低いので、一部に欠損画素（位相差検出画素）が含まれていても、人が認識する画質の劣化に対する影響が少なく、Ｂｃｈイメージセンサ３１を位相差検出画素付きイメージセンサ（第１のイメージセンサ）とすることが画像品質の点で有利である。イメージセンサ群３０は、分光プリズム２０により分光された各入射光について、位相差情報を含む画像を取得する。

【0025】

第１実施形態では、２個の位相差検出画素付きイメージセンサを用いて、合焦状態検出を行う例について説明する。位相差検出画素付きイメージセンサを２個とする場合は、例えば、Ｂｃｈのイメージセンサ３１と、Ｒｃｈのイメージセンサ３３を位相差検出画素付きイメージセンサとし、Ｇｃｈを通常のイメージセンサ（位相差検出画素なし）とすることができる。なお、位相差検出画素付きイメージセンサと通常のイメージセンサをどの色チャンネルとするかは、適宜設定することができる。

【0026】

図２に、位相差検出画素付きイメージセンサの撮像面の例を示す。本実施形態では、位相差検出画素として、水平方向（左又は右）に５０％遮光した画素を用いた。図２（ａ）は、Ｂｃｈのイメージセンサ３１の撮像面の例であり、図２（ｂ）は、Ｒｃｈのイメージセンサ３３の撮像面の例を示している。なお、Ｇｃｈは通常のイメージセンサ（位相差検出画素なし）であるので、図示を省略している。

【0027】

Ｂｃｈのイメージセンサ３１は、全体で７６８０pixel×４３２０pixelの画素（pixel）を有しており、内部に通常の画素３１１と位相差検出画素３１２を備えている。Ｂｃｈの位相差検出画素３１２は、図２（ａ）に示されるように、画素開口部の右半分を、例えば金属層で遮光した画素である。この位相差検出画素３１２の出力画像を、左目画像ということがある。位相差検出画素３１２の配置は、例えば、画面の水平方向のピッチｗが２pixelであり、画面の垂直方向のピッチｈが３２pixelである。位相差検出画素３１２が多いほど正確な位相差検出が可能であるが、位相差検出画素３１２は画素欠陥となるため、位相差検出画素３１２が多いと画質の劣化を招く。

【0028】

水平方向のピッチｗを２pixelとしたのは、水平方向にできるだけ近接して多数の位相差検出画素３１２を配置し、且つ、欠陥画素となる位相差検出画素３１２の位置の画像の補間精度を高めるためであり、隣接する画素を通常画素３１１（交互配置）としたからである。また、垂直方向のピッチｈを３２pixelとしたのは、画面全体における通常画素３１１と位相差検出画素３１２の比率を考慮したためであり、位相差検出画素３１２を画面全体の画素数に対して１～２％とした結果である。なお、水平方向のピッチｗと垂直方向のピッチｈは、図２に限らず、適宜設定することができる。

【0029】

Ｒｃｈのイメージセンサ３３は、同様に、全体で７６８０pixel×４３２０pixelの画素（pixel）を有しており、内部に通常の画素３３１と位相差検出画素３３２を備えている。Ｒｃｈの位相差検出画素３３２は、図２（ｂ）に示されるように、画素開口部の左半分を、例えば金属層で遮光した画素であり、Ｂｃｈの位相差検出画素３１２とは、遮光する側が左右反転している。この位相差検出画素３３２の出力画像を、右目画像ということがある。位相差検出画素３３２の配置は、例えば、画面の水平方向のピッチｗが２pixelであり、画面の垂直方向のピッチｈが３２pixelである。この位相差検出画素３３２の位置は、Ｂｃｈの位相差検出画素３１２と一致するように構成されている。

【0030】

図１に戻って、位相差情報読み出し回路４０は、取得された画像のうち、ある基準となる位相差検出画素付きイメージセンサ（例えば、Ｂｃｈイメージセンサ３１）の位相差検出画素の信号と、その他のイメージセンサ（例えば、Ｒｃｈイメージセンサ３３）における前述の位相差検出画素と２次元撮像面上で同位置の画素信号を読み出し、少なくとも２種類の位相差画像（Ｌ，Ｒ）として感度補正回路５０に出力する。本実施形態では、Ｂｃｈイメージセンサ３１の位相差検出画素３１２の信号を読み出して位相差画像Ｌとし、Ｂｃｈイメージセンサ３１の位相差検出画素３１２と同じ位置にある、Ｒｃｈイメージセンサ３３の位相差検出画素３３２の信号を読み出して位相差画像Ｒとする。なお、位相差画像とは、位相差（合焦状態）を検出するための画像であり、位相差検出画素から出力される画像と、当該位相差検出画素と２次元撮像面上で同位置の他のイメージセンサの画素の画像である。位相差画像は、位相差情報読み出し回路４０から出力する前に、注目領域切り出し回路４１により選択し、注目領域のみの位相差画像を出力するようにしてもよい。

【0031】

また同時に、位相差情報読み出し回路４０は、その他の通常画素の画像（通常画像）を、画素補間回路７０に出力する。本実施形態では、Ｂｃｈイメージセンサ３１とＲｃｈイメージセンサ３３の位相差検出画素以外の画素の画像と、Ｇｃｈイメージセンサ３２の全画素の画像を、通常画像として出力する。

【0032】

注目領域切り出し回路４１は、外部から入力される注目領域の座標情報、又はイメージセンサからの入力画像から事前に認識した画像内のオブジェクト情報などをもとに、注目領域を設定し、合焦状態を検出するための位相差画像中の注目領域を切り出す。図１では、注目領域切り出し回路４１は、位相差情報読み出し回路４０の内部回路として記載されているが、位相差情報読み出し回路４０とは独立した回路として構成されてもよい。注目領域を切り出す際は、エッジが含まれる領域を注目領域として設定することが望ましい。座標情報の決定手段としては、例えば、次のような手法がある。
・出力画像から人手で決定する。
・出力画像から機械学習済みのモデルを利用して決定する。
・出力画像によらず固定値とする。

【0033】

位相差情報読み出し回路４０内の処理としては、位相差検出画素付きイメージセンサ３１の位相差検出画素の信号と他のイメージセンサ３３における２次元撮像面上で位相差検出画素と同位置の画素信号を読み出した後、注目領域切り出し回路４１で設定した注目領域に基づいて、注目領域に該当する位相差画像を選択することができる。また逆に、イメージセンサからの入力画像から、注目領域切り出し回路４１により注目領域となる画像領域を切り出し、その後、切り出された注目領域に含まれる位相差検出画素及び位相差検出画素と同位置の画素の信号を、位相差画像として出力してもよい。

【0034】

感度補正回路５０は、位相差画像（Ｌ，Ｒ）間の画像平均やヒストグラム情報を用いて、感度差を補正する。例えば、両画像のヒストグラムが一致するように画像を補正することが望ましい。

【0035】

本発明で得られる位相差画像は、各位相差検出用のイメージセンサ上で異なる波長（或いは、異なる開口率、またその両方）から生成される位相差検出画素の情報を用いるため、位相差画像間で輝度やコントラスト、被写体のエッジ形状などが一致しない場合がある。このような状態では、後段の位相差検出（ブロックマッチング）の精度が低下してしまう。したがって、感度補正回路５０による、輝度やコントラスト、エッジ形状のマッチングを行うことが望ましい。輝度やコントラストのマッチングには、次に例示する公知の技術による補正が適用できる。
・遮光率、画素感度から求まる固定係数の乗算
・ピーク値（最大値、最小値）のマッチング・正規化
・ヒストグラムマッチング

【0036】

なお、一部の色信号においてエッジが明確ではないとき、エッジ形状も保存できる画像の補正手法として、各位相差画像の信号について、全色信号の和（Ｒ＋Ｇ＋Ｂ）との比をとる補正を行う。具体的には、以下の式（１）～（３）の対応する色信号の変換式を用いて、位相差画像の信号を変換することがより好ましい。次式により各画素信号を最終的にｎビットの画素値に変換する。

【0037】

【数1】

【数2】

【数3】

【0038】

ここで、Ｒi,j、Ｇi,j、Ｂi,jは、(x,y)＝(i,j)における画素値である。またｎは画像の有効ビット数である。α、β、γは、０以上１以下の実数であり、例えば、Ｒｃｈ、Ｂｃｈが５０％遮光された位相差画素、Ｇｃｈが通常画素の場合、（α、β、γ）＝（1.0、0.5、1.0）などとすることが好ましい。この補正手法によれば、例えば、注目領域内においてＲｃｈではエッジ形状が認められるものの、Ｂｃｈでは平坦な形状となっている場合でも、ＲＧＢの和との比に対して、変動があれば、Ｂ’にエッジ形状の情報を保持することができる。また、さらに、Ｒ’，Ｇ’，Ｂ’間でそれぞれ、感度補正を行ってもよい。なお、上記変換式による位相差画像の信号の変換は、感度補正回路５０の前段に変換回路（図示せず）を設けて行ってもよいし、感度補正処理の一手法として感度補正回路５０の内部で行ってもよい。

【0039】

感度補正回路５０からは、感度が補正された位相差画像（Ｌ’，Ｒ’）が、位相差検出回路６０へ出力される。

【0040】

位相差検出回路６０は、感度補正した位相差画像間の相対位置（相対位置ベクトル）を、例えばブロックマッチング手法で検出し、得られたベクトルの符号、大きさから合焦状態（位相差）を算出し、出力する。

【0041】

本発明において好適な位相差検出方法（ブロックマッチング手法）としては、位相差画像間の感度差に対してロバストな手法、すなわちＺＳＡＤ（zero-mean SAD）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-means Normalized Cross-Correlation）などが好ましい。より好適な式としては、ＺＮＣＣを自乗した式を用いるＺＮＣＣ２の手法でマッチングをすることが好ましい。ＺＮＣＣは位相差画像間の相互相関係数を計算する手法であり、－１～＋１の値を取る。ＺＮＣＣ２はこれを自乗にすることで、負の相関を持つ画像に対しても、マッチング判定が可能となる。したがって、ＺＮＣＣ２は、特に位相差画像間でエッジの輝度の明暗領域が反転する可能性がある場合においても、正常な合焦判定を行うために有効となる。なお、ブロックマッチングの探索方向は、位相差検出画素の遮光方向に準じる。水平方向に遮光された位相差検出画素から取得した位相差画像の場合、探索方向も水平方向とする。また、探索時はサブpixel単位のシフトを用いることで、本来のイメージセンサの画素単位よりも、更に微細に精度よく位相差を検出することができる。

【0042】

画素補間回路７０は、位相差情報読み出し回路４０から通常画像が入力され、欠落画像となっている位相差検出画素の位置の画像（信号）を補間処理により求める。この補間処理は、公知の任意の手段を用いることができ、例えば、隣接する周囲画素の画素値の平均を求めて補間値としてもよい。更に欠陥画素（位相差検出画素）の周辺画素（周囲画素を含む）、他のイメージセンサの欠落画素と２次元撮像面で同位置の画素、及びその周辺画素の少なくとも１つの情報から、公知の補間又は推定処理を行ってもよい。欠陥画素（位相差検出画素）の位置の画像と他のイメージセンサの欠落画素と同位置の画像とは強い相関がある。また、他のイメージセンサの欠落画素と同位置の画像とその周辺画素の画像の相関関係を、欠陥画素の周辺画素の画像から欠陥画素の位置の画像を推定する際に利用することができる。画素補間回路７０からは、欠落画像が補間又は推定処理により復元された完全な画像が、プロセス回路８０に出力される。

【0043】

本実施形態では、１つのイメージセンサに１種類の位相差検出画素（右用又は左用）のみを設けているから、従来と同じ精度で位相差を検出するための位相差検出画素が半分となる。したがって、イメージセンサ当たりの欠落画像は半分であるから、より正確な補間処理が可能であり、従来より復元された画像の品質も高くなる。

【0044】

プロセス回路８０は、撮像装置内で一般に行われる各種画像処理を行う。例えば、ＲＧＢ信号のホワイトバランス調整やゲイン調整等を行い、プロセス回路８０は、処理後の画像を撮像装置の出力画像として出力する。

【0045】

図３は、本発明の撮像装置における位相差検出処理のフローの一例である。フローに基づいて、処理の手順を説明する。

【0046】

ステップＳ１：Ｂｃｈイメージセンサ３１から取得されたＢｃｈ画像と、Ｒｃｈイメージセンサ３３から取得されたＲｃｈ画像から、位相差検出画素の画像を取り出す。Ｂｃｈの位相差検出画素３１２から左目画像が取り出され、Ｒｃｈの位相差検出画素３３２から右目画像が取り出される。なお、後述のとおり、Ｂｃｈ画像とＲｃｈ画像の両者が位相差検出画素を備えている必要はない。例えば、Ｂｃｈイメージセンサ３１が位相差検出画素を備えている場合、この位相差検出画素の信号を取り出すと共に、Ｒｃｈイメージセンサ３３における位相差検出画素と２次元撮像面上で同位置の画素信号を読み出し、２種類の位相差画像（Ｌ，Ｒ）としてもよい。

【0047】

ステップＳ２：Ｂｃｈから取り出された左目画像とＲｃｈから取り出された右目画像から、注目領域の画像を切り出す。この注目領域は、撮像装置が認識したオブジェクトであっても、外部からの座標の指示に基づく領域であってもよい。注目領域には、画像の一致を判定しやすい境界（エッジ）領域を含めることが望ましい。

【0048】

ステップＳ３：切り出された注目領域の左目画像及び右目画像に対して、垂直方向のＬＰＦ（Low-pass filter）処理を行う。例えば、次式のフィルタ処理を行い、垂直方向のノイズを低減させる。なお、ここでは水平方向の位相差を求めるため、垂直方向のＬＰＦ処理を行っている。このフィルタ処理はオプションであり、省略することもできる。

【0049】

【数4】

【0050】

ステップＳ４：注目領域の左目画像及び右目画像に対して、Ｌ／Ｒ感度差補正を行う。この補正処理としては、公知のヒストグラムマッチングや前述のマッチング処理を行うことができる。なお、左目画像と右目画像の感度がほぼ一致しているときは、感度差補正を省略してもよい。

【0051】

ステップＳ５：各種処理がなされた左目画像及び右目画像に対し、水平方向のブロックマッチング（例えば、ＳＡＤ，ＳＳＤ，ＺＮＣＣ，ＺＮＣＣ２［ＺＮＣＣ２はＺＮＣＣを二乗した値を使用した手法］）を行って相対位置（ベクトル）を求め、合焦状態（位相差）を検出する。

【0052】

このように、本発明の撮像装置は、少ない数の位相差検出画素と、それと２次元撮像面上の同位置にある、別のイメージセンサの画素から、合焦状態を検出する。これにより、同位置の位相差情報を用いた精度の高い合焦状態検出と、画素欠陥の少ない高画質な画像取得を同時に実現することができる。

【0053】

（第２実施形態）
第２実施形態では、１個の位相差検出画素付きイメージセンサと、通常のイメージセンサを用いて、合焦状態検出を行う例について説明する。

【0054】

第２実施形態の撮像装置のブロック構成は、図１に示すとおり、基本的には第１実施形態と同じであり、レンズ１０、分光プリズム２０、イメージセンサ群３０（３１～３３）、位相差情報読み出し回路４０、注目領域切り出し回路４１、感度補正回路５０、位相差検出回路６０、画素補間回路７０、プロセス回路８０を備えている。第１実施形態と同じ構成要件の動作説明は、簡略にする。

【0055】

第２実施形態の撮像装置は、図１に示されるように、Ｂｃｈのみ位相差検出画素付きイメージセンサ３１とし、Ｇｃｈ、Ｒｃｈは通常のイメージセンサ（位相差検出画素なし）３２，３３を用いる。Ｂｃｈイメージセンサ３１の撮像面は、図２（ａ）に記載のＢｃｈイメージセンサ３１の撮像面と同じであってよい。位相差検出画素は、例えば、水平方向（左又は右）に５０％遮光した画素３１２又は３３２を用いる。

【0056】

位相差情報読み出し回路４０は、取得された画像のうち、基準となる位相差検出画素付きイメージセンサ（Ｂｃｈイメージセンサ３１）の位相差検出画素の信号と、その他のイメージセンサ（例えば、Ｒｃｈイメージセンサ３３）における前述の位相差検出画素と２次元撮像面上で同位置の画素信号を読み出し、少なくとも２種類の位相差画像（Ｌ，Ｒ）として感度補正回路５０に出力する。このとき、Ｒｃｈイメージセンサ３３は位相差検出画素を有しておらず、全画素が通常の画素であるが、Ｂｃｈイメージセンサ３１の位相差検出画素３１２と２次元撮像面上で同位置の通常画素の信号を読み出し、位相差画像Ｒとする。位相差画像は、位相差情報読み出し回路４０から出力する前に、注目領域切り出し回路４１により選択され、注目領域のみの位相差画像を出力するようにしてもよい。

【0057】

また同時に、位相差情報読み出し回路４０は、その他の通常画素の画像（通常画像）を、画素補間回路７０に送る。本実施形態では、Ｂｃｈイメージセンサ３１の位相差検出画素以外の画素３１１の画像と、Ｇｃｈイメージセンサ３２及びＲｃｈイメージセンサ３３の全画素の画像を、通常画像として出力する。本実施形態（他のイメージセンサが通常のイメージセンサである場合）では、Ｂｃｈの位相差検出画素と２次元撮像面上で同位置のＲｃｈの画素の画像は、位相差画像となるだけではなく、通常画像としても用いられる。

【0058】

注目領域切り出し回路４１は、外部から入力される注目領域の座標情報、又はイメージセンサからの入力画像から事前に認識した画像内のオブジェクト情報などをもとに、合焦状態を検出したい位相差画像中の注目領域を切り出す。

【0059】

その後、感度補正回路５０は、ＢｃｈとＲｃｈから得られた位相差画像（Ｌ，Ｒ）の感度補正を行う。本実施形態では、Ｂｃｈの位相差画像は位相差検出画素（半分が遮光された画素）３１２から得られた画像であり、Ｒｃｈの位相差画像は通常画素３３１から得られた画像であるから、画素信号が２倍程度異なる。そこで、例えばヒストグラムマッチを用いて、両画像の強度が等しくなる適切な感度補正を行い、位相差検出回路６０に出力する。

【0060】

位相差検出回路６０は、本実施形態では、Ｂｃｈの位相差検出画素と、Ｒｃｈの同位置の画素（非位相差検出画素）の画像に基づいて、例えばブロックマッチング手法により相対位置ベクトルを求め、位相差を検出する。少なくとも一方の位相差画像が位相差検出画素から得られた画像であれば、両位相差画像に位置のずれが生じることから、位相差を検出することができる。

【0061】

画素補間回路７０の処理は、第１実施形態と同じである。第１実施形態では、２成分における位相差画素による画素欠陥が生じるのに対し、本実施形態では、１成分のみの画素欠陥で済むため、３板撮像方式の撮像装置としてより高画質な画像を得ることができる。

【0062】

プロセス回路８０の処理は、第１実施形態と同じである。

【0063】

（その他の実施形態）
多板撮像方式として、４板撮像方式の撮像装置を用いることができる。４板撮像方式は、赤色信号（Ｒｃｈ）と青色信号（Ｂｃｈ）にそれぞれ１つのイメージセンサを用い、緑色信号に２つのイメージセンサ（Ｇｃｈ１、Ｇｃｈ２）を用いる。２つのＧｃｈ用イメージセンサを光学像に対して空間的に斜め方向に０．５画素シフトして設置することにより、水平方向及び垂直方向のナイキスト周波数をイメージセンサの持つ解像度の２倍にすることができる。４板撮像方式の撮像装置で本発明を構成する場合、０．５画素シフトを行わないイメージセンサ（Ｇ１ｃｈ、Ｒｃｈ、Ｂｃｈ）を位相差検出画素付きイメージセンサ及びそれと対をなす位相差画像用イメージセンサに用いるのが好ましい。他の回路構成は、図１と同様である。

【0064】

さらに、１つの位相差検出画素付きイメージセンサを、従来同様、２種類（右側遮光と左側遮光）の位相差検出画素を備えたイメージセンサとしてもよい。２種類の位相差検出画素を備えたイメージセンサは、公知の技術を用いることにより、同じイメージセンサ内で位相差検出をすることができる。そして、同じセンサ内の検出結果と、複数イメージセンサでの検出結果に重みづけ平均をするなどの方法で、合焦状態を総合的に判断することができる。

【0065】

また、位相差画像を３つのイメージセンサそれぞれから読み出してもよい。例えば、ある基準となる位相差検出画素付きイメージセンサ（例えば、Ｂｃｈイメージセンサ３１）の位相差検出画素の信号と、別のイメージセンサ（例えば、Ｒｃｈイメージセンサ３３）における前述の位相差検出画素と２次元撮像面上で同位置の画素信号を読み出し、これを２種類の位相差画像（Ｂｃｈ，Ｒｃｈ）として位相差検出を行う。また、基準となる位相差検出画素付きイメージセンサ（例えば、Ｂｃｈイメージセンサ３１）の位相差検出画素の信号と、さらに別のイメージセンサ（例えば、Ｇｃｈイメージセンサ３２）における前述の位相差検出画素と２次元撮像面上で同位置の画素信号を読み出し、これを２種類の位相差画像（Ｂｃｈ，Ｇｃｈ）として位相差検出を行う。そして、ＢｃｈとＲｃｈによる位相差の検出結果と、ＢｃｈとＧｃｈによる位相差の検出結果に、重みづけ平均をするなどの方法で、合焦状態を総合的に判断することができる。

【0066】

なお、本発明の実施形態では、右半分又は左半分が遮光された位相差検出画素を用いたが、遮光領域を上半分又は下半分とした位相差検出画素を用い、これを撮像面の垂直方向に配置して、垂直方向の位相差を求めても、同じ結果が得られる。

【0067】

（効果の検証）
第１実施形態の撮像装置に基づいて、実際に位相差検出を行った。検証実験では、被写体として撮像装置から２ｍの距離においたグレーチャートを用い、単焦点レンズ（３５ｍｍ）を用いて撮影した。図４に、位相差検出画素付きイメージセンサ３１で撮影した画像の例を示す。図４の左側がイメージセンサ３１で得られた画像であり、その一部を拡大した画像を右側に示す。拡大画像において、一定間隔で並ぶ水平方向の点線が、位相差検出画素を示している。拡大画像の左右でグレー濃度が異なっており、グレー濃度の境界を含むように注目領域を設定した。注目領域内に含まれる位相差検出画素（検証では、横方向８４画素×縦方向４画素、境界を含む。）から位相差を検出した。

【0068】

図５に、第１実施形態の撮像装置で求めた位相差検出結果を示す。縦軸が位相差（Phase Different value）を画素数で示しており、横軸がフォーカス位置（ｍ）である。位相差検出方法は各種ブロックマッチング手法（ＳＡＤ，ＳＳＤ，ＺＮＣＣ，ＺＮＣＣ２）を用いて、水平方向に最大の相関を得られるシフト量を探索した。このとき、探索時にサブピクセル単位でシフトを行い、ブロックマッチングにおけるシフト量の最小単位は0.125pixel（1/8）とした。また、注目領域内の感度補正は、ヒストグラムマッチを用いた。結果より、被写体距離２ｍに対して、フォーカス距離が２ｍのとき、位相差がおよそ０pixelとなることを確認した。また、フォーカス距離が合焦点から離れた際の位相差は、ブロックマッチング手法により差はあるものの、距離が離れるほど増加することが確認でき、良好な合焦状態検出ができていることが示された。

【0069】

また、第２実施形態の撮像装置に基づいて、同様に位相差検出を行った。検証実験の設定条件は、第１実施形態と同じであるが、Ｂｃｈのみ位相差検出画素付きイメージセンサ３１を用い、Ｇｃｈ、Ｒｃｈは通常のイメージセンサを用いた。Ｂｃｈの位相差検出画素と、Ｒｃｈの同位置の画素（非位相差検出画素）で位相差を検出した。感度補正は、ヒストグラムマッチを用い、位相差検出方法は各種ブロックマッチング手法（ＳＡＤ，ＳＳＤ，ＺＮＣＣ）を用いた。

【0070】

図６に、第２実施形態の撮像装置で求めた位相差検出結果を示す。図６の結果より、被写体距離２ｍに対して、フォーカス距離が２ｍのとき、位相差がおよそ０pixelとなることを確認でき、第２実施形態においても、良好な合焦状態検出ができていることが示された。

【0071】

上記の実施形態では、撮像装置の構成と動作について説明したが、本発明はこれに限らず、撮像装置において合焦状態（位相差）を検出する方法として構成されてもよい。すなわち、複数のイメージセンサから位相差情報を読み出す工程と、感度を補正する工程と、位相差を検出する工程とを備えた、合焦状態検出方法として構成されても良い。

【0072】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0073】

１０ レンズ
２０ 分光プリズム
３０ イメージセンサ群
３１～３３ イメージセンサ
４０ 位相差情報読み出し回路
４１ 注目領域切り出し回路
５０ 感度補正回路
６０ 位相差検出回路
７０ 画素補間回路
８０ プロセス回路
３１１ 通常画素
３１２ 位相差検出画素
３３１ 通常画素
３３２ 位相差検出画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】