特開 2024-2255 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024002255

(43)【公開日】2024-01-11

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 25/70 20230101AFI20231228BHJP

【ＦＩ】

H04N5/369

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022101342

(22)【出願日】2022-06-23

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】菊地 幸大

(72)【発明者】

【氏名】冨岡 宏平

(72)【発明者】

【氏名】安江 俊夫

(72)【発明者】

【氏名】中村 友洋

(72)【発明者】

【氏名】北村 和也

(72)【発明者】

【氏名】山下 誉行

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CY17

5C024GX02

5C024GZ36

(57)【要約】

【課題】簡便な方法で、多方向の合焦状態検出と、位相差検出画素による情報欠落が少ない高画質な画像取得を両立することができる撮像装置を提供する。
【解決手段】多板撮像方式の撮像装置において、画素の受光部が一方向に２分割されて半分の領域が遮光された第１構造の位相差検出画素を有する第１のイメージセンサーと、画素の受光部が前記一方向と直交する方向に２分割されて半分の領域が遮光された第２構造の位相差検出画素を有する第２のイメージセンサーと、前記第１のイメージセンサーの前記位相差検出画素の信号と、前記第２のイメージセンサーの前記位相差検出画素の信号を読み出し、２種類の位相差画像として出力する位相差情報読み出し回路と、前記２種類の位相差画像間の相対位置ベクトルを検出し、前記相対位置ベクトルから合焦状態を求める位相差検出回路とを備えることを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のイメージセンサーを備えた多板撮像方式の撮像装置であって、
第１構造の位相差検出画素を有する第１のイメージセンサーと、
第２構造の位相差検出画素を有する第２のイメージセンサーと、
前記第１のイメージセンサーの前記位相差検出画素の信号と、前記第２のイメージセンサーの前記位相差検出画素の信号を読み出し、２種類の位相差画像として出力する位相差情報読み出し回路と、
前記２種類の位相差画像間の相対位置ベクトルを検出し、前記相対位置ベクトルから合焦状態を求める位相差検出回路と
を備え、
前記第１構造の位相差検出画素は、画素の受光部が一方向に２分割されて半分の領域が遮光されており、前記第２構造の位相差検出画素は、画素の受光部が前記一方向と直交する方向に２分割されて半分の領域が遮光されており、
前記第１構造の位相差検出画素と前記第２構造の位相差検出画素は、第１及び第２のイメージセンサーの２次元撮像面上で同位置にあることを特徴とする、撮像装置。

【請求項2】

請求項１に記載の撮像装置において、
前記位相差検出画素は、第１及び第２のイメージセンサーの２次元撮像面上で水平方向と垂直方向のピッチが同じであることを特徴とする、撮像装置。

【請求項3】

請求項２に記載の撮像装置において、
前記位相差検出回路は、ブロックマッチング手法により前記相対位置ベクトルを検出することを特徴とする、撮像装置。

【請求項4】

請求項３に記載の撮像装置において、
前記位相差検出回路は、ブロックマッチング手法による探索時に、サブピクセル単位でシフトすることを特徴とする、撮像装置。

【請求項5】

請求項４に記載の撮像装置において、
前記２種類の位相差画像に対して注目領域を設定し、前記注目領域に含まれる位相差画像を切り出して出力する注目領域切り出し回路をさらに備えることを特徴とする、撮像装置。

【請求項6】

請求項５に記載の撮像装置において、
前記２種類の位相差画像の感度差を補正する感度補正回路をさらに備えることを特徴とする、撮像装置。

【請求項7】

請求項１乃至６に記載の撮像装置において、
前記位相差情報読み出し回路から、前記複数のイメージセンサーの前記位相差検出画素以外の画素の信号が入力され、前記位相差検出画素の位置の信号を、前記位相差検出画素の周辺画素の信号、前記第１及び第２のイメージセンサー以外のイメージセンサーの前記位相差検出画素と２次元撮像面上で同位置の画素の信号、及びその周辺画素の信号、の少なくとも１つから補間又は推定処理して求める画素補間回路をさらに備えることを特徴とする、撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は撮像装置に関し、特に、映像撮影時のレンズフォーカス距離と被写体距離との差分に応じた合焦状態を検出する撮像装置に関する。

【背景技術】

【0002】

近年、撮像装置に対し、オートフォーカス機能や画像と同時に奥行き情報を取得する機能を付加するニーズが増えている。これら機能の実現には、レンズのフォーカス距離と被写体距離との位置関係で変化する撮影画像の合焦状態を検出するための技術が有効である。従来、画像の取得と合焦状態の検出を同時に行うための手法として、像面位相差検出方式がよく知られている。像面位相差検出方式は、互いが異なる形状の射出瞳に応じた感度を持つ一対の画素（位相差検出画素）を複数設けたイメージセンサーを用いて、検出された結像面上の相対位置ベクトル（位相差情報）から合焦状態を検出する方式である（例えば、特許文献１）。

【0003】

特許文献１では、フォトダイオード（光電変換部）の開口部の面積、及びＸ方向、Ｙ方向の位置がそれぞれ異なる複数種類の位相差検出画素を配置した撮像装置が示されており、ここから得られる複数種類の位相差検出画素対の出力から、直交する２つの配列方向における合焦状態を検出している。特許文献１は、カラーフィルターアレイを有する単一のイメージセンサーからカラー画像を取得する、いわゆる単板撮像方式における合焦状態検出手法の例である。

【0004】

また、位相差特性が異なる複数の位相差検出画素が配置された撮像素子から供給される複数の位相差検出画素の出力が加算された加算値に基づいて、測距情報を取得する装置が提案されている（特許文献２）。この装置は、交換レンズ式カメラの像面位相差センサにおいて、センサの異なるライン上に複数種類の瞳分割を行う位相差検出画素を配置することで、レンズに応じた最適な射出瞳距離を有する位相差検出画素を選択して出力、又は複数を加算して出力するものである。特許文献２には、半透過ミラーを介して、専用位相差ＡＦセンサと像面位相差センサに入射光を分光する撮像装置において、専用位相差ＡＦセンサは横線を検出し、像面位相差センサでは縦線を個別に検出することでクロス測距を行う技術も記載されている。

【0005】

一方、放送用カメラなどの高感度や優れた色再現性などの高い画質が求められるカメラでは、３板撮像方式に代表される、複数のイメージセンサーと入射光分光用のダイクロイックプリズム（分光プリズム）を用いてカラー画像を取得する多板撮像方式が多く用いられている。ここで、３板撮像方式においては、主にＲｃｈ（チャンネル）、Ｇｃｈ、Ｂｃｈの３成分に分光するための分光プリズムが用いられる。

【0006】

しかし、こうした３板撮像方式における像面位相差検出法は、最適な手法が確立していない。仮に特許文献１と同様の手法を用いて、３板撮像方式のそれぞれのイメージセンサーに複数種類の位相差検出画素を備えた場合、位相差検出画素は画像取得時に画素欠陥として扱われるため、画像内の広い領域で画質が低下してしまい、高画質な画像取得を目的とする３板撮像方式の利点が失われてしまう、という問題が生じる。また、引用文献２のように、半透過ミラーや専用位相差ＡＦセンサといった、特別な光学系を追加することは、光学系を複雑にするものであり、３板撮像方式への適用は現実的ではない。

【0007】

本発明者らは、３板撮像方式をはじめとする多板撮像方式の撮像装置において、合焦状態を検出するための技術開発に取り組んでおり、これまで様々な撮像装置を提案している（例えば、特許文献３）。

【0008】

特許文献３の撮像装置は、画素の一方の半分（右半分）の領域が遮光されている位相差検出画素を有する第１のイメージセンサーと、画素の他方の半分（左半分）の領域が遮光されている位相差検出画素を有する第２のイメージセンサーを備え、これら位相差検出画素から得られた２種類の位相差画像間の相対位置ベクトルを検出し、この相対位置ベクトルから合焦状態を求めるものである。この撮像装置によれば、簡便な方法で高精度な合焦状態検出と、高画質な画像取得を両立することができる。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０１６－９９４１６号公報

【特許文献2】国際公開第２０１９／０３１０００号

【特許文献3】特開２０２１－１７５０５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、特許文献３の撮像装置は、画素の一方の半分の領域が遮光されている位相差検出画素と画素の他方の半分の領域が遮光されている位相差検出画素を用いるため、合焦状態の検出対象が特定方向に限定され、改善の余地があった。

【0011】

したがって、上記のような問題点に鑑みてなされた本発明の目的は、３板撮像方式をはじめとする多板撮像方式の撮像装置であって、簡便な方法で、多方向の合焦状態検出と、位相差検出画素による情報欠落が少ない高画質な画像取得を両立することができる撮像装置を提供することにある。

【課題を解決するための手段】

【0012】

上記課題を解決するために本発明に係る撮像装置は、
（１）複数のイメージセンサーを備えた多板撮像方式の撮像装置であって、第１構造の位相差検出画素を有する第１のイメージセンサーと、第２構造の位相差検出画素を有する第２のイメージセンサーと、前記第１のイメージセンサーの前記位相差検出画素の信号と、前記第２のイメージセンサーの前記位相差検出画素の信号を読み出し、２種類の位相差画像として出力する位相差情報読み出し回路と、前記２種類の位相差画像間の相対位置ベクトルを検出し、前記相対位置ベクトルから合焦状態を求める位相差検出回路とを備え、前記第１構造の位相差検出画素は、画素の受光部が一方向に２分割されて半分の領域が遮光されており、前記第２構造の位相差検出画素は、画素の受光部が前記一方向と直交する方向に２分割されて半分の領域が遮光されており、前記第１構造の位相差検出画素と前記第２構造の位相差検出画素は、第１及び第２のイメージセンサーの２次元撮像面上で同位置にあることを特徴とする、撮像装置である。

【0013】

（２）上記（１）の撮像装置は、更に、前記位相差検出画素が、第１及び第２のイメージセンサーの２次元撮像面上で水平方向と垂直方向のピッチが同じであることが好ましい。

【0014】

（３）上記（１）又は（２）の撮像装置は、更に、前記位相差検出回路が、ブロックマッチング手法により前記相対位置ベクトルを検出することが好ましい。

【0015】

（４）上記（１）～（３）のいずれかの撮像装置は、更に、前記位相差検出回路が、ブロックマッチング手法による探索時に、サブピクセル単位でシフトすることが好ましい。

【0016】

（５）上記（１）～（４）のいずれかの撮像装置は、更に、前記２種類の位相差画像に対して注目領域を設定し、前記注目領域に含まれる位相差画像を切り出して出力する注目領域切り出し回路をさらに備えることが好ましい。

【0017】

（６）上記（１）～（５）のいずれかの撮像装置は、更に、前記２種類の位相差画像の感度差を補正する感度補正回路をさらに備えることが好ましい。

【0018】

（７）上記（１）～（６）のいずれかの撮像装置は、更に、前記位相差情報読み出し回路から、前記複数のイメージセンサーの前記位相差検出画素以外の画素の信号が入力され、前記位相差検出画素の位置の信号を、前記位相差検出画素の周辺画素の信号、前記第１及び第２のイメージセンサー以外のイメージセンサーの前記位相差検出画素と２次元撮像面上で同位置の画素の信号、及びその周辺画素の信号、の少なくとも１つから補間又は推定処理して求める画素補間回路をさらに備えることが好ましい。

【発明の効果】

【0019】

本発明における撮像装置によれば、３板撮像方式をはじめとする多板撮像方式の光学系において、簡便な方法で、多方向の合焦状態検出と、位相差検出画素による情報欠落が少ない高画質な画像取得を両立することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態の撮像装置のブロック図の例である。

【図2A】位相差検出画素付きイメージセンサーの撮像面の例を示す図である。

【図2B】位相差検出画素付きイメージセンサーの撮像面の別の例を示す図である。

【図3】位相差検出画素及び通常画素からみた射出瞳の形状の例を示す図である。

【図4】２つの位相差検出画素付きイメージセンサーの結像面上の相対位置ベクトルの例である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態について、図面を用いて説明する。

【0022】

図１は、本発明の一実施形態の撮像装置のブロック図の例である。図１の撮像装置１は、３板撮像方式の撮像装置１であり、レンズ１０、分光プリズム２０、イメージセンサー群３０（３１～３３）、位相差情報読み出し回路４０、注目領域切り出し回路４１、感度補正回路４２、位相差検出回路４３、画素補間回路５０、画像処理回路６０を備えている。以下、各構成回路について説明する。

【0023】

レンズ１０は、一般的なカメラのレンズであり、所定の焦点距離を有し、画像（物体の像）を各イメージセンサー（撮像素子）３１～３３の撮像面に結像する。例えば、放送用ズームレンズはフォーカス群、ズーム群、リレー群、エクステンダ群といったレンズ群から成り立っており、レンズ枚数は３０枚から４０枚に達するものもある。レンズ１０は、撮像装置１と分離可能な構成であってもよい。また、レンズ１０は、レンズドライバ（図示せず）を備え、フォーカス制御が可能となっている。

【0024】

分光プリズム２０は、入射光の色分解を行う。例えば、分光プリズム２０は、ダイクロイックミラーによる選択反射を利用して、入射光をＲ（赤）、Ｇ（緑）、Ｂ（青）の３色に分解する。

【0025】

イメージセンサー群３０は、位相差検出画素付きの第１のイメージセンサー３１及び第２のイメージセンサー３２を備えている。他のイメージセンサー３３は通常のイメージセンサー（位相差検出画素なし）であってよい。例えば、Ｂ成分（Ｂｃｈ）イメージセンサー３１を第１の位相差検出画素付きイメージセンサーとし、Ｒ成分（Ｒｃｈ）イメージセンサー３２を第２の位相差検出画素付きイメージセンサーとすることができるが、これに限定されるものではない。位相差検出画素付きイメージセンサー（単に、「位相差検出イメージセンサー」ということがある。）と通常のイメージセンサーをどの色チャンネルとするかは、適宜設定することができる。

【0026】

なお、Ｂｃｈの画像は、人間の視覚における輝度情報に対する寄与が低いので、一部に欠損画素（位相差検出画素）が含まれていても、人が認識する画質の劣化に対する影響が少なく、Ｂｃｈイメージセンサー３１を位相差検出画素付きイメージセンサーとすることが画像品質の点で有利である。イメージセンサー群３０は、分光プリズム２０により分光された各入射光について、位相差情報を含む画像を取得し、撮像画像を位相差情報読み出し回路４０に出力する。

【0027】

図２Ａ，図２Ｂに、位相差検出画素付きイメージセンサーの撮像面の例を示す。本発明では、一方の位相差検出イメージセンサーの位相差検出画素は、第１構造を有しており、画素の受光部が一方向（例えば、水平方向）に２分割されて半分の領域が遮光された画素である。また、他方の位相差検出イメージセンサーの位相差検出画素は、第２構造を有しており、画素の受光部が一方向と直交する方向（例えば、垂直方向）に２分割されて半分の領域が遮光された画素である。すなわち、両イメージセンサーで、位相差検出画素の遮光領域の配置方向（遮光方向）が異なっている。ただし、位相差検出画素は、それぞれのイメージセンサーの２次元撮像面上で同位置に配置される。

【0028】

ここで、図２Ａは、Ｂｃｈのイメージセンサー３１の撮像面の例であり、位相差検出画素３１２は水平方向の右半分遮光した画素を用いている。図２Ｂは、Ｒｃｈのイメージセンサー３２の撮像面の例であり、位相差検出画素３２２は垂直方向の下半分遮光した画素を用いている。なお、Ｇｃｈは通常のイメージセンサー（位相差検出画素なし）であるので、図示を省略している。

【0029】

本実施形態では、Ｂｃｈのイメージセンサー３１は、通常の画素３１１と位相差検出画素３１２を備えている。Ｂｃｈの位相差検出画素３１２は、図２Ａに示されるように、画素開口部の右半分を、例えば金属層で遮光している。この位相差検出画素３１２の出力からなる画像は、後述のとおり、合焦状態によって水平方向にシフトすることから、水平位相差画像Ｈということがある。位相差検出画素３１２の配置は、例えば、画面の水平方向及び垂直方向のピッチが４pixelである。位相差検出画素３１２が多いほど正確な位相差検出が可能であるが、位相差検出画素３１２は撮像の際には画素欠陥となるため、位相差検出画素３１２が多いと画質の劣化を招く。したがって、位相差検出画素３１２の水平方向と垂直方向のピッチは、位相差検出感度と撮像画像の画質のバランスを考慮し、適宜設定することができる。なお、水平方向と垂直方向のピッチは、独立して任意に設定することができるが、両者のピッチを同じにすると、水平方向と垂直方向の位相差検出感度が同じになることから、より望ましい。

【0030】

Ｒｃｈのイメージセンサー３２は、通常の画素３２１と位相差検出画素３２２を備えている。Ｒｃｈの位相差検出画素３２２は、図２Ｂに示されるように、画素開口部の下半分を、例えば金属層で遮光しており、Ｂｃｈの位相差検出画素３１２とは、遮光する方向が直交（９０度回転）している。この位相差検出画素３２２の出力からなる画像は、後述のとおり、合焦状態によって垂直方向にシフトすることから、垂直位相差画像Ｖということがある。位相差検出画素３２２の配置も、例えば、画面の水平方向及び垂直方向のピッチが４pixelである。位相差検出画素３２２の水平方向と垂直方向のピッチも、Ｂｃｈと同様に適宜設定することができるが、この位相差検出画素３２２の２次元撮像面上の位置は、Ｂｃｈの位相差検出画素３１２と一致するように構成される。

【0031】

図１に戻って、位相差情報読み出し回路４０は、イメージセンサー群３０から撮像画像を取得し、取得した画像のうち、位相差検出画素付きイメージセンサー（Ｂｃｈイメージセンサー３１、Ｒｃｈイメージセンサー３２）の位相差検出画素の信号を読み出し、２種類の位相差画像（Ｈ，Ｖ）として注目領域切り出し回路４１に出力する。本実施形態では、Ｂｃｈイメージセンサー３１の位相差検出画素３１２の信号を読み出して水平位相差画像Ｈとし、Ｒｃｈイメージセンサー３２の位相差検出画素３２２の信号を読み出して垂直位相差画像Ｖとする。なお、位相差画像は、位相差検出画素の出力信号からなる画像であり、位相差（合焦状態）を検出するための相対位置ベクトルを取得するための画像である。

【0032】

また同時に、位相差情報読み出し回路４０は、その他の通常画素の信号（通常画像）を、画素補間回路５０に出力する。本実施形態では、Ｂｃｈイメージセンサー３１の位相差検出画素以外の画素３１１の画像と、Ｒｃｈイメージセンサー３２の位相差検出画素以外の画素３２１の画像と、Ｇｃｈイメージセンサー３３の全画素の画像を、通常画像として出力する。

【0033】

注目領域切り出し回路４１は、外部から入力される注目領域の座標情報、又はイメージセンサーからの入力画像から事前に認識した画像内のオブジェクト情報などをもとに、注目領域を設定し、位相差情報読み出し回路４０から入力された位相差画像Ｈ，Ｖから、それぞれ注目領域を切り出す。注目領域の決定手段としては、例えば、次のような手法がある。
・出力画像から人手で決定する。
・出力画像から機械学習済みのモデルを利用して決定する。
・出力画像によらず固定値（例えば、画像中央の予め設定された領域等）とする。

【0034】

注目領域を切り出す際は、エッジが含まれる領域を注目領域として設定することが望ましい。なお、本発明においてはエッジの方向は限定されず、任意の方向のエッジであってもよい。従来技術（特許文献３）では、位相差検出画素で検出可能な方向のエッジを含む領域を注目領域として選択する必要があったが、本発明では、任意の方向のエッジを含む領域を選択することができ、注目領域の設定の自由度が大きくなる効果がある。注目領域切り出し回路４１は、切り出した注目領域の位相差画像（Ｈ’，Ｖ’）を、感度補正回路４２に出力する。

【0035】

なお、図１では、注目領域切り出し回路４１は、位相差情報読み出し回路４０とは独立した回路として記載されているが、位相差情報読み出し回路４０の内部回路として構成されてもよい。この場合、イメージセンサーからの入力画像から、注目領域切り出し回路４１により注目領域となる画像領域を切り出し、その後、切り出された注目領域に含まれる位相差検出画素の信号を、位相差画像（Ｈ’，Ｖ’）として出力してもよい。

【0036】

感度補正回路４２は、位相差画像（Ｈ’，Ｖ’）間の画像平均やヒストグラム情報を用いて、両画像の感度差（輝度差、コントラスト差）を補正する。例えば、両画像のヒストグラムが一致するように画像を補正することが望ましい。

【0037】

位相差画像は、各位相差検出イメージセンサー上で異なる波長（及び異なる開口）から生成される位相差検出画素の情報を用いるため、位相差画像間で輝度やコントラスト、被写体のエッジ形状などが一致しない場合がある。このような状態では、後段の位相差検出（ブロックマッチング）の精度が低下するおそれがある。したがって、感度補正回路４２により、輝度やコントラスト、エッジ形状のマッチングを行うことが望ましい。輝度やコントラストのマッチングには、次に例示する公知の技術による補正が適用できる。
・遮光率、画素感度から求まる固定係数の乗算
・ピーク値（最大値、最小値）のマッチング・正規化
・ヒストグラムマッチング

【0038】

感度補正回路４２は、感度が補正された位相差画像（Ｈ”，Ｖ”）を、位相差検出回路４３へ出力する。なお、水平位相差画像Ｈ’と垂直位相差画像Ｖ’の感度がほぼ一致しているときは、感度補正を省略してもよい。

【0039】

位相差検出回路４３は、感度補正した位相差画像（Ｈ”，Ｖ”）間の相対位置（相対位置ベクトル）を、例えばブロックマッチング手法で検出し、得られた相対位置ベクトルの符号、大きさから合焦状態（位相差）を算出し、出力する。

【0040】

本発明において好適な位相差検出方法（ブロックマッチング手法）としては、位相差画像間の感度差に対してロバストな手法、すなわちＺＳＡＤ（zero-mean SAD）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-means Normalized Cross-Correlation）などが好ましい。より好適には、ＺＮＣＣを自乗した評価式を用いて、その最大値をとるシフト量（もっとも１に近い値をとるシフト量）を位相差として出力する手法でマッチングをすることが好ましい。ＺＮＣＣの相互相関係数を自乗にすることで、ハードウェア上での計算が困難な平方根演算を除外できるうえ、負の相関を持つ画像に対しても、マッチング判定が可能となる。したがって、ＺＮＣＣを自乗した評価式は、特に位相差画像間でエッジの輝度の明暗領域が反転する可能性がある場合においても、正常な合焦判定を行うために有効となる。

【0041】

本実施形態では、ブロックマッチングの探索方向は、水平方向・垂直方向の両方向とし２次元的に行う。また、探索時は画素単位より細かいサブピクセル単位のシフトを用いてもよい。微細なシフトでマッチングを行うことで、本来のイメージセンサーの画素単位よりも、更に微細に精度よく位相差を検出することができる。

【0042】

画素補間回路５０は、位相差情報読み出し回路４０から通常画像（位相差検出画素が欠損画素となっている画像）が入力され、欠落画像となっている位相差検出画素の位置の画像（信号）を補間処理により求める。この補間処理は、公知の任意の手段を用いることができ、例えば、隣接する周囲画素の画素値の平均を求めて補間値としてもよい。更に欠損画素（位相差検出画素）の周辺画素（周囲画素を含む）、他のイメージセンサー（位相差検出イメージセンサー以外のイメージセンサー）の欠損画素と２次元撮像面で同位置の画素、及びその周辺画素の少なくとも１つの情報から、公知の補間又は推定処理を行ってもよい。欠損画素（位相差検出画素）の位置の画像と他のイメージセンサーの欠損画素と同位置の画像とは強い相関がある。また、他のイメージセンサーの欠損画素と同位置の画像とその周辺画素の画像の相関関係を、欠損画素の周辺画素の画像から欠損画素の位置の画像を推定する際に利用することができる。画素補間回路５０からは、欠落画像が補間又は推定処理により復元された完全な画像が、画像処理回路６０に出力される。

【0043】

本実施形態では、１つのイメージセンサーに１種類の位相差検出画素（右遮光画素又は下遮光画素）のみを設けているから、従来（特許文献１，２）と同じ精度で位相差を検出するための位相差検出画素を、例えば半分とすることができる。したがって、イメージセンサー当たりの欠落画像は少なくなるから、より正確な補間処理が可能であり、従来よりも復元された画像の品質が高くなる。

【0044】

画像処理回路６０は、撮像装置内で一般に行われる各種画像処理を行う。例えば、ＲＧＢ信号のホワイトバランス調整やゲイン調整、ガンマ補正、エッジ強調処理等を行い、画像処理回路６０は、処理後の画像を撮像装置１の出力画像として出力する。

【0045】

次に、相対位置ベクトル（位相差情報）の取得について説明する。図３は、図２Ａ，図２Ｂの位相差検出画素及び通常画素からみた射出瞳の形状の例である。図３において、被写体からの入射光は、分光プリズム２０により各色に分光され、各イメージセンサーに入射する。３板光学系における同位置のＲＧＢ画素として、Ｂｃｈの位相差検出画素（遮光画素）、Ｇｃｈの通常画素、及びＲｃｈの位相差検出画素（遮光画素）を想定する。ここで、Ｇｃｈ用の通常画素は開口を中心にもつため、射出瞳の重心も中央に形成される。Ｂｃｈ用の位相差検出画素３１２は、射出瞳が水平方向にシフトした偏心を持つ。Ｒｃｈ用の位相差検出画素３２２は、射出瞳が垂直方向にシフトした偏心を持つ。

【0046】

上記構成を備えたイメージセンサー群３０において、垂直方向にのみエッジをもつ被写体（縦縞模様など）に対して位相差検出を行う場合、Ｂｃｈの位相差検出画素から形成した位相差画像は、合焦状態に応じて像心が水平方向にシフトする一方、Ｒｃｈの位相差検出画素から形成した位相差画像の像心はシフトしない。したがって、このＢｃｈとＲｃｈの位相差画像対から相対位置ベクトル（Ｂｃｈのシフトが寄与する）を求めることが可能となり、そのベクトルの符号からフォーカスのズレ方向（前ピン・後ピン）、ベクトルの大きさからズレ量といった合焦判定が実現できる。

【0047】

また、水平方向にのみエッジをもつ被写体（横縞模様など）に対して位相差検出を行う場合、Ｂｃｈからの位相差画像の像心はシフトせず、Ｒｃｈからの位相差画像の像心は垂直方向にシフトする。したがって、このＢｃｈとＲｃｈの位相差画像対から相対位置ベクトル（Ｒｃｈのシフトが寄与する）を求めることが可能となり、そのベクトルの符号からフォーカスのズレ方向、ベクトルの大きさからズレ量といった合焦判定が実現できる。

【0048】

斜め方向にエッジをもつ被写体に対して位相差検出を行う場合は、Ｂｃｈからの位相差画像の像心は水平に、Ｒｃｈからの位相差画像の像心は垂直方向にそれぞれにシフトするが、２次元の相対位置ベクトルとして求めることができる。図３の例では、相対位置ベクトルは、ＢｃｈとＲｃｈの開口偏心を結ぶ方向となり、第１象限又は第３象限に投影されるが、位置する象限によってフォーカスのズレ方向、大きさからズレ量といった合焦判定が実現できる。

【0049】

図４は、２つのイメージセンサーの結像面上の相対位置ベクトルの例である。ａは、垂直方向にエッジをもつ被写体（縦縞模様等）のフォーカスずれが生じたときの相対位置ベクトルの例である。ｂは、水平方向にエッジをもつ被写体（横縞模様等）のフォーカスずれが生じたときの相対位置ベクトルの例である。ｃは、斜め方向にエッジをもつ被写体のフォーカスずれが生じたときの相対位置ベクトルの例である。このように、本発明によれば、多方向の合焦状態検出が可能となる。

【0050】

また、本発明によれば、多方向にエッジ情報をもつ画像に対しての合焦判定を、多板撮像方式の同位置における第１構造と第２構造の位相差検出画素対のみから判定できるため、複数の位相差検出画素対を配置する従来の手法と比較して、検出用画素による情報欠落が少ない高画質な画像取得を同時に行うことができる。

【0051】

上記の実施形態では、撮像装置１の構成と動作について説明したが、本発明はこれに限らず、撮像装置１において合焦状態（位相差）を検出する方法として構成されてもよい。すなわち、第１構造と第２構造の位相差検出画素を備えるイメージセンサーから位相差情報を読み出す工程と、感度を補正する工程と、位相差を検出する工程とを備えた、合焦状態検出方法として構成されても良い。

【0052】

また、上記の実施形態では、図２Ａ，図２Ｂに示すように、第１構造と第２構造の位相差検出画素を備えるイメージセンサーは、それぞれ一種類の位相差検出画素を有する場合について説明したが、単一のイメージセンサー上に複数種類の位相差検出画素を有していても良い。その場合、２種類のイメージセンサー間で、２次元撮像面で同位置の位相差画素の遮光領域は、いずれも直交する方向に配置される。

【0053】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0054】

１０ レンズ
２０ 分光プリズム
３０ イメージセンサー群
３１～３３ イメージセンサー
４０ 位相差情報読み出し回路
４１ 注目領域切り出し回路
４２ 感度補正回路
４３ 位相差検出回路
５０ 画素補間回路
６０ 画像処理回路
３１１ 通常画素
３１２ 位相差検出画素
３２１ 通常画素
３２２ 位相差検出画素

【図1】

【図2A】

【図2B】

【図3】

【図4】