(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】撮像装置
(51)【国際特許分類】
G02B 7/34 20210101AFI20241107BHJP
G03B 13/36 20210101ALI20241107BHJP
H04N 23/68 20230101ALI20241107BHJP
H04N 25/70 20230101ALI20241107BHJP
H04N 25/704 20230101ALI20241107BHJP
【ＦＩ】
G02B7/34
G03B13/36
H04N23/68
H04N25/70
H04N25/704
【請求項の数】
7
(21)【出願番号】P 2020140748
(22)【出願日】2020-08-24
(65)【公開番号】P2022036505
(43)【公開日】2022-03-08
【審査請求日】2023-07-10
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】菊地 幸大
(72)【発明者】
【氏名】船津 良平
(72)【発明者】
【氏名】安江 俊夫
(72)【発明者】
【氏名】冨岡 宏平
(72)【発明者】
【氏名】松原 智樹
(72)【発明者】
【氏名】山下 誉行
【審査官】藏田 敦之
(56)【参考文献】
【文献】特開２０１４－２３６４１１（ＪＰ，Ａ）
【文献】特開２０１３－２２９７６４（ＪＰ，Ａ）
【文献】特開２０１２－１４１５８５（ＪＰ，Ａ）
【文献】特開２０１６－０２８２６５（ＪＰ，Ａ）
【文献】特開２０１６－０９９４１６（ＪＰ，Ａ）
【文献】特開２０１８－１８０３２（ＪＰ，Ａ）
【文献】特開２０１９－４５７２５（ＪＰ，Ａ）
【文献】特開２０２０－３６８６（ＪＰ，Ａ）
【文献】国際公開第２０１７／１７５５７９（ＷＯ，Ａ１）
【文献】国際公開第２０１３／１４６９９６（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１６／０１８２８９６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ７／２８ － ７／４０
Ｇ０３Ｂ ３／００ － ３／１２
Ｇ０３Ｂ １３／３０ －１３／３６
Ｇ０３Ｂ ２１／５３
Ｈ０４Ｎ ２３／６７
Ｈ０４Ｎ ２５／７０ －２５／７０５
(57)【特許請求の範囲】
【請求項1】
レンズを介して撮像を行う撮像装置であって、特定色の画素に、開口状態が異なる２種類の位相差検出画素を配置したイメージセンサと、
前記イメージセンサから、前記開口状態が同じ種類の位相差検出画素の画素値をそれぞれ読み出して、位相差情報となる２つの位相差画像を生成する位相差情報読み出し部と、
前記２つの位相差画像の位相差を検出する位相差検出部と、
前記特定色に応じた開口偏心を補正する補正係数により位相差を補正し、補正した位相差からフォーカスずれ量を算出するフォーカスずれ量算出部と、
を備えることを特徴とする撮像装置。
【請求項2】
前記位相差検出部は、前記２つの位相差画像をブロックマッチングした相対位置ベクトルを前記位相差として検出することを特徴とする請求項１に記載の撮像装置。
【請求項3】
前記位相差検出部は、前記位相差検出画素の２種類の異なる開口の配置方向にブロックマッチングを行うことを特徴とする請求項２に記載の撮像装置。
【請求項4】
前記フォーカスずれ量算出部で算出されたフォーカスずれ量に応じた距離を駆動量として、前記レンズのフォーカス位置を制御するフォーカス制御部をさらに備えることを特徴とする請求項１から請求項３のいずれか一項に記載の撮像装置。
【請求項5】
前記２つの位相差画像から、それぞれ、予め設定された、または、外部から指定された注目領域を切り出して、前記位相差検出部で位相差を検出するための画像を生成する注目領域切り出し部をさらに備えることを特徴とする請求項１または請求項４のいずれか一項に記載の撮像装置。
【請求項6】
前記位相差検出部の前段に、前記位相差を検出する画像間の感度のピーク値がマッチングするように感度差を補正する感度補正部をさらに備えることを特徴とする請求項１から請求項５のいずれか一項に記載の撮像装置。
【請求項7】
前記位相差検出画素の画素値を、前記位相差検出画素の周辺の前記特定色の画素の画素値で補間する画素補間部をさらに備えることを特徴とする請求項１から請求項６のいずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、像面位相差検出技術を用いた撮像装置に関する。
【背景技術】
【0002】
近年、撮像装置に対し、オートフォーカス機能や画像と同時に奥行き情報を取得する機能を付加するニーズが増えている。これら機能の実現には、撮像した映像から任意の被写体に対する合焦状態を検出する技術、および、検出した合焦状態からレンズフォーカス位置と被写体位置との差分に応じた距離情報（フォーカスずれ量）を正確に見積もるための技術が重要となる。
【0003】
撮像した映像から被写体の合焦状態を検出する手法として、像面位相差検出技術がよく知られている。像面位相差検出技術は、形状が互いに異なる２つ以上の射出瞳に応じた入射光感度を持つ画素（位相差検出画素）からなるイメージセンサを用いて、合焦状態に応じて入射光感度が変化する結像面上の相対距離ベクトル、すなわち、位相差を求める手法である（例えば、特許文献１参照）。
【0004】
特許文献１に記載の手法は、像面位相差検出技術を用いたオートフォーカスの手法の一例である。特許文献１に記載の手法は、射出瞳を領域で分割した複数の像面位相差画素を用いて、それぞれの画素から生成される画像の空間的ずれ量から位相差（文献ではデフォーカス量と定義）を算出し、その位相差からレンズフォーカスの駆動量を決定する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１６－９９４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１には、像面位相差画素の画像から算出した位相差から、フォーカスずれ量を算出する手順や、レンズフォーカスの駆動量を決定する手順は明示されていない。一般に、像面位相差検出技術で得られる位相差は、位相差画素の入射光感度が持つ波長依存性により、誤差を含むことが知られている。
そのため、従来の手法では、正確なフォーカスずれ量を検出することが困難であるという問題がある。
そのため、従来の手法では、正確なフォーカスずれ量を検出することが困難であるという問題がある。
【0007】
本発明は、このような従来の問題点に鑑みてなされたもので、正確なフォーカスずれ量を検出することが可能な撮像装置を提供することを課題とする。
【課題を解決するための手段】
【0008】
前記課題を解決するため、本発明に係る撮像装置は、レンズを介して撮像を行う撮像装置であって、イメージセンサと、位相差情報読み出し部と、位相差検出部と、フォーカスずれ量算出部と、を備える構成とした。
【0009】
かかる構成において、撮像装置は、位相差情報読み出し部によって、特定色の画素に、開口状態が異なる２種類の位相差検出画素を配置したイメージセンサから、開口状態が同じ種類の位相差検出画素の画素値をそれぞれ読み出して、２つの位相差画像を生成する。この２つの位相差画像は、同じ被写体に対して、異なる開口で撮像された画像であるため、位相差が生じている。
そして、撮像装置は、位相差検出部によって、２つの位相差画像の位相差を、ブロックマッチング等によって検出する。
そして、撮像装置は、位相差検出部によって、２つの位相差画像の位相差を、ブロックマッチング等によって検出する。
【0010】
また、撮像装置は、フォーカスずれ量算出部によって、特定色に応じた開口偏心を補正する補正係数により位相差を補正し、補正した位相差からフォーカスずれ量を算出する。なお、特定色は波長が特定されており、その波長に応じて開口偏心を補正する補正係数は、予め測定により求めることができる。
【0011】
このように、撮像装置は、特定色の画素に、開口状態が異なる２種類の位相差検出画素を配置したイメージセンサを用いることで、特定色の波長のみに依存した開口偏心を特定することができる。これによって、撮像装置は、位相差とフォーカスずれ量との関係を幾何モデルとして特定することが可能になり、位相差から精度よくフォーカスずれ量を算出することができる。
【発明の効果】
【0012】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、特定色の波長のみに依存した幾何モデルで、位相差からフォーカスずれ量を算出することができるため、他の色の波長の影響を受けずに、精度よくフォーカスずれ量を算出することができる。
これによって、本発明は、精度よくフォーカスの合った被写体像を撮像することができる。
本発明によれば、特定色の波長のみに依存した幾何モデルで、位相差からフォーカスずれ量を算出することができるため、他の色の波長の影響を受けずに、精度よくフォーカスずれ量を算出することができる。
これによって、本発明は、精度よくフォーカスの合った被写体像を撮像することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図4】位相差検出画素をＧ画素の一部に形成し、イメージセンサに撮像される撮像面の色構造の例を示す図である。
【図5】フォーカスずれ量を算出するための幾何モデルを説明するための説明図である。
【図6】光の入射角と位相差画素の感度との関係を測定したグラフ図である。
【図7】フォーカス位置と、イメージセンサへの入射角範囲との関係を示す模式図である。
【図8】予め測定により求めた入射角範囲と補正係数との関係の一例を示すグラフ図である。
【図9】入射角範囲と補正係数との対応関係をイメージセンサの複数の領域で区分したルックアップテーブルの構成例を示す図である。
【図10】本発明の実施形態に係る撮像装置の動作を示すフローチャートである。
【図11】実際のフォーカスずれ量と算出したフォーカスずれ量との関係を示すグラフ図で、（ａ）は補正係数を使用しない場合、（ｂ）は補正係数を使用した場合を示す。
【発明を実施するための形態】
【0014】
［撮像装置の構成］
まず、図１を参照して、本発明の実施形態に係る撮像装置１の構成について説明する。
撮像装置１は、レンズ１０を介して撮像を行うものである。特に、撮像装置１は、フォーカスのずれ量を検出して、精度よく被写体を撮像するものである。
図１に示すように、撮像装置１は、レンズ１０と、イメージセンサ１１と、位相差情報読み出し部１２と、感度補正部１３と、位相差検出部１４と、フォーカスずれ量算出部１５と、フォーカス制御部１６と、画素補間部１７と、画像処理部１８と、を備える。
まず、図１を参照して、本発明の実施形態に係る撮像装置１の構成について説明する。
撮像装置１は、レンズ１０を介して撮像を行うものである。特に、撮像装置１は、フォーカスのずれ量を検出して、精度よく被写体を撮像するものである。
図１に示すように、撮像装置１は、レンズ１０と、イメージセンサ１１と、位相差情報読み出し部１２と、感度補正部１３と、位相差検出部１４と、フォーカスずれ量算出部１５と、フォーカス制御部１６と、画素補間部１７と、画像処理部１８と、を備える。
【0015】
レンズ１０は、被写体の物体像をイメージセンサ１１の撮像面に結像させるものである。レンズ１０は、１または複数の光学レンズで構成された一般的なカメラレンズを用いることができる。なお、レンズ１０は、撮像装置１と分離可能な構成であってもよい。
ここでは、レンズ１０は、レンズドライバ１０ａを備える。
ここでは、レンズ１０は、レンズドライバ１０ａを備える。
【0016】
レンズドライバ１０ａは、レンズ１０のフォーカス位置を駆動するものである。レンズドライバ１０ａは、後記するフォーカス制御部１６から出力される駆動量に応じて、レンズ１０のフォーカス位置を光軸方向に移動させる。
【0017】
イメージセンサ１１は、特定色の画素に、開口状態が異なる像面位相差検出を行うための少なくとも２種類の位相差検出画素を配置したものである。ここで、開口状態とは、開口の位置、形状、もしくはその両方である。
このイメージセンサ１１は、レンズ１０を介して入射される光を画像に変換する。なお、ここでは、単板撮像方式のイメージセンサの例で説明する。
このイメージセンサ１１は、レンズ１０を介して入射される光を画像に変換する。なお、ここでは、単板撮像方式のイメージセンサの例で説明する。
【0018】
ここで、図２および図３を参照して、イメージセンサ１１の構造について説明する。
図２に示すように、イメージセンサ１１は、マイクロレンズアレイ１１ａと、カラーフィルタ１１ｂと、開口を有する配線層１１ｃと、フォトダイオード１１ｄと、を備える。
図２に示すように、イメージセンサ１１は、マイクロレンズアレイ１１ａと、カラーフィルタ１１ｂと、開口を有する配線層１１ｃと、フォトダイオード１１ｄと、を備える。
【0019】
マイクロレンズアレイ１１ａは、マイクロレンズ（凸レンズ）を二次元に配列したレンズ群である。マイクロレンズアレイ１１ａは、個々のマイクロレンズが画素に対応し、マイクロレンズの焦点距離に配置したフォトダイオード１１ｄに入射光を照射する。
【0020】
カラーフィルタ１１ｂは、特定色の波長の光を透過させる狭帯域の透過スペクトルを有すフィルタである。ここでは、カラーフィルタ１１ｂを、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を１：２：１の比率としたＲＧ１Ｇ２Ｂのベイヤ配列のフィルタとするが、その他の色や配列であっても構わない。
【0021】
配線層１１ｃは、フォトダイオード１１ｄの電圧の入出力等を行う配線を形成した層である。この配線層１１ｃにおいて、配線を形成しない透過領域が有効画素領域であって、入射光をフォトダイオード１１ｄに導く。
【0022】
フォトダイオード１１ｄは、入射光を電気信号に変換するものである。このフォトダイオード１１ｄの入射面が、像を撮像する撮像面となる。
なお、ここでは、予め定めた位置に対応する位相差検出画素に対して、配線層１１ｃの開口状態を変え、フォトダイオード１１ｄへの光を部分的に遮光する。
なお、ここでは、予め定めた位置に対応する位相差検出画素に対して、配線層１１ｃの開口状態を変え、フォトダイオード１１ｄへの光を部分的に遮光する。
【0023】
例えば、図３に示すように、配線層１１ｃによって、左右それぞれの光を５０％遮光する。図３（ａ）は、フォトダイオード１１ｄの左側ＬＳの開口ＨＬにより光が照射するように配線層１１ｃを形成した例、図３（ｂ）は、フォトダイオード１１ｄの右側ＲＳの開口ＨＲにより光が照射するように配線層１１ｃを形成した例である。なお、遮光領域を形成するためには、専用の遮光板を設けてもよいが、配線層１１ｃを利用するほうが、構造上効率的である。
なお、位相差検出画素は、撮像面において、同じ色、例えばＧ画素の一部または全部とする。もちろん、Ｒ画素、Ｂ画素を位相差検出画素としてもよい。また、ここでは、水平方向に開口位置を変えたが、垂直方向に開口位置を変えてもよい。
なお、位相差検出画素は、撮像面において、同じ色、例えばＧ画素の一部または全部とする。もちろん、Ｒ画素、Ｂ画素を位相差検出画素としてもよい。また、ここでは、水平方向に開口位置を変えたが、垂直方向に開口位置を変えてもよい。
【0024】
図４に、位相差検出画素を撮像面のＧ画素の一部に形成し、イメージセンサ１１に撮像される撮像面の色構造の例を示す。
図４は、Ｇ（Ｇ２）画素の一部を位相差検出画素として配置し、左右それぞれの入射光を遮光した位相差検出画素（左目位相差検出画素ＬＧおよび右目位相差検出画素ＲＧ）を、交互に所定間隔で二次元配列したときの撮像面の例である。
このように、イメージセンサ１１は、入射光から、各色の画素および位相差検出画素の画素値で構成された撮像画像を生成する。
図１に戻って、撮像装置１の構成について説明を続ける。
イメージセンサ１１は、撮像画像を位相差情報読み出し部１２に出力する。
図４は、Ｇ（Ｇ２）画素の一部を位相差検出画素として配置し、左右それぞれの入射光を遮光した位相差検出画素（左目位相差検出画素ＬＧおよび右目位相差検出画素ＲＧ）を、交互に所定間隔で二次元配列したときの撮像面の例である。
このように、イメージセンサ１１は、入射光から、各色の画素および位相差検出画素の画素値で構成された撮像画像を生成する。
図１に戻って、撮像装置１の構成について説明を続ける。
イメージセンサ１１は、撮像画像を位相差情報読み出し部１２に出力する。
【0025】
位相差情報読み出し部１２は、イメージセンサ１１から、開口状態が同じ種類の位相差検出画素の画素値をそれぞれ読み出して、位相差情報となる２つの位相差画像を生成するものである。
ここでは、位相差情報読み出し部１２は、注目領域切り出し部１２ａを備える。
ここでは、位相差情報読み出し部１２は、注目領域切り出し部１２ａを備える。
【0026】
注目領域切り出し部１２ａは、位相差情報読み出し部１２で読み出す２つの位相差画像から、それぞれ注目領域を切り出すものである。
注目領域は、特に限定するものではないが、例えば、外部から人手を介して指定される領域である。この場合、操作者は、図示を省略したモニタを介して撮像装置１の出力画像を認識し、操作者が特にフォーカスを合わせたい被写体等を矩形領域等で指定する。もちろん、この注目領域は、人物、物体検出等の既存の機械学習済のモデルを用いて特定することとしてもよい。あるいは、注目領域は、撮像画像の中央等の予め設定された領域としてもよい。
注目領域は、特に限定するものではないが、例えば、外部から人手を介して指定される領域である。この場合、操作者は、図示を省略したモニタを介して撮像装置１の出力画像を認識し、操作者が特にフォーカスを合わせたい被写体等を矩形領域等で指定する。もちろん、この注目領域は、人物、物体検出等の既存の機械学習済のモデルを用いて特定することとしてもよい。あるいは、注目領域は、撮像画像の中央等の予め設定された領域としてもよい。
【0027】
注目領域切り出し部１２ａは、撮像画像の注目領域から、位相差検出画素の画像をそれぞれ切り出して位相差画像（左目位相差画像Ｌ，右目位相差画像Ｒ）を生成する。
例えば、イメージセンサ１１が、図４に示した画素構造の場合、注目領域切り出し部１２ａは、撮像画像から、注目領域内の左目位相差検出画素ＬＧのみで構成される画像を左目位相差画像Ｌとして切り出す。また、注目領域切り出し部１２ａは、右目位相差検出画素ＲＧのみで構成される画像を右目位相差画像Ｒとして切り出す。
注目領域切り出し部１２ａは、生成した左目位相差画像Ｌおよび右目位相差画像Ｒを感度補正部１３に出力する。
また、位相差情報読み出し部１２は、イメージセンサ１１で撮像された画像のうち、位相差検出画素を欠落画素とする画像を、画素補間部１７に出力する。
例えば、イメージセンサ１１が、図４に示した画素構造の場合、注目領域切り出し部１２ａは、撮像画像から、注目領域内の左目位相差検出画素ＬＧのみで構成される画像を左目位相差画像Ｌとして切り出す。また、注目領域切り出し部１２ａは、右目位相差検出画素ＲＧのみで構成される画像を右目位相差画像Ｒとして切り出す。
注目領域切り出し部１２ａは、生成した左目位相差画像Ｌおよび右目位相差画像Ｒを感度補正部１３に出力する。
また、位相差情報読み出し部１２は、イメージセンサ１１で撮像された画像のうち、位相差検出画素を欠落画素とする画像を、画素補間部１７に出力する。
【0028】
感度補正部１３は、位相差情報読み出し部１２（注目領域切り出し部１２ａ）で生成された位相差画像（左目位相差画像Ｌ，右目位相差画像Ｒ）間の感度差（輝度差、コントラスト差）を補正するものである。
【0029】
例えば、感度補正部１３は、左目位相差画像Ｌおよび右目位相差画像Ｒのそれぞれの感度のピーク値（最大値、最小値）がマッチング（一致）するように、各画像を正規化する。あるいは、感度補正部１３は、一般的なヒストグラムマッチング手法を用いて、左目位相差画像Ｌおよび右目位相差画像Ｒの感度差を補正してもよい。あるいは、感度補正部１３は、位相差検出画素の予め設計あるいは測定された遮光率、画素感度等から求められる感度を一致させる係数を乗算することで、左目位相差画像Ｌおよび右目位相差画像Ｒの感度差を補正してもよい。
感度補正部１３は、補正後の左目位相差画像Ｌ′および右目位相差画像Ｒ′を、位相差検出部１４に出力する。
感度補正部１３は、補正後の左目位相差画像Ｌ′および右目位相差画像Ｒ′を、位相差検出部１４に出力する。
【0030】
位相差検出部１４は、感度を補正した左目位相差画像Ｌ′および右目位相差画像Ｒ′の画像間の位相差Ｐｄｉｆを検出するものである。この画像間の位相差Ｐｄｉｆは、相対位置ベクトルの大きさとして求めることができる。
【0031】
例えば、位相差検出部１４は、左目位相差画像Ｌ′と右目位相差画像Ｒ′とをブロックマッチングすることで相対位置ベクトルの大きさを求める。なお、ブロックマッチングのブロックの探索方向は、開口の配置方向（遮光方向）に準じることとする。例えば、ここでは、位相差画像は、図４に示したように、左目位相差検出画素ＬＧと右目位相差検出画素ＲＧとで、水平方向に開口位置が異なる。そこで、位相差検出部１４は、ブロックマッチングの探索方向を水平方向とする。
【0032】
また、位相差検出部１４は、ブロックマッチングを行う際に、探索単位を画素よりも小さいサブピクセル単位とする。これによって、位相差検出部１４は、イメージセンサ１１の画素単位よりも、さらに微細に精度よく位相差を検出することができる。
位相差検出部１４は、検出した位相差Ｐｄｉｆを、フォーカスずれ量算出部１５に出力する。
位相差検出部１４は、検出した位相差Ｐｄｉｆを、フォーカスずれ量算出部１５に出力する。
【0033】
フォーカスずれ量算出部１５は、特定色に応じた開口偏心を補正する補正係数により、位相差検出部１４で検出された位相差Ｐｄｉｆを補正し、補正した位相差からフォーカスずれ量を算出するものである。
このフォーカスずれ量算出部１５は、レンズフォーカス距離と実際の被写体までの距離とのずれ量を表した幾何モデルと、位相差検出画素の入射光感度で規定される補正係数と、位相差とを用いて、フォーカスずれ量を算出する
このフォーカスずれ量算出部１５は、レンズフォーカス距離と実際の被写体までの距離とのずれ量を表した幾何モデルと、位相差検出画素の入射光感度で規定される補正係数と、位相差とを用いて、フォーカスずれ量を算出する
【0034】
ここで、図５を参照して、フォーカスずれ量算出部１５におけるフォーカスずれ量の算出手法について説明する。
図５は、紙面上下方向の下半分が遮光された位相差画素を用いた場合のレンズフォーカス距離と実際の被写体までの距離（被写体距離）とのずれ量を模式的に表した幾何モデルを示す図である。ここで、レンズ１０は、光学系を模式的に凸レンズとして表している。
フォーカスずれ量算出部１５は、図５の幾何モデルにより、フォーカスずれ量Ｘを、以下の式（１）により算出する。
図５は、紙面上下方向の下半分が遮光された位相差画素を用いた場合のレンズフォーカス距離と実際の被写体までの距離（被写体距離）とのずれ量を模式的に表した幾何モデルを示す図である。ここで、レンズ１０は、光学系を模式的に凸レンズとして表している。
フォーカスずれ量算出部１５は、図５の幾何モデルにより、フォーカスずれ量Ｘを、以下の式（１）により算出する。
【0035】
【数1】
【0036】
図５の幾何モデルは、レンズ１０の射出瞳（絞りによって決まる有効口径）の開口偏心を通過した被写体Ｏの光線がイメージセンサ１１の撮像面の像高が“０”、すなわち、中央に結像するまでの光路を示すモデルである。なお、イメージセンサ１１の位相差画素は、レンズ１０の半分が５０％遮光されることと等価である。また、レンズ１０の開口形状（位相差画素の開口形状）で一意に定まる理想的な開口偏心をＡ、光線の波長に依存して生じる開口偏心の誤差を補正するための補正係数をＣとする。すなわち、Ａ×Ｃは、補正後の開口偏心を示す。
【0037】
前記式（１）～（４）において、ＬＤはフォーカスが合った状態の被写体Ｏからイメージセンサ１１の撮像面までのレンズフォーカス距離、ＴＤはフォーカスが合っていない状態の被写体Ｏ′からイメージセンサ１１の撮像面までの被写体距離を示す。
また、Ｌｏｂｊは被写体Ｏからレンズ１０の主点までの距離、Ｔｏｂｊは被写体Ｏ′からレンズ１０の主点までの距離を示す。
また、Ｌｉｍｇはレンズ１０の主点からイメージセンサ１１の撮像面までの距離、Ｔｉｍｇはレンズ１０の主点から被写体光がレンズ１０の光軸に達するまでの距離を示す。
また、ｆはレンズ１０の焦点距離を示す。
また、Ｌｏｂｊは被写体Ｏからレンズ１０の主点までの距離、Ｔｏｂｊは被写体Ｏ′からレンズ１０の主点までの距離を示す。
また、Ｌｉｍｇはレンズ１０の主点からイメージセンサ１１の撮像面までの距離、Ｔｉｍｇはレンズ１０の主点から被写体光がレンズ１０の光軸に達するまでの距離を示す。
また、ｆはレンズ１０の焦点距離を示す。
【0038】
また、前記式（３）におけるＤは、被写体Ｏ′からレンズ１０の開口偏心を通過した光線のイメージセンサ１１の撮像位置である。
このＤは、位相差検出部１４で検出された位相差Ｐｄｉｆと、位相差画素の画素ピッチＰとから、前記式（４）で算出することができる。なお、位相差画素の画素ピッチＰは、予め設定された既知の情報である。
このＤは、位相差検出部１４で検出された位相差Ｐｄｉｆと、位相差画素の画素ピッチＰとから、前記式（４）で算出することができる。なお、位相差画素の画素ピッチＰは、予め設定された既知の情報である。
【0039】
また、前記式（３）における開口偏心Ａ×Ｃのうち、Ａはレンズ１０の開口領域の重心であって、本実施形態の例では５０％遮光であるため、理想的にはＡ＝０．２５×ｆ／Ｆｎである。ただし、開口偏心は、光の波長によって変動する。そこで、ここでは、開口偏心の誤差を補正するための補正係数Ｃを用いる。この補正係数Ｃは、特定の光（ここでは、Ｇ光）の開口偏心の誤差を補正する予め測定された係数であって、０以上１以下の実数である。なお、Ｆｎ値は、レンズ１０の焦点距離と射出瞳（有効口径）との比である。
【0040】
（補正係数について）
以下、補正係数Ｃについて、具体的に説明する。
図６は、Ｒ画素、Ｇ画素、Ｂ画素をそれぞれ位相差検出画素とした場合の光の入射角［deg.］と位相差画素の感度［a.u.］との関係を測定したグラフ図である。図６に示すように、光の入射角および波長によって、イメージセンサ１１の感度は異なる。
ただし、撮像装置１は、位相差検出画素を特定の色の画素（ここでは、Ｇ画素）に限定しているため、特定の色の波長のみを考慮すればよいことになる。
以下、補正係数Ｃについて、具体的に説明する。
図６は、Ｒ画素、Ｇ画素、Ｂ画素をそれぞれ位相差検出画素とした場合の光の入射角［deg.］と位相差画素の感度［a.u.］との関係を測定したグラフ図である。図６に示すように、光の入射角および波長によって、イメージセンサ１１の感度は異なる。
ただし、撮像装置１は、位相差検出画素を特定の色の画素（ここでは、Ｇ画素）に限定しているため、特定の色の波長のみを考慮すればよいことになる。
【0041】
イメージセンサ１１に対する光の入射角範囲は、イメージセンサ１１のＦｎ値（Ｆナンバー）およびフォーカス位置により決まる。
図７は、Ｆｎ値およびフォーカス位置と、イメージセンサ１１への入射角範囲との関係を示す模式図である。ここで、入射角範囲θは、以下の式（５）で求めることができる。なお、無限遠の被写体を撮影した場合の最大入射角範囲θｍａｘは、ｆ＝Ｔｉｍｇであるため、以下の式（６）となる。
図７は、Ｆｎ値およびフォーカス位置と、イメージセンサ１１への入射角範囲との関係を示す模式図である。ここで、入射角範囲θは、以下の式（５）で求めることができる。なお、無限遠の被写体を撮影した場合の最大入射角範囲θｍａｘは、ｆ＝Ｔｉｍｇであるため、以下の式（６）となる。
【0042】
【数2】
【0043】
実際の撮像系では、ｆ／Ｔｉｍｇがほぼ“１”となり、値の変動もアークタンジェント（ｔａｎ－１）の変分に対して十分に小さいため、入射角範囲は、前記式（６）によりＦｎ値のみで特定してもよい。この場合、Ｆｎ＝２．２であれば、入射角範囲θｍａｘはおおよそ－１２～＋１２（deg.）となる。
そして、図６に示した入射角と感度とに基づいて、入射角範囲θ（例えば、－１２～＋１２）に対応する感度重心角度（θＲ，θＧ，θＢ）と、理想的な感度重心角度（０．５×θ）との比から、以下の式（７）により、入射角範囲θの開口偏心に対応する補正係数（ＣＲ，ＣＧ，ＣＢ）を求める。ここで、理想的な感度重心角度は、位相差画素の感度が、感光側（左目位相差検出画素の場合、正の入射角範囲）で一定の値を持ち、遮光側（左目位相差検出画素の場合、負の入射角範囲）で“０”となる場合を仮定する。
そして、図６に示した入射角と感度とに基づいて、入射角範囲θ（例えば、－１２～＋１２）に対応する感度重心角度（θＲ，θＧ，θＢ）と、理想的な感度重心角度（０．５×θ）との比から、以下の式（７）により、入射角範囲θの開口偏心に対応する補正係数（ＣＲ，ＣＧ，ＣＢ）を求める。ここで、理想的な感度重心角度は、位相差画素の感度が、感光側（左目位相差検出画素の場合、正の入射角範囲）で一定の値を持ち、遮光側（左目位相差検出画素の場合、負の入射角範囲）で“０”となる場合を仮定する。
【0044】
【数3】
【0045】
図８に、予め測定により求めた入射角範囲と補正係数との関係の一例を示す。
例えば、Ｆｎ＝２．２であれば、入射角範囲は約±１２度となるため、位相差検出画素にＲ画素を用いる場合、補正係数ＣＲを“０．２４”、Ｇ画素を用いる場合、補正係数ＣＧを“０．３６”、Ｂ画素を用いる場合、補正係数ＣＢを“０．６０”とする。
このＦｎ値別の入射角範囲と補正係数との対応関係は、予め図示を省略したメモリにルックアップテーブル（ＬＵＴ）として予め記憶し、フォーカスずれ量算出部１５が参照することとすればよい。
例えば、Ｆｎ＝２．２であれば、入射角範囲は約±１２度となるため、位相差検出画素にＲ画素を用いる場合、補正係数ＣＲを“０．２４”、Ｇ画素を用いる場合、補正係数ＣＧを“０．３６”、Ｂ画素を用いる場合、補正係数ＣＢを“０．６０”とする。
このＦｎ値別の入射角範囲と補正係数との対応関係は、予め図示を省略したメモリにルックアップテーブル（ＬＵＴ）として予め記憶し、フォーカスずれ量算出部１５が参照することとすればよい。
【0046】
なお、入射角に対する感度は、イメージセンサ１１の中心部と周辺部とで異なるため、イメージセンサ１１を、複数の領域に区分して、それぞれ個別のＬＵＴを設けてもよい。例えば、図４に示した左右で遮光が異なる位相差検出画素を用いた場合、図９に示すように、イメージセンサ１１の中心部用のＬＵＴ１、その左右の周辺用のＬＵＴ２、ＬＵＴ３、ＬＵＴ４のように、イメージセンサ１１を左右の複数の領域に区分した複数のＬＵＴを準備すればよい。
【0047】
図１に戻って、撮像装置１の構成について説明を続ける。
フォーカスずれ量算出部１５は、前記式（１）で算出したフォーカスずれ量Ｘを、フォーカス制御部１６に出力する。
フォーカスずれ量算出部１５は、前記式（１）で算出したフォーカスずれ量Ｘを、フォーカス制御部１６に出力する。
【0048】
フォーカス制御部１６は、フォーカスずれ量算出部１５で算出されたフォーカスずれ量に基づいて、レンズ１０のフォーカスを制御するものである。
フォーカス制御部１６は、フォーカスずれ量に応じた距離をレンズフォーカスの駆動量として、レンズドライバ１０ａに出力する。これによって、フォーカスずれが解消する方向に、レンズ１０のフォーカス位置が移動する。
フォーカス制御部１６は、フォーカスずれ量に応じた距離をレンズフォーカスの駆動量として、レンズドライバ１０ａに出力する。これによって、フォーカスずれが解消する方向に、レンズ１０のフォーカス位置が移動する。
【0049】
画素補間部１７は、位相差情報読み出し部１２から位相差検出画素を欠落画素とする画像を入力し、位相差検出画素を補間するものである。
図４で説明したように、画素補間部１７に入力される画像は、位相差検出画素の信号が欠落した欠落画像となっている。そこで、画素補間部１７は、補間処理で周辺画素から欠落画素（位相差検出画素）を補間する。なお、補間処理には、公知の一般的な手法を用いればよい。
例えば、図４で示したように、イメージセンサ１１の画素構造がベイヤ配列で、Ｇ画素を位相差検出画素としている場合、画素補間部１７は、欠落画素を、周辺の欠落していないＧ画素の重み付き平均値により算出する。
画素補間部１７は、欠落画素を補間した画像を画像処理部１８に出力する。
図４で説明したように、画素補間部１７に入力される画像は、位相差検出画素の信号が欠落した欠落画像となっている。そこで、画素補間部１７は、補間処理で周辺画素から欠落画素（位相差検出画素）を補間する。なお、補間処理には、公知の一般的な手法を用いればよい。
例えば、図４で示したように、イメージセンサ１１の画素構造がベイヤ配列で、Ｇ画素を位相差検出画素としている場合、画素補間部１７は、欠落画素を、周辺の欠落していないＧ画素の重み付き平均値により算出する。
画素補間部１７は、欠落画素を補間した画像を画像処理部１８に出力する。
【0050】
画像処理部１８は、画素補間部１７で欠落画素を補間された画像から、出力画像を生成するものである。この画像処理部１８は、一般的なプロセス回路で構成される。
この画像処理部１８は、例えば、ベイヤ配列の画素構造の画像から、ＲＧＢ各色の画像を生成する。この場合、画像処理部１８は、例えば、Ｒ画像を生成する場合、ベイヤ配列のＲ以外の画素を、周辺のＲ画素で補間することで、Ｒ画像を生成する。Ｇ画像、Ｂ画像についても同様である。
また、画像処理部１８は、ホワイトバランス調整、ゲイン調整等、一般的な画像処理を行うこととしてもよい。
画像処理部１８は、画像処理後の画像を、撮像装置１の出力画像として出力する。
この画像処理部１８は、例えば、ベイヤ配列の画素構造の画像から、ＲＧＢ各色の画像を生成する。この場合、画像処理部１８は、例えば、Ｒ画像を生成する場合、ベイヤ配列のＲ以外の画素を、周辺のＲ画素で補間することで、Ｒ画像を生成する。Ｇ画像、Ｂ画像についても同様である。
また、画像処理部１８は、ホワイトバランス調整、ゲイン調整等、一般的な画像処理を行うこととしてもよい。
画像処理部１８は、画像処理後の画像を、撮像装置１の出力画像として出力する。
【0051】
以上説明したように構成することで、撮像装置１は、像面位相差検出において、特定の波長の光のみから、フォーカスずれ量を検出することができる。これによって、撮像装置１は、特定色以外の波長に影響を受けずに、精度よくフォーカスが合った画像を撮像することができる。
【0052】
【0053】
ステップＳ１において、イメージセンサ１１は、レンズ１０を介して入射される光を撮像する。このイメージセンサ１１は、位相差検出画素付きイメージセンサであって、特定の色（ここでは、Ｇ）の画素の一部を左目位相差検出画素、右目位相差検出画素として、左右の半分を遮光する。
【0054】
ステップＳ２において、位相差情報読み出し部１２は、ステップＳ１で撮像された画像から、それぞれ異なる位相差検出画素の画素値を読み出して、位相差画像（左目位相差画像Ｌ，右目位相差画像Ｒ）を生成する。なお、ここでは、位相差情報読み出し部１２は、注目領域切り出し部１２ａによって、予め設定された注目領域の画像のみを切り出して位相差画像とする。
位相差画像については、ステップＳ３以降で、位相差検出画素を欠落画素とする撮像画像については、ステップＳ７以降で、それぞれ並列で処理される。
位相差画像については、ステップＳ３以降で、位相差検出画素を欠落画素とする撮像画像については、ステップＳ７以降で、それぞれ並列で処理される。
【0055】
ステップＳ３において、感度補正部１３は、ステップＳ２で生成された位相差画像（左目位相差画像Ｌ，右目位相差画像Ｒ）間の感度差を補正する。
ステップＳ４において、位相差検出部１４は、ステップＳ３で補正された左目位相差画像Ｌ′および右目位相差画像Ｒ′の画像間の位相差Ｐｄｉｆを、ブロックマッチング等により検出する。
ステップＳ４において、位相差検出部１４は、ステップＳ３で補正された左目位相差画像Ｌ′および右目位相差画像Ｒ′の画像間の位相差Ｐｄｉｆを、ブロックマッチング等により検出する。
【0056】
ステップＳ５において、フォーカスずれ量算出部１５は、ステップＳ４で検出された位相差Ｐｄｉｆと、位相差画像の色（ここでは、Ｇ）の波長に応じた補正係数で補正した開口偏心とに基づいて、前記式（１）により、フォーカスずれ量を算出する。
ステップＳ６において、フォーカス制御部１６は、ステップＳ５で算出されたフォーカスずれ量に応じた距離をレンズフォーカスの駆動量として、レンズドライバ１０ａを制御し、レンズ１０のフォーカス位置を移動させる。
ステップＳ６において、フォーカス制御部１６は、ステップＳ５で算出されたフォーカスずれ量に応じた距離をレンズフォーカスの駆動量として、レンズドライバ１０ａを制御し、レンズ１０のフォーカス位置を移動させる。
【0057】
一方、ステップＳ７において、画素補間部１７は、ステップＳ２で撮像された位相差検出画素を欠落画素とする撮像画像の欠落画素を周辺画素により補間する。
ステップＳ８において、画像処理部１８は、ステップＳ７で欠落画素を補間された画像から、出力画像を生成する。ここでは、画像処理部１８は、ベイヤ配列の画像からＲＧＢ画像を生成したり、ホワイトバランス調整を行ったり、ゲイン調整を行ったり等、一般的な画像処理を行う。
なお、本動作は、撮像を行う間、順次繰り返して実行される。
ステップＳ８において、画像処理部１８は、ステップＳ７で欠落画素を補間された画像から、出力画像を生成する。ここでは、画像処理部１８は、ベイヤ配列の画像からＲＧＢ画像を生成したり、ホワイトバランス調整を行ったり、ゲイン調整を行ったり等、一般的な画像処理を行う。
なお、本動作は、撮像を行う間、順次繰り返して実行される。
【0058】
［評価結果］
次に、図１１を参照して、撮像装置１におけるフォーカスずれ量の検出性能の評価結果について説明する。図１１は、光軸中心で、かつ、イメージセンサ１１から２ｍの距離に設置した白色点光源をレンズ１０のフォーカス位置を変えながら撮像した場合のフォーカスずれ量の測定結果を示す。図１１の横軸は実際のフォーカスずれ量、縦軸はフォーカスずれ量算出部１５で算出したフォーカスずれ量である。なお、ここでは、位相検出画素を、Ｒ画素、Ｇ画素、Ｂ画素とした場合のそれぞれの測定結果を示している。
次に、図１１を参照して、撮像装置１におけるフォーカスずれ量の検出性能の評価結果について説明する。図１１は、光軸中心で、かつ、イメージセンサ１１から２ｍの距離に設置した白色点光源をレンズ１０のフォーカス位置を変えながら撮像した場合のフォーカスずれ量の測定結果を示す。図１１の横軸は実際のフォーカスずれ量、縦軸はフォーカスずれ量算出部１５で算出したフォーカスずれ量である。なお、ここでは、位相検出画素を、Ｒ画素、Ｇ画素、Ｂ画素とした場合のそれぞれの測定結果を示している。
【0059】
なお、図１１（ａ）は、補正を行わない場合（補正係数Ｃ＝１）、図１１（ｂ）は、位相検出画素の色の波長に応じた補正係数を用いて補正を行った場合を示す。具体的には、位相検出画素をＲ画素とし場合、ＣＲ＝０．２４、位相検出画素をＧ画素とし場合、ＣＧ＝０．３６、位相検出画素をＢ画素とし場合、ＣＢ＝０．６０である。
【0060】
図１１（ａ）に示すように、実際のフォーカスずれ量と算出したフォーカスずれ量とは、誤差が生じている。また、この測定結果では、フォーカスずれ量に波長依存性があることもわかる。入射光の波長が長いほど、例えば、位相検出画素として、Ｂ画素よりもＧ画素、Ｇ画素よりもＲ画素を用いたほうが、誤差が大きくなっている。
これに対し、図１１（ｂ）に示すように、位相検出画素の色の波長に応じた補正係数を用いて補正を行うことで、フォーカスずれ量の誤差は小さくなり、精度よくフォーカスずれ量を算出することができる。
これに対し、図１１（ｂ）に示すように、位相検出画素の色の波長に応じた補正係数を用いて補正を行うことで、フォーカスずれ量の誤差は小さくなり、精度よくフォーカスずれ量を算出することができる。
【0061】
［変形例］
以上、本発明の実施形態に係る撮像装置１について説明したが、本発明は、この実施形態に限定されるものではない。
以上、本発明の実施形態に係る撮像装置１について説明したが、本発明は、この実施形態に限定されるものではない。
【0062】
（変形例１）
ここでは、同じ色の左目位相差検出画素と右目位相差検出画素とから位相差を検出することとしたが、異なる色の位相差検出画素から位相差を検出してもよい。
例えば、左目の色をＲ、右目の色をＢとした場合、フォーカスずれ量算出部１５では、得られた位相差に対し（ＣＲ＋ＣＢ）／２の補正係数を乗ずればよい。
ここでは、同じ色の左目位相差検出画素と右目位相差検出画素とから位相差を検出することとしたが、異なる色の位相差検出画素から位相差を検出してもよい。
例えば、左目の色をＲ、右目の色をＢとした場合、フォーカスずれ量算出部１５では、得られた位相差に対し（ＣＲ＋ＣＢ）／２の補正係数を乗ずればよい。
【0063】
（変形例２）
ここでは、イメージセンサ１１を、単板撮像方式のイメージセンサとした。
しかし、イメージセンサ１１として、３板撮像方式等の多板撮像方式のイメージセンサを用いてもよい。この場合、レンズ１０からの入射光を分光プリズム等で各色光に分光し、各色に対応するイメージセンサで撮像を行う。例えば、３板撮像方式の場合、ＲＧＢの各イメージセンサのいずれか一つを位相差検出画素付きイメージセンサとすればよい。
ここでは、イメージセンサ１１を、単板撮像方式のイメージセンサとした。
しかし、イメージセンサ１１として、３板撮像方式等の多板撮像方式のイメージセンサを用いてもよい。この場合、レンズ１０からの入射光を分光プリズム等で各色光に分光し、各色に対応するイメージセンサで撮像を行う。例えば、３板撮像方式の場合、ＲＧＢの各イメージセンサのいずれか一つを位相差検出画素付きイメージセンサとすればよい。
【0064】
（変形例３）
ここでは、イメージセンサ１１の位相差検出画素を、左半分または右半分を遮光した開口を有する画素とした。
しかし、この開口は、左右に限定されず、上下に設けてもよい。この場合も、予め測定により、補正係数を求めておけばよい。
ここでは、イメージセンサ１１の位相差検出画素を、左半分または右半分を遮光した開口を有する画素とした。
しかし、この開口は、左右に限定されず、上下に設けてもよい。この場合も、予め測定により、補正係数を求めておけばよい。
【0065】
（変形例４）
ここでは、撮像装置１は、位相差からフォーカスずれ量を算出することとしたが、位相差検出部１４は、検出した位相差を奥行き情報としてそのまま出力してもよい。
また、ここでは、位相差情報読み出し部１２は、撮像画像全体、または、注目領域切り出し部１２ａで切り出された撮像画像中の注目領域の画像の１つの画像において、位相差を検出した。
しかし、位相差情報読み出し部１２は、公知の物体認識技術を用いて、１以上の被写体を検出し、撮像画像を被写体の領域ごとに切り出して、位相差検出部１４が被写体ごとに位相差を検出し、奥行き情報として出力してもよい。
なお、撮像装置１を、フォーカスずれ量を算出して、レンズ１０のフォーカス位置を制御するように動作するか、複数の被写体の奥行きを出力するように動作するかは、外部から動作モードを切り替えることとすればよい。
ここでは、撮像装置１は、位相差からフォーカスずれ量を算出することとしたが、位相差検出部１４は、検出した位相差を奥行き情報としてそのまま出力してもよい。
また、ここでは、位相差情報読み出し部１２は、撮像画像全体、または、注目領域切り出し部１２ａで切り出された撮像画像中の注目領域の画像の１つの画像において、位相差を検出した。
しかし、位相差情報読み出し部１２は、公知の物体認識技術を用いて、１以上の被写体を検出し、撮像画像を被写体の領域ごとに切り出して、位相差検出部１４が被写体ごとに位相差を検出し、奥行き情報として出力してもよい。
なお、撮像装置１を、フォーカスずれ量を算出して、レンズ１０のフォーカス位置を制御するように動作するか、複数の被写体の奥行きを出力するように動作するかは、外部から動作モードを切り替えることとすればよい。
【0066】
（その他）
ここでは、撮像装置１は、フォーカス制御部１６を備え、自動でレンズ１０のフォーカスを制御することとした。しかし、フォーカスずれ量算出部１５で算出されるフォーカスずれ量を、図示を省略したモニタ等に表示し、操作者が、そのずれ量に応じて、レンズ１０のフォーカスをマニュアル操作してもよい。この場合、撮像装置１から、レンズドライバ１０ａ、フォーカス制御部１６を省略して構成することができる。
ここでは、撮像装置１は、フォーカス制御部１６を備え、自動でレンズ１０のフォーカスを制御することとした。しかし、フォーカスずれ量算出部１５で算出されるフォーカスずれ量を、図示を省略したモニタ等に表示し、操作者が、そのずれ量に応じて、レンズ１０のフォーカスをマニュアル操作してもよい。この場合、撮像装置１から、レンズドライバ１０ａ、フォーカス制御部１６を省略して構成することができる。
【0067】
また、ここでは、撮像装置１は、感度補正部１３を備える構成とした。しかし、精度の高いイメージセンサ１１を用いる場合、必ずしも構成として必要ではなく省略してもよい。もちろん、精度をより高めるため、感度補正部１３を備えることが好ましい。
【0068】
また、ここでは、注目領域切り出し部１２ａを、位相差情報読み出し部１２の内部に備える構成としたが、位相差情報読み出し部１２から分離して構成してもよい。その場合、位相差情報読み出し部１２が、イメージセンサ１１から画像全体で位相差検出画素の画素値を読み出して位相差画像を生成し、注目領域切り出し部１２ａが、その位相差画像から注目領域の画像を切り出せばよい。
【符号の説明】
【0069】
１ 撮像装置
１０ レンズ
１０ａ レンズドライバ
１１ イメージセンサ
１２ 位相差情報読み出し部
１２ａ 注目領域切り出し部
１３ 感度補正部
１４ 位相差検出部
１５ フォーカスずれ量算出部
１６ フォーカス制御部
１７ 画素補間部
１８ 画像処理部
ＬＧ 左目位相差検出画素
ＲＧ 右目位相差検出画素
ＨＬ，ＨＲ 開口
１０ レンズ
１０ａ レンズドライバ
１１ イメージセンサ
１２ 位相差情報読み出し部
１２ａ 注目領域切り出し部
１３ 感度補正部
１４ 位相差検出部
１５ フォーカスずれ量算出部
１６ フォーカス制御部
１７ 画素補間部
１８ 画像処理部
ＬＧ 左目位相差検出画素
ＲＧ 右目位相差検出画素
ＨＬ，ＨＲ 開口
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】