特開 2024-77658 撮像装置及び撮像装置の画像信号読み出し方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024077658

(43)【公開日】2024-06-10

(54)【発明の名称】撮像装置及び撮像装置の画像信号読み出し方法

(51)【国際特許分類】

   G02B 7/28 20210101AFI20240603BHJP

   G03B 13/36 20210101ALI20240603BHJP

   H04N 23/54 20230101ALI20240603BHJP

   H04N 23/60 20230101ALI20240603BHJP

   H04N 23/63 20230101ALI20240603BHJP

   H04N 25/70 20230101ALI20240603BHJP

   H04N 25/40 20230101ALI20240603BHJP

【ＦＩ】

G02B7/28 N

G03B13/36

H04N23/54

H04N23/60

H04N23/63

H04N25/70

H04N25/40

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022189731

(22)【出願日】2022-11-29

(71)【出願人】

【識別番号】000131326

【氏名又は名称】株式会社シグマ

(72)【発明者】

【氏名】村上 雄祐

【テーマコード（参考）】

2H011

2H151

5C024

5C122

【Ｆターム（参考）】

2H011BA33

2H011BB04

2H151BA45

2H151BA47

2H151CB22

2H151CB26

2H151CE14

2H151CE33

5C024CY17

5C024EX12

5C024GX07

5C024GX14

5C024GY31

5C122EA12

5C122EA68

5C122FC06

5C122FC07

5C122FD01

5C122HB01

5C122HB02

(57)【要約】

【課題】積層型撮像素子を備える撮像装置において、画像データの読み出しを制御することで多点ＡＦを実現し、合焦動作の高速化と高精度化を達成させた撮像装置及び画像信号の読み出し方法を提供する
【解決手段】１画素に複数の光電変換層を有する積層型撮像素子と、前記積層型撮像素子の検出した画像信号を読み出す読み出し回路と、前記読み出し回路の読み出し制御と前記読み出し回路の読み出した画像信号の処理を行う制御部と、ライブビュー画像を表示する表示部とを備え、前記制御部は、合焦処理に用いる光電変換層と光電変換層の読み出し順を決定し、決定した順に前記光電変換層の画像信号を読み出すよう前記読み出し回路を制御し、前記読み出し回路が読み出した前記画像信号を用いて合焦処理を行うと共に前記表示部にライブビュー画像を表示するよう制御し、前記読み出し回路は、前記制御部の読み出し制御に沿って前記光電変換層の画像信号を読み出すことを特徴とする撮像装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

１画素に複数の光電変換層を有する積層型撮像素子と、
前記積層型撮像素子の検出した画像信号を読み出す読み出し回路と、
前記読み出し回路の読み出し制御と前記読み出し回路の読み出した画像信号の処理を行う制御部と、
ライブビュー画像を表示する表示部とを備え、
前記制御部は、合焦処理に用いる光電変換層と光電変換層の読み出し順を決定し、決定した順に前記光電変換層の画像信号を読み出すよう前記読み出し回路を制御し、前記読み出し回路が読み出した前記画像信号を用いて合焦処理を行うと共に前記表示部にライブビュー画像を表示するよう制御し、
前記読み出し回路は、前記制御部の読み出し制御に沿って前記光電変換層の画像信号を読み出すことを特徴とする撮像装置。

【請求項2】

１画素に複数の光電変換層を有する積層型撮像素子と、
前記積層型撮像素子の検出した画像信号を読み出す読み出し回路と、
前記読み出し回路の読み出し制御と前記読み出し回路の読み出した画像信号の処理を行う制御部と、
ライブビュー画像を表示する表示部とを備え、
前記制御部は、各光電変換層の画像信号を評価し、前記評価によって光電変換層の読み出す順を決定し、決定した順に前記光電変換層の画像信号を読み出すよう前記読み出し回路を制御し、前記読み出し回路が読み出した前記画像信号を用いて合焦処理を行うと共に前記表示部にライブビュー画像を表示するよう制御し、
前記読み出し回路は、前記制御部の読み出し制御に沿って前記光電変換層の画像信号を読み出すことを特徴とする撮像装置。

【請求項3】

前記評価は、前記各光電変換層の画像信号レベルを比較することを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記評価は、撮影条件又は撮影者の指定であることを特徴とする請求項２に記載の撮像装置。

【請求項5】

前記積層型撮像素子の有する光電変換層は、３層であり、
前記制御部が、前記合焦処理に用いる画像信号の光電変換層は、１層又は２層であることを特徴とする請求項２乃至請求項４のいずれか１項に記載の撮像装置。

【請求項6】

１画素に複数の光電変換層を有する積層型撮像素子と、
前記積層型撮像素子の検出した画像信号を読み出す読み出し回路と、
前記読み出し回路の読み出し制御と前記読み出し回路の読み出した画像信号の処理を行う制御部と、
ライブビュー画像を表示する表示部とを備える撮像装置の画像データの読み出し方法であって、
前記制御部は、各光電変換層の画像信号を評価するステップと、前記評価によって前記光電変換層の画像信号を読み出す順序を決定するステップと、前記決定した順に前記光電変換層の画像信号を読み出すよう前記読み出し回路を制御するステップと、前記読み出し回路が読み出した前記画像信号を用いて合焦処理を行うステップと共に前記表示部にライブビュー画像を表示するよう制御するステップと、
前記読み出し回路は、前記制御部の読み出し制御に沿って前記光電変換層の画像信号を読み出すステップを有することを特徴とする撮像装置の画像信号読み出し方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の光電変換層を有する積層型撮像素子を用いたデジタルカメラ、ビデオカメラなどの撮像装置に関する。

【背景技術】

【0002】

一般的な撮像装置は、１画素に１受光部が配置され、各受光部には、例えば赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタから１つが積層され、各画素がそれぞれ１色の光を検出する構成であるベイヤー型の撮像素子が用いられている。

【0003】

従って、ベイヤー型の撮像素子では、各画素配置されたカラーフィルタに対応する色の画像信号のみ取得することが可能となる。つまり、カラーフィルタに対応する色以外の画像信号は取得することができない。

【0004】

そこで、ベイヤー型の撮像素子では、カラーフィルタに対応する色以外の画像信号を該当画素の周辺の画素が取得した画像信号を参照して、画素補間処理により推定する。この画素補間処理を撮像素子全体の画素に行うことで、撮像素子の全ての画素からカラーの画像データを生成するのに必要な各画素の各色の画像信号を取得することが可能となる。尚、カラーの画像データを生成するための画像信号として赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）としたが、これに限定するものではない。

【0005】

しかしながら、画素補間処理は、輪郭など信号値の変化が大きい箇所では偽色が発生するという問題がある。そこで、偽色の発生を抑えるために、ベイヤー型の撮像素子を用いる場合、光学ローパスフィルタを使用することで、輪郭など信号値の変化が大きい箇所を平滑化し信号値の変化を小さくすることで、画素補間処理による偽色の発生を抑制する手法が一般的である。しかし、光学ローパスフィルタを使用することで発生する解像感の低下といった撮影画像の品質劣化といった問題が残る。

【0006】

これまで述べてきたベイヤー型の撮像素子の問題を回避した積層型の撮像素子（以下、積層型撮像素子）が提案されている。積層型撮像素子は、シリコン（Ｓｉ）の光吸収係数の波長依存性を利用して、Ｓｉ基板の深さ方向に青色光用のＰＮ接合部と緑色光用のＰＮ接合部と赤色光用のＰＮ接合とを設け、色分離を行う。具体的には、積層型撮像素子は、赤色（Ｒ）を検出する光電変換層と緑色（Ｇ）を検出する光電変換層と青色（Ｂ）を検出する光電変換層の３層積層することで、同一画素で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色色信号を同時に検出することができる。従って、ベイヤー型の撮像素子のようにカラーフィルタに対応した色の受光部のみの光を検出して他の色の光を検出しないという事態が起こらない。従って、積層型撮像素子では、画素補間処理が不要となる。故に、画素補間処理による偽色の発生もなく、ローパスフィルタも不要なため撮影画像の品質劣化も発生しない。

【0007】

一方、積層型撮像素子では、前述したように１画素で３色を検出することが出来るため、ベイヤー型の撮像素子と画素数が同じだとすると、読み出される画像信号のデータ量は３倍になってしまう。

【0008】

近年の撮像装置は、小型軽量化が求められるため、焦点検出用のセンサーを省略することで、ミラーボックスも省略することが可能となった。その結果、コンパクト化を実現したミラーレスカメラが主流となりつつある。ミラーレスカメラは、撮像素子から読み出される画像信号を記録用画像データや表示用画像データとして用いると共に焦点検出にも利用している。

【0009】

加えて、撮像装置には、高い合焦性能が要求される。合焦性能の一つとして高速化が挙げられる。高速化の実現には、撮像素子から画像信号を高速で読み出す必要がある。ベイヤー型の撮像素子の場合、画像信号の読み出しに１２０ＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）が要求される場合もある。これを同じ画素数の積層型撮像素子で同等画像信号読み出しを実現するためには、前述したように３倍のデータ量があるので３倍のスピードを必要とすることとなる。

【0010】

読み出された画像信号のデータ量が大きくなるに伴い、後処理への信号転送や信号処理にも多くの時間が必要となる。結果として、合焦の高速化が困難となる。

【0011】

測距枠に対応する撮像素子における焦点検出位置において、光学系による像面のずれ量を検出することにより光学系の焦点状態を検出する焦点検出装置が従来から知られている。このような焦点検出装置では、撮像素子に電荷の蓄積が完了した箇所から順次画像信号を転送し、測距枠に対応する画像信号を用いて光学系のデフォーカス量の演算を行う焦点検出方法が知られている。

【0012】

しかしながら、この焦点検出方法は、デフォーカス量の演算処理に時間が要するという課題を有する。これにより、演算処理が終了する間にも順次フレームのデータ転送が行われるため、演算処理を行ったフレームと演算処理が終了した時点でのフレームとでズレが生じ、デフォーカス量が異なってしまう恐れがあるという課題を有する。

【0013】

また近年では、測距枠を複数とした多点ＡＦとすることで被写体の位置や大きさに関わらず合焦可能とすることで合焦性能の向上を実現する。従って、測距枠の増加傾向にあり、デフォーカス量の演算量も増加傾向にあり、前述した演算処理対象と演算終了時点でのフレームにズレが生じやすくなる傾向にある。

【0014】

そこで、この課題に対して特許文献１は、測距枠の数を限定し、さらに毎フレーム演算を行うモードを併用することで前述の課題を解決した焦点検出装置が開示されている。

【0015】

特許文献２には、積層型撮像素子において、焦点検出画像信号として、複数の光電変換層の中から最も大きい画像信号を出力する光電変換層の焦点検出画素を用いて焦点検出処理を行うことで、他の光電変換層の焦点検出用画素に対する焦点検出処理を省略し、ＡＦ処理の精度と処理時間の短縮を実行する焦点検出方法が開示されている。

【先行技術文献】

【特許文献】

【0016】

【特許文献1】特許５９２９０６０号公報

【特許文献2】特許６７４０６６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0017】

特許文献１に記載の焦点検出装置は、測距枠の数が限定されるので多点ＡＦのように測距枠の数が増加する近年の傾向に応じて必要な測距枠を処理しきれない撮影状況が生じるという課題を有する。加えて、前述したように積層型撮像素子に適用した場合、ベイヤー型の撮像素子と比べて読み出しに時間を要するので、積層型撮像素子にて多点ＡＦを行おうとすると、前述したようにデフォーカス量の演算処理にて生じるフレームのズレが生じるという課題を有する。

【0018】

特許文献２に記載の焦点検出方法は、複数の光電変換層から焦点検出用画像信号として用いる光電変換層を選択し、演算処理に用いるデータ量を削減することは開示しているが、多点ＡＦ時の各光電変換層の読み出し順に関しては述べられていないので、合焦性能の高速化に必要な高いＦＰＳへの対応については記載も示唆もない。

【0019】

本発明はこのような状況に鑑みてなされたものであり、積層型撮像素子を備える撮像装置において、画像データの読み出しを制御することで多点ＡＦを実現し、合焦動作の高速化と高精度化を達成させた撮像装置及び画像信号の読み出し方法を実現する。

【課題を解決するための手段】

【0020】

上記課題を解決するために、本発明に係る撮像装置は、１画素に複数の光電変換層を有する積層型撮像素子と、前記積層型撮像素子の検出した画像信号を読み出す読み出し回路と、前記読み出し回路の読み出し制御と前記読み出し回路の読み出した画像信号の処理を行う制御部と、ライブビュー画像を表示する表示部とを備え、前記制御部は、合焦処理に用いる光電変換層と光電変換層の読み出し順を決定し、決定した順に前記光電変換層の画像信号を読み出すよう前記読み出し回路を制御し、前記読み出し回路が読み出した前記画像信号を用いて合焦処理を行うと共に前記表示部にライブビュー画像を表示するよう制御し、前記読み出し回路は、前記制御部の読み出し制御に沿って前記光電変換層の画像信号を読み出すことを特徴とする。

【0021】

上記課題を解決するために、本発明に係る撮像装置は、１画素に複数の光電変換層を有する積層型撮像素子と、前記積層型撮像素子の検出した画像信号を読み出す読み出し回路と、前記読み出し回路の読み出し制御と前記読み出し回路の読み出した画像信号の処理を行う制御部と、ライブビュー画像を表示する表示部とを備え、前記制御部は、各光電変換層の画像信号を評価し、前記評価によって光電変換層の読み出す順を決定し、決定した順に前記光電変換層の画像信号を読み出すよう前記読み出し回路を制御し、前記読み出し回路が読み出した前記画像信号を用いて合焦処理を行うと共に前記表示部にライブビュー画像を表示するよう制御し、前記読み出し回路は、前記制御部の読み出し制御に沿って前記光電変換層の画像信号を読み出すことを特徴とする。

【0022】

上記課題を解決するために、本発明に係る撮像装置の画像信号読み出し方法は、１画素に複数の光電変換層を有する積層型撮像素子と、前記積層型撮像素子の検出した画像信号を読み出す読み出し回路と、前記読み出し回路の読み出し制御と前記読み出し回路の読み出した画像信号の処理を行う制御部と、ライブビュー画像を表示する表示部とを備える撮像装置の画像データの読み出し方法であって、前記制御部は、各光電変換層の画像信号を評価するステップと、前記評価によって前記光電変換層の画像信号を読み出す順序を決定するステップと、前記決定した順に前記光電変換層の画像信号を読み出すよう前記読み出し回路を制御するステップと、前記読み出し回路が読み出した前記画像信号を用いて合焦処理を行うステップと共に前記表示部にライブビュー画像を表示するよう制御するステップと、前記読み出し回路は、前記制御部の読み出し制御に沿って前記光電変換層の画像信号を読み出すステップを有することを特徴とする。

【発明の効果】

【0023】

本発明によれば、積層型撮像素子を備える撮像装置において、画像データの読み出しを制御することで多点ＡＦを実現し、合焦動作の高速化と高精度化を達成させた撮像装置及び画像信号読み出し方法を提供することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施例に係る撮像装置のブロック図

【図2】本発明の実施例に係る積層型撮像素子の説明図

【図3】本発明の実施例に係るフローチャート

【図4】一般的な積層型撮像素子の画像信号と画像信号読み出し制御の説明図

【図5】本発明の実施例に係る積層型撮像素子の画像信号と画像信号読み出し制御の説明図

【図6】本発明の実施例に係る積層型撮像素子の画像信号と画像信号読み出し制御の説明図

【発明を実施するための形態】

【0025】

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。また、この実施の形態により本発明が限定されるものではない。

【0026】

図１は、本発明の一実施の形態に係る撮像装置のブロック図である。図１において、１００は撮像装置であり、被写体を撮影し、撮影した画像データを保存する。２００は、撮像装置１００に装着可能な光学系である。本実施例において、撮像装置１００は、光学系２００の交換が可能な構成となっており、撮像装置１００と光学系２００とで全体としてレンズ交換式カメラシステムを構成している。尚、撮像装置１００と光学系２００とが一体となったカメラシステムでも問題ないことは言うまでもない。

【0027】

光学系２００は、単数又は複数のレンズ群から構成される。光学系２００を構成するレンズ群の一部又は全部が光軸方向に移動することで焦点調節が可能である。

【0028】

撮像装置１００は、１０１の積層型撮像素子、１０２のＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、１０３のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、１０４のＳＤＲＡＭ、１０５のタイミングジェネレータ、１０６のカメラＣＰＵ、１０７の表示装置、１０８のユーザーＩ／Ｆ、１０９の外部記憶Ｉ／Ｆを含む構成とする。

【0029】

積層型撮像素子１０１は、光軸方向に複数の光電変換層が積層される。積層された各層の光電変換層は、光学系２００を通過した被写体からの光を光電変換によりアナログ信号の画像信号へと変換して取得する。積層型撮像素子１０１の各画素が検出した光を変換した画像信号の集まりが画像データとなる。撮像装置１００にて静止画を撮影する場合、撮影者がユーザーＩ／Ｆ１０８を操作することで積層型撮像素子１０１は適切なタイミングの画像信号を取得し、取得した画像データに各種信号処理を行った後、画像データは外部記憶Ｉ／Ｆ１０９に保存や表示装置１０７に表示される。尚、積層型撮像素子１０１は、連続して画像信号を取得することが可能である。つまり、撮像装置１００は、静止画と同様に動画も撮影することが可能となる。

【0030】

図２（ａ）は、本願発明の積層型撮像素子１０１を構成する４画素を抜粋して拡大した説明図であり、図２（ｂ）は、被写体側から見た本願発明の積層型撮像素子１０１の全体を示し、青色（Ｂ）に隠れているが緑色（Ｇ）と赤色（Ｒ）の光電変換層それぞれ配置されている。図の縦と横の数字と文字は、それぞれ行番号と列番号を示す。積層型撮像素子１０１の画素数は、Ｍ×Ｎ（画素）となる。

【0031】

積層型撮像素子１０１は、図２（ａ）に示すように３層構造の撮像素子を構成する各画素において、被写体側から順に青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の光電変換層が積層されている。各層の光電変換層より、各画素において青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）それぞれの画像信号を独立して取得することもできるし、同時に取得することもできる。

【0032】

尚、本発明の積層型撮像素子１０１は、有機光電変換膜の補色層（Ｃｙ，Ｍｇ，Ｙｅ）やＩＲ層（近赤外線）を光軸方向に積層した撮像素子とすることも可能である。

【0033】

ＡＦＥ１０２は、アンプ、Ａ／Ｄコンバータ、フィルタなどから構成され、読み出し回路を通じて積層型撮像素子１０１から読み出されたアナログ信号の画像信号に対して各種信号処理を施す。ＡＦＥ１０２での信号処理の一例として、積層型撮像素子１０１から読み出した画像信号に対して各画素における受光量と画像信号の出力値との線形性を確保するための補正処理や微弱な画像信号を増幅する増幅処理などを行った後、Ａ／Ｄコンバータにて画像信号をアナログ信号からデジタル信号へと変換する。デジタル信号へ変換した画像信号は、ＤＳＰ１０３へ送られる。なお、本実施例ではＡＦＥ１０２にてアンプ、Ａ／Ｄコンバータ、フィルタを行ったが、それぞれディスクリート半導体にて信号処理を行っても問題ない。さらには、積層型撮像素子１０１がＡＦＥ１０２を内蔵していても問題ない。

【0034】

ＤＳＰ１０３は、ＡＦＥ１０２にて信号処理の施されたデジタル信号の画像データに対して信号処理を施す。具体的には、ホワイトバランス処理、色再現処理、ｊｐｅｇ形式やＴＩＦＦ形式など画像データの現像処理などがある。また、ＤＳＰ１０３は、画像信号を評価して焦点検出を行う為の最適層の決定を行う。決定した最適層の画像信号を用いて焦点検出を行う。尚、前述したＤＳＰ１０３の機能はカメラＣＰＵ１０６にて行うこととしても良い。

【0035】

ＳＤＲＡＭ１０４は、読み出し及び書き込みが可能な記憶領域である。本実施例ではＤＳＰ１０３が信号処理を施す際、画像信号及び画像データ、信号処理に関するパラメータなどを一時的に記憶し、ＤＳＰ１０３の作業領域として機能する。

【0036】

タイミングジェネレータ１０５は、カメラＣＰＵ１０６が設定した読み出しモードに従って積層型撮像素子１０１に含まれる読み出し回路の読み出し制御を行う。具体的には、タイミングジェネレータ１０５から積層型撮像素子１０１へ垂直同期信号（ＶＳ）及び水平同期信号（ＨＳ）を送信し、タイミングジェネレータ１０５の読み出し制御により、読み出し回路は積層型撮像素子１０１のそれぞれの光電変換層からアナログ信号の画像信号を取得することで、積層型撮像素子１０１から画像データを読み出す。

【0037】

カメラＣＰＵ１０６は、タイミングジェネレータ１０５に対して読み出しモードを設定することで読み出し回路の読み出し制御を行う。その他にもユーザーＩ／Ｆ１０８に沿った各種処理や光学系２００のデフォーカス量の演算処理等、撮像装置１００全般の制御を行う。

【0038】

カメラＣＰＵ１０６にはＲＯＭが含まれ、カメラＣＰＵ１０６が実行するのに必要な各種プログラムや制御に使用する各種パラメータや設定情報が記憶されている。また、ＲＡＭも含まれることで、カメラＣＰＵ１０６の各種演算処理の際の作業領域として使用される。

【0039】

本発明の制御部は、ＤＳＰ１０３とタイミングジェネレータ１０５とカメラＣＰＵ１０６から構成する。

【0040】

表示装置１０７は、ＤＳＰ１０３により各種信号処理された画像データや撮影者が撮像装置１００の各種設定の変更、確認を行う際に設定表示などがなされる。特に、コンパクト化のためにファインダーが省略された撮像装置１００の場合、ＤＳＰ１０３により各種信号処理された画像データを連続して表示したＬＶ（ライブビュー）画像として表示装置１０７へ表示する。撮影者は、表示装置１０７に表示されたＬＶ画像を参考に被写体を撮影することが可能となる。

【0041】

ユーザーＩ／Ｆ１０８は、撮影者が撮像装置１００に対する各種設定操作を受け付け、カメラＣＰＵ１０６への入力処理を出力する。電源ボタン、レリーズボタン、コマンドダイヤル、十字キーなどの操作デバイスがユーザーＩ／Ｆ１０８に該当する。

【0042】

外部記録Ｉ／Ｆ１０９は、ＤＳＰ１０３により各種信号処理の施された画像データを静止画、動画として外部記録メディアへ記録保存する。

【0043】

次に、本実施例の撮像装置１００の画像データの読み出し方法について説明する。

【0044】

本実施例において、積層型撮像素子１０１の全ての光電変換層から画像信号が読み出され、撮影者が被写体を観察するために表示装置１０７へＬＶ画像として表示され連続する表示用画像データをＬＶ画像データとし、画像信号に基づいてＤＳＰ１０３により評価され、光学系２００のデフォーカス量を演算するのに用いる一部の光電変換層の画像信号を焦点検出画像データ、つまりＡＦ画像データとする。尚、ＬＶ画像データに基づいて評価してＡＦ画像データを決めてもよい。

【0045】

図３は、本実施例の撮像装置１００の画像データ読み出し方法のフローチャートを示す。

【0046】

＃１０１は、撮像装置１００は、電源がオンになっていれば、表示装置１０７へＬＶ画像を表示するために積層型撮像素子１０１から画像データの読み出しを行う。読み出した光電変換層１０１の画像データのままでは、表示装置１０７へ表示するにはサイズが大きすぎて表示に適さない。従って、間引き処理を行う。間引き処理を行った画像データは、ＡＦＥ１０２とＤＳＰ１０３などでＬＶ画像として表示するための各種信号処理を施された後、表示装置１０７にＬＶ画像として表示される。同時に光電変換層から読み出した画像データを後述する読み出しモードを決定するためにＳＤＲＡＭ１０４へ一時的に保持される。

【0047】

＃１０２は、撮像装置１００に設定されているＡＦ方式を判別する。ＡＦ方式とは、表示装置１０７に表示されるＬＶ画像と重畳表示される測距枠のうち、ピンポイントで合焦対象とする測距枠を指定する１点ＡＦ、複数の測距枠を合焦対象として指定する多点ＡＦ、複数の測距枠を拡張し領域を合焦対象として指定する領域ＡＦなどがある。そのうちＡＦ方式が多点ＡＦに設定されている場合、＃１０３へ進み。他のＡＦ方式であれば、終了となる。尚、本願中の多点ＡＦとは、ＬＶ画像と重畳表示され固定的に配置された測距枠におけるコントラスト値などにより評価値を算出し、最も良い評価値を有する測距枠に基づいて合焦処理を行うこととする。

【0048】

＃１０３は、積層型撮像素子１０１から画像データの読み出しモードを決定するための評価方法を決定する。評価方法は、各光電変換層の画像データについて画像信号レベルの平均値を算出し平均値の順に読み出す、オートホワイトバランスの結果から推定される光源のピーク波長に近い光電変換層の画像信号から読み出す、画像認識に基づき判定された撮影シーンで重視する色の光電変換層の画像データから読み出す、予め撮影者が決定した光電変換層の画像信号を優先して読み出す、といったようにしてもよい。評価方法は、表示装置１０７へ設定項目を表示させ、撮影者がユーザーＩ／Ｆ１０８を用いて選択しても良いし、カメラＣＰＵ１０６が撮影条件などから自動判別して選択するとしても良い。

【0049】

尚、本実施例において、カメラＣＰＵ１０６がタイミングジェネレータ１０５に対して積層型撮像素子１０１から画像データの読み出し方法を設定するモードを読み出しモードとする。タイミングジェネレータ１０５は、読み出しモードに従い読み出し回路の読み出し制御を行う。尚、本発明の読み出しモードは、光電変換層の読み出す順序と多点ＡＦ処理に用いる光電変換層を指定するものである。

【0050】

＃１０４は、ＤＳＰ１０３が＃１０１にて保存した各光電変換層の画像データをＳＤＲＡＭ１０４より取得し、各光電変換層の画像信号データの画像信号レベルを比較する。＃１０３にて決定した評価方法に沿って多点ＡＦ処理に用いる光電変換層が決定する。また、多点ＡＦ処理に用いる光電変換層の画像データを優先して読み出すこととなるので、読み出す光電変換層の順序も決定するので読み出しモードが決定する。

【0051】

尚、撮影者が読み出す光電変換層を指定する。すなわち多点ＡＦ処理に用いる光電変換層を指定する場合、指定された光電変換層から読み出す。多点ＡＦ処理に用いると同時に残りの光電変換層の画像データを読み出し、ＬＶ画像データとしての処理を行う。

【0052】

＃１０５は、＃１０４にて決定した読み出しモードに従って光電変換層の画像データを読み出し回路から読み出し、多点ＡＦ処理の対象となる光電変換層の画像データには順次、ＡＦ画像データとして多点ＡＦ処理を行う。同時にＬＶ画像データとして信号処理を行い表示装置１０７へ被写体画像をＬＶ画像として表示する。

【0053】

また、前述したように表示装置１０７へ表示するにあたってＬＶ画像データへ各種信号処理を行う。また、積層型撮像素子１０１が像面位相差ＡＦに対応した撮像素子の場合、位相差検出画素を有することとなる。位相差検出画素は撮影画像を構成する画像データとしては使えないので、欠陥画素として周辺画素から補間処理を行う必要があるので、ＬＶ画像データの信号処理時に行う。

【0054】

＃１０６は、撮影者が撮像装置１０１のユーザーＩ／Ｆ１０８のレリーズボタンなどを操作することで合焦動作を行うか判別する。合焦動作が行われた場合、ステップ＃１０７へ進む。合焦動作が行われない場合、ステップ＃１０５へ戻り表示装置１０７へＬＶ画像を表示しながら合焦動作が行われるまで待機する。

【0055】

＃１０７は、＃１０５にて読み出した画像データを基に光学系２００のデフォーカス量を演算する。尚、多点ＡＦ処理は一般的に知られている信号処理方法で問題ない。

【0056】

＃１０８は、＃１０７にて演算したデフォーカス量に基づき、光学系２００を駆動制御する。

【0057】

ここで、従来の多点ＡＦ処理について説明する。画面全体に配置される各測距枠にて特定の色の輝度情報を基に焦点検出を行い、被写体と重複する測距枠を合焦対象として、デフォーカス量の演算を行うので、合焦対象となる測距枠が複数指定されることがある。従って、複数の測距枠の演算されたデフォーカス量を比較する必要があるのでＡＦ処理に時間を要する。

【0058】

また、前述した従来の多点ＡＦ処理の撮像素子が、ベイヤー型の撮像素子の場合、１画素から１つの輝度情報しか取得できない。一方、積層型撮像素子の場合、１画素から複数の輝度情報を取得することが可能となる。よって、多点ＡＦ処理に同じ輝度情報を用いた場合でも積層型撮像素子の方がＡＦ処理の精度は優れる。しかしながら、複数の輝度情報を処理する必要があるため、ＡＦ処理に時間を要するというデメリットがある。

【0059】

そこで、本発明において読み出されるＡＦ処理の高速化と高精度化について説明する。

【0060】

次に、図４～図６は積層型撮像素子の画像信号と画像信号読み出し制御の説明図である。図中のカッコ内の数字は出力される行番号を示す。

【0061】

図２（ａ）に図示されるように、光電変換層が３層積層される実施例の積層型撮像素子１０１は、１画素から青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）それぞれの画像信号の取得が可能であることが分かる。図４は、積層型撮像素子１０１から一般的な画像信号の読み出し方を示す。図４に示すように先頭の行から３色読み出し、３色の読み出しが完了した後、次の行の読み出しに移ることを最終の行まで繰り返す。この読み出し方法では、多点ＡＦにおいて、処理が間に合わないという問題が発生する場合がある。

【0062】

具体的に説明すると、多点ＡＦは、画面全体に配置される測距枠の中から被写体と重複する測距枠が合焦対象となるので複数の測距枠が合焦対象の測距枠として指定されることがある。指定された測距枠を基にデフォーカス量を演算するのに用いる画像信号は画面全体のＡＦ画像データを利用することとなる。従って、図４に示される一般的な積層型撮像素子１０１から画像信号の読み出し方法では、いずれの色の画像信号又は輝度情報を用いるにしても、デフォーカス量の演算に必要な画像信号が揃うのは、３層の画像信号全てを読み出した垂直同期信号（ＶＳ）の立下りのタイミングとなるので、読み出した画像信号から順次多点ＡＦ処理を開始したとしてもＶＳの立下りのタイミングによっては、多点ＡＦ処理が未処理の画像信号が残ることがある。その結果、次のフレームの画像信号の読み出しが開始されるまでに多点ＡＦ処理が終わらないことから、次のフレームの画像信号の読み出しと多点ＡＦ処理が重複してしまう場合が発生していた。

【0063】

そこで本願発明では、３層の画像信号の中から２層の画像信号を多点ＡＦ処理に用いた上で色情報を用いることで、輝度情報を用いていた従来の方法に比べて合焦の精度が向上する。また、画像信号の読み出す順序を多点ＡＦ処理に用いる２層の画像信号を優先することで、多点ＡＦ処理の開始タイミングを早くすることが可能となる。その結果、ＡＦ動作の高速化を実現し、次のフレームの画像信号の読み出し時間と多点ＡＦ処理が重複するという問題を解決する。以下に、図５を用いて説明する。

【0064】

多点ＡＦ処理に用いる画像信号として青色（Ｂ）層と赤色（Ｒ）層が適していると＃１０４にて読み出しモードが決定された場合、図５に示すように画像信号の読み出し順序は、青色（Ｂ）層→赤色（Ｒ）層→緑色（Ｇ）層の順に読み出すこととなる。そうすると、（Ｍ－１）行目の赤色（Ｒ）層の画像信号の読み出しが完了した時点で多点ＡＦ処理の対象となっている青色（Ｂ）層と赤色（Ｒ）層の全ての画像データが揃う。青色（Ｂ）層と赤色（Ｒ）層は、読み出した行の画像信号から順次多点ＡＦ処理を開始することでこの後緑色（Ｇ）層の画像データを読み出している間も多点ＡＦ処理の時間に使うことが可能となる。その結果、次のフレームの画像信号の読み出しまでに多点ＡＦ処理を終了させることが可能となる。

【0065】

同様に、多点ＡＦに用いる画像信号として青色（Ｂ）層と赤色（Ｒ）層が適していると＃１０４にて読み出しモードが決定した場合、図６に示すように青色（Ｂ）層と赤色（Ｒ）層の画像信号については、各行交互に読み出し、こちらの読み出しも青色（Ｂ）層と赤色（Ｒ）層を読み出した行の画像信号から順次多点ＡＦ処理を開始し、その後の緑色（Ｇ）層の画像信号について読み出す。（Ｍ－１）行目の赤色（Ｒ）層の読み出しが完了した時点で多点ＡＦ処理の対象となっている青色（Ｂ）層と赤色（Ｒ）層の全ての画像信号が揃う。既に読み出した青色（Ｂ）層と赤色（Ｒ）層の画像信号は、読み出し次第順次多点ＡＦ処理を開始することでこの後緑色（Ｇ）層の画像データを読み出す時点で多点ＡＦ処理が未処理の画像信号は多くなく、未処理の画像信号も緑色（Ｇ）層の画像信号の読み出し中には多点ＡＦ処理を終了させることが可能となる。

【0066】

図５と図６のいずれの読み出しモードも優先して読み出した青色（Ｂ）層と赤色（Ｒ）層の画像データは前述した多点ＡＦ処理と並行して＃１０１で述べたように残りの緑色（Ｇ）層の画像データと併せてＬＶ画像データとして信号処理を行い表示装置１０７へ被写体画像をＬＶ画像として表示する。その結果、次のフレームの画像信号の読み出し時間と重複するという問題が発生しないことから、本発明は表示装置１０７に表示されるＬＶ画像に違和感を与えることなく、多点ＡＦ処理の高速化と高精度化が可能となる。

【0067】

図５と図６に記載した読み出しモードの違いを説明する。図５に記載の読み出しモードは、青色（Ｂ）層の全ての画像信号を読み出した後、赤色（Ｒ）層の画像信号の読み出しを開始するので、各光電変換層の同じ行の画像信号に取得タイミングのずれが生じる。その為、動きの激しい被写体を撮影した場合、ＬＶ画像に影響が出る可能性がある。そこで、図６に記載の読み出しモードは、青色（Ｂ）層と赤色（Ｒ）層の画像信号を行ごとに交互に読み出すことで、各光電変換層の同じ行の画像信号の取得タイミングのずれを小さくすることで、ＬＶ画像への影響を小さくしている。尚、図５と図６に記載した読み出しモードにおいて、読み出した青色（Ｂ）層と赤色（Ｒ）層の画像信号へ多点ＡＦ処理を行うのと同時に、残りの緑色（Ｇ）層の画像信号を読み出し、既に読み出した青色（Ｂ）層と赤色（Ｒ）層の画像データと共にＬＶ画像データとして処理を行い表示装置１０７へ表示処理を行う。

【0068】

さらには、前述したようにステップ＃１０３にて決定した評価方法により、ステップ＃１０４にて多点ＡＦ処理に用いる光電変換層が１層であっても良い。その場合も図５に示すように画像信号の読み出し順序を制御する。具体的には、＃１０３にて決定した読み出しモードを決定する評価方法にて、＃１０４で光電変換層の読み出す順序と多点ＡＦ処理の対象となる光電変換層の画像データが決定される。例えば、青色（Ｂ）層が多点ＡＦで利用するのに最適だと判断された場合、図５に示すように、多点ＡＦで利用するのに最適な層の画面全体の画像信号を最初に読み出す。そうすることで、青色（Ｂ）層の（Ｍ－１）行目の画像信号を読み終えた時点で多点ＡＦ処理の対象となっている全ての画像信号が揃う為、図４に示す従来の画像信号読み出しに比べて早いタイミングで多点ＡＦ処理を開始できる。その結果、次のフレームの画像信号の読み出し時間と重複するという問題が発生しない。

【0069】

尚、多点ＡＦ処理に利用する以外の緑色（Ｇ）層と赤色（Ｒ）層の画像信号は、青色（Ｂ）層の多点ＡＦの処理と並行して読み出しを行い、ＬＶ画像データとして信号処理を行い表示装置１０７へ表示する。また、本実施例では、多点ＡＦ処理に用いる最適層として青色（Ｂ）層を例に説明したが、緑色（Ｇ）、赤色（Ｒ）を用いることとしても問題ないことは言うまでもない。

【0070】

図５では、多点ＡＦ処理に最適な層として青色（Ｂ）層を用いて説明したが、被写体に海や青空などが映り込んでいる場合に適している。同様に森などが映り込んでいる場合には、緑色（Ｇ）層を用いるなど、被写体認識などの撮影条件により最適な層の判断を行うこととしてよい。

【0071】

以上のことから、撮影者がユーザーＩ／Ｆ１０８を用いて撮像装置へ設定した層や撮影条件により多点ＡＦ処理に用いるのに最適な層とされた層の画像データから読み出し、画像データの読み出しが終わったタイミングで多点ＡＦ処理を開始するとともに、残りの層の画像データを引き続き読み出すよう読み出し回路を制御することで多点ＡＦ処理の開始時間を早めることでＡＦ処理の高速化が可能である。

【0072】

また、従来の多点ＡＦ処理では、輝度を用いたコントラストからＡＦ処理を行った後、デフォーカス量の演算を行っていた。一方、本願ではカラーの画像データを用いることで従来よりもＡＦ動作の高精度化が可能である。

【符号の説明】

【0073】

１００ 撮像装置
１０１ 積層型撮像素子
１０２ ＡＦＥ
１０３ ＤＳＰ
１０４ ＳＤＲＡＭ
１０５ タイミングジェネレータ
１０６ カメラＣＰＵ
１０７ 表示装置
１０８ ユーザーＩ／Ｆ
１０９ 外部記録Ｉ／Ｆ
２００ 光学系

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】