特許 7591095 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-19

(45)【発行日】2024-11-27

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 23/45 20230101AFI20241120BHJP

   H04N 23/54 20230101ALI20241120BHJP

   H04N 23/741 20230101ALI20241120BHJP

   H04N 23/667 20230101ALI20241120BHJP

   H04N 25/773 20230101ALI20241120BHJP

   H04N 25/57 20230101ALI20241120BHJP

   H04N 25/70 20230101ALI20241120BHJP

   H04N 25/706 20230101ALI20241120BHJP

【ＦＩ】

H04N23/45

H04N23/54

H04N23/741

H04N23/667

H04N25/773

H04N25/57

H04N25/70

H04N25/706

【請求項の数】 6

(21)【出願番号】P 2023091030

(22)【出願日】2023-06-01

(62)【分割の表示】P 2019119015の分割

【原出願日】2019-06-26

(65)【公開番号】P2023123474

(43)【公開日】2023-09-05

【審査請求日】2023-06-29

(31)【優先権主張番号】P 2018149678

(32)【優先日】2018-08-08

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】大串 直人

【審査官】門田 宏

(56)【参考文献】

【文献】特表２０１２－５１３６９４（ＪＰ，Ａ）

【文献】特開２００８－１９３１６３（ＪＰ，Ａ）

【文献】国際公開第２０１７／１８３４５１（ＷＯ，Ａ１）

【文献】特開２００７－００６０７１（ＪＰ，Ａ）

【文献】特開２００６－３５２８０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ５／３０－５／３３

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／１１

Ｈ０４Ｎ ２３／２０－２３／３０

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ ２５／００

Ｈ０４Ｎ ２５／２０－２５／６１

Ｈ０４Ｎ ２５／６１５－２５／７９

Ｈ０１Ｌ ２７／１４－２７／１４８

Ｈ０１Ｌ ２９／７６

Ｈ１０Ｋ ３９／３２－３９／３４

(57)【特許請求の範囲】

【請求項1】

入射するフォトンの数を計数し、計数した値を第１のカラー画像信号として出力する複数の画素を有する第１の撮像素子と、
入射する光を光電変換して得られる電荷量に応じた電気信号を第２のカラー画像信号として出力する複数の画素を有する第２の撮像素子と、
輝度値を取得する取得手段と、
前記第１のカラー画像信号または前記第２のカラー画像信号に基づいてカラー画像を生成する生成手段と、
前記輝度値が予め決められた閾値以上の場合に、前記生成手段が前記第２のカラー画像信号に基づいてカラー画像を生成し、前記閾値未満の場合に、前記生成手段が前記第１のカラー画像信号に基づいてカラー画像を生成するように制御する制御手段と、
を有することを特徴とする撮像装置。

【請求項2】

入射するフォトンの数を計数し、計数した値を第１のカラー画像信号として出力する複数の画素を有する第１の撮像素子と、
入射する光を光電変換して得られる電荷量に応じた電気信号を第２のカラー画像信号として出力する複数の画素を有する第２の撮像素子と、
輝度値を取得する取得手段と、
前記第１のカラー画像信号および前記第２のカラー画像信号に基づいてカラー画像を生成する生成手段と、
前記輝度値が予め決められた第１の閾値未満の場合に、前記生成手段が前記第１のカラー画像信号を用いてカラー画像を生成し、前記輝度値が前記第１の閾値以上かつ、該第１の閾値より大きい予め決められた第２の閾値未満の場合に、前記生成手段が前記第１のカラー画像信号と前記第２のカラー画像信号とを合成することでカラー画像を生成し、前記輝度値が予め決められた第２の閾値以上の場合に前記生成手段が前記第２のカラー画像信号を用いてカラー画像を生成するように制御する制御手段と、
を有することを特徴とする撮像装置。

【請求項3】

さらに、被写体からの光を前記第１の撮像素子に導光する第１の撮像光学系と、
前記被写体からの光を前記第２の撮像素子に導光する、前記第１の撮像光学系と異なる第２の撮像光学系と、を有することを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記制御手段は、前記生成手段が前記第１のカラー画像信号を選択してカラー画像を生成する場合に、前記被写体からの光を前記第１の撮像光学系により前記第１の撮像素子に導光し、前記生成手段が前記第２のカラー画像信号を選択してカラー画像を生成する場合に、前記被写体からの光を前記第２の撮像光学系により前記第２の撮像素子に導光するように制御することを特徴とする請求項３に記載の撮像装置。

【請求項5】

さらに、被写体からの光を前記第１の撮像素子に導光する第１の撮像光学系と、
前記被写体からの光を前記第２の撮像素子に導光する、前記第１の撮像光学系と異なる第２の撮像光学系と、を有することを特徴とする請求項２に記載の撮像装置。

【請求項6】

さらに、撮像光学系を介して入射する光を分割して、前記第１の撮像素子及び前記第２の撮像素子に入射させる導光手段を有することを特徴とする請求項１または２に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アバランシェフォトダイオードを用いた撮像素子を備えた撮像装置に関する。

【背景技術】

【0002】

従来、デジタルカメラやビデオカメラなどに電荷蓄積方式の撮像素子が一般的に用いられている。電荷蓄積方式とは、一定期間内にフォトダイオード（ＰＤ）に入射した光を電圧値というアナログ量として捉える方式である。

【0003】

電荷蓄積方式では、各画素のＰＤに光が入射すると、ＰＤは入射した光の光量に応じてほぼ線形に電荷を生成して蓄積する。ＰＤに蓄積された電荷はフローティングディフュージョン（ＦＤ）へ転送され、電圧に変換されて、ソースフォロワ（ＳＦ）によって増幅される。各画素から出力された電圧は、ＡＤ変換器によってデジタル信号に変換してから撮像素子の外部へ出力される。

【0004】

上述した電荷蓄積方式の場合、例えばＦＤの電圧をＳＦで増幅する際に、ＳＦのゲート界面で発生するＲＴＳ（Ｒａｎｄｏｍ Ｔｅｌｅｇｒａｐｈ Ｓｉｇｎａｌ）ノイズによりＳ／Ｎ比が劣化することが知られている。

【0005】

一方で、近年アバランシェフォトダイオード（ＡＰＤ）をガイガーモードで動作させた際に発生するアバランシェ現象を利用して、入射したフォトンの数そのものを計測し、入射光をデジタル値として扱うことが可能なフォトンカウンティング型撮像素子の検討がなされている。

【0006】

ＡＰＤをガイガーモードで動作させると、例えばＡＰＤに１つのフォトンが入射したときにアバランシェ現象によって観測可能なレベルの電流が発生する。この電流をパルスに変換し、そのパルス数をカウントすることで、入射するフォトンの個数を直接計測することが可能となるため、ＲＴＳノイズは発生せず、Ｓ／Ｎの向上が期待されている。ＡＰＤを用いたセンシングデバイスの一例として、特許文献１では複数画素のＡＰＤから成る測距用センサが開示されている。

【0007】

ガイガーモードでは、単一フォトンの入射でもアバランシェ現象を起こすことができるので、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｈｃｈｅ Ｄｉｏｄｅ）とも呼ばれる。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１４－８１２５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

ＡＰＤをガイガーモードで動作させるためには、降伏電圧以上の高電界を印加する必要があると共に、フォトンが入射した際にはアバランシェ現象による大電流が流れるため、大きな電力消費が課題とされている。

【0010】

また、高輝度の被写体を撮像する場合は、短時間（デッドタイム）に複数のフォトンが入射するため、単一のフォトンが起こしたアバランシェ現象中に別のフォトンが入射することでフォトンのカウントが適切にできないという課題がある。

【0011】

本発明は上記課題を鑑みてなされたものであり、ＳＰＡＤなどのフォトンカウンティング型撮像素子とＣＭＯＳなどの電荷蓄積型撮像素子の利点を生かして、画質の向上を図ることを目的とする。

【課題を解決するための手段】

【0012】

上記目体を達成するために、本発明の撮像装置は、入射するフォトンの数を計数し、計数した値を第１のカラー画像信号として出力する複数の画素を有する第１の撮像素子と、入射する光を光電変換して得られる電荷量に応じた電気信号を第２のカラー画像信号として出力する複数の画素を有する第２の撮像素子と、輝度値を取得する取得手段と、前記第１のカラー画像信号または前記第２のカラー画像信号に基づいてカラー画像を生成する生成手段と、前記輝度値が予め決められた閾値以上の場合に、前記生成手段が前記第２のカラー画像信号に基づいてカラー画像を生成し、前記閾値未満の場合に、前記生成手段が前記第１のカラー画像信号に基づいてカラー画像を生成するように制御する制御手段と、
を有する。

【発明の効果】

【0013】

本発明によれば、ＳＰＡＤなどのフォトンカウンティング型撮像素子とＣＭＯＳなどの電荷蓄積型撮像素子の利点を生かして、画質を向上させることができる。

【図面の簡単な説明】

【0014】

【図1】（ａ）は、本発明の実施形態における撮像装置の外観の一例を示す図、（ｂ）及び（ｃ）は、カメラモジュールの外観の一例を示す斜視図及び正面図。

【図2】実施形態における撮像装置の構成を示すブロック図。

【図3】実施形態におけるＳＰＡＤ型撮像素子の構成と、画素の回路構成を示す図。

【図4】実施形態におけるＳＰＡＤ型撮像素子の動作原理を説明する図。

【図5】実施形態におけるＣＭＯＳ型撮像素子の構成と、画素の回路構成を示す図

【図6】第１の実施形態に係る撮像動作を説明するフローチャート。

【図7】第１の実施形態の変形例における撮像装置の外観の一例を示す図。

【図8】第１の実施形態の変形例における撮像装置の構成を示すブロック図。

【図9】第１の実施形態の変形例に係る撮像動作を説明するフローチャート。

【図10】ＳＰＡＤ型撮像素子におけるカウントエラーを説明する図。

【図11】ＳＰＡＤ型撮像素子においてカウントエラーが起きた画像の一例を示す図。

【図12】第２の実施形態に係る撮像動作を説明するフローチャート。

【図13】第３の実施形態に係るダイナミックレンジ拡張処理を説明する図。

【図14】第３の実施形態に係る撮像動作を説明するフローチャート。

【図15】第４の実施形態に係る撮像動作を説明するフローチャート。

【発明を実施するための形態】

【0015】

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

【0016】

＜第１の実施形態＞
以下、図１～図６を参照して、本発明の第１の実施形態について説明する。なお、本実施形態の撮像装置は、動画機能付き電子スチルカメラやビデオカメラなどに応用可能である。

【0017】

図１（ａ）は、本発明の実施形態に係る撮像装置の外観の一例を示す図である。図１（ａ）に示すように、本実施形態の撮像装置１は、２つの光学ユニットである第１撮像系１１と、第２撮像系１２を有する。

【0018】

図２は、撮像装置１の構成を示すブロック図である。撮像装置１は、第１撮像系１１、第１撮像信号処理部１１５、第１圧縮伸張部１１６、第２撮像系１２、第２撮像信号処理部１２４、第２圧縮伸張部１２５を備える。さらに、制御部１３、操作部１４、画像表示部１５、画像記録部１６を備える。

【0019】

第１撮像系１１は、第１光学鏡筒１０１（第１の撮像光学系）、シャッター機構部１０２、第１撮像素子１０３から構成されている。第１光学鏡筒１０１は、被写体からの光を第１撮像素子１０３に集光するためのレンズと、集光された光に対して焦点調節や光学結像倍率の変更、光量を調整するための光学機構を備えた第１光学機構部１１１を含む。

【0020】

第１光学機構部１１１は、制御部１３からの制御信号に基づいて駆動される。シャッター機構部１０２は、第１光学鏡筒１０１と第１撮像素子１０３との間に構成され、第１光学鏡筒１０１を通過した光で第１撮像素子１０３を露光する露光時間を、制御部１３からの制御信号に従って制御する。

【0021】

第１撮像素子１０３は、ＡＰＤを用いた画素からなるＳＰＡＤ型撮像素子であり、制御部１３からの制御信号に応じて撮像動作が実施され、入射したフォトンの数のカウント値である画像信号を出力する。なお、第１撮像素子１０３の構成については後述する。

【0022】

第１撮像信号処理部１１５は、第１撮像素子１０３からの画像信号に対して、制御部１３の制御の下で色補正処理、ＡＥ（Auto Exposure）処理、ホワイトバランス処理、光学シェーディング補正処理等の画像処理を施した後、制御部１３に画像信号と制御信号を出力する。第１撮像信号処理部１１５から出力された画像信号と制御信号は、制御部１３内に構成される不図示のＲＡＭに記録される。

【0023】

第１圧縮伸張部１１６は、制御部１３の制御の下で動作し、第１撮像信号処理部１１５から制御部１３内のＲＡＭに記録された画像信号に対し、ＪＰＥＧ方式などの所定のデータフォーマットで圧縮符号化処理を行う。また、制御部１３から供給された静止画像の符号化データを伸張復号化処理する。さらに、ＭＰＥＧ（Moving Picture Experts Group）方式などにより動画像の圧縮符号化／伸張復号化処理を実行可能なようにしてもよい。

【0024】

第２撮像系１２は、第２光学鏡筒１２１（第２の撮像光学系）と、第２撮像素子１２３から構成されている。第２光学鏡筒１２１は、第１光学鏡筒１０１と同様な構成となっており、制御部１３からの制御信号を受けて第２光学機構部１２２にて光学制御を行っている。

【0025】

第２撮像素子１２３は、ＣＭＯＳ型の撮像素子であり、後述するＣＭＯＳ画素からＸＹ読み出し方式により画像信号の読み出しを行い、制御部１３からの制御信号に応じて画像信号を出力する。

【0026】

第２撮像信号処理部１２４は、第２撮像素子１２３からの画像信号に対して、第１撮像信号処理部１１５と同様の画像処理を行い、制御部１３に画像信号と制御信号を出力する。第２撮像信号処理部１２４から出力された画像信号と制御信号は、制御部１３内に構成される不図示のＲＡＭに記録される。

【0027】

第２圧縮伸張部１２５は、第２撮像信号処理部１２４で処理された画像信号に対して第１圧縮伸張部１１６と同様の処理を行う。

【0028】

なお、本実施形態では、第１撮像信号処理部１１５と第２撮像信号処理部１２４、及び第１圧縮伸張部１１６と第２圧縮伸張部１２５とを個別に構成するものとして説明する。しかしながら、本発明はこれに限られるものではなく、単一の撮像信号処理部及び圧縮伸張部を用いて、第１撮像系１１と第２撮像系１２から得られる画像信号を処理する構成としても構わない。

【0029】

制御部１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置１の各部を統括的に制御する。

【0030】

操作部１４は、例えばシャッターレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザーによる入力操作に応じた制御信号を制御部１３に出力する。画像表示部１５は、ＬＣＤなどの表示デバイスや、これに対するインターフェース回路などからなり、制御部１３から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。

【0031】

画像記録部１６は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ、磁気テープなどの記憶媒体に、第１圧縮伸張部１１６や第２圧縮伸張部１２５により符号化された画像データファイルを制御部１３から受け取って記憶する。また、制御部１３からの制御信号を基に指定されたデータを記憶媒体から読み出し、制御部１３に出力する。

【0032】

図１（ｂ）及び図１（ｃ）は、本実施形態の撮像装置１に用いることが可能な撮像系を備えるカメラモジュールの外観の構成例を示す図である。図１Ｂは、カメラモジュール２００の斜視図であり、図１Ｃは、カメラモジュール２００の正面図である。

【0033】

本実施形態におけるカメラモジュールは、２つの撮像系を連結させることで２つの撮像素子が搭載されたカメラモジュールである。なお、モジュールは、パッケージなどの他の名称で呼ばれる場合がある。

【0034】

カメラモジュール２００は、第１撮像系１１と第２撮像系１２が矩形の板状の形状からなる連結部材４００により固定されることで構成される。第１撮像系１１には、第１光学機構部１１１を含む第１光学鏡筒１０１（レンズユニット）、シャッター機構部１０２、および第１撮像素子１０３等が搭載されている。第２撮像系１２には、第１撮像系１１と同様に、第２光学機構部１２２を含む第２光学鏡筒１２１（レンズユニット）および第２撮像素子１２３等が搭載されて構成される。

【0035】

連結部材４００は、第１撮像系１１のレンズユニットと、第２撮像系１２のレンズユニットを並べたときの平面方向のサイズよりも大きな輪郭の矩形の板状の形状からなる。また、連結部材４００には、第１撮像系１１のレンズユニットが挿入される矩形の挿入孔部と、第２撮像系１２のレンズユニットが挿入される矩形の挿入孔部とが、対称に貫通形成されている。連結部材４００に貫通形成された２つの矩形の挿入孔部に対し、第１撮像系１１のレンズユニットと、第２撮像系１２のレンズユニットとがそれぞれ挿入されて固定されている。

【0036】

次に、図３を参照して、第１撮像素子１０３として用いるＳＰＡＤ型撮像素子の構成及び画素の回路構成について説明する。図３（ａ）に示すように、第１撮像素子１０３は、センサ基板２０１と回路基板２０２から成る積層構造を有する。なお、本実施形態では、積層構造を有するものとするが、同様の機能を具備するならば、積層構造に限らず単層構造であってもよい。

【0037】

センサ基板２０１には、複数の画素２０３が行列方向に配置された画素アレイが形成され、画素２０３には、それぞれに例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のベイヤー配列のカラーフィルタアレイが設けられている。

【0038】

回路基板２０２には、画素制御部２０４、信号処理回路２０５、基板メモリ２０６が形成される。画素制御部２０４は、センサ基板２０１の画素２０３毎にバンプ等で電気的に接続され、画素２０３を駆動する制御信号を出力すると共に、画素２０３からのバッファ出力であるパルス波形を受信する。

【0039】

画素制御部２０４は、対応する画素２０３毎に、予め設定された閾値Ｖｔｈと画素２０３の出力とを比較することによりフォトンの有無を判定してカウントするカウンタが設けられ、閾値を超えて変化するパルス波形の数を計数する。

【0040】

画素制御部２０４で計数されたカウント値は、信号処理回路２０５によって、第１撮像素子１０３の外部に出力される。また、基板メモリ２０６はＤＲＡＭ等の揮発性メモリであり、画素制御部２０４からの信号を信号処理回路２０５で処理する際に一時的にデータを保持する目的等で用いられる。

【0041】

次に、画素２０３の構成について説明する。図３（ｂ）は、センサ基板２０１に形成される画素２０３の等価回路図である。画素２０３は、クエンチ抵抗３０１、アバランシェフォトダイオード（ＡＰＤ）３０２（受光素子）、バッファ３０３から構成される。

【0042】

ＡＰＤ３０２には、クエンチ抵抗３０１を介して電位ＨＶＤＤによる逆バイアス電圧が印加される。このときの電位ＨＶＤＤとしては、ＡＰＤ３０２をガイガーモードで駆動するために逆バイアス電圧が降伏電圧以上となるように設定される。バッファ３０３の出力は画素制御部２０４内のカウンタ３０４に入力される。

【0043】

ここで、図４を用いてフォトン入射時の画素２０３の動作について簡単に説明する。

【0044】

図４（ａ）は、ＡＰＤ３０２の電流電圧特性を示している。本実施形態ではＡＰＤ３０２のカソードには、クエンチ抵抗３０１を介して、降伏電圧を超える逆バイアス電圧とするための電位ＨＶＤＤが印加され、ＡＰＤ３０２はガイガーモードとなる。ここでＡＰＤ３０２にフォトンが入射すると、ＡＰＤ３０２ではアバランシェ増幅による大電流（光電流）が流れる（動作Ａ）。

【0045】

この電流が流れると同時にクエンチ抵抗３０１によって逆バイアス電圧が降下し、ＡＰＤ３０２に印加される逆バイアス電圧が降伏電圧未満となり、アバランシェ増幅が止まる（動作Ｂ）。アバランシェ増幅が止まると、ＡＰＤ３０２のカソードは再び電位ＨＶＤＤによりチャージされ、ガイガーモードに戻る（動作Ｃ）。

【0046】

動作Ａ～Ｃによるバッファ入力端の電圧変化はバッファ３０３によってパルス整形され、カウンタ３０４によって計測される。これを繰り返すことでＡＰＤ３０２に入射したフォトンの数を計測することが可能となる。高輝度被写体や動画駆動では、アバランシェ増幅が繰り返されるような状況となるため、アバランシェ増幅による大電流がクエンチ抵抗に流れることでの電力消費が課題となる。

【0047】

図４（ｂ）は、横軸を時間としてフォトン入射時にＡＰＤ３０２から出力されるアバランシェ増幅による出力電圧のパルス波形と、フォトンの入射を判定する判定閾値Ｖｔｈとの関係を示す模式図である。図４（ｂ）は、ＡＰＤ３０２に降伏電圧を十分に超えさせる逆バイアス電圧を印加することのできる電位ＨＶＤＤが供給された場合を示す。このとき、ＡＰＤ３０２に入射したフォトンＡ（時刻ｔ１）、Ｂ（時刻ｔ２）、Ｃ（時刻ｔ３）それぞれに対し、カウンタの判定閾値Ｖｔｈを超えて変化するパルス波形が出力される程度のアバランシェ増幅が発生し、それぞれのパルスは時間分解されている。したがって、図４（ｂ）のケースにおいては光子イベントの回数カウントすることができる。

【0048】

次に、図５を参照して、第２撮像素子１２３に用いるＣＭＯＳ型撮像素子の構成と画素の回路構成について説明する。

【0049】

図５（ａ）は、カラムＡＤ変換部搭載のＣＭＯＳ撮像素子の構成を示すブロック図である。図５（ａ）に示すように、第２撮像素子１２３であるＣＭＯＳ型撮像素子は、その受光面に光を電荷に変換して蓄積するＭ行Ｎ列のマトリクス状に配置された複数の画素５０１を有する。そして、複数の画素５０１の各々には、Ｒ（赤）、Ｇｒ、Ｇｂ（緑）及びＢ（青）のいずれかのカラーフィルターがベイヤー配列になるように設けられている。

【0050】

また、各列毎に各画素５０１に蓄積された電荷量に相当する画像信号を伝送する列信号線５０２が形成され、列信号線５０２毎にカラム回路部５０３が直列に接続されている。

【0051】

カラム回路部５０３は、いずれも不図示のアンプやＣＤＳ（Correlated Double Sampling）回路、及びアナログデジタル（ＡＤ）変換部から構成されている。そして、各ＡＤ変換部からは、アナログ信号である画像信号をデジタル信号に変換してそれぞれ出力し、列走査回路５０４によって水平信号線５０５を通じて順次出力され、第２撮像信号処理部１２４へと入力されていく。

【0052】

さらに、行走査回路５０６は、制御部１３からの制御信号に従って動作するタイミング制御回路５０７からのタイミング制御信号を受けて、転送信号線５０８、リセット信号線５０９、行選択信号線５１０を走査する。そして、各画素５０１から出力される画素信号を行単位で各列の列信号線５０２に読み出す。

【0053】

次に、画素５０１の構成について説明する。図５（ｂ）は、画素５０１の等価回路図である。画素５０１には、フォトダイオードＰＤ５１、転送トランジスタＭ５２、増幅トランジスタＭ５３、選択トランジスタＭ５４、及びリセットトランジスタＭ５５が設けられている。なお、ここでは、各トランジスタはｎチャネルＭＯＳＦＥＴによって構成されるスイッチ素子である。

【0054】

また、転送トランジスタＭ５２、リセットトランジスタＭ５５及び選択トランジスタＭ５４の各ゲートには、それぞれ転送信号線５０８、リセット信号線５０９、行選択信号線５１０が接続されている。これらの信号線は水平方向に延在して、同一行に含まれる画素５０１を同時に駆動するようになっており、これによりライン順次動作型のローリングシャッターや、全行同時動作型のグローバルシャッターの動作を制御することが可能になっている。さらに、選択トランジスタＭ５４のソースには列信号線５０２が接続され、列信号線５０２の一方の端部は、定電流源５６を介して接地されている。

【0055】

フォトダイオードＰＤ５１は、光電変換を行い、生成された電荷を蓄積するものであり、そのＰ側が接地され、Ｎ側が転送トランジスタＭ５２のソースに接続されている。転送トランジスタＭ５２がＯＮすると、フォトダイオードＰＤ５１に蓄積された電荷がフローティングディフュージョン部（ＦＤ）５７に転送されるが、ＦＤ５７には寄生容量Ｃ５８があるので、この部分に電荷が蓄積される。

【0056】

増幅トランジスタＭ５３のドレインは電源電圧Ｖｄｄに接続され、ゲートはＦＤ５７に接続されている。この増幅トランジスタＭ５３は、ＦＤ５７の電圧を電気信号に変換する。

【0057】

選択トランジスタＭ５４は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタＭ５３のソースに、ソースは列信号線５０２に接続されている。この選択トランジスタＭ５４がＯＮしたときには、増幅トランジスタＭ５３と定電流源５６とがソースフォロアを構成するので、ＦＤ５７の電圧に対応する電圧が列信号線５０２に出力される。

【0058】

リセットトランジスタＭ５５のドレインは電源電圧Ｖｄｄに接続され、ソースはＦＤ５７に接続されている。このリセットトランジスタＭ５５は、ＦＤ５７と、転送トランジスタＭ５２を介してフォトダイオードＰＤ５１を電源電圧Ｖｄｄにリセットする。

【0059】

次に図６を用いて、本実施形態の撮像装置１における静止画撮影及び動画撮影の動作フローについて説明する。

【0060】

図３に示すＳＰＡＤ型の第１撮像素子１０３の画素２０３は、図５に示すＣＭＯＳ型の第２撮像素子１２３の画素５０１と比較して、リセットトランジスタＭ５５や増幅トランジスタＭ５３を備えていない構成となっている。

【0061】

そのため、第１撮像素子１０３では、各トランジスタに起因するｋＴＣノイズやＲＴＳノイズなどが発生せず、ＣＭＯＳ型の第２撮像素子１２３と比較してＳ／Ｎ比が優れているため、ランダムノイズの画質への影響が高い静止画での撮影に優れる。

【0062】

その一方、多数枚を繰り返し撮影するような動画や連写では、アバランシェ増幅による大電流による消費電力が大きく、撮像装置を電池駆動する場合に撮影可能枚数が少なくなったり、動作時間が短くなったりすることが想定される。

【0063】

そこで、第１の実施形態では、多画素による静止画撮影が選択された場合にはＳＰＡＤ型の第１撮像素子１０３を用いて撮影を行い、単位時間当たりの消費電力が大きい動画撮影が選択された場合にはＣＭＯＳ型の第２撮像素子１２３を用いて撮影を行う。

【0064】

撮像装置１に電源が投入されて撮像が開始されると、まずＳ１０１において、操作部１４へのユーザー操作などにより静止画モードが選択されているか、動画モードが選択されているかを制御部１３により判断する。静止画モードが選択されている場合はＳ１０２へと遷移し、動画モードが選択されている場合はＳ１０３へと遷移する。

【0065】

Ｓ１０２では、静止画モードが選択されているため、静止画撮影として第１撮像系１１を動作させ、ＳＰＡＤ型の第１撮像素子１０３を用いた静止画撮影動作を開始する。

【0066】

一方、Ｓ１０３では、動画モードが選択されているため、動画撮影として第２撮像系１２を動作させ、ＣＭＯＳ型の第２撮像素子１２３を用いた動画撮影動作を開始する。

【0067】

このように第１撮像系１１と第２撮像系１２を、静止画モードと動画モードに応じて使い分けることで、撮像装置１としての総電力を抑えて、静止画と動画の撮影を両立させるようにしている。

【0068】

次いでＳ１０４では、操作部１４へのユーザー操作などにより、選択されたモードでの記録動作を行うかを制御部１３で判断する。

【0069】

記録する場合はＳ１０５へと遷移し、Ｓ１０１で判定されたモードで撮影して得られた画像信号を画像記録部１６により記録し、Ｓ１０６に遷移する。一方、記録を行わない場合はそのままＳ１０６へと遷移する。

【0070】

Ｓ１０６では、操作部１４へのユーザー操作などにより、撮影終了とするかを制御部１３で判定し、撮影を継続する場合はＳ１０１へと遷移を戻し、撮影を終了する場合は処理を終了する。

【0071】

上記の通り第１の実施形態によれば、ＳＰＡＤ型撮像素子とＣＭＯＳ型撮像素子とを備えた撮像装置において、静止画撮影を行う場合と動画撮影を行う場合とで切り替えて撮影することで、画質と消費電力とを両立させることができる。

【0072】

なお、本実施形態では、静止画モードと動画モードの選択によって第１撮像素子１０３（ＳＰＡＤ型撮像素子）と第２撮像素子１２３（ＣＭＯＳ型撮像素子）のいずれを使うかを制御しているが、本発明はこれに限られるものでは無い。例えば、撮像装置に許容される消費電力量や温度上昇の上限に応じて、動画解像度の違いや、単写と連写など、撮影モードに応じて切り替えるようにしてもよい。すなわち、高解像度の動画撮影を行う撮影モードが設定された場合には第１撮像素子１０３（ＳＰＡＤ型撮像素子）を用いるように制御し、低解像度の動画撮影を行う撮影モードが設定された場合には第２撮像素子１２３（ＣＭＯＳ型撮像素子）を用いるように制御する。あるいは、単写撮影モードが設定された場合には第１撮像素子１０３（ＳＰＡＤ型撮像素子）を用いるように制御し、連写撮影モードが設定された場合には第２撮像素子１２３（ＣＭＯＳ型撮像素子）を用いるように制御する。

【0073】

また、静止画撮影時のシャッタースピードや動画撮影時のフレームレートに応じて切り替えるようにしてもよい。すなわち、所定のシャッタースピードよりも高速のシャッタースピードで静止画撮影を行う場合には第１撮像素子１０３（ＳＰＡＤ型撮像素子）を用いるように制御し、所定のシャッタースピード以下の低速のシャッタースピードで静止画撮影を行う場合には第２撮像素子１２３（ＣＭＯＳ型撮像素子）を用いるように制御する。さらに、動画撮影時のフレームレートが所定のフレームレートよりも大きい場合には第１撮像素子１０３（ＳＰＡＤ型撮像素子）を用いるように制御し、動画撮影時のフレームレートが所定のフレームレート以下である場合には、第２撮像素子１２３（ＣＭＯＳ型撮像素子）を用いるように制御する。

【0074】

＜第１の実施形態の変形例＞
図７は、第１の実施形態の変形例における撮像装置の外観の一例を示す図である。図１に示す撮像装置１は、２つの光学系を用いて２つの撮像素子にそれぞれ被写体からの光を入射する構成を有する。これに対し、図７に示す撮像装置７は、１つの光学系により被写体からの光を入射し、撮像装置７内で光をミラーのような導光手段によって反射、もしくは分割することによって、２つの撮像素子に光を導く。

【0075】

図８は、図７に示した撮像装置７の構成を示すブロック図である。図８において図１と同様の構成については同じ参照番号を付し、説明を省略する。

【0076】

図８に示すように、本変形例における撮像装置７は、光学鏡筒８１、シャッター機構部１０２、第１撮像素子１０３、第２撮像素子１２３、制御部１３、操作部１４、画像表示部１５、画像記録部１６、ミラーユニット８２を備える。なお、本変形例では、第１撮像素子１０３及び第２撮像素子１２３からの画像信号を受けての各種信号処理や、撮像データの圧縮伸張を行う機能については、制御部１３に内在するものとして説明する。

【0077】

光学鏡筒８１は、被写体からの光を撮像装置７内に構成された第１撮像素子１０３、もしくは第２撮像素子１２３に集光するためのレンズと、光学機構部８１１とを含む。光学機構部８１１は、制御部１３からの制御信号に基づいて駆動され、焦点調節や光学結像倍率の変更、入射光量の調整などを行う。

【0078】

ミラーユニット８２は、ミラー部８２１とミラー駆動部８２２とから構成され、光学鏡筒８１から入射した光を、第１撮像素子１０３もしくは第２撮像素子１２３へと導く役割を担う。

【0079】

ミラー駆動部８２２は、制御部１３からの制御信号に従って、アクチュエータなどによりミラー部８２１を駆動する。すなわち、図８に示すレンズの光軸上の第１の位置（ミラーダウン）、ミラー部８２１を跳ね上げて光軸から退避した第２の位置（ミラーアップ）のいずれかに位置するように駆動する。

【0080】

ミラー部８２１が第１の位置にある場合に、光学鏡筒８１からの光を反射して第２撮像素子１２３に光を入射させる。一方、ミラー部８２１が第２の位置にある場合には、光学鏡筒８１からの光はそのまま第１撮像素子１０３に入射する。

【0081】

このとき、ミラー部８２１の構成位置は、第１撮像素子１０３と第２撮像素子１２３の撮像面に対して光学的に等価な位置にある。言い換えると、第１の撮像面に配置された第１撮像素子１０３と第２の撮像面に配置された第２撮像素子１２３はそれぞれ、光学鏡筒８１を介して、被写体に対して光学的に共役な結像面にあると言える。

【0082】

図９は、図８に示す構成を有する撮像装置７の動作を説明するフローチャートである。なお、図６と同様の処理には同じステップ番号を付し、適宜説明を省略する。

【0083】

撮像が開始され、Ｓ１０１において、静止画モードが選択されている場合はＳ９０１へと遷移し、動画モードが選択されている場合はＳ９０３へと遷移する。

【0084】

静止画モードが選択されている場合、Ｓ９０１においてミラー部８２１を第２の位置（ミラーアップ位置）に駆動して、光学鏡筒８１からの光を第１撮像素子１０３へと導く。

【0085】

Ｓ９０１で、ミラー部８２１を第２の位置に駆動した後、Ｓ９０２へと遷移して静止画撮影としてＳＰＡＤ型の第１撮像素子１０３を用いた静止画撮影動作を開始し、Ｓ１０４へと遷移する。

【0086】

一方、動画モードが選択されている場合、Ｓ９０３においてミラー部８２１を第１の位置（ミラーダウン位置）に駆動して、光学鏡筒８１からの光を第２撮像素子１２３へと導く。

【0087】

Ｓ９０３で、ミラー部８２１を第１の位置に駆動した後、Ｓ９０４へと遷移して動画撮影としてＣＭＯＳ型の第２撮像素子１２３を用いた動画撮影動作を開始し、Ｓ１０４へと遷移する。

【0088】

Ｓ１０４以降の処理は、図６における上述した処理と同様であるため、説明を省略する。

【0089】

上記の通り第１の実施形態の変形例によれば、第１の実施形態と同様の効果に加えて、単一の光学系により構成することができる。

【0090】

なお、ミラー部８２１は全反射ミラーである必要はなく、例えばハーフミラーを採用して光学鏡筒８１からの光束を分割して、第１撮像素子１０３と第２撮像素子１２３に光束を同時に入射する構成しても良い。その場合、ミラー動作を不要とする構成で、第１の実施形態で図６を参照して説明した動作とすることができる。

【0091】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、本発明の第２の実施形態では、図１～図５を参照して第１の実施形態で説明した撮像装置１、または、図７及び図８を参照して第１の実施形態の変形例で説明した撮像装置７を用いることができるため、ここでは説明を省略する。

【0092】

撮像装置７を用いる場合には、全反射ミラーでは無く、ハーフミラーを用いることにより、第２の実施形態に適用可能となる。以下、図１０～図１２を参照して、第２の実施形態における処理について説明する。

【0093】

図１０及び図１１は、ＳＰＡＤ型撮像素子においてカウントエラーが起きる場合について説明する図である。

【0094】

図１０（ａ）は、横軸を時間としてフォトン入射時のアバランシェ増幅による出力電圧のパルス波形と判定閾値Ｖｔｈとの関係を示す模式図である。図４（ｂ）で説明した通常動作時の動きと異なり、フォトンＤ（時刻ｔ４）により判定閾値Ｖｔｈを超えて変動する電圧が入力された後、図４（ａ）での説明における動作Ｂでのアバランシェ増幅動作が停止する前にフォトンＥ（時刻ｔ５）が入射する。このとき、時刻ｔ４で起きたアバランシェ増幅による波形変動が判定閾値Ｖｔｈを上回らない内に時刻ｔ５でフォトンＥが入射するため、フォトンＥに対するカウント動作ができない状態となる。

【0095】

また、フォトンＦ（時刻ｔ６）の入射時も時刻ｔ４～ｔ５のときと同様な状態となるため、フォトンＦも同様にカウントされない。このように、被写体の輝度が高い場合、判定閾値Ｖｔｈを上回らない内に連続してフォトンが入射するため、実際に入射するフォトンの数よりもカウント値が小さくなり、カウントエラー（カウント飽和）となってしまう。

【0096】

なお、時刻ｔ６からｔ７の間は、フォトンが入射されず、電圧が一旦判定閾値Ｖｔｈを上回るため、その後に入射されるフォトンＧ（時刻ｔ７）に対する電圧のパルス波形はカウントされる。

【0097】

図１０（ｂ）は、ＳＰＡＤ型撮像素子における照度とカウント値との関係を示す図である。照度が大きくなるとフォトン数が増えていくため、ＳＰＡＤ型撮像素子でカウントされるカウント値も比例して増えていくが、照度Ｍ以上になると図１０（ａ）における時刻ｔ４～時刻ｔ６の状態が起こり、カウントエラー（カウント飽和）が発生する。さらに照度が増していくと、同時に入射されるフォトン数が更に増え、カウントエラー状態が続くために、理想的なカウント値（破線）に対して、実際のカウント値（実線）は照度Ｎを境に反比例の関係となる。

【0098】

照度Ｍ以降では、図１１（ａ）のように高輝度な被写体を含むシーンを撮影すると、高輝度な被写体の照度により、図１１（ｂ）でグラデーション部分に示すような黒沈みが起きた画像となってしまう。

【0099】

そこで、本第２の実施形態では、被写体の輝度に応じて、ＳＰＡＤ型の第１撮像素子１０３で得られた画像において高輝度被写体に対するカウントエラーが起きている画像部分を、ＣＭＯＳ型の第２撮像素子１２３で得られた画像で補間する。

【0100】

図１２のフローチャートを参照して、第２の実施形態における撮像動作について説明する。

【0101】

撮像装置に電源が投入されて撮像が開始されると、まずＳ２０１において、操作部１４へのユーザー操作による撮影記録の指示により、撮影記録を行うかどうかを制御部１３により判定する。

【0102】

Ｓ２０１で撮影記録を行うと判定した場合は、Ｓ２０３において、第１撮像素子１０３を用いて撮影を行うと共に、並行して、第２撮像素子１２３を用いて撮影を行い、それぞれ画像を取得する。一方、撮影記録を行わない場合はＳ２０９へと遷移する。

【0103】

なお、本実施形態では、第１撮像素子１０３及び第２撮像素子１２３を用いて撮像取得を並行して行うものとして説明するが、時系列で別々に取得しても構わない。

【0104】

次にＳ２０４では、Ｓ２０３で第２撮像素子１２３から取得した画像における画像信号値のエリア分布と、第２光学機構部１２２の絞り設定値や第２撮像素子１２３の露出時間や感度設定値から、予め決められた領域毎に被写体輝度値を第２撮像信号処理部１２４にて算出する。

【0105】

そして、この被写体輝度値を補正判定値として制御部１３内に保持する。なお、上記領域は、例えば、公知の手法を用いて被写体を検出し、各被写体を各領域としても良いし、画像を予め決められた大きさの複数ブロックに分割するなど、適宜設定すればよい。

【0106】

次いでＳ２０５では、Ｓ２０４で得られた領域毎の補正判定値の少なくともいずれかが第１撮像素子１０３におけるカウントエラーが起きる補正判定閾値以上となっているかを制御部１３にて判定する。そして、補正判定値の少なくともいずれかが補正判定閾値以上である場合には、補正が必要と判定し、補正判定値がすべて補正判定閾値未満である場合には、補正は不要と判定する。なお、補正判定閾値は、例えば、図１０（ｂ）を参照して説明した第１撮像素子１０３の特性に基づいて、事前に設計値として制御部１３内に保持している。

【0107】

Ｓ２０５で補正が不要と判断した場合はＳ２０６へと遷移し、必要と判断した場合はＳ２０７へと遷移する。

【0108】

Ｓ２０６では、補正が不要であるため、Ｓ２０２で第１撮像素子１０３により得られた画像をそのまま画像記録部１６により記録動作を行い、Ｓ２０９へと遷移する。

【0109】

一方、Ｓ２０７では、Ｓ２０５にて第１撮像素子１０３で得られる画像にはカウントエラーしている画素信号が含まれていると判定されている。そのため、第１撮像素子１０３で得られた画像において、Ｓ２０４で得られたエリア毎の補正判定値が補正判定閾値を超えたアドレスの画像信号を、当該アドレスに対応する第２撮像素子１２３の領域の画像信号と交換する形で制御部１３にて補正を行う。補正後、Ｓ２０９へと遷移する。

【0110】

なお、第１撮像素子１０３と第２撮像素子１２３から得られる画像間の信号レベルの違いは、例えば、各輝度に対して得られる第２撮像素子１２３と第１撮像素子１０３の信号レベルの違いを予めテーブルや関数などとして取得しておき、変換すればよい。また、第１撮像素子１０３で得られた画像にカウントエラーを起こしている領域が狭い場合は、カウントエラーを起こしていない周囲の画素信号から補間を行うか、カウントエラーを起こしている画素領域の信号値を固定値に置き換えて補正するようにしてもよい。他にも、補正方法は様々な手法が考えられ、本願発明は補正方法により制限されるものでは無い。

【0111】

Ｓ２０９では撮影を終了するかどうかを制御部１３で判断し、終了する場合は待機状態へと遷移し、終了しない場合はＳ２０１へと処理を戻して動作を継続する。

【0112】

なお、上記例では、領域毎の被写体輝度値を算出して補正判定値とし、補正判定閾値と比較しているが、本発明はこれに限られるものでは無い。例えば、第１撮像素子１０３と第２撮像素子１２３それぞれで得られた画像の同アドレス領域の信号値差分や信号値比率を補正判定値とするようにしてもよい。また、領域毎に取得した被写体輝度値の最大値を補正判定値として補正判定閾値と比較することにより判定してもよい。

【0113】

また、第２撮像素子１２３から得られた画像における最大輝度値を補正判定値として補正判定閾値と比較し、補正が必要であると判定された場合に、領域毎の被写体輝度値を判定するようにしてもよい。すなわち、第２撮像素子１２３から得られた画像の輝度値を用いて、第１撮像素子１０３から得られた画像におけるカウントエラーの有無を判定して補正すればよく、他にも様々な判定方法や補正方法、手順が考えられる。

【0114】

上記の通り第２の実施形態によれば、ＳＰＡＤ型撮像素子を用いた際に起こる高輝度被写体に起因するカウントエラーを検出して画像を補正することができるため、画質の良い画像を提供することができる。

【0115】

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、本発明の第３の実施形態では、図１～図５を参照して第１の実施形態で説明した撮像装置１、または、図７及び図８を参照して第１の実施形態の変形例で説明した撮像装置７を用いることができるため、ここでは説明を省略する。

【0116】

撮像装置７を用いる場合には、全反射ミラーでは無く、ハーフミラーを用いることにより、第３の実施形態に適用可能となる。以下、図１３及び図１４を参照して、第３の実施形態における処理について説明する。

【0117】

本第３の実施形態では、ＳＰＡＤ型の第１撮像素子１０３と、ＣＭＯＳ型の第２撮像素子１２３とから得られる画像信号を用いて、ダイナミックレンジ拡張処理（以降、「ＨＤＲ処理」と呼ぶ。）を行う動作について説明する。なお、本実施形態では、制御部１３内にてＨＤＲ処理を行うものとして説明する。

【0118】

図１３は、ＨＤＲ処理による入射光量と信号量の関係を示す図である。一般的にＨＤＲ処理は、低露出、高露出それぞれの撮像条件で取得した画像を用いて、信号のダイナミックレンジを拡大する処理のことである。

【0119】

背景技術や第２の実施形態の説明でも述べたように、ＳＰＡＤ型撮像素子はＲＴＳノイズが発生しないなどＳ／Ｎ比が向上するが、高輝度側でカウントエラーを起こしやすい。

【0120】

そこで、本第３の実施形態におけるＨＤＲ処理では、入射光量が大きい信号レンジではＣＭＯＳ型撮像素子の画像信号を用い、入射光量が少ない低輝度側では高Ｓ／Ｎ比の信号が得られるＳＰＡＤ型撮像素子の画像信号を用いて、ダイナミックレンジを拡大する。

【0121】

ＳＰＡＤ型の第１撮像素子１０３では、入射光量がＰ２となった時点でカウントエラーが発生し始める信号量Ｑ３に達し、ＣＭＯＳ型の第２撮像素子１２３では、入射光量がＰ３となった時点でＣＭＯＳ撮像素子における飽和信号量Ｑ２に到達する。一方、受光により得られる信号量がＱ１以下である場合には、ノイズレベルに相当するため、その画素信号は利用することができない。

【0122】

従って、第１撮像素子１０３のダイナミックレンジは、入射光量がＰ０からＰ２までの範囲となり、第２撮像素子１２３のダイナミックレンジは、入射光量がＰ１からＰ３までの範囲となる。

【0123】

ここで、第１撮像素子１０３と第２撮像素子１２３の信号量の比が３：１であるものとする。この場合、制御部１３は、撮像画面内のある画素に対する入射光量Ａの範囲（光量Ｐ０～Ｐ１、低レベル）の信号量について、以下の式（１）により、ＨＤＲ処理後の画素信号HDL_Aを求める。
画素信号HDL_A ＝ 第１撮像素子画素信号×１
＋第２撮像素子画素信号×０ …（１）
また、制御部１３は、撮像画面内のある画素に対する入射光量Bの範囲（光量Ｐ１～Ｐ２、中レベル）の信号量については、以下の式（２）により、ＨＤＲ処理後の画素信号HDL_Bを求める。
画素信号HDL_B ＝ 第１撮像素子画素信号×（１－α）
＋第２撮像素子信号×α×３ …（２）
さらに、制御部１３は、撮像画面内のある画素に対する入射光量Ｃの範囲（光量Ｐ２～Ｐ３、高レベル）の信号量については、以下の式（３）により、ＨＤＲ処理後の画素信号HDL_Cを求める。
画素信号HDL_C ＝ 第１撮像素子画素信号×０
＋第２撮像素子画素信号×３ …（３）

【0124】

以上のように、制御部１３は、撮像画面内における各画素の信号量を、例えば、低レベル、中レベル、高レベルの３つに分類する。そして、信号量が低レベルの入射光量に対応する画素信号については、第１撮像素子１０３の画素信号のみを用いた式（１）により、ＨＤＲ処理後の画素信号を求める。

【0125】

また、信号量が中レベルの入射光量に対応する画素信号については、制御部１３は、第１撮像素子１０３の画素信号と第２撮像素子１２３の画素信号を（１－α）：αの比率で合成した式（２）により、ＨＤＲ処理後の画素信号を求める。ここで、α（αは０以上１以下）は合成比率を表す。さらに、信号量が高レベルの入射光量に対応する画素信号については、制御部１３は、第２撮像素子１２３の画素信号のみを用いた式（３）により、ＨＤＲ処理後の画素信号を求める。

【0126】

これにより、図１３に示されるように、信号量がＱ１からＱ４まで拡張された高ダイナミックレンジな画像を生成することができる。なお、信号量レベルの低レベル、中レベル、及び高レベルの区分については、第１撮像素子１０３及び第２撮像素子１２３の特性に応じて予め決定される。

【0127】

次に、本第３の実施形態の撮像装置におけるＨＤＲ処理について、図１４のフローチャートを参照しながら説明する。

【0128】

ユーザー操作によりＨＤＲモードが選択された上で撮影を開始すると、Ｓ３０１で、第１撮像素子１０３及び第２撮像素子１２３に対して所定の撮影条件を設定する。

【0129】

次にＳ３０３において、第１撮像素子１０３を用いて撮影を行うと共に、並行して、第２撮像素子１２３を用いて撮影を行い、それぞれ画像を取得する。なお、本実施形態では、第１撮像素子１０３及び第２撮像素子１２３を用いて撮像取得を並行して行うものとして説明するが、時系列で別々に取得しても構わない。

【0130】

次いでＳ３０４では、Ｓ３０３で得られた第１撮像素子１０３及び第２撮像素子１２３の画像を用いて、上述したＨＤＲ処理を制御部１３にて行う。

【0131】

次いでＳ３０５では、ＨＤＲ処理を終了するか否かを判定し、終了する場合は待機状態へと遷移する。一方、撮影を続ける場合は、Ｓ３０１へと遷移を戻して撮影を継続する。

【0132】

なお、本実施形態では、ＳＰＡＤ型撮像素子とＣＭＯＳ型撮像素子とを別々に構成する２判撮像素子構成の撮像装置にて説明しているが、本発明はこれに限るものでは無い。例えば、１判撮像素子構成としてＳＰＡＤ型撮像画素とＣＭＯＳ型撮像画素とを交互に構成し、物理的に隣り合うＳＰＡＤ型撮像画素の行とＣＭＯＳ型撮像画素の行から得られる画像信号を用いてＨＤＲ処理しても構わない。その際、ＳＰＡＤ型撮像画素とＣＭＯＳ型撮像画素とを１行または複数行毎に交互に構成しても、１列または複数列毎に交互に構成してもよいし、また、市松模様に構成してもよい。

【0133】

また、上述した例では、入射光量に応じて、式（１）～式（３）のいずれかを用いてＨＤＲ処理後の画素信号を取得するものとして説明したが、本発明はこれに限るものでは無く、信号量に応じて、式（１）～式（３）のいずれかを用いるかを決定してもよい。その場合、例えば、第１撮像素子１０３から得られた信号量と、第２撮像素子１２３から得られた信号量とに基づいて、低レベル、中レベル、高レベルを判定し、判定結果に基づいて、式（１）～式（３）のいずれかを用いる。

【0134】

上記の通り第３の実施形態によれば、ＳＰＡＤ型撮像素子とＣＭＯＳ型撮像素子を用いて上述したようにＨＤＲ処理を行うことで、被写体の輝度に適したダイナミックレンジの画像を得ることができる。

【0135】

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。なお、本発明の第４の実施形態では、図１～図５を参照して第１の実施形態で説明した撮像装置１、または、図７及び図８を参照して第１の実施形態の変形例で説明した撮像装置７を用いることができるため、ここでは説明を省略する。以下、図１５を参照して、第４の実施形態における処理について説明する。

【0136】

本第４の実施形態では、撮像条件における感度設定に応じてＳＰＡＤ型撮像素子もしくはＣＭＯＳ型撮像素子を用いた撮影に切り替える。図３で説明したＳＰＡＤ型の第１撮像素子１０３の画素２０３の構成は、図５で説明したＣＭＯＳ型の第２撮像素子１２３の画素５０１の構成と比較して、リセットトランジスタＭ５５や増幅トランジスタＭ５３を不要とする構成となっている。

【0137】

従って、これらの構成に起因するｋＴＣノイズやＲＴＳノイズなどが発生しないため、ＣＭＯＳ型に比較してＳ／Ｎ比が優れる。しかし、第２の実施形態で図１０を参照して説明したように、フォトンが単位時間に多数入射するような条件では、カウントエラーを起こす。

【0138】

そこで、第４の実施形態の撮像装置では、フォトンが画素に多量に入射するような露出条件撮影ではＣＭＯＳ型撮像素子で撮像を行い、低照度時などでの露出条件撮影を行う場合にはノイズが多量に発生しやすいためＳＰＡＤ型撮像素子を用いた撮影を行う。

【0139】

まず、撮像装置に電源が投入されて撮像が開始されると、Ｓ４０１では、露出値を決定するために、第２撮像素子１２３による撮像動作を行う。Ｓ４０１では撮影開始直後で被写体の明るさに関する状態が分からないため、高輝度による不具合を起こさないＣＭＯＳ型の第２撮像素子１２３にて取得する。

【0140】

次いでＳ４０２では、Ｓ４０１にて得られた画像から、被写体輝度値Ｅｘを求める。本実施形態では、第２撮像素子１２３で取得した画像信号と、第２撮像素子１２３に設定されている露出時間や感度設定値と、第２光学機構部１２２での光学絞りの設定値に基づいて、被写体輝度値Ｅｘを算出する。

【0141】

なお、Ｓ４０２では、第２撮像素子１２３からの画像信号に基づいて処理する場合は第２撮像信号処理部１２４にて処理するが、後述するＳ４０８から遷移し、第１撮像素子１０３からの画像信号に基づいて処理する場合は、第１撮像信号処理部１１５にて算出する。

【0142】

次いでＳ４０３において、Ｓ４０２で算出された被写体輝度値Ｅｘが、所定の閾値Ｅｔｈ以上か否かを制御部１３にて判定する。なお、この閾値Ｅｔｈとしては、ＳＰＡＤ型の第１撮像素子１０３がカウントエラーを起こす輝度や、ＣＭＯＳ型の第２撮像素子１２３のＳ／Ｎ比が許容値を超える輝度を設定している。

【0143】

Ｓ４０３において被写体輝度値Ｅｘが閾値Ｅｔｈ未満である場合は、Ｓ４０４へと遷移し、ＳＰＡＤ型の第１撮像素子１０３を用いて撮影を行う。一方、Ｓ４０３で被写体輝度値Ｅｘが閾値Ｅｔｈ以上の場合は、制御部１３はＳ４０５へと遷移し、ＣＭＯＳ型の第２撮像素子１２３を用いて撮影を行う。

【0144】

次いでＳ４０６では、操作部１４によるユーザー操作などにより、記録動作を行うかを制御部１３で判断する。記録する場合はＳ４０７へと遷移し、Ｓ４０４またはＳ４０５で撮影して得られた画像信号を画像記録部１６により記録し、Ｓ４０８へと遷移する。一方、記録を行わない場合はそのままＳ４０８へと遷移する。

【0145】

Ｓ４０８では操作部１４へのユーザー動作などにより、撮影終了とするかを制御部１３で判定し、撮影を継続する場合はＳ４０２へと遷移を戻し、撮影を終了する場合は処理を終了する。

【0146】

Ｓ４０８からＳ４０２へと遷移させた場合は、Ｓ４０７で記録した画像信号から被写体輝度値Ｅｘを求める。そのため、Ｓ４０４での第１撮像素子１０３での画像信号を用いる場合には、上述したように、第１撮像信号処理部１１５にて被写体輝度値Ｅｘを求めることになる。

【0147】

なお、上述した例では、Ｓ４０２で被写体輝度値Ｅｘを求めてその値を元にＳ４０３にて撮像動作を切り替えているが、撮像素子に設定する感度などの撮像条件に応じて切り替えることにしてもよい。その場合の撮像条件設定は、画像信号や不図示の測光センサのような外測素子を用いて算出される測光値によって制御部１３にて決めてもよいし、ユーザーの操作によって決めるようにしてもよい。そして、感度が予め決められた感度より大きい場合にＳ４０４へ進み、感度が感度閾値以下の場合にＳ４０５に進むような制御とすれば良い。

【0148】

さらに、被写界深度やシャッタースピード等に応じて設定された絞り値や、入射光量を調整するためのＮＤフィルタの有無、あるいは挿入されるＮＤフィルタの濃度などに応じて使用する撮像素子を切り替えるようにしてもよい。すなわち、所定の絞り値よりも絞り込んだ絞り値が設定された場合には第１撮像素子１０３（ＳＰＡＤ型撮像素子）を用いるように制御し、所定の絞り値よりも開いた開放側の絞り値が設定された場合には第２撮像素子１２３（ＣＭＯＳ型撮像素子）を用いるように制御する。

【0149】

また、光路上にＮＤフィルタが挿入されている場合には第１撮像素子１０３（ＳＰＡＤ型撮像素子）を用いるように制御し、光路上にＮＤフィルタが挿入されていない場合には第２撮像素子１２３（ＣＭＯＳ型撮像素子）を用いるように制御する。あるいは、所定濃度よりも濃い濃度のＮＤフィルタが光路上に挿入されている場合には第１撮像素子１０３（ＳＰＡＤ型撮像素子）を用いるように制御し、所定濃度以下の濃度のＮＤフィルタが光路上に挿入されている場合には第２撮像素子１２３（ＣＭＯＳ型撮像素子）を用いるように制御する。

【0150】

上記の通り第４の実施形態によれば、ＳＰＡＤ型撮像素子でのカウントエラーによる高輝度沈みやＣＭＯＳ型撮像素子でのＳ／Ｎ低下による画質劣化を避けることで、画質の良い画像を提供することができる。

【0151】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0152】

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

【0153】

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0154】

１１：第１撮像系、１０３：第１撮像素子、１１５：第１撮像信号処理部、１２：第２撮像系、１２３：第２撮像素子、１２４：第２撮像信号処理部、１３：制御部、１４：操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】