特許 6799385 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6799385

(24)【登録日】2020年11月25日

(45)【発行日】2020年12月16日

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 5/378 20110101AFI20201207BHJP

   H04N 5/374 20110101ALI20201207BHJP

   H04N 5/355 20110101ALI20201207BHJP

   H03M 1/56 20060101ALI20201207BHJP

【ＦＩ】

   H04N5/378

   H04N5/374

   H04N5/355 810

   H03M1/56

【請求項の数】8

【全頁数】22

(21)【出願番号】特願2016-91651(P2016-91651)

(22)【出願日】2016年4月28日

(65)【公開番号】特開2017-200140(P2017-200140A)

(43)【公開日】2017年11月2日

【審査請求日】2019年4月24日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】伊勢 誠

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２０１５−１１９３８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０−５／３７８

Ｈ０３Ｍ １／５６

(57)【特許請求の範囲】

【請求項1】

光電変換素子を有する画素から読み出された画素信号を時間と共に電圧が変化する参照信号と比較し、前記画素信号と前記参照信号の大小関係が変化するのに要する時間に対応するデジタル値を前記画素信号のＡＤ変換結果として取得するＡＤ変換器を有し、
前記ＡＤ変換器は前記画素信号のレベルを閾値を用いて判定し、判定結果に応じて前記参照信号の電圧の変化率を異ならせるとともに、所定の撮影感度よりも高感度または低感度で撮影する場合に、前記閾値を変更することを特徴とする撮像装置。

【請求項2】

光電変換素子を有する画素から読み出された画素信号を時間と共に電圧が変化する参照信号と比較し、前記画素信号と前記参照信号の大小関係が変化するのに要する時間に対応するデジタル値を前記画素信号のＡＤ変換結果として取得するＡＤ変換器を有し、
前記ＡＤ変換器は前記画素信号のレベルを閾値を用いて判定し、判定結果に応じて前記参照信号の電圧の変化率を異ならせるとともに、同じ被写体を複数の異なる露出で順次撮影する場合に、露出に応じて前記閾値を変更することを特徴とする撮像装置。

【請求項3】

前記ＡＤ変換器によりＡＤ変換された前記画素信号に適用されるデジタルゲインの大きさが前記参照信号の電圧の変化率に応じて異なることを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

さらに、ＡＤ変換された前記画素信号に画像処理を適用する画像処理部を有し、前記デジタルゲインが前記画像処理部で適用されることを特徴とする請求項３に記載の撮像装置。

【請求項5】

前記画像処理がガンマ補正処理を含み、前記デジタルゲインが前記ガンマ補正処理の前に適用されることを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記同じ被写体を基準露出と、前記基準露出よりも低い露出と、前記基準露出よりも高い露出とで順次撮影することを特徴とする請求項２に記載の撮像装置。

【請求項7】

光電変換素子を有する画素から読み出された画素信号を時間と共に電圧が変化する参照信号と比較し、前記画素信号と前記参照信号の大小関係が変化するのに要する時間に対応するデジタル値を前記画素信号のＡＤ変換結果として取得するＡＤ変換器とを有する撮像装置の制御方法であって、
前記ＡＤ変換器は前記画素信号のレベルを閾値を用いて判定し、判定結果に応じて前記参照信号の電圧の変化率を異ならせるとともに、所定の撮影感度よりも高感度または低感度で撮影する場合に、前記閾値を変更することを特徴とする撮像装置の制御方法。

【請求項8】

光電変換素子を有する画素から読み出された画素信号を時間と共に電圧が変化する参照信号と比較し、前記画素信号と前記参照信号の大小関係が変化するのに要する時間に対応するデジタル値を前記画素信号のＡＤ変換結果として取得するＡＤ変換器とを有する撮像装置の制御方法であって、
前記ＡＤ変換器は前記画素信号のレベルを閾値を用いて判定し、判定結果に応じて前記参照信号の電圧の変化率を異ならせるとともに、同じ被写体を複数の異なる露出で順次撮影する場合に、露出に応じて前記閾値を変更することを特徴とする撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は撮像装置およびその制御方法に関する。

【背景技術】

【0002】

ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像素子（以下、単に撮像素子と呼ぶ）には、例えば、アナログ・デジタル変換器（ＡＤ変換器）を搭載したものがある。

【0003】

複数の画素が行および列方向に２次元配列された撮像素子にＡＤ変換器を搭載する場合、画素列ごとにＡＤ変換器を設ける構成（列並列型またはカラム型ＡＤ変換アーキテクチャ）が知られている。列並列型のＡＤ変換アーキテクチャでは、ＡＤ変換器ごとの変換レートを一行あたりの読み出しレートに低下できるため、撮像素子の消費電力低下に寄与するほか、撮像素子の読み出しレートの高速化にも寄与する。

【0004】

列並列型のＡＤ変換アーキテクチャにおいて、ランプ型のＡＤ変換器を用いる構成が知られている（特許文献１参照）。ランプ型のＡＤ変換器は、電圧値が時間と共に一定割合で増加するランプ信号の電圧が、初期値からＡＤ変換対象のアナログ電圧より大きくなるまでに要する時間に相当するデジタル値を、ＡＤ変換結果として取得する。デジタル値は例えば、一定周波数のパルス信号をカウンタで計数することで得ることができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−９０８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ランプ型のＡＤ変換器は、原理上、変換対象の値が大きいほど、またＡＤ変換の分解能が高いほど、ＡＤ変換に時間を要する。そのため、特許文献１では、画素信号のレベルが閾値より大きい場合は小さい場合よりもランプ信号の増加割合を大きくすることで、大きな値に対するＡＤ変換時間を短縮する構成を開示している。

【0007】

しかしながら、ランプ信号の増加割合を大きくすることは、ＡＤ変換の分解能を下げることと同義である。そのため、特許文献１記載の構成では、特に、ＡＤ変換後にデジタルゲインが適用される場合において、レベルの大きな画素信号に関して視認できる画質低下を生じることがあった。

【0008】

本発明はこのような従来技術の課題に鑑みてなされたものであり、ランプ型のＡＤ変換器を有する撮像装置において、視認できる画質低下を抑制しながら、処理速度の向上を実現することを１つの目的とする。

【課題を解決するための手段】

【0009】

上述の目的は、光電変換素子を有する画素から読み出された画素信号を時間と共に電圧が変化する参照信号と比較し、画素信号と参照信号の大小関係が変化するのに要する時間に対応するデジタル値を画素信号のＡＤ変換結果として取得するＡＤ変換器を有し、ＡＤ変換器は画素信号のレベルを閾値を用いて判定し、判定結果に応じて参照信号の電圧の変化率を異ならせるとともに、所定の撮影感度よりも高感度または低感度で撮影する場合に、閾値を変更することを特徴とする撮像装置によって達成される。

【発明の効果】

【0010】

このような構成により、本発明によれば、ランプ型のＡＤ変換器を有する撮像装置において、視認できる画質低下を抑制しながら、処理速度の向上を実現することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係るデジタルカメラの機能構成例を示すブロック図

【図2】実施形態に係る撮像素子の構成例を示す図

【図3】図２の撮像素子に係るタイミング図

【図4】図２の撮像素子が有するＡＤ変換器の動作例を示す図

【図5】図２の撮像素子が有するＡＤ変換器の動作を機能的に示す図

【図6】図２の撮像素子が有するＡＤ変換器の動作に関する図

【図7】図２の撮像素子が有するＡＤ変換器の入出力特性に関する図

【図8】第１実施形態に係る撮像装置の動作に関するフローチャート

【図9】第１実施形態の動作と効果を説明するための図

【図10】第２実施形態に係るタイミング図

【図11】第２実施形態におけるＨＤＲ合成の入出力特性に関する図

【図12】第２実施形態に係る撮像装置の動作に関するフローチャート

【図13】第３実施形態に係る撮像装置の動作に関するフローチャート

【発明を実施するための形態】

【0012】

●（第１実施形態）
以下、本発明をその例示的な実施形態に基づいて詳細に説明する。図１は、本発明に係るＡＤ変換機能を備える固体撮像素子を適用可能な電子機器の一例としてのデジタルカメラの機能構成例を示すブロック図である。なお、本発明は、撮像装置のみならず、携帯電話機（スマートフォンを含む）、メディアプレーヤ、ゲーム機、パーソナルコンピュータ、ドライブレコーダなどを含む、固体撮像素子を適用可能な任意の電子機器に適用可能である。

【0013】

撮影レンズ１１０は、フォーカスレンズや変倍レンズを含むレンズ群や、絞り機構などを有する撮影光学系であり、撮像素子１２０の撮像面に被写体光学像を形成する。撮影レンズ１１０は着脱可能であってもよい。レンズ制御部１１１は、システム制御部１８０の制御に基づいて、撮影レンズ１１０のフォーカスレンズ、変倍レンズ、絞りを駆動する。撮影レンズ１１０が着脱可能な場合、レンズ制御部１１１は撮影レンズ１１０に設けられる。

【0014】

撮像素子１２０は例えばＣＭＯＳイメージセンサなどの固体撮像素子であり、２次元配列された数十万から数千万個の画素を有する。各画素は光電変換領域を備え、入射光量に応じた電荷を発生する。本実施形態の撮像素子１２０はＡＤ変換部１２０１を備えており、デジタル出力が可能である。

【0015】

駆動部１２１は、システム制御部１８０の制御に基づいて撮像素子１２０の露光時間やゲインを調整したり、画像データの読み出しなどを行う。

【0016】

駆動部１２１によって撮像素子１２０から読み出されたデジタル画像データは、画像処理部１３０に供給される。画像処理部１３０はデジタル画像データに対し、拡大／縮小処理、ガンマ処理、ホワイトバランス調整処理、色補間処理、露出補正処理、被写体検出／追尾処理、焦点検出や露出制御に用いる評価値の生成処理など、様々な画像処理を実行することができる。画像処理部１３０は画像処理の実行時に、必要に応じてメモリ部１４０を用いることができる。

【0017】

また、本実施形態の画像処理部１３０はダイナミックレンジ（Ｄレンジ）拡大部１３０１を備える。Ｄレンジ拡大部１３０１は、例えばメモリ部１４０に保存されている、露出量の異なる複数の画像を合成することにより、ダイナミックレンジを拡大した画像（ハイダイナミックレンジ画像またはＨＤＲ画像とも呼ばれる）を生成することができる。

【0018】

画像処理部１３０はさらに、表示部１５０に表示するための画像信号を生成することができる。表示部１５０は液晶ディスプレイや有機ＥＬディスプレイなどであり、タッチパネル機能を有するタッチディスプレイであってもよい。

【0019】

画像処理部１３０が出力する画像データはコーデック部１６０に供給される。コーデック部１６０は画像データを記録形式に応じて符号化し、ヘッダ情報などを付加して画像ファイルとしてメモリカード１７０に記録する。また、コーデック部１６０は、メモリカード１７０から読み出された画像データを必要に応じて復号し、画像処理部１３０に供給する。

【0020】

システム制御部１８０はＣＰＵ、ＭＰＵなどのプログラマブルプロセッサであり、ＲＯＭ１８１に記憶されたプログラムを、ＲＡＭ１８２に読み込んで実行することにより、撮影レンズ１１０を含むデジタルカメラ１００の動作を制御する。例えばシステム制御部１８０は、画像処理部１３０が生成する評価値や、被写体検出結果を用いて、自動焦点検出（ＡＦ）処理、自動露出制御（ＡＥ）処理、フラッシュ発光制御処理などを行う。また、以下に説明する撮像素子１２０の制御動作も、システム制御部１８０の制御によって実現される。

【0021】

操作部１９０は、ユーザがデジタルカメラ１００に指示や設定を入力するための入力デバイス群である。例えばレリーズボタン、電源スイッチ、方向キー、決定キー、メニューキーなどが操作部１９０に含まれるが、これらに限定されない。なお、操作部１９０に含まれる入力デバイスは、物理的なスイッチやボタンに限らず、表示部１５０におけるＧＵＩ表示と表示部１５０に設けられたタッチパネルとの組み合わせによって実現されてもよい。また、音声入力、視線入力などの非接触入力方式に基づく入力デバイスを用いてもよい。

【0022】

図２は、撮像素子１２０の構成例を、ＡＤ変換部１２０１と画素の一部の回路構成例を含めて示した図である。
図２では、多数の画素のうち、画素２０９ａ〜２０９ｆのみを示している。画素２０９ａ〜２０９ｆは、行方向に配列された複数の画素を単位として垂直走査回路２００に接続される。垂直走査回路２００は、同じ信号線に接続された画素群を単位として、読み出し対象の画素を選択する。以下の説明において、添字ａ，ｂ，ｃ，…を有する参照番号（例えば２０９ａ〜２０９ｆ）を付された構成要素のそれぞれに該当する説明については、添字を有さない参照番号（例えば２０９）を用いる。

【0023】

画素２０９ａ〜２０９ｆは同じ回路構成を有するため、代表として画素２０９ａの回路構成について説明する。光電変換素子の一例としてのフォトダイオード（以下ＰＤと呼ぶ）２０３ａは、入射光量に応じた電荷（信号電荷）を発生する。リセットトランジスタ（以下リセットＴｒと呼ぶ）２０１ａは垂直走査回路２００によってオンオフ制御され、ＰＤ２０３ａおよびフローティングディフフュージョン（以下ＦＤと呼ぶ）２０４ａに蓄積された信号電荷をリセットする。転送トランジスタ（以下転送Ｔｒと呼ぶ）２０２ａは垂直走査回路２００によってオンオフ制御され、ＰＤ２０３ａに蓄積された信号電荷をＦＤ２０４ａに転送する。

【0024】

ＦＤ２０４ａは蓄積された電荷を電位（ＦＤ電位）に変換する。選択トランジスタ（以下選択Ｔｒと呼ぶ）２０５ａは、垂直走査回路２００によってオンオフ制御されて、画素ソースフォロア（以下画素ＳＦと呼ぶ）２０６ａを介してＦＤ電位を垂直出力線２０８ａに出力する。なお、画素ＳＦ２０６ａはバッファアンプである。

【0025】

判定回路２１３ａ〜２１３ｃは、列ごとに設けられ、読み出されたＦＤ電位を、撮像素子１２０の外部（駆動部１２１）から設定された閾値と比較し、比較結果を示す信号を出力する。判定回路２１３は各画素から読み出された信号（ＦＤ電位）の明暗判定もしくはレベル判定の機能を実現する。また、判定回路２１３の出力は、ランプ信号（後述）の選択信号として用いられる。

【0026】

撮像素子１２０はまた、それぞれ垂直出力線２０８ａ〜２０８ｃに接続された列読み出し回路２１５ａ〜２１５ｃを有している。列読み出し回路２１５ａ〜２１５ｃは同じ回路構成を有するため、代表として列読み出し回路２１５ａの回路構成について説明する。
列読み出し回路２１５ａは、ＰＤ２０３から転送された電荷に基づくＦＤ電位を記憶するためのサンプルホールド回路（以下、Ｓ／Ｈ（Ｓ））を構成するスイッチトランジスタ２１６ａおよびコンデンサ２１８ａを有する。以下、Ｓ／Ｈ（Ｓ）に記憶されるＦＤ電位をＳ信号と呼ぶ。選択Ｔｒ２２０ａはＳ信号を選択する。

【0027】

列読み出し回路２１５ａはさらに、ノイズ電荷に基づくＦＤ電位を記憶するためのサンプルホールド回路（以下、Ｓ／Ｈ（Ｎ））を構成するスイッチトランジスタ２１７ａおよびコンデンサ２１９ａを有する。以下、Ｓ／Ｈ（Ｎ）に記憶されるＦＤ電位をＮ信号と呼ぶ。選択Ｔｒ２２１ａはＮ信号を選択する。

【0028】

列読み出し回路２１５ａはさらに、コンデンサ２２２ａ、２２４ａ、および２２５ａの容量比に応じてゲインが決定される列アンプ２２３ａを有する。また、列アンプ２２３ａのゲインは、スイッチトランジスタ２２６ａのオン・オフによって切り換えることができる。列アンプ２２３ａには、Ｓ信号またはＮ信号の他に、信号線２３８から信号増幅用の基準電圧ＶＲＥＦが供給されている。

【0029】

列読み出し回路２１５ａはさらに、列アンプ２２３ａの出力と、セレクタ２４３ａを通じて供給されるランプ信号とを比較するコンパレータ２２７ａと、メモリ２２８ａとを有する。コンパレータ２２７ａの出力信号レベルの切り換わりタイミングにおいて、カウンタ２３０のカウント値がメモリ２２８ａにラッチされる。ここで、コンパレータの出力は例えば、ロウ（Ｌ）レベルとハイ（Ｈ）レベルとを有するものとする。このように、列アンプ２２３ａの出力とランプ信号との大小関係が変化するのに要する時間に対応するデジタル値が、ＡＤ変換結果としてメモリ２２８ａにラッチされる。

【0030】

本実施形態においてランプ信号発生器２２９は、電圧が時間と共に線形変化する参照信号であるランプ信号を複数種出力する。個々のランプ信号は時間あたりの電圧の変化率（時間−電圧関数の傾き）が互いに異なる。セレクタ２４３ａは判定回路２１３ａによる判定結果（出力信号）に応じて、複数のランプ信号のうち１つを選択してコンパレータ２２７ａに供給する。本実施形態ではランプ信号発生器２２９は２種類のランプ信号を生成する。

【0031】

また、乗算回路２４４は、用いられたランプ信号の種類に応じた係数をメモリ２２８から読み出された値に乗算する。なお、図２では説明及び理解を容易にするため、メモリ２２８から読み出された値を乗算するように記載しているが、例えばメモリ２２８からビットシフトして読み出すことによっても同様の効果が得られる。

【0032】

このように、コンパレータ２２７、メモリ２２８、ランプ信号発生器２２９、セレクタ２４３、乗算回路２４４、およびカウンタ２３０によってランプ型のＡＤ変換部１２０１が構成される。本実施形態においてＡＤ変換部１２０１は、列アンプ２２３の出力側に配置されている。

【0033】

図２において、ｍ（ｍは２以上の整数）行目の画素２０９ａ〜２０９ｃは、ｍ行目の行選択線（ＰＳＥＬ＿ｍ）２１０、ｍ行目のリセット信号線（ＰＲＥＳ＿ｍ）２１１、およびｍ行目の信号転送線（ＰＴＸ＿ｍ）２１２で垂直走査回路２００と接続されている。

【0034】

同様に、ｍ−１行目の画素２０９ｄ〜２０９ｆは、ｍ−１行目の行選択線（ＰＳＥＬ＿ｍ−１）、ｍ−１行目のリセット信号線（ＰＲＥＳ＿ｍ−１）、およびｍ−１行目の信号転送線（ＰＴＸ＿ｍ−１）で垂直走査回路２００と接続されている。

【0035】

なお、画素２０９からＦＤ電位をＳ信号とＮ信号として読み出す期間はそれぞれ、信号ＰＴＳ２３２とＰＴＮ２３４によって制御される。また、Ｓ信号とＮ信号をコンパレータ２２７に読み出す期間はそれぞれ、信号ＡＤＳ２３５とＡＤＮ２３６によって制御される。これら、読み出し期間を制御する信号ＰＴＳ２３２，ＰＴＮ２３４，ＡＤＳ２３５，ＡＤＮ２３６は、システム制御部１８０の制御に基づいて駆動部１２１が撮像素子１２０に供給する。

【0036】

水平走査回路２３１はメモリ２２８ａ〜２２８ｃのうち、カウント値を読み出すメモリ（列）を選択する。また、メモリ２２８ａ〜２２８ｃにラッチされた、ＡＤ変換結果を表すカウント値は、水平走査回路２３１により順次選択されて水平出力線２４１に読み出される。本実施形態においては、判定回路２１３による判定結果が水平走査回路２３１にも供給されており、水平走査回路２３１は個々のメモリ２２８に格納されているカウント値が、どのランプ信号に対応する値なのかを知ることができる。

【0037】

そして、乗算回路２４４は、ＡＤ変換時に用いられたランプ信号の種類に応じて定まる係数を、メモリ２２８から読み出されたカウント値に適用してレベル変換を行い、出力する。例えば、第２のランプ信号の時間−電圧関数の傾き（もしくは電圧の変化率）が第１のランプ信号の時間−電圧関数の傾き（もしくは電圧の変化率）のｎ倍とする。この場合、乗算回路２４４は第２のランプ信号を用いてＡＤ変換した結果についてはｎ倍し、第１のランプ信号を用いてＡＤ変換した結果については１倍して（もしくはそのまま）デジタル画像データ（ＶＯＵＴ）として撮像素子１２０から出力する。水平走査回路２３１は、メモリ２２８から読み出すカウント値が対応する（ＡＤ変換に用いられた）ランプ信号の種類に応じた適切な係数が適用されるように、乗算回路２４４を制御する。

【0038】

図２および、図３のタイミングチャートを参照して、図２に示した撮像素子１２０の動作について説明する。ここでは代表的に画素２０９ａに関する動作について説明するが、他の画素についても同様の動作が実行される。なお、図３においては行番号を示す添字は省略している。また、図３ではランプ信号の選択やＡＤ変換時に用いたランプ信号の種類に応じた制御に係る信号は記載していない。

【0039】

ＰＤ２０３ａに光が入射すると信号電荷が発生し、ＦＤ２０４ａに信号電荷の蓄積が開始される。そして、垂直走査回路２００による行単位の走査がｍ行目に対して行われると、ＰＳＥＬ＿ｍ２１０をまずＨレベルとし、続いてＰＲＥＳ＿ｍ２１１およびＰＴＸ＿ｍ２１２をＨレベルとすることによりＰＤ２０３ａおよびＦＤ２０４ａをリセットする。これによって、リセットノイズを含むリセットレベル（ノイズ電荷に基づくＦＤ電位）Ｖｎが画素ＳＦ２０６を介して垂直出力線２０８に出力される。そして、ＰＴＮ２３４を所定期間（以下Ｎ読み期間と呼ぶ）Ｈレベルとし、Ｎ読み期間にリセットレベルＶｎをＳ／Ｈ（Ｎ）に読み出す。

【0040】

Ｓ／Ｈ（Ｎ）に読み出されたＮ信号は、Ｓ／Ｈ（Ｓ）に信号レベルＶｓを読み出す前の所定期間（以下Ｎ−ＡＤ期間と呼ぶ）ＡＤＮ２３６をＨレベルとして、列アンプ２２３ａに読み出す。

【0041】

その後、ＰＴＸ２１２を所定期間Ｈレベルとし、ＰＤ２０３ａに発生した信号電荷をＦＤ２０４に転送する。信号電荷に基づくＦＤ電位（信号レベル）Ｖｓは、リセットレベルＶｎと同様にして、画素ＳＦ２０６から垂直出力線２０８へ出力される。そして、ＰＴＳ２３２を所定期間（以下Ｓ読み期間と呼ぶ）Ｈレベルとし、Ｓ読み期間に信号レベルＶｓをＳ／Ｈ（Ｓ）に読み出す。
その後、所定期間（以下Ｓ−ＡＤ期間と呼ぶ）ＡＤＳ２３５をＨレベルとして、Ｓ信号を列アンプ２２３ａに読み出す。

【0042】

列アンプ２２３ａはＮ信号と基準電圧ＶＲＥＦ２３８との差分（以下、単にＮ信号と呼ぶ）、またはＳ信号と基準電圧ＶＲＥＦ２３８との差分（以下、単にＳ信号と呼ぶ）を設定されたゲインで増幅して出力する。列アンプ２２３ａのゲインは、ゲイン選択信号ＧＮＳＥＬ２３７に応じてオンオフするスイッチトランジスタ２２６ａと、コンデンサ２２４ａおよび２２５ａの負荷容量値によって決定される。図２の例ではゲイン選択信号ＧＮＳＥＬ２３７のオンオフによって、列アンプ２２３ａに２段階のゲインの一方を設定できる。なお、列アンプ２２３ａに並列接続されるコンデンサと、対応するスイッチトランジスタとを追加することにより、列アンプ２２３ａに３段階以上のゲインを設定できるように構成してもよい。列アンプ２２３ａによる増幅はアナログ領域での増幅のため、ＡＤ変換後の増幅とは異なり、階調性を低下させない。

【0043】

列アンプ２２３ａで増幅されたＮ信号は、Ｎ−ＡＤ期間において、コンパレータ２２７ａによって、ランプ信号発生器２２９から供給されるランプ信号と比較される。
ランプ信号は電圧が時間と共に線形に変化する信号であり、カウンタ２３０が初期値（ゼロとする）のときに初期電圧値を有するように同期が取られる。コンパレータ２２７ａの出力は、ランプ信号がＮ信号と同じ電圧になるとＬレベルからＨレベルに変化する。コンパレータ２２７ａの出力がＬレベルからＨレベルに変化したタイミングにおけるカウンタ２３０の出力値を、Ｎ信号に対応するカウント値としてメモリ２２８ａに記憶する。

【0044】

列アンプ２２３ａで増幅されたＳ信号についても、Ｓ−ＡＤ期間において、ランプ信号発生器２２９から与えられるランプ信号と比較され、Ｓ信号に対応するカウント値がメモリ２２８ａに記憶される。

【0045】

メモリ２２８ａでは、記憶された、Ｓ信号に対応するカウント値から、Ｎ信号に対応するカウント値を減じる演算を行う。演算によって得られる差分をＳ−Ｎ信号と呼ぶ。メモリ２２８ａ，２２８ｂ，２２８ｃ，．．．で得られるｍ行目のＳ−Ｎ信号は、水平走査回路２３１によって水平出力線２４１に列ごとに順次読み出される。水平出力線２４１に読み出されたＳ−Ｎ信号は、乗算回路２４４を通じて撮像素子１２０のデジタルセンサ出力ＶＯＵＴとして出力される。

【0046】

Ｓ／Ｈ（Ｓ）に読み出されるＳ信号は、Ｓ／Ｈ（Ｎ）に読み出されるＮ信号と、ＰＤ２０３ａで発生した信号電荷に基づく信号の加算信号である。従って、メモリ２２８ａにおける減算処理は、相関２重サンプリング（ＣＤＳ）に相当する。従って、撮像素子１２０からは、ＦＤ２０４ａのリセットノイズおよび画素ＳＦ２０６ａの１／ｆノイズが除去されたデジタル出力ＶＯＵＴが得られる。

【0047】

次に、セレクタ２４３、コンパレータ２２７、メモリ２２８、ランプ信号発生器２２９、乗算回路２４４、およびカウンタ２３０によって構成されるＡＤ変換部１２０１の、フルスケールレンジのビット数と変換時間との関係について説明する。

【0048】

図４は図２に示した構成を有するＡＤ変換部１２０１を、一般的な制御方法で動作させる場合の、コンパレータ２２７ａに入力される信号（ランプ信号および列アンプ２２３ａの出力信号）の電圧値とカウンタ２３０の出力値との関係を示している。

【0049】

ここでは、フルスケールレンジの階調ビット数を３通り設定できるものとする。具体的には、動作モード１の場合には１０ビット（２＾１０＝１０２４階調）、動作モード２の場合には１１ビット（２＾１１＝２０４８階調）、動作モード３の場合には１２ビット（２＾１２＝４０９６階調）である。

【0050】

ランプ信号のフルレベルＶＦが動作モードに依存しない一定値とするため、ランプ信号の傾き（ランプ信号の時間−電圧変化を表す一次関数の傾き）を、動作モードに応じて変更する。そのため、列アンプ２２３ａの出力信号レベルＶＳについて、ランプ信号と画素信号との大小関係が変化し、コンパレータ２２７ａの出力がＬレベルからＨレベルに転ずるのに要する時間は動作モードごとに異なる。具体的には、ＡＤ変換の分解能が高い（フルスケールの階調ビット数が大きい）ほど長くなる。

【0051】

ある信号レベルのＡＤ変換に要する時間は、ランプ信号と画素信号との大小関係が変化し、コンパレータ２２７ａの出力レベルが変化するまでのカウント数によって決定される。従って、１カウント期間が１０［ｎｓ］の場合、動作モード１でカウント数Ｍに対応する信号レベルのＡＤ変換に要する時間は１０Ｍ［ｎｓ］である。しかし、同じ信号レベルのＡＤ変換について、動作モード２では２０Ｍ［ｎｓ］、動作モード３では４０Ｍ［ｎｓ］の時間を要する。

【0052】

そして、信号レベルが高いほどＡＤ変換に要する時間は増加するため、信号レベルがフルレベルＶＦのときに要する時間が最大となる。図４の例では、フルレベルＶＦの信号のＡＤに要する時間は、１カウント期間が１０［ｎｓ］の場合、動作モード１では１０２４＊１０ｎｓで約１０［μｓ］、同様に動作モード２では約２０［μｓ］、動作モード３では約４０［μｓ］となる。

【0053】

このように、図４の動作方法では、ランプ型のＡＤ変換部１２０１がＡＤ変換に要する時間は、変換する信号レベルに比例して長くなり、さらに、フルスケールレンジの階調ビット数が１ビット増すごとに２倍になる。

【0054】

上述したように、変換する信号レベルに応じてランプ信号の傾きを異ならせることでランプ型ＡＤ変換器のＡＤ変換時間を高速化することができる。このようなランプ型ＡＤ変換器をデュアルスロープＡＤ変換器（以後、デュアルスロープＡＤＣ）と呼ぶ。

【0055】

図５は、図２に示した撮像素子１２０のＡＤ変換部１２０１をデュアルスロープＡＤＣとして機能的に記載したブロック図である。図６及び図７は、図５に示すデュアルスロープＡＤＣの動作の具体例を示す図である。

【0056】

画素信号５０１は、図２における画素２０９の出力信号であり、所定の閾値と大小の判定を行う判定回路２１３に入力される。
画素信号５０１はまた、暗部処理回路５０２、明部処理回路５０３にそれぞれに入力されてＡＤ変換処理される。
暗部処理回路５０２、明部処理回路５０３それぞれの処理出力は、データセレクタ５１０に入力されて、判定回路２１３の判定出力に基づいて画素信号ごとに振り分けられる。
暗部処理回路５０２は、アナログゲイン５０４（１倍）、ＡＤＣ５０５、デジタルゲイン５０６（１倍）とから成り、明部処理回路５０３は、アナログゲイン５０７（１／４倍）、ＡＤＣ５０８、デジタルゲイン５０９（４倍）とからなる。

【0057】

図５の構成は、暗部（低レベルの画素信号）と明部（高レベルの画素信号）とに対するＡＤ変換部１２０１の処理の差異を分かりやすくするために模式的に示したものである。判定回路２１３により、画素信号レベルが閾値以上と判定された場合のＡＤ変換部１２０１の動作が明部処理回路５０３に、画素信号レベルが閾値未満と判定された場合のＡＤ変換部１２０１の動作が暗部処理回路５０２に相当する。

【0058】

実際には、アナログゲイン５０４と５０７はランプ信号発生器２２９とセレクタ２４３との組み合わせによってコンパレータ２２７に供給されるランプ信号に相当する。また、ＡＤＣ５０５および５０８は、コンパレータ２２７、カウンタ２３０およびメモリ２２８に相当する。さらに、デジタルゲイン５０６および５０９は、乗算回路２４４に相当する。データセレクタ５１０は判定回路２１３による判定結果によってセレクタ２４３ａや乗算回路２４４の動作が切り替わることを模式的に表している。

【0059】

次に、図６を用いて、ランプ信号の傾きを変更することがＡＤ変換動作に与える影響に関して説明する。図６において、横軸はカウンタ２３０の出力値を、縦軸はコンパレータ２２７ａに入力されるランプ信号および画素信号（列アンプ２２３の出力）の電圧レベルを示している。

【0060】

所定の閾値Ｇは、通常時には、画素信号のフルスケールレンジの４分の１の値に設定されている。従って、判定回路２１３は、０からフルスケールレンジの４分の１までのレベルを有する画素信号を暗部領域の信号、フルスケールレンジの４分の１を超えるレベルの画素信号を明部領域の信号と判定する。

【0061】

図６の例では、傾きの異なる２種類のランプ信号を用いることで、フルスケールレンジを１０２４階調に変換する１０ビットモードと、４０９６階調に変換する１２ビットモードとが実現できるデュアルスロープＡＤＣの動作を示している。１０ビットモードで用いるランプ信号６０１の傾きは、１２ビットモードで用いるランプ信号６０２の傾きの４倍である。これは、同一画素信号のレベルを表すカウント値が、１０ビットモードでは１２ビットモードの１／４になることを意味する。このことを図５では、画素信号に適用されるアナログ信号ゲイン５０７がアナログゲイン５０４の１／４であることによって示している。

【0062】

ここで、暗部領域の信号は１２ビットモード、明部領域の信号では１０ビットモードで変換するように、画素信号のレベルに応じてランプ信号の傾きを切り替える構成を考える。この場合、フルスケールレベルの画素信号も、閾値Ｇのレベルの画素信号も、カウント数１０２４に相当する時間でＡＤ変換が完了する。つまり、画素信号のレベルによらず、最長でもカウント数１０２４に相当する時間内にＡＤ変換処理を収めることが可能になる。この場合、ＡＤ変換に要する最大時間は、１２ビットモード固定とした場合に要する最大時間（カウント数４０９６に相当する時間）の４分の１になる。

【0063】

図７に、図６で説明したようなランプ信号の動的な切り替えを行うデュアルスロープＡＤＣの入出力特性およびガンマ変換特性(ガンマ曲線）の例を示している。横軸は画素信号レベルであり、左の縦軸はＡＤＣ出力値、右縦軸はガンマ変換出力値を示している。

【0064】

デュアルスロープＡＤＣにおいて、暗部領域の信号は１２ビットモードで０〜１０２３の値（区間７０１）に変換される。一方、明部領域の信号はまず１０ビットモードで２５６〜１０２４の値（区間７０２）にＡＤ変換され、その後、１２ビットモードにおける１０２４〜４０９６の値（区間７０２’）に変換するために、乗算回路２４４で４倍される。これにより、画素信号レベルの全区間について１２ビットモードでＡＤ変換したような線形なＡＤＣ入出力特性が実現される。しかしながら、ランプ信号の傾きの違いを補償するための、区間７０２の値を区間７０２’の値に変換する演算（図５のデジタルゲイン５０９に相当）はＡＤ変換後に行われる。そのため、明部領域の信号は暗部領域の信号に対して階調精度が１／４に低下し、デジタルノイズは４倍に増加する。なお、上述したように、図５のデジタルゲイン５０９は、乗算回路２４４で実現してもよいし、メモリ２２８ａからの読み出し時に２ビット左シフトすることで実現してもよい。

【0065】

ＡＤＣ出力は画像処理部１３０におけるガンマ補正処理により８ビットの範囲（０−２５５）に変換される。このとき用いられる変換特性（ガンマ曲線）は高レベルの階調を低レベルの階調より大きく圧縮する非線形な特性を有する。そのため、ランプ信号の傾きの違いを補償するためのデジタルゲインの適用によって増加した明部領域のデジタルノイズのレベルは、実質的に問題にならないレベル（ＤＡ変換部のＩＬＳＢ（最小有効ビット）以下）に圧縮される。

【0066】

しかしながら、ガンマ補正処理で階調圧縮されても、デジタルノイズがＡＤ変換部の１ＬＳＢを超えてしまう場合がある。例えば、ランプ信号の傾きの違いを補償するためのデジタルゲイン（便宜上、ＡＤゲインと呼ぶ）とは別に、撮影感度を高めるためのデジタルゲイン（便宜上、増感ゲインと呼ぶ）が適用される場合である。この場合、ＡＤゲインに加えて増感ゲインが適用されることでデジタルノイズがさらに増加するため、デジタルノイズがガンマ補正処理後もＤＡ変換部の１ＬＳＢを超えることがある。このように１ＬＳＢを超えるデジタルノイズは、視認可能な擬似輪郭や固定パターンノイズの形で明部領域の画質を劣化させる。

【0067】

本願発明者が検討した結果、この問題は、明暗判定に用いる閾値Ｇの値が固定値であることによるものであり、閾値Ｇを可変とすることにより、この問題を軽減することが可能であることが判明した。例えば、第１の値より大きな第２の値の増感ゲインが適用される場合は、第１の値（０を含む）増感ゲインが適用される場合よりも閾値Ｇの値を高くし、明部領域と判定される領域を狭くすることで問題を軽減できることを見出した。以下、具体的に説明する。

【0068】

図８は、本実施形態に係るデジタルカメラ１００の撮影動作の概要を示すフローチャートである。図８に示す動作は、例えば操作部１９０に含まれるシャッターボタンが全押しされたり、動画記録ボタンが押下されるなど、本撮影（記録用の撮影）の開始指示が入力された際に実行される。

【0069】

撮影開始指示が検出されると、システム制御部１８０は、絞り、シャッタースピード、撮影感度など、各種の撮影条件を例えば公知の自動露出制御動作に基づいて設定する（Ｓ８０１）。
システム制御部１８０は次に、撮影感度に関する設定を確認する（Ｓ８０２）。そして、システム制御部１８０は、増感ゲインが適用される領域（増感領域）の感度が設定されている場合にはＳ８０４へ、増感ゲインが適用されない領域（通常領域）の感度が設定されている場合にはＳ８０３へ、処理を進める。

【0070】

Ｓ８０３でシステム制御部１８０は、ＡＤ変換部１２０１の判定回路２１３で用いる閾値Ｇとして、予め定められた通常値を設定し、処理をＳ８０５に進める。
また、Ｓ８０４でシステム制御部１８０は、ＡＤ変換部１２０１の判定回路２１３で用いる閾値Ｇとして、補正値を設定し、処理をＳ８０５に進める。補正値は、通常値より大きい、予め定められた値である。閾値Ｇは、システム制御部１８０から、駆動部１２１を通じて撮像素子１２０内の判定回路２１３のそれぞれに、あるいは、判定回路２１３が参照する共通のメモリに設定する。

【0071】

ここで、通常時の値は、図６や図７で説明したような、画素信号のフルスケールの１／４の値に対応する値であってよい。また、補正値を通常値よりどの程度大きな値にするかは、増感ゲインの大きさ、画像処理部１３０で用いるガンマ補正の特性（ガンマ曲線）、ＡＤ変換部１２０１で適用されるＡＤゲインなど、複数のパラメータに応じて変化する。そのため、これらのパラメータに影響する設定値（例えば撮影モードなど）と、撮影感度との組み合わせに応じた適切な補正値を、例えば予め実験的に定め、例えばＲＯＭ１８１に記憶しておくことができる。ＡＤ変換に要する時間を短縮しつつ画質劣化を抑制するという観点からは、ガンマ補正後にトーンジャンプや１ＬＳＢを超えるノイズが発生しない範囲で、通常値に近い値を補正値として決定することができる。システム制御部１８０は、Ｓ８０４において、撮影に用いる設定値の組み合わせに対応した補正値をＲＯＭ１８１から取得し、閾値Ｇとして設定することができる。

【0072】

Ｓ８０５でシステム制御部１８０は、１フレームの撮影動作を実行する。ここでは動画１フレーム分の撮影とするが、静止画撮影であってもよい。ここでシステム制御部１８０は、撮影レンズ１１０を制御して撮像素子１２０を露光し、撮像素子１２０からデジタル画素信号（画像データ）を読み出して画像処理部１３０に供給する。画像処理部１３０では画像データに対してガンマ補正処理やホワイトバランス調整処理、色補間処理などの画像処理を実行する。

【0073】

Ｓ８０６でシステム制御部１８０は、画像データを必要に応じてコーデック部１６０で符号化した後、所定の画像データファイルの形式でメモリカード１７０に記録する。また、画像処理部１３０では表示用の画像データを生成し、表示部１５０に出力する。表示部１５０では画像データを表示デバイスに適した信号に変換し、表示する。

【0074】

Ｓ８０７でシステム制御部１８０は、撮影終了の指示が入力されたか確認し、撮影終了の指示が入力された場合には処理を終了し、撮影終了の指示が入力されていなければ処理をＳ８０１に戻し、次のフレームに対する処理を継続する。なお、静止画撮影の場合、Ｓ８０７でシステム制御部１８０は連写撮影かどうか判定し、連写撮影と判定されれば処理をＳ８０１に戻し、判定されなければ処理を終了させればよい。

【0075】

次に、本実施形態で行う、明暗判定用の閾値設定とその効果について、図９を用いて説明する。
図９は図７と同様に、画素信号レベル、ＡＤ変換部出力、およびガンマ変換出力の関係を示した図である。図９（ａ）は通常感度領域での撮影時、図９（ｂ）は増感領域での撮影時（閾値に通常値を設定）、図９（ｃ）は増感領域での撮影時（閾値に補正値を設定）をそれぞれ示している。

【0076】

図９（ａ）に示す通常感度領域での撮影時には、画素信号のフルスケールの１／４に対応する値が明暗判定の閾値として用いられ、明部領域の画素信号については傾きを４倍としたランプ信号を用いてＡＤ変換する。この結果、明部領域に対応する区間９０２については１０ビット、暗部領域に対応する区間９０１については１２ビットの分解能でＡＤ変換される。増感ゲインは適用されないため、ガンマ補正処理前の分解能はＡＤ変換時と変化がない。

【0077】

一方、図９（ａ）の状態で２倍の増感ゲインが適用された場合を図９（ｂ）に示す。増感ゲインは明部領域および暗部領域のいずれにも適用されるため、ＡＤ変換の分解能は暗部領域に対応する区間９０１’で１１ビットに、明部領域に対応する区間９０２’で９ビットに低下し、かつ全領域においてデジタルノイズのレベルが２倍になる。増感ゲインの適用により、区間９０２’はガンマ変換特性(ガンマ曲線）における階調の圧縮率が高い（ガンマ曲線の傾斜の小さい）領域を外れてくる。その結果、デジタルノイズの大きさがＡＤ変換部１２０１の１ＬＳＢを超える場合が発生し、画質劣化として視認されるようになる。

【0078】

本実施形態では、明暗判定に用いる閾値を、通常値より大きな補正値に変更する。そのため、図９（ｃ）に示すように、ＡＤゲインと増感ゲインの両方が適用される区間９１２’を図９（ｂ）の区間９０２’よりもＡＤＣ出力値の高い範囲に狭めることができる。これにより、ＡＤゲインと増感ゲインの両方が適用される区間９１２’を、ガンマ変換特性における階調圧縮率の高い領域に収める（狭める）ことが可能になる。そのため、増感ゲインが適用される場合であっても、明暗判定において明部領域と判定される画素レベルを有する画像領域における画質劣化を抑制することができる。

【0079】

以上説明したように本実施形態によれば、閾値に対する画素信号レベルの大きさに応じて、時間あたりの電圧の変化率（傾き）の異なるランプ信号を切り替えてＡＤ変換する機能を有する撮像素子において、閾値を可変とした。特に、予め定められた感度以上の撮影感度が設定されている場合には、予め定められた感度以上の撮影感度が設定されていない場合よりも、閾値を大きくするようにした。これにより、ＡＤ変換結果にデジタルゲインを適用（例えば乗算）することによって生じうる、階調の欠落（トーンジャンプ）や擬似輪郭の発生などの画質劣化を抑制することができる。

【0080】

●（第２実施形態）
次に、本発明の第２実施形態について説明する。デュアルスロープＡＤＣにおける明暗判定の閾値を動的に変更し、ＡＤ変換後の画像に生じうる画質劣化を抑制するという基本構成は第１実施形態と共通であるが、閾値を変更する条件が異なる。

【0081】

第１実施形態では、ＡＤ変換結果をデジタル的に大きくするデジタルゲインが、撮影感度を増加させるために適用される例を説明した。しかし、デジタルゲインは、他の原因によっても生じうる。例えばダイナミックレンジ（Ｄレンジ）を拡大した画像（ＨＤＲ(High Dynamic Range)画像）を得る場合である。ＨＤＲ画像は、例えば、同一シーンを異なる露出条件で撮影して得られた複数の画像を合成するＨＤＲ合成処理によって得ることができる。

【0082】

図１０は、ＨＤＲ合成に用いる、露出の異なる３枚の画像を順次撮影する場合の撮像素子１２０の読み出しタイミングを模式的に示すタイミングチャートである。なお、図１０では、ＨＤＲ合成用の読み出しタイミングについて説明するため、図３に示したタイミングチャートより簡略化している。

【0083】

ここでは、適正露出未満の撮影条件（露出アンダー）で撮影した画像（低露出画像）、適正露出の撮影条件で撮影した画像（適正露出画像）、適正露出を超える撮影条件（露出オーバー）で撮影した画像（高露出画像）を順次撮影するものとする。なお、ここでいう「適正露出」とは、ＨＤＲ画像の生成に用いる複数の画像の撮影条件のうちの基準露出であり、例えばデジタルカメラ１００の自動露出制御が「適正」と判断する露出と同じであっても、異なっていてもよい。また、説明及び理解を容易にするため、それぞれの撮影条件は露出時間のみが異なるものとする。従って、以下の説明において短露光期間ＴＳは露出アンダー、中露光期間ＴＭは適正露出、長露光期間ＴＬは露出オーバーの撮影条件にそれぞれ対応する。

【0084】

フレーム期間は垂直同期信号によって区分される。垂直同期信号は駆動部１２１もしくはシステム制御部１８０によって生成される。最初のフレーム期間に、短露光期間ＴＳで露光された低露出画像の読出しが行われる。

【0085】

ＰＴＸ信号およびＰＲＥＳ信号がＨレベルとなる区間にＰＤ２０３およびＦＤ２０４がリセットされ、Ｌレベルに戻ると露光期間（電荷蓄積）が開始する。ＰＴＸ信号が次にＨレベルになると、露光期間が終了し、ＰＤ２０３からＦＤ２０４への電荷転送やＦＤ２０４の電位読み出しが行われる。最終行まで順次リセット、電荷蓄積、転送、読み出しが行われると、１フレーム分の画像が得られる。図１０では短露光期間ＴＳ、中露光期間ＴＭ、長露光期間ＴＬの順で露光期間を制御し、低露出画像、適正露出画像、高露出画像を取得することを模式的に示している。

【0086】

このように、ＨＤＲ画像を生成するための撮影を行う場合、低露出画像を得るためのフレーム期間、適正露出画像を得るためのフレーム期間、高露出画像を得るためのフレーム期間が１セットとしてタイミング制御が行われる。

【0087】

図１１は、低露出画像、適正露出画像、高露出画像それぞれの露出条件と画素信号の入出力レンジの関係についての一例を示している。
図１１（ａ）は低露出画像、（ｂ）は適正露出画像、（ｃ）は高露出画像、（ｄ）はＨＤＲ画像における入出力特性を示している。

【0088】

低露出画像は、適正露出より２段アンダー（光量１／４）の露出条件で撮影され、ＡＤ変換されたのち、画像処理部１３０における２段分のゲインアップ処理（デジタルゲインの適用）により、適正露出相当のレベルに補正される。つまり、光量−ＡＤ変換出力の特性が、ゲインアップ処理により点線から実線に変換される。低露出画像のうち網掛け部分の範囲（Ｌ）に該当する入力光量に対応する画素信号がＨＤＲ画像の合成に用いられるとすると、この範囲のうち光量の低い部分について、ゲインアップ処理による画質劣化が生じやすい。この部分が、ガンマ曲線による階調圧縮率が低くなる部分になりやすいからである。

【0089】

一方、適正露出画像は、画像処理部１３０によるデジタルゲインの適用を受けない。適正露出画像からは、網掛け部分（Ｍ）の範囲に該当する入力光量に対応する画素信号がＨＤＲ画像の合成に用いられる。

【0090】

高露出画像は、適正より２段オーバー（光量４倍）の露出条件で撮影され、ＡＤ変換されたのち、画像処理部１３０における２段分のゲインダウン処理（デジタルゲインの適用）により、適正露出相当のレベルに補正される。つまり、光量−ＡＤ変換出力の特性が、ゲインダウン処理により点線から実線に変換される。高露出画像からは、撮影時に飽和していない範囲（Ｈ）に該当する入力光量に対応する画素信号がＨＤＲ画像の合成に用いられる。

【0091】

画像処理部１３０は、図１１（ｄ）に示すように、低露出画像、適正露出画像、高露出画像から、特定の入力光量レンジに対応する画素信号部分（Ｌ，Ｍ，Ｈ）を抽出して合成することにより、ＨＤＲ画像を生成する。また、画像処理部１３０は、生成したＨＤＲ画像に対してガンマ補正処理を実行する。

【0092】

図１１（ｅ）〜（ｈ）は、図１１（ａ）〜（ｃ）に示した各画像のＡＤ変換に用いる明暗判定閾値の例と、ＡＤ変換の分解能とを示している。ここでも、明部領域の画素信号については１０ビットモード、暗部領域の画素信号については１２ビットモードでＡＤ変換するものとする。

【0093】

低露出画像は画像処理部１３０でのゲインアップ処理により、ＡＤ変換の分解能が１／４となり、デジタルノイズレベルが４倍となる。本実施形態では、低露出画像のＡＤ変換に用いる明暗判定用の閾値を、通常値より大きく、かつＨＤＲ画像の合成に用いる画素信号レベルの範囲内に設定する。図１１の例では画素信号レベルの範囲の３／４のレベルに設定している。ただし、画像処理部１３０で露出補償のために適用するデジタルゲインの大きさや、ガンマ特性などに応じて適切な閾値は変化するため、予め例えば実験を通じて適切な閾値を撮影条件に関連づけて決定しておく。例えば、ＨＤＲモードにおける適正露出と低露出（高露出）との差を含む、いくつかのパラメータ値の組み合わせごとに閾値を決定しくことができる。ここでも、ガンマ補正後にトーンジャンプや１ＬＳＢを超えるノイズが発生しない範囲で、通常値に近い値を補正値として決定することができる。

【0094】

適正露出画像については、画像処理部１３０でデジタルゲインが適用されないため、閾値を通常値としてもよい。しかし、適正露出画像では通常値以下の画素信号領域を用いないため、本実施形態では閾値を通常値より低くして、通常値以下の画素信号領域のＡＤ変換に要する時間を短縮している。図１１（ｆ）では一例として、閾値を０として全範囲を１０ビットモードでＡＤ変換するようにしている。

【0095】

また、高露出画像については、飽和画素が多いこと、ＨＤＲ画像に用いる画素信号レベルが低輝度領域であることから、通常値を用いる。飽和画素については１０ビットモードで高速に処理され、ＨＤＲ画像に用いる低輝度領域の画素についてはもともとＡＤ変換に要する時間が短いので、分解能を重視して１２ビットモードでＡＤ変換されるようにしている。

【0096】

図１２は、本実施形態に係るデジタルカメラ１００の撮影動作の概要を示すフローチャートである。図１２に示す動作は、例えばＨＤＲモードで操作部１９０に含まれるシャッターボタンが全押しされるなど、本撮影（記録用の撮影）の開始指示が入力された際に実行される。ＨＤＲモードでは、低露出画像と高露出画像の撮影を、適正露出とどの程度異なる露出で行うかが設定されている。

【0097】

Ｓ１２０１でシステム制御部１８０は、既定の露出条件で１フレームの撮影を行い、撮影画像をメモリ部１４０に保存する。なお、撮影開始指示が入力される直前に撮影したライブビュー表示用の画像が利用できる場合、ここでの撮影は行わなくてもよい。

【0098】

Ｓ１２０２でシステム制御部１８０は、メモリ部１４０に保存された撮影画像を用いて例えば公知の自動露出処理を実行し、適正露出条件を決定する。

【0099】

Ｓ１２０３でシステム制御部１８０は、低露出画像の露出条件を設定するとともに、ＡＤ変換部１２０１の明暗判定で用いる閾値Ｇを、低露出画像用の値に設定する。上述したように、低露出画像用の閾値は通常値よりも大きく、ＨＤＲ画像に用いる画素信号範囲内の値であり、システム制御部１８０は予め決定かつ記憶された閾値の中から、現在の設定値の組み合わせに対応する閾値を取得することができる。

【0100】

Ｓ１２０４でシステム制御部１８０は、図１０を用いて説明したように、低露出画像を取得する撮影動作を実行し、取得した低露出画像をＡＤ変換して画像処理部１３０に供給する。また、システム制御部１８０は画像処理部１３０に撮影時の露出低減量に相当するゲインアップ処理を行うように設定する。画像処理部１３０は低露出画像データにゲインアップ処理を適用した後、ガンマ補正処理やホワイトバランス調整処理、色補間処理などの画像処理を実行し、メモリ部１４０に保存する。

【0101】

Ｓ１２０５でシステム制御部１８０は、適正露出画像の露出条件を設定するとともに、ＡＤ変換部１２０１の明暗判定で用いる閾値Ｇを、適正露出画像用の値に設定する。上述したように、適正露出画像用の閾値は通常値よりも小さい値であり、システム制御部１８０は予め決定かつ記憶された閾値の中から、現在の設定値の組み合わせに対応する閾値を取得することができる。なお、Ｓ１２０３で低露出画像用、適正露出画像用、高露出画像用の３つの閾値を取得しておいてもよい。

【0102】

Ｓ１２０６でシステム制御部１８０は、適正露出画像を取得する撮影動作を実行し、取得した適正露出画像をＡＤ変換して画像処理部１３０に供給する。画像処理部１３０は適正露出画像データにデジタルゲインを適用せずに、ガンマ補正処理やホワイトバランス調整処理、色補間処理などの画像処理を実行し、メモリ部１４０に保存する。

【0103】

Ｓ１２０７でシステム制御部１８０は、高露出画像の露出条件を設定するとともに、ＡＤ変換部１２０１の明暗判定で用いる閾値Ｇを、高露出画像用の値に設定する。上述したように、高露出画像用の閾値は例えば通常値である。

【0104】

Ｓ１２０８でシステム制御部１８０は、高露出画像を取得する撮影動作を実行し、取得した高露出画像をＡＤ変換して画像処理部１３０に供給する。画像処理部１３０は高露出画像データにゲインダウン処理を適用した後、ガンマ補正処理やホワイトバランス調整処理、色補間処理などの画像処理を実行し、メモリ部１４０に保存する。

【0105】

Ｓ１２０９で画像処理部１３０は、メモリ部１４０に保存した低露出画像データ、適正露出画像データ、高露出画像データからＨＤＲ画像データを生成する。画像処理部１３０は例えば、各画像を構成する画素データから、低露出画像、適正露出画像、高露出画像のそれぞれに予め定められた画素レベル範囲（Ｌ，Ｍ，Ｈ）に該当する画素データを抽出して合成することにより、ＨＤＲ画像データを生成する。画像処理部１３０は生成したＨＤＲ画像をメモリ部１４０に保存する。この際、画像処理部１３０は合成に用いた画像のデータをメモリ部１４０から削除してもよい。

【0106】

Ｓ１２１０でシステム制御部１８０は、ＨＤＲ画像データを必要に応じてコーデック部１６０で符号化した後、所定の画像データファイルの形式でメモリカード１７０に記録する。また、画像処理部１３０では表示用の画像データを生成し、表示部１５０に出力する。表示部１５０では画像データを表示デバイスに適した信号に変換し、表示する。

【0107】

なお、上述のＨＤＲ画像の生成を動画フレームに対して実行する場合には、第１実施形態と同様に撮影終了指示の入力有無に応じて次フレーム以降に処理を継続してもよい。処理を継続する場合、Ｓ１２０２における露出条件の決定は、例えばＳ１２０６で撮影した適正露出画像に基づいて実行することができる。

【0108】

以上説明したように、ＨＤＲ画像を生成する際に撮影する低露出画像や高露出画像のＡＤ変換時において、ランプ信号を切り替えるための閾値（明暗判定の閾値）を通常値から変更するようにしても、第１実施形態と同様の効果を得ることができる。

【0109】

●（第３実施形態）
次に、本発明の第３実施形態について説明する。デュアルスロープＡＤＣにおける明暗判定の閾値を動的に変更し、ＡＤ変換後の画像に生じうる画質劣化を抑制するという基本構成は第１および第２実施形態と共通であるが、閾値を変更する条件が異なる。

【0110】

高輝度領域の白とびを抑制するＤレンジ拡大（高輝度Ｄレンジ拡大）機能を有する撮像装置が知られている。この機能は、適正露出より低い露出で撮影して高輝度領域における白とびが抑制された画像を取得したのち、デジタルゲインを適用して適正露出相当の画像に補正することで実現される。基本的には、ＨＤＲ画像の合成に用いる低露出画像に対する処理と同様である。

【0111】

図１３は、本実施形態に係るデジタルカメラ１００の撮影動作の概要を示すフローチャートである。図１３に示す動作は、例えば操作部１９０に含まれるシャッターボタンが全押しされるなど、本撮影（記録用の撮影）の開始指示が入力された際に実行される。

【0112】

まずＳ１５０１でシステム制御部１８０は、絞り、シャッタースピード、感度などの撮影条件を設定する。ここで、高輝度Ｄレンジ拡大モードが設定されている場合、システム制御部１８０は適正露出より（例えば−１段）低い露出となる撮影条件を決定するとともに、＋１段分のデジタルゲインを撮影画像に適用するように画像処理部１３０に設定する。
Ｓ１５０２でシステム制御部１８０は、撮影モードとして、高輝度Ｄレンジ拡大モードが設定されていればＳ１５０４に、設定されていなければＳ１５０３に、処理を進める。

【0113】

Ｓ１５０３でシステム制御部１８０は、ＡＤ変換部１２０１の判定回路２１３で用いる閾値Ｇとして、予め定められた通常値を設定し、処理をＳ１５０５に進める。
また、Ｓ１５０４でシステム制御部１８０は、ＡＤ変換部１２０１の判定回路２１３で用いる閾値Ｇとして、補正値を設定し、処理をＳ１５０５に進める。補正値は、通常値より大きい、予め定められた値である。閾値Ｇは、システム制御部１８０から、駆動部１２１を通じて撮像素子１２０内の判定回路２１３のそれぞれに、あるいは、判定回路２１３が参照する共通のメモリに設定する。

【0114】

ここで、通常時の値は、画素信号のフルスケールの１／４の値に対応する値であってよい。また、補正値を通常値よりどの程度大きな値にするかは、画像処理部１３０で適用するデジタルゲインの大きさ（または撮影時の露出低減量）、ガンマ補正の特性（ガンマ曲線）、ＡＤ変換部１２０１で適用されるＡＤゲインなど、複数のパラメータに依存する。そのため、例えば高輝度Ｄレンジ拡大モードにおいて変化しうるパラメータについて、値の組み合わせに応じた適切な補正値を、例えば予め実験的に定め、例えばＲＯＭ１８１に記憶しておくことができる。高輝度Ｄレンジ拡大モードにおいて用いられるパラメータ値が固定であれば、高輝度Ｄレンジ拡大モードに対応した１つの補正値を用意すればよい。ＡＤ変換に要する時間を短縮しつつ画質劣化を抑制するという観点からは、ガンマ補正後にトーンジャンプや１ＬＳＢを超えるノイズが発生しない範囲で、通常値に近い値を補正値として決定することができる。システム制御部１８０は、Ｓ１５０４において、現在のパラメータ値の組み合わせなどに基づいてＲＯＭ１８１から補正値を取得し、閾値Ｇとして設定することができる。

【0115】

Ｓ１５０５でシステム制御部１８０は、１フレームの撮影動作を実行する。ここでは静止画１フレーム分の撮影とするが、動画撮影であってもよい。ここでシステム制御部１８０は、撮影レンズ１１０を制御して撮像素子１２０を露光し、撮像素子１２０からデジタル画素信号（画像データ）を読み出して画像処理部１３０に供給する。画像処理部１３０では画像データに対して必要に応じてデジタルゲインを適用した後、ガンマ補正処理やホワイトバランス調整処理、色補間処理などの画像処理を実行する。

【0116】

Ｓ１５０６でシステム制御部１８０は、画像データを必要に応じてコーデック部１６０で符号化した後、所定の画像データファイルの形式でメモリカード１７０に記録する。また、画像処理部１３０では表示用の画像データを生成し、表示部１５０に出力する。表示部１５０では画像データを表示デバイスに適した信号に変換し、表示する。

【0117】

Ｓ１５０７でシステム制御部１８０は、撮影を終了するかどうか確認し、例えばシャッターボタンが押下され続けている場合など、次のフレームの撮影の指示が入力されている場合には処理をＳ１５０１に戻し、次のフレームに対する処理を継続する。また、次のフレームの撮影の指示が入力されていない場合には撮影処理を終了する。なお、動画撮影の場合には、Ｓ１５０７でシステム制御部１８０は撮影終了の指示が入力されているかどうか判定し、入力されていると判定されれば処理をＳ１５０１に戻し、判定されなければ処理を終了させればよい。

【0118】

本実施形態のように、高輝度Ｄレンジ拡大モードが設定されている場合にも、ランプ信号を切り替えるための閾値（明暗判断の閾値）を通常値より大きな値に変更することで、第１実施形態と同様の効果を得ることができる。

【0119】

（その他の実施形態）
上述の実施形態ではランプ信号の電圧が線形増加する場合について説明したが、線形減少するランプ信号とダウンカウンタとの組み合わせを用いる構成であっても同様にして閾値を設定することができる。この場合、コンパレータ２２７はランプ信号の電圧が画素信号の電圧値を下回った場合に出力をＬレベルからＨレベルとする。

【0120】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0121】

１２０…撮像素子、１２１…駆動部、１３０…画像処理部、１８０…システム制御部、２１３…判定回路、２２７…コンパレータ、２２９…ランプ信号発生器、２３０…カウンタ、２４３…セレクタ、２４４…乗算回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】