特許 7547052 撮像装置、撮像装置の制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-30

(45)【発行日】2024-09-09

(54)【発明の名称】撮像装置、撮像装置の制御方法、及びプログラム

(51)【国際特許分類】

   H04N 25/581 20230101AFI20240902BHJP

   H04N 23/54 20230101ALI20240902BHJP

   H04N 23/72 20230101ALI20240902BHJP

   H04N 25/57 20230101ALI20240902BHJP

   H04N 25/583 20230101ALI20240902BHJP

   H04N 25/585 20230101ALI20240902BHJP

   H04N 25/70 20230101ALI20240902BHJP

【ＦＩ】

H04N25/581

H04N23/54

H04N23/72

H04N25/57

H04N25/583

H04N25/585

H04N25/70

【請求項の数】 10

(21)【出願番号】P 2020020791

(22)【出願日】2020-02-10

(65)【公開番号】P2021129144

(43)【公開日】2021-09-02

【審査請求日】2023-02-07

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】北荘 哲郎

(72)【発明者】

【氏名】福井 俊之

(72)【発明者】

【氏名】五十嵐 進

(72)【発明者】

【氏名】河口 修

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１５－０９２６６０（ＪＰ，Ａ）

【文献】特開２０１９－０７５６５８（ＪＰ，Ａ）

【文献】特開２００６－２３７７８９（ＪＰ，Ａ）

【文献】特開２０１２－１０５２２５（ＪＰ，Ａ）

【文献】特開２０１２－１０４６８４（ＪＰ，Ａ）

【文献】特開２０１７－２２０８９２（ＪＰ，Ａ）

【文献】特開２０１８－１１３７２５（ＪＰ，Ａ）

【文献】特開平０２－２９７５１４（ＪＰ，Ａ）

【文献】特開２０００－０９２３７７（ＪＰ，Ａ）

【文献】特表２００９－５３５８６５（ＪＰ，Ａ）

【文献】特開２０１０－１０３７００（ＪＰ，Ａ）

【文献】特開２０１９－０４７１６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ５／３０ － ５／３３

Ｈ０４Ｎ ９／０１ － ９／１１

Ｈ０４Ｎ ２３／００ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｈ０４Ｎ ２５／００ －２５／７９

Ｈ０１Ｌ ２７／１４ －２７／１４８

Ｈ０１Ｌ ２９／７６

Ｈ１０Ｋ ３９／３２ －３９／２４

(57)【特許請求の範囲】

【請求項1】

光を電荷に変換して蓄積する撮像素子の撮像領域を複数に分けた領域毎の露光時間を制御する露光時間制御手段と、
前記撮像素子の前記領域毎の出力をアナログ／デジタル変換する際に前記領域毎の出力のアナログゲインを制御するゲイン制御手段と、
前記露光時間制御手段が前記露光時間の制御を行うタイミングを制御するための露光時間出力パルスと、前記露光時間出力パルスに同期した出力パルスであって前記ゲイン制御手段が前記アナログゲインの制御を行うタイミングを制御するためのゲイン出力パルスとを生成して、前記露光時間出力パルスを前記露光時間制御手段に出力し、前記ゲイン出力パルスを前記ゲイン制御手段に出力する同期制御手段と、
前記ゲイン制御手段により前記領域毎に前記アナログゲインが制御された所定のビット幅の出力に対し、基準となる撮影条件と、前記撮像素子の各々の領域毎に対応する露光時間およびアナログゲインとに基づいたビット分を下位ビット側または上位ビット側にマップする階調拡張処理を施して、前記ゲイン制御手段により前記アナログゲインが制御された前記領域毎の画素値のレベルを補正する露光補正手段と、
を有することを特徴とする撮像装置。

【請求項2】

前記露光補正手段は、被写体を最も明るく撮影する撮影条件における最低輝度と最高輝度を基準として、前記階調拡張処理を行うことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記露光時間制御手段は、前記露光時間出力パルスに基づいて、前記領域毎の画素ブロックを構成する水平ライン毎に露光の開始時間のタイミングと露光の終了時間のタイミングをずらして、各水平ラインに対して同じ前記露光時間を適用し、
前記ゲイン制御手段は、前記ゲイン出力パルスに基づいて、前記露光時間制御手段によって前記露光時間が制御された前記画素ブロックの水平ライン毎に同じ前記アナログゲインを適用する
ことを特徴とする請求項１または請求項２に記載の撮像装置。

【請求項4】

前記露光補正手段で前記画素値のレベルを補正した後、前記領域間の境界の画素間に生ずる画素値の段差を軽減する段差補正手段をさらに有することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。

【請求項5】

前記段差補正手段は、前記領域間の境界の画素間に生ずる画素値の段差を平滑化する平滑化手段を有することを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記平滑化手段は、ローパスフィルタまたはイプシロンフィルタにより前記平滑化を行うことを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記露光補正手段が前記ビット分の前記マップにより前記画素値のレベルを補正することで階調が拡張された前記画素値に対して、ビット長を低減することで前記階調を低減する階調変換処理を行う階調変換手段をさらに有することを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。

【請求項8】

２層以上の積層構造で構成され、前記光を露光する側の層に前記撮像素子を配置し、それ以外の層に前記露光時間制御手段を配置し、
前記露光時間制御手段から前記撮像素子への制御信号は、前記積層構造の層間で垂直に配線されてなることを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。

【請求項9】

撮像装置の制御方法であって、
光を電荷に変換して蓄積する撮像素子の撮像領域を複数に分けた領域毎の露光時間を制御する露光時間制御工程と、
前記撮像素子の前記領域毎の出力をアナログ／デジタル変換する際に前記領域毎の出力のアナログゲインを制御するゲイン制御工程と、
前記露光時間制御工程で前記露光時間の制御を行うタイミングを制御するための露光時間出力パルスと、前記露光時間出力パルスに同期した出力パルスであって前記ゲイン制御工程で前記アナログゲインの制御を行うタイミングを制御するためのゲイン出力パルスとを生成して、前記露光時間出力パルスを前記露光時間制御工程に出力し、前記ゲイン出力パルスを前記ゲイン制御工程に出力する同期制御工程と、
前記ゲイン制御工程により前記領域毎に前記アナログゲインが制御された所定のビット幅の出力に対し、基準となる撮影条件と、前記撮像素子の各々の領域毎に対応する露光時間およびアナログゲインとに基づいたビット分を下位ビット側または上位ビット側にマップする階調拡張処理を施して、前記ゲイン制御工程により前記アナログゲインが制御された前記領域毎の画素値のレベルを補正する露光補正工程と、
を有することを特徴とする制御方法。

【請求項10】

撮像装置が備えるコンピュータを、請求項１から請求項８のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置およびその制御技術に関する。

【背景技術】

【0002】

一般に、デジタルカメラ等に用いられる撮像素子のダイナミックレンジは自然界のダイナミックレンジに対して小さいことが知られている。このため、従来、撮像素子のダイナミックレンジを拡大するための方法が検討されてきた。
特許文献１では予備撮影の情報から画素の各々の露光時間を決め、本撮影を行う方法が開示されている。また特許文献２では撮像素子の電荷を複数のデジタル撮像信号にそれぞれＡ／Ｄ変換し、各信号を合成して画像信号を生成する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１３６２０５号公報

【文献】特開２００９－３０３０１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

先行技術文献に記載の技術では、それぞれ以下の課題がある。
特許文献１の方法では露光時間の範囲（例えば１／３０［秒］～１／６１４４０［秒］）を超えたダイナミックレンジを得ることが出来ない。ここで露光時間の範囲で得られるダイナミックレンジとは、露光時間の最大値と最小値の比で実現可能な階調数である。
特許文献２の方法ではＡ／Ｄ変換器を複数個並列に持つか、または時分割で高速に駆動する必要がある。

【0005】

そこで、本発明は、ダイナミックレンジを拡大でき、Ａ／Ｄ変換器は一つのみでよく、高速駆動も不要にすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の撮像装置は、光を電荷に変換して蓄積する撮像素子の撮像領域を複数に分けた領域毎の露光時間を制御する露光時間制御手段と、前記撮像素子の前記領域毎の出力をアナログ／デジタル変換する際に前記領域毎の出力のアナログゲインを制御するゲイン制御手段と、前記露光時間制御手段が前記露光時間の制御を行うタイミングを制御するための露光時間出力パルスと、前記露光時間出力パルスに同期した出力パルスであって前記ゲイン制御手段が前記アナログゲインの制御を行うタイミングを制御するためのゲイン出力パルスとを生成して、前記露光時間出力パルスを前記露光時間制御手段に出力し、前記ゲイン出力パルスを前記ゲイン制御手段に出力する同期制御手段と、前記ゲイン制御手段により前記領域毎に前記アナログゲインが制御された所定のビット幅の出力に対し、基準となる撮影条件と、前記撮像素子の各々の領域毎に対応する露光時間およびアナログゲインとに基づいたビット分を下位ビット側または上位ビット側にマップする階調拡張処理を施して、前記ゲイン制御手段により前記アナログゲインが制御された前記領域毎の画素値のレベルを補正する露光補正手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、ダイナミックレンジを拡大でき、Ａ／Ｄ変換器は一つのみでよく、高速駆動も不要になる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態の撮像装置の概略構成を示す図である。

【図2】撮像素子部の各領域の説明に用いる図である。

【図3】領域毎露光時間の説明に用いる図である。

【図4】領域毎アナログゲインの説明に用いる図である。

【図5】露光時間とアナログゲインの組み合わせによる撮像条件例を示す図である。

【図6】最も明るく撮影する撮影条件設定Ａの説明に用いる図である。

【図7】撮影条件設定Ｂの説明に用いる図である。

【図8】最も暗く撮影する撮影条件設定Ｃの説明に用いる図である。

【図9】階調変換処理の説明に用いる図である。

【図10】境界段差補正処理の説明に用いる図である。

【図11】同期制御処理の説明に用いる図である。

【図12】領域毎露光制御信号の説明に用いる図である。

【図13】第２の実施形態の撮像装置の概略構成を示す図である。

【図14】第３の実施形態に係る階層構造の説明に用いる図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。同一の構成または処理については、同じ参照符号を付して説明する。
図１は第１の実施形態に係る撮像装置１００の概略構成を示したブロック図である。本実施形態の撮像装置１００は、一般的な撮像装置が有する各種の構成も備えているが、図示および説明を簡潔にするために、図１には本実施形態に係る主要な構成部のみを示している。

【0010】

まず図１の撮像装置１００について、撮像素子部１０３を起点として各構成部の概要を説明する。
本実施形態において、撮像素子部１０３は、撮像領域を複数の領域に分割して駆動可能となされており、各々の領域毎に異なった露光時間による露光動作（電荷の蓄積）を行える機能を有している。本実施形態の場合、撮像素子部１０３は、後述する露光時間制御部１０９から供給される領域毎露光制御信号１１７によって各々の領域毎に露光時間が設定され、それら領域毎に設定された露光時間で露光を行う。そして撮像素子部１０３は、領域毎露光制御信号１１７によって領域毎に設定された露光時間で各画素に蓄積した電荷を、画素電位１１８として読み出してＡ／Ｄ変換部１０４に出力する。なお撮像素子部１０３における領域毎の露光と、画素電位１１８の読み出しの詳細は後述する。

【0011】

Ａ／Ｄ変換部１０４は、撮像素子部１０３から読み出された画素電位１１８をアナログ／デジタル変換してデジタル値に変換する。詳細については後述するが、本実施形態の場合、Ａ／Ｄ変換部１０４には、ゲイン制御部１１０によって前述の領域毎に対応したアナログゲイン（領域毎アナログゲイン１２１とする）が設定される。Ａ／Ｄ変換部１０４は、撮像素子部１０３からの画素電位１１８に対して領域毎アナログゲイン１２１をかけた後、アナログ／デジタル変換してデジタル値に変換する。以下、Ａ／Ｄ変換部１０４にて領域毎アナログゲイン１２１をかけてアナログ／デジタル変換されたデジタル信号よりなる画像を、領域毎露光画像１２２と呼ぶ。Ａ／Ｄ変換部１０４から出力された領域毎露光画像１２２は、露光条件算出部１１１と露光補正部１０５とに送られる。

【0012】

露光条件算出部１１１は、領域毎露光画像１２２を基に、撮影が最適な条件となるように領域毎露光時間１１２および領域毎アナログゲイン値１１３を算出して更新する。そして、領域毎露光時間１１２の値は露光時間制御部１０９に送られ、領域毎アナログゲイン値１１３はゲイン制御部１１０に送られる。露光条件算出部１１１における領域毎露光時間１１２および領域毎アナログゲイン値１１３の算出処理の詳細は後述する。

【0013】

同期制御部１０１は、同期した露光時間出力パルス１２０とゲイン出力パルス１１４とを生成し、露光時間出力パルス１２０を露光時間制御部１０９に出力し、ゲイン出力パルス１１４をゲイン制御部１１０に出力する。同期制御部１０１と、露光時間出力パルス１２０およびゲイン出力パルス１１４の詳細は後述する。

【0014】

露光時間制御部１０９は、露光時間出力パルス１２０と領域毎露光時間１１２の値とを基に、撮像素子部１０３の各領域に露光時間を設定する領域毎露光制御信号１１７を生成して、撮像素子部１０３に出力する。これにより、撮像素子部１０３は、領域毎露光時間１１２に応じた領域毎の露光時間が、撮像素子部１０３に対して設定される。

【0015】

ゲイン制御部１１０は、ゲイン出力パルス１１４と領域毎アナログゲイン値１１３とを基に、撮像素子部１０３の領域毎の画素電位１１８に対する領域毎アナログゲイン１２１を生成して、Ａ／Ｄ変換部１０４に出力する。これにより、Ａ／Ｄ変換部１０４では、領域毎の画素電位１１８にそれぞれ対応した領域毎アナログゲイン１２１がかけられた後にアナログ／デジタル変換が行われる。ゲイン制御部１１０におけるアナログゲイン生成処理の詳細は後述する。

【0016】

露光補正部１０５は、Ａ／Ｄ変換部１０４から送られてきた領域毎露光画像１２２に対し、領域毎露光時間１１２と領域毎アナログゲイン値１１３とに基づく階調拡張処理を施して階調拡張後画像１２３を生成する。詳細は後述するが、露光補正部１０５は、ビット（ｂｉｔ）数が１０ビットで表される領域毎露光画像１２２に対する階調拡張処理により、１７ビットで表される階調拡張後画像１２３を生成する。そして、階調拡張後画像１２３は、階調変換部１０６に送られる。

【0017】

階調変換部１０６は、階調拡張後画像１２３に対して階調変換を行い、その階調変換後画像１２４を段差補正部１０７へ出力する。本実施形態において、階調変換は、１７ビット（ｂｉｔ）の階調拡張後画像１２３のガンマ変換により１１ビットの階調変換後画像１２４を生成する処理であるとする。なお、本実施形態における階調変換処理は、後段の処理においてデータレートを抑えるために行われる。

【0018】

段差補正部１０７は、階調変換後画像１２４において、前述した領域毎に露光時間とアナログゲインを変更したことで領域間の境界部分に発生している可能性のある、画素値の段差（ギャップ、境界段差とする）を低減するための境界段差補正処理を行う。本実施形態の場合、境界段差補正処理は、領域の境界部分の段差を平滑化する平滑化処理であり、例えばローパスフィルタを適用するようなフィルタ処理であるとする。段差補正部１０７による境界段差補正後画像１２５は、画像出力部１０８に送られる。
画像出力部１０８は、境界段差補正後画像１２５を、撮像装置１００の後段の構成若しくは外部に出力する。

【0019】

図２は、撮像素子部１０３の構成を説明する図である。
撮像素子部１０３の撮像領域は、複数の画素ブロック２０１からなり、さらに画素ブロック２０１は複数の画素２０２からなる。本実施形態の例では、撮像素子部１０３の撮像領域の幅２０６方向（水平ライン方向）の画素数が２０００画素、高さ２０５方向の画素数が１０００画素（つまり垂直方向における水平ライン数が１０００ライン）であるとする。また、画素ブロック２０１の幅２０４方向（水平ライン方向）の画素数は１００画素、高さ２０３方向の画素数は１００画素（垂直方向における水平ラインの１００ライン分）であるとする。この場合、撮像素子部１０３の撮像領域内における画素ブロック２０１の数は、水平方向が２０個になり、垂直方向が１０個になる。また図２の各画素ブロック２０１内に記載されている画素ブロック［０，０］～［１９，９］は、撮像領域内の各画素ブロック２０１の位置を表しており、括弧［ ］内の値は撮像領域内における各画素ブロックの水平・垂直方向のインデックスを表している。図２において、撮像素子部１０３の例えば右上に位置している画素ブロック２０１の場合は、画素ブロック［１９，０］となる。なお、撮像素子部１０３および画素ブロック２０１のそれぞれのサイズ（縦方向および横方向の画素数）は前述の例に限定されるものではない。また、画素２０２の形状および縦横比についても限定されず、例えば正方形ではなく長方形であってもよい。さらに画素ブロック２０１は、１つの画素２０２のみで構成されていてもよい。

【0020】

そして、本実施形態において、各画素ブロック２０１は、露光時間とアナログゲインの制御が可能な単位となされている。
ここで、露光時間は、撮影時において撮像素子部１０３の画素（受光素子）に電荷が蓄積される時間に相当する。このため、例えば撮像素子部１０３への入射光量が同じであり、画素が飽和しないとすると、露光時間が長いほど画素電位１１８は高くなる（明るく撮影できる）。つまり、入射光量が同じで画素の飽和を考慮しない場合、例えば露光時間が１／４８０秒の場合と１／３０秒の場合とを比較すると、１／３０秒の方が明るく撮影できることになる。

【0021】

アナログゲインは、撮影時にＡ／Ｄ変換部１０４において画素電位１１８にかけられるゲインである。このため、アナログゲインの値が大きいほど、Ａ／Ｄ変換部１０４から出力されるデジタル画素値（ゲインがかけられた後にアナログ／デジタル変換されたデジタル値）が大きい値となる。

【0022】

図１に戻って、本実施形態の撮像装置１００の構成および動作の詳細な説明を行う。
撮像素子部１０３は、領域毎露光制御信号１１７に基づき、画素ブロック２０１の単位で露光時間が制御されて撮像を行う。そして、撮像素子部１０３は、画素毎に蓄積された電荷に応じた画素電位１１８を出力する。

【0023】

Ａ／Ｄ変換部１０４は、撮像素子部１０３から出力された各画素電位１１８に対し、撮像素子部１０３の画素ブロック毎に対応して設定された領域毎アナログゲイン１２１をかけた後にデジタル変換を行って、領域毎露光画像１２２を出力する。なお本実施形態において、領域毎露光画像１２２は１０ビットのデジタル値であるとする。また、領域毎アナログゲイン１２１は、例えばゲイン値として、×１倍，×２倍，×４倍、×８倍の４つの値を取り得るものとする。

【0024】

露光補正部１０５は、Ａ／Ｄ変換部１０４から入力された領域毎露光画像１２２に対し、領域毎露光時間１１２と領域毎アナログゲイン値１１３とに基づいた階調拡張処理を行って、階調拡張後画像１２３を出力する。本実施形態の場合、領域毎露光画像１２２は１０ビットの値であるが、階調拡張後画像１２３のビット幅は、領域毎露光時間１１２と領域毎アナログゲイン値１１３とに基づく階調拡張処理でダイナミックレンジが増加することを考慮して１７ビットとなされる。

【0025】

ここで、階調拡張後画像１２３のビット幅の１７ビットは一例である。１７ビットうち、領域毎露光画像１２２のビット幅（１０ビット）に対する増加分（７ビット）の内訳は、領域毎露光時間１１２（１／３０～１／４８０秒）に対応した４ビットと、領域毎アナログゲイン値１１３（１～８倍）に対応した３ビットとである。なお、露光時間とアナログゲイン値をそれぞれ表すのに必要な増加分のビット数は、露光時間とアナログゲイン値のそれぞれの最小値に対する最大値の比率を、２の底で対数を取った値である。具体的には、露光時間を表すのに必要となるビット数の場合、４ビット（＝ｌｏｇ２（（１／３０）÷（１／４８０）））の計算により求められる。本実施形態では、説明を単純にするために、比較的小さい範囲の露光時間とアナログゲイン値を例に挙げたが、これらの組み合わせに限定されるものではない。例えば、露光時間を（１／３０～１／６１４４０秒）とした場合には、その露光時間を表すのに必要なビット幅の増加分は、１１ビット（＝ｌｏｇ２（（１／３０）÷（１／６１４４０）））となる。なお、露光補正部１０５における補正処理の詳細は図６の説明時に後述する。

【0026】

露光補正部１０５の詳細な処理について説明する前に、領域毎露光時間１１２および領域毎アナログゲイン値１１３について、図３、図４、および図５を参照しながら説明する。
先ず図３を用いて、画素ブロック２０１毎に設定される領域毎露光時間１１２について説明する。
領域毎露光時間１１２は、図３に示すように、露光時間ＩＤと、露光時間（秒）の値と、露光補正係数とを含む。露光時間ＩＤは、露光時間（秒）を示すインデックスである。図３の各画素ブロック２０１内に記載されている露光時間ＩＤ［０，０］～［１９，９］は、図２に示した各画素ブロック［０，０］～［１９，９］におけるそれぞれの露光時間ＩＤを表している。本実施形態の場合、露光時間ＩＤを示すインデックスの値は０～４の何れかとなされるものとする。図３の例では、撮像領域の右上に位置している画素ブロック［１９，０］における露光時間ＩＤ［１９，０］のインデックス値が４である場合を示している。なお、露光時間ＩＤに対応した実際の露光時間（秒）と露光補正係数については後に図５を用いて説明する。

【0027】

次に図４を用いて、領域毎アナログゲイン値１１３について説明する。
領域毎アナログゲイン値１１３は、図４に示すように、ゲインＩＤと、アナログゲインの値と、ゲイン補正係数とを含む。ゲインＩＤは、アナログゲインを示すインデックスである。図４の各画素ブロック２０１内に記載されているゲインＩＤ［０，０］～［１９，９］は、図２に示した各画素ブロック［０，０］～［１９，９］におけるそれぞれのゲインＩＤを表している。本実施形態の場合、ゲインＩＤを示すインデックスの値は０～３の何れかとなされるものとする。図４の例では、撮像領域の右上に位置している画素ブロック［１９，０］におけるゲインＩＤ［１９，０］のインデックス値が２である場合を示している。なお、ゲインＩＤに対応した実際のアナログゲインとゲイン補正係数については後に図５を用いて説明する。

【0028】

次に、図５を参照して、露光時間ＩＤとそれに対応した露光時間および露光補正係数について説明する。
前述したように、露光時間ＩＤはインデックスとして０～４の値をとるものとする。露光時間ＩＤのインデックス値０は、露光時間（秒）の１／３０［秒］に対応しているとする。以下同様に、露光時間ＩＤのインデックス値１は露光時間（秒）の１／６０［秒］、インデックス値２は１／１２０［秒］、インデックス値３は１／２４０［秒］、インデックス値４は１／４８０［秒］にそれぞれ対応しているとする。露光時間は撮影条件に関わるパラメータの一つであり、本実施形態では、最も明るく撮影できる条件となる露光時間ＩＤのインデックス値を０としている。撮像素子部１０３への入射光量が同じで画素飽和がないとすると、最も明るく撮影できる露光時間１／３０［秒］を基準とした場合に、各々の露光時間（１／３０秒～１／４８０秒）による撮影時の明るさは１～１／１６倍となる。例えば、露光時間ＩＤのインデックス値０における露光時間の１／３０（秒）に対し、露光時間ＩＤのインデックス値４における露光時間の１／４８０［秒］では、撮影時の明るさが１／１６倍（＝（１／４８０秒）÷（１／３０秒））になる。

【0029】

また露光補正係数は、前述のように露光時間ＩＤの各インデックスに対応した露光時間で撮影が行われた場合の画素値のレベルをそれぞれ合わせるための補正係数である。本実施形態の場合、露出補正係数は、最も明るく撮影できる露光時間１／３０［秒］で撮影が行われた場合のレベルを基準として、各々の露光時間（１／３０秒～１／４８０秒）における画素値のレベルを合わせるような補正係数となされている。このため、露光補正係数は、撮影時における明るさの比率の逆数が用いられる。前述のように最も明るく撮影できる露光時間１／３０［秒］を基準にすると、露光時間１／３０秒～１／４８０秒での撮影時の明るさは１～１／１６倍となるため、図５に示すように、露光補正係数は、それらの逆数である１～１６倍となる。

【0030】

次に図５を参照して、ゲインＩＤとそれに対応したアナログゲインおよびゲイン補正係数について説明する。
前述したように、ゲインＩＤはインデックスとして０～３の値をとるものとする。ゲインＩＤのインデックス値０は８倍に相当するアナログゲインに対応し、以下同様に、ゲインＩＤのインデックス値１は４倍、インデックス値２は２倍、インデックス値３は１倍にそれぞれ対応しているとする。アナログゲインは、前述した露光時間と同様、撮影条件に関わるパラメータの一つであり、本実施形態では、最も明るい画像が得られる条件となるゲインＩＤのインデックス値を０としている。

【0031】

ゲイン補正係数は、前述のようにゲインＩＤの各インデックスに対応したアナログゲインがかけられた場合の画素値のレベルをそれぞれ合わせるための補正係数である。本実施形態の場合、ゲイン補正係数は、最も明るい画像が得られるアナログゲインが８倍の場合の画素値のレベルを基準として、各々のアナログゲイン（８倍から１倍）における画素値のレベルを合わせるような補正係数となされている。このため、ゲイン補正係数は、図５に示すように、アナログゲインの８倍～１倍に対して、逆となる１～８倍となされる。

【0032】

次に図５を用いて、露光時間ＩＤに対応した露光時間（秒）および露光補正係数と、ゲインＩＤに対応したアナログゲインおよびゲイン補正係数との組み合わせについて説明する。
露光時間とアナログゲインとは、前述したようにそれぞれが撮影条件に関わるパラメータであり、本実施形態の場合、最も明るく撮影できる条件となる露光時間ＩＤおよびゲインＩＤの各インデックスが各々０になされている。このため、例えば図５中にＡで示される、露光時間ＩＤのインデックスが０（露光時間１／３０秒）と、ゲインＩＤのインデックスが０（アナログゲイン８倍）との組み合わせは、最も明るく撮影される条件となる。以下、この組み合わせによる撮影条件の設定を、撮影条件設定Ａと表記する。

【0033】

一方で、図５中にＣで示される、露光時間ＩＤとゲインＩＤのインデックスが共に最も大きくなる組み合わせは、最も暗く撮影される条件となる。以下、この組み合わせによる撮影条件の設定を、撮影条件設定Ｃと表記する。これらアナログゲインと露光時間との組み合わせは一例であり、前述の例に限定されるものではない。なお、図５中にＢで示される組み合わせ例（撮影条件設定Ｂとする）については後述する。

【0034】

次に図５に示した各撮影条件設定Ａ，Ｂ，Ｃを例に挙げ、図６、図７、および図８を参照しながら、露光補正部１０５に行われる領域毎露光補正処理について詳細に説明する。
まず図６を用いて、最も明るく撮影する設定（図５の撮影条件設定Ａ）の場合の領域毎露補正処理について説明する。
図６は、被写体の明るさ（照度）、画素電位、領域毎露光画像、ゲイン補正後画像、露光補正後画像、および階調拡張後画像のそれぞれを、明暗方向を示す各軸で表した図である。図６は、被写体が撮影されて階調拡張後画像が出力されるまでの過程を表している。また図６の例では、被写体を最も明るく撮影する設定（図５の撮影条件設定Ａ）を基準となる設定とし、この基準の設定において、最低輝度の値（図中に○印で示した値）と最高輝度の値（図中に△印で示した値）とを基準にして、各軸が揃えられている。なお、被写体と画素電位と領域毎露光画像の各軸の値はそれぞれ単位の異なる値であるが、後述する図７、図８で設定を変えた場合の説明を分かり易くするために、図６では最低輝度および最高輝度に対応した各値が水平方向に揃うように描かれている。

【0035】

以下、被写体が撮影されて階調拡張後画像が出力されるまでの過程における各値の遷移について説明する。
前述したように、図５に示した撮影条件設定Ａは、最も明るく撮影するための組み合わせである。この撮影条件設定Ａの場合、撮像素子部１０３では１／３０秒の露光時間で被写体等を撮像し、Ａ／Ｄ変換部１０４では撮像素子部１０３からの画素電位に対して８倍のアナログゲインをかけてＡ／Ｄ変換が行われる。以下の説明では、最も明るく撮影するための撮影条件設定Ａで撮影できる明るさを「基準の明るさ」と呼ぶことにする。また、画素電位をＡ／Ｄ変換して得られる領域毎露光画像は、前述したように１０ビットのデジタル値であるとする。

【0036】

Ａ／Ｄ変換部１０４では、前述した撮影条件設定Ａにより、８倍のアナログゲインを用いたＡ／Ｄ変換が行われる。８倍のアナログゲインが適用された場合のゲイン補正係数は１であるため、露光補正部１０５によるゲイン補正後画像は、領域毎露光画像に対してゲイン補正係数（１倍）を適用した画像となる。また図６の例の場合、撮影条件設定Ａにより、撮像素子部１０３では露光時間１／３０秒による撮像が行われる。露光時間が１／３０秒の場合の露光補正係数は１であるため、露光補正部１０５による露光補正後画像は、ゲイン補正後画像に対して露光補正係数（１倍）を適用した画像となる。

【0037】

また領域毎露光画像は、撮像素子部１０３の領域毎に、前述の図５に示したような様々な撮影条件の組み合わせで撮像されて得られる画像である。このため露光補正部１０５は、領域毎露光画像に対し、領域毎の画像のレベルを合わせる。ただし領域毎のレベルを合わせることを考えた場合、領域毎露光画像のビット数（１０ビット）に対し、前述した各露光時間に対応した４ビットがさらに必要となり、また各アナログゲインに対応した３ビットがさらに必要となる。より詳細に説明すると、図５に示したように、露光時間は１／３０秒～１／４８０秒の幅があるので、例えば露光時間が１／４８０秒で撮像した時の明るさを１／３０秒の露光時間で撮影した基準の明るさに合わせるためには画素値をレベル１６倍する必要がある。これは＋４ビット分（１６＝２＾４）に相当する。同様に、図５に示したようにアナログゲインは８倍～１倍の幅があるので、例えば１倍で取得した明るさを、８倍の基準の明るさに合わせるためには画素値を８倍する必要がある。これは＋３ビット分（８＝２＾３）に相当する。このようなことから露光補正部１０５は、露光補正後画像（１０ビット）について領域毎のレベルを合わせてビット拡張処理を行った１７ビット（＝１０＋４＋３）の階調拡張後画像を出力する。

【0038】

図６に例のように最も明るく撮影する設定（撮影条件設定Ａ）において被写体撮影から階調拡張後画像の出力までの処理は、被写体の暗部側を階調拡張後画像の下位ビット側にマップする処理となり、暗い領域の撮影に適していることが判る。

【0039】

次に図７を用いて、露光時間が１／４８０秒で、アナログゲインが２倍（つまり図５における撮影条件設定Ｂ）である場合の例について説明する。図７も図６と同様に表された図である。

【0040】

ここで、露光時間の１／４８０秒は、前述した基準の露光時間の１／３０秒に対して１／１６の時間である。このため、基準の露光時間（１／３０秒）で撮像した場合と被写体の明るさ（照度）が同じであるならば、露光時間１／４８０秒で当該被写体が撮像された際の画素電位は、基準の露光時間１／３０秒の場合の画素電位に対して１／１６倍の値になる。また撮影条件設定Ｂにおいて、アナログゲインは２倍であり、これは基準のアナログゲインの８倍に対して１／４倍のゲインである。このため、アナログゲインが２倍である場合の領域毎露光画像は、基準のアナログゲイン（８倍）の場合の領域毎露光画像に対してレベルが１／４倍の画像になる。この結果、図５に示した撮影条件設定Ｂの場合、被写体の明部側の値が領域毎露光画像の１０ビットにマップされる。

【0041】

次に、露光補正部１０５は、その領域毎露光画像の値を、基準の撮影条件（露光時間１／３０秒、アナログゲイン８倍）の場合のレベルに合わせる。撮影条件設定Ｂ（露光時間１／４８０秒、アナログゲイン２倍）の場合、前述の図５に示したように、ゲイン補正係数は４（＝８倍÷２倍）であり、露光補正係数は１６（＝（１／３０秒）÷（１／４８０秒））である。このため、それらゲイン補正係数の４、露光補正係数の１６を適用すると、領域毎露光画像に対して、露光補正後画像は６ビット分（４×１６＝２＾６）上位ビット側にマップされる。この結果、領域毎露光画像は、階調拡張後画像における１７ビットのうち６～１５ビットにマップされる。

【0042】

すなわち、図７の例のように、撮影条件設定Ｂ（露光時間１／４８０秒、アナログゲイン２倍）の場合には、被写体の比較的明部側が階調拡張後画像にマップされることになる。

【0043】

次に図８を用いて、露光時間が１／４８０秒で、アナログゲインが１倍（つまり図５において最も暗く撮影する撮影条件設定Ｃ）である場合の例について説明する。図８も図６や図７と同様に表された図である。

【0044】

前述の図７で説明したように、露光時間１／４８０秒は基準の露光時間１／３０秒に対して１／１６の時間であるため、露光時間１／４８０秒の場合の画素電位は、基準の露光時間１／３０秒の場合の画素電位に対して１／１６倍の値になる。また撮影条件設定Ｃの場合、アナログゲインは１倍であり、これは基準のアナログゲインの８倍に対して１／８倍のゲインである。このため、アナログゲインが１倍である場合の領域毎露光画像は、基準のアナログゲイン（８倍）の場合の領域毎露光画像に対してレベルが１／８倍の画像になる。

【0045】

また図８の例の場合も、露光補正部１０５は、領域毎露光画像の値を、基準の撮影条件（露光時間１／３０秒、アナログゲイン８倍）の場合のレベルに合わせる。撮影条件設定Ｃ（露光時間１／４８０秒、アナログゲイン１倍）の場合、前述の図５に示したように、ゲイン補正係数は８（＝８倍÷１倍）であり、露光補正係数は１６（＝（１／３０秒）÷（１／４８０秒））である。

【0046】

このため、図８の例のように、撮影条件設定Ｃ（露光時間１／４８０秒、アナログゲイン１倍）の場合には、被写体の明部側が、階調拡張後画像の最上位ビット側（７～１６ビット）にマップされることになる。
以上、図６～図８を例に挙げて説明したように、図１の露光補正部１０５は、領域毎露光画像１２２（１０ビット）を階調拡張後画像１２３（１７ビット）に変換する処理を行う。

【0047】

次に図９を参照して、図１の階調変換部１０６における階調変換処理を説明する。
階調変換部１０６は、階調拡張後画像１２３（１７ビット）に対し、画素単位で階調変換処理を適用し、階調変換後画像１２４（本実施形態では１１ビット）に変換する。階調変換処理は、階調拡張後画像１２３（１７ビット）のビット長を低減して、撮像装置１００からの出力データートを低減するために行う。具体的には、階調変換部１０６は、図９に示すように、階調拡張後画像１２３（０～２＾１７－１）の値を、階調変換後画像１２４（０～２＾１１－１）にマッピングする。

【0048】

次に図１０を参照して、図１の段差補正部１０７における境界段差補正処理を説明する。
図１０に示すように、画素ブロック２０１毎に撮影条件設定を変えて取得した画像は、撮影時の露光時間およびアナログゲインの補正を行っただけでは、各画素ブロック２０１の境界部の画素間で画素値に段差が残る可能性がある。例えば、アナログゲイン１倍に対し、アナログゲイン２倍の場合は、理想的にはデジタル値は２．０倍になることが期待されるが、実際にはデバイスの物理特性などに起因して誤差（２．０＋Δ倍）が発生する可能性がある。このような場合は、隣り合う画素ブロック２０１の境界部の画素値間に段差が発生することが起こりえる。

【0049】

このため、段差補正部１０７は、画素ブロック２０１の境界部分にてフィルタ処理（平滑化処理）を適用することで、その境界部における画素値間の段差を軽減する。具体的には、段差補正部１０７は、図１０に示すように、画素ブロック２０１の境界に位置する着目画素１００１の近傍を参照画素１０００とし、参照画素１０００の画素値を加重平均した値と着目画素１００１の画素値とから出力画素値を求める。フィルタ処理としては、一例としてローパスフィルタを用いた処理を挙げることができる。ローパスフィルタを用いたフィルタ処理は、既知の処理であるため、その説明は省略する。

【0050】

段差補正部１０７のフィルタ処理により、階調変換後画像１２４の画素ブロック境界のギャップは軽減されて、境界段差補正後画像１２５が出力される。なおローパスフィルタによるフィルタ処理が行われると画像のシャープネスは低下するが、本実施形態の場合、フィルタ処理は画素ブロック境界部分にのみ適用されるため、画像のシャープネスの低下を画素ブロックの境界部分にのみ止めることが出来る。

【0051】

また本実施形態では、ローパスフィルタによるフィルタ処理（平滑化処理）を例に挙げたが、フィルタの種類はローパスフィルタに限らず、イプシロンフィルタ等の他の公知のフィルタであってもよい。

【0052】

本実施形態では、図１の露光補正部１０５、階調変換部１０６、段差補正部１０７の順に各処理が行われる例を挙げたが、それらの処理順は図１の例に限定されず、適宜入れ替えられていてもよい。

【0053】

前述のように段差補正部１０７によって画素ブロック境界の段差が軽減された後の境界段差補正後画像１２５は、画像出力部１０８を介して不図示の後段の構成もしくは外部の構成等に出力される。画像出力部１０８は、例えばＬＶＤＳやＭＩＰＩ（登録商標）等の高速シリアルＩ／Ｆを有する。なお、ＬＶＤＳはLow Voltage Differential Signalingの略称である。ＭＩＰＩは、Mobile Industry Processor Interfaceの略称である。

【0054】

ここまでは、撮像素子部１０３から画像出力部１０８までの構成を説明したが、以下、図１の同期制御部１０１、露光時間制御部１０９、露光条件算出部１１１、ゲイン制御部１１０について詳細に説明する。

【0055】

同期制御部１０１は、同期した露光時間出力パルス１２０とゲイン出力パルス１１４とを生成して、露光時間出力パルス１２０を露光時間制御部１０９に送り、ゲイン出力パルス１１４をゲイン制御部１１０に送る。これによって、同期制御部１０１は、露光時間制御部１０９とゲイン制御部１１０の処理を同期制御する。露光時間出力パルス１２０は、露光時間制御部１０９が領域毎露光制御信号１１７を撮像素子部１０３に出力するタイミングを制御するための信号である。露光時間制御部１０９は、露光時間出力パルス１２０に基づいて、領域毎露光制御信号１１７を撮像素子部１０３に出力することで、撮像素子部１０３の任意の画素ブロック毎に露光時間を変更する。また、ゲイン出力パルス１１４は、ゲイン制御部１１０が領域毎アナログゲイン１２１をＡ／Ｄ変換部１０４に出力するタイミングを制御するための信号である。ゲイン制御部１１０は、ゲイン出力パルス１１４に基づいて、領域毎アナログゲイン１２１をＡ／Ｄ変換部１０４に出力することで、任意の画素ブロック毎に画素電位にかけるゲインを変更する。このように本実施形態では、同期制御部１０１が、露光時間制御部１０９とゲイン制御部１１０を同期させて動作制御を行うことで、撮像素子部１０３の画素ブロック毎に露光時間とアナログゲインを適宜変えた領域毎露光画像１２２を取得できる。

【0056】

以下、図１１を用いて、同期制御部１０１による露光時間出力パルス１２０およびゲイン出力パルス１１４の生成と、露光時間制御部１０９による露光時間制御およびゲイン制御部１１０によるアナログゲイン制御の処理について説明する。
図１１では、画素ブロック［０，０］と［０，１］を例に挙げ、それら画素ブロックについて各々異なる露光時間とアナログゲインを適用する場合について説明する。なお、図２で説明したように、画素ブロック２０１は、幅方向（水平ライン方向）の画素数が１００画素で、高さ方向の画素数が１００画素（垂直方向における水平ラインが１００ライン分）であるとする。例えば、画素ブロック［０，０］の場合、高さ方向（垂直方向）における水平ラインは０～９９ラインとなり、画素ブロック［０，１］の場合、高さ方向（垂直方向）における水平ラインは１００～１９９ラインとなる。また、撮像素子部１０３の撮像領域は、水平方向に２０個、垂直方向に１０個の各画素ブロック２０１からなるとする。

【0057】

図１１において、左側のチャート１１００は、横軸が時間、縦軸が垂直方向における水平ライン数を表しており、露光時間とアナログゲインがそれぞれ適用される動作タイミングを示している。一方、図１１の右側は、撮像素子部１０３の撮像領域における各画素ブロック２０１の配置を表している。以下の説明では、各画素ブロック２０１のうち、左上の画素ブロック［０，０］で表される画素ブロック２０１については、露光時間が１／３０秒で、アナログゲイン８倍が適用されるとする。一方、画素ブロック［０，０］に対して垂直方向に１ブロック分下の画素ブロック［０，１］で表される画素ブロック２０１については、露光時間が１／６０秒で、アナログゲイン４倍が適用されるとする。

【0058】

画素ブロック［０，０］は、前述したように水平ラインの０～９９ラインに対応する画素ブロック２０１である。このため、画素ブロック［０，０］について露光およびアナログゲイン処理が行われる場合、同期制御部１０１は、撮像素子部１０３の０～９９ライン目までに対応した、露光時間出力パルス１２０とゲイン出力パルス１１４とを生成して出力する。

【0059】

そして、露光時間制御部１０９は、露光時間出力パルス１２０と領域毎露光時間１１２とを基に、０～９９ラインの画素ブロック２０１では露光時間１／３０秒で露光が行われるように撮像素子部１０３を駆動する領域毎露光制御信号１１７を生成する。また、ゲイン制御部１１０は、ゲイン出力パルス１１４と領域毎アナログゲイン値１１３とを基に、０～９９ラインの画素ブロック２０１の画素電位には８倍のアナログゲインをかけるようにＡ／Ｄ変換部１０４を駆動制御する領域毎アナログゲイン１２１を生成する。このとき、画素ブロック［０，０］では、実線１１０３で示す露光の開始時間のタイミングと実線１１０４で示す露光の終了時間のタイミングを水平ラインごとにずらしつつ、各水平ラインに同じ露光時間（１／３０秒）が適用される。また、同期制御部１０１は、画素ブロック［０，０］の各ラインの露光時間の終了タイミングがアナログゲインの駆動タイミングになるよう露光開始のタイミングを調整する。

【0060】

また画素ブロック［０，１］は、前述したように水平ラインの１００～１９９ラインに対応する画素ブロック２０１である。このため、画素ブロック［０，１］について露光およびアナログゲイン処理が行われる場合、同期制御部１０１は、撮像素子部１０３の１００～１９９ライン目までに対応した、露光時間出力パルス１２０とゲイン出力パルス１１４とを生成して出力する。

【0061】

露光時間制御部１０９は、露光時間出力パルス１２０と領域毎露光時間１１２とを基に、１００～１９９ラインの画素ブロック２０１では露光時間１／６０秒で露光が行われるように撮像素子部１０３を駆動する領域毎露光制御信号１１７を生成する。ゲイン制御部１１０は、ゲイン出力パルス１１４と領域毎アナログゲイン値１１３とを基に、１００～１９９ラインの画素ブロック２０１の画素電位に４倍のアナログゲインをかけるようにＡ／Ｄ変換部１０４を駆動制御する領域毎アナログゲイン１２１を生成する。画素ブロック［０，１］の場合も前述同様に、実線１１０５と実線１１０６で示す露光の開始と終了のタイミングを水平ラインごとにずらしつつ、各水平ラインに同じ露光時間（１／６０秒）が適用される。同様に、同期制御部１０１は、画素ブロック［０，１］の各ラインの露光時間の終了タイミングがアナログゲインの駆動タイミングになるよう露光開始のタイミングを調整する。

【0062】

図１２は、領域毎露光制御信号１１７と画素ブロックとの関係説明に用いる図である。
領域毎露光制御信号１１７は、画素ブロック毎に適宜異なる露光時間を適用するための画素駆動パルスの束からなる信号である。
図１２に示すように、領域毎露光制御信号１１７は、撮像素子部１０３の画素ブロックの１ライン毎に接続され、画素ブロック毎の露光時間を制御する信号となされている。図１２の例では、領域毎露光制御信号１１７は、水平方向に画素駆動パルスｓｂ０ｐ０～ｓｂ１９ｐ０、ｓｂ０ｐ１～ｓｂ１９ｐ１、・・・のように分かれ、さらに各々が行方向に分かれて、画素ブロックの１ライン毎に接続される。各画素駆動パルスはそれぞれ独立に制御可能となされている。

【0063】

ここで、水平方向の左端の各画素ブロック［０，０］～［０，９］に着目すると、領域毎露光制御信号１１７は画素駆動パルスｓｂ０ｐ０～ｓｂ０ｐ９９９に分かれ、例えば画素駆動パルスｓｂ０ｐ０は画素ブロック［０，０］の１番目の水平ラインに接続される。一般的なイメージセンサの場合は、垂直方向の順に１水平ライン毎に画素駆動パルスが接続され、ローリングシャッタ方式が適用されることで撮像素子部１０３全体に一律の露光時間が適用される。これに対し、本実施形態の場合、水平方向の画素ブロック毎に領域毎露光制御信号１１７が接続され、水平方向の画素ブロック毎に異なる露光時間が適用される。また垂直方向については、画素ブロックの境界で異なる露光時間に切り替えることで、画素ブロック毎に異なる露光時間を適用できるようにしている。

【0064】

図１に説明を戻す。
ゲイン制御部１１０は、ゲイン出力パルス１１４と領域毎アナログゲイン値１１３とに基づいて、領域毎アナログゲイン１２１を出力する。領域毎アナログゲイン１２１は、領域毎アナログゲイン値１１３で指定される画素ブロック毎に、所望のアナログゲインが適用される。

【0065】

同様に、図１において、露光条件算出部１１１は、撮影した領域毎露光画像１２２の輝度分布に基づいて、領域毎露光時間１１２と領域毎アナログゲイン値１１３とが最適な設定値になるように計算する。具体的には、露光条件算出部１１１は、画素ブロック毎にと画素値のヒストグラムを算出し、明部側に画素値が分布していれば、より暗く撮影する設定値になるように領域毎露光時間１１２と領域毎アナログゲイン値１１３とを変更（更新）する。

【0066】

露光条件算出部１１１における処理を図７と図８を参照しながら説明する。
前述の図５の撮影条件設定Ｂによる撮影例である図７において、例えば、階調拡張後画像１２３の画素値が明部側に分布していた場合、より明部側の画素値を取得したいとする。この場合、露光条件算出部１１１は、より暗く撮影できるよう領域毎露光時間１１２と領域毎アナログゲイン値１１３を更新する。具体的には、図７に示した撮影条件設定Ｂの場合、露光条件算出部１１１は、図８の最も暗く撮影する撮影条件設定Ｃに変更する。同様に、露光条件算出部１１１は、画素値が暗部側に分布していた場合には、逆の設定をする。このように、露光条件算出部１１１は画素ブロックごとに前述の処理を行う。

【0067】

以上説明したように、本実施形態の撮像装置１００は、画素ブロック毎に露光時間とアナログゲインを同期して制御して撮影する。本実施形態の撮像装置１００は、このように露光時間に加えてアナログゲインを領域毎に制御することで、アナログゲイン分のダイナミックレンジを拡張できる。一方で、Ａ／Ｄ変換された後のデジタル値に係数を乗じるデジタルゲイン処理の場合、Ａ／Ｄ変換後に低輝度側の値が０（黒つぶれ）または高輝度側の値がデジタル値の最大（白飛び）になる場合には、係数を乗じるという処理の特性上、階調を回復できない。これに対し、本実施形態のようなアナログゲインの調整は、前述の黒つぶれ、或いは白飛びの問題をアナログゲインの範囲内で解消できるという利点がある。また本実施形態のおいては、画素ブロック毎に異なる露光時間とアナログゲインで取得した画素値のレベルを合わせ、階調変換処理でビット長を低減し、さらに画素ブロックの境界に発生し得る段差を軽減した画像を出力可能となる。

【0068】

図１３は、第２の実施形態に係る撮像装置１３００の概略構成を示したブロック図である。前述した第１の実施形態の撮像装置１００は、露光補正部１０５、階調変換部１０６、段差補正部１０７を有するのに対し、第２の実施形態の撮像装置１３００はそれらを有していない。

【0069】

このため、第２の実施形態の撮像装置１３００は、領域毎露光画像１２２を１０ビットのまま画像出力部１０８から出力する。これに加え、画像出力部１０８は、領域毎露光時間１１２と領域毎アナログゲイン値１１３とをも出力する。すなわち、第２の実施形態では、撮像装置１３００の外部で、図１の露光補正部１０５以降の処理をすることを想定している。本実施形態では、領域毎露光時間１１２と領域毎アナログゲイン値１１３とを、領域毎露光画像１２２と共に出力する例を示したが、この構成に限定する必要はなく、シリアルＩＯなどの別のＩ／Ｆから出力する構成としてもよい。

【0070】

図１４は、第３の実施形態に係る撮像装置の構成例を示した図である。なお、第３の実施形態の撮像装置の他の構成は、図１に示した第１の実施形態の撮像装置１００または図１４に示した第２の実施形態の撮像装置１３００と同様であるとする。
第３の実施形態に係る撮像装置は、図１４に示すように、２層となる積層構造を有して構成されている。センサ層１４００は撮像素子部１０３を露光する側であり、回路層１４０１はセンサ層１４００と撮像素子部１０３の除いた他の層である。回路層１４０１には、露光時間制御部１０９が配置され、領域毎露光制御信号１１７の各画素駆動パルスが、積層構造の層間で垂直に配線される。

【0071】

ここで、領域毎露光制御信号１１７は、領域毎（画素ブロック毎）に異なる露光時間を設定するという性質上、配線本数が増大することになる。このため、通常の１層の構成で実現しようとすると、領域毎露光制御信号１１７のための配線が撮像素子部１０３を遮って、十分な画素面積を確保できなくなる。これに対し、第３の実施形態の場合、センサ層１４００には基本的に撮像素子部１０３のみを配置できるので、十分な画素面積を確保できるという利点がある。なお、層の数は２層に限定したものではなく、３層以上（２層以上）の構成になされてもよい。また、センサ層１４００と回路層１４０１の分け方は一例であり、センサ層１４００に撮像素子部１０３以外の構成要素が配されてもよい。

【0072】

以上説明したようなことから、第１～第３の実施形態によれば、前述した特許文献１に記載された手法に対し、露光時間の範囲に加え、アナログゲインの範囲（例えば１倍から８倍）でダイナミックレンジを拡大できる。すなわち特許文献１に記載の手法の場合、露光時間の範囲（例えば１／３０秒～１／６１４４０秒）を超えるようなダイナミックレンジを得ることはできないが、本実施形態によればアナログゲインの範囲でダイナミックレンジを拡大できる。また、本実施形態によれば、特許文献２に記載の手法に対し、Ａ／Ｄ変換部は一つ持つのみでよく、回路規模の削減ができ、また高速駆動を行う必要もない。すなわち特許文献２に記載の手法の場合、Ａ／Ｄ変換器を複数個並列に持つか、またはＡ／Ｄ変換器を時分割で高速駆動する必要があるが、本実施形態によればＡ／Ｄ変換部は一つでよく、また高速駆動する必要がない。

【0073】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0074】

１００：撮像装置、１０１：同期制御部、１０３：撮像素子部、１０４：Ａ／Ｄ変換部、１０５：露光補正部、１０６：階調変換部、１０７：段差補正部、１０８：画像出力部、１０９：露光時間制御部、１１０：ゲイン制御部、１１１：露光条件算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】