特許 7468632 撮像素子、撮像装置及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】撮像素子、撮像装置及び装置

(51)【国際特許分類】

   H04N 25/57 20230101AFI20240409BHJP

   H01L 27/146 20060101ALI20240409BHJP

【ＦＩ】

H04N25/57

H01L27/146 D

【請求項の数】 17

(21)【出願番号】P 2022515422

(86)(22)【出願日】2021-04-14

(86)【国際出願番号】 JP2021015498

(87)【国際公開番号】W WO2021210621

(87)【国際公開日】2021-10-21

【審査請求日】2022-09-30

(31)【優先権主張番号】P 2020072912

(32)【優先日】2020-04-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】雄賀多 暢志

(72)【発明者】

【氏名】小石 えりか

(72)【発明者】

【氏名】土井田 茂

【審査官】鈴木 明

(56)【参考文献】

【文献】国際公開第２０１２／１１１４０１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／００－２５／７９

Ｈ０１Ｌ ２７／１４６

(57)【特許請求の範囲】

【請求項1】

入射光に応じて画素信号を発生させる複数の画素と、
それぞれが少なくとも二つの前記画素を含む複数のブロック毎に露光条件を設定する設定部と
を備え、
前記設定部は、それぞれのブロックにおける露光条件の前記ブロック間での差が閾値以下となるように、それぞれのブロックに露光条件を設定する
撮像素子。

【請求項2】

前記設定部は、最大露光条件と最小露光条件との差が前記閾値以下となるように、それぞれのブロックにおける露光条件を設定する
請求項１に記載の撮像素子。

【請求項3】

前記設定部は、前記最大露光条件及び前記最小露光条件のブロックの出現頻度を比較し、前記最大露光条件の出現頻度が小さい場合は前記最大露光条件をカットし、前記最小露光条件のブロックの出現頻度が小さい場合は前記最小露光条件をカットする
請求項２に記載の撮像素子。

【請求項4】

前記設定部は、暗領域に対応する露光条件を優先的にカットする
請求項３に記載の撮像素子。

【請求項5】

前記画素信号を格納するメモリを更に備え、
前記設定部は、前記画素信号のデータ量が前記メモリの容量以下となるように、それぞれのブロックにおける露光条件を設定する
請求項２又は３に記載の撮像素子。

【請求項6】

前記設定部は、隣接するブロックにおける露光条件の差が前記閾値以下となるように、それぞれのブロックに露光条件を設定する
請求項１から５の何れか一項に記載の撮像素子。

【請求項7】

前記設定部は、ブロック内の画素に対応する輝度の少なくとも２つの代表値に応じて、前記ブロックに露光条件を設定する
請求項１から６の何れか一項に記載の撮像素子。

【請求項8】

前記少なくとも２つの代表値は、前記ブロック内の画素に対応する最大輝度及び平均輝度を含み、
前記設定部は、
前記平均輝度に対応する露光時間で前記ブロック内の画素が飽和する場合は、前記最大輝度に対応する露光時間を露光条件として前記ブロックに設定し、
前記平均輝度に対応する露光時間で前記ブロック内の画素が飽和しない場合は、前記平均輝度に対応する露光時間を露光条件として前記ブロックに設定する
請求項７に記載の撮像素子。

【請求項9】

前記複数のブロックにおける最大露光条件と最小露光条件との差が第１の値である第１モードと、前記差が前記第１の値よりも小さい第２モードとを切り替えるモード切替部を備える
請求項１から８の何れか一項に記載の撮像素子。

【請求項10】

前記複数のブロックのうち第１ブロックの露光条件と、前記第１ブロックに隣接した複数のブロックのそれぞれの露光条件との差の絶対値の最大値が第１の値である第１モードと、前記最大値が前記第１の値よりも小さい第２モードとを切り替えるモード切替部を備える
請求項１から８の何れか一項に記載の撮像素子。

【請求項11】

第１の露光条件を用いる標準モードと、前記第１の露光条件を補正した第２の露光条件を用いる補正モードとの間で撮像モードを切り替えるモード切替部を更に備える
請求項１から８の何れか一項に記載の撮像素子。

【請求項12】

前記複数の画素が設けられた撮像チップと、前記撮像チップに積層され、前記設定部が設けられたチップとを備える
請求項１から１１の何れか一項に記載の撮像素子。

【請求項13】

前記撮像チップと、
前記撮像チップに積層され、前記画素信号を処理する信号処理チップと、
前記信号処理チップに積層され、前記設定部が設けられたチップと、を備える
請求項１２に記載の撮像素子。

【請求項14】

前記撮像チップおよび前記信号処理チップは、それぞれの対向する面と、それぞれの対向する面に設けられた接続部とにより接合されており、
前記信号処理チップおよび前記設定部が設けられたチップは、それぞれの対向する面と、それぞれの対向する面に設けられた接続部および前記信号処理チップに設けられた貫通電極の少なくとも一方とで接続されている
請求項１３に記載の撮像素子。

【請求項15】

さらに、前記画素信号を格納するメモリを有するメモリチップが積層されている
請求項１２に記載の撮像素子。

【請求項16】

請求項１から１５の何れか一項に記載の撮像素子を備える撮像装置。

【請求項17】

入射光に応じて画素信号を発生させる複数の画素を有する撮像素子と、
それぞれが少なくとも二つの前記画素を含む複数のブロック毎に露光条件を設定する設定部と、
を備え、
前記設定部は、それぞれのブロックにおける露光条件の前記ブロック間での差が閾値以下となるように、それぞれのブロックに露光条件を設定する装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子、撮像装置及び装置に関する。

【背景技術】

【0002】

特許文献１には、１つの画面を複数のブロックに分割し、各ブロック毎に動き検出してそれぞれ露光時間を制御する撮像装置が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００６－１９７１９２号公報

【一般的開示】

【0003】

本発明の第１の態様においては、撮像素子を提供する。撮像素子は、入射光に応じて画素信号を発生させる複数の画素と、それぞれが少なくとも二つの画素を含む複数のブロック毎に露光条件を設定する設定部とを備え、設定部は、それぞれのブロックにおける露光条件のブロック間での差が閾値以下となるように、それぞれのブロックに露光条件を設定する。

【0004】

本発明の第２の態様においては、撮像素子を提供する。撮像素子は、入射光に応じて画素信号を発生させる複数の画素と、それぞれが少なくとも二つの画素を含む複数のブロック毎に露光条件を設定する設定部とを備え、設定部は、ブロック内の画素に対応する輝度の少なくとも２つの代表値に応じて、ブロックに露光条件を設定する。

【0005】

本発明の第３の態様においては、第１又は第２の態様の撮像素子を備える撮像装置を提供する。

【0006】

本発明の第４の態様においては、装置を提供する。装置は、入射光に応じて画素信号を発生させる複数の画素を有する撮像素子と、それぞれが少なくとも二つの画素を含む複数のブロック毎に露光条件を設定する設定部と、を備え、設定部は、それぞれのブロックにおける露光条件のブロック間での差が閾値以下となるように、それぞれのブロックに露光条件を設定する。

【0007】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る撮像素子の断面図である。

【図2】撮像チップの画素配列とブロックを説明する図である。

【図3】撮像チップのブロックに対応する回路図である。

【図4】撮像素子の機能的構成を示すブロック図である。

【図5A】撮像素子１００の機能的構成を示すブロック図である。

【図5B】撮像素子１００の機能的構成を示すブロック図である。

【図6】本実施形態に係る撮像装置の構成を示すブロック図である。

【図7】露光条件の設定処理の一例を示すフロー図である。

【図8】図７のフローに従って設定された露光条件で撮影した画像と、他の方法で設定された露光条件で撮影した画像とを比較した図である。

【図9】露光条件の補正処理の一例を示すフロー図である。

【図10】図９に示す露光条件の上限及び下限を設定する具体例を示す図である。

【図11】図１０の例に従って露光条件の範囲を制限した撮影画像と、他の方法で露光条件の範囲を制限した撮影画像とを比較した図である。

【図12】図１１に示すそれぞれの撮影画像で使用した露光条件のヒストグラムを示す図である。

【図13】露光条件の補正処理の他の例を示すフロー図である。

【図14】図１３に示す露光条件の均し処理の具体例を示す図である。

【図15】図１４の例に従って均し処理を実行する前後の露光条件を比較した図である。

【図16】露光条件の設定処理の変形例を示すフロー図である。

【発明を実施するための形態】

【0009】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0010】

図１は、本実施形態に係る撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有する接続部であるバンプ１０９により互いに電気的に接続される。

【0011】

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

【0012】

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配された複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

【0013】

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。

【0014】

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

【0015】

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

【0016】

配線層１０８の表面には接続部である複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて接合されることにより、撮像チップ１１３と信号処理チップ１１１とが電気的に接続される。

【0017】

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、接続部である複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて接合されることにより、信号処理チップ１１１とメモリチップ１１２とが電気的に接続される。

【0018】

なお撮像素子１００は、撮像チップ１１３、信号処理チップ１１１及びメモリチップ１１２がチップ化される前のウエハの状態で接合を行い、接合されたウエハをダイシングすることにより形成される。

【0019】

ウエハ同士を接合する際、活性化装置によりウエハの表面にプラズマを照射して、ウエハの接合面を活性化する。表面が活性化されたウエハは、接触により生じる水素結合、ファンデルワールス結合、および、共有結合等により接合され、積層基板を形成する。二つのウエハが相互の接触により水素結合をしている場合は、積層基板を形成した後、アニール炉のような加熱装置に積層基板を搬入して加熱することにより、ウエハ間に共有結合を生じさせる。

【0020】

尚、活性化とは、ウエハの接合面が他のウエハの接合面と接触した場合に、水素結合、ファンデルワールス結合、共有結合等を生じて、溶融することなく固相で接合される状態にすべく、少なくとも一方の基板の接合面を処理する場合を含む。すなわち、活性化とは、ウエハの表面にダングリングボンド（未結合手）を生じさせることによって、結合を形成しやすくすることを含む。

【0021】

より具体的には、活性化装置では、例えば減圧雰囲気下において処理ガスである酸素ガスを励起してプラズマ化し、酸素イオンを二つの基板のそれぞれの接合面となる表面に照射する。例えば、ウエハがＳｉ上にＳｉＯ膜を形成した基板である場合には、この酸素イオンの照射によって、積層時に接合面となるウエハ表面におけるＳｉＯの結合が切断され、ＳｉおよびＯのダングリングボンドが形成される。ウエハの表面にこのようなダングリングボンドを形成することを活性化という場合がある。

【0022】

ダングリングボンドが形成された状態の基板を、例えば大気に晒した場合、空気中の水分がダングリングボンドに結合して、基板表面が水酸基（ＯＨ基）で覆われる。基板の表面は、水分子と結合しやすい状態、すなわち親水化されやすい状態となる。つまり、活性化により、結果として基板の表面が親水化しやすい状態になる。また、固相の接合では、接合界面における、酸化物等の不純物の存在、接合界面の欠陥等が接合強度に影響する。よって、接合面の清浄化を活性化の一部と見做してもよい。

【0023】

更に、ウエハの活性化は、図示しない装置を用いて、親水化されたウエハの接合面となる表面に純水等を塗布してもよい。これにより、ウエハの表面は、ＯＨ基が付着した状態、すなわちＯＨ基で終端された状態となる。

【0024】

積層基板を加熱処理することにより、二つのウエハの接合面のそれぞれに設けられたバンプ１０９が互いに一体化されて、ウエハ間で電気的接続が形成される。バンプ１０９を、例えば、インジウム、錫－銀合金のように低温で溶融する材料で形成することにより、２００度以下の低い温度で積層基板をリフロー処理できる。または、バンプ１０９を銅のように導電性を有する金属で形成した場合、加熱処理によって膨張することによりウエハ間のバンプ１０９同士が圧接し、固相拡散により接合される。

【0025】

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの画素ブロックに対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。

【0026】

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。また、ＴＳＶ１１０は、メモリチップ１１２に設けられた回路と撮像チップ１１３に設けられた回路とを電気的に接続するために用いられてもよい。

【0027】

このように、撮像チップ１１３および信号処理チップ１１１は、それぞれの対向する面およびバンプ１０９により接合される。また信号処理チップ１１１およびメモリチップ１１２は、それぞれの対向する面で互いに接合されると共に、バンプ１０９および信号処理チップ１１１に設けられたＴＳＶ１１０で互いに接続される。尚、信号処理チップ１１１およびメモリチップ１１２を、それぞれの対向する面で互いに接合すると共に、バンプ１０９およびＴＳＶ１１０の少なくとも一方で互いに接続してもよい。

【0028】

図２は、撮像チップ１１３の画素配列とブロック１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。これらの画素は、少なくとも二つの画素を含むブロックに分割される。本実施形態においては、隣接する４画素×４画素の１６画素が一つのブロックを形成する。図の格子線は、隣接する画素が集合的にブロック１３１を形成する概念を示す。

【0029】

画素領域の部分拡大図に示すように、ブロック１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

【0030】

図３は、撮像チップ１１３のブロック１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

【0031】

上述のように、ブロック１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

【0032】

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

【0033】

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けても良いし、信号処理チップ１１１側に設けても良い。

【0034】

ここで、画素の露光開始から露光終了後の画素信号出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位はリセットされ、露光を開始する。

【0035】

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、露光が終了する。露光終了までに蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から露光終了後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

【0036】

図示するように、本実施形態においては、ブロック１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、ブロック１３１を形成する全ての画素は、同一のタイミングで露光を開始し、同一のタイミングで露光を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されて、選択的に出力配線３０９に出力される。

【0037】

このようにブロック１３１を基準として回路を構成することにより、ブロック１３１ごとに露光時間を制御することができる。ブロックごとに露光時間を制御できるので、隣接するブロック１３１同士で、異なった露光時間による画素信号をそれぞれ出力させることができる。さらには、全てのブロック１３１について共通の露光時間を設定しておき、あるブロック１３１については、１回分の露光と画素信号出力を実行させ、隣接するブロック１３１については、２回分の露光と画素信号出力を繰り返させるといった制御もできる。後者のような、共通の単位時間による露光および画素信号出力の繰り返し制御を単位時間制御という。なお、単位時間制御を行う場合であって、露光の開始時点および終了時点を、全てのブロック１３１で同期させるのであれば、リセット配線３０６は、撮像チップ１１３上の全てのリセットトランジスタ３０３に対して共通接続されて良い。

【0038】

図４は、撮像素子１００の機能的構成を示すブロック図である。特にここでは画素信号の流れを説明する。

【0039】

アナログのマルチプレクサ４１１は、ブロック１３１を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

【0040】

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換は、入力されるアナログ画素信号を、１２ｂｉｔのデジタル画素信号に変換する。Ａ／Ｄ変換された画素信号は、同じく信号処理チップ１１１に形成された、演算回路４１５に引き渡される。演算回路４１５は、受け取った画素信号に、後段の画像処理のために必要な演算処理を施して、デマルチプレクサ４１３へ引き渡す。

【0041】

デマルチプレクサ４１３は、受け取った画素信号をそれぞれの画素に対応する画素メモリ４１４に格納する。画素メモリ４１４のそれぞれは、演算処理を実行した後の画素信号を格納できる容量を有する。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

【0042】

演算回路４１５は、演算処理に用いる画素信号を、デマルチプレクサ４１３を介して画素メモリ４１４から読み出す。あるいは、外部からの引渡要求に従って、デマルチプレクサ４１３を介して画素メモリ４１４から読み出した画素信号を、後段の画像処理部に引き渡す。なお、演算回路４１５は、メモリチップ１１２に設けられても良い。

【0043】

また、図では１ブロック分の画素信号の流れを示すが、実際にはこれらがブロックごとに存在して、並列で動作する。ただし、演算回路４１５はブロックごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれのブロックに対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理しても良い。

【0044】

図５Ａは、撮像素子１００の機能的構成を示すブロック図である。ここでは主に信号処理チップ１１１の具体的構成と、メモリチップ１１２に設けられた設定部４６０について説明する。

【0045】

信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、同期制御部４４３、信号制御部４４４と、これらの各制御部を統括制御する駆動制御部４２０とを含む。駆動制御部４２０は、撮像装置全体の統合制御を担うシステム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。

【0046】

センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、露光の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。

【0047】

同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一のブロック１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。

【0048】

信号制御部４４４は、主にＡ／Ｄ変換器４１２ｂに対するタイミング制御を担う。出力配線３０９を介して出力された画素信号は、マルチプレクサ４１１を経てＣＤＳ回路４１２ａおよびＡ／Ｄ変換器４１２ｂに入力される。Ａ／Ｄ変換器４１２ｂは、信号制御部４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、演算回路４１５に引き渡され、演算処理が施される。演算処理が施された画素信号は、メモリチップ１１２のデマルチプレクサ４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ４１４にデジタルデータの画素値として格納される。

【0049】

また、駆動制御部４２０は、システム制御部５０１からの引渡要求に従って、対象画素信号を演算回路４１５およびデマルチプレクサ４１３を介して画素メモリ４１４から読み出し、撮像装置に設けられた画像処理部５１１へ引き渡す。画素メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。

【0050】

データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。

【0051】

このように構成することにより、画像処理部５１１は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。

【0052】

メモリチップ１１２は、ブロック１３１毎に露光条件を設定する設定部４６０を更に含む。設定部４６０は、システム制御部５０１からシーンの輝度分布を取得し、輝度分布に応じて、ブロック１３１毎に露光条件を設定する。露光条件とは、取得する画像の明るさを変化させる条件で、例えば、露光時間、絞り値、ＩＳＯ感度等である。

【0053】

また設定部４６０は、メモリ容量、要求されるダイナミックレンジ等の様々な要件に応じて、露光条件を補正する。設定部４６０による露光条件の設定及び補正処理については後述する。また設定部４６０は、それぞれのブロック１３１の露光時間に応じてシャッタの開閉タイミングを決定する。

【0054】

メモリチップ１１２は、露光条件に応じて撮像モードを切り替えるモード切替部４７０を更に含む。一例として、モード切替部４７０は、複数のブロックにおける最大露光条件と最小露光条件との差が第１の値である第１モードと、差が第１の値よりも小さい第２モードとを切り替える。

【0055】

あるいは、モード切替部４７０は、複数のブロックのうち第１ブロックの露光条件と、第１ブロックに隣接した複数のブロックのそれぞれの露光条件との差の絶対値の最大値が第１の値である第１モードと、最大値が第１の値よりも小さい第２モードとを切り替えてもよい。

【0056】

設定部４６０による露光条件の設定及び補正処理については後述するが、第１モードでは、画像全体ではなく、隣接するブロック間での差が小さくなるように露光条件が設定されるので、明領域及び暗領域の犠牲を抑制しつつ均等化された露光条件での撮像が可能である。第２モードでは、第１モードよりもさらに均等化された露光条件での撮像が可能である。

【0057】

例えば、モード切替部４７０は、システム制御部５０１を介してユーザからの指示を受け、第１モード又は第２モードのいずれかを設定部４６０に指示する。第１モードにおいて、設定部４６０は、露光条件の差の最大値が第１の値以下となるようにブロック１３１毎に露光条件を設定し、設定した露光条件を駆動制御部４２０に引き渡す。一方、第２モードにおいて、設定部４６０は、露光条件の差の最大値が第１の値より小さくなるようにブロック１３１毎に露光条件を設定し、設定した露光条件を駆動制御部４２０に引き渡す。駆動制御部４２０は、取得した露光条件に従ってそれぞれの画素を露光させるように、センサ制御部４４１を制御する。

【0058】

あるいは、モード切替部４７０は、第１の露光条件を用いる標準モードと、第１の露光条件を補正した第２の露光条件を用いる補正モードとの間で撮像モードを切り替えてもよい。一例として、第１の露光条件とは、設定部４６０がシーンの輝度分布に応じて初期設定した露光条件であり、第２の露光条件とは、第１の露光条件に補正処理が施された露光条件である。

【0059】

一例としてモード切替部４７０は、システム制御部５０１を介してユーザからの指示を受け、標準モード又は補正モードのいずれかを設定部４６０に指示する。標準モードにおいて、設定部４６０は、ブロック１３１毎に露光条件を設定した後、設定された露光条件を補正することなく、駆動制御部４２０に引き渡す。一方、補正モードにおいて、設定部４６０は、ブロック１３１毎に露光条件を設定した後、設定された露光条件を補正し、補正後の露光条件を駆動制御部４２０に引き渡す。駆動制御部４２０は、取得した露光条件に従ってそれぞれの画素を露光させるように、センサ制御部４４１を制御する。

【0060】

図５Ｂは、撮像素子１００の機能的構成を示すブロック図である。ここでは、設定部４６０が信号処理チップ１１１に設けられた場合について説明する。

【0061】

設定部４６０は、図５Ａに示す例と同様に、システム制御部５０１からシーンの輝度分布を取得し、輝度分布に応じて、ブロック１３１毎に露光条件を設定する。また設定部４６０は、メモリ容量、要求されるダイナミックレンジ等の様々な要件に応じて、露光条件を補正する。また設定部４６０は、それぞれのブロック１３１の露光時間に応じてシャッタの開閉タイミングを決定する。

【0062】

図５Ｂに示す例では、モード切替部４７０も信号処理チップ１１１に設けられている。モード切替部４７０は、図５Ａに示す例と同様に、システム制御部５０１を介してユーザからの指示を受け、標準モード又は補正モードのいずれかを設定部４６０に指示する。標準モードにおいて、設定部４６０は、ブロック１３１毎に露光条件を設定した後、設定された露光条件を補正することなく、駆動制御部４２０に引き渡す。一方、補正モードにおいて、設定部４６０は、ブロック１３１毎に露光条件を設定した後、設定された露光条件を補正し、補正後の露光条件を駆動制御部４２０に引き渡す。

【0063】

このように、設定部４６０およびモード切替部４７０は、メモリチップ１１２に設けられてもよく、信号処理チップ１１１に設けられてもよい。図５Ａに示すように、設定部４６０およびモード切替部４７０がメモリチップ１１２に設けられた場合、バンプ１０９およびＴＳＶ１１０を介して伝送の高速化を図りつつ、信号処理チップ１１１ではより広いスペースが確保される。図５Ｂに示すように、設定部４６０およびモード切替部４７０が信号処理チップ１１１に設けられた場合、各制御部を統括制御する駆動制御部４２０と同じチップ上にあることから、処理の高速化が実現される。

【0064】

図６は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸Ｏに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像素子１００、システム制御部５０１、測光部５０３、ワークメモリ５０４、記録部５０５、および表示部５０６を主に備える。システム制御部５０１は、ユーザからの指示を受けて、撮像素子１００へ送信する撮像指示を生成する撮像指示部の機能を担う。

【0065】

撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図６では瞳近傍に配置された仮想的な１枚のレンズで代表して表している。上述の通り、撮像素子１００の駆動制御部４２０は、システム制御部５０１からの指示に従って撮像素子１００の露光制御を実行する制御回路である。

【0066】

撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。なお、画像処理部５１１は、システム制御部５０１とは独立したＡＳＩＣとして構成されても良く、メモリチップ１１２に設けられてもよい。

【0067】

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。また演算部５１２は、上述した設定部４６０の機能を担ってもよい。

【0068】

次に、本実施形態の撮像素子における露光条件の設定及び補正について、図を参照しながら説明する。

【0069】

従来、カメラが一度に撮影できるダイナミックレンジには限りがある。例えば、シーンの明領域に合わせて短い露光時間（「短秒」という場合がある）で撮影すると、画像の暗領域で黒潰れが発生する。逆に、シーンの暗領域に合わせて長い露光時間（「長秒」という場合がある）で撮影すると、画像の明領域で白飛びが発生する。

【0070】

そこで近年、ダイナミックレンジの広い画像を取得するために、複数枚の画像を撮影し、合成するハイダイナミックレンジ技術が用いられている。ハイダイナミックレンジ技術とは、露光条件を変えて複数枚の画像を撮影し、各画像の必要な領域だけを抽出して合成する技術である。これにより、実質的にダイナミックレンジを拡大することができる。

【0071】

しかしながら、シーンの明領域と暗領域とのギャップが大きいと、ダイナミックレンジが広くなりすぎ、メモリがオーバーフローするという問題がある。例えばダイナミックレンジをＥＶ値の差ΔＥＶとすると、合成に必要な撮影枚数は２^ΔＥＶ枚以上となる。

【0072】

［露光条件の設定］
図７は、露光条件の設定処理の一例を示すフロー図である。上述したように、設定部４６０は、システム制御部５０１から取得したシーンの輝度分布に従って、ブロック１３１毎に露光条件を設定する。なお、シーンの輝度分布は、ユーザからの事前撮影指示を受けて算出されてよい。例えば、システム制御部５０１がシャッタスイッチの押下を検知すると、測光部５０３が測光処理を実行し、演算部５１２が測光部５０３からの出力に基づいてシーンの輝度分布を算出する。

【0073】

処理７１０において、設定部４６０は、輝度分布から代表値１を算出する。一例として代表値１は、対象とするブロック１３１内の画素に対応する輝度の平均値（平均輝度）である。

【0074】

処理７２０において、設定部４６０は、輝度分布から代表値２を算出する。一例として代表値２は、対象とするブロック１３１内の画素に対応する輝度の最大値（最大輝度）である。

【0075】

処理７３０において、設定部４６０は、代表値１及び２に応じて、対象とするブロック１３１の露光条件を設定する。一例として、設定部４６０は、平均輝度および最大輝度が等しいか否かを判断する。設定部４６０は、平均輝度および最大輝度が等しいと判断した場合は、平均輝度に対応する露光時間を、対象とするブロック１３１の露光条件として設定する。設定部４６０は、最大輝度が平均輝度よりも大きいと判断した場合は、平均輝度に対応する露光時間で、対象とするブロック１３１内の画素が飽和するか否かを判断する。飽和しないと判断した場合、設定部４６０は、平均輝度に対応する露光時間を、対象とするブロック１３１の露光条件として設定する。逆に、飽和すると判断した場合、設定部４６０は、最大輝度に対応する露光時間を、対象とするブロック１３１の露光条件として設定する。

【0076】

処理７４０において、駆動制御部４２０は、ブロック１３１毎に設定された露光条件でそれぞれの画素を露光させるようにセンサ制御部４４１を制御し、画像処理部５１１は生成した複数の画像を合成する。なお、後述するように、設定部４６０は、処理７４０の前に、設定された露光条件を補正し、補正された露光条件を駆動制御部４２０に引き渡してよい。

【0077】

なお最大輝度は、事前撮影された画像における輝度のヒストグラムにおいて、上位から予め定められた範囲の輝度から算出してもよい。最大輝度及び平均輝度に対応する露光時間は、事前撮影された画像における輝度の最大値及び平均値をそれぞれ目標最大値及び平均値に換算した場合の露光時間であり、以下の式に従って算出してよい。

【数1】

【数2】

【0078】

ここで、Ｉ_{０，Ｍａｘ}及びＩ_{０，Ａｖｅ．}は、それぞれ事前撮影された画像における輝度の最大値及び平均値であり、ｔ_０はその露光時間である。Ｉ_{Ｔａｒｇｅｔ，Ｍａｘ}及びＩ_{Ｔａｒｇｅｔ，Ａｖｅ．}は、それぞれ目標最大値及び平均値であり、ｔ_Ｍａｘ及びｔ_Ａｖｅ．は、それぞれ目標最大値及び平均値に対応する露光時間である。

【0079】

設定部４６０は、下記の式の通り、２つの代表値に対応する露光時間のうち短い方、すなわち明領域寄りの露光時間を採用してよい。

【数3】

【0080】

ここでｔは、露光条件として設定される露光時間である。ただし、露光時間ｔ_Ａｖｅ．を採用するとブロック１３１内の画素が飽和する場合には、設定部４６０は暗領域寄りの露光時間であるｔ_Ｍａｘを採用してよい。

【0081】

図８は、図７のフローに従って設定された露光条件で撮影した画像と、他の方法で設定された露光条件で撮影した画像とを比較した図である。上段の（Ａ）は、輝度の平均値のみを使用して露光時間を設定した場合の撮影画像と、その露光時間設定である。下段の（Ｂ）は、輝度の平均値及び最大値を使用して露光時間を設定した場合の撮影画像と、その露光時間設定である。いずれの画像も同じシーン、すなわち室内から窓越しに屋外の景色を撮影したものである。なお露光時間設定は、ブロックの色が明るい（白に近い）ほど長秒露光（暗領域重視）であり、暗い（黒に近い）ほど短秒露光（明領域重視）であることを意味する。

【0082】

（Ａ）の撮影画像では、窓枠近傍及び窓に組み付けられた格子が交差する領域（特に、白矢印で示す部分）でブロック境界が目立っている。これは、窓枠及び格子と窓ガラスのような明暗差の大きい領域が１つのブロック１３１内に含まれる場合に、輝度の平均値のみを使用した露光時間設定では明領域に対応する画素が飽和し、十分に情報が取得できなかったためである。一方で（Ｂ）は、このようなブロックでは平均値を採用せず、最大値に対応する露光時間が設定されるため、飽和が生じることなく、（Ａ）のような弊害は見られない。

【0083】

以上のように、ブロック１３１の露光条件を平均輝度に応じて設定すると、平均値よりも大きい輝度に対応する画素で飽和が生じるおそれがある。そこで平均輝度に対応する露光条件でも飽和が生じない場合にはその露光条件を採用し、飽和が生じる場合にはもう１つの代表値に対応する露光条件を採用する。これにより、ブロック１３１内における飽和を防止しつつ、適正露光を実現することができる。

【0084】

なお、上述した露光条件の設定処理は、次に説明する露光条件の補正処理を行うベースとなる露光条件を設定するときに実行される。あるいは、上述した露光条件の設定処理は、露光条件の補正処理で設定された露光条件で白飛び又は黒潰れが発生するか否かを判断するために実行され、白飛び等が発生すると判断した場合には、補正処理が繰り返し実行される。

【0085】

［露光条件の補正］
図９は、露光条件の補正処理の一例を示すフロー図である。まず処理９１０において、設定部４６０は、上述したようにブロック１３１毎に露光条件を設定する。

【0086】

設定部４６０は、それぞれのブロック１３１における露光条件の差が閾値以下となるように、それぞれのブロックに設定された露光条件を補正する。具体的には、処理９２０において、設定部４６０は、それぞれのブロック１３１の露光条件のヒストグラムを作成する。処理９３０において、設定部４６０は、ヒストグラムに応じて上限及び下限を設定する。すなわち、設定部４６０は、ヒストグラムにおける最大値と最小値との差が閾値以下となるように、それぞれのブロック１３１に設定された露光条件を補正する。

【0087】

図１０は、図９に示す露光条件の上限及び下限を設定する具体例を示す図である。ここで、露光条件を露光時間ＴＶ、閾値ＴＨ（最大ＴＶと最小ＴＶとのＴＶ差）を５とする。（１）のヒストグラムＨは、初期設定の露光条件のヒストグラムを示し、最大ＴＶは９、最小ＴＶは２である。従ってＴＶ差は７であり、ＴＨより大きいので、露光条件を補正する必要がある。

【0088】

設定部４６０は、最大ＴＶの頻度と最小ＴＶの頻度とを比較する。ここで、最大ＴＶの頻度は最小ＴＶの頻度より小さいので、設定部４６０は、最大ＴＶを２番目に大きいＴＶに補正する。つまり、ＴＶ９の頻度が２番目に大きいＴＶ８に加算される。このように最大ＴＶのＴＶ９が丸められた結果、（２）のヒストグラムＨが得られる。

【0089】

（２）のヒストグラムＨでは、最大ＴＶは８、最小ＴＶは２である。従ってＴＶ差は６であり、ＴＨより大きいので、露光条件を補正する必要がある。設定部４６０は、最大ＴＶの頻度と最小ＴＶの頻度とを比較する。ここで、最小ＴＶの頻度は最大ＴＶの頻度より小さいので、設定部４６０は、最小ＴＶを２番目に小さいＴＶに補正する。つまり、ＴＶ２の頻度が２番目に小さいＴＶ３に加算される。このように最小ＴＶのＴＶ２が丸められた結果、（３）のヒストグラムＨが得られる。

【0090】

（３）のヒストグラムＨでは、最大ＴＶは７、最小ＴＶは３である。従ってＴＶ差は５であり、ＴＨに等しいので、露光条件をこれ以上補正することなく処理は終了する。設定部４６０は、（３）のヒストグラムＨに応じて対応するブロック１３１の露光条件を補正し、補正された露光条件を駆動制御部４２０に引き渡す。以後の処理は上述したとおりなので説明を省略する。

【0091】

図１１は、図１０の例に従って露光条件の範囲を制限した撮影画像と、他の方法で露光条件の範囲を制限した撮影画像とを比較した図である。（Ａ）は、最大ＴＶを保持しつつ範囲を制限した場合の撮影画像（暗領域重視）、（Ｂ）は、最小ＴＶを保持しつつ範囲を制限した場合の撮影画像（明領域重視）、（Ｃ）は、図１０の例に従ってＴＶを制限した撮影画像である。いずれの画像も同じシーン、すなわち室内から窓越しに屋外の景色を撮影したものである。

【0092】

図１２は、図１１に示すそれぞれの撮影画像で使用した露光条件のヒストグラムを示す図である。（Ａ）、（Ｂ）及び（Ｃ）は、元設定（Ｏ）のＴＶ範囲３～１７に対し、許容差（閾値ＴＨ）８ＴＶで制限がかけられている。最大ＴＶを保持した（Ａ）のＴＶ範囲は９～１７ＴＶであり、下限９ＴＶ未満のＴＶがカットされている。最小ＴＶを保持（Ｂ）のＴＶ範囲は３～１１ＴＶであり、上限１１ＴＶを超えるＴＶがカットされている。頻度に応じて制限した（Ｃ）のＴＶ範囲は７～１５であり、下限７ＴＶ未満のＴＶと、上限１５ＴＶを超えるＴＶがカットされている。

【0093】

再び図１１に戻ると、明領域重視の（Ｂ）では窓の外の景色（建物及び樹木）の情報が取得できているのに対し、暗領域重視の（Ａ）では同じ明領域の情報が取得できず、白飛びが発生していることがわかる。一方、（Ｃ）では、同じ明領域の情報の情報がある程度取得できている。なお図示していないが、反対に明領域重視の（Ｂ）では、暗領域のＳ／Ｎ比が悪化し、黒潰れが発生するおそれがある。

【0094】

このように、露光条件の範囲を単純に制限すると明領域又は暗領域のいずれかを犠牲にすることになるが、露光条件の頻度に応じて範囲を制限することにより、メモリのオーバーフローを防止しつつ、明領域及び暗領域の犠牲を最小限にすることができる。

【0095】

また設定部４６０は、露光条件をカットした結果、画素信号のデータ量がメモリの容量以下となるように、露光条件の範囲を制限する。また設定部４６０は、暗領域に対応する露光条件を優先的にカットしてよい。暗領域の情報は、短秒露光であっても少なくとも取得できるので、大量の撮影画像を加算することにより十分な情報を取得することができる。また、長秒の露光条件をカットすることで、撮影時間を短縮することができる。

【0096】

図１３は、露光条件の補正処理の他の例を示すフロー図である。なお、図１３の補正処理は、図９の補正処理に続けて実行されてもよい。

【0097】

処理１３１０において、設定部４６０は、ブロック１３１毎に露光条件を設定する。処理１３１０は、図９の処理９１０と同様であるので、説明を省略する。図１３の補正処理を図９の補正処理に続けて実行する場合は、図９の処理９３０を実行した後で、次に説明する処理１３２０を実行する。

【0098】

処理１３２０において、設定部４６０は、対象ブロック１３１に対して露光条件の均し処理を実行する。ここで、均し処理とは、隣接するブロック１３１における露光条件の差が境界閾値以下となるように、それぞれのブロック１３１に設定された露光条件を補正することを指す。

【0099】

図１４は、図１３に示す露光条件の均し処理の具体例を示す図である。（１）は、３×４に配列されたそれぞれのブロック１３１に、処理１３１０で設定された露光条件を示す。ここで、露光条件は露光時間ＴＶであり、隣接ブロック間のＴＶ差の閾値（境界閾値）を３とする。

【0100】

設定部４６０は、配列されたブロック３１３から均し処理を施される対象ブロックを選択し、対象ブロックの上下左右に隣接する９つのブロック１３１のうち、上側の３つのブロック１３１及び左側の１つのブロック１３１からなるＬ字型の４つのブロック１３１を比較ブロックとする。なお、対象ブロックが配列の端に位置する場合には、比較ブロックの数は４未満であってもよい。

【0101】

設定部４６０は、ブロック配列から順方向に沿って対象ブロックを順次選択し、１回目の均し処理を実行する。ここで順方向は、ブロック配列の上側、左側を起点とする。すなわち、順方向は、最上列左端のブロック１３１から右端のブロック１３１に進み、次に、上から２列目の左端のブロック１３１から右端のブロック１３１に進み、最後に、最下列の左端のブロック１３１から右端のブロック１３１に進む。

【0102】

均し処理の具体的な手順について説明する。設定部４６０は、対象ブロックのＴＶと、比較ブロックのＴＶ最小値とを比較する。対象ブロックのＴＶが比較ブロックのＴＶ最小値より大きく、その差が閾値より大きい場合、設定部４６０は、差が閾値以下となるように対象ブロックのＴＶを補正する。

【0103】

例えば、（１）のブロック配列に順方向の均し処理を実行する場合、まず、左上のブロック１３１（ＴＶ１０）が対象ブロックとして選択される。ただしこの対象ブロックは比較ブロックを有さないため、設定部４６０は対象ブロックに均し処理を実行せず、次の対象ブロックに移る。次に対象ブロックとして選択されるのは、最上列左から２番目のブロック１３１（ＴＶ９）である。この対象ブロックは左側に比較ブロック（ＴＶ１０）を有するので、そのＴＶが比較ブロックのＴＶ最小値となる。対象ブロックのＴＶ（ＴＶ９）＜比較ブロックのＴＶ最小値（ＴＶ１０）であるから、設定部４６０は対象ブロックに均し処理を実行せず、次の対象ブロックに移る。このように設定部４６０は、順方向に順次対象ブロックを選択し、ＴＶ差に応じて均し処理を実行する。

【0104】

（２）に示すように、右上のブロック１３１（ＴＶ８）が対象ブロックとして選択された場合を考える。この対象ブロックは左側に比較ブロック（ＴＶ３）を有するので、そのＴＶが比較ブロックのＴＶ最小値となる。対象ブロックのＴＶ（ＴＶ８）＞比較ブロックのＴＶ最小値（ＴＶ３）であるから、設定部４６０は、比較ブロックのＴＶ最小値（ＴＶ３）との差が閾値である３以下となるように、対象ブロックのＴＶを６に補正する。

【0105】

（３）は、順方向に均し処理を実行した結果のブロック配列であり、白抜き文字で示す数値が、補正されたＴＶである。ただし、最上列の左から２番目のブロック１３１（ＴＶ９）と３番目のブロック１３１（ＴＶ３）のように、隣接するブロックのＴＶ差が閾値を超えた状態のＴＶがいくつか残されている。

【0106】

順方向に均し処理を実行した後、（４）に示すように、設定部４６０は、比較ブロックの設定をリセットする。設定部４６０は、対象ブロックの上下左右に隣接する９つのブロック１３１のうち、下側の３つのブロック１３１及び右側の１つのブロック１３１からなるＬ字型の４つのブロック１３１を比較ブロックとする。なお、対象ブロックが配列の端に位置する場合には、比較ブロックの数は４未満であってもよい。

【0107】

設定部４６０は、ブロック配列から逆方向に沿って対象ブロックを順次選択し、２回目の均し処理を実行する。ここで逆方向は、ブロック配列の下側、右側を起点とする。すなわち、逆方向は、最下列右端のブロック１３１から左端のブロック１３１に進み、次に、下から２列目の右端のブロック１３１から左端のブロック１３１に進み、最後に、最上列の右端のブロック１３１から左端のブロック１３１に進む。（５）に示すように、設定部４６０は、順方向の均し処理と同様に、対象ブロックのＴＶを比較ブロックのＴＶ最小値との差に応じて補正する。

【0108】

（６）は、逆方向に均し処理を実行した結果のブロック配列であり、白抜き文字で示す数値が、逆方向の均し処理で補正されたＴＶである。順方向の均し処理の後で逆方向にも均し処理を実行した結果、全ての隣接するブロック間で、ＴＶ差が閾値以下になったことがわかる。

【0109】

Ｓ／Ｎ比は露光時間の影響を受けるので、隣接ブロック間でＳ／Ｎ比の差が大きいとブロック境界が目立ってしまう。そこで、隣接ブロック間のＴＶ差を均すことで、Ｓ／Ｎ比は悪化するものの、ブロック境界の目立たない自然な画像を得ることができる。

【0110】

なお閾値は、撮像素子の特性に応じて一意に決定されてもよい。あるいは、Ｓ／Ｎ比と露光時間との関係を予め把握し、ノイズの算出式から得られたＳ／Ｎ比の差に基づいて、適切な境界閾値が判定されてもよい。

【0111】

再び図１３に戻ると、処理１３３０において、駆動制御部４２０は、補正された露光条件でそれぞれの画素を露光させるようにセンサ制御部４４１を制御し、画像処理部５１１は生成した複数の画像を合成する。ここで画像処理部５１１は、ブロック間のＳ／Ｎ比の差を埋めるために、ノイズを削除してもよい。あるいは画像処理部５１１は、ブロック間のＳ／Ｎ比の差を埋めるために、長秒露光のブロック１３１にノイズを付加してもよく、又は短秒露光のブロック１３１からノイズを除去してもよい。

【0112】

さらに、設定部４６０は、ブロック１３１内で白飛び又は黒潰れが発生する画素の割合が所定の割合になるように、ブロック１３１毎の露光条件を設定してよい。例えば、所定の割合は、１６×１６画素のブロック１３１に対して、１割以下である。このように、具体的に数値で制御することにより、白飛び又は黒潰れが発生する画素がブロック境界に存在する確率を低減し、ブロック境界の目立たない自然な画像を得ることができる。

【0113】

図１５は、図１４の例に従って均し処理を実行する前後の露光条件を比較した図である。（Ａ）は、均し処理を実行する前の露光時間設定と、撮影した画像である。（Ｂ）は、均し処理を実行した後の露光時間設定である。被写体は、夜間の高層ビルである。露光時間設定は、ブロックの色の明るい（白に近い）ほど長秒露光（暗領域重視であり）、暗い（黒に近い）ほど短秒露光（明領域重視）であることを意味する。

【0114】

（Ａ）の画像において矢印で示したように、高層ビルの最上階で点灯する航空障害灯の周辺で、隣接するブロックの境界が目立ってしまっている。これは、航空障害灯と背景の夜空との明暗差が大きいために、Ｓ／Ｎ比の差が大きいことによるものである。（Ａ）の露光時間設定を見ると、航空障害灯の位置に対応するブロックのみが航空障害灯の輝度に影響されて短秒露光となっており、隣接ブロックの露光時間との差が大きいことがわかる。そこで、図１４の例に従って均し処理を施すことで、（Ｂ）に示すように、航空障害灯の位置に対応するブロックの露光時間と周辺のブロックの露光時間との差が均され、ブロック境界の目立たない自然な画像を得ることができる。

【0115】

図１６は、露光条件の設定処理の変形例を示すフロー図である。処理１６１０において、設定部４６０は、明領域に合わせて露光条件を設定する。具体的には、設定部４６０は、システム制御部５０１から取得したシーンの輝度分布から明領域に対応する露光条件を取得し、取得した露光条件を全てのブロック１３１に設定する。

【0116】

なお、明領域に対応する露光条件は、上述したように、輝度分布から最大輝度を取得する方法に従って算出してよい。露光条件の算出にあたっては、手振れ抑制を考慮した最大露光時間を考慮してもよい。

【0117】

処理１６２０において、設定部４６０は、取得するダイナミックレンジに応じて撮影枚数を設定する。取得するダイナミックレンジは、ユーザ又は設計者が任意に設定してもよく、あるいは撮影シーンの輝度分布に応じて、システム制御部５０１が自動的に設定してもよい。なお上述したように、必要な撮影枚数は、ダイナミックレンジをΔＥＶとすると、２^ΔＥＶ枚以上となる。

【0118】

処理１６３０において、設定部４６０は、設定された露光条件及び撮影枚数に従って撮影を実行し、処理１６４０において、画像処理部５１１は撮影画像を加算して取得画像を合成する。なお、処理１６４０の前に、画像処理部５１１は、手振れ等による不正画像の検出及び位置合わせ処理をさらに実行してもよい。不正画像の除外により必要枚数が不足した場合には、画像処理部５１１から駆動制御部４２０にフィードバックを送出し、撮影枚数を追加してもよい。

【0119】

このように本例では、それぞれのブロック１３１にそれぞれの露光条件を設定した図１～図１５の例と異なり、全てのブロック１３１に共通の露光条件を設定する。明領域に合わせた露光条件を設定するので白飛びのおそれがなく、暗領域の情報も、大量の画像を加算することによって得ることができる。また、ブロック単位で露光条件を変化させる場合と比べ、撮影及び合成のプロセスが単純化される。また、全てのブロック１３１に同じ露光条件が設定されるので、手振れ等による位置ずれが原因で露光条件がずれ、情報が適切に取得できなかったことによる画質の劣化を抑制することができる。

【0120】

また、取得した全ての情報を加算するので、無駄がなく、良好なＳ／Ｎ比を得ることができる。さらに、短秒露光での撮影のため、手振れに強く、撮影枚数を増やすだけでダイナミックレンジを拡大することができる。

【0121】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

【0122】

上記した実施の形態では、設定部４６０およびモード切替部４７０が、撮像素子１００のメモリチップ１１２または信号処理チップ１１１に設けられた例を示したが、撮像素子１００とは別の素子、回路または基板に、設定部４６０およびモード切替部４７０を設けてもよい。この場合、例えば、各ブロック１３１における画素の輝度に関する情報等を撮像素子１００から設定部４６０およびモード切替部４７０にそれぞれ送信し、これに基づいて設定部４６０が露光条件を設定したり、モード切替部４７０がモードを切り替えたりし、その結果を設定部４６０及びモード切替部４７０から撮像素子１００に送信してもよい。

【0123】

設定部４６０及びモード切替部４７０は、同一の素子、回路または基板に設けられていてもよく、別の素子、回路または基板に設けられていてもよい。また、設定部４６０及びモード切替部４７０が設けられる素子、回路または基板は、撮像装置５００以外の装置に設けられていてもよい。

【0124】

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0125】

１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ ＰＤ、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１３１ ブロック、３０２ 転送トランジスタ、３０３ リセットトランジスタ、３０４ 増幅トランジスタ、３０５ 選択トランジスタ、３０６ リセット配線、３０７ ＴＸ配線、３０８ デコーダ配線、３０９ 出力配線、３１０ Ｖｄｄ配線、３１１ 負荷電流源、４１１ マルチプレクサ、４１２ 信号処理回路、４１３ デマルチプレクサ、４１４ 画素メモリ、４１５ 演算回路、４２０ 駆動制御部、４４１ センサ制御部、４４３ 同期制御部、４４４ 信号制御部、４６０ 設定部、４７０ モード切替部、５００ 撮像装置、５０１ システム制御部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５１１ 画像処理部、５１２ 演算部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】