(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024094339
(43)【公開日】2024-07-09
(54)【発明の名称】撮像素子、撮像装置及び装置
(51)【国際特許分類】
H04N 25/585 20230101AFI20240702BHJP
H04N 25/79 20230101ALI20240702BHJP
【FI】
H04N25/585
H04N25/79
【審査請求】有
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2024060589
(22)【出願日】2024-04-04
(62)【分割の表示】P 2022515422の分割
【原出願日】2021-04-14
(31)【優先権主張番号】P 2020072912
(32)【優先日】2020-04-15
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】雄賀多 暢志
(72)【発明者】
【氏名】小石 えりか
(72)【発明者】
【氏名】土井田 茂
(57)【要約】
【解決手段】入射光に応じて画素信号を発生させる複数の画素と、それぞれが少なくとも二つの前記画素を含む複数のブロック毎に露光条件を設定する設定部とを備え、設定部は、それぞれのブロックにおける露光条件のブロック間での差が閾値以下となるように、それぞれのブロックに露光条件を設定する撮像素子を提供する。
【選択図】
図5A
【特許請求の範囲】
【請求項1】
入射光に応じて画素信号を発生させる複数の画素と、
それぞれが少なくとも二つの前記画素を含む複数のブロック毎に露光条件を設定する設定部と
を備え、
前記設定部は、それぞれのブロックにおける露光条件の前記ブロック間での差が閾値以下となるように、それぞれのブロックに露光条件を設定する
撮像素子。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子、撮像装置及び装置に関する。
【背景技術】
【0002】
特許文献1には、1つの画面を複数のブロックに分割し、各ブロック毎に動き検出してそれぞれ露光時間を制御する撮像装置が記載されている。
[先行技術文献]
[特許文献]
[特許文献1] 特開2006-197192号公報
【発明の概要】
【0003】
本発明の第1の態様においては、撮像素子を提供する。撮像素子は、入射光に応じて画素信号を発生させる複数の画素と、それぞれが少なくとも二つの画素を含む複数のブロック毎に露光条件を設定する設定部とを備え、設定部は、それぞれのブロックにおける露光条件のブロック間での差が閾値以下となるように、それぞれのブロックに露光条件を設定する。
【0004】
本発明の第2の態様においては、撮像素子を提供する。撮像素子は、入射光に応じて画素信号を発生させる複数の画素と、それぞれが少なくとも二つの画素を含む複数のブロック毎に露光条件を設定する設定部とを備え、設定部は、ブロック内の画素に対応する輝度の少なくとも2つの代表値に応じて、ブロックに露光条件を設定する。
【0005】
本発明の第3の態様においては、第1又は第2の態様の撮像素子を備える撮像装置を提供する。
【0006】
本発明の第4の態様においては、装置を提供する。装置は、入射光に応じて画素信号を発生させる複数の画素を有する撮像素子と、それぞれが少なくとも二つの画素を含む複数のブロック毎に露光条件を設定する設定部と、を備え、設定部は、それぞれのブロックにおける露光条件のブロック間での差が閾値以下となるように、それぞれのブロックに露光条件を設定する。
【0007】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0008】
【
図2】撮像チップの画素配列とブロックを説明する図である。
【
図3】撮像チップのブロックに対応する回路図である。
【
図4】撮像素子の機能的構成を示すブロック図である。
【
図5A】撮像素子100の機能的構成を示すブロック図である。
【
図5B】撮像素子100の機能的構成を示すブロック図である。
【
図6】本実施形態に係る撮像装置の構成を示すブロック図である。
【
図7】露光条件の設定処理の一例を示すフロー図である。
【
図8】
図7のフローに従って設定された露光条件で撮影した画像と、他の方法で設定された露光条件で撮影した画像とを比較した図である。
【
図9】露光条件の補正処理の一例を示すフロー図である。
【
図10】
図9に示す露光条件の上限及び下限を設定する具体例を示す図である。
【
図11】
図10の例に従って露光条件の範囲を制限した撮影画像と、他の方法で露光条件の範囲を制限した撮影画像とを比較した図である。
【
図12】
図11に示すそれぞれの撮影画像で使用した露光条件のヒストグラムを示す図である。
【
図13】露光条件の補正処理の他の例を示すフロー図である。
【
図14】
図13に示す露光条件の均し処理の具体例を示す図である。
【
図15】
図14の例に従って均し処理を実行する前後の露光条件を比較した図である。
【
図16】露光条件の設定処理の変形例を示すフロー図である。
【発明を実施するための形態】
【0009】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0010】
図1は、本実施形態に係る撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有する接続部であるバンプ109により互いに電気的に接続される。
【0011】
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、
図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0012】
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配された複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。
【0013】
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が一つの画素を形成する。
【0014】
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
【0015】
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0016】
配線層108の表面には接続部である複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて接合されることにより、撮像チップ113と信号処理チップ111とが電気的に接続される。
【0017】
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、接続部である複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて接合されることにより、信号処理チップ111とメモリチップ112とが電気的に接続される。
【0018】
なお撮像素子100は、撮像チップ113、信号処理チップ111及びメモリチップ112がチップ化される前のウエハの状態で接合を行い、接合されたウエハをダイシングすることにより形成される。
【0019】
ウエハ同士を接合する際、活性化装置によりウエハの表面にプラズマを照射して、ウエハの接合面を活性化する。表面が活性化されたウエハは、接触により生じる水素結合、ファンデルワールス結合、および、共有結合等により接合され、積層基板を形成する。二つのウエハが相互の接触により水素結合をしている場合は、積層基板を形成した後、アニール炉のような加熱装置に積層基板を搬入して加熱することにより、ウエハ間に共有結合を生じさせる。
【0020】
尚、活性化とは、ウエハの接合面が他のウエハの接合面と接触した場合に、水素結合、ファンデルワールス結合、共有結合等を生じて、溶融することなく固相で接合される状態にすべく、少なくとも一方の基板の接合面を処理する場合を含む。すなわち、活性化とは、ウエハの表面にダングリングボンド(未結合手)を生じさせることによって、結合を形成しやすくすることを含む。
【0021】
より具体的には、活性化装置では、例えば減圧雰囲気下において処理ガスである酸素ガスを励起してプラズマ化し、酸素イオンを二つの基板のそれぞれの接合面となる表面に照射する。例えば、ウエハがSi上にSiO膜を形成した基板である場合には、この酸素イオンの照射によって、積層時に接合面となるウエハ表面におけるSiOの結合が切断され、SiおよびOのダングリングボンドが形成される。ウエハの表面にこのようなダングリングボンドを形成することを活性化という場合がある。
【0022】
ダングリングボンドが形成された状態の基板を、例えば大気に晒した場合、空気中の水分がダングリングボンドに結合して、基板表面が水酸基(OH基)で覆われる。基板の表面は、水分子と結合しやすい状態、すなわち親水化されやすい状態となる。つまり、活性化により、結果として基板の表面が親水化しやすい状態になる。また、固相の接合では、接合界面における、酸化物等の不純物の存在、接合界面の欠陥等が接合強度に影響する。よって、接合面の清浄化を活性化の一部と見做してもよい。
【0023】
更に、ウエハの活性化は、図示しない装置を用いて、親水化されたウエハの接合面となる表面に純水等を塗布してもよい。これにより、ウエハの表面は、OH基が付着した状態、すなわちOH基で終端された状態となる。
【0024】
積層基板を加熱処理することにより、二つのウエハの接合面のそれぞれに設けられたバンプ109が互いに一体化されて、ウエハ間で電気的接続が形成される。バンプ109を、例えば、インジウム、錫-銀合金のように低温で溶融する材料で形成することにより、200度以下の低い温度で積層基板をリフロー処理できる。または、バンプ109を銅のように導電性を有する金属で形成した場合、加熱処理によって膨張することによりウエハ間のバンプ109同士が圧接し、固相拡散により接合される。
【0025】
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ109は、例えば後述する一つの画素ブロックに対して一つ程度設ければ良い。したがって、バンプ109の大きさは、PD104のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けても良い。
【0026】
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられて良い。また、TSV110は、メモリチップ112に設けられた回路と撮像チップ113に設けられた回路とを電気的に接続するために用いられてもよい。
【0027】
このように、撮像チップ113および信号処理チップ111は、それぞれの対向する面およびバンプ109により接合される。また信号処理チップ111およびメモリチップ112は、それぞれの対向する面で互いに接合されると共に、バンプ109および信号処理チップ111に設けられたTSV110で互いに接続される。尚、信号処理チップ111およびメモリチップ112を、それぞれの対向する面で互いに接合すると共に、バンプ109およびTSV110の少なくとも一方で互いに接続してもよい。
【0028】
図2は、撮像チップ113の画素配列とブロック131を説明する図である。特に、撮像チップ113を裏面側から観察した様子を示す。画素領域には2000万個以上もの画素がマトリックス状に配列されている。これらの画素は、少なくとも二つの画素を含むブロックに分割される。本実施形態においては、隣接する4画素×4画素の16画素が一つのブロックを形成する。図の格子線は、隣接する画素が集合的にブロック131を形成する概念を示す。
【0029】
画素領域の部分拡大図に示すように、ブロック131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
【0030】
図3は、撮像チップ113のブロック131に対応する回路図である。図において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、
図1のトランジスタ105に対応する。
【0031】
上述のように、ブロック131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続され、各転送トランジスタ302の各ゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
【0032】
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されると共に、転送トランジスタ302のドレインとリセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFDが増幅トランジスタ304のゲートに接続される。リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続され、そのゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
【0033】
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けても良いし、信号処理チップ111側に設けても良い。
【0034】
ここで、画素の露光開始から露光終了後の画素信号出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加され、同時にTX配線307を通じて転送パルスが転送トランジスタ302に印加されると、PD104およびフローティングディフュージョンFDの電位はリセットされ、露光を開始する。
【0035】
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、露光が終了する。露光終了までに蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から露光終了後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304および選択トランジスタ305を介して出力配線309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
【0036】
図示するように、本実施形態においては、ブロック131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素全てに対して同時に印加される。したがって、ブロック131を形成する全ての画素は、同一のタイミングで露光を開始し、同一のタイミングで露光を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されて、選択的に出力配線309に出力される。
【0037】
このようにブロック131を基準として回路を構成することにより、ブロック131ごとに露光時間を制御することができる。ブロックごとに露光時間を制御できるので、隣接するブロック131同士で、異なった露光時間による画素信号をそれぞれ出力させることができる。さらには、全てのブロック131について共通の露光時間を設定しておき、あるブロック131については、1回分の露光と画素信号出力を実行させ、隣接するブロック131については、2回分の露光と画素信号出力を繰り返させるといった制御もできる。後者のような、共通の単位時間による露光および画素信号出力の繰り返し制御を単位時間制御という。なお、単位時間制御を行う場合であって、露光の開始時点および終了時点を、全てのブロック131で同期させるのであれば、リセット配線306は、撮像チップ113上の全てのリセットトランジスタ303に対して共通接続されて良い。
【0038】
図4は、撮像素子100の機能的構成を示すブロック図である。特にここでは画素信号の流れを説明する。
【0039】
アナログのマルチプレクサ411は、ブロック131を形成する16個のPD104を順番に選択して、それぞれの画素信号を出力配線309へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。
【0040】
マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換は、入力されるアナログ画素信号を、12bitのデジタル画素信号に変換する。A/D変換された画素信号は、同じく信号処理チップ111に形成された、演算回路415に引き渡される。演算回路415は、受け取った画素信号に、後段の画像処理のために必要な演算処理を施して、デマルチプレクサ413へ引き渡す。
【0041】
デマルチプレクサ413は、受け取った画素信号をそれぞれの画素に対応する画素メモリ414に格納する。画素メモリ414のそれぞれは、演算処理を実行した後の画素信号を格納できる容量を有する。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。
【0042】
演算回路415は、演算処理に用いる画素信号を、デマルチプレクサ413を介して画素メモリ414から読み出す。あるいは、外部からの引渡要求に従って、デマルチプレクサ413を介して画素メモリ414から読み出した画素信号を、後段の画像処理部に引き渡す。なお、演算回路415は、メモリチップ112に設けられても良い。
【0043】
また、図では1ブロック分の画素信号の流れを示すが、実際にはこれらがブロックごとに存在して、並列で動作する。ただし、演算回路415はブロックごとに存在しなくても良く、例えば、一つの演算回路415がそれぞれのブロックに対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理しても良い。
【0044】
図5Aは、撮像素子100の機能的構成を示すブロック図である。ここでは主に信号処理チップ111の具体的構成と、メモリチップ112に設けられた設定部460について説明する。
【0045】
信号処理チップ111は、分担化された制御機能としてのセンサ制御部441、同期制御部443、信号制御部444と、これらの各制御部を統括制御する駆動制御部420とを含む。駆動制御部420は、撮像装置全体の統合制御を担うシステム制御部501からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。
【0046】
センサ制御部441は、撮像チップ113へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部441は、対象画素に対してリセットパルスと転送パルスを送出することにより、露光の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線309へ出力させる。
【0047】
同期制御部443は、同期信号を撮像チップ113へ送出する。各パルスは、同期信号に同期して撮像チップ113においてアクティブとなる。例えば、同期信号を調整することにより、同一のブロック131に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。
【0048】
信号制御部444は、主にA/D変換器412bに対するタイミング制御を担う。出力配線309を介して出力された画素信号は、マルチプレクサ411を経てCDS回路412aおよびA/D変換器412bに入力される。A/D変換器412bは、信号制御部444によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、演算回路415に引き渡され、演算処理が施される。演算処理が施された画素信号は、メモリチップ112のデマルチプレクサ413に引き渡され、そしてそれぞれの画素に対応する画素メモリ414にデジタルデータの画素値として格納される。
【0049】
また、駆動制御部420は、システム制御部501からの引渡要求に従って、対象画素信号を演算回路415およびデマルチプレクサ413を介して画素メモリ414から読み出し、撮像装置に設けられた画像処理部511へ引き渡す。画素メモリ414には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部511と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部501から駆動制御部420への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。
【0050】
データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを1ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。
【0051】
このように構成することにより、画像処理部511は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。
【0052】
メモリチップ112は、ブロック131毎に露光条件を設定する設定部460を更に含む。設定部460は、システム制御部501からシーンの輝度分布を取得し、輝度分布に応じて、ブロック131毎に露光条件を設定する。露光条件とは、取得する画像の明るさを変化させる条件で、例えば、露光時間、絞り値、ISO感度等である。
【0053】
また設定部460は、メモリ容量、要求されるダイナミックレンジ等の様々な要件に応じて、露光条件を補正する。設定部460による露光条件の設定及び補正処理については後述する。また設定部460は、それぞれのブロック131の露光時間に応じてシャッタの開閉タイミングを決定する。
【0054】
メモリチップ112は、露光条件に応じて撮像モードを切り替えるモード切替部470を更に含む。一例として、モード切替部470は、複数のブロックにおける最大露光条件と最小露光条件との差が第1の値である第1モードと、差が第1の値よりも小さい第2モードとを切り替える。
【0055】
あるいは、モード切替部470は、複数のブロックのうち第1ブロックの露光条件と、第1ブロックに隣接した複数のブロックのそれぞれの露光条件との差の絶対値の最大値が第1の値である第1モードと、最大値が第1の値よりも小さい第2モードとを切り替えてもよい。
【0056】
設定部460による露光条件の設定及び補正処理については後述するが、第1モードでは、画像全体ではなく、隣接するブロック間での差が小さくなるように露光条件が設定されるので、明領域及び暗領域の犠牲を抑制しつつ均等化された露光条件での撮像が可能である。第2モードでは、第1モードよりもさらに均等化された露光条件での撮像が可能である。
【0057】
例えば、モード切替部470は、システム制御部501を介してユーザからの指示を受け、第1モード又は第2モードのいずれかを設定部460に指示する。第1モードにおいて、設定部460は、露光条件の差の最大値が第1の値以下となるようにブロック131毎に露光条件を設定し、設定した露光条件を駆動制御部420に引き渡す。一方、第2モードにおいて、設定部460は、露光条件の差の最大値が第1の値より小さくなるようにブロック131毎に露光条件を設定し、設定した露光条件を駆動制御部420に引き渡す。駆動制御部420は、取得した露光条件に従ってそれぞれの画素を露光させるように、センサ制御部441を制御する。
【0058】
あるいは、モード切替部470は、第1の露光条件を用いる標準モードと、第1の露光条件を補正した第2の露光条件を用いる補正モードとの間で撮像モードを切り替えてもよい。一例として、第1の露光条件とは、設定部460がシーンの輝度分布に応じて初期設定した露光条件であり、第2の露光条件とは、第1の露光条件に補正処理が施された露光条件である。
【0059】
一例としてモード切替部470は、システム制御部501を介してユーザからの指示を受け、標準モード又は補正モードのいずれかを設定部460に指示する。標準モードにおいて、設定部460は、ブロック131毎に露光条件を設定した後、設定された露光条件を補正することなく、駆動制御部420に引き渡す。一方、補正モードにおいて、設定部460は、ブロック131毎に露光条件を設定した後、設定された露光条件を補正し、補正後の露光条件を駆動制御部420に引き渡す。駆動制御部420は、取得した露光条件に従ってそれぞれの画素を露光させるように、センサ制御部441を制御する。
【0060】
図5Bは、撮像素子100の機能的構成を示すブロック図である。ここでは、設定部460が信号処理チップ111に設けられた場合について説明する。
【0061】
設定部460は、
図5Aに示す例と同様に、システム制御部501からシーンの輝度分布を取得し、輝度分布に応じて、ブロック131毎に露光条件を設定する。また設定部460は、メモリ容量、要求されるダイナミックレンジ等の様々な要件に応じて、露光条件を補正する。また設定部460は、それぞれのブロック131の露光時間に応じてシャッタの開閉タイミングを決定する。
【0062】
図5Bに示す例では、モード切替部470も信号処理チップ111に設けられている。モード切替部470は、
図5Aに示す例と同様に、システム制御部501を介してユーザからの指示を受け、標準モード又は補正モードのいずれかを設定部460に指示する。標準モードにおいて、設定部460は、ブロック131毎に露光条件を設定した後、設定された露光条件を補正することなく、駆動制御部420に引き渡す。一方、補正モードにおいて、設定部460は、ブロック131毎に露光条件を設定した後、設定された露光条件を補正し、補正後の露光条件を駆動制御部420に引き渡す。
【0063】
このように、設定部460およびモード切替部470は、メモリチップ112に設けられてもよく、信号処理チップ111に設けられてもよい。
図5Aに示すように、設定部460およびモード切替部470がメモリチップ112に設けられた場合、バンプ109およびTSV110を介して伝送の高速化を図りつつ、信号処理チップ111ではより広いスペースが確保される。
図5Bに示すように、設定部460およびモード切替部470が信号処理チップ111に設けられた場合、各制御部を統括制御する駆動制御部420と同じチップ上にあることから、処理の高速化が実現される。
【0064】
図6は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置500は、撮影光学系としての撮影レンズ520を備え、撮影レンズ520は、光軸Oに沿って入射する被写体光束を撮像素子100へ導く。撮影レンズ520は、撮像装置500に対して着脱できる交換式レンズであっても構わない。撮像装置500は、撮像素子100、システム制御部501、測光部503、ワークメモリ504、記録部505、および表示部506を主に備える。システム制御部501は、ユーザからの指示を受けて、撮像素子100へ送信する撮像指示を生成する撮像指示部の機能を担う。
【0065】
撮影レンズ520は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、
図6では瞳近傍に配置された仮想的な1枚のレンズで代表して表している。上述の通り、撮像素子100の駆動制御部420は、システム制御部501からの指示に従って撮像素子100の露光制御を実行する制御回路である。
【0066】
撮像素子100は、画素信号をシステム制御部501の画像処理部511へ引き渡す。画像処理部511は、ワークメモリ504をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、JPEGファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部505に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部506に表示される。なお、画像処理部511は、システム制御部501とは独立したASICとして構成されても良く、メモリチップ112に設けられてもよい。
【0067】
測光部503は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部503は、例えば100万画素程度のAEセンサを含む。システム制御部501の演算部512は、測光部503の出力を受けてシーンの領域ごとの輝度を算出する。なお、演算部512は、撮像装置500を動作させるための各種演算も実行する。また演算部512は、上述した設定部460の機能を担ってもよい。
【0068】
次に、本実施形態の撮像素子における露光条件の設定及び補正について、図を参照しながら説明する。
【0069】
従来、カメラが一度に撮影できるダイナミックレンジには限りがある。例えば、シーンの明領域に合わせて短い露光時間(「短秒」という場合がある)で撮影すると、画像の暗領域で黒潰れが発生する。逆に、シーンの暗領域に合わせて長い露光時間(「長秒」という場合がある)で撮影すると、画像の明領域で白飛びが発生する。
【0070】
そこで近年、ダイナミックレンジの広い画像を取得するために、複数枚の画像を撮影し、合成するハイダイナミックレンジ技術が用いられている。ハイダイナミックレンジ技術とは、露光条件を変えて複数枚の画像を撮影し、各画像の必要な領域だけを抽出して合成する技術である。これにより、実質的にダイナミックレンジを拡大することができる。
【0071】
しかしながら、シーンの明領域と暗領域とのギャップが大きいと、ダイナミックレンジが広くなりすぎ、メモリがオーバーフローするという問題がある。例えばダイナミックレンジをEV値の差ΔEVとすると、合成に必要な撮影枚数は2ΔEV枚以上となる。
【0072】
[露光条件の設定]
図7は、露光条件の設定処理の一例を示すフロー図である。上述したように、設定部460は、システム制御部501から取得したシーンの輝度分布に従って、ブロック131毎に露光条件を設定する。なお、シーンの輝度分布は、ユーザからの事前撮影指示を受けて算出されてよい。例えば、システム制御部501がシャッタスイッチの押下を検知すると、測光部503が測光処理を実行し、演算部512が測光部503からの出力に基づいてシーンの輝度分布を算出する。
【0073】
処理710において、設定部460は、輝度分布から代表値1を算出する。一例として代表値1は、対象とするブロック131内の画素に対応する輝度の平均値(平均輝度)である。
【0074】
処理720において、設定部460は、輝度分布から代表値2を算出する。一例として代表値2は、対象とするブロック131内の画素に対応する輝度の最大値(最大輝度)である。
【0075】
処理730において、設定部460は、代表値1及び2に応じて、対象とするブロック131の露光条件を設定する。一例として、設定部460は、平均輝度および最大輝度が等しいか否かを判断する。設定部460は、平均輝度および最大輝度が等しいと判断した場合は、平均輝度に対応する露光時間を、対象とするブロック131の露光条件として設定する。設定部460は、最大輝度が平均輝度よりも大きいと判断した場合は、平均輝度に対応する露光時間で、対象とするブロック131内の画素が飽和するか否かを判断する。飽和しないと判断した場合、設定部460は、平均輝度に対応する露光時間を、対象とするブロック131の露光条件として設定する。逆に、飽和すると判断した場合、設定部460は、最大輝度に対応する露光時間を、対象とするブロック131の露光条件として設定する。
【0076】
処理740において、駆動制御部420は、ブロック131毎に設定された露光条件でそれぞれの画素を露光させるようにセンサ制御部441を制御し、画像処理部511は生成した複数の画像を合成する。なお、後述するように、設定部460は、処理740の前に、設定された露光条件を補正し、補正された露光条件を駆動制御部420に引き渡してよい。
【0077】
なお最大輝度は、事前撮影された画像における輝度のヒストグラムにおいて、上位から予め定められた範囲の輝度から算出してもよい。最大輝度及び平均輝度に対応する露光時間は、事前撮影された画像における輝度の最大値及び平均値をそれぞれ目標最大値及び平均値に換算した場合の露光時間であり、以下の式に従って算出してよい。
【数1】
【数2】
【0078】
ここで、I0,Max及びI0,Ave.は、それぞれ事前撮影された画像における輝度の最大値及び平均値であり、t0はその露光時間である。ITarget,Max及びITarget,Ave.は、それぞれ目標最大値及び平均値であり、tMax及びtAve.は、それぞれ目標最大値及び平均値に対応する露光時間である。
【0079】
設定部460は、下記の式の通り、2つの代表値に対応する露光時間のうち短い方、すなわち明領域寄りの露光時間を採用してよい。
【数3】
【0080】
ここでtは、露光条件として設定される露光時間である。ただし、露光時間tAve.を採用するとブロック131内の画素が飽和する場合には、設定部460は暗領域寄りの露光時間であるtMaxを採用してよい。
【0081】
図8は、
図7のフローに従って設定された露光条件で撮影した画像と、他の方法で設定された露光条件で撮影した画像とを比較した図である。上段の(A)は、輝度の平均値のみを使用して露光時間を設定した場合の撮影画像と、その露光時間設定である。下段の(B)は、輝度の平均値及び最大値を使用して露光時間を設定した場合の撮影画像と、その露光時間設定である。いずれの画像も同じシーン、すなわち室内から窓越しに屋外の景色を撮影したものである。なお露光時間設定は、ブロックの色が明るい(白に近い)ほど長秒露光(暗領域重視)であり、暗い(黒に近い)ほど短秒露光(明領域重視)であることを意味する。
【0082】
(A)の撮影画像では、窓枠近傍及び窓に組み付けられた格子が交差する領域(特に、白矢印で示す部分)でブロック境界が目立っている。これは、窓枠及び格子と窓ガラスのような明暗差の大きい領域が1つのブロック131内に含まれる場合に、輝度の平均値のみを使用した露光時間設定では明領域に対応する画素が飽和し、十分に情報が取得できなかったためである。一方で(B)は、このようなブロックでは平均値を採用せず、最大値に対応する露光時間が設定されるため、飽和が生じることなく、(A)のような弊害は見られない。
【0083】
以上のように、ブロック131の露光条件を平均輝度に応じて設定すると、平均値よりも大きい輝度に対応する画素で飽和が生じるおそれがある。そこで平均輝度に対応する露光条件でも飽和が生じない場合にはその露光条件を採用し、飽和が生じる場合にはもう1つの代表値に対応する露光条件を採用する。これにより、ブロック131内における飽和を防止しつつ、適正露光を実現することができる。
【0084】
なお、上述した露光条件の設定処理は、次に説明する露光条件の補正処理を行うベースとなる露光条件を設定するときに実行される。あるいは、上述した露光条件の設定処理は、露光条件の補正処理で設定された露光条件で白飛び又は黒潰れが発生するか否かを判断するために実行され、白飛び等が発生すると判断した場合には、補正処理が繰り返し実行される。
【0085】
[露光条件の補正]
図9は、露光条件の補正処理の一例を示すフロー図である。まず処理910において、設定部460は、上述したようにブロック131毎に露光条件を設定する。
【0086】
設定部460は、それぞれのブロック131における露光条件の差が閾値以下となるように、それぞれのブロックに設定された露光条件を補正する。具体的には、処理920において、設定部460は、それぞれのブロック131の露光条件のヒストグラムを作成する。処理930において、設定部460は、ヒストグラムに応じて上限及び下限を設定する。すなわち、設定部460は、ヒストグラムにおける最大値と最小値との差が閾値以下となるように、それぞれのブロック131に設定された露光条件を補正する。
【0087】
図10は、
図9に示す露光条件の上限及び下限を設定する具体例を示す図である。ここで、露光条件を露光時間TV、閾値TH(最大TVと最小TVとのTV差)を5とする。(1)のヒストグラムHは、初期設定の露光条件のヒストグラムを示し、最大TVは9、最小TVは2である。従ってTV差は7であり、THより大きいので、露光条件を補正する必要がある。
【0088】
設定部460は、最大TVの頻度と最小TVの頻度とを比較する。ここで、最大TVの頻度は最小TVの頻度より小さいので、設定部460は、最大TVを2番目に大きいTVに補正する。つまり、TV9の頻度が2番目に大きいTV8に加算される。このように最大TVのTV9が丸められた結果、(2)のヒストグラムHが得られる。
【0089】
(2)のヒストグラムHでは、最大TVは8、最小TVは2である。従ってTV差は6であり、THより大きいので、露光条件を補正する必要がある。設定部460は、最大TVの頻度と最小TVの頻度とを比較する。ここで、最小TVの頻度は最大TVの頻度より小さいので、設定部460は、最小TVを2番目に小さいTVに補正する。つまり、TV2の頻度が2番目に小さいTV3に加算される。このように最小TVのTV2が丸められた結果、(3)のヒストグラムHが得られる。
【0090】
(3)のヒストグラムHでは、最大TVは7、最小TVは3である。従ってTV差は5であり、THに等しいので、露光条件をこれ以上補正することなく処理は終了する。設定部460は、(3)のヒストグラムHに応じて対応するブロック131の露光条件を補正し、補正された露光条件を駆動制御部420に引き渡す。以後の処理は上述したとおりなので説明を省略する。
【0091】
図11は、
図10の例に従って露光条件の範囲を制限した撮影画像と、他の方法で露光条件の範囲を制限した撮影画像とを比較した図である。(A)は、最大TVを保持しつつ範囲を制限した場合の撮影画像(暗領域重視)、(B)は、最小TVを保持しつつ範囲を制限した場合の撮影画像(明領域重視)、(C)は、
図10の例に従ってTVを制限した撮影画像である。いずれの画像も同じシーン、すなわち室内から窓越しに屋外の景色を撮影したものである。
【0092】
図12は、
図11に示すそれぞれの撮影画像で使用した露光条件のヒストグラムを示す図である。(A)、(B)及び(C)は、元設定(O)のTV範囲3~17に対し、許容差(閾値TH)8TVで制限がかけられている。最大TVを保持した(A)のTV範囲は9~17TVであり、下限9TV未満のTVがカットされている。最小TVを保持(B)のTV範囲は3~11TVであり、上限11TVを超えるTVがカットされている。頻度に応じて制限した(C)のTV範囲は7~15であり、下限7TV未満のTVと、上限15TVを超えるTVがカットされている。
【0093】
再び
図11に戻ると、明領域重視の(B)では窓の外の景色(建物及び樹木)の情報が取得できているのに対し、暗領域重視の(A)では同じ明領域の情報が取得できず、白飛びが発生していることがわかる。一方、(C)では、同じ明領域の情報の情報がある程度取得できている。なお図示していないが、反対に明領域重視の(B)では、暗領域のS/N比が悪化し、黒潰れが発生するおそれがある。
【0094】
このように、露光条件の範囲を単純に制限すると明領域又は暗領域のいずれかを犠牲にすることになるが、露光条件の頻度に応じて範囲を制限することにより、メモリのオーバーフローを防止しつつ、明領域及び暗領域の犠牲を最小限にすることができる。
【0095】
また設定部460は、露光条件をカットした結果、画素信号のデータ量がメモリの容量以下となるように、露光条件の範囲を制限する。また設定部460は、暗領域に対応する露光条件を優先的にカットしてよい。暗領域の情報は、短秒露光であっても少なくとも取得できるので、大量の撮影画像を加算することにより十分な情報を取得することができる。また、長秒の露光条件をカットすることで、撮影時間を短縮することができる。
【0096】
図13は、露光条件の補正処理の他の例を示すフロー図である。なお、
図13の補正処理は、
図9の補正処理に続けて実行されてもよい。
【0097】
処理1310において、設定部460は、ブロック131毎に露光条件を設定する。処理1310は、
図9の処理910と同様であるので、説明を省略する。
図13の補正処理を
図9の補正処理に続けて実行する場合は、
図9の処理930を実行した後で、次に説明する処理1320を実行する。
【0098】
処理1320において、設定部460は、対象ブロック131に対して露光条件の均し処理を実行する。ここで、均し処理とは、隣接するブロック131における露光条件の差が境界閾値以下となるように、それぞれのブロック131に設定された露光条件を補正することを指す。
【0099】
図14は、
図13に示す露光条件の均し処理の具体例を示す図である。(1)は、3×4に配列されたそれぞれのブロック131に、処理1310で設定された露光条件を示す。ここで、露光条件は露光時間TVであり、隣接ブロック間のTV差の閾値(境界閾値)を3とする。
【0100】
設定部460は、配列されたブロック313から均し処理を施される対象ブロックを選択し、対象ブロックの上下左右に隣接する9つのブロック131のうち、上側の3つのブロック131及び左側の1つのブロック131からなるL字型の4つのブロック131を比較ブロックとする。なお、対象ブロックが配列の端に位置する場合には、比較ブロックの数は4未満であってもよい。
【0101】
設定部460は、ブロック配列から順方向に沿って対象ブロックを順次選択し、1回目の均し処理を実行する。ここで順方向は、ブロック配列の上側、左側を起点とする。すなわち、順方向は、最上列左端のブロック131から右端のブロック131に進み、次に、上から2列目の左端のブロック131から右端のブロック131に進み、最後に、最下列の左端のブロック131から右端のブロック131に進む。
【0102】
均し処理の具体的な手順について説明する。設定部460は、対象ブロックのTVと、比較ブロックのTV最小値とを比較する。対象ブロックのTVが比較ブロックのTV最小値より大きく、その差が閾値より大きい場合、設定部460は、差が閾値以下となるように対象ブロックのTVを補正する。
【0103】
例えば、(1)のブロック配列に順方向の均し処理を実行する場合、まず、左上のブロック131(TV10)が対象ブロックとして選択される。ただしこの対象ブロックは比較ブロックを有さないため、設定部460は対象ブロックに均し処理を実行せず、次の対象ブロックに移る。次に対象ブロックとして選択されるのは、最上列左から2番目のブロック131(TV9)である。この対象ブロックは左側に比較ブロック(TV10)を有するので、そのTVが比較ブロックのTV最小値となる。対象ブロックのTV(TV9)<比較ブロックのTV最小値(TV10)であるから、設定部460は対象ブロックに均し処理を実行せず、次の対象ブロックに移る。このように設定部460は、順方向に順次対象ブロックを選択し、TV差に応じて均し処理を実行する。
【0104】
(2)に示すように、右上のブロック131(TV8)が対象ブロックとして選択された場合を考える。この対象ブロックは左側に比較ブロック(TV3)を有するので、そのTVが比較ブロックのTV最小値となる。対象ブロックのTV(TV8)>比較ブロックのTV最小値(TV3)であるから、設定部460は、比較ブロックのTV最小値(TV3)との差が閾値である3以下となるように、対象ブロックのTVを6に補正する。
【0105】
(3)は、順方向に均し処理を実行した結果のブロック配列であり、白抜き文字で示す数値が、補正されたTVである。ただし、最上列の左から2番目のブロック131(TV9)と3番目のブロック131(TV3)のように、隣接するブロックのTV差が閾値を超えた状態のTVがいくつか残されている。
【0106】
順方向に均し処理を実行した後、(4)に示すように、設定部460は、比較ブロックの設定をリセットする。設定部460は、対象ブロックの上下左右に隣接する9つのブロック131のうち、下側の3つのブロック131及び右側の1つのブロック131からなるL字型の4つのブロック131を比較ブロックとする。なお、対象ブロックが配列の端に位置する場合には、比較ブロックの数は4未満であってもよい。
【0107】
設定部460は、ブロック配列から逆方向に沿って対象ブロックを順次選択し、2回目の均し処理を実行する。ここで逆方向は、ブロック配列の下側、右側を起点とする。すなわち、逆方向は、最下列右端のブロック131から左端のブロック131に進み、次に、下から2列目の右端のブロック131から左端のブロック131に進み、最後に、最上列の右端のブロック131から左端のブロック131に進む。(5)に示すように、設定部460は、順方向の均し処理と同様に、対象ブロックのTVを比較ブロックのTV最小値との差に応じて補正する。
【0108】
(6)は、逆方向に均し処理を実行した結果のブロック配列であり、白抜き文字で示す数値が、逆方向の均し処理で補正されたTVである。順方向の均し処理の後で逆方向にも均し処理を実行した結果、全ての隣接するブロック間で、TV差が閾値以下になったことがわかる。
【0109】
S/N比は露光時間の影響を受けるので、隣接ブロック間でS/N比の差が大きいとブロック境界が目立ってしまう。そこで、隣接ブロック間のTV差を均すことで、S/N比は悪化するものの、ブロック境界の目立たない自然な画像を得ることができる。
【0110】
なお閾値は、撮像素子の特性に応じて一意に決定されてもよい。あるいは、S/N比と露光時間との関係を予め把握し、ノイズの算出式から得られたS/N比の差に基づいて、適切な境界閾値が判定されてもよい。
【0111】
再び
図13に戻ると、処理1330において、駆動制御部420は、補正された露光条件でそれぞれの画素を露光させるようにセンサ制御部441を制御し、画像処理部511は生成した複数の画像を合成する。ここで画像処理部511は、ブロック間のS/N比の差を埋めるために、ノイズを削除してもよい。あるいは画像処理部511は、ブロック間のS/N比の差を埋めるために、長秒露光のブロック131にノイズを付加してもよく、又は短秒露光のブロック131からノイズを除去してもよい。
【0112】
さらに、設定部460は、ブロック131内で白飛び又は黒潰れが発生する画素の割合が所定の割合になるように、ブロック131毎の露光条件を設定してよい。例えば、所定の割合は、16×16画素のブロック131に対して、1割以下である。このように、具体的に数値で制御することにより、白飛び又は黒潰れが発生する画素がブロック境界に存在する確率を低減し、ブロック境界の目立たない自然な画像を得ることができる。
【0113】
図15は、
図14の例に従って均し処理を実行する前後の露光条件を比較した図である。(A)は、均し処理を実行する前の露光時間設定と、撮影した画像である。(B)は、均し処理を実行した後の露光時間設定である。被写体は、夜間の高層ビルである。露光時間設定は、ブロックの色の明るい(白に近い)ほど長秒露光(暗領域重視であり)、暗い(黒に近い)ほど短秒露光(明領域重視)であることを意味する。
【0114】
(A)の画像において矢印で示したように、高層ビルの最上階で点灯する航空障害灯の周辺で、隣接するブロックの境界が目立ってしまっている。これは、航空障害灯と背景の夜空との明暗差が大きいために、S/N比の差が大きいことによるものである。(A)の露光時間設定を見ると、航空障害灯の位置に対応するブロックのみが航空障害灯の輝度に影響されて短秒露光となっており、隣接ブロックの露光時間との差が大きいことがわかる。そこで、
図14の例に従って均し処理を施すことで、(B)に示すように、航空障害灯の位置に対応するブロックの露光時間と周辺のブロックの露光時間との差が均され、ブロック境界の目立たない自然な画像を得ることができる。
【0115】
図16は、露光条件の設定処理の変形例を示すフロー図である。処理1610において、設定部460は、明領域に合わせて露光条件を設定する。具体的には、設定部460は、システム制御部501から取得したシーンの輝度分布から明領域に対応する露光条件を取得し、取得した露光条件を全てのブロック131に設定する。
【0116】
なお、明領域に対応する露光条件は、上述したように、輝度分布から最大輝度を取得する方法に従って算出してよい。露光条件の算出にあたっては、手振れ抑制を考慮した最大露光時間を考慮してもよい。
【0117】
処理1620において、設定部460は、取得するダイナミックレンジに応じて撮影枚数を設定する。取得するダイナミックレンジは、ユーザ又は設計者が任意に設定してもよく、あるいは撮影シーンの輝度分布に応じて、システム制御部501が自動的に設定してもよい。なお上述したように、必要な撮影枚数は、ダイナミックレンジをΔEVとすると、2ΔEV枚以上となる。
【0118】
処理1630において、設定部460は、設定された露光条件及び撮影枚数に従って撮影を実行し、処理1640において、画像処理部511は撮影画像を加算して取得画像を合成する。なお、処理1640の前に、画像処理部511は、手振れ等による不正画像の検出及び位置合わせ処理をさらに実行してもよい。不正画像の除外により必要枚数が不足した場合には、画像処理部511から駆動制御部420にフィードバックを送出し、撮影枚数を追加してもよい。
【0119】
このように本例では、それぞれのブロック131にそれぞれの露光条件を設定した
図1~
図15の例と異なり、全てのブロック131に共通の露光条件を設定する。明領域に合わせた露光条件を設定するので白飛びのおそれがなく、暗領域の情報も、大量の画像を加算することによって得ることができる。また、ブロック単位で露光条件を変化させる場合と比べ、撮影及び合成のプロセスが単純化される。また、全てのブロック131に同じ露光条件が設定されるので、手振れ等による位置ずれが原因で露光条件がずれ、情報が適切に取得できなかったことによる画質の劣化を抑制することができる。
【0120】
また、取得した全ての情報を加算するので、無駄がなく、良好なS/N比を得ることができる。さらに、短秒露光での撮影のため、手振れに強く、撮影枚数を増やすだけでダイナミックレンジを拡大することができる。
【0121】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0122】
上記した実施の形態では、設定部460およびモード切替部470が、撮像素子100のメモリチップ112または信号処理チップ111に設けられた例を示したが、撮像素子100とは別の素子、回路または基板に、設定部460およびモード切替部470を設けてもよい。この場合、例えば、各ブロック131における画素の輝度に関する情報等を撮像素子100から設定部460およびモード切替部470にそれぞれ送信し、これに基づいて設定部460が露光条件を設定したり、モード切替部470がモードを切り替えたりし、その結果を設定部460及びモード切替部470から撮像素子100に送信してもよい。
【0123】
設定部460及びモード切替部470は、同一の素子、回路または基板に設けられていてもよく、別の素子、回路または基板に設けられていてもよい。また、設定部460及びモード切替部470が設けられる素子、回路または基板は、撮像装置500以外の装置に設けられていてもよい。
【0124】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
(項目1)
入射光に応じて画素信号を発生させる複数の画素と、
それぞれが少なくとも二つの前記画素を含む複数のブロック毎に露光条件を設定する設定部と
を備え、
前記設定部は、それぞれのブロックにおける露光条件の前記ブロック間での差が閾値以下となるように、それぞれのブロックに露光条件を設定する
撮像素子。
(項目2)
前記設定部は、最大露光条件と最小露光条件との差が前記閾値以下となるように、それぞれのブロックにおける露光条件を設定する
項目1に記載の撮像素子。
(項目3)
前記設定部は、前記最大露光条件及び前記最小露光条件のブロックの出現頻度を比較し、前記最大露光条件の出現頻度が小さい場合は前記最大露光条件をカットし、前記最小露光条件のブロックの出現頻度が小さい場合は前記最小露光条件をカットする
項目2に記載の撮像素子。
(項目4)
前記設定部は、暗領域に対応する露光条件を優先的にカットする
項目3に記載の撮像素子。
(項目5)
前記画素信号を格納するメモリを更に備え、
前記設定部は、前記画素信号のデータ量が前記メモリの容量以下となるように、それぞれのブロックにおける露光条件を設定する
項目2又は3に記載の撮像素子。
(項目6)
前記設定部は、隣接するブロックにおける露光条件の差が前記閾値以下となるように、それぞれのブロックに露光条件を設定する
項目1から5の何れか一項に記載の撮像素子。
(項目7)
前記設定部は、ブロック内の画素に対応する輝度の少なくとも2つの代表値に応じて、前記ブロックに露光条件を設定する
項目1から6の何れか一項に記載の撮像素子。
(項目8)
前記少なくとも2つの代表値は、前記ブロック内の画素に対応する最大輝度及び平均輝度を含み、
前記設定部は、
前記平均輝度に対応する露光時間で前記ブロック内の画素が飽和する場合は、前記最大輝度に対応する露光時間を露光条件として前記ブロックに設定し、
前記平均輝度に対応する露光時間で前記ブロック内の画素が飽和しない場合は、前記平均輝度に対応する露光時間を露光条件として前記ブロックに設定する
項目7に記載の撮像素子。
(項目9)
前記複数のブロックにおける最大露光条件と最小露光条件との差が第1の値である第1モードと、前記差が前記第1の値よりも小さい第2モードとを切り替えるモード切替部を備える
項目1から8の何れか一項に記載の撮像素子。
(項目10)
前記複数のブロックのうち第1ブロックの露光条件と、前記第1ブロックに隣接した複数のブロックのそれぞれの露光条件との差の絶対値の最大値が第1の値である第1モードと、前記最大値が前記第1の値よりも小さい第2モードとを切り替えるモード切替部を備える
項目1から8の何れか一項に記載の撮像素子。
(項目11)
第1の露光条件を用いる標準モードと、前記第1の露光条件を補正した第2の露光条件を用いる補正モードとの間で撮像モードを切り替えるモード切替部を更に備える
項目1から8の何れか一項に記載の撮像素子。
(項目12)
前記複数の画素が設けられた撮像チップと、前記撮像チップに積層され、前記設定部が設けられたチップとを備える
項目1から11の何れか一項に記載の撮像素子。
(項目13)
前記撮像チップと、
前記撮像チップに積層され、前記画素信号を処理する信号処理チップと、
前記信号処理チップに積層され、前記設定部が設けられたチップと、を備える
項目12に記載の撮像素子。
(項目14)
前記撮像チップおよび前記信号処理チップは、それぞれの対向する面と、それぞれの対向する面に設けられた接続部とにより接合されており、
前記信号処理チップおよび前記設定部が設けられたチップは、それぞれの対向する面と、それぞれの対向する面に設けられた接続部および前記信号処理チップに設けられた貫通電極の少なくとも一方とで接続されている
項目13に記載の撮像素子。
(項目15)
さらに、前記画素信号を格納するメモリを有するメモリチップが積層されている
項目12に記載の撮像素子。
(項目16)
入射光に応じて画素信号を発生させる複数の画素と、
それぞれが少なくとも二つの前記画素を含む複数のブロック毎に露光条件を設定する設定部と
を備え、
前記設定部は、ブロック内の画素に対応する輝度の少なくとも2つの代表値に基づいて、前記ブロックに露光条件を設定する
撮像素子。
(項目17)
項目1から16の何れか一項に記載の撮像素子を備える撮像装置。
(項目18)
入射光に応じて画素信号を発生させる複数の画素を有する撮像素子と、
それぞれが少なくとも二つの前記画素を含む複数のブロック毎に露光条件を設定する設定部と、
を備え、
前記設定部は、それぞれのブロックにおける露光条件の前記ブロック間での差が閾値以下となるように、それぞれのブロックに露光条件を設定する装置。
【符号の説明】
【0125】
100 撮像素子、101 マイクロレンズ、102 カラーフィルタ、103 パッシベーション膜、104 PD、105 トランジスタ、106 PD層、107 配線、108 配線層、109 バンプ、110 TSV、111 信号処理チップ、112 メモリチップ、113 撮像チップ、131 ブロック、302 転送トランジスタ、303 リセットトランジスタ、304 増幅トランジスタ、305 選択トランジスタ、306 リセット配線、307 TX配線、308 デコーダ配線、309 出力配線、310 Vdd配線、311 負荷電流源、411 マルチプレクサ、412 信号処理回路、413 デマルチプレクサ、414 画素メモリ、415 演算回路、420 駆動制御部、441 センサ制御部、443 同期制御部、444 信号制御部、460 設定部、470 モード切替部、500 撮像装置、501 システム制御部、503 測光部、504 ワークメモリ、505 記録部、506 表示部、511 画像処理部、512 演算部