IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】撮像素子および撮像装置
(51)【国際特許分類】
   H04N 25/633 20230101AFI20231108BHJP
   H04N 25/533 20230101ALI20231108BHJP
【FI】
H04N25/633
H04N25/533
【請求項の数】 8
(21)【出願番号】P 2021511781
(86)(22)【出願日】2019-03-29
(86)【国際出願番号】 JP2019014391
(87)【国際公開番号】W WO2020202409
(87)【国際公開日】2020-10-08
【審査請求日】2022-02-24
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】▲高▼橋 昌也
(72)【発明者】
【氏名】森岡 優
【審査官】鈴木 明
(56)【参考文献】
【文献】国際公開第2018/020857(WO,A1)
【文献】特開2017-118342(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/00-25/79
(57)【特許請求の範囲】
【請求項1】
光学系からの光を受光し電荷に変換する第1光電変換部と前記第1光電変換部に接続される第1回路部とを含み、第1方向と前記第1方向と交差する第2方向とに配列された複数の第1画素と、前記複数の第1画素に接続され、前記複数の第1画素を制御する信号が出力される第1制御線と、前記複数の第1画素に接続され、前記複数の第1画素で生成された信号を出力する第1出力線と、を有する撮像領域と、
遮光された第2光電変換部と前記第2光電変換部に接続される第2回路部とを含み、前記第1方向と前記第2方向とに配列された複数の第2画素と、前記複数の第2画素に接続され前記第2画素を制御する信号が出力される第2制御線と、前記複数の第2画素に接続され、前記複数の第2画素で生成された信号を出力する、前記第1出力線と異なる第2出力線と、を有する複数の遮光画素領域と、を備え、
前記遮光画素領域は、前記撮像領域が有する前記第1制御線に接続された、前記撮像領域が有するすべての前記第1画素内含される領域の外側に配置され、
前記撮像領域を複数有し、複数の前記撮像領域の各々に異なる制御条件が設定可能な撮像画素領域と、
前記複数の遮光画素領域の各々に参照元の撮像領域と同一の制御条件が設定可能な光学的黒画素領域と、
を有する撮像素子。
【請求項2】
請求項1に記載の撮像素子であって、
前記撮像画素領域には、前記複数の撮像領域に2種類以上の制御条件が設定可能であり、
前記光学的黒画素領域には、前記複数の遮光画素領域に2種類以上の制御条件が設定可能である、
撮像素子。
【請求項3】
請求項2に記載の撮像素子であって、
前記参照元の撮像領域と、前記参照元の撮像領域に参照される参照先の遮光画素領域と、は、所定方向に配列されている、撮像素子。
【請求項4】
請求項3に記載の撮像素子であって、
前記所定方向は、前記参照元の撮像領域および前記参照先の遮光画素領域を構成する画素群からの出力信号の読出し方向である、撮像素子。
【請求項5】
請求項3に記載の撮像素子であって、
前記所定方向は、前記参照元の撮像領域および前記参照先の遮光画素領域を構成する画素群からの出力信号の読出し方向に直交する方向である、撮像素子。
【請求項6】
請求項1から5のいずれか一つに記載の撮像素子であって、
前記遮光画素領域は、各々光電変換素子を有する第1光学的黒画素群と、各々前記光電変換素子を有しない第2光学的黒画素群と、を有する、撮像素子。
【請求項7】
光学系からの光を受光し電荷に変換する第1光電変換部と前記第1光電変換部に接続される第1回路部とを含み、第1方向と前記第1方向と交差する第2方向とに配列された複数の第1画素と、前記複数の第1画素に接続され、前記複数の第1画素を制御する信号が出力される第1制御線と、を有する撮像領域と、
遮光された第2光電変換部と前記第2光電変換部に接続される第2回路部とを含み、前記第1方向と前記第2方向とに配列された複数の第2画素と、前記複数の第2画素に接続され前記第2画素を制御する信号が出力される第2制御線と、を有する複数の遮光画素領域と、を備え、
前記遮光画素領域は、前記撮像領域が有する前記第1制御線に接続された、前記撮像領域が有するすべての前記第1画素を内含し、かつ、外縁が最短の長さになるように特定される閉領域の外側に配置され、各々光電変換素子を有する第1光学的黒画素群と、各々前記光電変換素子を有しない第2光学的黒画素群と、を有し、
隣接する第1遮光画素領域および第2遮光画素領域において、前記第1遮光画素領域および前記第2遮光画素領域が互いに隣接しあう第1部分領域が、前記第1光学的黒画素群または前記第2光学的黒画素群のいずれか一方の光学的黒画素群であり、前記第1遮光画素領域および前記第2遮光画素領域のうち前記第1部分領域以外の第2部分領域が、他方の光学的黒画素群である、撮像素子。
【請求項8】
請求項1から7のいずれか一つに記載の撮像素子と、
前記遮光画素領域からの出力に基づいて、前記撮像領域の出力について黒レベル補正する信号処理部と、
を有する撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【0002】
特許文献1は、フォトダイオードが配置されたオプチカルブラック領域と、フォトダイオードが配置されていないオプチカルブラック領域とを有する電荷結合素子を開示する。しかしながら、特許文献1の電荷結合素子は、異なる制御条件が設定された複数の画素領域については考慮されていない。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2006‐303856号公報
【発明の概要】
【0004】
撮像素子は、光学系からの光を受光し電荷に変換する第1光電変換部と前記第1光電変換部に接続される第1回路部とを含み、第1方向と前記第1方向と交差する第2方向とに配列された複数の第1画素と、前記複数の第1画素に接続され、前記複数の第1画素を制御する信号が出力される第1制御線と、前記複数の第1画素に接続され、前記複数の第1画素で生成された信号を出力する第1出力線と、を有する撮像領域と、遮光された第2光電変換部と前記第2光電変換部に接続される第2回路部とを含み、前記第1方向と前記第2方向とに配列された複数の第2画素と、前記複数の第2画素に接続され前記第2画素を制御する信号が出力される第2制御線と、前記複数の第2画素に接続され、前記複数の第2画素で生成された信号を出力する、前記第1出力線と異なる第2出力線と、を有する複数の遮光画素領域と、を備え、前記遮光画素領域は、前記撮像領域が有する前記第1制御線に接続された、前記撮像領域が有するすべての前記第1画素内含される領域の外側に配置され、前記撮像領域を複数有し、複数の前記撮像領域の各々に異なる制御条件が設定可能な撮像画素領域と、前記複数の遮光画素領域の各々に参照元の撮像領域と同一の制御条件が設定可能な光学的黒画素領域と、を有する
【図面の簡単な説明】
【0005】
図1図1は、積層型撮像素子の断面図である。
図2図2は、撮像チップの画素配列を説明する図である。
図3図3は、撮像チップの回路図である。
図4図4は、撮像素子の構成例を示すブロック図である。
図5図5は、電子機器のブロック構成例を示す説明図である。
図6図6は、撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係1を示す説明図である。
図7図7は、行方向における撮像画素領域と光学的黒画素領域の回路構成を示す回路図である。
図8図8は、列方向における撮像画素領域と光学的黒画素領域の回路構成を示す回路図である。
図9図9は、ブロックの動作を示すタイミングチャートである。
図10図10は、撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係2を示す説明図である。
図11図11は、撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係3を示す説明図である。
図12図12は、PD有り光学的黒画素の他の例を示すブロック図である。
図13図13は、実施例2にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係を示す説明図である。
図14図14は、実施例2にかかる補正テーブルの一例を示す説明図である。
図15図15は、列方向における撮像画素領域と光学的黒画素領域の回路構成を示す回路図である。
図16図16は、実施例3にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係1を示す説明図である。
図17図17は、実施例3にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係2を示す説明図である。
図18図18は、実施例4にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係を示す説明図である。
図19図19は、実施例4にかかる補正テーブルの一例を示す説明図である。
図20図20は、行方向における撮像画素領域と光学的黒画素領域の回路構成を示す回路図である。
図21図21は、実施例5にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係1を示す説明図である。
図22図22は、実施例5にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係2を示す説明図である。
図23図23は、実施例6にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係1を示す説明図である。
図24図24は、実施例6にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係2を示す説明図である。
図25図25は、実施例6にかかる補正テーブルの一例を示す説明図である。
図26図26は、撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係を示す説明図である。
図27図27は、実施例7にかかる補正テーブルの一例を示す説明図である。
【発明を実施するための形態】
【0006】
<撮像素子の構成例>
本明細書の実施例に示す電子機器に搭載される撮像素子は積層型撮像素子である。この積層型撮像素子は、複数の異なる撮像領域ごとに異なる撮像条件(制御条件)が設定可能である。初めに、複数の異なる撮像領域ごとに異なる撮像条件(制御条件)が設定可能な積層型撮像素子の構造について説明する。なお、この積層型撮像素子は、本願出願人が先に出願した特願2012-139026号に記載されているものである。電子機器は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置である。
【0007】
図1は、積層型撮像素子100の断面図である。積層型撮像素子(以下、単に、「撮像素子」)100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ(以下、単に、「撮像チップ」)113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cuなどの導電性を有するバンプ109により互いに電気的に接続される。
【0008】
なお、図1に示すように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸120に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸120を基準として、それぞれの図の向きがわかるように座標軸120を表示する。
【0009】
撮像チップ113の一例は、裏面照射型のMOS(Metal Oxide Semiconductor)イメージセンサである。PD(フォトダイオード)層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD104、および、PD104に対応して設けられたトランジスタ105を有する。
【0010】
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が、一つの画素を形成する。
【0011】
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
【0012】
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0013】
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧などされることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
【0014】
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧などされることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
【0015】
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、たとえば、後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
【0016】
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。
【0017】
図2は、撮像チップ113の画素配列を説明する図である。特に、撮像チップ113を裏面側から観察した様子を示す。(a)は、撮像チップ113の裏面である撮像面200を模式的に示す平面図であり、(b)は、撮像面200の一部領域200aを拡大した平面図である。(b)に示すように、撮像面200には、画素201が二次元状に多数配列されている。
【0018】
画素201は、それぞれ不図示の色フィルタを有している。色フィルタは、赤(R)、緑(G)、青(B)の3種類からなり、(b)における「R」、「G」、および「B」という表記は、画素201が有する色フィルタの種類を表している。(b)に示すように、撮像素子100の撮像面200には、このような各色フィルタを備えた画素201が、いわゆるベイヤー配列に従って配列されている。
【0019】
赤フィルタを有する画素201は、入射光のうち、赤色の波長帯の光を光電変換して受光信号(光電変換信号)を出力する。同様に、緑フィルタを有する画素201は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する画素201は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
【0020】
撮像素子100は、隣接する2画素×2画素の計4つの画素201から成るブロック202ごとに、個別に制御可能に構成されている。たとえば、互いに異なる2つのブロック202について、同時に電荷蓄積を開始したときに、一方のブロック202では電荷蓄積開始から1/30秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方のブロック202では電荷蓄積開始から1/15秒後に電荷の読み出しを行うことができる。換言すると、撮像素子100は、1回の撮像において、ブロック202ごとに異なる露光時間(電荷蓄積時間であり、いわゆるシャッタースピード)を設定することができる。
【0021】
撮像素子100は、上述した露光時間以外にも、撮像信号の増幅率(いわゆるISO感度)をブロック202ごとに異ならせることが可能である。撮像素子100は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングをブロック202ごとに変化させることができる。すなわち、撮像素子100は、動画撮像時のフレームレートをブロック202ごとに変化させることができる。
【0022】
以上をまとめると、撮像素子100は、ブロック202ごとに、露光時間、増幅率、フレームレートなどの撮像条件(制御条件)を異ならせることが可能に構成されている。たとえば、画素201が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、ブロック202ごとに設けられ、ブロック202ごとに独立して撮像信号を読み出し可能に構成すれば、ブロック202ごとに露光時間(シャッタースピード)を異ならせることができる。
【0023】
また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路をブロック202ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、ブロック202ごとに信号の増幅率(ISO感度)を異ならせることができる。
【0024】
また、ブロック202ごとに異ならせることが可能な撮像条件(制御条件)は、上述した撮像条件(制御条件)のほか、フレームレート、ゲイン、解像度(間引き率)、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数などである。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
【0025】
また、撮像条件(制御条件)は、たとえば、ブロック202ごとに独立して制御可能な区画(1区画が1つのブロック202に対応する)を有する液晶パネルを撮像素子100に設け、オンオフ可能な減光フィルタとして利用すれば、ブロック202ごとに明るさ(絞り値)を制御することが可能になる。
【0026】
なお、ブロック202を構成する画素201の数は、上述した2×2の4画素でなくてもよい。ブロック202は、少なくとも2個以上の画素201を有していればよいし、逆に、4個より多くの画素201を有していてもよい。
【0027】
図3は、撮像チップ113の回路図である。図3において、代表的に点線で囲む矩形が、1つの画素201に対応する回路を表す。また、一点鎖線で囲む矩形が1つのブロック202(202-1~202-4)に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
【0028】
上述したように、画素201のリセットトランジスタ303は、ブロック202単位でオン/オフされる。また、画素201の転送トランジスタ302も、ブロック202単位でオン/オフされる。図3に示す例において、左上ブロック202-1に対応する4つのリセットトランジスタ303をオン/オフするためのリセット配線300-1が設けられており、同ブロック202-1に対応する4つの転送トランジスタ302に転送パルスを供給するためのTX配線307-1も設けられる。
【0029】
同様に、左下ブロック202-3に対応する4つのリセットトランジスタ303をオン/オフするためのリセット配線300-3が、上記リセット配線300-1とは別個に設けられる。また、同ブロック202-3に対応する4つの転送トランジスタ302に転送パルスを供給するためのTX配線307-3が、上記TX配線307-1と別個に設けられる。
【0030】
右上ブロック202-2や右下ブロック202-4についても同様に、それぞれリセット配線300-2とTX配線307-2、およびリセット配線300-4とTX配線307-4が、それぞれのブロック202に設けられている。
【0031】
各画素201に対応する16個のPD104は、それぞれ対応する転送トランジスタ302に接続される。各転送トランジスタ302のゲートには、上記ブロック202ごとのTX配線を介して転送パルスが供給される。各転送トランジスタ302のドレインは、対応するリセットトランジスタ303のソースに接続されるとともに、転送トランジスタ302のドレインとリセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFDが、対応する増幅トランジスタ304のゲートに接続される。
【0032】
各リセットトランジスタ303のドレインは、電源電圧が供給されるVdd配線310に共通に接続される。各リセットトランジスタ303のゲートには、上記ブロック202ごとのリセット配線を介してリセットパルスが供給される。
【0033】
各増幅トランジスタ304のドレインは、電源電圧が供給されるVdd配線310に共通に接続される。また、各増幅トランジスタ304のソースは、対応する選択トランジスタ305のドレインに接続される。各選択トランジスタ305のゲートには、選択パルスが供給されるデコーダ配線308に接続される。デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。
【0034】
そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
【0035】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック202ごとのリセット配線を通じてリセットパルスがリセットトランジスタ303に印加され、同時に上記ブロック202(202-1~202-4)ごとのTX配線を通じて転送パルスが転送トランジスタ302に印加されると、上記ブロック202ごとに、PD104およびフローティングディフュージョンFDの電位がリセットされる。
【0036】
各PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。
【0037】
そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304および選択トランジスタ305を介して出力配線309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
【0038】
上述したように、ブロック202を形成する4画素に対して、リセット配線とTX配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック202内の4画素に対して同時に印加される。したがって、あるブロック202を形成するすべての画素201は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309から出力される。
【0039】
このように、ブロック202ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック202間では、異なったタイミングで撮像することができる。
【0040】
図4は、撮像素子100の構成例を示すブロック図である。アナログのマルチプレクサ411は、ブロック202を形成する16個のPD104を順番に選択して、それぞれの画素信号を当該ブロック202に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。
【0041】
マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)やアナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。
【0042】
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では4つのブロック202の分の接続を示すが、実際にはこれらが4つのブロック202ごとに存在して、並列で動作する。
【0043】
ただし、演算回路415は4つのブロック202ごとに存在しなくてもよく、たとえば、一つの演算回路415がそれぞれの4つのブロック202に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
【0044】
上記の通り、ブロック202のそれぞれに対応して出力配線309が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0045】
<電子機器のブロック構成例>
図5は、電子機器のブロック構成例を示す説明図である。電子機器500は、たとえば、レンズ一体型のカメラである。電子機器500は、撮像光学系501と、撮像素子100と、制御部502と、液晶モニタ503と、メモリカード504と、操作部505と、DRAM506と、フラッシュメモリ507と、録音部508とを備える。制御部502は、後述するように手ブレや被写体ブレを検出する検出部を含む。
【0046】
撮像光学系501は、複数のレンズから構成され、撮像素子100の撮像面200に被写体像を結像させる。なお、図5では、便宜上、撮像光学系501を1枚のレンズとして図示している。
【0047】
撮像素子100は、たとえば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子であり、撮像光学系501により結像された被写体像を撮像して撮像信号を出力する。制御部502は、電子機器500の各部を制御する電子回路であり、プログラムを実行するプロセッサ、画像処理回路のような周辺回路、加速度センサのような各種センサを含む。
【0048】
不揮発性の記憶媒体であるフラッシュメモリ507には、予め所定の制御プログラムが書き込まれている。制御部502のプロセッサは、フラッシュメモリ507から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるDRAM506を作業用領域として使用する。
【0049】
液晶モニタ503は、液晶パネルを利用した表示装置である。制御部502は、所定周期(たとえば60分の1秒)ごとに撮像素子100に繰り返し被写体像を撮像させる。そして、撮像素子100から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ503に表示する。液晶モニタ503には、上記のスルー画以外に、たとえば撮像条件(制御条件)を設定する設定画面などが表示される。
【0050】
制御部502は、撮像素子100から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード504に画像ファイルを記録する。操作部505は、プッシュボタンなどの種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部502に操作信号を出力する。
【0051】
録音部508は、たとえば、マイクロフォンにより構成され、環境音を音声信号に変換して制御部502に入力する。なお、制御部502は、可搬性の記録媒体であるメモリカード504に動画ファイルを記録するのではなく、電子機器500に内蔵されたSSD(Solid State Drive)やハードディスクのような不図示の記録媒体に記録してもよい。
【0052】
上記図1図5までは、以下に示す各実施例に共通する部分について説明した。これから、各実施例にかかる撮像素子および撮像装置について説明する。
【実施例1】
【0053】
実施例1は、光学的黒画素領域内の非撮像領域の数が、撮像画素領域内の撮像領域の数以上であり、非撮像領域が撮像画素領域とは異なる位置に配置されている構成を備える。
【0054】
<撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係>
つぎに、実施例1にかかる撮像画素領域の制御条件、光学的黒画素領域の制御条件、および、撮像画素領域と光学的黒画素領域の配置について図6図10図11を用いて説明する。図10および図11では、図6との相違点に着目して説明するため、図6と同一箇所については説明を省略する。
【0055】
図6は、実施例1にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係1を示す説明図である。図6では、x方向を行方向、y方向を列方向とする。図2で示した撮像面200は、撮像画素領域600と、光学的黒画素領域610と、を有する。ここで、撮像画素領域600とは、入射光に応じた電荷を蓄積する複数のPD104等を有する撮像画素6が2次元状に配列された領域である。光学的黒画素とは、撮像画素領域に配置された画素と同じ構造であるが、PD104が遮光された画素である。光学的黒画素領域610とは、たとえば、光学的黒画素が1次元または2次元状に配列された領域である。
【0056】
撮像領域は、たとえば、1以上のブロック202の集合である。図6では、説明を単純化するため、撮像画素領域600は、2行2列の撮像領域600-11、600-12、600-21、600-22により構成される。ただし、撮像画素領域600は、2行2列以外のm行n列(m、nは、1以上の整数。ただし撮像領域600は2個以上)により構成されてもよい。撮像領域600-11、600-12、600-21、600-22を区別しない場合、撮像領域600-ijと表記する。各撮像領域600-ijは、他の撮像領域600-ijと異なる制御条件で制御することが可能である。
【0057】
光学的黒画素領域610は、被写体を撮像しない複数の非撮像領域610-L1~610-L4、610-C1~610-C4により構成される。各非撮像領域610-L1~610-L4、610-C1~610-C4は、たとえば、後述するPD無し光学的黒画素群とPD有り光学的黒画素群のすくなとも一方を備える。
【0058】
各非撮像領域610-L1~610-L4、610-C1~610-C4のPD無し光学的黒画素群またはPD有り光学的黒画素群は、たとえば、図3を用いて説明したブロック202と同様に、各画素が2次元状に配置された構成を備える。PD無し光学的黒画素群またはPD有り光学的黒画素群は、非撮像領域610-L1~610-L4、610-C1~610-C4ごとに、異なる制御条件で制御することが可能な構成を備える。
【0059】
ここで、各実施例において、PD無し光学的黒画素群を備える非撮像領域については、遮光画素領域とも称する。複数の非撮像領域610-L1~610-L4は列方向に存在する非撮像領域群である。列方向に存在する非撮像領域群を区別しない場合は、非撮像領域610-Lpと表記する。複数の非撮像領域610-C1~610-C4は行方向に存在する非撮像領域群である。
【0060】
行方向に存在する非撮像領域群を区別しない場合は、非撮像領域610-Cqと表記する。複数の非撮像領域610-L1~610-L4、610-C1~610-C4を区別しない場合、非撮像領域610-pqと表記する。1つの非撮像領域610-pqは、PD有り光学的黒画素群およびPD無し光学的黒画素群を含む。
【0061】
光学的黒画素領域610は、撮像画素領域600の外部に隣接する。図6では、例として、光学的黒画素領域610は、撮像画素領域600の右端および下端に設けられる。光学的黒画素領域610の配置位置は、撮像画素領域600の上端、下端、右端および左端の少なくともいずれか1つでよい。
【0062】
光学的黒画素領域610は、PD有り光学的黒画素群と、PD無し光学的黒画素群と、を有する。PD有り光学的黒画素群とは、PD有り光学的黒画素の集合である。PD有り光学的黒画素は、PD104を有する黒画素である。具体的には、たとえば、PD有り光学的黒画素は、被写体光の入射を遮る遮光層を有する画素である。
【0063】
PD無し光学的黒画素群とは、PD無し光学的黒画素の集合である。PD無し光学的黒画素は、PD104を有しない黒画素である。PD有り光学的黒画素からの出力またはPD無し光学的黒画素からの出力信号を、撮像画素からの出力信号から減算することにより、黒レベル補正が実行され、暗電流成分等のノイズが除去される。
【0064】
また、非撮像領域610-pqの数は、撮像領域600-ijの数以上有する。図6では、非撮像領域610-pqの数は8個であり、撮像領域600-ijの数は4個である。
【0065】
また、非撮像領域610-Cqは、2行2列で配置されている。非撮像領域610-C1,610-C3は、列方向に配列されており、非撮像領域610-C1のPD無し光学的黒画素群と、非撮像領域610-C3のPD無し光学的黒画素群と、が隣接する。同様に、非撮像領域610-C2,610-C4は、列方向に配列されており、非撮像領域610-C2のPD無し光学的黒画素群と、非撮像領域610-C4のPD無し光学的黒画素群と、が隣接する。このように、非撮像領域610-CqのPD無し光学的黒画素群は分離されていないため、PD無し光学的黒画素群の配列数を削減でき、製造コストの低減化を図ることができる。
【0066】
<撮像画素領域600と光学的黒画素領域610の回路構成>
図7は、実施例1にかかる行方向における撮像画素領域600と光学的黒画素領域610の回路構成を示す回路図である。図8は、実施例1にかかる列方向における撮像画素領域600と光学的黒画素領域610の回路構成を示す回路図である。図7および図8において、撮像画素領域600の画素201を撮像画素201-1とし、光学的黒画素領域610の画素201を、PD有り光学的黒画素201-2、PD無し光学的黒画素201-3とする。
【0067】
画素201は、転送トランジスタ302と、リセットトランジスタ303と、増幅トランジスタ304と、選択トランジスタ305と、フローティングディフュージョンFDと、を有する。撮像画素201-1は、さらに、赤(R)、G(緑)、または青(B)のカラーフィルタ102と、PD104と、を有する。PD有り光学的黒画素201-2は、さらに、遮光層700と、PD104と、を有する。PD無し光学的黒画素201-3は、フィルタもPD104も有しない。
【0068】
撮像画素201-1は、カラーフィルタ102を介して入射した光の光量に応じて電荷を生成する。一方、PD有り光学的黒画素201-2は、遮光層700を有するので、入射した光の光量に応じては電荷を生成しないが、熱雑音に相当する電荷を生成する。
【0069】
撮像画素201-1およびPD有り光学的黒画素201-2の転送トランジスタ302は、そのゲートに駆動回路711からの制御信号TX_C、TX_O1が与えられると、PD104に蓄積された電荷をフローティングディフュージョンFDに転送する。PD無し光学的黒画素201-3の転送トランジスタ302は、そのゲートに駆動回路711からの制御信号TX_O2が与えられても、PD104に起因する電荷は発生しない。
【0070】
リセットトランジスタ303は、そのゲートに駆動回路711からの制御信号RSTが与えられると、フローティングディフュージョンFDの電位をVddとほぼ同じ電位にする。たとえば、リセットトランジスタ303は、フローティングディフュージョンFDに蓄積された電子を排除する。
【0071】
選択トランジスタ305は、そのゲートに駆動回路711からの制御信号SEL_C、SEL_O1,SEL_O2が与えられると、増幅トランジスタ304が増幅した電圧で電流を列読出し線701~703に出力する。図8の列読出し線701-1~701-4は、図7の列読出し線701に相当する。
【0072】
列読出し線701からは、PD104で生成された電荷に応じた画素信号が出力される。列読出し線702からは、熱雑音に相当する電圧レベルに応じた信号が出力される。列読出し線703からは、基準となる黒レベルに応じた信号が出力される。列読出し線701~703は、図示しないCDS回路およびAD変換回路等を介して、信号処理部710に接続される。
【0073】
信号処理部710は、撮像画素201-1において光電変換された電荷量に対応する信号を入力する。信号処理部710は、PD有り光学的黒画素201-2において検出された熱雑音に対応する信号を入力する。信号処理部710は、PD無し光学的黒画素201-3からの信号を、撮像画素201-1の黒レベルの基準にする。
【0074】
信号処理部710は、撮像画素201-1からの出力信号から、PD有り光学的黒画素201-2からの出力信号またはPD無し光学的黒画素201-3からの出力信号を減算することにより、黒レベル補正を実行する。これにより、暗電流等のノイズが除去される。なお、信号処理部710は、回路により実現されてもよく、メモリに記憶されたプログラムをプロセッサが実行することにより実現されてもよい。
【0075】
駆動回路711(図8では図示省略)は、転送トランジスタ302、リセットトランジスタ303および選択トランジスタ305の各ゲートへ信号パルスとなる制御信号TX,RST,SELを供給する。これにより、転送トランジスタ302、リセットトランジスタ303および選択トランジスタ305はオン状態になる。
【0076】
制御部712(図8では図示省略)は、駆動回路711を制御する。制御部712は、転送トランジスタ302、リセットトランジスタ303および選択トランジスタ305の各ゲートへのパルスタイミングを制御することにより、転送トランジスタ302、リセットトランジスタ303および選択トランジスタ305を制御する。また、制御部712は、信号処理部710の動作を制御する。
【0077】
<ブロック202の動作を示すタイミングチャート>
図9は、実施例1にかかるブロック202の動作を示すタイミングチャートである。駆動回路711は、1つのブロック202において、転送トランジスタ302およびリセットトランジスタ303を、同じタイミングで制御する。ただし、同じ分光特性のカラーフィルタ102が設けられた画素201に関しては、駆動回路711は、画素201毎にタイミングをずらして選択トランジスタ305から画素信号を出力させる。
【0078】
たとえば、駆動回路711は、時刻t2において1つのブロック202の各リセットトランジスタ303(RST)をオンにする。これにより、各増幅トランジスタ304のゲートの電位がリセットされる。駆動回路711は、時刻t2から時刻t5までの間、各リセットトランジスタ303(RST)をオンの状態に保つ。
【0079】
駆動回路711は、時刻t3において、1つのブロック202におけるすべての転送トランジスタ302をオンにする。これにより、まず、ブロック202に存在するPD104に蓄積されていた電荷がリセットされる。
【0080】
駆動回路711は、時刻t5において、各リセットトランジスタ303(RST)をオフにする。その後、駆動回路711は、時刻t7において、1つのブロック202におけるすべての転送トランジスタ302を再びオンにする。これにより、1つのブロック202に存在するPD104に蓄積された電荷が、各々対応するフローティングディフュージョンFDにそれぞれ転送される。
【0081】
時刻t3から時刻t7の期間において、1つのブロック202内のPD104を有する画素201は、電荷を蓄積する。すなわち、時刻t3から時刻t7の期間がPD104を有する画素201の電荷蓄積期間となる。
【0082】
駆動回路711は、時刻t8以降、転送トランジスタ302を順次オンにする。本例では、時刻t8において、1つのブロック202におけるPD104に蓄積された電荷が、たとえば、列読出し線701~703にそれぞれ転送される。
【0083】
また、時刻t9において、他のブロック202における他のPD104に蓄積された電荷が列読出し線701~703にそれぞれ転送される。当該転送動作は、1つのブロック202内の画素201ごとに実行される。これにより、1つのブロック202に含まれる各画素201の画素信号が、それぞれ列読出し線701~703へ出力される。
【0084】
図6に戻り、撮像領域600-ijと非撮像領域610-pqの位置関係について説明する。前述のとおり、各撮像領域600-ijは、撮像画素6が2次元状に配列された構成を備える。各撮像領域600-ijの撮像画素6は、たとえば、図2を用いて説明したブロック202と同様の構成を備え、撮像領域600-ijごとに、異なる制御条件で制御することが可能である。
【0085】
ここで、各撮像領域600-ijが有する制御線(TX配線307等)に接続された、撮像領域600-ijが有するすべての撮像画素6を内含し、かつ、外縁が最短の長さになるように特定される閉領域60を考える。非撮像領域610-pqは、この閉領域60の外側に位置する。このような構成を備えることにより、各撮像領域600-ijの内側に撮像画素6を一様に配置することが可能となる。したがって、所謂欠陥画素が生じることなく、各撮像領域600-ijの撮像画素6で生成する画像について高い品質を確保することが可能となる。
【0086】
つぎに、撮像画素領域600および光学的黒画素領域610に設定される制御条件および、黒レベル補正について説明する。各撮像領域600-ijには制御条件が設定される。たとえば、撮像領域600-11,600-21には制御条件Aが設定され、撮像領域600-12,600-22には制御条件Bが設定される。同様に、非撮像領域610-L1,610-L3,610-C1,610-C3には制御条件Aが設定され、非撮像領域610-C2,610-L4,610-C2,610-C4には制御条件Bが設定される。
【0087】
制御条件A,Bは互いに異なる制御条件である。具体的には、たとえば、制御条件Aが露光時間で制御条件BがISO感度であれば、制御条件A,Bは互いに種類が異なる制御条件である。また、制御条件Aが露光時間:1/4秒で制御条件Bが露光時間:1/250秒であれば、制御条件A,Bは互いに同種の異なる制御条件である。
【0088】
両端黒丸の点線は、行方向において、黒丸が位置する撮像領域600-ijと非撮像領域610-pqとが、黒レベル補正において対応することを示す。黒丸が位置する撮像領域600-ijを、黒レベル補正の「参照元撮像領域600-ij」、黒丸が位置する非撮像領域610-pqを、黒レベル補正の「参照先非撮像領域610-pq」と称す(後述の両端黒丸の一点鎖線も同様)。
【0089】
行方向に配列された画素群は、行選択回路またはブロック202単位で同一タイミングで選択されて、画素信号を出力する。したがって、参照元撮像領域600-ijと参照先非撮像領域610-pqとは、暗電流等に関する相関性があると考えられる。このため、参照元撮像領域600-ijからの出力信号を黒レベル補正する場合、参照元撮像領域600-ijからの出力信号を、参照先非撮像領域610-pqの出力信号を用いて減算することにより、参照元撮像領域600-ijに応じた高精度な黒レベル補正が可能となる。
【0090】
また、両端黒丸の一点鎖線は、列方向において、黒丸が位置する撮像領域600-ijと非撮像領域610-pqとが、黒レベル補正において対応することを示す。列方向に配列された画素群は、共通の列読出し線に接続されて各々アナログ信号を出力し、共通のA/D変換器でデジタル信号に変換される。
【0091】
したがって、参照元撮像領域600-ijと参照先非撮像領域610-pqとは、暗電流等に関する相関性があると考えられる。このため、参照元撮像領域600-ijからの出力信号を黒レベル補正する場合、参照元撮像領域600-ijからの出力信号を、参照先非撮像領域610-pqからの出力信号を用いて減算することにより、参照元撮像領域600-ijに応じた高精度な黒レベル補正が可能となる。
【0092】
上述したように、非撮像領域610-pqの数は、撮像領域600-ijの数以上有する。したがって、1つの撮像領域600-ijは、1以上の非撮像領域610-pqと、黒レベル補正において対応することができる。なお、黒レベル補正において、撮像領域600-ijに対し、行方向および列方向のいずれの方向の非撮像領域610-pqの出力信号を用いるかは、あらかじめ設定されてもよく、また、各撮像領域600-ijと各非撮像領域610-pqの制御条件に応じて設定してもよい。または、撮像領域600-ijに対し、行方向および列方向の両方向の非撮像領域610-pqの出力信号のうち、大きい方、小さい方、または平均値を採用してもよい。
【0093】
また、上述した例では、「参照元撮像領域600-ij」と「参照先非撮像領域610-pq」とが、行選択回路またはブロック202単位で同一タイミングで選択される、または、共通のA/D変換器でデジタル信号に変換される例を示したがこれに限られない。たとえば、「参照元撮像領域600-ij」と「参照先非撮像領域610-pq」とが、行選択回路またはブロック202単位で同一タイミングで選択されず、共通のA/D変換器でデジタル信号に変換されない構成であってもよい。
【0094】
このような構成であっても、「参照元撮像領域600-ij」と「参照先非撮像領域610-pq」とが、同じ制御条件で制御されることにより、「参照元撮像領域600-ij」と「参照先非撮像領域610-pq」とで暗電流等に関する相関性が生じるため、参照元撮像領域600-ijからの出力信号を、参照先非撮像領域610-pqからの出力信号を用いて減算することにより、参照元撮像領域600-ijに応じた高精度な黒レベル補正が可能となる。
【0095】
図10は、実施例1にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係2を示す説明図である。図10も、図6と同等、非撮像領域610の数が撮像領域600の数以上存在する例である。図10では、図6に示した非撮像領域610-C2,610-L4,610-C2,610-C4に替え、非撮像領域610-C5,610-L6,610-C7,610-C8が行方向に配列された構成を示す。
【0096】
非撮像領域610-C5,610-L6には制御条件Aが設定され、非撮像領域610-C7,610-L8には制御条件Bが設定される。参照元撮像領域600-ijと参照先非撮像領域610-pqとの対応関係は、図6と同様、両端黒丸点線および両端黒丸一点鎖線で示した通りである。非撮像領域610-C5,610-L6,610-C7,610-C8が行方向に1行だけ配列されているため、図6に比べて、撮像画素領域600の面積を大きくすることができる。
【0097】
図11は、実施例1にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係3を示す説明図である。図11も、図6と同等、非撮像領域610の数が撮像領域600の数以上存在する例である。図11では、撮像領域600-11には制御条件Aが設定され、撮像領域600-12には制御条件Bが設定され、撮像領域600-21には制御条件Cが設定され、撮像領域600-22には制御条件Dが設定される。
【0098】
また、図11では、図6に示した非撮像領域610-C2,610-L4,610-C2,610-C4に替え、非撮像領域610-C5,610-L6,610-C7,610-C8が行方向に配列された構成を示す。非撮像領域610-C5には制御条件Aが設定され、非撮像領域610-L6には制御条件Cが設定され、非撮像領域610-C5には制御条件Bが設定され、非撮像領域610-C8には制御条件Dが設定される。
【0099】
また、非撮像領域610-L1には制御条件Aが設定され、非撮像領域610-L2には制御条件Bが設定され、非撮像領域610-L3には制御条件Cが設定され、非撮像領域610-L4には制御条件Dが設定される。
【0100】
制御条件A~Dは、互いに異なる制御条件である。また、参照元撮像領域600-ijと参照先非撮像領域610-pqとの対応関係は、図6と同様、両端黒丸点線および両端黒丸一点鎖線で示した通りである。
【0101】
非撮像領域610-C5,610-L6,610-C7,610-C8が行方向に1行だけ配列されているため、図6に比べて、撮像画素領域600の面積を大きくすることができる。また、異なる制御条件の数は、最大で撮像領域の数まで設定可能である。図6図10図11では、撮像領域600の数がいずれも4個であるが、図6および図10では、異なる制御条件の数は、A,Bの2個である。
【0102】
これに対し、図11では、異なる制御条件として、A~Dの4個が設定される。このように、撮像領域600の数に比例して制御条件の数を設定することが可能である。したがって、様々な制御条件を組み合わせることができ、撮影の自由度の向上を図ることができる。
【0103】
<PD有り光学的黒画素201-2の他の例>
図12は、実施例1にかかるPD有り光学的黒画素201-2の他の例を示すブロック図である。PD有り光学的黒画素201-4は、PD104の出力がPD104の入力に接続される。なお、PD104および転送トランジスタ302の間と接地とが短絡される点以外は、図7および図8に示した構成と同様である。
【0104】
したがって、PD104には光電変換に起因する電荷は基本的には蓄積されない。なお、仮にPD104に蓄積されたとしても、当該電荷は画素信号として読み出されることは無いが、暗電流等に起因する電荷がフローティングディフュージョンFDに蓄積されることになる。
【0105】
以上説明したように、実施例1によれば、撮像画素領域600の撮像領域600-ijの各々について、相関性のある撮像画素領域600外の非撮像領域610-pqを用いて黒レベル補正を実行することが可能となる。したがって、撮像領域600-ijの各々について黒レベル補正の高精度化を図ることができる。
【0106】
また、各撮像領域600-ijが有する制御線(TX配線307等)に接続された、撮像領域600-ijが有するすべての撮像画素6を内含し、かつ、外縁が最短の長さになるように特定される閉領域60を考える。非撮像領域610-pqは、この閉領域60の外側に位置する。これにより、各撮像領域600-ijの内側に撮像画素6を一様に配置することが可能となる。したがって、所謂欠陥画素が生じることなく、各撮像領域600-ijの撮像画素6で生成する画像について高い品質を確保することが可能となる。
【実施例2】
【0107】
実施例2は、後述する光学的黒画素領域内の非撮像領域の数が、撮像画素領域内の撮像領域の数よりも少ないという関係である。実施例1と同一構成には同一符号を付し、その説明を省略する。
【0108】
<撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係>
図13は、実施例2にかかる撮像画素領域600の制御条件と光学的黒画素領域の制御条件との関係を示す説明図である。光学的黒画素領域610は、被写体を撮像しない複数の非撮像領域610-L1~610-L2により構成される。複数の非撮像領域610-L1~610-L2は列方向に存在する非撮像領域群である。非撮像領域群を区別しない場合は、非撮像領域610-Lpと表記する。
【0109】
光学的黒画素領域610は、撮像画素領域600の外部に隣接する。図13では、例として、撮像画素領域600の右端に設けられる。光学的黒画素領域610の配置位置は、撮像画素領域600の右端および左端の少なくともいずれか1つでよい。また、非撮像領域610-Lpの数は、撮像領域600-ijの数より少ない。図13では、非撮像領域610-Lpの数は2個であり、撮像領域600-ijの数は4個である。
【0110】
つぎに、撮像画素領域600および光学的黒画素領域610に設定される制御条件について説明する。各撮像領域600-ijには制御条件が設定される。たとえば、撮像領域600-11,600-12には制御条件Aが設定され、撮像領域600-21,600-22には制御条件Bが設定される。同様に、非撮像領域610-L1には制御条件Aが設定され、非撮像領域610-L2には制御条件Bが設定される。
【0111】
図6と同様に、両端黒丸の点線は、行方向において、黒丸が位置する撮像領域600-ijと非撮像領域610-pqとが、黒レベル補正において対応することを示す。黒丸が位置する撮像領域600-ijを、黒レベル補正の「参照元撮像領域600-ij」、黒丸が位置する非撮像領域610-pqを、黒レベル補正の「参照先非撮像領域610-pq」と称す(後述の両端黒丸の一点鎖線も同様)。
【0112】
行方向に配列された画素群は、行選択回路またはブロック202単位で同一タイミングで選択されて、画素信号を出力する。したがって、参照元撮像領域600-ijと参照先非撮像領域610-Lpとは、暗電流等に関する相関性があると考えられる。このため、参照元撮像領域600-ijからの出力信号を黒レベル補正する場合、参照元撮像領域600-ijからの出力信号を、参照先非撮像領域610-Lpからの出力信号を用いて減算することにより、参照元撮像領域600-ijに応じて黒レベル補正が可能となる。
【0113】
上述したように、非撮像領域610-Lpの数は、撮像領域600-ijの数よりも少ない。したがって、1つの撮像領域600-ijは、1以上の非撮像領域610-Lpと、黒レベル補正において対応することができる。また、黒レベル補正は行ごとに実行されたが、領域毎に実行されてもよい。すなわち、非撮像領域610-L1の信号の出力を平均した値により、撮像領域600-11の各信号レベルを補正することとしてもよい。
【0114】
<補正テーブル>
図14は、実施例2にかかる補正テーブルの一例を示す説明図である。補正テーブル1400は、参照元撮像領域1401、参照元制御条件1402、参照先非撮像領域1403、および参照先制御条件1404の組み合わせごとに相関値1405が設定されたテーブルである。参照元撮像領域1401には、値として、参照元撮像領域600-ijが記憶される。参照元制御条件1402には、値として、参照元撮像領域600-ijの制御条件が記憶される。参照先非撮像領域1403には、値として、参照元撮像領域600-ijの参照先となる非撮像領域610-Lpが記憶される。参照先制御条件1404には、値として非撮像領域610-Lpの制御条件が記憶される。
【0115】
相関値1405には、値として、参照元制御条件1402が設定された参照元撮像領域1401と、参照先制御条件1404が設定された参照先非撮像領域1403との相関関係を示す値(相関値r(ijX,LpY)。Xは参照元制御条件1402、Yは参照先制御条件1404。)が記憶される。
【0116】
なお、相関値r(ijX,LpY)を単に相関値rを称する場合もある。相関値rは、1.0に近いほど、参照元撮像領域1401と参照先非撮像領域1403との相関が高いことを示し、1.0から離れるほど、参照元撮像領域1401と参照先非撮像領域1403との相関が低いことを示す。
【0117】
ここで、参照先非撮像領域610-LpにおけるPD有り光学的黒画素からの出力またはPD無し光学的黒画素からの出力をQ、補正後のノイズ成分をPとする。PとQとの関係は、下記式(1)により表現される。
【0118】
P=r×Q+b・・・(1)
【0119】
bは任意に設定される調整値であり、撮像素子100ごとに決まる値である。上記式(1)を用いた計算は、たとえば、後述する信号処理部810で実行される。
【0120】
相関値rは、参照元撮像領域1401と参照先非撮像領域1403とが同一行であれば1.0に近い値となる傾向にある。たとえば、図13において、参照元撮像領域1401が撮像領域600-11の場合、参照先非撮像領域1403が非撮像領域610-L1であれば、参照先非撮像領域1403が非撮像領域610-L2の場合に比べて、相関値rは1.0に近い値となる。同一行であれば、同一タイミングで列読出し線で読み出されるからである。
【0121】
また、相関値rは、参照元撮像領域1401と参照先非撮像領域1403とが近接するほど1.0に近い値となる傾向にある。たとえば、図13において、参照元撮像領域1401が撮像領域600-12の場合、参照先非撮像領域1403が非撮像領域610-L1であれば、参照元撮像領域1401が撮像領域600-11の場合に比べて、相関値rは1.0に近い値となる。画素位置が近いほど、それらの特性が類似すると考えられるからである。
【0122】
また、相関値rは、参照元制御条件1402と参照先制御条件1404と同じであると1.0に近い値となる。具体的には、たとえば、参照元制御条件1402と参照先制御条件1404とが同種でかつ値が異なる制御条件の場合、参照元制御条件1402と参照先制御条件1404とが異種の場合に比べて、相関値rは1.0に近い値になる。制御条件が同種であれば、参照元撮像領域1401の動作条件と参照先非撮像領域1403の動作条件とが同じであるからである。
【0123】
なお、相関値rを用いたノイズ成分の補正対象は、参照先非撮像領域1403と隣接していない参照元撮像領域1401に制限してもよい。たとえば、参照先非撮像領域1403が非撮像領域610-L1である場合、参照元撮像領域1401は撮像領域600-11になる。この場合、撮像領域600-12は、撮像領域610-L1に隣接しているため、参照元撮像領域1401に設定されない。これにより、補正対象撮像領域が制限されるため、補正テーブル1400のデータが小さくなる。
【0124】
<撮像画素領域600と光学的黒画素領域610の回路構成>
図15は、列方向における撮像画素領域600と光学的黒画素領域610の回路構成を示す回路図である。行方向における撮像画素領域600と光学的黒画素領域610の回路構成については図11と同一である。図11および図15において、撮像画素領域600の画素201を撮像画素201-1とし、光学的黒画素領域610の画素201を、PD有り光学的黒画素201-2、PD無し光学的黒画素201-3とする。
【0125】
選択トランジスタ305は、そのゲートに駆動回路811からの制御信号SEL_C、SEL_O1,SEL_O2が与えられると、増幅トランジスタ304が増幅した電圧で電流を列読出し線701~703に出力する。図15の列読出し線1503-1~1503-4は、図9の列読出し線703に相当する。
【0126】
以上説明したように、実施例2によれば、撮像画素領域600の撮像領域600-ijの各々について、撮像領域600-ijと相関性のある非撮像領域610-Lpを用いて黒レベル補正を実行することが可能となる。したがって、撮像領域600-ijの各々について黒レベル補正の高精度化を図ることができる。
【実施例3】
【0127】
実施例3について説明する。実施例2では、同一行に同一制御条件が設定された撮像素子を示したが、実施例3では、同一行に異なる制御条件が設定された撮像素子を示す。実施例1および実施例2と同一構成には同一符号を付し、その説明を省略する。
【0128】
図16は、実施例3にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係1を示す説明図である。図17は、実施例3にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係2を示す説明図である。図16および図17も、図13と同等、非撮像領域610の数が撮像領域600の数よりも少ない例である。
【0129】
図16では、撮像領域600-12および非撮像領域610-L1には制御条件Bが設定され、撮像領域600-22および非撮像領域610-L2には制御条件Aが設定される。
【0130】
図13との相違点は、図13では、撮像領域600-11の参照先非撮像領域1403である非撮像領域610-L1の制御条件がAであるのに対し、図16では、非撮像領域610-L1の制御条件がAではなくBである点である。同様に、図13では、撮像領域600-21の参照先非撮像領域1403である非撮像領域610-L2の制御条件がAであるのに対し、図16では、非撮像領域610-L2の制御条件がBではなくAである点である。
【0131】
また、図17では、撮像領域600-12および非撮像領域610-L1には制御条件Bが設定され、撮像領域600-21には制御条件Cが設定され、撮像領域600-22および非撮像領域610-L2には制御条件Dが設定される。
【0132】
図13との相違点は、図13では、撮像領域600-11の参照先非撮像領域1403である非撮像領域610-L1の制御条件がAであるのに対し、図17では、非撮像領域610-L1の制御条件がAではなくBである点である。同様に、図13では、撮像領域600-21の参照先非撮像領域1403である非撮像領域610-L2の制御条件がAであるのに対し、図17では非撮像領域610-L2の制御条件がAではなくDである点である。
【0133】
このような場合でも、相関値rを適切に設定することにより、信号処理部810は、上記式(1)を用いて黒レベル補正を高精度に算出することができる。
【0134】
以上説明したように、実施例3によれば、撮像画素領域600の撮像領域600-ijの各々について、相関性のある撮像画素領域600外の非撮像領域610-Lqを用いて黒レベル補正を実行することが可能となる。したがって、撮像領域600-ijの各々について黒レベル補正の高精度化を図ることができる。
【実施例4】
【0135】
実施例4について説明する。実施例2では、同一行に同一制御条件が設定された撮像素子を示したが、実施例4では、同一列に同一制御条件が設定された撮像素子を示す。実施例1~実施例3と同一構成には同一符号を付し、その説明を省略する。
【0136】
<撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係>
図18は、実施例4にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係を示す説明図である。光学的黒画素領域610は、被写体を撮像しない複数の非撮像領域610-C1~610-C2により構成される。複数の非撮像領域610-C1~610-C2は列方向に存在する非撮像領域群である。非撮像領域群を区別しない場合は、非撮像領域610-Cqと表記する。
【0137】
光学的黒画素領域610は、撮像画素領域600の外部に隣接する。図18では、例として、撮像画素領域600の下端側に設けられる。光学的黒画素領域610の配置位置は、撮像画素領域600の上端側および下端側の少なくともいずれか1つでよい。
【0138】
また、非撮像領域610-Cqの数は、撮像領域600-ijの数より少ない。図18では、非撮像領域610-Cqの数は2個であり、撮像領域600-ijの数は4個である。
【0139】
つぎに、撮像画素領域600および光学的黒画素領域610に設定される制御条件について説明する。各撮像領域600-ijには制御条件が設定される。たとえば、撮像領域600-11,600-21には制御条件Aが設定され、撮像領域600-12,600-22には制御条件Bが設定される。同様に、非撮像領域610-C1には制御条件Aが設定され、非撮像領域610-C2には制御条件Bが設定される。
【0140】
両端黒丸の点線は、行方向において、黒丸が位置する撮像領域600-ijと非撮像領域610-pqとが、黒レベル補正において対応することを示す。黒丸が位置する撮像領域600-ijを、黒レベル補正の「参照元撮像領域600-ij」、黒丸が位置する非撮像領域610-pqを、黒レベル補正の「参照先非撮像領域610-pq」と称す(後述の両端黒丸の一点鎖線も同様)。
【0141】
列方向に配列された画素群は、共通の列読出し線に接続されて各々アナログ信号を出力し、共通のA/D変換器でデジタル信号に変換される。したがって、参照元撮像領域600-ijと参照先非撮像領域610-Cqとは、暗電流等に関する相関性がある(高い)と考えられる。このため、参照元撮像領域600-ijからの出力信号を黒レベル補正する場合、参照元撮像領域600-ijからの出力信号を、参照先非撮像領域610-Cqの出力信号で減算することにより、参照元撮像領域600-ijに応じた高精度な黒レベル補正が可能となる。
【0142】
上述したように、非撮像領域610-Cqの数は、撮像領域600-ijの数よりも少ない。したがって、1つの撮像領域600-ijは、1以上の非撮像領域610-Cqと、黒レベル補正において対応することができる。
【0143】
<補正テーブル>
図19は、実施例4にかかる補正テーブルの一例を示す説明図である。補正テーブル1900は、参照元撮像領域1401、参照元制御条件1402、参照先非撮像領域1403、および参照先制御条件1404の組み合わせごとに相関値1405が設定されたテーブルである。参照先非撮像領域1403には、値として、参照元撮像領域600-ijの参照先となる非撮像領域610-Cqが記憶される。参照先制御条件1404には、値として非撮像領域610-Cqの制御条件が記憶される。
【0144】
相関値1405には、値として、参照元制御条件1402が設定された参照元撮像領域1401と、参照先制御条件1404が設定された参照先非撮像領域1403との相関関係を示す値(相関値r(ijX,CqY)。Xは参照元制御条件1402、Yは参照先制御条件1404。)が記憶される。
【0145】
なお、相関値r(ijX,CqY)を単に相関値rを称する場合もある。相関値rは、1.0に近いほど、参照元撮像領域1401と参照先非撮像領域1403との相関が高いことを示し、1.0から離れるほど、参照元撮像領域1401と参照先非撮像領域1403との相関が低いことを示す。
【0146】
ここで、参照先非撮像領域610-CqにおけるPD有り光学的黒画素からの出力または、PD無し光学的黒画素からの出力をQ、補正後のノイズ成分をPとする。PとQとの関係は、上記式(1)により表現される。
【0147】
相関値rは、参照元撮像領域1401と参照先非撮像領域1403とが同一列であると1.0に近い値となる。たとえば、図18において、参照元撮像領域1401が撮像領域600-11の場合、参照先非撮像領域1403が非撮像領域610-C1であれば、参照先非撮像領域1403が非撮像領域610-C2の場合に比べて、相関値rは1.0に近い値となる。同一列であれば、同一の列読出し線で読み出されるからである。
【0148】
また、相関値rは、参照元撮像領域1401と参照先非撮像領域1403とが近接するほど1.0に近い値となる。たとえば、図18において、参照元撮像領域1401が撮像領域600-21の場合、参照先非撮像領域1403が非撮像領域610-C1であれば、参照元撮像領域1401が撮像領域600-11の場合に比べて、相関値rは1.0に近い値となる。画素位置が近いほど、それらの特性が類似すると考えられるからである。
【0149】
なお、相関値rを用いたノイズ成分の補正対象は、参照先非撮像領域1403と隣接していない参照元撮像領域1401に制限してもよい。たとえば、参照先非撮像領域1403が非撮像領域610-C1である場合、参照元撮像領域1401は撮像領域600-11になる。
【0150】
この場合、撮像領域600-21は、撮像領域610-C1に隣接しているため、参照元撮像領域1401に設定されない。これにより、補正対象撮像領域が制限されるため、補正テーブル1900のデータ小さくなる。
【0151】
<撮像画素領域600と光学的黒画素領域610の回路構成>
図20は、行方向における撮像画素領域600と光学的黒画素領域610の回路構成を示す回路図である。列方向における撮像画素領域600と光学的黒画素領域610の回路構成は、図10と同一である。
【0152】
選択トランジスタ305は、そのゲートに駆動回路811からの制御信号SEL_C、SEL_O1,SEL_O2が与えられると、増幅トランジスタ304が増幅した電圧で電流を列読出し線701~703に出力する。図10の列読出し線701-1~701-4は、図20の列読出し線702、703に相当する。
【0153】
以上説明したように、実施例4によれば、撮像画素領域600の撮像領域600-ijの各々について、相関性のある撮像画素領域600外の非撮像領域610-Cqを用いて黒レベル補正を実行することが可能となる。したがって、撮像領域600-ijの各々について黒レベル補正の高精度化を図ることができる。
【実施例5】
【0154】
実施例5について説明する。実施例4では、同一列に同一制御条件が設定された撮像素子を示したが、実施例5では、同一列に異なる制御条件が設定された撮像素子を示す。実施例1~4と同一構成には同一符号を付し、その説明を省略する。
【0155】
図21は、実施例5にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係1を示す説明図である。図22は、実施例5にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係2を示す説明図である。図21および図22も、図18と同等、非撮像領域610の数が撮像領域600の数よりも少ない例である。
【0156】
図21では、撮像領域600-21および非撮像領域610-C1には制御条件Bが設定され、撮像領域600-22および非撮像領域610-C2には制御条件Aが設定される。
【0157】
図18との相違点は、図18では、撮像領域600-11の参照先非撮像領域1403である非撮像領域610-C1の制御条件がAであるのに対し、図21では、非撮像領域610-C1の制御条件がAではなくBである点である。同様に、図18では、撮像領域600-12の参照先非撮像領域1403である非撮像領域610-C2の制御条件がBであるのに対し、図21では、非撮像領域610-C2の制御条件がBではなくAである点である。
【0158】
また、図22では、撮像領域600-21および非撮像領域610-C1には制御条件Bが設定され、撮像領域600-12には制御条件Cが設定され、撮像領域600-22および非撮像領域610-C2には制御条件Dが設定される。
【0159】
図18との相違点は、図18では、撮像領域600-11の参照先非撮像領域1403である非撮像領域610-C1の制御条件がAであるのに対し、図22では、非撮像領域610-C1の制御条件がAではなくBである点である。同様に、図18では、撮像領域600-12の参照先非撮像領域1403である非撮像領域610-C2の制御条件がBであるのに対し、図22では、非撮像領域610-C2の制御条件がBではなくDである点である。
【0160】
このような場合でも、相関値rを適切に設定することにより、信号処理部810は、上記式(1)を用いて黒レベル補正を高精度に行うことができる。
【0161】
以上説明したように、実施例5によれば、撮像画素領域600の撮像領域600-ijの各々について、相関性のある撮像画素領域600外の非撮像領域610-Cqを用いて黒レベル補正を実行することが可能となる。したがって、撮像領域600-ijの各々について黒レベル補正の高精度化を図ることができる。
【実施例6】
【0162】
実施例6は、後述する光学的黒画素領域内の非撮像領域の数が、撮像画素領域内の撮像領域の数よりも少ないという関係である。実施例1~5と同一構成には同一符号を付し、その説明を省略する。
【0163】
<撮像画素領域600の制御条件と光学的黒画素領域610の制御条件との関係>
実施例6にかかる撮像画素領域600の制御条件と光学的黒画素領域610の制御条件との関係について図23図24を用いて説明する。この関係は、光学的黒画素領域610は、撮像画素領域600内に設けられ、かつ、光学的黒画素領域610内の非撮像領域の数が、撮像画素領域600内の撮像領域の数より少ないという関係である。図24では、図23との相違点に着目して説明するため、図23と同一箇所については説明を省略する。
【0164】
図23は、実施例6にかかる撮像画素領域600の制御条件と光学的黒画素領域の制御条件との関係1を示す説明図である。撮像領域は、たとえば、1以上のブロック202の集合である。図23では、説明を単純化するため、撮像画素領域600は、4行4列の撮像領域600-11~600-14、600-21~600-24、600-31~600-34、600-41~600-44により構成される。ただし、撮像画素領域600は、4行4列以外のm行n列(m、nは、1以上の整数。ただし撮像領域600は2個以上)により構成されてもよい。撮像領域600-11~600-14、600-21~600-24、600-31~600-34、600-41~600-44を区別しない場合、撮像領域600-ijと表記する。
【0165】
光学的黒画素領域610は、被写体を撮像しない複数の非撮像領域610-11、610-13、610-22、610-24、610-31、610-33、610-42、610-44により構成される。非撮像領域610-11、610-134、610-122、610-24、610-31、610-33、610-42、610-44を区別しない場合、非撮像領域610-ijと表記する。非撮像領域610-ijは、i行j列に存在する撮像領域600-ijに設けられる。
【0166】
撮像領域600-ijと非撮像領域610-ijの位置関係について詳細に説明する。前述のとおり、各撮像領域600-ijは、撮像画素6が2次元状に配列された構成を備える。各撮像領域600-ijの撮像画素6は、たとえば、図2を用いて説明したブロック202と同様の構成を備え、撮像領域600-ijごとに、異なる制御条件で制御することが可能である。実施例6に示す構成においては、非撮像領域610-ijが内部に配置された撮像領域600-ijと、非撮像領域610-ijが内部に配置されていない撮像領域600-ijと、を備える。
【0167】
図23に示す構成において、撮像領域600-11が有する制御線(TX配線307等)に接続された、撮像領域600-11が有するすべての撮像画素6を内含し、かつ、外縁が最短の長さになるように特定される閉領域60を考える。この場合、閉領域60の内側に非撮像領域610-11が配置されている。また、図23に示す構成において、撮像領域600-12が有する制御線(TX配線307等)に接続された、撮像領域600-121が有するすべての撮像画素6を内含し、かつ、外縁が最短の長さになるように特定される閉領域60を考える。この場合、閉領域60の内側には非撮像領域610-ijが配置されていない。
【0168】
このように、図23に示す構成は、非撮像領域610-ijが内部に配置された撮像領域(撮像領域600-11、撮像領域600-13、撮像領域600-22等)と、非撮像領域610-ijが内部に配置されていない撮像領域(撮像領域600-12、撮像領域600-14、撮像領域600-21等)とを備える。
【0169】
このような構成を備えることにより、非撮像領域610-ijが内部に配置された撮像領域600-ijにおいては、「参照元撮像領域600-ij」と「参照先非撮像領域610-pq」とで暗電流等に関する強い相関性によって高精度な黒レベル補正が実行される。そして、非撮像領域610-ijが内部に配置されていない撮像領域600-ijにおいては、隣接する撮像領域600-ij内に配置された非撮像領域610-ijの出力信号を用いて黒レベル補正が実行される。これにより、所謂欠陥画素が生じない。したがって、撮像領域600-ijの撮像画素6で生成する画像について高い品質を確保することが可能となる。
【0170】
図23に示すように、光学的黒画素領域610を含む撮像領域600-ijは、離散的に配置される。光学的黒画素領域610を含む撮像領域600-ijは、たとえば、千鳥状に配置される。光学的黒画素領域610は、たとえば、撮像画素領域600内で千鳥状に配置される。非撮像領域610-ijを含む撮像領域の数が、撮像領域600-ijの数より少なければ、千鳥配置に限定されない。
【0171】
1つの非撮像領域610-ijは、PD有り光学的黒画素群およびPD無し光学的黒画素群を含む。光学的黒画素領域610は、PD有り光学的黒画素群と、PD無し光学的黒画素群と、を有する。また、非撮像領域610-ijを含む撮像領域の数は、撮像領域600-ijの数より少ない。図23では、非撮像領域610-ijの数は8個であり、撮像領域600-ijの数は16個である。
【0172】
つぎに、撮像画素領域600および光学的黒画素領域610に設定される制御条件について説明する。各撮像領域600-ijおよび各非撮像領域610-ijには制御条件が設定される。非撮像領域610-ijの制御条件は、非撮像領域610-ijを含む撮像領域600-ijの制御条件と同一である。たとえば、非撮像領域610-11の制御条件はBであり、非撮像領域610-11を含む撮像領域600-11の制御条件もBである。
【0173】
また、両端黒丸の点線では表記していないが、非撮像領域610-ijは、非撮像領域610-ijを含む撮像領域600-ijを「参照元撮像領域600-ij」とする。したがって、たとえば、非撮像領域610-11は、非撮像領域610-11を含む撮像領域600-11の参照先撮像領域であり、かつ、非撮像領域610-11を含まない撮像領域600-12の参照先撮像領域でもある。
【0174】
行方向に配列された画素群は、行選択回路またはブロック202単位で同一タイミングで選択されて、画素信号を出力する。したがって、参照元撮像領域600-ijと参照先非撮像領域610-ijとは、暗電流等に関する相関性があると考えられる。このため、参照元撮像領域600-ijからの出力信号を黒レベル補正する場合、参照元撮像領域600-ijからの出力信号を、参照先非撮像領域610-ijからの出力信号で減算することにより、参照元撮像領域600-ijに応じた高精度な黒レベル補正が可能となる。
【0175】
また、両端黒丸の一点鎖線は、列方向において、黒丸が位置する撮像領域600-ijが非撮像領域610-ijの制御条件を参照することを示す。また、両端黒丸の一点鎖線では表記していないが、非撮像領域610-ijは、非撮像領域610-ijを含む撮像領域600-ijを「参照元撮像領域600-ij」とする。したがって、たとえば、非撮像領域610-31は、非撮像領域610-31を含む撮像領域600-31の参照先撮像領域であり、かつ、非撮像領域610-31を含まない撮像領域600-21の参照先撮像領域でもある。
【0176】
列方向に配列された画素群は、共通の列読出し線に接続されてブロック202単位で各々アナログ信号を出力し、共通のA/D変換器でデジタル信号に変換される。したがって、参照元撮像領域600-ijと参照先非撮像領域610-ijとは、暗電流等に関する相関性があると考えられる。このため、参照元撮像領域600-ijからの出力信号を黒レベル補正する場合、参照元撮像領域600-ijからの出力信号を、参照先非撮像領域610-ijからの出力信号を用いて減算することにより、参照元撮像領域600-ijに応じた高精度な黒レベル補正が可能となる。
【0177】
上述したように、非撮像領域610-ijの数は、撮像領域600-ijの数よりも少ない。したがって、1つの非撮像領域610-ijは、1以上の撮像領域600-ijと、黒レベル補正において対応することができる。なお、撮像領域600-ijに対し、行方向および列方向のいずれの方向の非撮像領域610-ijを参照先にするかは、あらかじめ設定されてもよく、また、各撮像領域600-ijと各非撮像領域610-pqの制御条件に応じて設定してもよい。または、撮像領域600-ijに対し、行方向および列方向の両方向の非撮像領域610-pqの出力信号のうち、大きい方、小さい方、または平均値を採用してもよい。
【0178】
また、非撮像領域600-ijを撮像領域600-ij内に設けたことにより、光学的黒画素領域を撮像画素領域600の外側に配置しなくてもよいため、撮像素子が大きくなることを防ぐことができる。また、光学的黒画素領域を撮像画素領域600の外側に配置しなくてもよいため、その分撮像画素領域600の面積を拡大することができる。
【0179】
図24は、実施例6にかかる撮像画素領域600の制御条件と光学的黒画素領域610の制御条件との関係2を示す説明図である。図24も、図23と同様、非撮像領域610-ijの数が撮像領域600-ijの数以上存在する例である。図24では、撮像画素領域600の中央に位置する4つの撮像領域600-22,600-23,600-32,600-33に、非撮像領域610-ijが設けられていない。
【0180】
その理由は、撮像画素領域600の中央では、主要被写体像が映りこんだり、また、主要被写体を合焦する像面位相差検出画素が周囲の撮像領域600-11~600-14、600-21,600-24、600-31,600-34、600-41~600-44よりも多く存在したりするからである。
【0181】
非撮像領域610-ijは、画像を生成する上では欠陥画素となるため、補間が必要となり、画質が劣化する可能性が高くなる。そのため、主要被写体が存在する可能性が高いと考えられる中央領域付近には、非撮像領域610-ijを配置しないか、中央領域よりも外側に配置する非撮像領域610-ijを、中央領域に配置する非撮像領域610-ijよりも多くすることとしてもよい。また、中央領域から外側に離間するにつれて、非撮像領域610-ijが多くなるようにしてもよい。
【0182】
なお、非撮像領域610-ijは、撮像画素領域600の端辺(撮像領域600-ijの外側)、または、撮像画素領域600の中央よりも端辺に近い撮像領域600-ijに設けてもよい。また、撮像画素領域600の中央に限らず、非撮像領域610-ijは、撮像画素領域600のうち像面位相差検出画素の画素数が所定数以下の撮像領域600-ijに設けてもよく、撮像画素領域600のうち像面位相差検出画素の画素数が相対的に少ない撮像領域600-ijに設けてもよい。
【0183】
<撮像画素領域600と光学的黒画素領域610の回路構成>
行方向における撮像画素領域600と光学的黒画素領域610の回路構成は、図9に示した通りであり、列方向における撮像画素領域600と光学的黒画素領域610の回路構成は、図10に示した通りである。
【0184】
なお、信号処理部710は、PD無し光学的黒画素201-3の周囲に存在する撮像画素201-1から出力される信号を用いて、PD無し光学的黒画素201-3の位置における信号を補間してもよい。信号処理部710が用いる補間方法は、メジアン処理による補間方法、勾配に基づく補間方法、または、適応型カラーブレーン補間(Adaptive Color Plane Interpolation)法を用いてよい。また、像面位相差検出画素についても同様である。
【0185】
<補正テーブル>
図25は、実施例6にかかる補正テーブルの一例を示す説明図である。補正テーブル2500は、参照元撮像領域1401、参照元制御条件1402、参照先非撮像領域1403、および参照先制御条件1404の組み合わせごとに相関値1405が設定されたテーブルである。
【0186】
参照元撮像領域1401には、値として、参照元撮像領域600-ijが記憶される。参照元制御条件1402には、値として、参照元撮像領域600-ijの制御条件が記憶される。参照先非撮像領域1403には、値として、参照元撮像領域600-ijの参照先となる非撮像領域610-Lpが記憶される。参照先制御条件1404には、値として非撮像領域610-ijの制御条件が記憶される。
【0187】
相関値1405には、値として、参照元制御条件1402が設定された参照元撮像領域1401と、参照先制御条件1404が設定された参照先非撮像領域1403との相関関係を示す値(相関値r(ijX,ijY)。Xは参照元制御条件1402、Yは参照先制御条件1404。)が記憶される。
【0188】
なお、相関値r(ijX,ijY)を単に相関値rを称する場合もある。相関値rは、1.0に近いほど、参照元撮像領域1401と参照先非撮像領域1403との相関が高いことを示し、1.0から離れるほど、参照元撮像領域1401と参照先非撮像領域1403との相関が低いことを示す。
【0189】
ここで、参照先非撮像領域610-ijにおけるPD有り光学的黒画素からの出力またはPD無し光学的黒画素からの出力をQ、補正後のノイズ成分をPとする。PとQとの関係は、上記式(1)により表現される。
【0190】
相関値rは、参照先非撮像領域1403が参照元撮像領域1401を含む場合、1.0に近い値となる。たとえば、図23において、参照元撮像領域1401が撮像領域600-11の場合、参照先非撮像領域1403が非撮像領域610-11であれば、参照先非撮像領域1403が非撮像領域610-12の場合に比べて、相関値rは1.0に近い値となる。参照先非撮像領域1403が参照元撮像領域1401を含む場合、同一の列読出し線で読み出されるからである。
【0191】
相関値rは、参照元撮像領域1401と参照先非撮像領域1403とが同一行であれば1.0に近い値となる。たとえば、図23において、参照元撮像領域1401が撮像領域600-11の場合、参照先非撮像領域1403が非撮像領域610-11であれば、参照先非撮像領域1403が非撮像領域610-22の場合に比べて、相関値rは1.0に近い値となる。同一行であれば、同一タイミングで列読出し線で読み出されるからである。
【0192】
また、相関値rは、参照元撮像領域1401と参照先非撮像領域1403とが近接するほど1.0に近い値となる。たとえば、図23において、参照元撮像領域1401が撮像領域600-11の場合、参照先非撮像領域1403が非撮像領域610-12であれば、参照元撮像領域1401が撮像領域600-14の場合に比べて、相関値rは1.0に近い値となる。画素位置が近いほど、それらの特性が類似すると考えられるからである。
【0193】
また、相関値rは、参照元制御条件1402と参照先制御条件1404と同じであれば1.0に近い値となる。具体的には、たとえば、参照元制御条件1402と参照先制御条件1404とが同種でかつ値が異なる制御条件の場合、参照元制御条件1402と参照先制御条件1404とが異種の場合に比べて、相関値rは1.0に近い値になる。制御条件が同種であるほど、参照元撮像領域1401の動作条件と参照先非撮像領域1403の動作条件とが類似すると考えられるからである。
【0194】
以上説明したように、実施例7によれば、撮像画素領域600の撮像領域600-ijの各々について、相関性のある撮像画素領域600外の非撮像領域610-pqを用いて黒レベル補正を実行することが可能となる。したがって、撮像領域600-ijの各々について黒レベル補正の高精度化を図ることができる。
【実施例7】
【0195】
<撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係>
つぎに、実施例7にかかる撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係について説明する。実施例7は、実施例6において撮像画素領域600外にも光学的黒画素領域610を設けた構成である。実施例6と同一箇所には同一符号を付し、その説明を省略する。
【0196】
図26は、撮像画素領域の制御条件と光学的黒画素領域の制御条件との関係を示す説明図である。光学的黒画素領域610は、撮像画素領域600の内外に存在する。まず、撮像画素領域600内に存在する光学的黒画素領域610(以下、内部光学的黒画素領域610と称す)について説明する。
【0197】
内部光学的黒画素領域610は、被写体を撮像しない複数の内部非撮像領域610-11~610-14、610-21、610-24、610-31、610-34、610-41、610-44により構成される。内部非撮像領域610-11~610-14、610-21、610-24、610-31、610-34、610-41、610-44を区別しない場合、内部非撮像領域610-ijと表記する。内部非撮像領域610-ijは、i行j列に存在する撮像領域600-ijに設けられる。
【0198】
図26においては、内部光学的黒画素領域610が配置される撮像領域600を示しているが、内部光学的黒画素領域610は、たとえば、撮像画素領域600内で千鳥状に配置される。内部非撮像領域610-ijの数が、撮像領域600-ijの数より少なければ、千鳥配置に限定されない。
【0199】
1つの内部非撮像領域610-ijは、PD有り光学的黒画素群およびPD無し光学的黒画素群を含む。光学的黒画素領域610は、PD有り光学的黒画素群と、PD無し光学的黒画素群と、を有する。PD有り光学的黒画素群とは、PD有り光学的黒画素の集合である。PD有り光学的黒画素は、PD104を有する黒画素である。具体的には、たとえば、PD有り光学的黒画素は、被写体光の入射を遮る遮光層を有する画素である。
【0200】
また、内部非撮像領域610-ijの数は、撮像領域600-ijの数より少ない。図26では、内部非撮像領域610-ijの数は12個であり、撮像領域600-ijの数は16個である。
【0201】
つぎに、撮像画素領域600外に存在する光学的黒画素領域610(以下、外部光学的黒画素領域610と称す)について説明する。
【0202】
外部光学的黒画素領域610は、被写体を撮像しない複数の外部非撮像領域610-L1~610-L2、610-C1~610-C2により構成される。複数の外部非撮像領域610-L1~610-L2(図26では例として2個)は列方向に存在する外部非撮像領域群である。列方向に存在する外部非撮像領域群を区別しない場合は、外部非撮像領域610-Lpと表記する。
【0203】
複数の外部非撮像領域610-C1~610-C2(図26では例として2個)は行方向に存在する外部非撮像領域群である。行方向に存在する非撮像領域群を区別しない場合は、外部非撮像領域610-Cqと表記する。複数の外部非撮像領域610-L1~610-L2、610-C1~610-C2を区別しない場合、外部非撮像領域610-pqと表記する。1つの外部非撮像領域610-pqは、内部非撮像領域610-ijと同様、PD有り光学的黒画素群およびPD無し光学的黒画素群を含む。
【0204】
外部光学的黒画素領域610は、内部光学的黒画素領域610と同様、撮像画素領域600の外部に隣接する。図26では、例として、外部光学的黒画素領域610は、撮像画素領域600の右端および下端に設けられる。外部光学的黒画素領域610の配置位置は、撮像画素領域600の上端、下端、右端および左端の少なくともいずれか1つでよい。
【0205】
外部光学的黒画素領域610は、内部光学的黒画素領域610と同様、PD有り光学的黒画素群と、PD無し光学的黒画素群と、を有する。また、外部非撮像領域610-pqの数は、たとえば、内部非撮像領域600-ijが存在しない撮像領域600-ijの数以上有する。図26では、外部非撮像領域610-pqの数は4個であり、撮像領域600-ijの数は4個である。
【0206】
つぎに、撮像画素領域600および光学的黒画素領域610に設定される制御条件について説明する。各撮像領域600-ij、各内部非撮像領域610-ij、および各外部非撮像領域610-pqには制御条件が設定される。
【0207】
撮像領域600-11~600-14,600-21,600-24,600-31,600-34,600-11~600-14には、たとえば、制御条件Bが設定され、撮像領域600-22,600-23,600-32,600-33には、たとえば、制御条件Aが設定される。
【0208】
内部非撮像領域610-ijの制御条件は、内部非撮像領域610-ijを含む撮像領域600-ijの制御条件と同一である。たとえば、内部非撮像領域610-11の制御条件はBであり、内部非撮像領域610-11を含む撮像領域600-11の制御条件もBである。外部非撮像領域610-L1,610-L2,610-C1,610-C2には、たとえば、制御条件Aが設定される。
【0209】
両端黒丸の点線は、行方向において、黒丸が位置する撮像領域600-ijと非撮像領域610-pqとが、黒レベル補正において対応することを示す。黒丸が位置する撮像領域600-ijを、黒レベル補正の「参照元撮像領域600-ij」、黒丸が位置する非撮像領域610-pqを、黒レベル補正の「参照先非撮像領域610-pq」と称す(後述の両端黒丸の一点鎖線も同様)。
【0210】
また、両端黒丸の点線や一点鎖線では表記していないが、内部非撮像領域610-ijは、内部非撮像領域610-ijを含む撮像領域600-ijを「参照元撮像領域600-ij」とする。したがって、たとえば、内部非撮像領域610-11は、内部非撮像領域610-11を含む撮像領域600-11の参照先撮像領域である。
【0211】
行方向に配列された画素群は、行選択回路またはブロック202単位で同一タイミングで選択されて、画素信号を出力する。したがって、参照元撮像領域600-ijと参照先外部非撮像領域610-Lpとは、暗電流等に関する相関性があると考えられる。参照元撮像領域600-ijと参照先内部非撮像領域610-ijとの間でも同様である。このため、参照元撮像領域600-ijからの出力信号を黒レベル補正する場合、参照元撮像領域600-ijからの出力信号を、参照先外部非撮像領域610-Lpまたは参照先内部非撮像領域610-ijの出力信号を用いて減算することにより、参照元撮像領域600-ijに応じた高精度な黒レベル補正が可能となる。
【0212】
また、両端黒丸の一点鎖線は、列方向において、黒丸が位置する撮像領域600-ijが外部非撮像領域610-Cqの制御条件を参照することを示す。
【0213】
列方向に配列された画素群は、共通の列読出し線に接続されて各々アナログ信号を出力し、共通のA/D変換器でデジタル信号に変換される。したがって、参照元撮像領域600-ijと参照先外部非撮像領域610-Cqとは、暗電流等に関する相関性があると考えられる。参照元撮像領域600-ijと参照先内部非撮像領域610-ijとの間でも同様である。
【0214】
このため、参照元撮像領域600-ijからの出力信号を黒レベル補正する場合、参照元撮像領域600-ijからの出力信号を、参照先外部非撮像領域610-Cqまたは参照先内部非撮像領域610-ijの出力信号を用いて減算することにより、参照元撮像領域600-ijに応じた高精度な黒レベル補正が可能となる。
【0215】
上述したように、内部非撮像領域610-ijの数は、撮像領域600-ijの数よりも少ない。したがって、1つの内部非撮像領域610-ijは、1以上の撮像領域600-ijと、黒レベル補正において対応することができる。なお、撮像領域600-ijに対し、行方向および列方向のいずれの方向の外部非撮像領域610-pqを参照先にするかは、あらかじめ設定されてもよく、また、各撮像領域600-ijと各非撮像領域610-pqの制御条件に応じて設定してもよい。または、撮像領域600-ijに対し、行方向および列方向の両方向の非撮像領域610-pqの出力信号のうち、大きい方、小さい方、または平均値を採用してもよい。
【0216】
特に、図26では、撮像画素領域600の中心の撮像領域600-ijの各々は、外部非撮像領域610-pqを参照先とし、当該中心の周囲の撮像領域600-ijの各々は、撮像領域600-ijに存在する内部非撮像領域610-ijを参照先とする。その理由は、有効撮像領域600の中央では、主要被写体像が映りこんだり、また、主要被写体を合焦する像面位相差検出画素が周囲の撮像領域600-11~600-14、600-21,600-24、600-31,600-34、600-41~600-44よりも多く存在したりするからである。
【0217】
<補正テーブル>
図27は、実施例7にかかる補正テーブルの一例を示す説明図である。補正テーブル2700は、参照元撮像領域1401、参照元制御条件1402、参照先非撮像領域1403、および参照先制御条件1404の組み合わせごとに相関値1405が設定されたテーブルである。
【0218】
参照元撮像領域1401には、値として、参照元撮像領域600-ijが記憶される。参照元制御条件1402には、値として、参照元撮像領域600-ijの制御条件が記憶される。参照先非撮像領域1403には、値として、参照元撮像領域600-ijの参照先となる内部非撮像領域610-ijまたは外部非撮像領域610-pqが記憶される。参照先制御条件1404には、値として内部非撮像領域610-ijまたは外部非撮像領域610-pqの制御条件が記憶される。
【0219】
相関値1405には、値として、参照元制御条件1402が設定された参照元撮像領域1401と、参照先制御条件1404が設定された参照先非撮像領域1403との相関関係を示す値(相関値r(ijX,ijY)、相関値r(ijX,LpY)、または相関値r(ijX,CqY)。Xは参照元制御条件1402、Yは参照先制御条件1404。)が記憶される。
【0220】
なお、相関値r(ijX,ijY)、相関値r(ijX,LpY)、または相関値r(ijX,CqY)を単に相関値rを称する場合もある。相関値rは、1.0に近いほど、参照元撮像領域1401と参照先非撮像領域1403との相関が高いことを示し、1.0から離れるほど、参照元撮像領域1401と参照先非撮像領域1403との相関が低いことを示す。
【0221】
ここで、参照先内部非撮像領域610-ijまたは参照先外部非撮像領域610-pqからの出力信号をQ、補正後のノイズ成分をPとする。PとQとの関係は、上記式(1)により表現される。
【0222】
相関値rは、参照先非撮像領域1403が参照元撮像領域1401を含む場合、1.0に近い値となる。たとえば、図26において、参照元撮像領域1401が撮像領域600-11の場合、参照先非撮像領域1403が非撮像領域610-11であれば、参照先非撮像領域1403が非撮像領域610-12の場合に比べて、相関値rは1.0に近い値となる。参照先非撮像領域1403が参照元撮像領域1401を含む場合、同一の列読出し線で読み出されるからである。
【0223】
相関値rは、参照元撮像領域1401と参照先非撮像領域1403とが同一行であれば1.0に近い値となる。たとえば、図26において、参照元撮像領域1401が撮像領域600-11の場合、参照先非撮像領域1403が非撮像領域610-11であれば、参照先非撮像領域1403が非撮像領域610-22の場合に比べて、相関値rは1.0に近い値となる。同一行であれば、同一タイミングで列読出し線で読み出されるからである。
【0224】
また、相関値rは、参照元撮像領域1401と参照先非撮像領域1403とが近接するほど1.0に近い値となる。たとえば、図26において、参照元撮像領域1401が撮像領域600-11の場合、参照先非撮像領域1403が非撮像領域610-12であれば、参照元撮像領域1401が撮像領域600-14の場合に比べて、相関値rは1.0に近い値となる。画素位置が近いほど、それらの特性が類似すると考えられるからである。
【0225】
また、相関値rは、参照元制御条件1402と参照先制御条件1404と同じであれば1.0に近い値となる。具体的には、たとえば、参照元制御条件1402と参照先制御条件1404とが同種でかつ値が異なる制御条件の場合、参照元制御条件1402と参照先制御条件1404とが異種の場合に比べて、相関値rは1.0に近い値になる。制御条件が同種であるほど、参照元撮像領域1401の動作条件と参照先非撮像領域1403の動作条件とが類似すると考えられるからである。
【0226】
以上説明したように、実施例7によれば、撮像画素領域600の撮像領域600-ijの各々について、相関性のある撮像画素領域600外の非撮像領域610-pqを用いて黒レベル補正を実行することが可能となる。したがって、撮像領域600-ijの各々について黒レベル補正の高精度化を図ることができる。
【0227】
なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであっても良い。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
【符号の説明】
【0228】
100 撮像素子,102 カラーフィルタ,104 PD,201 画素,201-1 撮像画素,201-2 PD有り光学的黒画素,201-2 PD無し光学的黒画素,202 ブロック,600 撮像画素領域,600-ij 撮像領域,610 光学的黒画素領域,610-pq 非撮像領域,900 遮光層、910 信号処理部、911 駆動回路、912 制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27