(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-13
(45)【発行日】2022-12-21
(54)【発明の名称】撮像装置及びその制御方法、プログラム、記憶媒体
(51)【国際特許分類】
H04N 5/3745 20110101AFI20221214BHJP
H04N 5/351 20110101ALI20221214BHJP
G01J 1/42 20060101ALI20221214BHJP
G01J 1/44 20060101ALI20221214BHJP
H01L 31/107 20060101ALI20221214BHJP
H01L 31/10 20060101ALI20221214BHJP
【FI】
H04N5/3745 500
H04N5/351
G01J1/42 H
G01J1/44 N
H01L31/10 B
H01L31/10 G
(21)【出願番号】P 2018082459
(22)【出願日】2018-04-23
【審査請求日】2021-04-13
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】佐々木 顯
(72)【発明者】
【氏名】竹田 伸弘
【審査官】豊田 好一
(56)【参考文献】
【文献】米国特許出願公開第2017/0131143(US,A1)
【文献】特開2014-107794(JP,A)
【文献】特開2003-282933(JP,A)
【文献】特開2014-081253(JP,A)
【文献】国際公開第2004/054235(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/30-378
G01J 1/00-60
G01J 11/00
H01L 31/0232
31/0248
31/0264
31/08
31/10
31/107-108
31/111
31/18
(57)【特許請求の範囲】
【請求項1】
複数の画素を備え、それぞれの画素が、単一光子の受光に応じて信号パルスを出力するセンサ部と、前記信号パルスをカウントしてカウント値を出力するカウンタとをそれぞれ有するように構成された撮像素子と、
前記信号パルスのパルス幅を
、前記撮像素子から出力される前記カウント値に
ゲインを乗ずる
際のゲインの大きさに応じて制御する制御手段と、を備え、
前記制御手段は、高ゲイン時の前記信号パルスのパルス幅が低ゲイン時の前記信号パルスのパルス幅よりも相対的に長くなるように制御することを特徴とする撮像装置。
【請求項2】
前記撮像装置は複数の前記制御手段を備え、複数の前記制御手段は、前記ゲインの大きさに応じて、撮像領域ごとに前記信号パルスのパルス幅を変えることを特徴とする請求項1に記載の撮像装置。
【請求項3】
複数の前記制御手段は、前記ゲインの大きさに応じて、前記画素ごとに前記信号パルスのパルス幅を変えることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記センサ部は、アバランシェフォトダイオードとクエンチ素子とを含み、前記制御手段は、前記クエンチ素子に加える電圧を変えることによって、前記信号パルスのパルス幅を変えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項5】
前記センサ部は、アバランシェフォトダイオードとクエンチ素子とを含み、前記制御手段は、前記クエンチ素子の抵抗値を変えることによって前記信号パルスのパルス幅を変えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項6】
前記クエンチ素子は、複数のMOSトランジスタを含み、前記制御手段は、前記MOSトランジスタのゲート電圧を各々変えることによって前記クエンチ素子の抵抗値を変えることを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記センサ部は、前記信号パルスを出力するバッファを含み、前記制御手段は、前記バッファの応答特性を変えることによって前記信号パルスのパルス幅を変えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項8】
複数の画素を備え、それぞれの画素が、単一光子の受光に応じて信号パルスを出力するセンサ部と、前記信号パルスをカウントしてカウント値を出力するカウンタと、前記信号パルスの発生から所定の期間の前記信号パルスをカウントしないように前記カウンタを制御するカウンタ制御部とをそれぞれ有するように構成された撮像素子と、
前記所定の期間を
、前記撮像素子から出力される前記カウント値に
ゲインを乗ずる
際のゲインの大きさに応じて制御する制御手段と、を備え、
前記制御手段は、高ゲイン時の前記所定の期間が低ゲイン時の前記所定の期間よりも相対的に長くなるように制御することを特徴とする撮像装置。
【請求項9】
前記撮像装置は複数の前記制御手段を備え、複数の前記制御手段は、前記ゲインの大きさに応じて、撮像領域ごとに前記所定の期間を変えることを特徴とする請求項8に記載の撮像装置。
【請求項10】
複数の前記制御手段は、前記ゲインの大きさに応じて、前記画素ごとに前記所定の期間を変えることを特徴とする請求項9に記載の撮像装置。
【請求項11】
複数の画素を備え、それぞれの画素が、単一光子の受光に応じて信号パルスを出力するセンサ部と、前記信号パルスをカウントしてカウント値を出力するカウンタとをそれぞれ有するように構成された撮像素子を備える撮像装置を制御する方法であって、
前記信号パルスのパルス幅を
、前記撮像素子から出力される前記カウント値に
ゲインを乗ずる
際のゲインの大きさに応じて制御する制御工程を有し、
前記制御工程では、高ゲイン時の前記信号パルスのパルス幅が低ゲイン時の前記信号パルスのパルス幅よりも相対的に長くなるように制御することを特徴とする撮像装置の制御方法。
【請求項12】
複数の画素を備え、それぞれの画素が、単一光子の受光に応じて信号パルスを出力するセンサ部と、前記信号パルスをカウントしてカウント値を出力するカウンタと、前記信号パルスの発生から所定の期間の前記信号パルスをカウントしないように前記カウンタを制御するカウンタ制御部とをそれぞれ有するように構成された撮像素子を備える撮像装置を制御する方法であって、
前記所定の期間を
、前記撮像素子から出力される前記カウント値に
ゲインを乗ずる
際のゲインの大きさに応じて制御する制御工程を有し、
前記制御工程では、高ゲイン時の前記所定の期間が低ゲイン時の前記所定の期間よりも相対的に長くなるように制御することを特徴とする撮像装置の制御方法。
【請求項13】
請求項11または12に記載の制御方法をコンピュータに実行させるためのプログラム。
【請求項14】
請求項11または12に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及びその制御方法に関するものである。
【背景技術】
【0002】
従来、アバランシェフォトダイオード(以下、APDとも記す)を用いることによって単一光子の検出を可能とする受光素子が知られている。アバランシェフォトダイオードに降伏電圧(Breakdown電圧)より大きな逆バイアス電圧を印加すると、単一光子の入射による生成キャリアがアバランシェ増倍を起こして、大きな電流が発生する。この電流を基に単一光子を検出することが可能となる。本明細書中では、上記の様なAPDを指して、SPAD(Single Photon Avalanche Diode)と呼ぶこととする。
【0003】
SPADを用いた受光素子においては、リニアリティの課題が知られている。リニアリティ悪化の一要因としては、照度が高い状態つまり単位時間当たりの受光量が多い状態では、複数の信号パルスが重なってしまうため、光子のカウント値が実際の入射光子の数よりも低下してしまうことがある。
【0004】
この様な課題に対して、特許文献1に記載の受光素子では、SPADから発せられる信号パルスの幅を積分することによって、入射光量の増加に対して常に単調増加する出力が得られるようにしている。そのために、特許文献1の受光素子の構成は、電圧信号を電流信号に変換する電圧電流変換手段を画素毎に備え、さらに複数画素の電流信号を積分する積分手段を備えている。この構成により、特許文献1の受光素子は、上記の要因によるリニアリティの悪化を改善している。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところでSPADでは、アバランシェ増倍が起きた時に結晶欠陥に捕獲されたキャリアが時間経過後に放出されると、再びアバランシェ増倍が起きることによってアフターパルスと呼ばれる偽信号パルスが発生することがある。このアフターパルスが誤ってカウントされてしまうと、SPADに実際に入射した光子数よりもカウント値が上昇し、リニアリティ悪化を招く。そして、特許文献1の受光素子では、この様なアフターパルスに起因するリニアリティ悪化には対応できていなかった。
【0007】
本発明は上述した課題に鑑みてなされたものであり、その目的は、単一光子受光素子を用いた撮像装置において、リニアリティをさらに改善することである。
【課題を解決するための手段】
【0008】
本発明に係わる撮像装置は、複数の画素を備え、それぞれの画素が、単一光子の受光に応じて信号パルスを出力するセンサ部と、前記信号パルスをカウントしてカウント値を出力するカウンタとをそれぞれ有するように構成された撮像素子と、前記信号パルスのパルス幅を、前記撮像素子から出力される前記カウント値にゲインを乗ずる際のゲインの大きさに応じて制御する制御手段と、を備え、前記制御手段は、高ゲイン時の前記信号パルスのパルス幅が低ゲイン時の前記信号パルスのパルス幅よりも相対的に長くなるように制御することを特徴とする。
【0009】
また、本発明に係わる撮像装置は、複数の画素を備え、それぞれの画素が、単一光子の受光に応じて信号パルスを出力するセンサ部と、前記信号パルスをカウントしてカウント値を出力するカウンタと、前記信号パルスの発生から所定の期間の前記信号パルスをカウントしないように前記カウンタを制御するカウンタ制御部とをそれぞれ有するように構成された撮像素子と、前記所定の期間を、前記撮像素子から出力される前記カウント値にゲインを乗ずる際のゲインの大きさに応じて制御する制御手段と、を備え、前記制御手段は、高ゲイン時の前記所定の期間が低ゲイン時の前記所定の期間よりも相対的に長くなるように制御することを特徴とする。
【発明の効果】
【0010】
本発明によれば、単一光子受光素子を用いた撮像装置において、リニアリティをさらに改善することが可能となる。
【図面の簡単な説明】
【0011】
【
図1】本発明の第1の実施形態における撮像素子の構成を示す図。
【
図2】本発明の第1の実施形態の撮像装置の構成を示すブロック図。
【
図3】第1の実施形態における撮像素子の制御方法を示すフローチャート。
【
図4】画素における経過時間とアフターパルス発生確率の関係を示す図。
【
図5】画素における任意の照度と光子カウントレートの関係を示す図。
【
図6】撮像素子における第2の画素構成例を示す図。
【
図7】撮像素子における第3の画素構成例を示す図。
【
図8】撮像素子における第4の画素構成例を示す図。
【
図9】第2の実施形態における撮像素子の制御方法を示すフローチャート。
【
図10】第2の実施形態における撮像素子の駆動方法を示すタイミングチャート。
【
図11】第2の実施形態の変形例1における撮像領域の分割方法を示す図。
【
図12】第2の実施形態の変形例2におけるカラーフィルタの配置パターンを示す図。
【
図13】第2の実施形態の変形例3における撮像領域の分割方法を示す図。
【
図14】撮像素子の半導体チップ構造を示す模式図。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。なお、以下の説明では、デジタル信号パルスのHighレベル、Lowレベルを、各々「High」、「Low」とも表記する。
【0013】
(第1の実施形態)
以下、
図1~
図8を参照して、本発明の第1の実施形態について説明する。
図1は、第1の実施形態の撮像素子100の構成を示す図である。
図1において、撮像素子100は、画素部110、電圧制御部130、タイミング制御部(以下、TGとも記す)140、列メモリ150、デジタルフロントエンド(以下、DFEとも記す)160を備える。
【0014】
画素部110は、4つの画素120a~120d、列出力線126A~126B、温度計測部170を備える。
図1では、説明を分かりやすくするため、4つの画素120a~120dを示したが、実際にはさらに多くの画素120が、行列状に配置されて画素部110を構成する。また、
図1では、説明を分かりやすくするため、2つの列出力線126A~126Bを示したが、実際にはさらに多くの列出力線126が、行列状に配置された画素部110の列毎に配置されている。
【0015】
1つの画素120は、SPAD(センサ部)121、クエンチ素子122、インバータ123、カウンタ124、読み出しスイッチ125を有する。SPAD121は、単一光子を検出するためにガイガーモードで動作させるアバランシェフォトダイオードである。ガイガーモードとは、降伏電圧より大きな逆バイアス電圧を印加して動作させるAPDの動作モードである。SPAD121では、そのカソードに降伏電圧Vbrより大きな電圧Vbiasが印加されてガイガーモードになると、単一光子の入射で発生したキャリアがアバランシェ増倍を起こし大きな電流を発生させる。ここで、電圧Vbiasは例えば+20Vである。
【0016】
クエンチ素子122は、SPAD121のアバランシェ増倍を停止させるための抵抗素子である。本実施形態では、クエンチ素子122としてP型のMOSトランジスタ(以下、PMOS)の抵抗成分を利用している。また、クエンチ素子122のPMOSのゲート端子には、電圧Vqncが印加される構成である。そして、本実施形態の撮像素子100は、電圧制御部130が電圧Vqncの値を後述する撮像装置200の撮影条件に応じて変化させることに特徴がある。画素120の様に、クエンチ素子122にPMOSを用いた場合、電圧Vqncの値が小さい程クエンチ素子の抵抗成分は小さくなり、また電圧Vqncの値が大きい程クエンチ素子の抵抗成分も大きくなる様に変化する。但し、クエンチ素子122としては、N型のMOSトランジスタ(以下、NMOS)を利用することもできる。クエンチ素子122にNMOSを用いた場合、Vqncが大きい程クエンチ素子の抵抗成分は小さくなり、またVqncが小さい程クエンチ素子の抵抗成分も大きくなる様に変化する。以下の説明では、クエンチ素子にPMOSを用いた構成を基に説明するが、NMOSを用いた場合でも電圧Vqncの制御値を変えれば、同様に本実施形態の効果は得られる。
【0017】
SPAD121に光子が入射してアバランシェ増倍で電流が発生すると、クエンチ素子122では電圧降下が発生する。この電圧降下によってSPAD121のカソードの電圧が、電圧Vbiasから降伏電圧Vbr以下まで振られると、アバランシェ増倍が停止する。その後、クエンチ素子122を介してSPAD121のカソードが充電されると電圧が再び電圧Vbiasに戻る。この様にして、SPAD121は、そのカソード(即ち、
図1に示したノードPLSa)に、単一光子の入射に応じて1つの電圧信号パルスを発生させることができる。この時、クエンチ素子122の抵抗値の大きさによって電圧信号パルスの幅は変化する。即ち電圧制御部130は、電圧Vqncを変化させることによって、光子の入射に伴ってノードPLSaに発生する電圧信号パルスの幅を変化させることができる。
【0018】
バッファ段としてのインバータ123は、前述した様にSPAD121で発生した電圧信号パルスを入力として受けて、その出力端子(即ち、
図1に示したノードPLSd)に波形整形された信号パルスを出力する。勿論、ノードPLSdに現れる波形整形された信号パルスの幅も、電圧Vqncに応じて変化する。
【0019】
カウンタ124は、インバータ123が出力した信号パルスを入力として受けて、その立ち上がりエッジをカウントする。上記のようにバッファ段としてインバータを用いたのは、カウンタが立ち上がりエッジをカウントする構成であるからである。なお、極性を反転させないバッファを用いる場合、カウンタ124はバッファが出力した信号パルスの立ち下がりエッジをカウントすればよい。
【0020】
カウンタ124は、例えば16bit分のパルス数(10進数で65535カウント)をカウントできるように構成されている。以下の説明で、「カウント値」とは、カウンタ124によってカウントされた値を指すこととする。また、カウンタ124では、TG140が出力する信号パルスRESを受けて、カウント値のリセット動作と、カウント動作の開始タイミングが制御される。
【0021】
読み出しスイッチ125は、TG140が行毎に順次出力する信号パルスSELn(nは画素配列の行数を示す)がLow→Highと変化するとON状態となり、カウンタ124に保持されたカウント値が、列出力線126を介して、列メモリ150に書き込まれる。TG140は、前述した様に、行列配置された画素の行を順次選択して、行毎の信号パルスSELnを出力する。また、TG140は、カウンタ124のカウント値のリセット動作と、カウント動作の開始タイミングを制御する信号パルスRESを出力する。
【0022】
列メモリ150では、信号パルスSELnによってTG140が選択した行の各画素120のカウント値が列出力線126を介して書き込まれ、これら列毎のカウント値を保持する。また、TG140が、列メモリ150に保持されている各画素120のカウント値を列毎に順次選択することによって、列メモリ150は、各画素120のカウント値をDFE160に順次出力する。DFE160は、列メモリ150から出力された各画素120のカウント値に対して、ゲイン処理、信号の並べ替えなどのデジタル処理を行い、その信号をさらに撮像素子100の外部へと出力する。
【0023】
図2は、撮像素子100を備えた撮像装置200の全体構成を示すブロック図である。
図2において、第1の実施形態の撮像装置200は、撮像素子100、全体制御・演算部201、メモリ部202、表示部203、記録部204、操作部205、光学系206、絞り制御部207、ゲイン制御部208、画像処理部209、測光素子210、照度解析部211を備える。
【0024】
画像処理部209は、撮像素子100内のDFE160から出力された画素120のカウント値を各画素アドレスの輝度値として、静止画像あるいは動画像1フレーム分の画像データを生成する。また、画像を生成する過程において、ゲイン処理、信号の並べ替え、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、ガンマ補正、解像度変換、データ圧縮などの処理を、さらに行うこともきる。
全体制御・演算部201は、周知のCPUなどを内蔵し、撮像装置200全体を統括的に制御する。また、全体制御・演算部201は、画像処理部209で処理された後の画像データを記録部204や表示部203に出力する。メモリ部202は、全体制御・演算部201の演算処理用メモリであり、連続撮影等においてはバッファーメモリとしても使用される。
【0025】
表示部203は、全体制御・演算部201から受けた画像信号を表示する。記録部204は、メモリカードやハードディスクなどの記録媒体である。操作部205は、レリーズボタン、スイッチ、電子ダイヤルなどの操作部材からの入力を電気的に受け付けるものである。
【0026】
光学系206は、フォーカスレンズ、ズームレンズ、絞りなどを含んで構成される。撮像素子100は、光学系206を透過した光を受光し、前述した様に、各画素120のカウント値を画像処理部209に出力する。絞り制御部207は、撮像装置200のユーザが任意で設定するF値、または照度解析部211から得られる照度情報に基づき、光学系206の絞り径の大きさを制御する。
【0027】
ゲイン制御部208は、ユーザが任意で設定するISO感度、または照度解析部211から得られる照度情報に基づき、画像処理部209のゲイン処理で印加されるゲインの値を制御する。測光素子210は、撮像装置200の各撮影条件を決めるために、撮像素子100の照度を測定するための測光センサである。照度解析部211は、測光素子210の出力信号を解析して撮像素子100の照度を算出し、その照度情報を全体制御・演算部201に出力する。
【0028】
なお、絞り制御部207は絞り制御値を、ゲイン制御部208はゲイン制御値を、照度解析部211は照度情報を、それぞれ撮像素子100内の電圧制御部130に対して出力可能な構成となっている。そして、電圧制御部130は、これらの情報に基づいてVqncを変化させることができる。特に本実施形態では、電圧制御部130が、ゲイン制御部208のゲインの制御値によってVqncを変化させる制御方法について説明する。
【0029】
図3は、第1の実施形態における、撮影時の制御方法を示すフローチャートである。第1の実施形態の撮像素子100では、電圧制御部130が撮像装置200のISO感度設定(ゲイン設定)に応じて、電圧Vqncの値を制御する。
【0030】
ステップS301では、まずユーザが設定したISO感度を判断してISO100である場合はステップS302に進み、ISO200である場合はステップS303に進み、ISO400である場合はステップS304に進む。
【0031】
ステップS302~S304では、ゲイン制御部208が、画像処理部209におけるゲイン処理で用いられるゲインの値を制御する。なお、ゲイン処理をDFE160において実行することもできるが、以下の説明では、画像処理部209がゲイン処理する例について説明する。ここで、撮像装置200にとってのISO感度とは、画像データ生成時に画素のカウント値に対してゲイン処理するゲインの値と等価である。即ち、ISO100を1倍ゲインの基準として考えると、ISO200では2倍ゲイン、ISO400では4倍ゲインを、画像処理部209においてカウント値に対してゲイン処理するということになる。そのため、ステップS302では1倍ゲインに制御され、ステップS303では2倍ゲインに制御され、ステップS304では4倍ゲインに制御される。また、ここで設定されたゲイン制御値は撮像素子100内の電圧制御部130にも送られる。
【0032】
ステップS305~S307では、電圧制御部130がゲイン制御値に応じて電圧Vqncの値を制御する。ここでは、1倍ゲインのときに電圧Vqnc=0.0V、2倍ゲインのときには電圧Vqnc=1.0V、4倍ゲインのときには電圧Vqnc=2.0Vとすることで、低ISO感度時の信号パルス幅を相対的に短く、高ISO感度時の信号パルス幅を相対的に長く制御する。
図3では、ISO感度として、ISO100、ISO200、ISO400の3つを例として示したが、更に高いISO感度についても同様に制御してもよい。この駆動制御方法によれば、高ISO感度時の信号パルス幅を長く制御することで、後述するアフターパルスの誤カウントが低減してリニアリティを改善できる。詳細は、
図4、
図5を参照して後述する。
【0033】
ステップS308では、ユーザによってレリーズボタンが押下されたか否かを判断する。レリーズボタンが押下されない限りはステップS301に戻り、ステップS301~S307を所定の時間周期で繰り返す。ユーザによってレリーズボタンが押下された場合は、ステップS309に進む。
【0034】
ステップS309では、各画素120のカウント値を得るために
図1で説明した様に撮像素子100を駆動させる。この時、電圧制御部130はVqncをステップS305~S307で決定した電圧に制御して、撮像素子100は駆動される。
【0035】
ステップS310では、撮像素子100内のDFE160から出力された各画素120のカウント値が画像処理部209に入力され、さらに画像処理部209ではステップS302~S304で決定したゲインに従ってゲイン処理を行い、画像データが生成される。
【0036】
ステップS311では、全体制御・演算部201が、生成された画像データを表示部203に出力し撮影した画像を表示させる。また、記録部204に画像データを記録する。
【0037】
上記の様に、第1の実施形態の撮像素子100では、高ISO感度時の信号パルス幅を相対的に長くする様に、電圧制御部130が電圧Vqncの値を制御する。この駆動制御方法によれば、アフターパルスの誤カウントが低減されてリニアリティが改善される。この改善できる理由について、
図4、
図5を参照して以下に説明する。
【0038】
図4は、画素120における経過時間とアフターパルス発生確率の関係を示すグラフである。アフターパルスとは、アバランシェ増倍が起きた時に結晶欠陥に捕獲されたキャリアが時間経過後に放出された時に、再びアバランシェ増倍が起きることによって発生する偽信号パルスである。横軸は、SPAD121に光子が入射して信号パルスが発生した後の経過時間を示している。
図4に示す様に、アフターパルスの発生確率は、信号パルス発生後から時間の経過に伴って指数関数的に下がる。このアフターパルスが誤カウントされてしまうと、カウント値が実際の入射光子数よりも上昇して、リニアリティが悪化することになる。但し、ノードPLSdに発生した信号パルスがHighからLowに戻る前に、SPAD121の内部で再びアバランシェ増倍が起きても、誤カウントはされない。従って、信号パルス幅を長く制御することによって、アフターパルスを誤カウントする確率を低減できる。
【0039】
図5は、撮像素子100の任意の照度とカウントレートとの関係を示す両対数グラフである。横軸の照度は、SPAD121に単位時間当たりに入射する実際の光子数と比例する値である。縦軸のカウントレートは、カウンタ124の単位時間当たりのカウント増加量である。理想的には
図5に破線で示す様に、カウントレートは照度に比例する。しかし、
図4で説明した様に、アフターパルスが誤カウントされるとカウント値は実際の入射光子数よりも上昇する。このため、
図5に実線で示す様に、低~中照度の領域ではカウントレートが理想値よりもやや上昇する。但し、信号パルス幅を長く(即ち電圧Vqncの値を大きく)制御すると、アフターパルスの誤カウントが低減できるので、より理想値に近いカウントレートで動作させることができる。従って、信号パルス幅を長く制御することによって、低~中照度領域のリニアリティを改善できることになる。
【0040】
ところで、背景技術の欄でも説明したように、ノードPLSdに発生した信号パルスがHighからLowに戻る前に続けて新たな光子が入射すると、カウント値は実際の入射光子の数よりも低下する。このため、
図5に示す様に、光子が頻繁に入射する高照度側でカウントレートが単調増加する範囲は信号パルス幅に応じて変化し、特に信号パルス幅が長い(即ち電圧Vqncの値が大きい)時は、カウント値が低下し易い。しかし、撮影条件が高ISO感度である場合、一般的に被写体が低輝度で撮像素子の照度は低い。従って、
図3で示した様に、高ISO感度時の信号パルス幅を長く制御しても影響が少ない。
【0041】
以上、
図1~
図5を用いて説明した様に、本実施形態の撮像素子100は、電圧制御部130が電圧Vqncの値を撮像装置200の撮影条件に応じて制御することによって、光子の入射に伴って発生する信号パルスの幅を制御する。そして、リニアリティを改善した良好な画質を得ることができる。
【0042】
なお、上記説明においては、撮影条件としてISO感度を例に挙げて、電圧制御部130が信号パルス幅を制御する駆動方法について説明したが、本発明はこれに限定されるものではない。例えば、絞り制御部207の絞り制御値に応じて、電圧制御部130が信号パルス幅を制御してもよい。また、撮像素子100を駆動する際の露光時間の設定値に応じて、電圧制御部130が信号パルス幅を制御してもよい。
【0043】
ここで、画素120の構成は、
図1で説明した画素120の構成に限定されない。ここで、
図6~
図8を参照して、撮像素子100に適用できるその他の画素構成例について説明する。
【0044】
まず、
図6は、撮像素子100における第2の画素構成例を示している。
図1と同じ構成要素については同じ記号を付し、説明を省略する。
【0045】
図6における画素620は、クエンチ素子621~623、SPAD121、インバータ123、カウンタ124、読み出しスイッチ125を有する。以下、クエンチ素子621~623は、それぞれPMOSとして説明する。画素620の構成は、電圧VbiasとSPAD121の間に3つのクエンチ素子621~623が並列接続されていることが特徴である。そして、クエンチ素子621~623の各ゲートに印加する電圧(ゲート電圧)をHighまたはLowのいずれかに制御することで、クエンチ素子621~623の合成抵抗値を変化させることができる。そして、合成抵抗値を変化させることによって、
図1の画素120と同様に、信号パルスの幅を変化させることができる。
【0046】
この第2の画素構成例では、
図1における電圧制御部130の代わりに、撮像素子100が制御信号生成部610を備えている。制御信号生成部610は、撮像装置200の撮影条件に応じて、クエンチ素子621~623のゲートに対して3bitのデジタル信号パルスCtrl[2:0]を出力する。信号パルスCtrlの各bitの信号は、Ctrl[0]がクエンチ素子621の、Ctrl[1]がクエンチ素子622の、Ctrl[2]がクエンチ素子623の、各ゲート端子に入力される。
【0047】
ここで、例えば、撮影条件がISO100であった場合、制御信号生成部610は、Ctrl[2:0]の3bit全てをLowとする。また例えば、撮影条件がISO200であった場合、制御信号生成部610は、Ctrl[2:0]の3bitのうち1bitをHigh、2bitをLowとする。また例えば、撮影条件がISO400であった場合、制御信号生成部610は、Ctrl[2:0]の3bitのうち2bitをHigh、1bitをLowとする。この様に制御信号生成部610が、撮影条件に応じて、各画素620のクエンチ素子621~623を駆動することによって、
図1の画素構成と同様の効果が得られる。
【0048】
次に、
図7は、撮像素子100における第3の画素構成例を示している。
図1と同じ構成要素については同じ記号を付し、説明を省略する。
【0049】
図7における画素720は、SPAD121、クエンチ素子122、カウンタ124、読み出しスイッチ125、インバータ730を有する。但し、クエンチ素子122は、ゲート端子に一定の電圧(例えば0.0V)が印加されて駆動される。インバータ730は、PMOS731と、NMOS732と、NMOS733を含む。PMOS731とNMOS732のゲートは、ノードPLSaに接続されて、インバータ730の入力端子を成している。PMOS731のドレインとNMOS732のドレインは、ノードPLSdと接続されて、インバータ730の出力端子を成す。
【0050】
この第3の画素構成例では、
図1における電圧制御部130の代わりに、撮像素子100が電圧制御部710を備えている。電圧制御部710は、撮像装置200の撮影条件に応じて、NMOS733のゲートに電圧Vdlyを出力する。
【0051】
既知のインバータ回路の構成では、PMOS731とNMOS732があれば論理的には駆動可能であるが、インバータ730ではNMOS733をさらに有することによって、その出力信号パルス(PLSd)の立ち下がりの応答を遅くできる構成となっている。即ち、ノードPLSdがHigh→Lowと変化する時の、ノードPLSdにチャージされていた電荷がGNDに排出される過程で、NMOS733が抵抗成分として存在することによって立ち下がりの応答(応答特性)が遅くなる。NMOS733のドレイン-ソース間の抵抗は、ゲートに印加される電圧Vdlyによって変化し、電圧Vdlyの値が大きい程抵抗成分は小さくなり、また電圧Vdlyの値が小さい程抵抗成分も大きくなる様に変化する。従って、電圧制御部710が電圧Vdlyを撮像装置200の撮影条件に応じて変化させることによって、光子の入射に伴ってノードPLSdに発生する信号パルスの幅を変化させることができる。
【0052】
ここで、例えば、撮影条件がISO100であった場合、電圧制御部710は、電圧Vdlyを相対的に大きい電圧(例えば2.0V)に設定する。また例えば、撮影条件がISO400であった場合、電圧制御部710は、電圧Vdlyを相対的に小さい電圧(例えば0.0V)に設定する。この様に電圧制御部710が、撮影条件に応じて、電圧Vdlyを設定し駆動することによって、
図1の画素構成と同様の効果が得られる。なお、画素720におけるインバータ730の代わりに極性を反転させないバッファを用いる場合でも、同様に電流を調整すればよい。さらに、
図7に示すインバータ730の構成は一例に過ぎず、その他様々な構成が適用され得る。
【0053】
次に、
図8は、撮像素子100における第4の画素構成例を示している。
図1と同じ構成要素については同じ記号を付し、説明を省略する。
【0054】
図8における画素820は、SPAD121、クエンチ素子122、インバータ123、読み出しスイッチ125、カウンタ821、カウンタ制御部822を有する。但し、クエンチ素子122は、ゲート端子に一定の電圧(例えば0.0V)が印加されて駆動される。
【0055】
この第4の画素構成例では、
図1における電圧制御部130の代わりに、撮像素子100が制御信号生成部810を備えている。制御信号生成部810は、撮像装置200の撮影条件に応じて、カウンタ制御部822に対して時間Tdを設定する。
【0056】
画素820の構成は、カウンタ821がENABLE端子を備えており、さらにカウンタ制御部822を備えることに特徴がある。カウンタ制御部822は、ノードPLSdの信号パルスがLow→Highに変化したタイミングから、その後時間Tdの間カウンタ821のカウント動作を一時停止させるためにDISABLE信号を出力する。つまり、カウンタ821は信号パルスをカウントした後、一定時間Tdの間は次の信号パルスをカウントできない構成となっている。従って、1つのパルスをカウントした後から時間Tdが経過するまでの間、次の光子が入射して信号パルスが発生したり、あるいはアフターパルスが発生したりしても、これは無視される。
【0057】
ここで、例えば、撮影条件がISO100であった場合、制御信号生成部810は、カウンタ制御部822に対して、時間Tdを短く設定する。また例えば、撮影条件がISO400であった場合、制御信号生成部810は、カウンタ制御部822に対して、時間Tdを長く設定する。この様に制御信号生成部822が、撮影条件に応じて、カウンタ制御部の時間Tdを設定し駆動することによって、
図1の画素構成と同様の効果が得られる。
【0058】
(第2の実施形態)
次に、
図9~
図13を参照して、本発明の第2の実施形態の撮像素子100の制御方法について説明する。第2の実施形態における撮像素子100の構成については、第1の実施形態と同様であるため、説明は省略する。本実施形態では、第1の実施形態と異なる制御に絞って説明する。
【0059】
図9は、第2の実施形態における、撮影時の制御方法を示すフローチャートである。第2の実施形態の撮像素子100では、電圧制御部130が画素部110の照度に応じて、電圧Vqncの値を制御する。即ち、第1の実施形態では、撮像装置200の撮影条件に応じて電圧Vqncの値を変化させたのに対して、第2の実施形態では、撮像素子100の状態である照度そのものを参照して電圧Vqncの値を変化させている。
【0060】
ステップS901では、撮像素子100の照度を計測するために、測光素子210を駆動する。ステップS902では、測光素子210の出力信号を照度解析部211が解析することによって、撮像素子100の照度を算出する。ステップS903では、照度解析部211から得られる照度情報を判断して、100ルクス以上である場合はステップS904に進み、10ルクス以上かつ100ルクス未満である場合はステップS905に進み、10ルクス未満である場合はステップS906に進む。
【0061】
ステップS904~S906では、電圧制御部130が照度情報に応じて電圧Vqncの値を制御する。ここでは、照度100ルクス以上の場合には電圧Vqnc=0.0V、照度10ルクス以上100ルクス未満の場合には電圧Vqnc=1.0V、照度10ルクス未満の場合には電圧Vqnc=2.0Vとする。これにより、照度が高い時の信号パルス幅を相対的に短く、照度が低い時の信号パルス幅を相対的に長く制御する。
図9では、照度として、3つに区切ったテーブルを例として示したが、より細かくテーブルを刻んでもよいし、更に高い、あるいは低い領域の照度についても同様に制御してもよい。
【0062】
ステップS907では、ユーザによってレリーズボタンが押下されたか否かを判断する。レリーズボタンが押下されない限りはステップS901に戻り、ステップS901~S906を所定の時間周期で繰り返す。ユーザによってレリーズボタンが押下された場合は、ステップS908に進む。
【0063】
ステップS908では、各画素120のカウント値を得るために
図1で説明した様に撮像素子100を駆動させる。この時、電圧制御部130はVqncをステップS904~S906で決定した電圧に制御して、撮像素子100は駆動される。ステップS909では、撮像素子100のDFE160から出力された各画素120のカウント値が画像処理部209に入力され、さらに画像処理部209でISO感度設定に基づくゲイン処理を行い、画像データが生成される。
【0064】
ステップS910では、全体制御・演算部201が、生成された画像データを表示部203に出力し、撮影した画像を表示させる。また、記録部204に画像データを記録する。
【0065】
上記の様に、第2の実施形態の撮像素子100では、撮像素子100が低照度状態である場合、信号パルス幅を長く(即ち電圧Vqncの値を大きく)制御することによって、アフターパルスの誤カウントが低減してリニアリティが改善される。撮像素子100が低照度状態であれば、カウントレートが単調増加する照度範囲が狭まっても影響が少ない。また、撮像素子100が高照度状態である場合、信号パルス幅を短く(即ち電圧Vqncの値を小さく)して、カウントレートが高照度側まで単調増加する様に制御している。この様な制御方法によって、この第2の実施形態の撮像素子100では、リニアリティを改善することができる。
【0066】
なお、上記の第2の実施形態の説明においては、撮像素子の状態として照度を例に挙げて、信号パルス幅を制御する駆動方法について説明したが、本発明はこれに限定されるものではない。例えば、画素120のカウント値を基に照度を推定して、推定された照度を基に電圧Vqncの値を変化せてもよい。例えば、本撮影の駆動の前に、予備撮影として、所定の露光時間で光子をカウントした後のカウント値を読み出すことで、照度解析部211が撮像素子100の照度を推定することができる。
【0067】
また、予備撮影を行わずに、静止画連続撮影時または動画撮影時の前のフレームのカウント値を用いて、照度解析部211が照度を推定することもできる。そのため、第2の実施形態において測光素子210は必ずしも必要ではない。そして、この様な駆動制御によって、1フレーム期間における所定の蓄積時間の途中で、電圧Vqncの値を変化させることもできる。
図10を用いて、その例について説明する。
【0068】
図10は、本実施形態の撮像素子100の1フレーム期間のタイミングチャートを示している。
【0069】
時刻t1001から時刻t1002の期間で、全体制御・演算部201が同期パルスVDをHighにすると、TG140は信号パルスRESをHighにする。この時、カウンタ124がリセットされる。また時刻t1001で、電圧制御部130は、電圧Vqncを0.0Vに制御する。
【0070】
時刻t1003から時刻t1006は、蓄積期間である。蓄積期間において、光子カウンタ124は、ノードPLSdの信号パルスの立ち上がりを検出してその数をカウントする。具体的には、時刻t1003で、TG140は、信号パルスRESをLowにする。この時、カウンタ124は、リセットが解除されて、SPAD121に入射した光子に伴って出力される信号パルスのカウントを開始する。
図10のカウント値が示す信号パルスの中に記した数字0~9、及びアルファベットは、画素120の光子カウント値を16進数で例示している。
【0071】
蓄積期間の途中、所定の時刻t1004から時刻t1005の期間で、TG140が信号パルスSELnをHighにする。この時、画素120に時刻t1003から時刻t1004の期間に入射した光子数であるカウント値が読み出されて全体制御・演算部201に出力される。全体制御・演算部201では、時刻t1003から時刻t1004の期間に入射した光子数であるカウント値に基づいて、照度解析部211が撮像素子の照度を推定して電圧制御部130に出力する。但しカウンタ124は、時刻t1004までのカウント値はリセットせずに、時刻t1006までカウントを継続する。
【0072】
時刻t1005で、電圧制御部130は、推定された照度に従って、
図9で説明した様に電圧Vqncの値を変化させる。
図10では、時刻t1005において、照度が10ルクス未満と推定されたことにより電圧Vqnc=2.0Vに制御する例を示している。従って、時刻t1005以降から時刻t1006までの蓄積期間は、リニアリティを改善させた駆動とすることができる。
【0073】
時刻t1006で、TG140が信号パルスSELnをHighにすると、蓄積期間中にカウンタ124がカウントしたカウント値が列メモリ150に読み出され、さらに後段のDFE160に出力される。時刻t1007までに、全ての行が走査されて、画素120のカウント値が読み出されると、1フレーム期間が終了する。
【0074】
この様に、1フレーム期間における所定の蓄積時間の途中で、カウント値に基づいて照度を推定することによって、予備撮影や前のフレームのカウント値を参照せずとも、電圧Vqncの値を変化させて信号パルスの幅を制御することができる。
【0075】
また、例えば撮像素子100の温度に応じて、信号パルス幅を制御してもよい。つまり、電圧制御部130は、温度計測部170が出力した撮像素子100の温度情報に基づいて、電圧Vqncの値を制御する構成にすることもできる。アフターパルスの原因である「結晶欠陥にキャリアが捕獲→放出される」現象は、撮像素子がより高温の状態で活発に起きる。従って、撮像素子100が高温の状態では、アフターパルスによるリニアリティやランダムノイズの悪化が起き易くなる。そこで、電圧制御部130が、撮像素子100の温度状態をさらに加味してVqncを制御すれば、温度毎にリニアリティを改善したさらに良好な画質を得ることができる。
【0076】
ところで、
図9では、撮像素子100の照度として、画素部110の面内で一つの値(例えば画素部全体の平均的な照度)を参照して、電圧Vqncの値を制御する例を説明した。その一方で、
図1における電圧制御部130を画素部110内の所定領域または画素毎に複数備えることによって、所定領域または画素毎で異なる信号パルス幅に制御することもできる。ここで、
図11~
図13を参照して、所定領域または画素毎に異なる信号パルス幅の制御を行う第2の実施形態の変形例1~変形例3について説明する。
【0077】
図11は、第2の実施形態の変形例1による領域分割方法を例示している。
図11における外枠の撮像領域1101が画素部110の領域と対応しており、背景の画は撮影するシーンの例である。分割領域1102は、撮像領域1101を分割した1つの領域を示している。分割領域1102の中にも、さらに複数の画素120が行列状に配置されていることになる。分割領域1102は、水平方向7つ、垂直方向5つに領域分割した例を図示したが実際にはさらに細分化してあってもよい。
図11において、分割領域1102の中に記した(0,0)、(0,1)、(0,2)…は、分割領域1101の中のアドレスを示している。
【0078】
第2の実施形態の変形例1は、測光素子210が分割領域1102毎の照度を測定し、電圧制御部130が各分割領域1102の照度に応じて、
図9と同様に電圧Vqncの値を制御することが特徴である。例えば、分割領域(0,0)の照度が500ルクスである場合、電圧制御部130は、
図9に従って、分割領域(0,0)内の複数の画素120に対して電圧Vqncを0.0Vに制御する。また、例えば、分割領域(1,1)の照度が50ルクスである場合、電圧制御部130は、分割領域(1,1)内の複数の画素120に対して電圧Vqncを1.0Vに制御する。
【0079】
この様に、第2の実施形態の変形例1では、測光素子210が分割領域1102毎の照度を測定し、電圧制御部130が各分割領域1102の照度に応じて、電圧Vqncの値を制御する。この駆動制御によって、輝度差のある被写体が撮影シーンの中に混在していても、各領域でリニアリティを改善した良好な画質を得ることができる。
【0080】
図12は、第2の実施形態の変形例2を説明するための、撮像素子100の画素部110におけるカラーフィルタの配置を示した図である。
図12における外枠の撮像領域1201が、画素部110の領域と対応している。カラーフィルタ1202a~1202dは、それぞれ単位画素120の光が入射する側に配置された透過型フィルタである。
図12において、R、G、Bを付した各々のカラーフィルタが異なる波長の光を透過する材料を用いて構成されている。ここで、Rは主に波長600~700nmの赤色の光を透過し、Gは主に波長500~570nmの緑色の光を透過し、Bは主に波長450~500nmの青色の光を透過する様に構成されている。
図12では、カラーフィルタ配置の例として、ベイヤー配列として知られる配置パターンを示した。
【0081】
第2の実施形態の変形例2は、各画素120に配置されたカラーフィルタ1202の透過する波長に応じて、電圧制御部130が電圧Vqncの値を制御することが特徴である。カラーフィルタは透過させる波長によって透過率が異なる。従って、電圧制御部130が、カラーフィルタの色毎の透過率をさらに加味して電圧Vqncの値を制御すれば、カラーフィルタの色毎にリニアリティを改善したさらに良好な画質を得ることができる。
【0082】
図13は、第2の実施形態の変形例3による領域分割方法を例示している。
図13における外枠の撮像領域1301が、画素部110の領域と対応している。
図13(a)における分割領域1302a、1303a、1304aは、撮像領域1301を同心円状の3つの領域に分割した領域である。同様に、
図13(b)における分割領域1302b、1303b、1304bは、
図13(a)よりも大径の同心円で3つに分割された領域である。各分割領域1302a~1304a、1302b~1304bの中にも、さらに複数の画素120が行列状に配置されていることになる。
図13では、同心円状に3つに領域分割した例を図示したが実際にはさらに細分化してあってもよい。
【0083】
第2の実施形態の変形例3では、撮像領域1301の光軸中心から周辺に向かって照度が低下する所謂周辺光量落ちに鑑みて、電圧制御部130が、像高によって区切られた領域毎に電圧Vqncの値を制御することが特徴である。例えば、電圧制御部130は、分割領域1302aに含まれる画素120に対して電圧Vqncを0.0Vに制御し、分割領域1303aに含まれる画素120に対して電圧Vqncを1.0Vに制御し、分割領域1304aに含まれる画素120に対して電圧Vqncを2.0Vに制御する。この駆動制御によって、画面の中央から周辺部の各領域でリニアリティを改善した良好な画質を得ることができる。
【0084】
さらに、光学系206の絞りの制御値(F値)に応じて領域分割方法を変えてもよい。即ち、絞りを絞った(F値が大きい)撮影条件では、周辺光量落ちが軽減されるため、
図13(b)の様なF値に応じた領域分割方法を適用すれば、さらに画質を良くすることができる。例えば、電圧制御部130は、分割領域1302bに含まれる画素120に対して電圧Vqncを0.0Vに制御し、分割領域1203bに含まれる画素120に対して電圧Vqncを1.0Vに制御し、分割領域1304bに含まれる画素120に対して電圧Vqncを2.0Vに制御する。
【0085】
なお、第2の実施形態の変形例1~変形例3では、領域ごとに電圧Vqncの値を制御するように説明したが、各画素を
図8に示したように構成し、領域ごとにカウンタ制御部822によりカウンタ821を制御するようにしてもよい。
【0086】
最後に、第1及び第2の実施形態の撮像素子100の半導体チップの構成例について、説明する。
図14は、撮像素子100の半導体チップ構造の例を示す模式図である。
【0087】
図14(a)は、撮像素子100が、2つの半導体チップの積層によって構成されていることを示す図である。また、
図14(b)は、画素120の各構成要素が、2つの半導体チップのどちらに配置されているのかを説明した図である。
【0088】
撮像素子100は、1つの画素120が多くの構成要素を含んでおり、特にカウンタ124は、多bitのデータを保持する構成であるため、回路規模が大きくなる。従って、撮像素子100は、複数の半導体チップを画素単位で接続した積層構造で実現されることが好ましい。
【0089】
図14(a)に示すように、撮像素子100は、不図示の光学系を通過した光を受ける上部基板1401と、主にデジタル系の回路を含む下部基板1402から構成されている。上部基板1401側の画素部1403は、
図14(b)に示すように、各画素120のSPAD121と、クエンチ素子122と、インバータ123を含んでいる。一方、下部基板1402側の画素部1404は、各画素120のカウンタ124、読み出しスイッチ125、列出力線126を含んでいる。また、TG140、列メモリ150、DFE160は、上部基板1401の周辺回路部1405または下部基板1402の周辺回路部1406のいずれかに含まれている。
図14では、一例として、これら(TG140、列メモリ150、DFE160)が、下部基板1402の周辺回路部1406に配置されている例を示している。
【0090】
この様に構成することで、撮像素子100は、SPAD121に光子を入射させるための十分な開口面積を上部基板1401側の画素部1403に確保しつつ、下部基板1402側ではカウンタ124に多bitの信号データを保持させるための回路面積を確保することができる。また、インバータ123は上部基板1401側の画素部1403に配置することによって、上部基板1401から下部基板1402への信号伝送は波形整形された信号パルス(ノードPLSd)で比較的ロバストに伝送可能である。
【0091】
但し、撮像素子100の半導体チップ構造は、目的・用途に応じて自由に変えることができる。例えば、3つ以上の半導体チップの積層構造としてもよく、あるいは単一チップで構成してもよい。また、複数の各半導体チップは、異なるプロセスルールに従って製造されてもよい。
【0092】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【0093】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0094】
100:撮像素子、110:画素部、130:電圧制御部、140:TG、150:列メモリ、160:DFE、170:温度計測部、120a~120d:画素、121:SPAD、122:クエンチ素子、123:インバータ、124:カウンタ、125読み出しスイッチ、126A~126B:列出力線