特開 2024-147300 固体撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024147300

(43)【公開日】2024-10-16

(54)【発明の名称】固体撮像装置

(51)【国際特許分類】

   H04N 25/707 20230101AFI20241008BHJP

   H04N 25/70 20230101ALI20241008BHJP

【ＦＩ】

H04N25/707

H04N25/70

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023060225

(22)【出願日】2023-04-03

(71)【出願人】

【識別番号】000236436

【氏名又は名称】浜松ホトニクス株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100140442

【弁理士】

【氏名又は名称】柴山 健一

(74)【代理人】

【識別番号】100110582

【弁理士】

【氏名又は名称】柴田 昌聰

(72)【発明者】

【氏名】宅見 宗則

(72)【発明者】

【氏名】内田 圭祐

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CY26

5C024GX03

5C024GY31

5C024GY39

5C024HX17

5C024HX29

5C024HX32

5C024HX50

5C024JX09

(57)【要約】

【課題】消費電力および信号伝送帯域の双方の低減をすることができるイベントドリブン型の固体撮像装置を提供する。
【解決手段】固体撮像装置１Ａは、受光部１０Ａ、読出部２０、選択部３０、カウンタ群４０Ａ、処理部５０および制御部６０Ａを備える。受光部１０ＡはＮ個の画素１２Ａを含む。カウンタ群４０ＡはＭ個のカウンタを含む。各画素１２Ａは、イベントを検出してイベント信号を出力する。選択部３０は、各画素および各イベント情報とカウンタとの間の対応関係に基づいて、イベント信号を出力した画素およびイベント種類に対応する複数のカウンタを選択し、その選択した複数のカウンタにイベント信号を入力させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

各々光の入射に基づいてＫ種類のイベントを検出してイベント検出を表すイベント信号を出力するＮ個の画素が配列された受光部と、
各々前記イベント信号の入力に基づいてイベント検出数をカウントするＭ個のカウンタを含むカウンタ群と（ただし、１＜Ｍ＜ＮＫ）、
前記Ｎ個の画素のうちの各画素および前記Ｋ種類のイベントのうちの各イベント種類と、前記Ｍ個のカウンタのうちの複数のカウンタと、の間の対応関係に基づいて、前記イベント信号を出力した画素およびイベント種類に対応する複数のカウンタを選択し、その選択した複数のカウンタに前記イベント信号を入力させる選択部と、
を備える固体撮像装置。

【請求項2】

前記選択部は、各画素の位置情報に基づいて該画素に対応する複数のカウンタを選択する回路を含む、
請求項１に記載の固体撮像装置。

【請求項3】

前記選択部は、各画素と該画素に対応する複数のカウンタとを電気的に接続する固定配線を含む、
請求項１に記載の固体撮像装置。

【請求項4】

前記受光部は複数のエリアに区分され、前記複数のエリアそれぞれについて前記カウンタ群が設けられている、
請求項１に記載の固体撮像装置。

【請求項5】

前記Ｎ個の画素それぞれは、該画素に入射した光に関するイベントを検出する、
請求項１に記載の固体撮像装置。

【請求項6】

前記Ｎ個の画素それぞれは、該画素内の電気信号に関するイベントを検出する、
請求項１に記載の固体撮像装置。

【請求項7】

前記選択部における画素とカウンタとの間の対応関係および前記Ｍ個のカウンタそれぞれのカウント値に基づいて、圧縮センシング技術により、前記受光部に入射した光の像または該像の変化を再構成する処理部を更に備える、
請求項１に記載の固体撮像装置。

【請求項8】

前記選択部における画素とカウンタとの間の対応関係および前記Ｍ個のカウンタそれぞれのカウント値に基づいて、機械学習ユニットによって推論する処理部を更に備える、
請求項１に記載の固体撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、固体撮像装置に関するものである。

【背景技術】

【0002】

固体撮像装置は、一般に、光入射に応じて信号を出力する複数の画素が配列された受光部を備え、これら複数の画素それぞれからの出力信号に基づいて、受光部に入射した光の像を取得することができる。

【0003】

圧縮センシングを用いる撮像技術も知られている（特許文献１、非特許文献１）。この撮像技術は、複数のマスクパターン（圧縮パターン）それぞれについて、該マスクパターンにより受光部の複数の画素のうちから幾つかの画素を選択し、その選択した幾つかの画素それぞれから出力される信号の和を求める。そして、複数のマスクパターンそれぞれについて求めた信号の和に基づいて所要の演算を行うことで、受光部に入射した光の像を再構成することができる。この技術は、複数のマスクパターンを順次に切り替えて出力信号の和を求める必要があることから、像の再構成に必要なデータを取得するのに要する時間が長く、光の像の変化が速い場合にはモーションブラーが発生する。これを回避するにはフレームレートを速くする必要があるが、その場合には消費電力が増大する。

【0004】

イベントドリブン型の固体撮像装置も知られている（特許文献２，３、非特許文献２）。この固体撮像装置では、受光部に配列された複数の画素それぞれは、イベント（例えば入射光強度の変化）を検出すると、該イベントを検出した旨を表すイベント信号を出力する。複数の画素それぞれは、イベントを検出しなければイベント信号を出力しない。この固体撮像装置では、受光部に配列された複数の画素のうちイベントを検出した画素のみが、非同期で該画素の位置を示す位置信号およびイベント信号を後段の処理部へ出力する。そして、画素の位置信号およびイベント信号を受けた処理部により、受光部に入射した光の像の変化を求めることができる。この固体撮像装置は、撮像の対象によっては消費電力を低減することができると期待される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－１１２３６４号公報

【特許文献2】特表２０２２－５４８１９９号公報

【特許文献3】特表２０２１－５２４７０５号公報

【非特許文献】

【0006】

【非特許文献1】L. Jacques, et al, "CMOScompressed imaging by Random Convolution," in 2009 IEEE InternationalConference on Acoustics, Speech and Signal Processing, (IEEE, 2009).

【非特許文献2】Thomas Finateu, et al, "A1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensorwith 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller andCompressive Data-Formatting Pipeline," ISSCC 2020 / SESSION 5 / IMAGERSAND ToF SENSORS / 5.10

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来のイベントドリブン型の固体撮像装置では、複数の画素それぞれがイベントを検出すると位置信号およびイベント信号を後段の処理部へ伝送することから、それらの信号の伝送に必要な帯域が大きい。

【0008】

本発明は、上記問題点を解消する為になされたものであり、消費電力および信号伝送帯域の双方の低減をすることができるイベントドリブン型の固体撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の固体撮像装置の第１態様は、(1) 各々光の入射に基づいてＫ種類のイベントを検出してイベント検出を表すイベント信号を出力するＮ個の画素が配列された受光部と、(2) 各々イベント信号の入力に基づいてイベント検出数をカウントするＭ個のカウンタを含むカウンタ群と（ただし、１＜Ｍ＜ＮＫ）、(3) Ｎ個の画素のうちの各画素およびＫ種類のイベントのうちの各イベント種類と、Ｍ個のカウンタのうちの複数のカウンタと、の間の対応関係に基づいて、イベント信号を出力した画素およびイベント種類に対応する複数のカウンタを選択し、その選択した複数のカウンタにイベント信号を入力させる選択部と、を備える。

【0010】

本発明の固体撮像装置は、次のような態様としてもよい。

【0011】

第２態様では、第１態様に加えて、選択部は、各画素の位置情報に基づいて該画素に対応する複数のカウンタを選択する回路を含む。

【0012】

第３態様では、第１態様に加えて、選択部は、各画素と該画素に対応する複数のカウンタとを電気的に接続する固定配線を含む。

【0013】

第４態様では、第１～第３の態様の何れかに加えて、受光部は複数のエリアに区分され、複数のエリアそれぞれについてカウンタ群が設けられている。

【0014】

第５態様では、第１～第４の態様の何れかに加えて、Ｎ個の画素それぞれは、該画素に入射した光に関するイベントを検出する。

【0015】

第６態様では、第１～第５の態様の何れかに加えて、Ｎ個の画素それぞれは、該画素内の電気信号に関するイベントを検出する。

【0016】

第７態様では、第１～第６の態様の何れかに加えて、固体撮像装置は、選択部における画素とカウンタとの間の対応関係およびＭ個のカウンタそれぞれのカウント値に基づいて、圧縮センシング技術により、受光部に入射した光の像または該像の変化を再構成する処理部を更に備える。

【0017】

第８態様では、第１～第６の態様の何れかに加えて、固体撮像装置は、選択部における画素とカウンタとの間の対応関係およびＭ個のカウンタそれぞれのカウント値に基づいて、機械学習ユニットによって推論する処理部を更に備える。

【発明の効果】

【0018】

本発明によれば、消費電力および信号伝送帯域の双方の低減をすることができるイベントドリブン型の固体撮像装置を提供することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、第１実施形態の固体撮像装置１Ａの構成を示す図である。

【図2】図２は、第１実施形態の固体撮像装置１Ａの各画素１２Ａの構成を示す図である。

【図3】図３は、フレームおよびサブフレームについて説明する図である。

【図4】図４は、第２実施形態の固体撮像装置１Ｂの構成を示す図である。

【図5】図５は、第２実施形態の固体撮像装置１Ｂの各エリア１１Ｂの構成を示す図である。

【図6】図６は、第２実施形態の固体撮像装置１Ｂの各画素１２Ｂの構成を示す図である。

【図7】図７は、第３実施形態の固体撮像装置の各画素１２Ｃの構成を示す図である。

【発明を実施するための形態】

【0020】

以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【0021】

図１は、第１実施形態の固体撮像装置１Ａの構成を示す図である。固体撮像装置１Ａは、受光部１０Ａ、読出部２０、選択部３０、カウンタ群４０Ａ、処理部５０および制御部６０Ａを備える。受光部１０Ａは、二次元状（図では８行１０列）に配列されたＮ個の画素１２Ａを含む。Ｎ個の画素１２Ａは一次元状に配列されていてもよい。カウンタ群４０Ａは、Ｍ個のカウンタを含む。受光部１０Ａ、読出部２０、選択部３０、カウンタ群４０Ａおよび処理部５０は、制御部６０Ａによる制御の下に動作する。

【0022】

図２は、第１実施形態の固体撮像装置１Ａの各画素１２Ａの構成を示す図である。この図は、各画素１２Ａの構成の説明に加えて、各画素１２Ａと読出部２０および制御部６０Ａとの間の関係について説明する図である。

【0023】

Ｎ個の画素１２Ａは共通の構成を有する。各画素１２Ａは、フォトダイオード８１、ＩＶ変換部８２、アンプ８３、比較部８４および出力部８５Ａを含む。フォトダイオード８１は、光の入射に応じて電荷を発生させて、電流信号をＩＶ変換部８２へ出力する。フォトダイオード８１から出力される電流信号の大きさ（単位時間当たりの電荷発生量）は、フォトダイオード８１に入射する光の強度に応じたものとなる。

【0024】

ＩＶ変換部８２は、フォトダイオード８１から出力された電流信号を入力して、その入力電流値に応じた値を有する電圧信号をアンプ８３へ出力する。アンプ８３は、ＩＶ変換部８２から出力された電圧信号を入力し、その入力した電圧信号を増幅して、その増幅後の電圧信号を比較部８４へ出力する。

【0025】

比較部８４は、アンプ８３から出力された電圧信号を入力して、その入力電圧値Ｖ_inと基準電圧値Ｖ_refとを大小比較する。比較部８４は、基準電圧値Ｖ_refに第１閾値Ｖ_th1を加えた値より入力電圧値Ｖ_inが大きいとき（Ｖ_ref＋Ｖ_th1＜Ｖ_in）に、プラスイベントが発生したと判断する。比較部８４は、基準電圧値Ｖ_refから第２閾値Ｖ_th2を減じた値より入力電圧値Ｖ_inが小さいとき（Ｖ_in＜Ｖ_ref－Ｖ_th2）に、マイナスイベントが発生したと判断する。比較部８４は、２種類のイベント（プラスイベント、マイナスイベント）の何れかが発生したと判断したとき、その旨を示すイベント信号を出力部８５Ａへ出力する。

【0026】

比較部８４における基準電圧値Ｖ_refは、制御部６０Ａからの指示により、固体撮像装置１Ａへの電源投入時にリセットされ、予め設定されたフレーム期間毎に更新される。また、比較部８４における基準電圧値Ｖ_refは、イベント信号を出力部８５Ａへ出力したときに更新される。この更新により、その時点での入力電圧値Ｖ_inが新たな基準電圧値Ｖ_refとされる。

【0027】

出力部８５Ａは、比較部８４からイベント信号を受け取ると、その画素に接続されているＹ-Ｒｅｑ線をHighにして制御部６０Ａへイベント信号出力要求を通知する。出力部８５Ａは、制御部６０ＡからＹ-Ａｃｋ線を介してイベント信号出力許可の通知を受け取ると、プラスイベント線またはマイナスイベント線を介してイベント信号を読出部２０へ出力し、Ｙ-Ｒｅｑ線をHigh-Zにする。このようにすることで、複数の画素から同時にイベント信号出力要求が出力されても、イベント信号出力許可の調停を行うことができるので、イベント信号出力の衝突を回避しつつイベント信号を読み出すことができる。

【0028】

Ｙ-Ｒｅｑ線およびＹ-Ａｃｋ線は、受光部１０Ａにおいて二次元状に配列されたＮ個の画素１２Ａのうち共通の行にある複数の画素１２Ａに対して１本ずつ設けられている。プラスイベント線およびマイナスイベント線は、受光部１０Ａにおいて二次元状に配列されたＮ個の画素１２Ａのうち共通の列にある複数の画素１２Ａに対して１本ずつ設けられている。

【0029】

図１に戻って説明を続ける。読出部２０は、受光部１０Ａにおいて二次元状に配列されたＮ個の画素１２Ａのうち、制御部６０Ａからイベント信号出力許可の通知を受け取った行にある画素１２Ａからの出力信号を、プラスイベント線またはマイナスイベント線を介して受け取る。そして、読出部２０は、そのうちイベント信号を出力した画素１２Ａを識別して、その画素のＸ方向の位置情報およびイベント信号を制御部６０Ａへ出力する。

【0030】

制御部６０Ａは、読出部２０から受け取った画素のＸ方向の位置情報およびイベント信号、ならびに、受光部１０ＡからＹ-Ｒｅｑ線を介して受け取った画素のＹ方向の位置情報から、イベントを検出した画素のＸＹ位置情報（画素アドレス）を把握することができ、また、その画素で検出されたイベントの種類（プラスイベントおよびマイナスイベントの何れであるか）を把握することができる。

【0031】

選択部３０は、受光部１０ＡのＮ個の画素１２Ａのうちの各画素および各イベント情報とカウンタ群４０ＡのＭ個のカウンタのうちの複数のカウンタとの間の対応関係に基づいて、イベント信号を出力した画素およびイベント種類に対応する複数のカウンタを選択し、その選択した複数のカウンタにイベント信号を入力させる。選択部３０は、各画素のＸＹ位置情報（画素アドレス）およびイベント種類に基づいて、対応する複数のカウンタを選択するデコード回路を含む構成とすることができる。

【0032】

本実施形態では、イベント種類としてプラスイベントおよびマイナスイベントの２つがあるので、選択部３０は、各画素のＸＹ位置情報（画素アドレス）およびイベント種類（プラスイベントおよびマイナスイベントの何れであるか）に基づいて、対応する複数のカウンタを選択する。換言すれば、カウンタ群４０Ａに含まれる各カウンタは、対応する画素から、対応するイベント種類のイベント信号が入力される。図１には、例として、カウンタ群４０Ａに含まれる或る一つのカウンタに対応する画素がハッチングで示されている。

【0033】

画素およびイベント種類とカウンタとの間の対応関係は、事前に最適な組み合わせが決定されいればよく、また、アダマール行列などによって決定されていてもよい。各カウンタは、受光部１０Ａにおける特定エリア内の画素と対応していてもよい。ただし、各画素の各イベント種類は複数のカウンタに対応している必要がある。

【0034】

カウンタ群４０Ａの各カウンタは、対応付けられた画素からのイベント信号に基づいてイベント検出数をカウントする。カウンタ群４０Ａの各カウンタは、各フレーム期間の最後にカウント値を処理部５０へ出力し、その後にカウント値をリセットする。

【0035】

処理部５０は、選択部３０における画素およびイベント種類とカウンタとの間の対応関係およびカウンタ群４０Ａの各カウンタのカウント値に基づいて、圧縮センシング技術により、受光部１０Ａに入射した光の像の変化を再構成する。この場合、処理部５０は、例えば圧縮センシングによる画像再構成アルゴリズムが実装されたデジタル回路等によって構成されていてもよい。或いは、処理部５０は、選択部３０における画素およびイベント種類とカウンタとの間の対応関係およびカウンタ群４０Ａの各カウンタのカウント値に基づいて、機械学習ユニットによって推論してもよい。この推論により、受光部１０Ａに入射した光の像の変化を再構成したり評価したりしてもよく、また、この評価結果から撮像対象の状態（例えば画像中の転倒者の発生など）を判断してもよい。機械学習ユニットは、ニューラルネットワークや、リザバーコンピューティング等の推論モデルが実装されたＡＩチップを含んでいてもよい。

【0036】

処理部５０は、圧縮センシング技術により、受光部１０Ａに入射した光の像の変化を再構成する場合、次のような処理を行う。測定データ（Ｍ個のカウンタ値）をベクトルｙで表し、再構成したい画像をベクトルｘで表し、観測行列をΦとすると、これらの間の関係は下記（１）式で表される。測定データベクトルｙ（下記（２）式）の要素ｙ_ｍは、Ｍ個のカウンタのうちの第ｍカウンタのカウント値ｙ_ｍである。画像ベクトルｘ（下記（３）式）の要素ｘ_ｎ,ｋは、二次元配列されたＮ個の画素の位置を一次元の変数ｎで表して、第ｎ画素におけるＫ種類のイベントのうちの第ｋ種のイベントの発生数を表す。本実施形態では、Ｋ＝２である。

【0037】

【数1】

【0038】

【数2】

【0039】

【数3】

【0040】

観測行列Φ（下記（４）式）の要素φ_ｍ,ｎ,ｋは、選択部３０において第ｍカウンタ、第ｎ画素および第ｋ種イベントが対応付けられているか否かによって、異なる値をとる。例えば、第ｍカウンタ、第ｎ画素および第ｋ種イベントが対応付けられている場合、φ_ｍ,ｎ,ｋ≠０である。逆に、第ｍカウンタ、第ｎ画素および第ｋ種イベントが対応付けられていない場合、φ_ｍ,ｎ,ｋ＝０である。

【0041】

【数4】

【0042】

再構成したい画像ベクトルｘの要素数ＮＫに対して、測定データベクトルｙの要素数Ｍが小さく、１＜Ｍ＜ＮＫなる関係がある。画像ベクトルｘの再構成は劣決定問題である。したがって、実際に解くべき式は、下記（５）式または（６）式で表される最適化問題となる。

【0043】

【数5】

【0044】

【数6】

【0045】

この最適化問題を解くことにより、画像ベクトルｘを再構成することができる。一部の少数の画素でイベントが発生するような撮像対象の場合は、スパース性があると考えられることから、最適化問題を解くことができる。なお、例えば、求める行列に対してtotal variation等の変換を行ってスパースとしてもよい。

【0046】

例えば、画素数Ｎを1024x1024＝1,048,576とし、イベント種類数Ｋを２とし、各画素・各イベント種類に対して対応付けられるカウンタの個数を１６とすると、カウンタの総数Ｍを262,144とすることができる。従来のイベントドリブン型の固体撮像装置では、Ｎ個の画素それぞれについてＫ個のイベント種類の情報を処理部に伝送する必要がある。これに対して、本実施形態の固体撮像装置では、Ｍ（＝262,144）個のカウンタのカウント値の情報を処理部に伝送すればよいので、従来と比べて信号伝送帯域を低減することができる。また、本実施形態の固体撮像装置は、イベントドリブン型であるので、消費電力を低減することができる。また、撮像対象がよりスパースなものであれば、カウンタ個数Ｍは更に少なくてもよい。

【0047】

更に他のイベント情報を付加することも可能である。例えば、制御部６０Ａは、予め決められた一定期間を１フレームとするだけでなく、タイマで更に細かいサブフレームに区切ってもよい。図３は、フレームおよびサブフレームについて説明する図である。この図では、プラスイベントを上向き矢印で示し、マイナスイベントを下向き矢印で示している。この図に示されるように各フレームを三つのサブフレームに区切る場合、三つのサブフレームそれぞれについて２種類のイベント（プラスイベント、マイナスイベント）があるので、各フレームのイベント種類数Ｋは６となる。再構成する画像ベクトルｘは、各画素のサブフレーム情報を含むベクトルとなり、時間分解能が向上する。

【0048】

次に、第２実施形態の固体撮像装置１Ｂについて図４～図６を用いて説明する。第１実施形態の固体撮像装置１Ａの構成と相違する点について主に説明する。

【0049】

図４は、第２実施形態の固体撮像装置１Ｂの構成を示す図である。固体撮像装置１Ｂは、受光部１０Ｂ、処理部５０および制御部６０Ｂを備える。受光部１０Ｂは、二次元状（図では８行１０列）に配列された複数のエリア１１Ｂに区分されている。複数のエリア１１Ｂは一次元状に配列されていてもよい。受光部１０Ｂおよび処理部５０は、制御部６０Ｂによる制御の下に動作する。

【0050】

図５は、第２実施形態の固体撮像装置１Ｂの各エリア１１Ｂの構成を示す図である。各エリア１１Ｂは、二次元状（図では８行８列）に配列された複数の画素１２Ｂを含む。複数の画素１２Ｂは一次元状に配列されていてもよい。各エリア１１Ｂに対して、複数のカウンタ４１を含むカウンタ群４０Ｂが設けられている。この実施形態では、選択部は、各画素と該画素に対応する複数のカウンタとを電気的に接続する固定配線３０Ｂを含む。この図では、カウンタ群４０Ｂに含まれる各カウンタ４１に対して固定配線で接続される画素がハッチングで示されている。固定配線３０Ｂによる画素およびイベント種類とカウンタとの間の対応関係は、事前に最適な組み合わせが決定されいればよく、また、アダマール行列などによって決定されていてもよい。固定配線３０Ｂは、カウンタ４１の個数と同数だけある。また、画素１２Ｂ間のイベント信号出力の衝突を避けるため、各エリア１１Ｂにおいて、例えば、隣接する上・左・左上画素を優先する、などの機能を追加してもよい。

【0051】

図６は、第２実施形態の固体撮像装置１Ｂの各画素１２Ｂの構成を示す図である。各画素１２Ｂは、フォトダイオード８１、ＩＶ変換部８２、アンプ８３、比較部８４および出力部８５Ｂを含む。図２に示された第１実施形態の各画素１２Ａの構成と比較すると、この図６に示される第２実施形態の各画素１２Ｂは、出力部８５Ａに替えて出力部８５Ｂを含む点で相違する。出力部８５Ｂは、制御部６０Ｂとの間で、Ｙ-Ｒｅｑ線を介してイベント信号出力要求を通知する必要はなく、Ｙ-Ａｃｋ線を介してイベント信号出力許可の通知を受ける必要もない。各エリア１１Ｂのカウンタ値は電源投入時にリセットされ、フレーム毎に全エリアのカウンタ値がローリングシャッタ方式またはグローバルシャッタ方式で順次読み出され、再度リセットが行われる。

【0052】

処理部５０は、圧縮センシング技術により、受光部１０Ｂに入射した光の像の変化を再構成する場合、受光部１０Ｂ全体、または複数のエリア１１Ｂそれぞれ、または複数のエリア１１Ｂの任意の組み合わせごとについて、上記（１）式～（６）式による最適化問題を解けばよい。例えば、各エリア１１Ｂに含まれる画素１２Ｂの個数Ｎを8x8＝６４とし、イベント種類数Ｋを２とし、各エリア１１Ｂにおいて各画素・各イベント種類に対して対応付けられるカウンタの個数を１６とすることができる。また、エリア１１Ｂの個数を128x128とすることができる。本実施形態の固体撮像装置でも、262,144個のカウント値の情報を処理部に伝送すればよいので、従来と比べて信号伝送帯域を低減することができる。また、本実施形態の固体撮像装置は、イベントドリブン型であるので、消費電力を低減することができる。また、撮像対象がよりスパースなものであれば、カウンタ個数Ｍは更に少なくてもよい。

【0053】

次に、第３実施形態の固体撮像装置について説明する。第２実施形態の固体撮像装置１Ｂの構成と相違する点について主に説明する。

【0054】

これまでに説明した第１実施形態の固体撮像装置１Ａおよび第２実施形態の固体撮像装置１Ｂでは、各画素は、入射光強度の増減をイベントとして検出した。これに対して、第３実施形態の固体撮像装置では、各画素は、該画素に含まれるキャパシタに蓄積される光電荷の量の増加をイベントとして検出する。第２実施形態の固体撮像装置１Ｂの構成と比べると、第３実施形態の固体撮像装置は、各画素の構成の点で相違する。

【0055】

図７は、第３実施形態の固体撮像装置の各画素１２Ｃの構成を示す図である。各画素１２Ｃは、フォトダイオード９１、トランジスタ９２、キャパシタ９３、比較部９４および出力部９５を含む。フォトダイオード９１のアノードは、接地電位供給端と接続されている。フォトダイオード９１のカソードは、トランジスタ９２を介して電源電位供給端と接続され、キャパシタ９３を介して接地電位供給端と接続され、また、比較部９４の二つの入力端のうち一方の入力端に接続されている。

【0056】

比較部９４は、キャパシタ９３の電位（フォトダイオード９１のカソードの電位）Ｖｃを一方の入力端に入力し、閾値電位Ｖthを他方の入力端に入力して、これら二つの電位Ｖｃ，Ｖthを大小比較する。比較部９４は、電位Ｖｃが閾値電位Ｖthより高いときに出力端の電位をＬレベルとし、電位Ｖｃが閾値電位Ｖth以下であるときに出力端の電位をＨレベルとする。比較部９４の出力端は、出力部９５に接続され、また、トランジスタ９２のゲートに接続されている。

【0057】

このように構成される画素１２Ｃにおいて、キャパシタ９３の蓄積電荷量は、制御部からの指示により、電源投入時にリセットされ、また、予め設定されたフレーム期間毎に更新される。光の入射に応じてフォトダイオード９１で発生した負電荷はキャパシタ９３に蓄積されていく。この負電荷の蓄積に伴って、電位Ｖｃは次第に低くなっていき、やがて、電位Ｖｃは閾値電位Ｖthより低くなる。電位Ｖｃが閾値電位Ｖthより低くなると、比較部９４の出力端はＬレベルからＨレベルに転じ、これによって、トランジスタ９２はオン状態となる。トランジスタ９２がオン状態となることで、キャパシタ９３の蓄積電荷量がリセットされ、比較部９４の出力端はＨレベルからＬレベルに戻る。

【0058】

すなわち、フォトダイオード９１において一定量の電荷が発生する度に、比較部９４の出力端からパルスが出力される。パルス発生頻度は入射光強度に応じたものとなる。このパルスは、キャパシタ９３に蓄積される光電荷の量の増加を表すイベント信号として、出力部９５を介してカウンタへ出力される。本実施形態では、イベント種類数Ｋは１である。

【0059】

処理部は、圧縮センシング技術により、受光部に入射した光の像を再構成する場合、受光部全体、または複数のエリアそれぞれ、または複数のエリアの任意の組み合わせごとについて、上記（１）式～（６）式による最適化問題を解けばよい。例えば、各エリアに含まれる画素１２Ｃの個数Ｎを8x8＝６４とし、イベント種類数Ｋを１とし、各エリアにおいて各画素に対して対応付けられるカウンタの個数を８とすることができる。また、エリアの個数を128x128とすることができる。本実施形態の固体撮像装置では、131,072個のカウント値の情報を処理部に伝送すればよいので、従来と比べて信号伝送帯域を低減することができる。また、本実施形態の固体撮像装置は、イベントドリブン型であるので、消費電力を低減することができる。また、撮像対象がよりスパースなものであれば、カウンタ個数Ｍは更に少なくてもよい。

【0060】

本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。各画素が検出するイベントは任意でよい。各画素は、該画素に入射した光の強度だけでなく、光の偏光状態や波長に関するイベントを検出してもよい。各画素は、該画素内の蓄積電荷量だけでなく、該画素内の電流信号または電圧信号に関するイベントを検出してもよい。処理部は、必ずしも固体撮像装置内に含まれている必要はなく、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）、或いはＳｏＣ（system on a chip）等を含み、固体撮像装置と接続されたハードウェアデバイスであってもよい。また、処理部は、固体撮像装置とネットワーク経由で接続されたクラウドデバイスであってもよい。

【符号の説明】

【0061】

１Ａ，１Ｂ…固体撮像装置、１０Ａ，１０Ｂ…受光部、１１Ｂ…エリア、１２Ａ～１２Ｃ…画素、２０…読出部、３０…選択部、４０Ａ，４０Ｂ…カウンタ群、４１…カウンタ、５０…処理部、６０Ａ，６０Ｂ…制御部、８１…フォトダイオード、８２…ＩＶ変換部、８３…アンプ、８４…比較部、８５Ａ，８５Ｂ…出力部、９１…フォトダイオード、９２…トランジスタ、９３…キャパシタ、９４…比較部、９５…出力部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】