特許 7638985 撮像装置及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-21

(45)【発行日】2025-03-04

(54)【発明の名称】撮像装置及び撮像方法

(51)【国際特許分類】

   H04N 25/47 20230101AFI20250225BHJP

   H04N 23/60 20230101ALI20250225BHJP

   H04N 25/533 20230101ALI20250225BHJP

【ＦＩ】

H04N25/47

H04N23/60

H04N25/533

【請求項の数】 13

(21)【出願番号】P 2022527612

(86)(22)【出願日】2021-04-28

(86)【国際出願番号】 JP2021017017

(87)【国際公開番号】W WO2021241120

(87)【国際公開日】2021-12-02

【審査請求日】2024-02-29

(31)【優先権主張番号】P 2020093556

(32)【優先日】2020-05-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(72)【発明者】

【氏名】児玉 和俊

【審査官】奥田 雄介

(56)【参考文献】

【文献】国際公開第２０２０／０６６８０３（ＷＯ，Ａ１）

【文献】特開２０１９－１３４２７１（ＪＰ，Ａ）

【文献】国際公開第２０２０／０６６４３２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／４７

Ｈ０４Ｎ ２５／５３３

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のうちの所定領域のノイズレベルに応じて閾値を設定する設定部と、
前記複数の光電変換素子で生成された前記電気信号の変化量が前記閾値を超えた場合に検出信号を検出する第１検出部と、
を備え、
前記設定部は、前記所定領域における前記光電変換素子で生成された前記電気信号の変化量の絶対値が、所定期間において前記閾値を超えた数に基づき、前記閾値を段階的に設定する、撮像装置。

【請求項2】

前記所定領域の前記光電変換素子は、遮光されており、
前記所定領域以外の前記光電変換素子は、それぞれが入射光を光電変換して前記電気信号を生成する、請求項１に記載の撮像装置。

【請求項3】

前記複数の光電変換素子は、２次元の行列状に配置されており、前記遮光されている遮光領域は、行単位の前記光電変換素子の配置、及び列単位の前記光電変換素子の配置の少なくとも一方に対応する、請求項２に記載の撮像装置。

【請求項4】

前記行単位の前記光電変換素子の配置、及び前記列単位の前記光電変換素子の配置は、前記２次元の行列状に配置された前記複数の光電変換素子の端部を含む、請求項３に記載の撮像装置。

【請求項5】

前記第１検出部は、前記電気信号の信号レベルが増大する方向の変化量の絶対値が第１閾値を超えたときに第１検出信号を検出するとともに、前記電気信号の信号レベルが減少する方向の変化量の絶対値が第２閾値を超えたときに第２検出信号を検出し、
前記設定部は、
前記所定領域における電変換素子で生成された前記電気信号の信号レベルが増大する方向の変化量の絶対値が、所定期間において前記第１閾値を超えた数に基づき、前記第１閾値を設定し、
前記所定領域における電変換素子で生成された前記電気信号の信号レベルが減少する方向の変化量の絶対値が、所定期間において前記第２閾値を超えた数に基づき、前記第２閾値を設定する、請求項１に記載の撮像装置。

【請求項6】

前記設定部は、時間経過にしたがい、前記閾値の変化率を減少させる、請求項１に記載の撮像装置。

【請求項7】

前記設定部は、前記閾値の変化率を減少させ、初期設定置に漸近させる、請求項６に記載の撮像装置。

【請求項8】

前記設定部は、前記閾値を第１段階の閾値に設定した後に、前記変化率を減少させ、所定の設定値に漸近させる、請求項６に記載の撮像装置。

【請求項9】

前記設定部は、所定期間において前記閾値を超えた数が所定値未満である場合に、前記閾値を変更しない、請求項１に記載の撮像装置。

【請求項10】

前記設定部は、前記複数の光電変換素子に対応する温度に応じて、前記閾値を設定する、請求項１に記載の撮像装置。

【請求項11】

前記設定部は、前記温度変化が大きくなるに従い、前記閾値の変化率を大きくする、請求項１０に記載の撮像装置。

【請求項12】

前記第１検出部は、前記所定領域の光電変換素子の前記電気信号を順繰りに読み出し、
前記設定部は、前記閾値を超えた前記検出信号の数を所定期間にわたってカウントする、請求項１に記載の撮像装置。

【請求項13】

遮光された光電変換素子のノイズレベルに応じて閾値を設定し、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子で生成された前記電気信号の変化量の絶対値が前記閾値を超えた場合に検出信号を検出する、撮像方法であって、
前記遮光された光電変換素子で生成された前記電気信号の変化量の絶対値が、所定期間において前記閾値を超えた数に基づき、前記閾値を段階的に設定する、撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置及び撮像方法に関する。

【背景技術】

【0002】

イベントドリブン方式の撮像装置の一つとして、ＤＶＳ（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）と呼ばれる非同期型の撮像装置が提案されている（例えば、特許文献１参照）。非同期型の撮像装置では、シーンの中で何らかのイベント（例えば、動き）が発生したときだけ、当該イベントによって生じる輝度レベルの変化した部分のデータの取得が行われる。従って、非同期型の撮像装置は、固定フレームレートで不必要に画像の全てのデータを取得する一般的な同期型の撮像装置よりも遥かに高速に画像データを取得することができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１７－５３５９９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＤＶＳは、感度に優れるため、撮像装置内の光電変換素子のノイズによる電気信号の変化にも反応してしまい、本来的には動きがないシーンであっても、イベントを発生させるおそれがある。また、本来は必要な無駄なイベントを発生させることにより、ＤＶＳの消費電力が増大してしまう。

【0005】

そこで、本開示では、無駄なイベントを発生させるおそれがない撮像装置及び撮像方法を提供するものである。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本開示によれば、光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のうちの所定領域のノイズレベルに応じて閾値を設定する設定部と、
前記複数の光電変換素子で生成された前記電気信号の変化量が前記閾値を超えた場合に検出信号を検出する第１検出部と、
を備える、撮像装置が提供される。

【0007】

前記所定領域の前記光電変換素子は、遮光されており、
前記所定領域以外の光電変換素子は、それぞれが入射光を光電変換して電気信号を生成してもよい。

【0008】

前記複数の光電変換素子は、２次元の行列状に配置されており、前記遮光されている遮光領域は、行単位の前記光電変換素子の配置、及び列単位の前記光電変換素子の配置の少なくとも一方に対応してもよい。

【0009】

前記行単位の前記光電変換素子の配置、及び前記列単位の前記光電変換素子の配置は、前記２次元の行列状に配置された前記複数の光電変換素子の端部を含のでもよい。

【0010】

前記設定部は、前記所定領域における光電変換素子で生成された前記電気信号の変化量の絶対値が、所定期間において前記閾値を超えた数に基づき、前記閾値を設定してもよい。

【0011】

前記第１検出部は、前記電気信号の信号レベルが増大する方向の変化量の絶対値が第１閾値を超えたときに第１検出信号を検出するとともに、前記電気信号の信号レベルが減少する方向の変化量の絶対値が第２閾値を超えたときに第２検出信号を検出し、
前記設定部は、
前記所定領域における電変換素子で生成された前記電気信号の信号レベルが増大する方向の変化量の絶対値が、所定期間において前記第１閾値を超えた数に基づき、前記第１閾値を設定し、
前記所定領域における電変換素子で生成された前記電気信号の信号レベルが減少する方向の変化量の絶対値が、所定期間において前記第２閾値を超えた数に基づき、前記２閾値を設定してもよい。

【0012】

前記設定部は、前記所定期間において前記閾値を超えた数に基づき、前記閾値を段階的に設定してもよい。

【0013】

前記設定部は、時間経過にしたがい、前記閾値の変化率を減少させてもよい。

【0014】

前記設定部は、前記閾値の変化率を減少させ、初期設定置に漸近させてもよい。

【0015】

前記設定部は、前記閾値を第１段階の閾値に設定した後に、前記変化率を減少させ、所定の設定値に漸近させてもよい。

【0016】

前記設定部は、前記所定期間において前記閾値を超えた数が所定値未満である場合に、前記閾値を変更しなくてもよい。

【0017】

設定部は、前記複数の光電変換素子に対応する温度に応じて、前記閾値を設定してもよい。

【0018】

前記設定部は、前記温度変化が大きくなるに従い、前記閾値の変化率を大きくしてもよい。

【0019】

前記第１検出部は、前記所定領域の光電変換素子の前記電気信号を順繰りに読み出し、
前記設定部は、前記閾値を超えた前記検出信号の数を所定期間にわたってカウントしてもよい。

【0020】

上記の課題を解決するために、本開示によれば、 遮光された光電変換素子のノイズレベルに応じて閾値を設定し、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子で生成された前記電気信号の変化量の絶対値が前記閾値を超えた場合に検出信号を検出する、撮像方法が提供される。

【図面の簡単な説明】

【0021】

【図1】本開示に係る技術が適用される撮像システムのシステム構成の一例を示すブロック図。

【図2】本開示の第１構成例に係る撮像装置の構成の一例を示すブロック図。

【図3】画素アレイ部の構成の一例を示すブロック図。

【図4】画素の回路構成の一例を示す回路図。

【図5】アドレスイベント検出部の第１構成例を示すブロック図。

【図6】遮光画素のアドレスイベント検出部の第１構成例を示すブロック図。

【図7】電流電圧変換部の構成の一例を示す回路図。

【図8】アドレスイベント検出部における減算器及び量子化器の構成の一例を示す回路図。

【図9】アドレスイベント検出部の第２構成例を示すブロック図。

【図10】遮光画素のアドレスイベント検出部の第２構成例を示すブロック図。

【図11】本開示の第２構成例に係る撮像装置の構成の一例を示すブロック図。

【図12】撮像装置の積層型のチップ構造の概略を示す分解斜視図。

【図13】第１構成例に係る撮像装置のカラム処理部の構成の一例を示すブロック図。

【図14】ノイズイベントと温度との関係を示す模式図。

【図15】閾値制御部の処理例を示すフローチャート。

【図16】並列処理における閾値制御部の処理例を示すフローチャート。

【図17】図１５及び図１６のステップＳ１０００の処理例を示すフローチャート。

【図18】図１７で示す処理例を模式的に示す図。

【図19】図１７で示す処理を３周期行った処理例を示す図。

【図20】第１閾値と、第２閾値とを独立に調整する処理例を示すフローチャート。

【図21】第１閾値と、第２閾値と、を独立に調整する処理例を模式的に示す図。

【図22】並列処理における第１閾値と、第２閾値とを独立に調整する処理例を示すフローチャート。

【図23】閾値を段階的に変更する例を示すフローチャート。

【図24】図２３で示す処理例を模式的に示す図。

【図25】第１閾値を段階的に変更する例を示すフローチャート。

【図26】第１閾値を段階的に変更する例を模式的に示す図。

【図27】第２閾値を段階的に変更する例を示すフローチャート。

【図28】第２閾値を段階的に変更する例を模式的に示す図。

【図29】不感帯を設けた例を示すフローチャート。

【図30】不感帯を設けた第２閾値を段階的に変更する例を模式的に示す図。

【図31】温度変化に応じて閾値の変更量を変更する例を示すフローチャート。

【図32】温度変化に応じて閾値の変更量を変更する例を模式的に示す図。

【図33】第１実施形態の変形例に係る撮像装置の構成を示すブロック図。

【図34】本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。

【図35】撮像部及び車外情報検出部の設置位置の例を示す図。

【発明を実施するための形態】

【0022】

以下、図面を参照して、撮像装置及び撮像方法の実施形態について説明する。以下では、撮像装置の主要な構成部分を中心に説明するが、撮像装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

【0023】

（第１実施形態）
図１は、本開示に係る技術が適用される撮像システムのシステム構成の一例を示すブロック図である。

【0024】

図１に示すように、本開示に係る技術が適用される撮像システム１０は、撮像レンズ１１、記録部１２、制御部１３及び、撮像装置２０、を備える構成となっている。この撮像システム１０は、本開示の電子機器の一例であり、当該電子機器としては、産業用ロボットに搭載されるカメラシステムや、車載カメラシステムなどを例示することができる。

【0025】

上記の構成の撮像システム１０において、撮像レンズ１１は、被写体からの入射光を取り込んで撮像装置２０の撮像面上に結像する。撮像装置２０は、撮像レンズ１１によって取り込まれた入射光を画素単位で光電変換して撮像データを取得する。この撮像装置２０として、後述する本開示の撮像装置が用いられる。

【0026】

撮像装置２０は、撮像した画像データに対して、画像認識処理等の所定の信号処理を実行し、その処理結果と、後述するアドレスイベントの検出信号（以下、単に「検出信号」と記述する場合がある）とを示すデータを記録部１２に出力する。アドレスイベントの検出信号の生成方法については後述する。記録部１２は、信号線１４を介して撮像装置２０から供給されるデータを記憶する。制御部１３は、例えば、マイクロコンピュータによって構成され、撮像装置２０における撮像動作の制御を行う。

【0027】

［第１構成例に係る撮像装置（アービタ方式）］
図２は、本開示に係る技術が適用される撮像システム１０における撮像装置２０として用いられる、第１構成例に係る撮像装置の構成の一例を示すブロック図である。

【0028】

図２に示すように、本開示の撮像装置としての第１構成例に係る撮像装置２０は、ＤＶＳと呼ばれる非同期型の撮像装置であり、画素アレイ部２１、駆動部２２、アービタ部（調停部）２３、カラム処理部２４、信号処理部２５、及び設定部２６を備える構成となっている。また、設定部２６は、カウント部２６ａと、閾値制御部２６ｂとを有する。

【0029】

上記の構成の撮像装置２０において、画素アレイ部２１には、複数の画素３０が行列状（アレイ状）に２次元配列されている。この行列状の画素配列に対して、画素列毎に、後述する垂直信号線ＶＳＬが配線される。

【0030】

複数の画素３０のそれぞれは、光電流に応じた電圧のアナログ信号を画素信号として生成する。また、複数の画素３０のそれぞれは、光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、アドレスイベントが生じた際に画素３０は、リクエストをアービタ部２３に出力する。

【0031】

また、画素アレイ部２１には、光を遮断する遮光領域２１ａが設けられている。一方で、遮光領域２１ａ以外の画素アレイ部２１には、受光領域２１ｂが設けられている。

【0032】

遮光領域２１ａは、例えば上端部における行単位の複数の画素３０に対応して設けられる。或いは、列単位の複数の画素３０に対応して設けてもよい。このように、遮光領域２１ａは、画素アレイ部２１の上端部、下端部、左端部、右端部の少なくともいずれかに、複数の画素３０を覆うように、設けられている。遮光領域２１ａの画素３０の構成は、光が入射しないことを除き、遮光領域２１ａ以外の画素３０と同等の構成である。これにより、遮光領域２１ａにおける複数の画素３０は、例えば暗時ノイズによる電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。また、本実施形態では、遮光領域２１ａの画素３０を遮光画素３０と称する場合がある。
温度センサ２１ｃは、画素アレイ部２１における複数の画素３０に対応する温度を取得し、温度情報を含む信号を設定部２６の閾値制御部２６ｂに供給する。

【0033】

駆動部２２は、遮光領域２１ａ以外の受光領域２１ｂに配置される複数の画素３０のそれぞれを駆動して、各画素３０で生成された画素信号をカラム処理部２４に出力させる。

【0034】

アービタ部２３は、複数の画素３０のそれぞれからのリクエストを調停し、調停結果に基づく応答を画素３０に送信する。アービタ部２３からの応答を受け取った画素３０は、検出結果を示す検出信号（アドレスイベントの検出信号）を駆動部２２及び信号処理部２５に供給する。画素３０からの検出信号の読出しについては、複数行読出しとすることも可能である。

【0035】

カラム処理部２４は、例えば、アナログ－デジタル変換器から成り、画素アレイ部２１の画素列毎に、その列の画素３０から出力されるアナログの画素信号をデジタル信号に変換する処理を行う。そして、カラム処理部２４は、アナログ－デジタル変換後のデジタル信号を信号処理部２５に供給する。

【0036】

信号処理部２５は、カラム処理部２４から供給されるデジタル信号に対して、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理や画像認識処理などの所定の信号処理を実行する。そして、信号処理部２５は、処理結果を示すデータと、アービタ部２３から供給される検出信号とを信号線１４を介して記録部１２（図１参照）に供給する。

【0037】

設定部２６は、アドレスイベントの有無を検出する際の閾値を設定する。この設定部２６は、例えば複数の遮光画素３０のノイズレベルに応じて閾値を設定する。カウント部２６ａは、遮光画素３０で発生したアドレスイベントをカウントする。

【0038】

閾値制御部２６ｂは、カウント部２６ａがカウントしたアドレスイベントの数に応じて、アドレスイベントの有無を検出する際の閾値を、後述するアドレスイベント検出部３３に設定する。閾値制御部２６ｂは例えばレジスタを有しており、レジスタによりアドレスイベントの閾値、及びアドレスイベントの発生数の閾値を設定することが可能である。なお、閾値制御部２６ｂの詳細は後述する。

【0039】

［画素アレイ部の構成例］
図３は、画素アレイ部２１の構成の一例を示すブロック図である。

【0040】

複数の画素３０が行列状に２次元配列されて成る画素アレイ部２１において、複数の画素３０のそれぞれは、受光部３１、画素信号生成部３２、及び、アドレスイベント検出部３３を有する構成となっている。

【0041】

上記の構成の画素３０において、受光領域２１ｂの受光部３１は、入射光を光電変換して光電流を生成する。そして、受光部３１は、駆動部２２（図２参照）の制御に従って、画素信号生成部３２及びアドレスイベント検出部３３のいずれかに、光電変換して生成した光電流を供給する。

【0042】

一方で、遮光画素の受光部３１は、例えば暗電流などのノイズ成分に対応する出力電流を出力する。そして、遮光画素の受光部３１は、駆動部２２（図２参照）の制御に従って、アドレスイベント検出部３３に、ノイズ成分に対応する電流を供給する。

【0043】

画素信号生成部３２は、受光領域２１ｂの受光部３１から供給される光電流に応じた電圧の信号を画素信号ＳＩＧとして生成し、この生成した画素信号ＳＩＧを、垂直信号線ＶＳＬを介してカラム処理部２４（図２参照）に供給する。

【0044】

アドレスイベント検出部３３は、受光領域２１ｂの受光部３１のそれぞれからの光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。アドレスイベント（以下では単に「イベント」と称する場合がある）は、例えば、光電流の変化量が上限の第１閾値を超えた旨を示すオンイベント、及び、その変化量が下限の第２閾値を下回った旨を示すオフイベントから成る。また、アドレスイベントの検出信号は、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。なお、アドレスイベント検出部３３については、オンイベントのみを検出する構成とすることもできる。

【0045】

一方で、遮光画素のアドレスイベント検出部３３は、遮光画素の受光部３１のそれぞれが出力する出力電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。アドレスイベントは、例えば、出力電流の変化量が上限の第１閾値を超えた旨を示すオンイベント、及び、その変化量が下限の第２閾値を下回った旨を示すオフイベントから成る。また、アドレスイベントの検出信号は、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。なお、アドレスイベント検出部３３については、オンイベントのみ、又はオフイベントのみを検出する構成とすることもできる。

【0046】

アドレスイベントが発生した際に、受光領域２１ｂのアドレスイベント検出部３３は、アドレスイベントの検出信号の送信を要求するリクエストをアービタ部２３（図２参照）に供給する。そして、アドレスイベント検出部３３は、リクエストに対する応答をアービタ部２３から受け取ると、アドレスイベントの検出信号を駆動部２２及び信号処理部２５に供給する。

【0047】

一方で、遮光画素のアドレスイベント検出部３３は、アドレスイベントが発生した際に、アドレスイベントの検出信号を設定部２６のカウント部２６ａに供給する。そして、カウント部２６ａは、オンイベント、及び、オフイベントそれぞれの数をカウントし、カウント数を閾値制御部２６ｂに供給する。このような構成にすることにより、遮光画素のアドレスイベント検出部３３は、受光領域２１ｂのアドレスイベント検出部３３と異なる経路でイベント情報を含む検出信号を設定部２６に供給可能である。

【0048】

［画素の回路構成例］
図４は、画素３０の回路構成の一例を示す回路図である。上述したように、複数の画素３０のそれぞれは、受光部３１、画素信号生成部３２、及び、アドレスイベント検出部３３を有する構成となっている。

【0049】

上記の構成の画素３０において、受光部３１は、受光素子（光電変換素子）３１１、転送トランジスタ３１２、及び、ＯＦＧ（Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）トランジスタ３１３を有する構成となっている。転送トランジスタ３１２及びＯＦＧトランジスタ３１３としては、例えば、Ｎ型のＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタが用いられる。転送トランジスタ３１２及びＯＦＧトランジスタ３１３は、互いに直列に接続されている。

【0050】

受光領域２１ｂの受光素子３１１は、転送トランジスタ３１２とＯＦＧトランジスタ３１３との共通接続ノードＮ_１とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。

【0051】

一方で、遮光画素の受光素子３１１は、転送トランジスタ３１２とＯＦＧトランジスタ３１３との共通接続ノードＮ_１とグランドとの間に接続されており、ノイズ成分に応じた電荷量の電荷を生成する。遮光画素の受光素子３１１の転送トランジスタ３１２は、常にＯＦＦ状態であり、画素信号生成部３２への電荷供給は停止されている。このため、遮光画素３０は、転送トランジスタ３１２及び画素信号生成部３２を有さない構成でもよい。

【0052】

受光領域２１ｂの転送トランジスタ３１２のゲート電極には、図２に示す駆動部２２から転送信号ＴＲＧが供給される。転送トランジスタ３１２は、転送信号ＴＲＧに応答して、受光素子３１１で光電変換された電荷を画素信号生成部３２に供給する。

【0053】

ＯＦＧトランジスタ３１３のゲート電極には、駆動部２２から制御信号ＯＦＧが供給される。ＯＦＧトランジスタ３１３は、制御信号ＯＦＧに応答して、受光素子３１１で生成された電気信号をアドレスイベント検出部３３に供給する。アドレスイベント検出部３３に供給される電気信号は、電荷からなる光電流である。

【0054】

画素信号生成部３２は、リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３、及び、浮遊拡散層３２４を有する構成となっている。リセットトランジスタ３２１、増幅トランジスタ３２２、及び、選択トランジスタ３２３としては、例えば、Ｎ型のＭＯＳトランジスタが用いられる。

【0055】

画素信号生成部３２には、受光部３１から転送トランジスタ３１２によって、受光素子３１１で光電変換された電荷が供給される。受光部３１から供給される電荷は、浮遊拡散層３２４に蓄積される。浮遊拡散層３２４は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層３２４は、電荷を電圧に変換する。

【0056】

リセットトランジスタ３２１は、電源電圧Ｖ_ＤＤの電源ラインと浮遊拡散層３２４との間に接続されている。リセットトランジスタ３２１のゲート電極には、駆動部２２からリセット信号ＲＳＴが供給される。リセットトランジスタ３２１は、リセット信号ＲＳＴに応答して、浮遊拡散層３２４の電荷量を初期化（リセット）する。

【0057】

増幅トランジスタ３２２は、電源電圧Ｖ_ＤＤの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ３２３と直列に接続されている。増幅トランジスタ３２２は、浮遊拡散層３２４で電荷電圧変換された電圧信号を増幅する。

【0058】

選択トランジスタ３２３のゲート電極には、駆動部２２から選択信号ＳＥＬが供給される。選択トランジスタ３２３は、選択信号ＳＥＬに応答して、増幅トランジスタ３２２によって増幅された電圧信号を画素信号ＳＩＧとして垂直信号線ＶＳＬを介してカラム処理部２４（図２参照）へ出力する。

【0059】

上記の構成の画素３０が２次元配置されて成る画素アレイ部２１を有する撮像装置２０において、駆動部２２は、図１に示す制御部１３により受光領域２１ｂのアドレスイベントの検出開始が指示されると、受光部３１のＯＦＧトランジスタ３１３に制御信号ＯＦＧを供給することによって当該ＯＦＧトランジスタ３１３を駆動してアドレスイベント検出部３３に光電流を供給させる。

【0060】

一方で、駆動部２２は、図１に示す制御部１３により遮光画素のアドレスイベントの検出開始が指示されると、遮光画素の受光部３１のＯＦＧトランジスタ３１３に制御信号ＯＦＧを供給することによって当該ＯＦＧトランジスタ３１３を駆動してアドレスイベント検出部３３に出力電流を供給させる。

【0061】

そして、受光領域２１ｂの画素３０においてアドレスイベントが検出されると、駆動部２２は、その画素３０のＯＦＧトランジスタ３１３をオフ状態にしてアドレスイベント検出部３３への光電流の供給を停止させる。次いで、駆動部２２は、転送トランジスタ３１２に転送信号ＴＲＧを供給することによって当該転送トランジスタ３１２を駆動して、受光素子３１１で光電変換された電荷を浮遊拡散層３２４に転送させる。

【0062】

このようにして、上記の構成の画素３０が２次元配置されて成る画素アレイ部２１を有する撮像装置２０は、アドレスイベントが検出された受光領域２１ｂの画素３０の画素信号のみをカラム処理部２４に出力する。一方で、遮光画素３０は、アドレスイベントの検出にのみ使用される。これにより、アドレスイベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、撮像装置２０の消費電力や、画像処理の処理量を低減することができる。

【0063】

尚、ここで例示した画素３０の構成は一例であって、この構成例に限定されるものではない。例えば、画素信号生成部３２を備えない画素構成とすることもできる。この画素構成の場合は、受光部３１において、ＯＦＧトランジスタ３１３を省略し、当該ＯＦＧトランジスタ３１３の機能を転送トランジスタ３１２に持たせるようにすればよい。

【0064】

［アドレスイベント検出部の第１構成例］
図５は、受光領域２１ｂのアドレスイベント検出部３３の第１構成例を示すブロック図である。図６は、遮光画素のアドレスイベント検出部３３の第１構成例を示すブロック図である。図５及び６に示すように、本構成例に係るアドレスイベント検出部３３は、電流電圧変換部３３１、バッファ３３２、減算器３３３、量子化器３３４、及び、転送部３３５を有する構成となっている。

【0065】

電流電圧変換部３３１は、画素３０の受光部３１からの光電流を、その対数の電圧信号に変換する。電流電圧変換部３３１は、変換した電圧信号をバッファ３３２に供給する。バッファ３３２は、電流電圧変換部３３１から供給される電圧信号をバッファリングし、減算器３３３に供給する。

【0066】

減算器３３３には、駆動部２２から行駆動信号が供給される。減算器３３３は、行駆動信号に従って、バッファ３３２から供給される電圧信号のレベルを低下させる。そして、減算器３３３は、レベル低下後の電圧信号を量子化器３３４に供給する。量子化器３３４は、減算器３３３から供給される電圧信号をデジタル信号に量子化してアドレスイベントの検出信号として転送部３３５に出力する。

【0067】

図５に示すように、受光領域２１ｂの転送部３３５は、量子化器３３４から供給されるアドレスイベントの検出信号をアービタ部２３等に転送する。この転送部３３５は、アドレスイベントが検出された際に、アドレスイベントの検出信号の送信を要求するリクエストをアービタ部２３に供給する。そして、転送部３３５は、リクエストに対する応答をアービタ部２３から受け取ると、アドレスイベントの検出信号を駆動部２２及び信号処理部２５に供給する。

【0068】

一方で、図６に示すように、遮光画素の転送部３３５は、量子化器３３４から供給されるアドレスイベントの検出信号を設定部２６に転送する。

【0069】

続いて、アドレスイベント検出部３３における電流電圧変換部３３１、減算器３３３、及び、量子化器３３４の構成例について説明する。

【0070】

（電流電圧変換部の構成例）
図７は、アドレスイベント検出部３３における電流電圧変換部３３１の構成の一例を示す回路図である。図７に示すように、本例に係る電流電圧変換部３３１は、Ｎ型トランジスタ３３１１、Ｐ型トランジスタ３３１２、及び、Ｎ型トランジスタ３３１３を有する回路構成となっている。これらのトランジスタ３３１１～３３１３としては、例えば、ＭＯＳトランジスタが用いられる。

【0071】

Ｎ型トランジスタ３３１１は、電源電圧Ｖ_ＤＤの電源ラインと信号入力線３３１４との間に接続されている。Ｐ型トランジスタ３３１２及びＮ型トランジスタ３３１３は、電源電圧Ｖ_ＤＤの電源ラインとグランドとの間に直列に接続されている。そして、Ｐ型トランジスタ３３１２及びＮ型トランジスタ３３１３の共通接続ノードＮ_２には、Ｎ型トランジスタ３３１１のゲート電極と、図５、及び図６に示すバッファ３３２の入力端子とが接続されている。

【0072】

Ｐ型トランジスタ３３１２のゲート電極には、所定のバイアス電圧Ｖ_ｂｉａｓが印加される。これにより、Ｐ型トランジスタ３３１２は、一定の電流をＮ型トランジスタ３３１３に供給する。Ｎ型トランジスタ３３１３のゲート電極には、信号入力線３３１４を通して、受光部３１から光電流が入力される。

【0073】

Ｎ型トランジスタ３３１１及びＮ型トランジスタ３３１３のドレイン電極は電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された２つのソースフォロワにより、受光部３１からの光電流は、その対数の電圧信号に変換される。

【0074】

（減算器及び量子化器の構成例）
図８は、アドレスイベント検出部３３における減算器３３３及び量子化器３３４の構成の一例を示す回路図である。

【0075】

本例に係る減算器３３３は、容量素子３３３１、インバータ回路３３３２、容量素子３３３３、及び、スイッチ素子３３３４を有する構成となっている。

【0076】

容量素子３３３１の一端は、図５及び図６に示すバッファ３３２の出力端子に接続され、その他端は、インバータ回路３３３２の入力端子に接続されている。容量素子３３３３は、インバータ回路３３３２に対して並列に接続されている。スイッチ素子３３３４は、容量素子３３３３の両端間に接続されている。スイッチ素子３３３４にはその開閉制御信号として、駆動部２２から行駆動信号が供給される。スイッチ素子３３３４は、行駆動信号に応じて、容量素子３３３３の両端を接続する経路を開閉する。インバータ回路３３３２は、容量素子３３３１を介して入力される電圧信号の極性を反転する。

【0077】

上記の構成の減算器３３３において、スイッチ素子３３３４をオン（閉）状態とした際に、容量素子３３３１のバッファ３３２側の端子に電圧信号Ｖ_ｉｎｉｔが入力され、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子３３３１に蓄積されている電荷Ｑ_ｉｎｉｔは、容量素子３３３１の容量値をＣ_１とすると、次式（１）により表される。一方、容量素子３３３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Ｑ_ｉｎｉｔ＝Ｃ_１×Ｖ_ｉｎｉｔ ・・・（１）

【0078】

次に、スイッチ素子３３３４がオフ（開）状態となり、容量素子３３３１のバッファ３３２側の端子の電圧が変化してＶ_{ａｆｔｅｒ}になった場合を考えると、容量素子３３３１に蓄積される電荷Ｑ_{ａｆｔｅｒ}は、次式（２）により表される。
Ｑ_{ａｆｔｅｒ}＝Ｃ_１×Ｖ_{ａｆｔｅｒ} ・・・（２）

【0079】

一方、容量素子３３３３に蓄積される電荷Ｑ_２は、容量素子３３３３の容量値をＣ_２とし、出力電圧をＶ_ｏｕｔとすると、次式（３）により表される。
Ｑ_２＝－Ｃ_２×Ｖ_ｏｕｔ ・・・（３）

【0080】

このとき、容量素子３３３１及び容量素子３３３３の総電荷量は変化しないため、次の式（４）が成立する。
Ｑ_ｉｎｉｔ＝Ｑ_{ａｆｔｅｒ}＋Ｑ_２ ・・・（４）

【0081】

式（４）に式（１）乃至式（３）を代入して変形すると、次式（５）が得られる。
Ｖ_ｏｕｔ＝－（Ｃ_１／Ｃ_２）×（Ｖ_{ａｆｔｅｒ}－Ｖ_ｉｎｉｔ） ・・・（５）

【0082】

式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ_１／Ｃ_２となる。通常、利得を最大化することが望まれるため、Ｃ_１を大きく、Ｃ_２を小さく設計することが好ましい。一方、Ｃ_２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ_２の容量削減は、ノイズを許容することができる範囲に制限される。また、画素３０毎に減算器３３３を含むアドレスイベント検出部３３が搭載されるため、容量素子３３３１や容量素子３３３３には、面積上の制約がある。これらを考慮して、容量素子３３３１，３３３３の容量値Ｃ_１，Ｃ_２が決定される。

【0083】

図８において、量子化器３３４は、コンパレータ３３４１を有する構成となっている。コンパレータ３３４１は、インバータ回路３３３２の出力信号、即ち、減算器４３０からの電圧信号を非反転（＋）入力とし、所定の閾値電圧Ｖ_ｔｈを反転（－）入力としている。そして、コンパレータ３３４１は、減算器４３０からの電圧信号と所定の閾値電圧Ｖ_ｔｈとを比較し、比較結果を示す信号をアドレスイベントの検出信号として転送部３３５に出力する。

【0084】

［アドレスイベント検出部の第２構成例］
図９は、受光領域２１ｂのアドレスイベント検出部３３の第２構成例を示すブロック図である。図１０は、遮光画素のアドレスイベント検出部３３の第２構成例を示すブロック図である。図９、及び図１０に示すように、本構成例に係るアドレスイベント検出部３３は、電流電圧変換部３３１、バッファ３３２、減算器３３３、量子化器３３４、及び、転送部３３５の他に、記憶部３３６及び制御部３３７を有する構成となっている。

【0085】

記憶部３３６は、量子化器３３４と転送部３３５との間に設けられており、制御部３３７から供給されるサンプル信号に基づいて、量子化器３３４の出力、即ち、コンパレータ３３４１の比較結果を蓄積する。記憶部３３６は、スイッチ、プラスチック、容量などのサンプリング回路であってもよいし、ラッチやフリップフロップなどのデジタルメモリ回路でもあってもよい。

【0086】

制御部３３７は、設定部２６の閾値制御部２６ｂの制御信号に従い、コンパレータ３３４１の反転（－）入力端子に対して所定の閾値電圧Ｖ_ｔｈを供給する。制御部３３７からコンパレータ３３４１に供給される閾値電圧Ｖ_ｔｈは、時分割で異なる電圧値であってもよい。例えば、制御部３３７は、光電流の変化量が上限の閾値を超えた旨を示すオンイベントに対応する閾値電圧Ｖ_ｔｈ１、及び、その変化量が下限の閾値を下回った旨を示すオフイベントに対応する閾値電圧Ｖ_ｔｈ２を異なるタイミングで供給することで、１つのコンパレータ３３４１で複数種類のアドレスイベントの検出が可能になる。

【0087】

記憶部３３６は、例えば、制御部３３７からコンパレータ３３４１の反転（－）入力端子に、オフイベントに対応する閾値電圧Ｖ_ｔｈ２が供給されている期間に、オンイベントに対応する閾値電圧Ｖ_ｔｈ１を用いたコンパレータ３３４１の比較結果を蓄積するようにしてもよい。尚、記憶部３３６は、画素３０の内部にあってもよいし、画素３０の外部にあってもよい。また、記憶部３３６は、アドレスイベント検出部３３の必須の構成要素ではない。すなわち、記憶部３３６は、無くてもよい。

【0088】

［第２構成例に係る撮像装置（スキャン方式）］
上述した第１構成例に係る撮像装置２０は、非同期型の読出し方式にてイベントを読み出す非同期型の撮像装置である。但し、イベントの読出し方式としては、非同期型の読出し方式に限られるものではなく、同期型の読出し方式であってもよい。同期型の読出し方式が適用される撮像装置は、所定のフレームレートで撮像を行う通常の撮像装置と同じ、スキャン方式の撮像装置である。

【0089】

図１１は、本開示に係る技術が適用される撮像システム１０における撮像装置２０として用いられる、第２構成例に係る撮像装置、即ち、スキャン方式の撮像装置の構成の一例を示すブロック図である。

【0090】

図１１に示すように、本開示の撮像装置としての第２構成例に係る撮像装置２０は、画素アレイ部２１、駆動部２２、信号処理部２５、設定部２６、読出し領域選択部２７、及び信号生成部２８を備える構成となっている。

【0091】

画素アレイ部２１は、複数の画素３０を含む。複数の画素３０は、読出し領域選択部２７の選択信号に応答して出力信号を出力する。複数の画素３０のそれぞれについては、例えば図６に示すように、画素内に量子化器を持つ構成とすることもできる。複数の画素３０は、光の強度の変化量に対応する出力信号を出力する。複数の画素３０は、図１１に示すように、行列状に２次元配置されていてもよい。

【0092】

また、図２と同様に、画素アレイ部２１には、光を遮断する遮光領域２１ａと、遮光領域２１ａ以外の受光領域２１ｂとが設けられている。遮光領域２１ａは、行単位の複数の画素３０の配置、及び列単位の複数の画素３０の配置の少なくとも一方に対応する。また、遮光領域２１ａは、画素アレイ部２１の上端部、下端部、左端部、右端部の少なくともいずれかに設けられる。このように、遮光領域２１ａは、画素アレイ部２１の端部の複数の画素３０を覆うように、設けられている。遮光領域２１ａの画素３０の構成は、光が入射しないことを除き、受光領域２１ｂ以外の画素３０と同等の構成としてもよい。これにより、遮光領域２１ａにおける複数の画素３０は、ノイズによる電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。

【0093】

駆動部２２は、複数の画素３０のそれぞれを駆動して、各画素３０で生成された画素信号を信号処理部２５に出力させる。尚、駆動部２２及び信号処理部２５については、階調情報を取得するための回路部である。従って、イベント情報のみを取得する場合は、駆動部２２及び信号処理部２５は無くてもよい。

【0094】

読出し領域選択部２７は、画素アレイ部２１に含まれる複数の画素３０のうちの一部を選択する。例えば、読出し領域選択部２７は、画素アレイ部２１に対応する２次元行列の構造に含まれる行のうちのいずれか１つもしくは複数の行を選択する。読出し領域選択部２７は、予め設定された周期に応じて１つもしくは複数の行を順次選択する。また、読出し領域選択部２７は、画素アレイ部２１の各画素３０からのリクエストに応じて選択領域を決定してもよい。

【0095】

信号生成部２８は、読出し領域選択部２７によって選択された画素の出力信号に基づいて、選択された画素のうちのイベントを検出した活性画素に対応するイベント信号を生成する。イベントは、光の強度が変化するイベントである。活性画素は、出力信号に対応する光の強度の変化量が予め設定された第１閾値を超える、又は、第２閾値を下回る画素である。例えば、信号生成部２８は、電気信号の信号レベルが増大する方向の変化量の絶対値が第１閾値を超えたときに第１検出信号を検出するとともに、電気信号の信号レベルが減少する方向の変化量の絶対値が第２閾値を超えたときに第２検出信号を検出する。そして、第１検出信号又は第２検出信号を検出した画素を活性画素とし、活性画素に対応するイベント信号を生成する。

【0096】

信号生成部２８については、例えば、信号生成部２８に入ってくる信号を調停するような列選択回路を含む構成とすることができる。また、信号生成部２８については、イベントを検出した活性画素の情報の出力のみならず、イベントを検出しない非活性画素の情報も出力する構成とすることができる。

【0097】

信号生成部２８からは、出力線１５を通して、イベントを検出した活性画素のアドレス情報及びタイムスタンプ情報（例えば、（Ｘ，Ｙ，Ｔｏｎ）， （Ｘ，Ｙ，Ｔｏｆｆ）が出力される。但し、信号生成部２８から出力されるデータについては、アドレス情報及びタイムスタンプ情報だけでなく、フレーム形式の情報（例えば、（０，０，１，０，・・・））であってもよい。Ｔｏｎは、オンイベントを検出した時間を示し、Ｔｏｆｆはオフイベントを検出した時間を示す。

【0098】

設定部２６のカウント部２６ａは、活性画素のアドレス情報及びタイムスタンプ情報（例えば、（Ｘ，Ｙ，Ｔｏｎ）、（Ｘ，Ｙ，Ｔｏｆｆ）を用いて、所定期間内のオンイベント、及び、オフイベントそれぞれの数をカウントし、カウント数を閾値制御部２６ｂに供給する。カウント部２９ａは、オンイベント、又はオフイベントの一方をカウントし、カウント数を閾値制御部２６ｂに供給してもよい。

【0099】

［チップ構造の構成例］
上述した第１構成例又は第２構成例に係る撮像装置２０のチップ（半導体集積回路）構造としては、例えば、積層型のチップ構造を採ることができる。図１２は、撮像装置２０の積層型のチップ構造の概略を示す分解斜視図である。

【0100】

図１２に示すように、積層型のチップ構造、所謂、積層構造は、第１のチップである受光チップ２０１、及び、第２のチップである検出チップ２０２の少なくとも２つのチップが積層された構造となっている。そして、図４に示す画素３０の回路構成において、受光素子３１１のそれぞれが受光チップ２０１上に配置され、受光素子３１１以外の素子の全てや、画素３０の他の回路部分の素子などが検出チップ２０２上に配置される。受光チップ２０１と検出チップ２０２とは、ビア（ＶＩＡ）、Ｃｕ－Ｃｕ接合、バンプなどの接続部を介して電気的に接続される。

【0101】

尚、ここでは、受光素子３１１を受光チップ２０１に配置し、受光素子３１１以外の素子や画素３０の他の回路部分の素子などを検出チップ２０２に配置する構成例を例示したが、この構成例に限られるものではない。

【0102】

例えば、図４に示す画素３０の回路構成において、受光部３１の各素子を受光チップ２０１に配置し、受光部３１以外の素子や画素３０の他の回路部分の素子などを検出チップ２０２に配置する構成とすることができる。また、受光部３１の各素子、及び、画素信号生成部３２のリセットトランジスタ３２１、浮遊拡散層３２４を受光チップ２０１に配置し、それ以外の素子を検出チップ２０２に配置する構成とすることができる。更には、アドレスイベント検出部３３を構成する素子の一部を、受光部３１の各素子などと共に受光チップ２０１に配置する構成とすることができる。

【0103】

［カラム処理部の構成例］
図１３は、第１構成例に係る撮像装置２０のカラム処理部２４の構成の一例を示すブロック図である。図１３に示すように、本例に係るカラム処理部２４は、画素アレイ部２１の画素列毎に配置された複数のアナログ－デジタル変換器（ＡＤＣ）２４１を有する構成となっている。

【0104】

尚、ここでは、画素アレイ部２１の画素列に対して、１対１の対応関係でアナログ－デジタル変換器２４１を配置する構成例を例示したが、この構成例に限定されるものではない。例えば、複数の画素列を単位としてアナログ－デジタル変換器２４１を配置し、当該アナログ－デジタル変換器２４１を複数の画素列間で、時分割で用いる構成とすることもできる。

【0105】

アナログ－デジタル変換器２４１は、垂直信号線ＶＳＬを介して供給されるアナログの画素信号ＳＩＧを、先述したアドレスイベントの検出信号よりもビット数の多いデジタル信号に変換する。例えば、アドレスイベントの検出信号を２ビットとすると、画素信号は、３ビット以上（１６ビットなど）のデジタル信号に変換される。アナログ－デジタル変換器２４１は、アナログ－デジタル変換で生成したデジタル信号を信号処理部２５に供給する。

【0106】

［ノイズイベントについて］
ところで、撮像装置２０は、画素アドレス毎に、その画素の光量が所定の閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出部（即ち、アドレスイベント検出部３３）を画素３０毎に備えた撮像装置である。

【0107】

この撮像装置では、本来、シーンの中で何らかのイベント（即ち、真イベント）が発生したとき、当該真イベントの発生に要因するデータの取得が行われる。しかし、真イベントの発生の無いシーンでも、センサノイズ等のノイズイベント（偽イベント）に要因して、無駄に、データの取得が行われる場合がある。これにより、ノイズ信号が読み出されてしまうだけでなく、信号出力のスループットを低下させることになる。以下に説明する本開示の撮像装置２０は、遮光画素におけるイベント数により、真イベントと偽イベントとに対する感度調整を行うようにしたものである。

【0108】

図１４は、ノイズイベントと温度との関係を示す模式図である。横軸は時間を示し、縦軸はイベント数と温度を示す。ラインＬ１２Ａは、温度の時間変化を示し、ラインＬ１２Ｂは、暗時（遮光時）におけるノイズイベントである暗時イベント数の時間変化を示す。画素３０は、暗時でも光電変換を行うおうことにより暗時電流を出力する。これが、暗時イベントとしてカウントされる。

【0109】

図１４に示すように、暗時イベント数の時系列変化は、例えば温度の時系列変化と相関する。例えば、ノイズイベントに対する感度を下げると、ノイズイベントは減るが、真イベントの検出感度も低下してしまう。一方で、真イベントの検出感度を上げるとノイズイベントに対する感度も増加してしまう。

【0110】

このため、閾値制御部２６ｂは、撮像装置２０の状態に応じて、感度調整を行うことにより、真イベントに対する感度と、暗時ノイズを要因とする偽イベントに対する感度との調整を行う。より詳細に以下に説明する。

【0111】

図１５は、設定部２６の閾値制御部２６ｂの処理例を示すフローチャートである。ここでは、遮光領域２１ａの遮光画素３０を用いて感度調整した後に、受光領域２１ｂの画素３０によるイベントの検出を行う例を説明する。上述のように、非同期型の第１構成例に係る撮像装置と、第２構成例に係る撮像装置（スキャン方式）とでは、イベントの検出信号の読みだし方法が異なるが、非同期型の第１構成例に係る撮像装置の閾値の設定方法と、第２構成例に係る撮像装置（スキャン方式）の閾値の設定方法とは、同等の処理を行うことが可能である。

【0112】

図１５に示すように、まず、閾値制御部２６ｂは、遮光領域２１ａの遮光画素３０のノイズレベルに応じて閾値を設定する（ステップＳ１０００）。

【0113】

次に、受光領域２１ｂのアドレスイベント検出部３３は、受光領域２１ｂの画素３０で生成された電気信号の変化量が閾値制御部２６ｂに設定された閾値を超えた場合に検出信号を検出する（ステップＳ１１００）。

【0114】

次に、閾値制御部２６ｂは、全体処理を終了するか否かを判定し（ステップＳ１２００）、終了しない場合（ステップＳ１２００のＮＯ）、ステップＳ１０２からの処理を繰り返す。一方で、終了する場合（ステップＳ１２００のＹＥＳ）、全体処理を終了する。

【0115】

このように、閾値制御部２６ｂは、遮光領域２１ａの遮光画素３０のノイズレベルに応じて閾値を設定するので、真イベントと暗時ノイズイベントとに対する感度調整を行うことができる。

【0116】

図１６は、並列処理における閾値制御部２６ｂの処理例を示すフローチャートである。図１６に示すように、遮光画素３０のノイズレベルに応じた閾値の設定（ステップＳ１０００）と、受光領域２１ｂのアドレスイベント検出部３３の検出処理（ステップＳ１１００）とを、並列に行う。

【0117】

このように、処理を並列に行うことにより、受光領域２１ｂのアドレスイベント検出部３３のイベント検出を停止することなく、真イベントと暗時ノイズイベントとに対する感度調整を行うことができる。

【0118】

図１７は、図１５及び図１６のステップＳ１０００の処理例を示すフローチャートである。
図１８は、図１７で示す処理例を模式的に示す図である。横軸は時間を示し、縦軸は閾値を示す。図１８に示すように、オンイベントに対する第１閾値、及び、オフイベントに対する第２閾値の基準レベル（ＡＺレベル）に対する変化量を模式的に示す。ここでは、オンイベントに対する第１閾値、及び、オフイベントに対する第２閾値の基準レベル（ＡＺレベル）に対する変化量の絶対値を同値として扱う。例えば、第１閾値を初期設定置からＶｈ１ボルト増加させる場合には、第２閾値を初期設定置からＶｈ１ボルト減少させる。

【0119】

図１７に示すように、閾値制御部２６ｂは、第１閾値電圧Ｖ_ｔｈ１、及び、第２閾値電圧Ｖ_ｔｈ２を、遮光画素３０及び受光領域２１ｂのコンパレータ３３４１（図８，１０を参照）の反転（－）入力端子に供給する（ステップＳ１００）。コンパレータ３３４１は、電流の変化量が上限の第１閾値電圧Ｖ_ｔｈ１を上側に超えた旨を示すオンイベントに対応するイベント検出信号と、第２閾値電圧Ｖ_ｔｈ２を下側に超えた旨を示すオフイベントに対応するイベント検出信号を設定部２６のカウント部２６ａに出力する。カウント部２６ａは、所定期間内に発生したイベント数をカウントし、閾値制御部２６ｂに供給する（ステップＳ１０２）。
なお、図１６で示す並列処理の場合には、図１７で示すステップＳ１０２の所定期間は、全撮影期間である必要はなく、遮光画素のイベント数をカウントする所定期間と、遮光画素のイベント数をカウントしない期間とを交互に設けてもよい。

【0120】

第２構成例に係る撮像装置（スキャン方式）の場合には、読出し領域選択部２７は、遮光領域２１ａに含まれる複数の画素３０のうちの一部を選択する。例えば、読出し領域選択部２７は、遮光領域２１ａに対応する２次元行列の構造に含まれる行のうちのいずれか１つもしくは複数の行を選択する。読出し領域選択部２７（図１１参照）は、予め設定された周期に応じて１つもしくは複数の行を順次選択し、遮光画素３０の活性画素のアドレス情報及びタイムスタンプ情報（例えば、（Ｘ，Ｙ，Ｔｏｎ）、（Ｘ，Ｙ，Ｔｏｆｆ））を順繰りに読み出し、信号生成部２８を介してカウント部２６ａに供給する。設定部２６のカウント部２６ａは、活性画素のアドレス情報及びタイムスタンプ情報（（例えば、（Ｘ，Ｙ，Ｔｏｎ）、（Ｘ，Ｙ，Ｔｏｆｆ））を用いて、所定期間内のオンイベント、及び、オフイベントそれぞれの数をカウントし、カウント数を閾値制御部２６ｂに供給する。

【0121】

次に、閾値制御部２６ｂは、所定時間内のイベントのカウント数（オンイベント数＋オフイベント数）が所定範囲であるか否かを判定する（ステップＳ１０４）。閾値制御部２６ｂは、イベント数が所定範囲外である場合（ステップＳ１０４のＹＥＳ）、更に、イベントのカウント数が所定値以上か否かを判定する（ステップＳ１０６）。閾値制御部２６ｂは、イベント数が所定値以上である場合（ステップＳ１０６のＹＥＳ）、閾値の感度を下げる（ステップＳ１０８）。すなわち、閾値制御部２６ｂは、画素アレイ部２１全体の画素３０に対して、第１閾値電圧Ｖ_ｔｈ１から所定値Ｔｈ１ａボルト増加させ、第２閾値電圧Ｖ_ｔｈ２から所定値Ｔｈ１ａボルト減少させる。

【0122】

一方で、イベント数が所定値未満である場合（ステップＳ１０６のＮＯ）、閾値の感度を上げる。閾値制御部２６ｂは、画素アレイ部２１全体の画素３０に対して、第１閾値電圧Ｖ_ｔｈ１から所定値Ｔｈ２ａボルト減少させ、第２閾値電圧Ｖ_ｔｈ２から所定値Ｔｈ２ａボルト増加させる（ステップＳ１１０）。

【0123】

一方で、イベント数が所定値未満である場合（ステップＳ１０４のＮＯ）、閾値の感度を維持する。すなわち、閾値制御部２６ｂは、画素アレイ部２１全体の画素３０に対して、第１閾値電圧Ｖ_ｔｈ１及び第２閾値電圧Ｖ_ｔｈ２を変更しない（ステップＳ１１２）。

【0124】

図１９は、図１７で示す処理を３周期行った処理例を示す図である。横軸は時間を示し、縦軸は閾値を示す。図１９に示すように、オンイベントに対する第１閾値、及び、オフイベントに対する第２閾値を時間経過とともに変動させることが可能である。

【0125】

このように、遮蔽領域２１ａにおける光電変換素子３１１で生成された電気信号の基準レベルからの変化量の絶対値が、所定期間において閾値（第１閾値電圧Ｖ_ｔｈ１又は第２閾値電圧Ｖ_ｔｈ２）を超えた数に基づき、閾値（第１閾値電圧Ｖ_ｔｈ１又は第２閾値電圧Ｖ_ｔｈ２）を設定する。これにより、遮光領域２１ａの遮光画素３０における暗時ノイズイベントの発生数に応じて閾値制御が可能となり、真イベントと暗時ノイズイベントとに対する感度調整を行うことができる。

【0126】

図２０は、オンイベントに対する第１閾値と、オフイベントに対する第２閾値と、を独立に調整する処理例を示すフローチャートである。図２０に示すように、まず、閾値制御部２６ｂは、遮光領域２１ａの遮光画素３０のオンイベントに応じて第１閾値を設定し（ステップＳ１０００ａ）、並行して、遮光領域２１ａの遮光画素３０のオフイベントのレベルに応じて第２閾値を設定する（ステップＳ１０００ｂ）。

【0127】

次に、受光領域２１ｂのアドレスイベント検出部３３は、受光領域２１ｂの画素３０で生成された電気信号の変化量が閾値制御部２６ｂに独立に設定された第１閾値又は第２閾値を超えた場合にオンイベントの検出信号、及びオフイベントの検出信号を検出する（ステップＳ１１００）。

【0128】

図２１は、オンイベントに対する第１閾値と、オフイベントに対する第２閾値と、を独立に調整する処理例を模式的に示す図である。横軸は時間を示し、縦軸は閾値を示す。

【0129】

このように、閾値制御部２６ｂは、遮光領域２１ａの遮光画素３０のノイズレベルに応じて第１閾値、及び第２閾値を独立に設定する。これにより、電気信号の信号レベルが増大する方向の変化量の絶対値が第１閾値を超える真イベントとオンイベントに対応する暗時ノイズイベントと、に対する感度調整を行うことができる。また、同時に、電気信号の信号レベルが減少する方向の変化量の絶対値が第２閾値を超え超える真イベントとオフイベントに対応する暗時ノイズイベントと、に対する感度調整を行うことができる。このように、第１閾値と第２閾値とを独立して調整できるので、オンイベントに対応する暗時ノイズイベントと、オフイベントに対応する暗時ノイズイベントとの発生分布に統計的に偏りがある場合にも、より適切に感度調整が可能となる。

【0130】

図２２は、並列処理における第１閾値と、第２閾値と、を独立に調整する処理例を示すフローチャートである。図２１に示すように、閾値制御部２６ｂは、遮光領域２１ａの遮光画素３０のオンイベントのレベルに応じて第１閾値を設定する処理（ステップＳ１０００ａ）と、並行して、遮光領域２１ａの遮光画素３０のオフイベントのレベルに応じて第２閾値を設定する処理（ステップＳ１０００ｂ）と、受光領域２１ｂのアドレスイベント検出部３３の検出処理（ステップＳ１１００）とを、並列に行う。

【0131】

このように、処理を並列に行うことにより、受光領域２１ｂのアドレスイベント検出部３３のイベント検出を停止することなく、第１閾値と第２閾値とを独立して調整できる。

【0132】

図２３は、閾値の設定処理（ステップＳ１０００）の処理において閾値を段階的に変更する例を示すフローチャートである。
図２４は、図２３で示す処理例を模式的に示す図である。横軸は時間を示し、縦軸は閾値を示す。図２０に示すように、オンイベントに対する第１閾値、及び、オフイベントに対する第２閾値の基準レベル（ＡＺレベル）に対する変化量を時系列に段階的に変化させる。例えば、収束想定値である閾値に達するまでに数段階の閾値の変化を与える。ここでは、想定収束値がＡＺレベル＋所定値Ｖｈｆである場合、所定値Ｔｈ１をＡＺレベル＋Ｖｈｆ×０．８、所定値Ｔｈ２をＡＺレベル＋Ｔｈｆ×０．９６などのように、閾値の想定収束値に時間経過とともに漸近的に近づくように変更する。

【0133】

図２３に示すように、閾値制御部２６ｂは、初期設定した閾値Ｔｈ０に対する所定時間内のイベントのカウント数（オンイベント数＋オフイベント数）が所定値以上であるか否かを判定する（ステップＳ１０４）。閾値制御部２６ｂは、イベント数が所定値以上である場合（ステップＳ１０４のＹＥＳ）、閾値の感度を段階的に下げる（ステップＳ１０８ａ）。すなわち、閾値制御部２６ｂは、第１期間では、画素アレイ部２１全体の画素３０に対して、第１閾値電圧Ｖ_ｔｈ１を基準レベルから所定値Ｔｈ１ボルト増加させ、第２閾値電圧Ｖ_ｔｈ２を基準レベルから所定値Ｔｈ１ボルト減少させる。次の、第２期間では、画素アレイ部２１全体の画素３０に対して、第１閾値電圧Ｖ_ｔｈ１を基準レベルから所定値Ｔｈ２ボルト増加させ、第２閾値電圧Ｖ_ｔｈ２を基準レベルから所定値Ｔｈ２ボルト減少させる。この場合、（Ｔｈ２－Ｔｈ１）の絶対値は、（Ｔｈ１－Ｔｈ０）の絶対値より小さくなる。

【0134】

一方で、閾値制御部２６ｂはイベント数が所定値未満である場合（ステップＳ１０４のＮＯ）、現在の閾値を変更せず、全体処理を終了する。

【0135】

このように、段階的に閾値を変更するので、目的とする暗時ノイズイベン数に近い感度に設定可能である。また、段階的に閾値を変更するので、受光領域２１ｂの画素３０の時間あたりのイベントの発生数の変化を抑制しつつ閾値を変更できる。

【0136】

図２５は、閾値の設定処理（ステップＳ１０００ａ）の処理において第１閾値を段階的に変更する例を示すフローチャートである。図２５に示すように、遮光画素のオンイベントをカウントし（ステップＳ１０２ａ）、所定範囲でない場合に、第１閾値を段階的に変更する（ステップＳ１１０ａ）。このように、第１閾値と第２閾値とを独立して調整する場合にも、第１閾値を段階的に変更する処理をおこなうことが可能である。

【0137】

図２６は、第１閾値を段階的に変更する例を模式的に示す図である。横軸は時間を示し、縦軸は第１閾値を示す。図２６に示すように、初期設定された第１閾値Ｔｈ０ａを、第１段階目に第１閾値Ｔｈ１ａに変更し、第２段階目に第１閾値Ｔｈ２ａに変更する。このように、第１閾値粗く調整した後に、少しずつ収束させることで、発散を抑制しつつ、収束を早めることができる。なお、図２６に示す処理は、閾値の設定処理（ステップＳ１０００）にも適用可能である。

【0138】

図２７は、閾値の設定処理（ステップＳ１０００ｂ）の処理において第２閾値を段階的に変更する例を示すフローチャートである。図２７に示すように、遮光画素のオフイベントをカウントし（ステップＳ１０２ｂ）、所定範囲でない場合に、第２閾値を段階的に変更する（ステップＳ１１０ｂ）。このように、第１閾値と第２閾値とを独立して調整する場合にも、第２閾値を段階的に変更する処理をおこなうことが可能である。

【0139】

図２８は、第２閾値を段階的に変更する例を模式的に示す図である。横軸は時間を示し、縦軸は第１閾値を示す。図２８に示すように、初期設定された第１閾値Ｔｈ０ｂを、第１段階目に第１閾値Ｔｈ１ｂに変更し、第２段階目に第１閾値Ｔｈ２ｂに変更する。このように、第２閾値を粗く調整した後に、少しずつ収束させることで、発散を抑制しつつ、収束を早めることができる。なお、図２８に示す処理は、閾値の設定処理（ステップＳ１０００）にも適用可能である。

【0140】

図２９は、閾値の設定処理（ステップＳ１０００ｂ）の処理において不感帯を設けた例を示すフローチャートである。図３０は、不感帯を設けた第２閾値を段階的に変更する例を模式的に示す図である。横軸は時間を示し、縦軸は第２閾値を示す。

【0141】

ここで、不感帯とは、第２閾値Ｔｈ０ｂ、Ｔｈ１ｂ、Ｔｈ２ｂなどの上下に設けられている閾値を意味する。例えば、ＡＺレベルと第２閾値Ｔｈ０ｂの差の絶対値の前後１０パーセントを不感帯とする。より具体的には、ＡＺレベルが例えば１００であり、第２閾値Ｔｈ０ｂが５０であれば、ＡＺレベルと第２閾値Ｔｈ０ｂの差の絶対値は（１００－５０）であり、差の絶対値の前後１０パーセントは５０×０．１＝±５となる。すなわち、不感帯は、４５～５５の範囲となる。例えば、第２閾値Ｔｈ０ｂの閾値を変更する場合に、第２閾値Ｔｈ１ｂが不感帯の範囲内なら、閾値を変更せず、不感帯外なら閾値を変更する。図３０では、第２閾値Ｔｈ１ｂが第２閾値Ｔｈ０ｂの不感帯の範囲外であるので、第２閾値Ｔｈ１ｂの値は、第２閾値Ｔｈ０ｂから変更されている。一方で、第２閾値Ｔｈ２ｂが第２閾値Ｔｈ１ｂの不感帯の範囲内であるので、第２閾値Ｔｈ２ｂの値は、第２閾値Ｔｈ１ｂと同値とし、変更されない。

【0142】

図２９に示すように、閾値制御部２６ｂは、オフイベント数が所定の範囲である場合（ステップＳ１０４ｂのＮＯ）、変更予定の第２閾値Ｔｈ１ｂの値が現在の第２閾値Ｔｈ０ｂの不感帯の範囲か否かを判定する（ステップＳ１１２ｂ）、不感帯の範囲外である場合（ステップＳ１１２ｂのＮＯ）、の第２閾値Ｔｈ１ｂの値を第２閾値Ｔｈ０ｂから変更する。一方で、不感帯の範囲内である場合（ステップＳ１１２ｂのＹＥＳ）、第２閾値Ｔｈ１ｂの値を第２閾値Ｔｈ０ｂの値に維持して処理を終了する。
このように閾値の変更すべき量が不感帯の範囲であれば、閾値を変更しないこととした。なお、図３０に示す処理は、閾値の設定処理（ステップＳ１０００、ステップＳ１０００ａ）にも適用可能である。

【0143】

例えば、閾値の変更を行うと画像のばらつきを観察者は感じてしまう場合がある。このため、不感帯の範囲を大きくすると閾値が変更されず、観察者が画像のばらつきを感じすることが抑制される。一方で、不感帯の範囲を大きくすると感度調整が抑制される。このため、不感帯の範囲を調整することで、感度調整と、画像のばらつきとをバランスさせることが可能となる。

【0144】

図３１は、閾値の設定処理（ステップＳ１０００ｂ）の処理において温度変化に応じて閾値の変更量を変更する例を示すフローチャートである。図３２は、温度変化に応じて閾値の変更量を変更する例を模式的に示す図である。横軸は時間を示し、縦軸は第２閾値を示す。図３２に示すよう、温度の時系列値Ｔｍａの時間変化が大きい領域での第２閾値Ｔｈ１ｂの変化量を大きくする。

【0145】

図３１に示すように、閾値制御部２６ｂは、オフイベント数が所定の範囲である場合（ステップＳ１０４ｂのＮＯ）、記録部１２に時系列に記録されている受光領域２１ｂの画素３０に対応する温度情報を用いて、温度の時間変化量を演算する。例えば、温度の時間差分の絶対値を演算する（ステップＳ１１６ｂ）。温度センサ２１ｃから取得した温度は、記録部１２に時系列に記録されている。

【0146】

次に、閾値制御部２６ｂは、温度の変化量に基づき、第２閾値の変更量を演算して、第２閾値を変更する（ステップＳ１１８ｂ）。このように、温度の時間変化量に応じて第２閾値の変化量を調整する。図１４に示すように、温度変化とノイズ変化は相関するため、温度変化が大きなタイミングで、第２閾値の変化量を大きくできるので、より効率的に感度調整が可能となる。

【0147】

以上説明したように、本実施形態によれば、閾値制御部２６ｂが、遮光領域２１ａの遮光画素３０のノイズレベルに応じて閾値を設定することとした。これにより、暗時ノイズイベントの発生量を調整できるので、真イベントと暗時ノイズイベントとに対する感度調整を行うことが可能となる。

【0148】

（第１実施形態の変形例）
第１実施形態の変形例に係る撮像システム１０は、閾値を設定する演算処理部１５を撮像装置２０の外部に有する点で、第１実施形態に係る撮像システム１０と相違する。以下に１実施形態に係る撮像システム１０と相違する点を説明する。

【0149】

図３３は、第１実施形態の変形例に係る撮像装置２０の構成を示すブロック図である。図３３では、駆動部２２、アービタ部２３、カラム処理部２４の記載を省略している。図３３に示すように、演算処理部１５を撮像装置２０の外部に有する。演算処理部１５は、ユーザーが演算プログラムや、処理パラメータを変更可能な装置である。これにより、ユーザーが任意のアルゴリズムで閾値設定を行う事ができる。

【0150】

＜本開示に係る技術の適用例＞
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。

【0151】

［移動体］
図３４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

【0152】

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

【0153】

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。

【0154】

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

【0155】

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0156】

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

【0157】

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

【0158】

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

【0159】

ここで、図３５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

【0160】

尚、図３５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

【0161】

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

【0162】

図３４に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

【0163】

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

【0164】

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

【0165】

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

【0166】

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

【0167】

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。

【0168】

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ Ａｃｃｅｓｓ ｉｎ Ｖｅｈｉｃｌｅ Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

【0169】

測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

【0170】

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

【0171】

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、又はＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

【0172】

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

【0173】

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

【0174】

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

【0175】

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

【0176】

尚、図３４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

【0177】

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０，７９１２，７９１４，７９１６，７９１８や、車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０や、運転者状態検出部７５１０等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示の撮像装置を有する図１の撮像システム１０を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。

【0178】

なお、本技術は以下のような構成を取ることができる。

【0179】

（１）光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のうちの所定領域のノイズレベルに応じて閾値を設定する設定部と、
前記複数の光電変換素子で生成された前記電気信号の変化量が前記閾値を超えた場合に検出信号を検出する第１検出部と、
を備える、撮像装置。

【0180】

（２）前記所定領域の前記光電変換素子は、遮光されており、
前記所定領域以外の光電変換素子は、それぞれが入射光を光電変換して電気信号を生成する、（１）に記載の撮像装置。

【0181】

（３）前記複数の光電変換素子は、２次元の行列状に配置されており、前記遮光されている遮光領域は、行単位の前記光電変換素子の配置、及び列単位の前記光電変換素子の配置の少なくとも一方に対応する、（２）に記載の撮像装置。

【0182】

（４）前記行単位の前記光電変換素子の配置、及び前記列単位の前記光電変換素子の配置は、前記２次元の行列状に配置された前記複数の光電変換素子の端部を含む、（３）に記載の撮像装置。

【0183】

（５）前記設定部は、前記所定領域における光電変換素子で生成された前記電気信号の変化量の絶対値が、所定期間において前記閾値を超えた数に基づき、前記閾値を設定する、（１）乃至（４）のいずれか一項に記載の撮像装置。

【0184】

（６）前記第１検出部は、前記電気信号の信号レベルが増大する方向の変化量の絶対値が第１閾値を超えたときに第１検出信号を検出するとともに、前記電気信号の信号レベルが減少する方向の変化量の絶対値が第２閾値を超えたときに第２検出信号を検出し、
前記設定部は、
前記所定領域における電変換素子で生成された前記電気信号の信号レベルが増大する方向の変化量の絶対値が、所定期間において前記第１閾値を超えた数に基づき、前記第１閾値を設定し、
前記所定領域における電変換素子で生成された前記電気信号の信号レベルが減少する方向の変化量の絶対値が、所定期間において前記第２閾値を超えた数に基づき、前記２閾値を設定する、（１）乃至（５）のいずれか一項に記載の撮像装置。

【0185】

（７）前記設定部は、前記所定期間において前記閾値を超えた数に基づき、前記閾値を段階的に設定する、（１）乃至（５）のいずれか一項に記載の撮像装置。

【0186】

（８）前記設定部は、時間経過にしたがい、前記閾値の変化率を減少させる、（７）に記載の撮像装置。

【0187】

（９）前記設定部は、前記閾値の変化率を減少させ、初期設定置に漸近させる、（８）に記載の撮像装置。

【0188】

（１０）前記設定部は、前記閾値を第１段階の閾値に設定した後に、前記変化率を減少させ、所定の設定値に漸近させる、（８）に記載の撮像装置。

【0189】

（１１）前記設定部は、前記所定期間において前記閾値を超えた数が所定値未満である場合に、前記閾値を変更しない、（１）乃至（１０）のいずれか一項に記載の撮像装置。

【0190】

（１２）前記設定部は、前記複数の光電変換素子に対応する温度に応じて、前記閾値を設定する、（１）乃至（１０）のいずれか一項に記載の撮像装置。

【0191】

（１３）前記設定部は、前記温度変化が大きくなるに従い、前記閾値の変化率を大きくする、（１２）に記載の撮像装置。

【0192】

（１４）前記第１検出部は、前記所定領域の光電変換素子の前記電気信号を順繰りに読み出し、
前記設定部は、前記閾値を超えた前記検出信号の数を所定期間にわたってカウントする、（１）乃至（１３）のいずれか一項に記載の撮像装置。

【0193】

（１５）遮光された光電変換素子のノイズレベルに応じて閾値を設定し、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子で生成された前記電気信号の変化量の絶対値が前記閾値を超えた場合に検出信号を検出する、撮像方法。

【0194】

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

【符号の説明】

【0195】

１０ 撮像システム、２０ 撮像装置、２１ 画素アレイ部、２１ａ 遮光領域、２１ｂ 受光領域、２２ 駆動部、２３ アービタ部、２４ カラム処理部、２５ 信号処理部、２６ 設定部、２６ａ カウント部、２６ｂ 閾値制御部、３０ 画素、３１ 受光部、３３ アドレスイベント検出部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】