特開 2024-163442 情報処理装置および情報処理方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024163442

(43)【公開日】2024-11-22

(54)【発明の名称】情報処理装置および情報処理方法、並びにプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241115BHJP

   H04N 23/54 20230101ALI20241115BHJP

【ＦＩ】

H04N23/60 500

H04N23/54

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023079037

(22)【出願日】2023-05-12

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】仁科 有貴

(72)【発明者】

【氏名】松浦 幸治

(72)【発明者】

【氏名】衣川 洋史

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA11

5C122DA30

5C122EA59

5C122FC06

5C122FH01

5C122FH02

5C122FH10

5C122FH11

5C122FH21

5C122HA13

5C122HA35

5C122HA86

5C122HA88

5C122HB01

5C122HB06

(57)【要約】

【課題】より性能劣化を抑制する。
【解決手段】飽和領域抽出部は、階調信号が飽和状態である画素により占められる飽和領域を抽出し、イベントデータ補正部は、その飽和領域内に存在するイベントデータに対する削除補正を行う。階調信号およびイベントデータを取得するセンサの内部に実装され、または、階調信号およびイベントデータを取得するセンサの後段に設けられる信号処理部に実装される。本技術は、例えば、ＥＶＳ、または、ＥＶＳの後段に設けられるアプリケーションプロセッサに適用できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

階調信号が飽和状態である画素により占められる飽和領域を抽出する飽和領域抽出部と、
前記飽和領域内に存在するイベントデータに対する削除補正を行うイベントデータ補正部と
を備える情報処理装置。

【請求項2】

前記飽和領域抽出部は、前記階調信号が示すＲ画素、Ｇ画素、およびＢ画素の輝度値のうち、いずれかの輝度値が閾値以上である場合に、前記階調信号が飽和状態であると判定する
請求項１に記載の情報処理装置。

【請求項3】

前記飽和領域抽出部は、前記階調信号が示すＲ画素、Ｇ画素、およびＢ画素の輝度値の全てが閾値以上である場合に、前記階調信号が飽和状態であると判定する
請求項１に記載の情報処理装置。

【請求項4】

前記イベントデータ補正部は、前記飽和領域内に存在する全ての前記イベントデータに対する削除補正を行う
請求項１に記載の情報処理装置。

【請求項5】

前記イベントデータ補正部は、前記飽和領域内に存在する前記イベントデータに対する確率的な削除補正を行う
請求項１に記載の情報処理装置。

【請求項6】

前記イベントデータ補正部は、前記飽和領域の境界からの距離に応じたイベント削除率に基づいて前記イベントデータに対する削除補正を行う
請求項１に記載の情報処理装置。

【請求項7】

前記イベントデータ補正部は、前記飽和領域における被写体の移動量に応じたイベント削除率に基づいて前記イベントデータに対する削除補正を行う
請求項１に記載の情報処理装置。

【請求項8】

前記イベントデータは、ポジティブイベント、ネガティブイベント、または、イベント無しを示すデータにより構成され、
前記イベントデータ補正部は、削除補正の対象とされた前記ポジティブイベントおよび前記ネガティブイベントを示すデータを、前記イベント無しを示すデータに置き換える
請求項１に記載の情報処理装置。

【請求項9】

前記イベントデータは、ポジティブイベント、ネガティブイベント、または、イベント無しを示すデータにより構成され、
前記イベントデータ補正部は、削除補正の対象とされた前記ポジティブイベントおよび前記ネガティブイベントを示すデータに対し、削除補正の対象であることを示す削除情報を付与する
請求項１に記載の情報処理装置。

【請求項10】

前記階調信号を取得するための画素と前記イベントデータを取得するための画素とが組み合わされてセンサ面に配置されたセンサから、前記階調信号および前記イベントデータが並列的に出力される
請求項１に記載の情報処理装置。

【請求項11】

前記階調信号を取得するための画素がセンサ面に配置された第１のセンサ、および、前記イベントデータを取得するための画素がセンサ面に配置された第２のセンサそれぞれから、前記階調信号および前記イベントデータが出力される
請求項１に記載の情報処理装置。

【請求項12】

前記階調信号を取得するための画素と前記イベントデータを取得するための画素とがスイッチングにより切り替えらえるセンサから、前記階調信号および前記イベントデータが時分割的に出力される
請求項１に記載の情報処理装置。

【請求項13】

前記階調信号および前記イベントデータを取得するセンサの内部に実装される
請求項１に記載の情報処理装置。

【請求項14】

前記階調信号および前記イベントデータを取得するセンサの後段に設けられる信号処理部に実装される
請求項１に記載の情報処理装置。

【請求項15】

情報処理装置が、
階調信号が飽和状態である画素により占められる飽和領域を抽出することと、
前記飽和領域内に存在するイベントデータに対する削除補正を行うことと
を含む情報処理方法。

【請求項16】

情報処理装置のコンピュータに、
階調信号が飽和状態である画素により占められる飽和領域を抽出することと、
前記飽和領域内に存在するイベントデータに対する削除補正を行うことと
を含む情報処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、より性能劣化を抑制することができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。

【背景技術】

【0002】

近年、画素ごとの輝度変化をイベントとしてリアルタイムに検出する画像センサ（以下、ＥＶＳ（Event based Vision Sensor）と称する）の開発が進められている。

【0003】

例えば、特許文献１には、アドレスイベントの検出と合せて階調画像を取得することができる固体撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１２７１８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、画像の撮影に用いられる階調信号が線形応答であるのに対して、ＥＶＳで取得されるイベントデータが対数応答であることより、階調信号とイベントデータとでダイナミックレンジの差分（以下、ＤＲ（Dynamic Range）差分と称する）が発生してしまう。これにより、ＥＶＳでは、階調信号が飽和している飽和領域においても、イベントの発生が検出されることがある。

【0006】

そのため、階調信号とイベントデータとの両方を活用するアプリケーションにおいて、ＤＲ差分を考慮していない場合には、アプリケーションの性能劣化を引き起こすことが懸念される。例えば、階調信号とイベントデータとの両方を活用してブレを除去するDeblurアプリケーションでは、飽和領域においてアーチファクトが発生することなどがあった。そこで、このような性能劣化を抑制することが求められている。

【0007】

本開示は、このような状況に鑑みてなされたものであり、より性能劣化を抑制することができるようにするものである。

【課題を解決するための手段】

【0008】

本開示の一側面の情報処理装置は、階調信号が飽和状態である画素により占められる飽和領域を抽出する飽和領域抽出部と、前記飽和領域内に存在するイベントデータに対する削除補正を行うイベントデータ補正部とを備える。

【0009】

本開示の一側面の情報処理方法またはプログラムは、階調信号が飽和状態である画素により占められる飽和領域を抽出することと、前記飽和領域内に存在するイベントデータに対する削除補正を行うこととを含む。

【0010】

本開示の一側面においては、階調信号が飽和状態である画素により占められる飽和領域が抽出され、その飽和領域内に存在するイベントデータに対する削除補正が行われる。

【図面の簡単な説明】

【0011】

【図1】本技術を適用したＤＲ差分補正処理部の一実施の形態の構成例を示すブロック図である。

【図2】イベントデータに対する削除補正について説明する図である。

【図3】センサの構成例について説明する図である。

【図4】ハイブリッドＥＶＳセンサおよびアプリケーションプロセッサの構成例を示すブロック図である。

【図5】飽和領域抽出処理の第１の処理例を説明するフローチャートである。

【図6】飽和領域抽出処理の第２の処理例を説明するフローチャートである。

【図7】イベントデータ補正処理の第１の処理例を説明するフローチャートである。

【図8】階調信号の飽和領域内に存在する全てのイベントデータに対する削除補正が行われたＤＲ差分補正後イベントデータの一例を示す図である。

【図9】イベントデータ補正処理の第２の処理例を説明するフローチャートである。

【図10】階調信号の飽和領域内に存在するイベントデータに対する確率的な削除補正が行われたＤＲ差分補正後イベントデータの一例を示す図である。

【図11】イベントデータ補正処理の第３の処理例を説明するフローチャートである。

【図12】飽和領域を距離に変換し、その距離をイベント削除率に変換する処理について説明する図である。

【図13】距離とイベント削除率との関係を示す図である。

【図14】飽和領域の境界からの距離に応じたイベント削除率に基づく削除補正が行われたＤＲ差分補正後イベントデータの一例を示す図である。

【図15】イベントデータ補正処理の第４の処理例を説明するフローチャートである。

【図16】飽和領域における被写体の移動量の計算について説明する図である。

【図17】移動量とイベント削除率との関係を示す図である。

【図18】入出力応答の確認方法について説明する図である。

【図19】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【図20】車両制御システムの概略的な構成の一例を示すブロック図である。

【図21】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

【発明を実施するための形態】

【0012】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0013】

＜ＤＲ差分補正処理部の構成例＞
図１は、本技術を適用したＤＲ差分補正処理部の一実施の形態の構成例を示すブロック図である。

【0014】

図１に示すように、ＤＲ差分補正処理部１１は、飽和領域抽出部２１およびイベントデータ補正部２２を備えて構成され、ＤＲ差分補正処理部１１には、階調信号およびイベントデータが供給される。例えば、イベントデータは、階調信号と比較してフレームレートが大幅に高いため、１フレーム分の階調信号には、複数のフレームのイベントデータが包含される。

【0015】

階調信号は、画像を撮影するためのＲ画素、Ｇ画素、およびＢ画素それぞれが受光した光の輝度値を示す信号である。イベントデータは、イベントの発生を検出するためのＥＶＳ画素ごとに、輝度値が明るくなる方に輝度変化したことを示すポジティブイベント、輝度値が暗くなる方に輝度変化したことを示すネガティブイベント、または、輝度値が輝度変化していないことを示すイベント無しを示すデータにより構成される。なお、階調信号およびイベントデータについて、センサから出力されたままでＤＲ差分補正処理部１１に入力されてよいし、センサから出力され信号処理が施された後にＤＲ差分補正処理部１１に入力されてもよい。

【0016】

上述したように、階調信号とイベントデータとでＤＲ差分があることによって、階調信号の飽和領域内であってもイベントの発生が検出されることがある。そこで、ＤＲ差分補正処理部１１は、階調信号の飽和領域内に存在するイベントデータに対するＤＲ差分補正処理を行って、その処理後のイベントデータであるＤＲ差分補正後イベントデータを出力する。

【0017】

飽和領域抽出部２１は、ＤＲ差分補正処理部１１に供給される階調信号が飽和している飽和状態であるか否かを画素ごとに判定し、飽和状態であると判定した画素が占める領域である飽和領域を抽出して、飽和領域を示す飽和領域情報をイベントデータ補正部２２に供給する。例えば、飽和領域抽出部２１は、Ｒ画素、Ｇ画素、およびＢ画素のいずれかの輝度値が閾値以上である場合に階調信号が飽和状態であると判定すること（図５のフローチャート参照）や、Ｒ画素、Ｇ画素、およびＢ画素の全ての輝度値が閾値以上である場合に階調信号が飽和状態であると判定すること（図６のフローチャート参照）などができる。

【0018】

イベントデータ補正部２２は、飽和領域抽出部２１から供給される飽和領域情報を参照して、ＤＲ差分補正処理部１１に供給されるイベントデータのうち、階調信号の飽和領域内に存在するイベントデータに対する削除補正を行う。例えば、イベントデータ補正部２２は、階調信号の飽和領域内に存在する全てのイベントデータに対する削除補正（図７のフローチャート参照）や、階調信号の飽和領域内に存在するイベントデータに対する確率的な削除補正（図９のフローチャート参照）、飽和領域の境界からの距離に応じたイベント削除率に基づく削除補正（図１１のフローチャート参照）、飽和領域における被写体の移動量に応じたイベント削除率に基づく削除補正（図１５のフローチャート参照）などを行うことができる。

【0019】

図２を参照して、イベントデータ補正部２２によるイベントデータに対する削除補正について説明する。

【0020】

図２のＡには、イベントデータ補正部２２に供給されるイベントデータのデータ形式の一例が示されている。図示するように、ポジティブイベント（Ｐ）は０１の２ビットで表現され、ネガティブイベント（Ｎ）は１０の２ビットで表現され、イベント無しは００の２ビットで表現される。そして、図２のＡに示すようなイベントデータのうち、破線で囲われているイベントデータを削除補正の対象としたときに、イベントデータ補正部２２から出力されるＤＲ差分補正後イベントデータが図２のＢおよび図２のＣに示されている。

【0021】

図２のＢには、削除補正の対象とされたポジティブイベントおよびネガティブイベントを、イベント無しに置き換えることで、イベントデータに対する削除補正を行ったＤＲ差分補正後イベントデータのデータ形式の一例が示されている。図２のＢに示すように、ＤＲ差分補正後イベントデータでは、削除補正の対象である１つのポジティブイベントがイベント無しに置き換えられ（０１→００）ており、削除補正の対象である３つのネガティブイベントがイベント無しに置き換えられ（１０→００）ている。

【0022】

図２のＣには、削除補正の対象であるか否かを示す１ビットの削除情報を付与することで、イベントデータに対する削除補正を行ったＤＲ差分補正後イベントデータのデータ形式の一例が示されている。図２のＣに示すように、ＤＲ差分補正後イベントデータでは、削除補正の対象である１つのポジティブイベントに削除情報として１が付与され（０１→０１１）ており、削除補正の対象である３つのネガティブイベントに削除情報として１が付与され（１０→１０１）ている。また、削除補正の対象でないイベントデータには、削除情報として０が付与されており、各イベントデータが３ビット固定長ビットになるように、イベント無しは０００で表現される。

【0023】

例えば、図２のＣに示すように１ビットの削除情報を付与する場合、後段の処理部（例えば、図４のＡに示すアプリケーションプロセッサ４１Ａ）などにおいて削除情報が参照されて、必要に応じてポジティブイベントまたはネガティブイベントを削除する処理が行われる。

【0024】

図３を参照して、ＤＲ差分補正処理部１１に階調信号およびイベントデータを供給するセンサの構成例について説明する。

【0025】

図３のＡに示すように、ハイブリッドＥＶＳセンサ３１は、赤色の光を受光するＲ画素、緑色の光を受光するＧ画素、および、青色の光を受光するＢ画素と、イベントの発生を検出するためのＥＶＳ画素とが組み合わされてセンサ面に配置され、階調信号およびイベントデータを並列的にＤＲ差分補正処理部１１へ出力するように構成される。図３のＡに示すハイブリッドＥＶＳセンサ３１の構成例では、４×４画素配列のうち、左上の２×２画素配列の右下にＥＶＳ画素が配置され、右下の２×２画素配列の右下にＥＶＳ画素が配置されている。

【0026】

図３のＢに示すように、イメージセンサ３２は、赤色の光を受光するＲ画素、緑色の光を受光するＧ画素、および、青色の光を受光するＢ画素それぞれの２×２画素配列がベイヤ配列となるようにセンサ面に配置され、ＥＶＳセンサ３３は、イベントの発生を検出するためのＥＶＳ画素がセンサ面の全面に配置されている。このように、イメージセンサ３２およびＥＶＳセンサ３３それぞれから、階調信号およびイベントデータがＤＲ差分補正処理部１１へ出力されるような構成とすることができる。

【0027】

図３のＣに示すように、スイッチング方式のハイブリッドＥＶＳセンサ３４は、赤色の光を受光するＲ画素、緑色の光を受光するＧ画素、および、青色の光を受光するＢ画素と、イベントの発生を検出するためのＥＶＳ画素とがスイッチングにより切り替えらえて、階調信号およびイベントデータを時分割的にＤＲ差分補正処理部１１へ出力するように構成される。図３のＣに示すスイッチング方式のハイブリッドＥＶＳセンサ３４の構成例では、Ｒ画素、Ｇ画素、および、Ｂ画素それぞれの２×２画素配列がベイヤ配列となるようにセンサ面に配置された構成と、ＥＶＳ画素がセンサ面の全面に配置された構成とを、スイッチングにより切り替えることができる。

【0028】

図４を参照して、ハイブリッドＥＶＳセンサ３１およびアプリケーションプロセッサ４１の構成例について説明する。なお、図４では、図３のＡに示したハイブリッドＥＶＳセンサ３１について説明するが、図３のＢに示したイメージセンサ３２およびＥＶＳセンサ３３の組み合わせや、図３のＣに示したスイッチング方式のハイブリッドＥＶＳセンサ３４などについても、同様の構成とすることができる。

【0029】

図４のＡには、第１の構成例であるハイブリッドＥＶＳセンサ３１Ａおよびアプリケーションプロセッサ４１Ａのブロック図が示されている。

【0030】

図４のＡに示すように、ハイブリッドＥＶＳセンサ３１Ａは、Ｒ画素、Ｇ画素、および、Ｂ画素から出力される階調信号を取得する階調信号取得部５１、ＥＶＳ画素から出力されるイベントデータを取得するイベントデータ取得部５２、並びに、ＤＲ差分補正処理部１１を備えて構成される。そして、ハイブリッドＥＶＳセンサ３１Ａからアプリケーションプロセッサ４１Ａに、階調信号およびＤＲ差分補正後イベントデータが供給される。

【0031】

このように、ハイブリッドＥＶＳセンサ３１Ａの内部にＤＲ差分補正処理部１１が実装された構成例を採用することができる。

【0032】

図４のＢには、第２の構成例であるハイブリッドＥＶＳセンサ３１Ｂおよびアプリケーションプロセッサ４１Ｂのブロック図が示されている。

【0033】

図４のＢに示すように、ハイブリッドＥＶＳセンサ３１Ｂは、Ｒ画素、Ｇ画素、および、Ｂ画素から出力される階調信号を取得する階調信号取得部５１、並びに、ＥＶＳ画素から出力されるイベントデータを取得するイベントデータ取得部５２を備えて構成され、アプリケーションプロセッサ４１Ｂは、ＤＲ差分補正処理部１１を備えて構成される。そして、ハイブリッドＥＶＳセンサ３１Ｂからアプリケーションプロセッサ４１Ｂに、階調信号およびイベントデータが供給される。

【0034】

このように、ハイブリッドＥＶＳセンサ３１Ｂの後段に設けられるアプリケーションプロセッサ４１ＢにＤＲ差分補正処理部１１が実装された構成例を採用することができる。

【0035】

以上のように構成されるＤＲ差分補正処理部１１は、階調信号の飽和領域内に存在するイベントデータに対する削除補正を行ったＤＲ差分補正後イベントデータを出力することができる。これにより、階調信号の飽和領域内に存在するイベントデータの数が削減されることでＤＲ差分による影響を低減させることができる結果、階調信号とイベントデータとの両方を活用するアプリケーションの性能劣化を抑制することができる。例えば、ＤＲ差分を考慮していないようなDeblurアプリケーションでは、階調信号の飽和領域内に存在するアーチファクトの発生を抑制することができる。

【0036】

＜飽和領域抽出処理の処理例＞
図５および図６を参照して、飽和領域抽出部２１において実行される飽和領域抽出処理について説明する。例えば、飽和領域抽出処理は、処理対象となる所定数の画素ごとに処理を行うことができ、図３のＡに示したようなハイブリッドＥＶＳセンサ３１では４×４画素配列を処理対象として処理を行うことができる。

【0037】

図５は、飽和領域抽出処理の第１の処理例を説明するフローチャートである。

【0038】

ステップＳ１１において、飽和領域抽出部２１は、階調信号取得部５１により取得された１フレーム分の階調信号のうち、処理対象の階調信号を読み出す。

【0039】

ステップＳ１２において、飽和領域抽出部２１は、処理対象の階調信号の飽和状態を示すデータに０をセットする。

【0040】

ステップＳ１３において、飽和領域抽出部２１は、処理対象の階調信号について、Ｒ画素、Ｇ画素、およびＢ画素のいずれかの輝度値が閾値以上であるか否かを判定する。

【0041】

ステップＳ１３において、飽和領域抽出部２１が、処理対象の階調信号について、Ｒ画素、Ｇ画素、およびＢ画素のいずれかの輝度値が閾値以上であると判定した場合、処理はステップＳ１４に進む。ステップＳ１４において、飽和領域抽出部２１は、処理対象の階調信号の飽和状態を示すデータに１をセットする。

【0042】

一方、ステップＳ１３において、処理対象の階調信号について、Ｒ画素、Ｇ画素、およびＢ画素のいずれかの輝度値が閾値以上でない（全ての輝度値が閾値未満である）と判定された場合、または、ステップＳ１４の処理後、処理はステップＳ１５に進む。

【0043】

ステップＳ１５において、飽和領域抽出部２１は、処理対象の階調信号について飽和状態を示すデータを出力し、飽和領域抽出処理は終了される。その後、飽和領域抽出部２１は、次の処理対象の階調信号を用いた飽和領域抽出処理を行い、１フレーム分の全ての処理対象について飽和領域抽出処理を行うことで、１フレーム分の飽和状態を示すデータからなる飽和領域情報を取得することができる。

【0044】

図６は、飽和領域抽出処理の第２の処理例を説明するフローチャートである。

【0045】

ステップＳ２１およびＳ２２において、図５のステップＳ１１およびＳ１２と同様の処理が行われ、ステップＳ２３において、飽和領域抽出部２１は、処理対象の階調信号について、Ｒ画素、Ｇ画素、およびＢ画素の全ての輝度値が閾値以上であるか否かを判定する。

【0046】

ステップＳ２３において、飽和領域抽出部２１が、処理対象の階調信号について、Ｒ画素、Ｇ画素、およびＢ画素の全ての輝度値が閾値以上であると判定した場合、処理はステップＳ２４に進む。一方、ステップＳ２３において、飽和領域抽出部２１が、処理対象の階調信号について、Ｒ画素、Ｇ画素、およびＢ画素の全ての輝度値が閾値以上でない（いずれか１つでも輝度値が閾値未満である）と判定した場合、処理はステップＳ２５に進む。

【0047】

ステップＳ２４およびＳ２５において、図５のステップＳ１４およびＳ１５と同様の処理が行われ、飽和領域抽出処理は終了される。その後、飽和領域抽出部２１は、次の処理対象の階調信号を用いた飽和領域抽出処理を行い、１フレーム分の全ての処理対象について飽和領域抽出処理を行うことで、１フレーム分の飽和状態を示すデータからなる飽和領域情報を取得することができる。

【0048】

＜イベントデータ補正処理の処理例＞
図７乃至図１７を参照して、イベントデータ補正部２２において実行されるイベントデータ補正処理について説明する。例えば、イベントデータ補正処理は、イベントデータを１つずつ処理対象として処理を行うことができる。

【0049】

図７は、イベントデータ補正処理の第１の処理例を説明するフローチャートである。

【0050】

ステップＳ３１において、イベントデータ補正部２２は、飽和領域抽出部２１から飽和領域情報を読み出す。

【0051】

ステップＳ３２において、イベントデータ補正部２２は、処理対象となるイベントデータをイベントデータ取得部５２から読み出す。

【0052】

ステップＳ３３において、イベントデータ補正部２２は、ステップＳ３１で読み出した飽和領域情報を参照して、ステップＳ３２で読み出したイベントデータは飽和領域内に存在するか否かを判定する。

【0053】

ステップＳ３３において、イベントデータ補正部２２が、イベントデータは飽和領域内に存在すると判定した場合、処理はステップＳ３４に進む。ステップＳ３４において、イベントデータ補正部２２は、処理対象となっているイベントデータに対する削除補正を行う。

【0054】

一方、ステップＳ３３において、イベントデータは飽和領域内に存在しないと判定された場合、または、ステップＳ３４の処理後、処理はステップＳ３５に進む。

【0055】

ステップＳ３５において、イベントデータ補正部２２はイベントデータを出力し、イベントデータ補正処理は終了される。このとき、ステップＳ３４の処理が行われていた場合には、図２のＢを参照して上述したようにポジティブイベントまたはネガティブイベントがイベント無しに置き換えられたイベントデータや、図２のＣを参照して上述したように削除情報として１が付与されたイベントデータなどが出力される。一方、ステップＳ３４の処理が行われていなかった場合には、ステップＳ３２で読み出したイベントデータがそのまま出力される。

【0056】

その後、イベントデータ補正部２２は、次のイベントデータを処理対象としたイベントデータ補正処理を行い、１フレーム分の全てのイベントデータについてイベントデータ補正処理を行うことで、１フレーム分のＤＲ差分補正後イベントデータを取得することができる。

【0057】

このように、イベントデータ補正処理の第１の処理例では、図８に示すように、飽和領域内に存在する全てのイベントデータに対する削除補正が行われたＤＲ差分補正後イベントデータが出力される。

【0058】

図９は、イベントデータ補正処理の第２の処理例を説明するフローチャートである。

【0059】

ステップＳ４１乃至Ｓ４３において、図７のステップＳ３１乃至Ｓ３３と同様の処理が行われ、ステップＳ４３において、イベントデータ補正部２２が、イベントデータは飽和領域内に存在すると判定した場合、処理はステップＳ４４に進む。

【0060】

ステップＳ４４において、イベントデータ補正部２２は、0.0～1.0の一様乱数を生成する。

【0061】

ステップＳ４５において、イベントデータ補正部２２は、ステップＳ４４で生成した乱数の値は閾値以上であるか否かを判定する。ここで、閾値は削除率に従って設定され、例えば、削除率５０％の場合、閾値は0.5に設定される。

【0062】

ステップＳ４５において、イベントデータ補正部２２が、乱数の値は閾値以上であると判定した場合、処理はステップＳ４６に進む。ステップＳ４６において、イベントデータ補正部２２は、処理対象となっているイベントデータに対する削除補正を行う。

【0063】

一方、ステップＳ４３において、イベントデータは飽和領域内に存在しないと判定された場合、ステップＳ４５において、乱数の値は閾値以上でないと判定された場合、または、ステップＳ４６の処理後、処理はステップＳ４７に進む。

【0064】

その後、ステップＳ４７において、図７のステップＳ３５と同様の処理が行われ、イベントデータ補正処理は終了される。

【0065】

このように、イベントデータ補正処理の第２の処理例では、階調信号の飽和領域内に存在するイベントデータに対する確率的な削除補正が行われたＤＲ差分補正後イベントデータが出力される。例えば、図１０には、階調信号の飽和領域内に存在するイベントデータに対して削除率５０％で削除補正が行われたＤＲ差分補正後イベントデータの一例が示されている。

【0066】

ここで、階調信号とイベントデータとの両方を活用するアプリケーションにおいて、階調信号の飽和領域内に存在するイベントデータの数を削減することで、ある性能については性能劣化を抑制することができる一方で、階調信号の飽和領域内に存在する全てのイベントデータに対する削除補正を行った場合、他の性能については性能劣化してしまうことがある。例えば、Deblurアプリケーションでは、階調信号の飽和領域内に存在するイベントデータの数を削減することで、飽和領域におけるアーチファクトの発生を抑制することができる一方で、階調信号の飽和領域内に存在する全てのイベントデータに対する削除補正を行った場合には、飽和領域におけるDeblur性能が劣化してしまうことがある。

【0067】

そこで、イベントデータ補正処理の第２の処理例のように、階調信号の飽和領域内に存在するイベントデータに対する確率的な削除補正を行うことによって、階調信号とイベントデータとの両方を活用するアプリケーションの性能についてトレードオフを調整することができる。

【0068】

例えば、Deblurアプリケーションでは、アーチファクトの発生を抑制することと、Deblur性能の劣化を抑制することとを、階調信号の飽和領域内に存在するイベントデータに対する削除率を制御することで調整することができる。つまり、削除率が１００％である場合には、アーチファクトは発生しない一方で、Deblur性能が低くなってしまう。削除率が５０％である場合には、アーチファクトは中レベルで発生するとともに、Deblur性能も中レベルとすることができる。削除率が０％である（即ち、ＤＲ差分補正処理が実施されない）場合には、アーチファクトは多く発生する一方で、Deblur性能を高くすることができる。

【0069】

このように、階調信号とイベントデータとの両方を活用するアプリケーションで求められる性能に応じて、階調信号の飽和領域内に存在するイベントデータに対する削除補正を適切に行うことが必要となる。

【0070】

図１１は、イベントデータ補正処理の第３の処理例を説明するフローチャートである。

【0071】

ステップＳ５１乃至Ｓ５３において、図７のステップＳ３１乃至Ｓ３３と同様の処理が行われ、ステップＳ５３において、イベントデータ補正部２２が、イベントデータは飽和領域内に存在すると判定した場合、処理はステップＳ５４に進む。

【0072】

ステップＳ５４において、イベントデータ補正部２２は、ステップＳ５１で取得した飽和領域情報を参照して飽和領域を距離に変換し、ステップＳ５５において、イベントデータ補正部２２は、その距離をイベント削除率に変換する。

【0073】

例えば、図１２に示すように、飽和領域情報では、飽和状態となっている画素に１がセットされ、飽和状態となっていない画素に０がセットされている。まず、イベントデータ補正部２２は、階調信号が飽和状態である画素により占められる飽和領域にある各画素について、飽和領域の境界からの距離（境界からの画素数）を計算し、飽和領域を距離に変換する。そして、イベントデータ補正部２２は、飽和領域にある各画素について、飽和領域の境界からの距離が近ければイベント削除率が低くなり、飽和領域の境界からの距離が遠ければイベント削除率が高くなるように、距離をイベント削除率に変換する。

【0074】

例えば、イベントデータ補正部２２は、図１３に示すような距離とイベント削除率との関係に従って、距離をイベント削除率に変換することができる。例えば、距離がパラメータｄ０未満である場合、距離はイベント削除率0.0に変換され、距離がパラメータｄ０以上であって、かつ、パラメータｄ１未満である場合、距離はイベント削除率0.0～1.0の間で線形変換され、距離がパラメータｄ１以上である場合、距離はイベント削除率1.0に変換される。このように、パラメータｄ０およびｄ１によってイベント削除率を制御することができる。

【0075】

その後、ステップＳ５６乃至Ｓ５９において、図９のステップＳ４４乃至Ｓ４７と同様の処理が行われ、イベントデータ補正処理は終了される。

【0076】

このように、イベントデータ補正処理の第３の処理例では、図１４に示すように、飽和領域の境界からの距離に応じたイベント削除率に基づく削除補正が行われたＤＲ差分補正後イベントデータが出力される。

【0077】

従って、例えば、Deblurアプリケーションに用いる場合、Deblur性能に影響しやすい飽和境界近くではポジティブイベントまたはネガティブイベントを残しつつ、アーチファクトに影響しやすい飽和領域中央に近づくにつれてポジティブイベントまたはネガティブイベントを削除する割合を上げることができる。これにより、Deblurアプリケーションの性能を適切に発揮させることができる。

【0078】

図１５は、イベントデータ補正処理の第４の処理例を説明するフローチャートである。

【0079】

ステップＳ６１乃至Ｓ６３において、図７のステップＳ３１乃至Ｓ３３と同様の処理が行われ、ステップＳ６３において、イベントデータ補正部２２が、イベントデータは飽和領域内に存在すると判定した場合、処理はステップＳ６４に進む。

【0080】

ステップＳ６４において、イベントデータ補正部２２は、ステップＳ６１で取得した飽和領域情報を参照して飽和領域における被写体の移動量を計算し、ステップＳ６５において、イベントデータ補正部２２は、その移動量をイベント削除率に変換する。

【0081】

例えば、図１６に示すように、イベントデータ補正部２２は、階調信号の露光開始タイミングに対応するイベントデータと、階調信号の露光終了タイミングに対応するイベントデータとを取り出す。そして、イベントデータ補正部２２は、それぞれに対して飽和領域内に存在するイベントの重心を計算し、階調信号の露光開始から露光終了までの重心の移動量を、被写体の移動量とする。このとき、図１６に示すように、被写体が低速で移動している場合には重心の移動量は小さく、被写体が高速で移動している場合には重心の移動量は大きくなる。そして、イベントデータ補正部２２は、飽和領域にある各画素について、被写体の移動量が小さければイベント削除率が高くなり、被写体の移動量が大きければイベント削除率が低くなるように、被写体の移動量をイベント削除率に変換する。

【0082】

例えば、イベントデータ補正部２２は、図１７に示すような移動量とイベント削除率との関係に従って、移動量をイベント削除率に変換することができる。例えば、移動量がパラメータｄ０未満である場合、移動量はイベント削除率1.0に変換され、距離がパラメータｄ０以上であって、かつ、パラメータｄ１未満である場合、移動量はイベント削除率0.0～1.0の間で線形変換され、距離がパラメータｄ１以上である場合、移動量はイベント削除率0.0に変換される。このように、パラメータｄ０およびｄ１によってイベント削除率を制御することができる。

【0083】

その後、ステップＳ６６乃至Ｓ６９において、図９のステップＳ４４乃至Ｓ４７と同様の処理が行われ、イベントデータ補正処理は終了される。

【0084】

このように、イベントデータ補正処理の第４の処理例では、飽和領域における被写体の移動量に応じたイベント削除率に基づく削除補正が行われたＤＲ差分補正後イベントデータが出力される。

【0085】

例えば、Deblurアプリケーションに用いる場合、被写体が高速に移動しているときと比較して、被写体が低速に移動しているときにはアーチファクトが出やすい傾向がある。従って、被写体が低速に移動しているときにはポジティブイベントまたはネガティブイベントを削除する割合を上げることでアーチファクトを抑制し、Deblurアプリケーションの性能を適切に発揮させることができる。

【0086】

＜入出力応答の確認方法＞
図１８を参照して、入出力応答の確認方法について説明する。

【0087】

まず、内部にテクスチャを有する光源を用意し、その光源を等速に動かしながらハイブリッドＥＶＳセンサ３１による撮影を行って、階調信号およびイベントデータを取得する。このとき、例えば、光源の照度を変化させることによって、階調信号の輝度値を変化させながらハイブリッドＥＶＳセンサ３１による複数回の撮影を行う。なお、階調信号を取得するための画素の露光時間を変化させることによって、ハイブリッドＥＶＳセンサ３１により取得される階調信号の輝度値を変化させてもよい。また、ハイブリッドＥＶＳセンサ３１は、階調信号が飽和している状態でも撮影できるように構成されている。

【0088】

そして、このように光源を撮影して得られた階調信号およびイベントデータを入力としたときの光源部（ハイブリッドＥＶＳセンサ３１により光源が写された部分）のイベント数を出力として、ＤＲ差分補正処理が実施されていないときの出力と、ＤＲ差分補正処理が実施されているときの出力とでは、図１８に示すような差が確認できる。

【0089】

図１８のＡには、ＤＲ差分補正処理が実施されていないときにおける光源の照度と光源部のイベント数との関係が示されている。図示するように、ＤＲ差分補正処理が実施されていない場合には、階調信号が飽和するまで光源の照度を高くしても、光源部のイベント数が削減するような変化が生じていないことが確認される。

【0090】

図１８のＢには、ＤＲ差分補正処理が実施されているときにおける光源の照度と光源部のイベント数との関係が示されている。図示するように、ＤＲ差分補正処理が実施されている場合には、階調信号が飽和するまで光源の照度を高くすると、光源部のイベント数が削減するような変化が生じていることが確認される。

【0091】

このように、ＤＲ差分補正処理を実施しているか否かで、入出力応答が異なることを確認することができる。

【0092】

＜コンピュータの構成例＞
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

【0093】

図１９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0094】

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）１０４は、バス１０５により相互に接続されている。バス１０５には、さらに、入出力インタフェース１０６が接続されており、入出力インタフェース１０６が外部に接続される。

【0095】

以上のように構成されるコンピュータでは、CPU１０１が、例えば、ROM１０２およびEEPROM１０４に記憶されているプログラムを、バス１０５を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０１）が実行するプログラムは、ROM１０２に予め書き込んでおく他、入出力インタフェース１０６を介して外部からEEPROM１０４にインストールしたり、更新したりすることができる。

【0096】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0097】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0098】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0099】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0100】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0101】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0102】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0103】

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0104】

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0105】

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

【0106】

図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

【0107】

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

【0108】

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

【0109】

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

【0110】

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0111】

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

【0112】

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

【0113】

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

【0114】

ここで、図２１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

【0115】

なお、図２１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

【0116】

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

【0117】

図２０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

【0118】

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

【0119】

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

【0120】

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

【0121】

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

【0122】

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

【0123】

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

【0124】

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

【0125】

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

【0126】

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

【0127】

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

【0128】

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

【0129】

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

【0130】

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

【0131】

なお、図２０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

【0132】

なお、図１を用いて説明した本実施形態に係るＤＲ差分補正処理部１１は、図２０に示した応用例の７４１０及び車外情報検出部７４２０に適用することができ、車外情報検出ユニット７４００が、ＤＲ差分補正後イベントデータに基づいて、車両の外部の情報を検出することができる。

【0133】

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
階調信号が飽和状態である画素により占められる飽和領域を抽出する飽和領域抽出部と、
前記飽和領域内に存在するイベントデータに対する削除補正を行うイベントデータ補正部と
を備える情報処理装置。
（２）
前記飽和領域抽出部は、前記階調信号が示すＲ画素、Ｇ画素、およびＢ画素の輝度値のうち、いずれかの輝度値が閾値以上である場合に、前記階調信号が飽和状態であると判定する
上記（１）に記載の情報処理装置。
（３）
前記飽和領域抽出部は、前記階調信号が示すＲ画素、Ｇ画素、およびＢ画素の輝度値の全てが閾値以上である場合に、前記階調信号が飽和状態であると判定する
上記（１）に記載の情報処理装置。
（４）
前記イベントデータ補正部は、前記飽和領域内に存在する全ての前記イベントデータに対する削除補正を行う
上記（１）から（３）までのいずれかに記載の情報処理装置。
（５）
前記イベントデータ補正部は、前記飽和領域内に存在する前記イベントデータに対する確率的な削除補正を行う
上記（１）から（３）までのいずれかに記載の情報処理装置。
（６）
前記イベントデータ補正部は、前記飽和領域の境界からの距離に応じたイベント削除率に基づいて前記イベントデータに対する削除補正を行う
上記（１）から（３）までのいずれかに記載の情報処理装置。
（７）
前記イベントデータ補正部は、前記飽和領域における被写体の移動量に応じたイベント削除率に基づいて前記イベントデータに対する削除補正を行う
上記（１）から（３）までのいずれかに記載の情報処理装置。
（８）
前記イベントデータは、ポジティブイベント、ネガティブイベント、または、イベント無しを示すデータにより構成され、
前記イベントデータ補正部は、削除補正の対象とされた前記ポジティブイベントおよび前記ネガティブイベントを示すデータを、前記イベント無しを示すデータに置き換える
上記（１）から（７）までのいずれかに記載の情報処理装置。
（９）
前記イベントデータは、ポジティブイベント、ネガティブイベント、または、イベント無しを示すデータにより構成され、
前記イベントデータ補正部は、削除補正の対象とされた前記ポジティブイベントおよび前記ネガティブイベントを示すデータに対し、削除補正の対象であることを示す削除情報を付与する
上記（１）から（７）までのいずれかに記載の情報処理装置。
（１０）
前記階調信号を取得するための画素と前記イベントデータを取得するための画素とが組み合わされてセンサ面に配置されたセンサから、前記階調信号および前記イベントデータが並列的に出力される
上記（１）から（９）までのいずれかに記載の情報処理装置。
（１１）
前記階調信号を取得するための画素がセンサ面に配置された第１のセンサ、および、前記イベントデータを取得するための画素がセンサ面に配置された第２のセンサそれぞれから、前記階調信号および前記イベントデータが出力される
上記（１）から（９）までのいずれかに記載の情報処理装置。
（１２）
前記階調信号を取得するための画素と前記イベントデータを取得するための画素とがスイッチングにより切り替えらえるセンサから、前記階調信号および前記イベントデータが時分割的に出力される
上記（１）から（９）までのいずれかに記載の情報処理装置。
（１３）
前記階調信号および前記イベントデータを取得するセンサの内部に実装される
上記（１）から（１２）までのいずれかに記載の情報処理装置。
（１４）
前記階調信号および前記イベントデータを取得するセンサの後段に設けられる信号処理部に実装される
上記（１）から（１２）までのいずれかに記載の情報処理装置。
（１５）
情報処理装置が、
階調信号が飽和状態である画素により占められる飽和領域を抽出することと、
前記飽和領域内に存在するイベントデータに対する削除補正を行うことと
を含む情報処理方法。
（１６）
情報処理装置のコンピュータに、
階調信号が飽和状態である画素により占められる飽和領域を抽出することと、
前記飽和領域内に存在するイベントデータに対する削除補正を行うことと
を含む情報処理を実行させるためのプログラム。

【0134】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【符号の説明】

【0135】

１１ ＤＲ差分補正処理部， ２１ 飽和領域抽出部， ２２ イベントデータ補正部， ３１ ハイブリッドＥＶＳセンサ， ３２ イメージセンサ， ３３ ＥＶＳセンサ， ３４ スイッチング方式のハイブリッドＥＶＳセンサ， ４１ アプリケーションプロセッサ， ５１ 階調信号取得部， ５２ イベントデータ取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】