特許 7177934 センサ制御装置、センサ制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-15

(45)【発行日】2022-11-24

(54)【発明の名称】センサ制御装置、センサ制御方法およびプログラム

(51)【国際特許分類】

   H04N 5/351 20110101AFI20221116BHJP

   H04N 5/345 20110101ALI20221116BHJP

【ＦＩ】

H04N5/351

H04N5/345

【請求項の数】 7

(21)【出願番号】P 2021528788

(86)(22)【出願日】2019-06-27

(86)【国際出願番号】 JP2019025620

(87)【国際公開番号】W WO2020261491

(87)【国際公開日】2020-12-30

【審査請求日】2021-11-17

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110000637

【氏名又は名称】特許業務法人樹之下知的財産事務所

(72)【発明者】

【氏名】長沼 宏昌

【審査官】鈴木 明

(56)【参考文献】

【文献】特表２０１４－５３５０９８（ＪＰ，Ａ）

【文献】特開２０１８－０８５７２５（ＪＰ，Ａ）

【文献】特開２０１８－１４８５５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０－５／３７８

(57)【特許請求の範囲】

【請求項1】

入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、前記センサアレイ上の第１の領域において前記イベント信号を第１の頻度で読み出し、前記センサアレイ上の第２の領域において前記イベント信号を前記第１の頻度よりも高い第２の頻度で読み出すように制御する読み出し制御部と、
所定の時間内に前記第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて前記第１の領域の少なくとも一部を前記第２の領域に変更するか、または前記所定の時間内に前記第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて前記第２の領域の少なくとも一部を前記第１の領域に変更する領域設定部と
を備えるセンサ制御装置。

【請求項2】

前記領域設定部は、前記第１の領域のサブ領域ごとの前記第１のイベント信号の数が所定の閾値と同じか、またはより多い場合に前記サブ領域を前記第２の領域に変更する、請求項１に記載のセンサ制御装置。

【請求項3】

前記領域設定部は、前記第２の領域のサブ領域ごとの前記第２のイベント信号の数が所定の閾値と同じか、またはより少ない場合に前記サブ領域を前記第１の領域に変更する、請求項１または請求項２に記載のセンサ制御装置。

【請求項4】

前記第１の頻度は０であり、
前記所定の時間は、前記センサがノイズによって前記イベント信号を生成する周期よりも長い時間であり、
前記領域設定部は、前記第２のイベント信号の数が０である場合に前記サブ領域を前記第１の領域に変更する、請求項３に記載のセンサ制御装置。

【請求項5】

前記読み出し制御部は、前記センサアレイ上の第３の領域において前記イベント信号を前記第２の頻度よりも高い第３の頻度で読み出すように制御する、請求項１から請求項４のいずれか１項に記載のセンサ制御装置。

【請求項6】

入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、前記センサアレイ上の第１の領域において前記イベント信号を第１の頻度で読み出し、前記センサアレイ上の第２の領域において前記イベント信号を前記第１の頻度よりも高い第２の頻度で読み出すように制御するステップと、
所定の時間内に前記第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて前記第１の領域の少なくとも一部を前記第２の領域に変更するか、または前記所定の時間内に前記第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて前記第２の領域の少なくとも一部を前記第１の領域に変更するステップと
を含むセンサ制御方法。

【請求項7】

入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、前記センサアレイ上の第１の領域において前記イベント信号を第１の頻度で読み出し、前記センサアレイ上の第２の領域において前記イベント信号を前記第１の頻度よりも高い第２の頻度で読み出すように制御する機能と、
所定の時間内に前記第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて前記第１の領域の少なくとも一部を前記第２の領域に変更するか、または前記所定の時間内に前記第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて前記第２の領域の少なくとも一部を前記第１の領域に変更する機能と
をコンピュータに実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、センサ制御装置、センサ制御方法およびプログラムに関する。

【背景技術】

【0002】

入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１４－５３５０９８号公報

【文献】特開２０１８－８５７２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、イベント駆動型のビジョンセンサについて、上記のような時間非同期的な信号の生成を考慮してセンサの読み出し制御を最適化する技術については、まだ提案されていない。

【0005】

そこで、本発明は、イベント駆動型のビジョンセンサにおける時間非同期的な信号の生成を考慮して読み出し制御を最適化することが可能な、センサ制御装置、センサ制御方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明のある観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、センサアレイ上の第１の領域においてイベント信号を第１の頻度で読み出し、センサアレイ上の第２の領域においてイベント信号を第１の頻度よりも高い第２の頻度で読み出すように制御する読み出し制御部と、所定の時間内に第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて第１の領域の少なくとも一部を第２の領域に変更するか、または所定の時間内に第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて第２の領域の少なくとも一部を第１の領域に変更する領域設定部とを備えるセンサ制御装置が提供される。

【0007】

本発明の別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、センサアレイ上の第１の領域においてイベント信号を第１の頻度で読み出し、センサアレイ上の第２の領域においてイベント信号を第１の頻度よりも高い第２の頻度で読み出すように制御するステップと、所定の時間内に第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて第１の領域の少なくとも一部を第２の領域に変更するか、または所定の時間内に第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて第２の領域の少なくとも一部を第１の領域に変更するステップとを含むセンサ制御方法が提供される。

【0008】

本発明のさらに別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、センサアレイ上の第１の領域においてイベント信号を第１の頻度で読み出し、センサアレイ上の第２の領域においてイベント信号を第１の頻度よりも高い第２の頻度で読み出すように制御する機能と、所定の時間内に第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて第１の領域の少なくとも一部を第２の領域に変更するか、または所定の時間内に第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて第２の領域の少なくとも一部を第１の領域に変更する機能とをコンピュータに実現させるためのプログラムが提供される。

【0009】

上記の構成によれば、イベント駆動型のビジョンセンサにおける時間非同期的な信号の生成を考慮して読み出し制御を最適化することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係るシステムの概略的な構成を示す図である。

【図2】図１に示すＥＤＳの構成を示す図である。

【図3】本発明の一実施形態においてセンサアレイ上に４つの領域が設定される例を示す図である。

【図4】本発明の一実施形態の変形例を示す図である。

【図5】本発明の一実施形態に係るセンサ制御方法の処理の例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0012】

図１は本発明の一実施形態に係るシステムの概略的な構成を示す図であり、図２は図１に示すＥＤＳの構成を示す図である。図示された例において、システム１０は、ＥＤＳ（Event Driven Sensor）１００と、センサ制御装置２００とを含む。

【0013】

ＥＤＳ１００は、イベント駆動型のビジョンセンサであり、入射する光の強度変化（以下、イベントともいう）を検出したときにイベント信号を生成するセンサ１１０によって構成されるセンサアレイ１２０と、センサ１１０からのイベント信号の読み出しを制御するアドレス発生装置１３１，１３２とを含む。センサアレイ１２０において、センサ１１０は直交する２方向（ｘ方向およびｙ方向として図示する）に配列されており、アドレス発生装置１３１，１３２がそれぞれｘ方向およびｙ方向について発生させるアドレスに従ってセンサ１１０からイベント信号が読み出される。ここで、あるアドレスのセンサ１１０がイベントを検出しなかった場合には読み出しが実行されてもイベント信号は読み出されず、次のアドレスの読み出しが実行される。従って、ＥＤＳ１００から出力されるイベント信号は時間非同期的である。ＥＤＳ１００から出力されるイベント信号は、センサの識別情報（例えばアドレス）と、輝度変化の極性（上昇または低下）と、タイムスタンプとを含む。

【0014】

センサ制御装置２００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される読み出し制御部２１０および領域設定部２２０の機能部分を含む。また、センサ制御装置２００のメモリには、領域情報２３０およびイベント履歴２４０が格納される。以下、各部の構成についてさらに説明する。

【0015】

読み出し制御部２１０は、ＥＤＳ１００におけるイベント信号の読み出し頻度を制御する。具体的には、読み出し制御部２１０は、ＥＤＳ１００に制御信号を送信し、ＥＤＳ１００ではアドレス発生装置１３１，１３２が制御信号に従ってセンサ１１０からイベント信号を読み出すためのアドレスを生成する。ここで、読み出し制御部２１０は、センサアレイ１２０上の第１の領域においてイベント信号を第１の頻度ｒ_１で読み出し、センサアレイ１２０上の第２の領域においてイベント信号を第２の頻度ｒ_２で読み出すようにＥＤＳ１００を制御し、第２の頻度ｒ_２は、第１の頻度ｒ_１よりも高い（ｒ_１＜ｒ_２）。ここで、本明細書において、頻度は、単位時間のうちに読み出しが実行される回数を意味する。上記のような制御信号を受信したＥＤＳ１００のアドレス発生装置１３１，１３２は、第１の領域のセンサ１１０のアドレスを単位時間あたりｒ_１回、第２の領域のセンサ１１０のアドレスを単位時間あたりｒ_２回生成する。

【0016】

上記のような読み出し制御部２１０の処理において設定される第１の領域および第２の領域は、センサアレイ１２０上で複数のセンサ１１０を含む領域であり、例えばｘ方向およびｙ方向のそれぞれのアドレス範囲によって特定される。例えば、領域情報２３０は、第１の領域を示すアドレス範囲および第２の領域を示すアドレス範囲の少なくともいずれかを含む。例えば、領域情報２３０が第２の領域を示すアドレス範囲のみを含み、センサアレイ１２０上の第２の領域以外の領域が第１の領域として特定されてもよい。あるいは、センサアレイ１２０が予め所定の数の単位領域に区分され、領域情報２３０は第１の領域および第２の領域のそれぞれに含まれる単位領域のＩＤを含んでもよい。この場合も、読み出し制御部２１０がそれぞれの単位領域のＩＤをアドレス範囲に変換し、制御信号には第１の領域および第２の領域のそれぞれのアドレスを示す情報が含まれてもよい。

【0017】

領域設定部２２０は、所定の時間内に第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて第１の領域の少なくとも一部を第２の領域に変更するか、または所定の時間内に第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて第２の領域の少なくとも一部を第１の領域に変更する。領域設定部２２０は、変更後の領域で領域情報２３０を更新する。上述のような読み出し制御部２１０によるＥＤＳ１００の制御は、センサアレイ１２０上の第１の領域でイベントが検出される頻度が、第２の領域でイベントが検出される頻度よりも低いことを前提にしている。従って、第１の領域の一部でイベントが検出される頻度が第２の領域と同程度になるか、またはよりも高くなった場合は、当該部分を第２の領域に変更することが適切である。同様に、第２の領域の一部でイベントが検出される頻度が第１の領域と同程度になるか、またはより低くなった場合は、当該部分を第１の領域に変更することが適切である。

【0018】

具体的には、領域設定部２２０は、イベント履歴２４０を参照して上記の処理を実行する。例えば、イベント履歴２４０は、直近でＥＤＳ１００から受信されたイベント信号のアドレスおよびタイムスタンプを含む。この場合、領域設定部２２０はこれらのアドレスおよびタイムスタンプに基づいて直近の所定の時間における第１の領域のサブ領域ごとのイベント信号（第１のイベント信号）の数をカウントし、イベント信号の数が第１の閾値以上のサブ領域を第２の領域に変更する。これによって、ある時点で設定されている第１の領域の中でイベント信号がより多く生成されているサブ領域を第２の領域に変更してイベント信号の読み出し頻度を上昇させることができる。同様に、領域設定部２２０は、直近の所定の時間における第２の領域のサブ領域ごとのイベント信号（第２のイベント信号）の数をカウントし、イベント信号の数が第２の閾値以下のサブ領域を第１の領域に変更する。これによって、ある時点で設定されている第２の領域の中でイベント信号がより多く生成されているサブ領域を第１の領域に変更してイベント信号の読み出し頻度を低下させることができる。上記の第１の閾値と第２の閾値とは、同じ値であってもよいし、異なる値であってもよい。

【0019】

以上で説明したような本発明の一実施形態によれば、被写体が比較的速い速度で移動していることによってイベントの発生が多い領域ではイベント信号の読み出し頻度を高くし、逆に被写体が移動していないか、または比較的遅い速度で移動していることによってイベントの発生が少ない領域ではイベント信号の読み出し頻度を低くすることができる。これによって、例えばイベント信号の読み出し頻度が一様である場合に比べて、イベントの発生が多い領域でのイベント信号の読み出し周期を相対的に短縮することができ、被写体の動きへのイベント信号の追従性を向上させることができる。

【0020】

また、ノイズなどによる被写体の動きと関係しないイベントは、一般に被写体の動きによって発生するイベントよりも発生頻度が低い。それゆえ、上記のようにイベントの発生が少ない領域ではイベント信号の読み出し頻度を低くすることによって、結果的にノイズなどによる被写体の動きと関係しないイベントに由来するイベント信号の割合を低下させることができ、全体としてイベント信号のＳ／Ｎ比を向上させることができる。

【0021】

なお、上記の例では読み出し制御部２１０がＥＤＳ１００のセンサアレイ１２０上に設定された第１の領域および第２の領域についてイベント信号の読み出し頻度を制御したが、センサアレイ１２０上により多くの領域が設定されてもよい。例えば、センサアレイ１２０上に第１および第２の領域に加えて第３の領域が設定され、センサ制御装置２００の読み出し制御部２１０は、第３の領域においてイベント信号を第２の頻度ｒ_２よりも高い第３の頻度ｒ_３（ｒ_２＜ｒ_３）で読み出すようにＥＤＳ１００を制御してもよい。さらに、センサアレイ１２０上に第４の領域が設定され、読み出し制御部２１０は第４の領域においてイベント信号を第３の頻度ｒ_３よりも高い第４の頻度ｒ_４（ｒ_３＜ｒ_４）で読み出すようにＥＤＳ１００を制御してもよい。

【0022】

図３は、本発明の一実施形態においてセンサアレイ上に４つの領域が設定される例を示す図である。（ａ）の時点では、ＥＤＳ１００のセンサアレイ１２０上に、第１の領域Ｓ_１、第２の領域Ｓ_２、第３の領域Ｓ_３、および第４の領域Ｓ_４が設定されている。読み出し制御部２１０は、例えば、パターンＰ＝｛Ｓ_１，Ｓ_４，Ｓ_３，Ｓ_２，Ｓ_４，Ｓ_３，Ｓ_４，Ｓ_２，Ｓ_４，Ｓ_３｝で各領域のセンサ１１０からイベント信号を読み出すように、ＥＤＳ１００に制御信号を送信する。この場合、各領域の読み出し頻度の比は、ｒ_１：ｒ_２：ｒ_３：ｒ_４＝１：２：３：４になる。第４の領域Ｓ４および第３の領域Ｓ３では、被写体ｏｂｊが比較的速い速度で移動していることによって、イベントの発生が多くなっている。

【0023】

一方、図３に示す（ｂ）の時点では、被写体ｏｂｊが移動したことによって、イベントの発生が多い領域が変化している。これに対応して、センサ制御装置２００では、領域設定部２２０が各領域での読み出しによって取得された信号の数に基づいて領域の設定を変更する。具体的には、領域設定部２２０は、被写体ｏｂｊが移動してきたことによってイベントの発生が多くなった領域を（ａ）での第２の領域Ｓ_２から（ｂ）では第４の領域Ｓ_４に変更する。一方、領域設定部２２０は、被写体ｏｂｊが通過したことによってイベントの発生が少なくなった領域を（ａ）での第４の領域Ｓ_４から（ｂ）では第３の領域Ｓ_３、または第２の領域Ｓ_２に変更する。

【0024】

例えば、上記で図３を参照して説明した例では、ＥＤＳ１００のセンサアレイ１２０上で相対的に高い読み出し頻度が設定される領域が、被写体ｏｂｊの移動に伴って変化する。これによって、被写体ｏｂｊの動きへのイベント信号の追従性を継続的に高めることができる。上記の各領域Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４の間での判定は、例えば、各領域のサブ領域ごとに直近の所定の時間におけるイベント信号の数を各領域に対応する閾値と比較することによって判定されてもよい。この場合、例えば、ある時点における領域Ｓ_１のサブ領域が、次の時点では領域Ｓ_３、または領域Ｓ_４に変更されることがありうる。領域の変更判定は、例えば被写体ｏｂｊの移動に追従できる程度に短い時間間隔で実行されてもよい。

【0025】

図４は、本発明の一実施形態の変形例を示す図である。図示された例でもＥＤＳ１００のセンサアレイ１２０上に第１の領域Ｓ_１および第２の領域Ｓ_２を設定するが、上記で図１などを参照して説明した例で第１の領域および第２の領域が複数のセンサ１１０を含んでいたのに対して、図４の例では第１の領域Ｓ_１が単一のセンサ１１０を含んでもよい。また、この例では、読み出し制御部２１０が送信する制御信号に従って第１の領域Ｓ_１からイベント信号が読み出される第１の頻度ｒ_１が０である。つまり、図示された例では、アドレス発生装置１３１，１３２が第１の領域Ｓ_１のセンサ１１０からイベント信号を読み出すためのアドレスを生成しない。

【0026】

上記の例では、第１の領域Ｓ_１に含まれるセンサ１１０が欠陥画素、すなわち光の強度変化を検出しないセンサであるために、センサ１１０からは有効なイベント信号が生成されない。このような場合、当該センサ１１０からのイベント信号を読み出す頻度を０にする、すなわちイベント信号の読み出しを実行しないことによって、他のセンサ１１０からのイベント信号の読み出し周期を短縮し、全体としてイベント信号のＳ／Ｎ比を向上させることができる。ただし、ひとたび第１の領域Ｓ_１に設定されたセンサ１１０は、イベント信号が読み出されない結果、第２の領域Ｓ_２に復帰することがないため、領域設定部２２０は、例えばセンサ１１０がノイズによってイベント信号を生成する周期よりも長い時間にわたって第２の領域Ｓ_２のセンサ１１０からの読み出しによって取得されたイベント信号（第２のイベント信号）が０である場合に限って、当該センサ１１０に対応する第２の領域Ｓ_２のサブ領域を第１の領域Ｓ_１に変更してもよい。

【0027】

図５は、本発明の一実施形態に係るセンサ制御方法の処理の例を示すフローチャートである。図示された例では、センサ制御装置２００で領域情報２３０を参照した読み出し制御部２１０が送信する制御信号に従ってアドレス発生装置１３１，１３２がアドレスを発生させ、センサ１１０からのイベント信号の読み出した実行される。具体的には、センサアレイ１２０上の第１の領域のセンサ１１０から第１の頻度でイベント信号を読み出し（ステップＳ１０１）、第２の領域のセンサ１１０から第２の頻度でイベント信号を読み出す（ステップＳ１０２）。なお、既に述べたように、各領域のセンサ１１０がイベントを検出しなかった場合にはイベント信号は生成されないため、ステップＳ１０１，Ｓ１０２で読み出されるイベント信号の数はその時々によって異なる。

【0028】

所定の時間が経過するまで上記の読み出しが繰り返された後（ステップＳ１０３）、領域設定部２２０による領域の更新処理が実行される。具体的には、領域設定部２２０は、イベント履歴２４０を参照して、第１の領域のうち所定の時間内に取得されたイベント信号の数が第１の閾値以上のサブ領域を第２の領域に変更する（ステップＳ１０４）。また、領域設定部２２０は、第２の領域のうち所定の時間内に取得されたイベント信号の数が第２の閾値以下のサブ領域を第１の領域に変更する（ステップＳ１０５）。領域設定部２２０は、変更後の領域で領域情報２３０を更新し（ステップＳ１０６）、上記のステップＳ１０１～Ｓ１０６の処理が所定の時間ごとに繰り返される（ステップＳ１０７）。

【0029】

本発明の実施形態は、例えばゲームコントローラ、スマートフォン、各種の移動体（自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットなど）で周辺環境の情報を取得したり、周辺のオブジェクトの位置から自己位置を推定したり、飛来するオブジェクトを検出して回避行動をとったりするために利用することができる。

【0030】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0031】

１０…システム、１１０…センサ、１２０…センサアレイ、１３１…アドレス発生装置、１３２…アドレス発生装置、２００…センサ制御装置、２１０…読み出し制御部、２２０…領域設定部、２３０…領域情報、２４０…イベント履歴、Ｓ_１…第１の領域、Ｓ_２…第２の領域、Ｓ_３…第３の領域、Ｓ_４…第４の領域、ｏｂｊ…被写体。

【図1】

【図2】

【図3】

【図4】

【図5】