特許 7191237 センサシステム、画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-08

(45)【発行日】2022-12-16

(54)【発明の名称】センサシステム、画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/351 20110101AFI20221209BHJP

【ＦＩ】

H04N5/351

【請求項の数】 5

(21)【出願番号】P 2021541867

(86)(22)【出願日】2019-08-28

(86)【国際出願番号】 JP2019033707

(87)【国際公開番号】W WO2021038750

(87)【国際公開日】2021-03-04

【審査請求日】2021-11-19

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110000637

【氏名又は名称】特許業務法人樹之下知的財産事務所

(72)【発明者】

【氏名】小泉 誠

(72)【発明者】

【氏名】堀江 淳

【審査官】鈴木 明

(56)【参考文献】

【文献】国際公開第２０１９／１３５４１１（ＷＯ，Ａ１）

【文献】特開２０１９－１３４２７１（ＪＰ，Ａ）

【文献】特開２０１８－１８６４７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０－５／３７８

(57)【特許請求の範囲】

【請求項1】

被写体に向けて光量が漸増または漸減する光を照射する光源と、
前記光量が漸増または漸減する光の照射開始後に前記被写体の反射光の変動を検出することによってイベント信号を生成するイベント駆動型センサと、
前記光量が漸増または漸減する光の照射開始から前記イベント信号の生成までの経過時間に基づいて前記被写体の階調を算出する階調算出部と
を備えるセンサシステム。

【請求項2】

前記光源は、前記光量が漸増または漸減する光と、光量が一定の光とを交互に照射し、
前記階調算出部は、前記光量が漸増または漸減する光の照射中に前記イベント駆動型センサが生成した前記イベント信号を用いて前記階調を算出する、請求項１に記載のセンサシステム。

【請求項3】

被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する光源制御部と、
前記光量が漸増または漸減する光の照射開始からイベント駆動型センサが前記被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する経過時間特定部と、
前記経過時間および前記制御パターンに基づいて前記被写体の階調を算出する階調算出部と
を備える画像処理装置。

【請求項4】

光源が被写体に向けて光量が漸増または漸減する光を照射するステップと、
前記光量が漸増または漸減する光の照射開始後に前記被写体の反射光の変動を検出したイベント駆動型センサがイベント信号を生成するステップと、
前記光量が漸増または漸減する光の照射開始から前記イベント信号の生成までの経過時間に基づいて前記被写体の階調を算出するステップと
を含む画像処理方法。

【請求項5】

被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する機能と、
前記光量が漸増または漸減する光の照射開始からイベント駆動型センサが前記被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する機能と、
前記経過時間および前記制御パターンに基づいて前記被写体の階調を算出する機能と
をコンピュータに実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、センサシステム、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

ＣＣＤやＣＭＯＳなどのイメージセンサは、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子である。一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データが取得されないため、例えば移動体における画像データを利用した高速な処理には対応が困難な場合がある。そこで、例えば非特許文献１などにおいて、アドレスイベントを検出するアドレスイベント表現（ＡＥＲ：Address Event Representation）回路を設けた非同期型の固体撮像素子が提案されている。

【0003】

上記の非同期型の固体撮像素子において、アドレスイベントは、ある画素アドレスで画素の光量が変動し、変動量が閾値を超えた場合に発生する。具体的には、アドレスイベントは、画素の光量が変動して所定の上限を超えた場合に発生するオンイベントと、光量が所定の下限を下回った場合に発生するオフイベントとを含む。このような非同期型の固体撮像素子において、画素ごとのオンイベントおよびオフイベントの有無を２ビットのデータで表現する画像データの形式はＡＥＲフォーマットと呼ばれる。非同期型の固体撮像素子を用いた技術は、例えば特許文献１にも記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１８６４７８号公報

【非特許文献】

【0005】

【文献】Patrick Lichtsteiner, et al., A 128×128 120dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 43, NO. 2, FEBRUARY 2008.

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記のような非同期型の固体撮像素子（以下、イベント駆動型センサともいう）では、被写体の動きを高速に検出することは可能であるものの、画像データとしてオンイベントまたはオフイベントの２通りの情報しか得られないため、被写体の輝度の階調を検出することは困難である。例えば、階調を検出することが可能な同期型の固体撮像素子をイベント駆動型センサとともに配置し、イベント駆動型センサで被写体の動きが検出された場合に同期型の固体撮像素子を露光して階調を検出することも考えられるが、撮像装置の構造が複雑になってしまう。

【0007】

そこで、本発明は、イベント駆動型センサを用いて簡単な構成で被写体の階調を検出することを可能にする、センサシステム、画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明のある観点によれば、被写体に向けて光量が漸増または漸減する光を照射する光源と、光量が漸増または漸減する光の照射開始後に被写体の反射光の変動を検出することによってイベント信号を生成するイベント駆動型センサと、光量が漸増または漸減する光の照射開始からイベント信号の生成までの経過時間に基づいて被写体の階調を算出する階調算出部とを備えるセンサシステムが提供される。

【0009】

本発明の別の観点によれば、被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する光源制御部と、光量が漸増または漸減する光の照射開始からイベント駆動型センサが被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する経過時間特定部と、経過時間および制御パターンに基づいて被写体の階調を算出する階調算出部とを備える画像処理装置

【0010】

本発明のさらに別の観点によれば、光源が被写体に向けて光量が漸増または漸減する光を照射するステップと、光量が漸増または漸減する光の照射開始後に被写体の反射光の変動を検出したイベント駆動型センサがイベント信号を生成するステップと、光量が漸増または漸減する光の照射開始からイベント信号の生成までの経過時間に基づいて被写体の階調を算出するステップとを含む画像処理方法が提供される。

【0011】

本発明のさらに別の観点によれば、被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する機能と、光量が漸増または漸減する光の照射開始からイベント駆動型センサが被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する機能と、経過時間および制御パターンに基づいて被写体の階調を算出する機能とをコンピュータに実現させるためのプログラムが提供される。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係るシステムの概略的な構成を示す図である。

【図2】本発明の一実施形態における被写体の階調算出の原理について説明するための図である。

【図3】図２に示した原理に基づく光源の制御パターンの例を示す図である。

【図4】光源の制御パターンに基づいて被写体の階調を算出するための関数の例を示す図である。

【図5】本発明の一実施形態における処理の例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0014】

図１は、本発明の一実施形態に係るシステムの概略的な構成を示す図である。図示されているように、センサシステム１０は、センサモジュール１００と、画像処理装置２００と、光源３００とを含む。センサモジュール１００は、画素ごとに配置されたイベント駆動型センサ（ＥＤＳ：Event Driven Sensor）１１０を含むセンサアレイと、信号処理回路１２０とを含む。画像処理装置２００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される光源制御部２１０、経過時間特定部２２０および階調算出部２３０の機能部分を含む。画像処理装置２００は、さらに、画像生成部２４０の機能部分を含んでもよい。以下、各部についてさらに説明する。

【0015】

センサモジュール１００において、ＥＤＳ１１０は、それぞれの画素アドレスで光量の変動量が閾値を超えたときに、アドレスイベントの発生を示すイベント信号を出力する。本実施形態では、後述するように光源３００が被写体ｏｂｊ１，ｏｂｊ２に向けて光量が漸増する光を照射するが、このときＥＤＳ１１０は被写体ｏｂｊ１，ｏｂｊ２の反射光の変動を検出することによってイベント信号を生成する。信号処理回路１２０は、メモリおよびプロセッサを含み、プロセッサがメモリに格納されたプログラムに従って動作することによってＥＤＳ１１０が生成したイベント信号を処理する。具体的には、信号処理回路１２０は、イベント信号のタイムスタンプを生成する。

【0016】

画像処理装置２００において、光源制御部２１０は、光源３００を光量が漸増する時系列の制御パターンに従って制御する。光源３００は、例えばプロジェクタとして用いられるものであってもよく、光量を調節することが可能である。光源３００の光量は連続的（無段階的）に調節されてもよいし、段階的に調節されてもよい。光源３００が照射する光は、可視光であってもよいし、赤外光などの可視光以外の光であってもよい。光源制御部２１０は、光量が漸増する光の照射開始時刻、具体的には例えば光量が漸増する光の照射を開始するように光源３００に制御信号を送信した時刻と、時系列の制御パターンによって示される光源３００の時系列の光量とを示す情報をそれぞれ経過時間特定部２２０および階調算出部２３０に提供する。

【0017】

経過時間特定部２２０は、光源３００による光量が漸増する光の照射開始からＥＤＳ１１０がイベント信号を生成するまでの経過時間を特定する。具体的には、経過時間特定部２２０は、光源制御部２１０が光量が漸増する光の照射を開始するように光源３００に制御信号を送信した時刻と、センサモジュール１００の信号処理回路１２０が生成したイベント信号のタイムスタンプとの差分から経過時間を特定する。本実施形態では、信号処理回路１２０と光源制御部２１０との時刻情報は同期しているか、または経過時間特定部２２０が信号処理回路１２０と光源制御部２１０との時刻情報を対応付け可能であることによって、上記のような経過時間の特定が可能になる。

【0018】

階調算出部２３０は、経過時間特定部２２０によって特定された経過時間と、光源制御部２１０から提供された光源３００の制御パターンとに基づいて被写体ｏｂｊ１，ｏｂｊ２の階調を算出する。本実施形態において、階調算出部２３０は、光源３００が光量が漸増する光を照射したときに、階調の異なる被写体ｏｂｊ１，ｏｂｊ２ではＥＤＳ１１０が反射光の変動を検出することによってイベント信号を生成するタイミングが異なることを利用して、被写体ｏｂｊ１，ｏｂｊ２の階調を算出する。この点については、図２から図４を参照して後述する。

【0019】

画像生成部２４０は、階調算出部２３０が算出した被写体の階調を用いて、イベント信号から被写体の画像を生成する。他の例では、画像生成部２４０とともに、または画像生成部２４０に代えて、イベント信号から認識される被写体に対する処理を被写体の階調に応じて選択する機能部分が設けられてもよい。被写体の階調を用いた処理を実行する機能部分は、画像処理装置２００の内部において実装されてもよいし、画像処理装置２００から被写体の階調を示す情報を受信する外部装置において実装されてもよい。

【0020】

図２は、本発明の一実施形態における被写体の階調算出の原理について説明するための図である。図示された例では、光源が照射する光量が時系列で０（ＯＦＦ）から４０％まで漸増する間に、階調が異なることによって反射率が異なる被写体の部分（反射率が１００％、５０％、３３％、２５％および０％）のそれぞれでイベントが発生している。例えば、光源が照射する光量が１０％に到達した時点では、反射率１００％の部分でイベントが発生する。これは、反射率が高い部分では少ない光量でもイベントが発生するために十分なコントラストの変化が得られるためである。一方、この時点では、反射率が５０％以下の部分ではイベントが発生しない。

【0021】

その後、光量が上昇して２０％に達すると、反射率５０％の部分でイベントが発生する。図示された例では、このとき光源の光量に対してイベントが発生する反射率の閾値を超えている部分（反射率１００％の部分）ではイベントが発生していないが、光源のフリッカによってイベントが発生する場合はイベントが発生する。一方、この時点では、反射率が３３％以下の部分ではイベントが発生しない。さらに光量が上昇して３０％に達すると、反射率３３％の部分でイベントが発生する。この場合も同様に、反射率５０％および１００％の部分ではイベントが発生している可能性があるが、反射率２５％以下の部分ではイベントが発生しない。同様に、光量が上昇して４０％に達すると、反射率２５％の部分でイベントが発生する。

【0022】

図３は、図２に示した原理に基づく光源の制御パターンの例を示す図である。図示された例において、画像処理装置２００の光源制御部２１０は、動作モードとして通常モードと階調検出モードとを交互に繰り返すように光源３００を制御する。通常モードは光源３００が光量が一定の光を照射するモードであり、階調検出モードは光量が漸増する光を照射するモードである。この場合、光源制御部２１０は、各回の階調検出モードの開始時刻を示す情報を経過時間特定部２２０に提供し、階調検出モードにおける光量の上昇割合を示す情報を階調算出部２３０に提供する。階調算出部２３０は、階調検出モード、すなわち光量が漸増する光の照射中にＥＤＳ１１０が生成したイベント信号を用いて被写体の階調を算出する。他の例において、光源制御部２１０は、階調検出モードのみを繰り返すように光源３００を制御してもよい。

【0023】

図４は、光源の制御パターンに基づいて被写体の階調を算出するための関数の例を示す図である。上記で図２を参照して説明したような光量とイベントが発生する被写体の階調（反射率）との関係を予め測定することによって、図３を参照して説明したような光源の制御パターンに対応する階調を時系列で特定し、図４に示されるような経過時間ｔと階調ｇとの関数ｇ（ｔ）が得られる。関数ｇ（ｔ）は、経過時間がｔ_１の場合には被写体の階調がｇ（ｔ_１）であり、経過時間がｔ_２（ｔ_１＜ｔ_２）の場合には被写体の階調がｇ（ｔ_２）（ｇ（ｔ_１）＞ｇ（ｔ_２））であることを示す。

【0024】

図５は、本発明の一実施形態における処理の例を示すフローチャートである。図示された例では、まず、画像処理装置２００の光源制御部２１０の制御に従って、光源３００が最小光量で光の照射を開始する（ステップＳ１０１）。ここで、最小光量は、光源３００が光量を漸増させるときの最初の光量であり、図３に示された例では階調検出モードで光量が通常モードでの光量から上昇し始めた時の光量に相当する。この光の照射が開始された時刻が、後段の処理における経過時間の基準になる。

【0025】

ここで、ＥＤＳ１１０によってイベント信号が生成された場合（ステップＳ１０２）、経過時間特定部２２０が光量の漸増の開始（ステップＳ１０１）からのイベント信号の生成までの経過時間を特定し、経過時間、および光源３００の制御パターンによって示されるその時の光量から、階調算出部２３０が被写体の階調を算出する（ステップＳ１０３）。光源制御部２１０が最大光量に到達するまで光量を上昇させる（ステップＳ１０４，Ｓ１０５）間に、ＥＤＳ１１０によってイベント信号が生成された被写体があれば、経過時間およびその時の光量に基づいて被写体の光量を算出する処理（ステップＳ１０２，Ｓ１０３）が繰り返される。

【0026】

以上で説明した本発明の第１の実施形態では、光源の制御によって被写体に向けて光量が漸増する光を照射し、照射の開始からの経過時間から、被写体の反射光によってイベントが発生したときの光量に対応する被写体の階調を算出する。これによって、イベント駆動型センサ（ＥＤＳ）を用いて簡単な構成で被写体の階調を検出することができる。

【0027】

なお、上記の例では光源が被写体に向けて光量が漸増する光を照射するが、他の例では光源が被写体に向けて光量が漸減する光を照射してもよい。光量が漸増する場合にはＥＤＳがオンイベントを示すイベント信号を生成することによって被写体の階調が検出されるが、光量が漸減する場合にはＥＤＳがオフイベントを示すイベント信号をイベント信号を生成することによって被写体の階調が検出される。

【0028】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0029】

１０…センサシステム、１００…センサモジュール、１２０…信号処理回路、２００…画像処理装置、２１０…光源制御部、２２０…経過時間特定部、２３０…階調算出部、２４０…画像生成部、３００…光源。

【図1】

【図2】

【図3】

【図4】

【図5】