特許 7191236 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-08

(45)【発行日】2022-12-16

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221209BHJP

   H04N 5/225 20060101ALI20221209BHJP

   G06T 7/20 20170101ALI20221209BHJP

【ＦＩ】

H04N5/232 290

H04N5/225 300

H04N5/225 800

G06T7/20

【請求項の数】 8

(21)【出願番号】P 2021541372

(86)(22)【出願日】2019-08-20

(86)【国際出願番号】 JP2019032343

(87)【国際公開番号】W WO2021033251

(87)【国際公開日】2021-02-25

【審査請求日】2021-10-18

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110000637

【氏名又は名称】特許業務法人樹之下知的財産事務所

(72)【発明者】

【氏名】林 正和

(72)【発明者】

【氏名】長沼 宏昌

(72)【発明者】

【氏名】栗原 洋輔

【審査官】高野 美帆子

(56)【参考文献】

【文献】米国特許出願公開第２０１８／００９８０８２（ＵＳ，Ａ１）

【文献】国際公開第２０１１／０１３２８１（ＷＯ，Ａ１）

【文献】特開２０００－１１５７４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／３５１

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号によって検出される、被写体のエッジ部分で発生する光の強度変化に基づいて、前記画像において被写体に第１の動きが発生している第１の領域と、被写体に前記第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する領域特定部と、
前記画像において、前記第１の領域および前記第２の領域に対してそれぞれ異なる画像処理を実行する画像処理郎と
を備える画像処理装置。

【請求項2】

前記画像は、動画像を構成する複数のフレーム画像であり、
前記領域特定部は、前記複数のフレーム画像のそれぞれにおいて前記第１の領域および前記第２の領域、ならびに少なくとも前記第１の領域における被写体の動き方向を特定し、
前記画像処理部は、前記動き方向に基づいて前記複数のフレーム画像において前記第１の領域および前記第２の領域に対する画像処理を継続的に実行する、請求項１に記載の画像処理装置。

【請求項4】

前記領域特定部は、被写体に前記第２の動きが発生している前記第２の領域を特定し、
前記画像処理部は、前記画像において前記第１の領域および前記第２の領域をそれぞれ異なる態様でマーキングする、請求項３に記載の画像処理装置。

【請求項6】

前記画像は、動画像を構成する複数のフレーム画像であり、
前記領域特定部は、前記複数のフレーム画像のそれぞれにおいて前記第１の領域および被写体が実質的に動いていない前記第２の領域を特定し、
前記画像処理部は、前記複数のフレーム画像のそれぞれにおいて前記第１の領域を前後のフレーム画像で特定された前記第２の領域を用いて上書きする、請求項１に記載の画像処理装置。

【請求項7】

同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号によって検出される、被写体のエッジ部分で発生する光の強度変化に基づいて、前記画像において被写体に第１の動きが発生している第１の領域と、被写体に前記第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定するステップと、
前記画像において、前記第１の領域および前記第２の領域に対してそれぞれ異なる画像処理を実行するステップと
を含む画像処理方法。

【請求項8】

同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号によって検出される、被写体のエッジ部分で発生する光の強度変化に基づいて、前記画像において被写体に第１の動きが発生している第１の領域と、被写体に前記第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する機能と、
前記画像において、前記第１の領域および前記第２の領域に対してそれぞれ異なる画像処理を実行する機能と
をコンピュータに実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１４－５３５０９８号公報

【文献】特開２０１８－８５７２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置、例えばフレーム型ビジョンセンサと組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。

【0005】

そこで、本発明は、イベント駆動型のビジョンセンサをフレーム型ビジョンセンサと組み合わせて用いることによって有利な効果を得ることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明のある観点によれば、同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、画像において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する領域特定部と、画像において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行する画像処理部とを備える画像処理装置が提供される。

【0007】

本発明の別の観点によれば、同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、画像において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定するステップと、画像において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行するステップとを含む画像処理方法が提供される。

【0008】

本発明のさらに別の観点によれば、同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、画像において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する機能と、画像において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行する機能とをコンピュータに実現させるためのプログラムが提供される。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。

【図2】本発明の一実施形態におけるカメラ・センサ間のキャリブレーションについて概略的に説明するための図である。

【図3】本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。

【図4】本発明の一実施形態における領域の特定および画像処理の例について説明するための図である。

【図5】本発明の一実施形態における領域の特定および画像処理の例について説明するための図である。

【図6】本発明の一実施形態に係る画像処理方法の例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0011】

図１は、本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。図１に示されるように、システム１０は、ＲＧＢカメラ１００と、ＥＤＳ（Event Driven Sensor）２００と、画像処理装置３００とを含む。

【0012】

ＲＧＢカメラ１００は、同期的なスキャンによって画像を撮像する第１のビジョンセンサの例であり、イメージセンサ１１０と、イメージセンサ１１０に接続される処理回路１２０とを含む。イメージセンサ１１０は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってＲＧＢ画像１０１を撮像する。本実施形態において、ＲＧＢ画像１０１は、所定のフレームレートで連続的に撮像されて動画像を構成する複数のフレーム画像を含む。処理回路１２０は、例えばＲＧＢ画像１０１を保存および伝送に適した形式に変換する。また、処理回路１２０は、ＲＧＢ画像１０１にタイムスタンプ１０２を与える。

【0013】

ＥＤＳ２００は、センサが光の強度変化を検出したときにイベント信号を生成する第２のビジョンセンサの例であり、センサアレイを構成するセンサ２１０と、センサ２１０に接続される処理回路２２０とを含む。センサ２１０は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号２０１を生成する。入射する光の強度変化を検出しなかったセンサ２１０はイベント信号２０１を生成しないため、ＥＤＳ２００においてイベント信号２０１は時間非同期的に生成される。処理回路２２０を経て出力されるイベント信号２０１は、センサ２１０の識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプ２０２とを含む。

【0014】

ここで、本実施形態において、ＲＧＢ画像１０１に与えられるタイムスタンプ１０２と、イベント信号２０１に与えられるタイムスタンプ２０２とは同期している。具体的には、例えば、ＥＤＳ２００でタイムスタンプ２０２を生成するために用いられる時刻情報をＲＧＢカメラ１００に提供することによって、タイムスタンプ１０２をタイムスタンプ２０２に同期させることができる。あるいは、タイムスタンプ１０２，２０２を生成するための時刻情報がＲＧＢカメラ１００とＥＤＳ２００とでそれぞれ独立している場合、特定のイベント（例えば、画像全体にわたる被写体の変化）が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にタイムスタンプ１０２とタイムスタンプ２０２とを同期させることができる。

【0015】

また、本実施形態では、事前に実行されるＲＧＢカメラ１００とＥＤＳ２００とのキャリブレーション手順によって、ＥＤＳ２００のセンサ２１０がＲＧＢ画像１０１の１または複数のピクセルに対応付けられ、イベント信号２０１はＲＧＢ画像１０１の１または複数のピクセルにおける光の強度変化に応じて生成される。より具体的には、例えば、図２に示すようにＲＧＢカメラ１００とＥＤＳ２００とで共通の校正パターン２１を撮像し（ＥＤＳ２００の場合、例えば光源２２を用いて校正パターン２１の領域全体を明滅させることによって校正パターンを撮像できる）、ＲＧＢカメラ１００およびＥＤＳ２００のぞれぞれの内部パラメータおよび外部パラメータからカメラ・センサ間の対応パラメータを算出することによって、ＲＧＢ画像１０１の１または複数のピクセルにセンサ２１０を対応付けることができる。

【0016】

図３は、本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。図示された例では、ＲＧＢカメラ１００で撮像されたＲＧＢ画像１０１と、ＲＧＢ画像１０１のスキャンに対応する時間にＥＤＳ２００から出力されたイベント信号２０１をピクセルの位置に配置したものとが示されている。上記で図２を参照して説明したようなカメラ・センサ間の対応パラメータを予め算出しておくことによって、図３に示されるようにイベント信号２０１の座標系をＲＧＢ画像１０１の座標系に変換し、ＲＧＢ画像１０１にイベント信号２０１を重ね合わせることが可能になる。

【0017】

再び図１を参照して、画像処理装置３００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される領域特定部３１０および画像処理部３２０の機能を含む。以下、各部の機能についてさらに説明する。

【0018】

領域特定部３１０は、イベント信号２０１に基づいて、ＲＧＢ画像１０１において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する。ＲＧＢ画像１０１の被写体に動きが発生した場合、例えば被写体のエッジ部分で発生する光の強度変化、具体的には輝度変化がイベント信号２０１によって検出される結果、ＲＧＢ画像１０１において被写体そのものを認識しなくても、イベント信号２０１に基づいて被写体の動きが発生した領域を特定することができる。さらに、領域特定部３１０は、例えばイベント信号２０１によって示される輝度変化の時系列での位置変化から、それぞれの領域における被写体の動き方向も特定することができる。上述のように、本実施形態においてＲＧＢ画像１０１は動画像を構成する複数のフレーム画像であるため、領域特定部３１０は複数のフレーム画像のそれぞれにおいて第１の領域および第２の領域を特定してもよい。

【0019】

画像処理部３２０は、ＲＧＢ画像１０１において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行して出力画像３２１を得る。このとき、画像処理部３２０は、ＲＧＢ画像１０１のタイムスタンプ１０２およびイベント信号２０１のタイムスタンプ２０２に基づいて、領域特定部３１０が特定した第１の領域および第２の領域とＲＧＢ画像１０１とを対応付けることができる。画像処理部３２０が実行する画像処理の内容については特に限定されないが、例えば、画像処理部３２０は、ＲＧＢ画像１０１において第１の領域のみをマーキングするか、または被写体にそれぞれ異なる動きが発生している第１の領域および第２の領域をそれぞれ異なる態様でマーキングしてもよい。あるいは、画像処理部３２０は、ＲＧＢ画像１０１において被写体が実質的に動いていない第２の領域（例えば背景領域）をマスクしてもよい。あるいは、被写体が実質的に動いていない第２の領域が特定される場合、画像処理部３２０は、ＲＧＢ画像１０１によって構成される複数のフレーム画像のそれぞれにおいて、第１の領域を前後のフレーム画像で特定された第２の領域を用いて上書きすることによって、第１の領域にある動く被写体を隠してもよい。画像処理部３２０が第１および第２の領域についてそれぞれ異なる画像処理を実行することは、例えば第１の領域または第２の領域のいずれか一方の領域について画像処理を実行し、他方の領域をそのまま出力することを含む。

【0020】

図４および図５は、本発明の一実施形態における領域の特定および画像処理の例について説明するための図である。図４に示された例において、領域特定部３１０は、時系列のイベント信号２０１から、被写体の動きが発生している領域Ｒ１と、被写体が実質的に動いていない領域Ｒ２とを特定する。例えば、領域特定部３１０は、時系列のイベント信号２０１から特定されるオプティカルフローＦの大きさが所定の閾値以上である領域Ｒ１を抽出し、残った領域を領域Ｒ２とする。

【0021】

他の例において、領域特定部３１０は、抽出された領域Ｒ１をオプティカルフローＦによって示される動きの方向および大きさに応じて区分することによって、それぞれ異なる被写体の動きが発生している複数の領域を特定してもよい。オプティカルフローＦは、被写体の動き方向を示す情報の例である。被写体の動き方向が特定されることによって、ＲＧＢ画像１０１によって構成される複数のフレーム画像において例えば領域Ｒ１に対応する被写体を継続的に追跡（トラッキング）することができる。

【0022】

一方、図５に示された例のように、画像処理部３２０は、領域特定部３１０によって特定された領域Ｒ１，Ｒ２を、図３を参照して説明したような画像とイベント信号とのマッチング手順によってＲＧＢ画像１０１に重ね合わせることができる。図示された例では、画像処理部３２０は、ＲＧＢ画像１０１において実質的に動いていない領域Ｒ２（背景領域）をマスクすることによって、被写体の動きが発生している領域Ｒ１を切り出した出力画像３２１を得る。

【0023】

他の例では、領域Ｒ２のマスクに代えて、または領域Ｒ２のマスクとともに、画像処理部３２０が領域Ｒ１をマーキングしてもよい。領域特定部３１０によってそれぞれ異なる被写体の動きが発生している複数の領域が特定された場合、画像処理部３２０は複数の領域をそれぞれ異なる態様でマーキングしてもよい。例えば上記の例のオプティカルフローＦによって各領域の被写体の動き方向が特定され、ＲＧＢ画像１０１によって構成される複数のフレーム画像において各領域に対応する被写体が継続的に追跡される場合、画像処理部３２０は、上述したような領域のマスクや領域のマーキングの処理を複数のフレーム画像において継続的に実行することができる。

【0024】

以上で説明したような本発明の一実施形態では、画像処理装置３００の領域特定部３１０が、イベント信号２０１に基づいてＲＧＢ画像１０１において被写体に動きが発生している領域を特定する。イベント信号２０１はＲＧＢ画像１０１の１または複数のピクセルで光の強度変化が検出された場合にのみ生成されるため、例えば時間的に連続する複数のＲＧＢ画像１０１のピクセル同士を比較して被写体に動きが発生している領域を特定する場合に比べて処理を高速化することができる。また、一般にＥＤＳ２００がイベント信号２０１を生成可能な周期はＲＧＢカメラ１００が動画像を撮像する場合のフレームレートよりも大幅に短いため、本実施形態のようにイベント信号２０１を利用することによって、例えば動画像においてＲＧＢ画像１０１のみを用いて被写体の動きを特定する場合よりも高精度に画像処理を被写体の動きに追従させることができる。

【0025】

図６は、本発明の一実施形態に係る画像処理方法の例を示すフローチャートである。図示された例では、ＲＧＢカメラ１００がＲＧＢ画像１０１を撮像し（ステップＳ１０１）、それと同時にＥＤＳ２００がイベント信号２０１を生成する（ステップＳ１０２）。なお、イベント信号２０１を生成するステップＳ１０２は、ＲＧＢ画像１０１の１または複数のピクセルに対応付けられるセンサ２１０が光の強度変化を検出した場合にのみ実行される。ＲＧＢ画像１０１にはタイムスタンプ１０２が与えられ（ステップＳ１０３）、イベント信号にはタイムスタンプ２０２が与えられる（ステップＳ１０４）。

【0026】

次に、画像処理装置３００での処理が実行される。まず、領域特定部３１０が、イベント信号２０１に基づいて上記のようなＲＧＢ画像１０１における第１および第２の領域を特定する（ステップＳ１０５）。次に、画像処理部３２０が、ＲＧＢ画像１０１において特定された第１および第２の領域についてそれぞれ異なる画像処理を実行する（ステップＳ１０６）。このとき、画像処理が実行されるＲＧＢ画像１０１と、イベント信号２０１に基づいて特定された第１および第２の領域とは、タイムスタンプ１０２，２０２を用いて対応付けられる。以上のような処理によって、例えば動いている被写体を切り出して背景をマスクした出力画像３２１や、動きが異なる被写体がそれぞれ異なる態様のマーキングによって追跡される動画像の出力画像３２１を得ることができる。

【0027】

以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0028】

１０…システム、１００…ＲＧＢカメラ、１０１…ＲＧＢ画像、１０２…タイムスタンプ、１１０…イメージセンサ、１２０…処理回路、２０１…イベント信号、２０２…タイムスタンプ、２１０…センサ、２２０…処理回路、３００…画像処理装置、３１０…領域特定部、３２０…画像処理部、３２１…出力画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】