知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
特開2022-80113情報処理装置、システム、情報処理方法および情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022080113
(43)【公開日】2022-05-27
(54)【発明の名称】情報処理装置、システム、情報処理方法および情報処理プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20220520BHJP
G06F 3/0346 20130101ALI20220520BHJP
G06F 3/01 20060101ALI20220520BHJP
【ＦＩ】
G06T7/20 300Z
G06F3/0346 421
G06F3/01 570
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2020191104
(22)【出願日】2020-11-17
(71)【出願人】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】110000637
【氏名又は名称】特許業務法人樹之下知的財産事務所
(72)【発明者】
【氏名】水野 公嘉
(72)【発明者】
【氏名】江川 直毅
(72)【発明者】
【氏名】長沼 宏昌
【テーマコード（参考）】
5B087
5E555
5L096
【Ｆターム（参考）】
5B087AA09
5B087BC32
5B087DD03
5E555AA11
5E555BA02
5E555BB38
5E555BC01
5E555CA41
5E555CB10
5E555CB55
5E555CB66
5E555EA25
5E555FA00
5L096AA02
5L096CA05
5L096FA69
5L096GA40
5L096GA51
5L096HA05
5L096HA08
5L096KA04
5L096KA15
(57)【要約】
【課題】同期的に画像信号を生成するセンサと、イベント駆動型のビジョンセンサとを用いてトラッキングを行うことによって、レイテンシを抑えつつ、精度良くトラッキングを行うこと。
【解決手段】第１画像センサにより生成された第１画像信号に基づいて、検出対象を検出する検出部と、検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサにより生成された第２画像信号に基づいて、関心領域における検出対象をトラッキングするトラッキング部と、第１画像信号に基づく検出部による検出の結果によって示される検出対象の位置情報と、第１画像信号に対応付けられる第２画像信号に基づくトラッキング部によるトラッキングの結果によって示される検出対象の位置情報とを比較する比較部とを備える情報処理装置が提供される。
【選択図】図１
【解決手段】第１画像センサにより生成された第１画像信号に基づいて、検出対象を検出する検出部と、検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサにより生成された第２画像信号に基づいて、関心領域における検出対象をトラッキングするトラッキング部と、第１画像信号に基づく検出部による検出の結果によって示される検出対象の位置情報と、第１画像信号に対応付けられる第２画像信号に基づくトラッキング部によるトラッキングの結果によって示される検出対象の位置情報とを比較する比較部とを備える情報処理装置が提供される。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１画像センサにより生成された第１画像信号に基づいて、検出対象を検出する検出部と、
前記検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、
画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサにより生成された第２画像信号に基づいて、前記関心領域における前記検出対象をトラッキングするトラッキング部と、
前記第１画像信号に基づく前記検出部による検出の結果によって示される前記検出対象の位置情報と、前記第１画像信号に対応付けられる前記第２画像信号に基づく前記トラッキング部によるトラッキングの結果によって示される前記検出対象の位置情報とを比較する比較部と
を備える情報処理装置。
前記検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、
画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサにより生成された第２画像信号に基づいて、前記関心領域における前記検出対象をトラッキングするトラッキング部と、
前記第１画像信号に基づく前記検出部による検出の結果によって示される前記検出対象の位置情報と、前記第１画像信号に対応付けられる前記第２画像信号に基づく前記トラッキング部によるトラッキングの結果によって示される前記検出対象の位置情報とを比較する比較部と
を備える情報処理装置。
【請求項2】
前記設定部は、前記比較部による比較結果に基づいて、差異が所定の閾値より大きい場合に前記関心領域を再び設定する、請求項１に記載の情報処理装置。
【請求項3】
前記比較部による比較結果に基づいて、前記トラッキング部によるトラッキングの結果を補正する補正部をさらに備える、請求項１または請求項２に記載の情報処理装置。
【請求項4】
前記検出対象は人物であり、
前記検出部は、前記人物の少なくとも１つの関節の座標情報を算出し、
前記設定部は、前記人物の関節ごとに前記関心領域を設定する、請求項１から請求項３のいずれか１項に記載の情報処理装置。
前記検出部は、前記人物の少なくとも１つの関節の座標情報を算出し、
前記設定部は、前記人物の関節ごとに前記関心領域を設定する、請求項１から請求項３のいずれか１項に記載の情報処理装置。
【請求項5】
第１画像信号を生成する第１画像センサと、
画素ごとに入射する光の強度変化を検出したときに非同期的に第２画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサと、
前記第１画像信号に基づいて、検出対象を検出する検出部と、
前記検出対象が含まれる関心領域を設定する設定部と、
前記第２画像信号に基づいて、前記関心領域における前記検出対象をトラッキングするトラッキング部と、
前記第１画像信号に基づく前記検出部による検出の結果によって示される前記検出対象の位置情報と、前記第１画像信号に対応付けられる前記第２画像信号に基づく前記トラッキング部によるトラッキングの結果によって示される前記検出対象の位置情報とを比較する比較部と
を有する情報処理装置と
を備えるシステム。
画素ごとに入射する光の強度変化を検出したときに非同期的に第２画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサと、
前記第１画像信号に基づいて、検出対象を検出する検出部と、
前記検出対象が含まれる関心領域を設定する設定部と、
前記第２画像信号に基づいて、前記関心領域における前記検出対象をトラッキングするトラッキング部と、
前記第１画像信号に基づく前記検出部による検出の結果によって示される前記検出対象の位置情報と、前記第１画像信号に対応付けられる前記第２画像信号に基づく前記トラッキング部によるトラッキングの結果によって示される前記検出対象の位置情報とを比較する比較部と
を有する情報処理装置と
を備えるシステム。
【請求項6】
第１画像センサが取得した第１画像信号を受信する第１受信ステップと、
画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサが生成した第２画像信号を受信する第２受信ステップと、
前記第１画像信号に基づいて、検出対象を検出する検出ステップと、
前記検出対象の少なくとも一部が含まれる関心領域を設定する設定ステップと、
前記第２画像信号に基づいて、前記関心領域における前記検出対象をトラッキングするトラッキングステップと、
前記第１画像信号に基づく前記検出ステップによる検出の結果によって示される前記検出対象の位置情報と、前記第１画像信号に対応付けられる前記第２画像信号に基づく前記トラッキングステップによるトラッキングの結果によって示される前記検出対象の位置情報とを比較する比較ステップと
を含む情報処理方法。
画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサが生成した第２画像信号を受信する第２受信ステップと、
前記第１画像信号に基づいて、検出対象を検出する検出ステップと、
前記検出対象の少なくとも一部が含まれる関心領域を設定する設定ステップと、
前記第２画像信号に基づいて、前記関心領域における前記検出対象をトラッキングするトラッキングステップと、
前記第１画像信号に基づく前記検出ステップによる検出の結果によって示される前記検出対象の位置情報と、前記第１画像信号に対応付けられる前記第２画像信号に基づく前記トラッキングステップによるトラッキングの結果によって示される前記検出対象の位置情報とを比較する比較ステップと
を含む情報処理方法。
【請求項7】
第１画像センサが取得した第１画像信号を受信する機能と、
画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサが生成した第２画像信号を受信する機能と、
前記第１画像信号に基づいて、検出対象を検出する機能と、
前記検出対象の少なくとも一部が含まれる関心領域を設定する機能と、
前記第２画像信号に基づいて、前記関心領域における前記検出対象をトラッキングする機能と、
前記第１画像信号に基づく検出の結果によって示される前記検出対象の位置情報と、前記第１画像信号に対応付けられる前記第２画像信号に基づくトラッキングの結果によって示される前記検出対象の位置情報とを比較する機能と
をコンピュータに実現させる情報処理プログラム。
画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサが生成した第２画像信号を受信する機能と、
前記第１画像信号に基づいて、検出対象を検出する機能と、
前記検出対象の少なくとも一部が含まれる関心領域を設定する機能と、
前記第２画像信号に基づいて、前記関心領域における前記検出対象をトラッキングする機能と、
前記第１画像信号に基づく検出の結果によって示される前記検出対象の位置情報と、前記第１画像信号に対応付けられる前記第２画像信号に基づくトラッキングの結果によって示される前記検出対象の位置情報とを比較する機能と
をコンピュータに実現させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、システム、情報処理方法および情報処理プログラムに関する。
【背景技術】
【0002】
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。 このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１４－５３５０９８号公報
【特許文献2】特開２０１８－８５７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置と組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。
【0005】
そこで、本発明は、同期的に画像信号を生成するセンサと、イベント駆動型のビジョンセンサとを用いてトラッキングを行うことによって、レイテンシを抑えつつ、精度良くトラッキングを行うことができる情報処理装置、システム、情報処理方法および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明のある観点によれば、第１画像センサにより生成された第１画像信号に基づいて、検出対象を検出する検出部と、検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサにより生成された第２画像信号に基づいて、関心領域における検出対象をトラッキングするトラッキング部と、第１画像信号に基づく検出部による検出の結果によって示される検出対象の位置情報と、第１画像信号に対応付けられる第２画像信号に基づくトラッキング部によるトラッキングの結果によって示される検出対象の位置情報とを比較する比較部とを備える情報処理装置が提供される。
【0007】
本発明の別の観点によれば、第１画像信号を生成する第１画像センサと、画素ごとに入射する光の強度変化を検出したときに非同期的に第２画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサと、第１画像信号に基づいて、検出対象を検出する検出部と、検出対象が含まれる関心領域を設定する設定部と、第２画像信号に基づいて、関心領域における検出対象をトラッキングするトラッキング部と、第１画像信号に基づく検出部による検出の結果によって示される検出対象の位置情報と、第１画像信号に対応付けられる第２画像信号に基づくトラッキング部によるトラッキングの結果によって示される検出対象の位置情報とを比較する比較部とを有する情報処理装置とを備えるシステムが提供される。
【0008】
本発明のさらに別の観点によれば、第１画像センサが取得した第１画像信号を受信する第１受信ステップと、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサが生成した第２画像信号を受信する第２受信ステップと、第１画像信号に基づいて、検出対象を検出する検出ステップと、検出対象の少なくとも一部が含まれる関心領域を設定する設定ステップと、第２画像信号に基づいて、関心領域における検出対象をトラッキングするトラッキングステップと、第１画像信号に基づく検出ステップによる検出の結果によって示される検出対象の位置情報と、第１画像信号に対応付けられる第２画像信号に基づくトラッキングステップによるトラッキングの結果によって示される検出対象の位置情報とを比較する比較ステップとを含む情報処理方法が提供される。
【0009】
本発明のさらに別の観点によれば、第１画像センサが取得した第１画像信号を受信する機能と、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサが生成した第２画像信号を受信する機能と、第１画像信号に基づいて、検出対象を検出する機能と、検出対象の少なくとも一部が含まれる関心領域を設定する機能と、第２画像信号に基づいて、関心領域における検出対象をトラッキングする機能と、第１画像信号に基づく検出の結果によって示される検出対象の位置情報と、第１画像信号に対応付けられる第２画像信号に基づくトラッキングの結果によって示される検出対象の位置情報とを比較する機能とをコンピュータに実現させる情報処理プログラムが提供される。
【発明の効果】
【0010】
上記の構成によれば、同期的に画像信号を生成するセンサと、イベント駆動型のビジョンセンサとを用いてトラッキングを行うことによって、レイテンシを抑えつつ、精度良くトラッキングを行うことができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。
【図2】本発明の一実施形態における人物の検出の例について説明するための図である。
【図3】本発明の一実施形態におけるＲＧＢ画像信号とイベント信号との関係について説明するための図である。
【図4】本発明の一実施形態に係る処理方法の例を示すフローチャートである。
【図5】本発明の一実施形態に係る処理方法の例を示す別のフローチャートである。
【発明を実施するための形態】
【0012】
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
図１は、本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。
システム１は、ＲＧＢカメラ１１と、ＥＤＳ（Event Driven Sensor）１２と、情報処理装置２０とを含む。
ＲＧＢカメラ１１は、第１画像センサであるイメージセンサ１１１と、イメージセンサ１１１に接続される処理回路１１２とを含む。イメージセンサ１１１は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってＲＧＢ画像信号１１３を生成する。処理回路１１２は、例えばＲＧＢ画像信号１１３を保存および伝送に適した形式に変換する。また、処理回路１１２は、ＲＧＢ画像信号１１３にタイムスタンプ１１４を与える。
システム１は、ＲＧＢカメラ１１と、ＥＤＳ（Event Driven Sensor）１２と、情報処理装置２０とを含む。
ＲＧＢカメラ１１は、第１画像センサであるイメージセンサ１１１と、イメージセンサ１１１に接続される処理回路１１２とを含む。イメージセンサ１１１は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってＲＧＢ画像信号１１３を生成する。処理回路１１２は、例えばＲＧＢ画像信号１１３を保存および伝送に適した形式に変換する。また、処理回路１１２は、ＲＧＢ画像信号１１３にタイムスタンプ１１４を与える。
【0014】
ＥＤＳ１２は、センサが光の強度変化を検出したときにイベント信号を生成する第２のビジョンセンサの例であり、センサアレイを構成する第２画像センサであるセンサ１２１と、センサ１２１に接続される処理回路１２２とを含む。センサ１２１は、受光素子を含み、画素ごとに入射する光の強度変化、より具体的には予め定めた所定の値を超える輝度変化を検出したときにイベント信号１２３を生成するイベント駆動型のビジョンセンサである。入射する光の強度変化を検出しなかったセンサ１２１はイベント信号１２３を生成しないため、ＥＤＳ１２においてイベント信号１２３は時間非同期的に生成される。処理回路１２２を経て出力されるイベント信号１２３は、センサ１２１の識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプ１２４とを含む。また、輝度変化を検出した際に、ＥＤＳ１２は、ＲＧＢ画像信号１１３の生成頻度（ＲＧＢカメラ１１のフレームレート）より大幅に高い頻度でイベント信号１２３を生成することができる。
なお、本明細書では、当該信号に基づいて画像を構築可能な信号を画像信号という。したがって、ＲＧＢ画像信号１１３およびイベント信号１２３は、画像信号の一例を示す。
なお、本明細書では、当該信号に基づいて画像を構築可能な信号を画像信号という。したがって、ＲＧＢ画像信号１１３およびイベント信号１２３は、画像信号の一例を示す。
【0015】
本実施形態において、ＲＧＢ画像信号１１３に与えられるタイムスタンプ１１４およびイベント信号１２３に与えられるタイムスタンプ１２４は同期している。具体的には、例えば、ＥＤＳ１２でタイムスタンプ１２４を生成するために用いられる時刻情報をＲＧＢカメラ１１に提供することによって、タイムスタンプ１１４をタイムスタンプ１２４に同期させることができる。あるいは、タイムスタンプ１１４，１２４を生成するための時刻情報がＲＧＢカメラ１１とＥＤＳ１２とでそれぞれ独立している場合、特定のイベント（例えば、画像全体にわたる被写体の変化）が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にタイムスタンプ１１４とタイムスタンプ１２４とを同期させることができる。
【0016】
また、本実施形態では、事前に実行されるＲＧＢカメラ１１とＥＤＳ１２とのキャリブレーション手順によって、ＥＤＳ１２のセンサ１２１がＲＧＢ画像信号１１３の１または複数のピクセルに対応付けられ、イベント信号１２３はＲＧＢ画像信号１１３の１または複数のピクセルにおける光の強度変化に応じて生成される。より具体的には、例えば、ＲＧＢカメラ１１とＥＤＳ１２とで共通の校正パターンを撮像し、ＲＧＢカメラ１１およびＥＤＳ１２のぞれぞれの内部パラメータおよび外部パラメータからカメラとセンサとの間の対応パラメータを算出することによって、ＲＧＢ画像信号１１３の１または複数のピクセルにセンサ１２１を対応付けることができる。
【0017】
情報処理装置２０は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される検出部２１、設定部２２、トラッキング部２３、および比較部２４の各機能を含む。以下、各部の機能についてさらに説明する。
【0018】
検出部２１は、第１画像センサであるイメージセンサ１１１より生成されたＲＧＢ画像信号に基づいて、検出対象を検出する。本実施形態においては、検出対象が人物である場合を例に挙げて説明する。検出部２１は、検出対象である人物の少なくとも１つの関節の座標情報を算出する。
図２は、人物の検出の例について説明するための図である。検出部２１は、図２に示すように、人物の複数の関節の座標情報を算出する。図２の例では、頭部、肩、ひじ、手首、ひざ、足首、つま先等、１７カ所の関節の座標情報を算出する例を示す。
検出部２１は、例えば学習済みモデル２１１に基づいて、ＲＧＢ画像信号１１３からユーザーが有する複数の関節の位置を示す座標情報を算出する。学習済みモデル２１１は、例えば、複数の関節を有する人物の画像を入力データとし、人物の複数の関節の位置を示す座標情報を正解データとした教師あり学習を実行することによって予め構築することができる。なお、機械学習の具体的な手法については、公知の各種の技術を利用可能であるため詳細な説明は省略する。また、検出部２１に関係性学習部を備え、ＲＧＢ画像信号１１３が入力される度に、入力されたＲＧＢ画像信号１１３に基づく画像と関節の位置を示す座標情報との関係性を学習して学習済みモデル２１１を更新する構成としてもよい。
また、検出部２１による処理の際に、イベント信号１２３を利用してもよい。例えば、イベント信号１２３において同じ極性のイベントが発生していることが示される連続した画素領域に存在するオブジェクトを人物として検出し、ＲＧＢ画像信号１１３の対応する部分について上述した検出処理を行ってもよい。
図２は、人物の検出の例について説明するための図である。検出部２１は、図２に示すように、人物の複数の関節の座標情報を算出する。図２の例では、頭部、肩、ひじ、手首、ひざ、足首、つま先等、１７カ所の関節の座標情報を算出する例を示す。
検出部２１は、例えば学習済みモデル２１１に基づいて、ＲＧＢ画像信号１１３からユーザーが有する複数の関節の位置を示す座標情報を算出する。学習済みモデル２１１は、例えば、複数の関節を有する人物の画像を入力データとし、人物の複数の関節の位置を示す座標情報を正解データとした教師あり学習を実行することによって予め構築することができる。なお、機械学習の具体的な手法については、公知の各種の技術を利用可能であるため詳細な説明は省略する。また、検出部２１に関係性学習部を備え、ＲＧＢ画像信号１１３が入力される度に、入力されたＲＧＢ画像信号１１３に基づく画像と関節の位置を示す座標情報との関係性を学習して学習済みモデル２１１を更新する構成としてもよい。
また、検出部２１による処理の際に、イベント信号１２３を利用してもよい。例えば、イベント信号１２３において同じ極性のイベントが発生していることが示される連続した画素領域に存在するオブジェクトを人物として検出し、ＲＧＢ画像信号１１３の対応する部分について上述した検出処理を行ってもよい。
【0019】
設定部２２は、検出対象の少なくとも一部が含まれる関心領域を設定する。関心領域は、検出対象の少なくとも一部が含まれる領域であり、後述するトラッキングの対象となる注目領域である。設定部２２は、例えば図２に示すように、検出部２１により検出された人物の関節ごとに、関節を中心とした所定の大きさの正方形を関心領域Ｒとして設定する。なお、図２の例では、一方の肩の関節にのみ関心領域Ｒを図示しているが、設定部２２は、検出部２１により検出された人物のすべての関節についてそれぞれ関心領域Ｒを設定してもよいし、一部の関節のみについて関心領域Ｒを設定してもよい。いずれの関節に関心領域Ｒを設定するかはユーザーにより指定可能としてもよい。
【0020】
トラッキング部２３は、第２画像センサであるセンサ１２１により生成されたイベント信号１２３に基づいて、設定部２２により設定された関心領域Ｒにおける検出対象をトラッキングする。ＥＤＳ１２においては、ユーザーである人物の姿勢や位置が変化した場合などに、輝度変化が発生し、その輝度変化が発生した画素アドレスでセンサ１２１によりイベント信号１２３が生成される。したがって、設定部２２により設定された関心領域Ｒに対応する領域におけるイベント信号１２３の位置自体が検出対象の座標情報に相当するものであるため、トラッキング部２３は、イベント信号１２３の発生した位置や極性等に基づいて検出対象をトラッキングする。また、イベント信号１２３は時間非同期的に生成されるため、トラッキング部２３は、イベント信号１２３が生成されるタイミングでトラッキングを随時行う。
なお、設定部２２により複数の関心領域Ｒが設定されている場合、トラッキング部２３は、各関心領域についてトラッキングを行う。
なお、設定部２２により複数の関心領域Ｒが設定されている場合、トラッキング部２３は、各関心領域についてトラッキングを行う。
【0021】
比較部２４は、ＲＧＢ画像信号１１３に基づく検出部２１による検出の結果によって示される検出対象の位置情報と、ＲＧＢ画像信号１１３に対応付けられるイベント信号１２３に基づくトラッキング部２３によるトラッキングの結果によって示される検出対象の位置情報とを比較する。
上述したように、検出部２１は、ＲＧＢ画像信号１１３に基づいて検出対象である人物の関節の座標情報を算出し、トラッキング部２３は、イベント信号１２３に基づくトラッキングの結果として、当該人物の関節の座標情報を得る。
上述したように、検出部２１は、ＲＧＢ画像信号１１３に基づいて検出対象である人物の関節の座標情報を算出し、トラッキング部２３は、イベント信号１２３に基づくトラッキングの結果として、当該人物の関節の座標情報を得る。
【0022】
図３は、ＲＧＢ画像信号１１３とイベント信号１２３との関係について説明するための図である。
図３に示すように、ＲＧＢ画像信号１１３は所定の周期で生成される一方、イベント信号１２３は時間非同期的に生成される。また、イベント信号１２３は、ＲＧＢ画像信号１１３の生成頻度（ＲＧＢカメラ１１のフレームレート）より大幅に高い頻度で生成される。図３の例では、時刻ｔ３およびｔ５の近傍でイベント信号１２３が生成された場合を例示している。図３に示すように、イベント信号１２３は、即時性が相対的に高く、また、輝度変化を検出した際にのみ生成される。一方、ＲＧＢ画像信号１１３は、イベント信号１２３よりも遅れて、かつ一定の周期で生成される。
図３に示すように、ＲＧＢ画像信号１１３は所定の周期で生成される一方、イベント信号１２３は時間非同期的に生成される。また、イベント信号１２３は、ＲＧＢ画像信号１１３の生成頻度（ＲＧＢカメラ１１のフレームレート）より大幅に高い頻度で生成される。図３の例では、時刻ｔ３およびｔ５の近傍でイベント信号１２３が生成された場合を例示している。図３に示すように、イベント信号１２３は、即時性が相対的に高く、また、輝度変化を検出した際にのみ生成される。一方、ＲＧＢ画像信号１１３は、イベント信号１２３よりも遅れて、かつ一定の周期で生成される。
【0023】
比較部２４は、上述した比較のために、例えば、ＲＧＢ画像信号１１３に基づく検出部２１による検出において算出される座標情報と、ＲＧＢ画像信号１１３に対応付けられるイベント信号１２３に基づくトラッキング部２３によるトラッキングの結果として得られる座標情報との差異を求める。比較部２４は、ＲＧＢ画像信号１１３に付与されたタイムスタンプ１１４と同じまたは近い時刻のタイムスタンプ１２４が付与されたイベント信号１２３を選択し、ＲＧＢ画像信号１１３に基づいて算出された座標情報と、イベント信号１２３に基づくトラッキングにより得られる座標情報との差異を求める。
【0024】
差異が所定の閾値Ｔｈ未満である場合、トラッキング部２３によるトラッキングが正しく行われていると判断することができる。一方、差異が所定の閾値Ｔｈ以上である場合、トラッキング部２３によるトラッキングが正しく行われていないと判断することができる。差異が所定の閾値Ｔｈ以上である場合、例えば、イベント信号１２３に検出対象の動きがうまく反映されていない、あるいは、実際には検出対象が動いていないにもかかわらず急な輝度変化などによりイベント信号１２３が生成されたことにより、トラッキングの精度が低下している可能性がある。このような場合は、設定部２２は、検出部２１による検出結果に基づいて、関心領域を再び設定する。
【0025】
比較部２４による比較はどのようなタイミングで行われても良いが、ここでは図３の例において、ＲＧＢ画像信号１１３のフレームレートに合わせて比較部２４による比較を行う場合を考える。
時刻ｔ１において生成されたＲＧＢ画像信号１１３に基づいて検出部２１が検出対象を検出し、設定部２２が関心領域Ｒｔ１を設定すると、トラッキング部２３は関心領域Ｒｔ１における検出対象のトラッキングを行う。
時刻ｔ２およびｔ３において生成されたＲＧＢ画像信号１１３およびイベント信号１２３に基づいて比較部２４が比較を行い、差異が所定の閾値Ｔｈ未満である場合、関心領域Ｒｔ１が維持され、トラッキング部２３により関心領域Ｒｔ１における検出対象のトラッキングが継続される。
時刻ｔ１において生成されたＲＧＢ画像信号１１３に基づいて検出部２１が検出対象を検出し、設定部２２が関心領域Ｒｔ１を設定すると、トラッキング部２３は関心領域Ｒｔ１における検出対象のトラッキングを行う。
時刻ｔ２およびｔ３において生成されたＲＧＢ画像信号１１３およびイベント信号１２３に基づいて比較部２４が比較を行い、差異が所定の閾値Ｔｈ未満である場合、関心領域Ｒｔ１が維持され、トラッキング部２３により関心領域Ｒｔ１における検出対象のトラッキングが継続される。
【0026】
時刻ｔ４において生成されたＲＧＢ画像信号１１３およびイベント信号１２３に基づいて比較部２４が比較を行い、差異が所定の閾値Ｔｈ以上である場合、設定部２２が関心領域Ｒｔ１に代えて関心領域Ｒｔ４を設定し、トラッキング部２３により関心領域Ｒｔ４における検出対象のトラッキングが開始される。
つまり、差異が所定の閾値Ｔｈ未満である間は、設定部２２により設定されている関心領域における検出対象のトラッキングが有効であるため関心領域が維持され、差異が所定の閾値Ｔｈ以上になると、設定部２２により設定されている関心領域における検出対象のトラッキングが無効である可能性が高いため、設定部２２が関心領域を再び設定する。
つまり、差異が所定の閾値Ｔｈ未満である間は、設定部２２により設定されている関心領域における検出対象のトラッキングが有効であるため関心領域が維持され、差異が所定の閾値Ｔｈ以上になると、設定部２２により設定されている関心領域における検出対象のトラッキングが無効である可能性が高いため、設定部２２が関心領域を再び設定する。
【0027】
図４は、本発明の一実施形態に係るシステム１の処理の例を示すフローチャートである。図示された例では、ＲＧＢカメラ１１がＲＧＢ画像信号１１３を生成し（ステップＳ１０１）、それと同時にＥＤＳ１２がイベント信号１２３を生成する（ステップＳ１０２）。なお、イベント信号１２３を生成するステップＳ１０２は、ＲＧＢ画像信号１１３の１または複数のピクセルに対応付けられるセンサ１２１が光の強度変化を検出した場合にのみ実行される。ＲＧＢ画像信号１１３にはタイムスタンプ１１４が与えられ（ステップＳ１０３）、イベント信号にはタイムスタンプ１２４が与えられる（ステップＳ１０４）。
そして、検出部２１がＲＧＢ画像信号１１３から検出対象を検出し（ステップＳ１０５）、設定部２２が初期の関心領域Ｒとして関心領域Ｒｔ０を設定する（ステップＳ１０６）。
そして、検出部２１がＲＧＢ画像信号１１３から検出対象を検出し（ステップＳ１０５）、設定部２２が初期の関心領域Ｒとして関心領域Ｒｔ０を設定する（ステップＳ１０６）。
【0028】
次に、イベント信号１２３が生成されると（ステップＳ１０７ＹＥＳ）、トラッキング部２３がイベント信号１２３に基づいて関心領域Ｒにおける検出対象をトラッキングする（ステップＳ１０８）。
そして、トラッキング部２３は所定の時間が経過するまでイベント信号１２３が生成されるたびにトラッキングを行い、所定の時間が経過すると（ステップＳ１０９ＹＥＳ）、検出部２１がＲＧＢ画像信号１１３から検出対象を検出する（ステップＳ１１０）。
そして、トラッキング部２３は所定の時間が経過するまでイベント信号１２３が生成されるたびにトラッキングを行い、所定の時間が経過すると（ステップＳ１０９ＹＥＳ）、検出部２１がＲＧＢ画像信号１１３から検出対象を検出する（ステップＳ１１０）。
【0029】
比較部２４が比較を行い（ステップＳ１１１）、差異が所定の閾値Ｔｈ未満である（ステップＳ１１２ＮＯ）間は、ステップＳ１０７からステップＳ１１２の処理を繰り返し、差異が所定の閾値Ｔｈ以上であると判定すると（ステップＳ１１２ＹＥＳ）、設定部２２がステップＳ１１０における検出結果に基づいて、関心領域Ｒとして関心領域ＲＸを設定する（ステップＳ１１３）。
情報処理装置２０の各部は、上記のステップＳ１０７からＳ１１３の処理を繰り返す（ステップＳ１０１からＳ１０４の処理も繰り返されるが、必ずしもステップＳ１０７からＳ１１３と同じ周期でなくてもよい）ことによって、適切なタイミングで関心領域Ｒの維持と再設定を行いつつ、トラッキングを行う。そのため、レイテンシを抑えつつ、精度良くトラッキングを行うことができる。
情報処理装置２０の各部は、上記のステップＳ１０７からＳ１１３の処理を繰り返す（ステップＳ１０１からＳ１０４の処理も繰り返されるが、必ずしもステップＳ１０７からＳ１１３と同じ周期でなくてもよい）ことによって、適切なタイミングで関心領域Ｒの維持と再設定を行いつつ、トラッキングを行う。そのため、レイテンシを抑えつつ、精度良くトラッキングを行うことができる。
【0030】
図５は、本発明の一実施形態に係るシステム１の別の処理の例を示すフローチャートである。図示された例では、関心領域Ｒの再設定に代えて、トラッキング部２３がトラッキング結果を補正する。
図５において、ステップＳ２０１からＳ２１１の各処理は、図４のステップＳ１０１からＳ１１１の各処理と同様であるため説明を省略する。
差異が所定の閾値Ｔｈ以上であると判定すると（ステップＳ２１２ＹＥＳ）、トラッキング部２３がステップＳ２０８におけるトラッキングの結果を補正する（ステップＳ２１３）。トラッキング部２３は、例えば、ステップＳ２１１の比較結果に基づく差異の大きさに応じて、トラッキングの結果として得られた座標情報に平滑化処理、変形処理などを施すことにより、イベント信号１２３に基づくトラッキングの結果を、ＲＧＢ画像信号１１３に基づいて補正することができる。
例えば、検出対象である人物の手先や、肘から先の部分の向きや位置が変わった場合、イベント信号１２３に基づくトラッキングの結果が、ＲＧＢ画像信号１１３に基づく検出部２１による検出の結果からずれてしまうことがある。このような場合、ＲＧＢ画像信号１１３に基づく検出部２１による検出の結果によって示される検出対象の位置情報と、ＲＧＢ画像信号１１３に対応付けられるイベント信号１２３に基づくトラッキング部２３によるトラッキングの結果によって示される検出対象の位置情報とに乖離が発生する。トラッキング部１４４は、例えばＲＧＢ画像信号１１３に基づく位置情報に基づいて、トラッキング部１４４によるトラッキングの結果を補正することにより、トラッキングを行いつつ、トラッキングの結果を事後的に補正することができる。そのため、精度の良いトラッキングを継続的に行うことができる。
情報処理装置２０の各部は、上記のステップＳ２０７からＳ２１３の処理を繰り返すことによって、トラッキングの精度が低下した可能性に応じてトラッキングの結果を補正することができる。そのため、レイテンシを抑えつつ、精度良くトラッキングを行うことができる。
図５において、ステップＳ２０１からＳ２１１の各処理は、図４のステップＳ１０１からＳ１１１の各処理と同様であるため説明を省略する。
差異が所定の閾値Ｔｈ以上であると判定すると（ステップＳ２１２ＹＥＳ）、トラッキング部２３がステップＳ２０８におけるトラッキングの結果を補正する（ステップＳ２１３）。トラッキング部２３は、例えば、ステップＳ２１１の比較結果に基づく差異の大きさに応じて、トラッキングの結果として得られた座標情報に平滑化処理、変形処理などを施すことにより、イベント信号１２３に基づくトラッキングの結果を、ＲＧＢ画像信号１１３に基づいて補正することができる。
例えば、検出対象である人物の手先や、肘から先の部分の向きや位置が変わった場合、イベント信号１２３に基づくトラッキングの結果が、ＲＧＢ画像信号１１３に基づく検出部２１による検出の結果からずれてしまうことがある。このような場合、ＲＧＢ画像信号１１３に基づく検出部２１による検出の結果によって示される検出対象の位置情報と、ＲＧＢ画像信号１１３に対応付けられるイベント信号１２３に基づくトラッキング部２３によるトラッキングの結果によって示される検出対象の位置情報とに乖離が発生する。トラッキング部１４４は、例えばＲＧＢ画像信号１１３に基づく位置情報に基づいて、トラッキング部１４４によるトラッキングの結果を補正することにより、トラッキングを行いつつ、トラッキングの結果を事後的に補正することができる。そのため、精度の良いトラッキングを継続的に行うことができる。
情報処理装置２０の各部は、上記のステップＳ２０７からＳ２１３の処理を繰り返すことによって、トラッキングの精度が低下した可能性に応じてトラッキングの結果を補正することができる。そのため、レイテンシを抑えつつ、精度良くトラッキングを行うことができる。
【0031】
なお、図４を参照して説明した関心領域Ｒの再設定と、図５を参照して説明したトラッキング結果の補正との両方を行う構成としてもよいし、所定の条件に応じていずれか一方を行う構成としてもよい。さらに、図４を参照して説明した関心領域Ｒの再設定、および図５を参照して説明したトラッキング結果の補正に加えて、または代えて、比較部２４による比較結果に応じて、その他の処理を行ってもよい。例えば、比較結果に応じてトラッキングの信頼度等の評価を行ってもよい。
【0032】
以上で説明したような本発明の一実施形態では、第１画像センサであるイメージセンサ１１１により生成された第１画像信号であるＲＧＢ画像信号に基づいて、検出対象を検出する検出部２１と、検出対象の少なくとも一部が含まれる関心領域を設定する設定部２２と、第２画像センサであるセンサ１２１により生成された第２画像信号であるイベント信号１２３に基づいて、関心領域における検出対象をトラッキングするトラッキング部２３と、ＲＧＢ画像信号１１３に基づく検出部２１による検出の結果によって示される検出対象の位置情報と、ＲＧＢ画像信号１１３に対応付けられるイベント信号１２３に基づくトラッキング部２３によるトラッキングの結果によって示される検出対象の位置情報とを比較する比較部２４とを備える。
したがって、情報量が相対的に多いＲＧＢ画像信号１１３に基づいて関心領域を設定し、時間分解能が相対的に高いイベント信号１２３に基づいて関心領域における検出対象のトラッキングを行う。そして、ＲＧＢ画像信号１１３に基づく検出対象の位置情報と、イベント信号１２３に基づく検出対象の位置情報とを比較する。そのため、トラッキングの有効性を継続的に把握することができる。また、イベント信号１２３に基づいてトラッキングを行うことにより、広いダイナミックレンジ、高い時間分解能、背景に依存しない特性など、イベント駆動型のビジョンセンサの特性を有効に利用してトラッキングを行うことができる。したがって、時間分解能および空間分解能を向上させ、レイテンシを抑えつつ、精度良くトラッキングを行うことができる。
したがって、情報量が相対的に多いＲＧＢ画像信号１１３に基づいて関心領域を設定し、時間分解能が相対的に高いイベント信号１２３に基づいて関心領域における検出対象のトラッキングを行う。そして、ＲＧＢ画像信号１１３に基づく検出対象の位置情報と、イベント信号１２３に基づく検出対象の位置情報とを比較する。そのため、トラッキングの有効性を継続的に把握することができる。また、イベント信号１２３に基づいてトラッキングを行うことにより、広いダイナミックレンジ、高い時間分解能、背景に依存しない特性など、イベント駆動型のビジョンセンサの特性を有効に利用してトラッキングを行うことができる。したがって、時間分解能および空間分解能を向上させ、レイテンシを抑えつつ、精度良くトラッキングを行うことができる。
【0033】
また、本発明の一実施形態では、設定部２２は、比較部２４による比較結果に基づいて、差異が所定の閾値Ｔｈより大きい場合に関心領域Ｒを再び設定する。そのため、適切なタイミングで関心領域Ｒの維持と再設定を行いつつ、トラッキングを行う。そのため、精度の良いトラッキングを継続的に行うことができる。
【0034】
また、本発明の一実施形態では、比較部２４による比較結果に基づいて、トラッキング部２３によるトラッキングの結果を補正する補正部をさらに備える。したがって、上述した関心領域Ｒの再設定を行う場合と同様の効果を得ることができる。
【0035】
また、本発明の一実施形態では、検出対象は人物であり、検出部２１は、人物の少なくとも１つの関節の座標情報を算出し、設定部２２は、人物の関節ごとに関心領域を設定する。したがって、人物を検出対象として、レイテンシを抑えつつ、精度良くトラッキングを行うことができる。
【0036】
なお、本発明の一実施形態で説明したトラッキングの結果は、どのように利用されてもよい。例えば、ユーザーの動きをロボット等により再現するミラーリングシステム、コントローラ同様にユーザー操作を受け付けるゲーミングシステム等に利用してもよい。例えば、ミラーリングシステムに本発明を利用した場合、時間分解能および空間分解能の向上により、より詳細かつ高精度なトラッキングが可能となるため、ロボットにおいてより滑らか、かつ、細やかな動きを再現することが可能となる。
【0037】
また、人物以外に、例えば、所定の車両、機械、生物などを検出対象としたトラッキング、および所定のマーカーなどを検出対象としたトラッキングにも本発明を同様に適用することができる。
【0038】
また、上記の例で説明された情報処理装置２０における検出部２１では、機械学習の手法を用いてＲＧＢ画像信号１１３から検出対象を検出する例を示したが、機械学習に代えて、または機械学習に加えて、他の手法を用いて検出対象を検出する構成としてもよい。例えば、ブロックマッチング法、勾配法などの公知の手法を用い、ＲＧＢ画像信号１１３から検出対象を検出してもよい。
【0039】
また、上記の例で説明されたシステム１は、単一の装置内で実装されてもよいし、複数の装置に分散して実装されてもよい。例えば、ＲＧＢカメラ１１およびＥＤＳ１２を含むカメラユニットと、情報処理装置２０とからなるシステムであってもよい。
【0040】
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0041】
１…システム、１１…ＲＧＢカメラ、１２…ＥＤＳ、２０…情報処理装置、２１…検出部、２２…設定部、２３…トラッキング部、２４…比較部、１１１…イメージセンサ、１１２・１２２…処理回路、１１３…ＲＧＢ画像信号、１１４・１２４…タイムスタンプ、１２１…センサ、１２３…イベント信号、２１１…学習済みモデル。
【図1】
【図2】
【図3】
【図4】
【図5】