特許 7028513 イベントデータストリームの処理方法及びコンピューティング機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-21

(45)【発行日】2022-03-02

(54)【発明の名称】イベントデータストリームの処理方法及びコンピューティング機器

(51)【国際特許分類】

   G06T 7/269 20170101AFI20220222BHJP

【ＦＩ】

G06T7/269

【請求項の数】 10

(21)【出願番号】P 2020560836

(86)(22)【出願日】2018-05-24

(65)【公表番号】

(43)【公表日】2021-09-02

(86)【国際出願番号】 CN2018088258

(87)【国際公開番号】W WO2019218388

(87)【国際公開日】2019-11-21

【審査請求日】2020-11-27

(31)【優先権主張番号】201810464280.X

(32)【優先日】2018-05-15

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520363281

【氏名又は名称】オムニビジョン センサー ソリューション （シャンハイ） カンパニー リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】チェン、ショウシュン

(72)【発明者】

【氏名】ワン、シジェン

【審査官】新井 則和

(56)【参考文献】

【文献】中国特許出願公開第１０７４０３１５４（ＣＮ，Ａ）

【文献】特表２０１８－５０１６７５（ＪＰ，Ａ）

【文献】特開２０１７－０８５５４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

イベントデータストリームの処理方法であって、前記イベントデータストリームはダイナミックビジョンセンサーからのものであり、特定のイベントが発生した画素情報を記録するために用いられ、前記イベントデータストリームの処理方法は、
前記イベントデータストリームから複数の第１期間のイベントデータを順番に読み取るステップと、
前記複数の第１期間におけるそれぞれのイベントデータに対して、前記イベントデータを分析することによって該当する第１期間内の各イベントに対応する時差情報を得るステップと、
該当する第１期間内の各イベントに対応する時差情報に応じて、該当する第１期間における移動変化を表す画像フレームを生成するステップと、
を含む、イベントデータストリームの処理方法。

【請求項2】

前記特定のイベントは、ダイナミックビジョンセンサー中の画素の輝度が変化したことであり、
取得されたイベントデータは前記第１期間内に輝度が変化したすべての画素の座標位置及び輝度変化のタイムスタンプを含む、請求項１に記載のイベントデータストリームの処理方法。

【請求項3】

前記イベントデータストリームから前記複数の第１期間の前記イベントデータを順番に読み取るステップは、
前記イベントデータストリームから前記複数の第１期間の前記イベントデータを順番に読み取り、且つ隣接する第１期間のイベントデータ同士は第２期間のイベントデータが互いに重なるステップをさらに含む、請求項１又は２に記載のイベントデータストリームの処理方法。

【請求項4】

前記イベントデータストリームから前記複数の第１期間の前記イベントデータを順番に読み取るステップは、
前記第１期間内に１つの画素の輝度が複数回変化した場合、読み取られたイベントデータでは該当する画素の座標位置に複数のタイムスタンプが対応するステップと、
前記複数のタイムスタンプから該当する画素の最新の輝度変化のタイムスタンプを、該当画素の座標位置に対応するタイムスタンプとして選択するステップと、を含む、請求項１から３のいずれか一項に記載のイベントデータストリームの処理方法。

【請求項5】

前記イベントデータを分析することによって前記第１期間内の各イベントに対応する時差情報を得るステップは、
各第１期間のイベントデータに対して、該当する第１期間の開始時点及び／又は終了時点を記録するステップと、
前記開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて前記第１期間内の各イベントに対応する時差情報を計算するステップと、を含む、請求項２から４のいずれか一項に記載のイベントデータストリームの処理方法。

【請求項6】

前記第１期間内の各イベントに対応する時差情報に応じて前記第１期間における移動変化を表す画像フレームを生成するステップは、
前記各イベントに対応する時差情報に応じて、該当イベントに対応する画素値を計算するステップと、
前記第１期間内のすべてのイベントに対応する画素値及び座標位置に応じて、前記第１期間における移動の変化を表す画像フレームを生成するステップと、を含む、請求項２から５のいずれか一項に記載のイベントデータストリームの処理方法。

【請求項7】

前記各イベントに対応する時差情報に応じて、該当イベントに対応する画素値を計算するステップは、
前記各イベントに対応する時差情報を前処理し、前記各イベントに対応する処理済み時差情報を得るステップと、
前記各イベントに対応する処理済み時差情報に応じて、前記各イベントに対応する画素値を計算するステップと、をさらに含む、請求項６に記載のイベントデータストリームの処理方法。

【請求項8】

前記前処理は、前記第１期間内の前記各イベントに対応する時差情報を所定の区間内にマッピングすることを含む、請求項７に記載のイベントデータストリームの処理方法。

【請求項9】

コンピューティング機器であって、
１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のプログラムと、を備え、前記１つ又は複数のプログラムは前記メモリに記憶され、前記１つ又は複数のプロセッサにより実行されるように構成され、前記１つ又は複数のプログラムは請求項１から８のいずれか一項に記載のイベントデータストリームの処理方法を実行するための命令を含む、コンピューティング機器。

【請求項10】

コンピュータに、請求項１から８のいずれか一項に記載のイベントデータストリームの処理方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互引用］
本出願は２０１８年５月１５日に提出された中国特許出願Ｎｏ．２０１８１０４６４２８０．Ｘに基づく優先権の利益を主張するものであり、その内容は本出願に援用される。
本発明はデータ処理の技術分野に関し、特にイベントデータストリームの処理方法及びコンピューティング機器に関する。

【背景技術】

【0002】

リアルタイムなオプティカルフロー計算は、例えば、オプティカルフローに基づく分割、移動検出、航空機や車両用の目標追跡及び障害物回避等のコンピュータビジョン分野では重要な役割を果たしてきている。リアルタイム応用では、高精度を維持しながらオプティカルフロー計算の速度を高めることは急務の一つである。その中で、オプティカルフローは決定的な役割を果たす基本的な要素として、多くのオプティカルフロー計算方法が拡張されている。従来のオプティカルフロー方法は普通の画像センサーから捕捉される大量のフレームデータを処理し、従って、静的背景から冗長データが繰り返して発生する。大量の冗長データの読み出し及び処理は、膨大な計算コストにつながり、処理速度が制限される。

【0003】

一方、イベントに基づくモーションセンサーは、オプティカルフロー計算のリアルタイム性の向上の点では極めて大きな潜在力を示している。普通の画像センサーに比べて、モーションセンサーは相対輝度変化を示すイベントに非同期で応答する。且つ、モーションセンサーの出力は非同期デジタルイベントのストリームであり、露光時間やフレームレートに制限されることがなく、通常高価な高速カメラが数千フレームレートで捕捉する高速移動物体を検出できる反面、出力される冗長データが大幅に減少する。従って、モーションセンサーに対して、イベントに基づくオプティカルフロー方法は幅広く適用されている。

【0004】

一般には、イベントに基づくオプティカルフロー方法は、イベントに基づくＬｕｃａｓ－Ｋａｎａｄｅ方法、及び局所平面フィッティング方法に分けられる。イベントに基づくオプティカルフロー方法では、１つの重要なステップとして、局所領域中の画素強度に基づいて勾配（又は傾き）情報を抽出する。しかしながら、従来のダイナミックビジョンセンサー（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ、ＤＶＳ）システムでは、イベントは照明なし場合にしか画素位置を報告しない。従って、短時間内に累積されたイベントの数を使用して各画素の強度をシミュレーションする。以上からわかるように、このシミュレーション方法は、リアルタイム強度レベルではなく、相対強度変化を示すため、不正確である。また、イベントに基づくオプティカルフロー計算の正確性を制限する別の課題は、高速移動物体の検出時のイベントのスパース性である。従来のＤＶＳの動作時、各画素は個別に動作し、且つ単一アクティブ画素によって発生するイベントはオプティカルフローの計算に十分な情報を提供できない。

【0005】

上記理由に鑑みて、オプティカルフロー計算の速度を高めるために、画素強度に基づいて移動勾配情報を抽出する新たなスキームが望まれている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、以上の少なくとも１つの課題を解決又は少なくとも軽減するために、イベントデータストリームの処理方法及びコンピューティング機器を提供する。

【課題を解決するための手段】

【0007】

本発明の一態様によれば、イベントデータストリームの処理方法を提供し、イベントデータストリームはダイナミックビジョンセンサーからのものであり、特定のイベントが発生した画素情報を記録するために用いられ、方法は、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取るステップと、各第１期間のイベントデータに対して、イベントデータを分析することによって上記第１期間内の各イベントに対応する時差情報を得るステップと、上記第１期間内の各イベントに対応する時差情報に応じて、上記第１期間における移動変化を表す画像フレームを生成するステップと、を含む。

【0008】

好ましくは、本発明に係る処理方法では、特定のイベントは、ダイナミックビジョンセンサー中の画素の輝度が変化したことであり、取得されたイベントデータは第１期間内に輝度が変化したすべての画素の座標位置及びその輝度変化のタイムスタンプを含む。

【0009】

好ましくは、本発明に係る処理方法では、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取るステップは、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取り、且つ隣接する第１期間のイベントデータ同士は第２期間のイベントデータが互いに重なるステップをさらに含む。

【0010】

好ましくは、本発明に係る処理方法では、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取るステップは、第１期間内に１つの画素の輝度が複数回変化した場合、読み取られたイベントデータでは上記画素の座標位置に複数のタイムスタンプが対応するステップと、複数のタイムスタンプから上記画素の最新の輝度変化のタイムスタンプを、上記画素の座標位置に対応するタイムスタンプとして選択するステップと、を含む。

【0011】

好ましくは、本発明に係る処理方法では、イベントデータを分析することによって上記第１期間内の各イベントに対応する時差情報を得るステップは、各第１期間のイベントデータに対して、上記第１期間の開始時点及び／又は終了時点を記録するステップと、開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて上記第１期間内の各イベントに対応する時差情報を計算するステップと、を含む。

【0012】

好ましくは、本発明に係る処理方法では、第１期間内の各イベントに対応する時差情報に応じて上記第１期間における移動変化を表す画像フレームを生成するステップは、各イベントに対応する時差情報に応じて、上記イベントに対応する画素値を計算するステップと、第１期間内のすべてのイベントに対応する画素値及び座標位置に応じて、上記第１期間における移動の変化を表す画像フレームを生成するステップと、を含む。

【0013】

好ましくは、本発明に係る処理方法では、開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて上記第１期間内の各イベントに対応する時差情報を計算するステップは、それぞれ第１期間の終了時点と各イベントのタイムスタンプとの差を計算し、対応する各イベントの時差情報を得るステップを含む。

【0014】

好ましくは、本発明に係る処理方法では、開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて上記第１期間内の各イベントに対応する時差情報を計算するステップは、それぞれ第１期間内の各画素のタイムスタンプと開始時点との差を計算し、対応する各イベントの時差情報を得るステップを含む。

【0015】

好ましくは、本発明に係る処理方法では、各イベントに対応する時差情報に応じて、上記イベントに対応する画素値を計算するステップは、各イベントに対応する時差情報を前処理し、各イベントに対応する処理済み時差情報を得るステップと、各イベントに対応する処理済み時差情報に応じて、上記イベントに対応する画素値を計算するステップと、をさらに含む。

【0016】

好ましくは、本発明に係る処理方法では、前処理は、第１期間内の各イベントに対応する時差情報を所定の区間内にマッピングすることを含む。

【0017】

好ましくは、本発明に係る処理方法では、イベントｉに対応する画素値ｐｉｘｅｌ_ｉは式１

【数1】

（式中、Δｔ_ｉはイベントｉに対応する処理済み時差情報である）によって計算される。

【0018】

好ましくは、本発明に係る処理方法では、イベントｉに対応する画素値ｐｉｘｅｌ_ｉは、式２

【数2】

（式中、Δｔ_ｉはイベントｉに対応する処理済み時差情報、Ａは定数である）によって計算される。

【0019】

好ましくは、本発明に係る処理方法では、第１期間内のすべてのイベントに対応する画素値及び座標位置に応じて画像フレームを生成するステップは、所定のサイズの画像を構成し、上記画像を初期化して初期画像フレームとするステップと、初期画像フレームでは第１期間内の各イベントに対応する画素座標を検索するステップと、上記第１期間内の各イベントの画素値を初期画像フレーム中の上記イベントに対応する画素座標の画素値として、画像フレームを得るステップと、を含む。

【0020】

本発明の別の態様によれば、コンピューティング機器を提供し、１つ又は複数のプロセッサと、メモリと、１つ又は複数のプログラムと、を備え、１つ又は複数のプログラムはメモリに記憶され、１つ又は複数のプロセッサにより実行されるように構成され、１つ又は複数のプログラムは処理方法のいずれかを実行するための命令を含む。

【0021】

本発明のさらに別の態様によれば、１つ又は複数のプログラムを記憶するコンピュータ可読記憶媒体を提供し、１つ又は複数のプログラムは命令を含み、命令がコンピューティング機器により実行されると、コンピューティング機器に処理方法のいずれかを実行させる。

【発明の効果】

【0022】

本発明に係るイベントデータストリームの処理スキームによれば、１つの期間内にトリガーされるイベントに対して、ます、各イベントに対応するタイムスタンプに応じて各イベントの時差情報を分析し、さらに時差情報に応じて各イベントに対応する画素値を算出し、さらに上記期間における移動の変化を表す画像フレームを生成する。表示される画像フレームによって、シーン中の移動情報を直感的に反映できる。また、後続の移動分析及び計算が容易になり、オプティカルフロー計算の速度向上に寄与する。

【0023】

特に、特定の期間内にイベントが早くトリガーされるほど、対応する画像フレーム中の画素値が大きく、生成される画像フレーム中の画素値の大きさに応じて、シーン中の移動物体の現在の移動情報及びその移動軌跡を分析でき、オプティカルフロー計算の速度向上に寄与する。

【図面の簡単な説明】

【0024】

上記及び関連目的を実現するために、本明細書では、以下の説明及び図面を参照しながらいくつかの例示的な態様を説明し、これらの態様は本明細書に開示されている原理を実施できる様々な形態を示し、且つすべての態様及びその同等態様は請求された主題の範囲に属する。図面を参照しながら以下の詳細説明を読むことにより、本開示の上記及びほかの目的、特徴及び利点がさらに明らかになる。本開示を通して、同一符号は通常、同一部材又は要素を示す。

【0025】

【図1】図１は本発明のいくつかの実施例に係るコンピューティング機器１００の模式図を示す。

【図2】図２は本発明のいくつかの実施例に係るダイナミックビジョンセンサーからイベントデータストリームを出力する模式図を示す。

【図3】図３は本発明のいくつかの実施例に係るイベントデータストリームの処理方法３００のフローチャートを示す。

【図4】図４は本発明のいくつかの実施例に係る複数の第１期間のイベントデータを読み取る模式図を示す。

【図5】図５は本発明の一実施例に係る第１期間のイベントデータを示す。

【図6】図６は本発明の実施例に係る画像フレームの模式図を示す。

【発明を実施するための形態】

【0026】

以下、図面を参照しながら本開示の例示的な実施例をさらに詳細に説明する。図面には本開示の例示的な実施例が示されているが、ここで説明される実施例に限定されることなく、様々な形態で本開示を実施できると理解すべきである。その反面、これらの実施例は本開示をよりよく理解でき、且つ本開示の範囲を当業者に完全に伝えることができるために提供されている。

【0027】

図１は例示的なコンピューティング機器１００のブロック図である。基本的な構成１０２では、コンピューティング機器１００は典型的には、システムメモリ１０６及び１つ又は複数のプロセッサ１０４を備える。メモリバス１０８はプロセッサ１０４とシステムメモリ１０６との通信に使用できる。

【0028】

所望の構成によって、プロセッサ１０４は様々なタイプのプロセッサであってもよく、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル情報プロセッサ（ＤＳＰ）又はそれらの任意の組み合わせを含むが、これらに限定されない。プロセッサ１０４は、例えば、一次高速バッファ１１０及び二次高速バッファ１１２のような１つ又は複数のレベルの高速バッファ、プロセッサカーネル１１４及びレジスタ１１６を備えてもよい。例示的なプロセッサカーネル１１４は演算論理ユニット（ＡＬＵ）、浮動小数点ユニット（ＦＰＵ）、デジタル信号処理カーネル（ＤＳＰカーネル）又はそれらの任意の組み合わせを備えてもよい。例示的なメモリコントローラ１１８はプロセッサ１０４と組み合わせて使用されてもよく、又は、いくつかの実現では、メモリコントローラ１１８はプロセッサ１０４の１つの内部部分であってもよい。

【0029】

所望の構成によって、システムメモリ１０６は様々なタイプのメモリであってもよく、揮発性メモリ（例えば、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ、フラッシュメモリ等）、又はそれらの任意の組み合わせを含むが、これらに限定されない。システムメモリ１０６はオペレーティングシステム１２０、１つ又は複数のアプリケーション１２２、及びプログラムデータ１２４を備えてもよい。いくつかの実施形態では、アプリケーション１２２はオペレーティングシステム上でプログラムデータ１２４を利用して操作を行うように構成されてもよい。いくつかの実施例では、コンピューティング機器１００はイベントデータストリームの処理方法３００を実行するように構成され、プログラムデータ１２４は方法３００を実行するための命令を含む。

【0030】

コンピューティング機器１００はさらに、バス／インターフェースコントローラ１３０を経由する様々なインターフェース機器（例えば、出力機器１４２、ペリフェラルインターフェース１４４及び通信機器１４６）から基本的な構成１０２への通信に寄与するインターフェースバス１４０を備えてもよい。例示的な出力機器１４２はグラフィックス処理ユニット１４８及びオーディオ処理ユニット１５０を備える。それらは、１つ又は複数のＡ／Ｖポート１５２を経由して例えば、ディスプレイ又はスピーカーのような様々な外部機器と通信することに寄与するように構成されてもよい。例示的なペリフェラルインターフェース１４４はシリアルインターフェースコントローラ１５４及びパラレルインターフェースコントローラ１５６を備えてもよく、１つ又は複数のＩ／Ｏポート１５８を経由して例えば、入力機器（例えば、キーボード、マウス、ペン、音声入力機器、画像入力機器）又はほかのペリフェラル（例えば、プリンタ、スキャナー等）のような外部機器と通信することに寄与するように構成されてもよい。例示的な通信機器１４６は、１つ又は複数の通信ポート１６４を経由してネットワーク通信リンクによって１つ又は複数のほかのコンピューティング機器１６２と通信することに寄与するように構成されてもよいネットワークコントローラ１６０を備えてもよい。

【0031】

ネットワーク通信リンクは通信媒体の一例であってもよい。通信媒体は通常、例えば、キャリア又はほかの伝送メカニズムのような変調データ信号中のコンピュータ可読命令、データ構造、プログラムモジュールとして具体化されてもよく、且つ任意の情報伝送媒体を含んでもよい。「変調データ信号」は、そのデータセット中の１つ又は複数又はその変更が信号内で情報を符号化することによって行われるような信号であってもよい。非限定的な例として、通信媒体は、例えば、有線ネットワーク又は専用ネットワークのような有線媒体、及び例えば、音、無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）又はほかの無線媒体のような様々な無線媒体を含んでもよい。ここで使用される用語のコンピュータ可読媒体は記憶媒体及び通信媒体の両方を含んでもよい。

【0032】

コンピューティング機器１００はデスクトップコンピュータ及びノートコンピュータ構成を含むパーソナルコンピュータとして実現されてもよい。勿論、コンピューティング機器１００は、小型ポータブル（又は移動）電子機器の一部として実現されてもよく、これらの電子機器は例えば、携帯電話、デジタルカメラ、パーソナルデジタルアシスタント（ＰＤＡ）、パーソナルメディアプレーヤー機器、無線ネットワークブラウジング機器、パーソナル頭部装着型機器、特定用途向け機器、又は上記の任意の機能を含むハイブリッド機器であってもよい。本発明の実施例ではそれを限定しない。

【0033】

オプティカルフロー計算では、従来の画像センサーの代わりに常にモーションセンサーを採用し、それはモーションセンサーが相対輝度変化を示すイベントに応答できるからであり、従って、モーションセンサーの出力データは従来の画像センサーよりも移動情報をよく記録し表示することができる。一実施形態では、シーン内にダイナミックビジョンセンサー（Ｅｖｅｎｔ Ｃａｍｅｒａ）を配置し、シーン内に物体の移動がない場合、ダイナミックビジョンセンサーはなんの内容も表示しない。しかしながら、一旦シーン内に物体の移動が発生したと検出される場合（すなわち、光が変化した）、動的画素（すなわち、輝度が変化した画素）のイベントデータストリームを出力する。つまり、上記イベントデータストリームは特定のイベントが発生した（すなわち、ダイナミックビジョンセンサー中の画素の輝度が変化した）画素の情報を記録している。

【0034】

図２の（Ａ）及び（Ｂ）はダイナミックビジョンセンサーがイベントデータストリームを出力するプロセスの模式図を示す。図２中の（Ａ）に示すように、１つの４×４行列はダイナミックビジョンセンサー中の画素アレイを示し（当業者であれば、図２中の（Ａ）は単に例であり、実際の応用では、ダイナミックビジョンセンサー中の画素アレイはサイズ４×４に限定されない）、アレイ中の特定の画素の輝度が変化すると、トリガーして１つの対応するイベントデータｅ_ｉ（ｉは１，２，３，…）を生成し、図２中の（Ｂ）に示すように、時間の経過とともに、ダイナミックビジョンセンサーはイベントデータｅ_１，ｅ_２，ｅ_３，ｅ_４，・・・を順番に連続して出力し、イベントデータストリームを構成する。ここで、各イベントデータｅ_ｉは輝度が変化した画素の座標位置及びその輝度変化のタイムスタンプを含み、すなわち、イベントデータｅ_ｉ（式３）は

【数3】

（（ｘ_ｉ，ｙ_ｉ）は第ｉ回のイベントの座標位置、すなわち輝度が変化した画素の座標位置であり、ｔ_ｉは第ｉ回のイベントのタイムスタンプ、すなわち輝度が変化したタイムスタンプである）で示される。図２中の（Ａ）に示すように、イベントデータｅ_１の画素座標は（１，１）、イベントデータｅ_２の画素座標は（２，２）、イベントデータｅ_３の画素座標は（０，３）、イベントデータｅ_４の画素座標は（３，１）であり、且つ後で発生したイベントのタイムスタンプは必ず前に発生したイベントのタイムスタンプよりも大きく、すなわち
ｔ_４＞ｔ_３＞ｔ_２＞ｔ_１＞である。

【0035】

本発明に係る処理方法３００によれば、ダイナミックビジョンセンサーからのイベントデータストリームを処理し、各所定の期間における移動変化を表す画像フレームを生成し、後続ではこれらの画像フレームに基づいてシーン中の物体移動を分析し、それによってリアルタイムオプティカルフロー計算の速度を向上させる。

【0036】

図３は本発明のいくつかの実施例に係るイベントデータストリームの処理方法３００のフローチャートを示す。図３に示すように、方法３００はステップＳ３１０から開始する。

【0037】

ステップＳ３１０では、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取る。上記のように、本発明の実施例では、イベントデータストリームに記録される特定のイベントは、ダイナミックビジョンセンサー中の画素の輝度が変化したイベントであり、且つイベントデータは第１期間内に輝度が変化したすべての画素の座標位置及びその輝度変化のタイムスタンプを含む。以下、本発明の一実施例に係る１つの第１期間のイベントデータのフォーマットが示される。

【0038】

【数4】

【0039】

本発明の一実施例では、複数の第１期間のイベントデータは以下の方式によって取得される。イベントデータストリームから複数の第１期間のイベントデータを順番に読み取り、隣接する第１期間のイベントデータ同士は第２期間のイベントデータが互いに重なり、且つ、第１期間は第２期間の２倍以下である。図４は、本発明の実施例に係るイベントデータストリームから第１期間のイベントデータを読み取る模式図を示す。図４からわかるように、イベントｅ_１，ｅ_２，・・・は時間の経過とともに連続的に発生し、ｔ_１，ｔ_２，・・・はイベントｅ_１，ｅ_２，・・に対応するタイムスタンプであり、生成された第１期間のイベントデータのうち、隣接する第１期間のイベントデータ同士は互いに重なり、重なりの比率を限定しない。つまり、所定の期間ごとに、イベントデータストリームから第１期間のイベントデータを順番に読み取り、所定の期間は第１期間と第２期間との差であってもよい。本発明の一実施例では、所定の期間は４０ミリ秒、第１期間は２００ミリ秒、第２期間は１６０ミリ秒であるが、本発明の実施例では期間の長さの数値を特に限定しない。

【0040】

勿論、スライドウィンドウの方式によって複数の第１期間のイベントデータを取得するようにしてもよい。１つのスライドウィンドウを予め設定し、スライドウィンドウの長さが第１期間であり、スライドウィンドウをイベントデータストリーム中でスライドさせ、各回スライドするスライドステップを第３期間とし、スライドウィンドウがスライドするごとに、第１期間のイベントデータを得て、このようにして、隣接する２つの第１期間のイベントデータ同士は第２期間のイベントデータが互いに重なり、第２期間はスライドウィンドウの長さからスライドステップを減算したもの、すなわち第１期間から第３期間を減算したものであり、本発明の実施例では期間の数値を特に限定せず、第１期間＝第２期間＋第３期間を満たせばよい。

【0041】

また、ダイナミックビジョンセンサーの画素アレイでは、ある画素の輝度は複数回変化する可能性があり、変化するごとに、トリガーして１つのイベントデータを生成し、このようにして、イベントデータストリームでは、２つ以上のイベントデータは座標位置が同じであるが、タイムスタンプが異なることがある。この場合、本発明のいくつかの実施例では、第１期間に、センサーの画素アレイ中のある画素（その座標位置を（ｘ，ｙ）とする）の輝度が複数回変化した場合、読み取られた上記第１期間のイベントデータでは、座標位置（ｘ，ｙ）に複数のタイムスタンプが対応し、この場合、これら複数のタイムスタンプから上記画素の最新の輝度変化のタイムスタンプを、上記画素座標位置に対応するタイムスタンプとして選択する。換言すれば、これら複数のタイムスタンプからタイムスタンプ値が最も大きいタイムスタンプを、上記画素座標位置に対応するタイムスタンプとして選択する。要するに、第１期間に、２つ以上のイベントデータの座標位置が同じである場合、最新のイベントデータのみを保留する。

【0042】

その後、ステップＳ３２０では、各第１期間のイベントデータに対して、上記イベントデータを分析することによって上記第１期間内の各イベントに対応する時差情報を得る。

【0043】

本発明の実施形態によれば、以下の２つのステップによって、各イベントに対応する時差情報を算出する。

【0044】

ステップ１では、各第１期間のイベントデータに対して、上記第１期間の終了時点Ｔ_ｄを記録する。イベントデータストリームから最初からの２００ミリ秒のイベントデータを第１期間のイベントデータとして読み取り、この場合、上記第１期間の終了時点をＴ_ｄ＝２００とする。

【0045】

ステップ２では、終了時点及びイベントデータ中の各イベントのタイムスタンプに応じて、上記第１期間内の各イベントに対応する時差情報を計算する。図５は、本発明の一実施例に係る第１期間のイベントデータを示し、上記第１期間の開始時点をＴ_０、終了時点をＴ_ｄとし、Ｔ_０～Ｔ_ｄは４個のイベントを含み、対応するタイムスタンプを順番にｔ_１，ｔ_２，ｔ_３，ｔ_４とし、各イベントに対応する時差情報を順番にΔｔ_１'，Δｔ_２'，Δｔ_３'，Δｔ_４'とする。

【0046】

上記のように、それぞれ第１期間の終了時点Ｔ_ｄと第１期間内の各イベントのタイムスタンプとの差を計算し、各イベントに対応する時差情報を得る。図５を例に、それぞれ４個のイベントに対応する時差情報を計算し、
Δｔ_１'＝Ｔ_ｄ－ｔ_１，Δｔ_２'＝Ｔ_ｄ－ｔ_２、Δｔ_３'＝Ｔ_ｄ－ｔ_３，Δｔ_４＝Ｔ_ｄ－ｔ_４とする。

【0047】

図５の例からわかるように、本発明に係る実施形態では、イベントは現在の時刻に近いほど、対応する時差情報が小さい。

【0048】

その後、ステップＳ３３０では、上記第１期間内の各イベントに対応する時差情報に応じて、上記第１期間における移動変化を表す画像フレームを生成する。

【0049】

本発明の実施形態では、ステップＳ３３０はさらに以下のステップ１）及びステップ２）に分けられてもよい。

【0050】

ステップ１）では、まず、ステップＳ３２０で得た各イベントに対応する時差情報に応じて、各イベントに対応する画素値を算出する。

【0051】

本発明の実施形態では、イベントに対応する時差情報に応じて、イベントに対応する画素値を計算する前、さらに時差情報を前処理し、処理済み時差情報を得る必要があり、さらに各イベントに対応する処理済み時差情報に応じて、上記イベントに対応する画素値を計算する。好ましくは、前処理は、例えば、第１期間内の各イベントに対応する時差情報を所定の区間内にマッピングすることである。その利点として、イベントデータストリームの出力はすべてナノ秒単位で計算され、まず、前処理によって浮動小数点型の時差情報を所定の区間（整数の所定の区間）内にマッピングすることで、メモリを節約し、後続の計算効率を向上させることができる。

【0052】

一般には、所定の区間は０－２５５であるが、これに限定されない。ここで示される実施例では、所定の区間が０－２５５であることを例に、当業者はこれに基づいて時差情報をいずれかの所定の区間にマッピングできるため、詳細説明を省略すると理解できる。

【0053】

本発明の一実施形態では、各イベントに対して、以下の式５によって時差情報を所定の区間にマッピングする。

【0054】

【数5】

式中、Δｔ'は時差情報、Δｔは処理済み時差情報、ｍａｘ及びｍｉｎはそれぞれ上記第１期間内のすべてのイベントに対応する時差情報の最大値及び最小値を示す。

【0055】

すべてのイベントに対応する処理済み時差情報を得た後、処理済み時差情報に応じて、イベントに対応する画素値を計算する。本発明の実施例では、イベントｉに対応する画素値ｐｉｘｅｌ_ｉは以下の式６によって計算される。

【0056】

【数6】

式中、Δｔ_ｉはイベントｉに対応する処理済み時差情報、Ａは定数（本発明の実施例では、Ａは２５５であり、勿論、Ａは１００、２００等の定数であってもよいが、本発明の実施例ではそれを限定しない）である。

【0057】

つまり、イベントは現在の時刻に近いほど、対応する画素値が大きい。

【0058】

本発明の別の実施形態では、所定の区間は１から任意の定数の区間、又は任意の２つの非ゼロ値の間の区間である。ここでは、所定の区間が１－２５５であることを例とするが、これに限定されない。各イベントに対して、以下の式７によって時差情報を所定の区間にマッピングする。

【0059】

【数7】

式中、Δｔ'は時差情報、Δｔは処理済み時差情報、ｍａｘ及びｍｉｎはそれぞれ上記第１期間内のすべてのイベントに対応する時差情報の最大値及び最小値を示す。

【0060】

すべてのイベントに対応する処理済み時差情報を得た後、処理済み時差情報に応じて、イベントに対応する画素値を計算する。本発明の実施例では、イベントｉに対応する画素値ｐｉｘｅｌ_ｉは以下の式８によって計算される。

【0061】

【数8】

式中、Δｔ_ｉはイベントｉに対応する処理済み時差情報である。

【0062】

つまり、イベントは現在の時刻に近いほど、対応する画素値が大きい。

【0063】

なお、以上は単に例であり、各イベントの時差情報を利用して対応する画素値を計算する２種の方式を説明したが、本発明の実施例ではこれに限定されない。本発明は、各イベントの画素値が時差情報によって得られることを説明することを目的とし、本発明に開示されている実施例では、当業者は異なる計算方式を採用でき、イベントは現在の時刻に近いほど、対応する画素値が大きく、又は、イベントは現在の時刻に近いほど、対応する画素値が小さい。イベントの時差情報によってその対応する画素値を計算する方法はすべて本発明の保護範囲に属し、ここでは詳細説明を省略する。

【0064】

ステップ２）では、上記第１期間内のすべてのイベントに対応する画素値及び座標位置に応じて、上記第１期間における移動の変化を表す画像フレームを生成する。

【0065】

本発明の一実施例では、先所定のサイズの画像を構成し、上記画像を初期化して初期画像フレームとし、上記所定のサイズはダイナミックビジョンセンサー中の画素アレイのサイズであり、画像中のすべての画素点の初期画素値を０とし、すなわち、初期画像フレーム中の画素値をすべて０とする。その後、この初期画像フレームでは第１期間内の各イベントに対応する画素座標を検索する。最後に、ステップ１）で算出した上記第１期間内の各イベントの画素値を、初期画像フレーム中の上記イベントに対応する画素座標の画素値とし、画像フレームを得る。表１に示すように、１つの３×３画素ユニットアレイであり、ｅ_１，ｅ_２，ｅ_３はある第１期間内にトリガーされたイベントを示し、その対応する表１中の位置はイベントに対応する座標位置であり、例えば、ｅ_１に対応する座標位置は（１，０）、ｅ_２に対応する座標位置は（２，１）、ｅ_３に対応する座標位置は（０，２）である。表２は、表１中のイベントにより生成された画像フレーム中の各画素値の例を示し、イベントに対応する座標位置での画素値はイベントに対応するタイムスタンプから算出され（上記説明を参照）、ほかの座標位置の画素値は依然として０である。

【0066】

【表1】

【0067】

【表2】

【0068】

以上のように、本発明の実施形態では、画像フレーム中の各イベントに対応する画素値はすべて対する時差情報に反比例するが、センサー中でトリガーされていない画素ユニットは、対応する画像フレーム中の画素値が０である。このようにして、所定の時間内にイベントは早くトリガーされるほど、対応する画素値が大きく、生成された画像フレーム中の画素値の大きさに応じて、この時間におけるシーン中の移動変化を反映でき、シーン内の移動物体の現在の移動情報及びその移動軌跡をよりよく強調し、後続のオプティカルフロー分析及び計算が容易になる。

【0069】

上記実施例では、第１期間の終了時点に応じて各イベントに対応する時差情報を計算するプロセスを示す。なお、上記実施例は単にイベントに対応する時差情報の計算方式の１種であり、本発明の実施例ではこれに限定されない。本発明の別のいくつかの実施例では、第１期間のイベントデータに対して、上記第１期間の開始時点Ｔ_０を記録する。イベントデータストリームから最初からの２００ミリ秒のイベントデータを１つの第１期間のイベントデータとして読み取り、この場合、上記第１期間の開始時点をＴ_０＝０とする。その後、開始時点及びイベントデータ中の各イベントのタイムスタンプに応じて、上記第１期間内の各イベントに対応する時差情報を計算する。好ましくは、それぞれ第１期間内の各画素のタイムスタンプと上記第１期間の開始時点との差を計算し、各イベントに対応する時差情報を得る。さらに図５を例に、４個のイベントに対応する時差情報はそれぞれ
Δｔ_１'＝ｔ_１－Ｔ_０、Δｔ_２'＝ｔ_２－Ｔ_０、Δｔ_３'＝ｔ_３－Ｔ_０、Δｔ_４'＝ｔ_４－Ｔ_０である。

【0070】

このような計算方式では、イベントは現在の時刻に近いほど、対応する時差情報が大きい。このとき、上記前処理方式によって時差情報を所定の区間内に直接マッピングすることができ、処理済み時差情報をイベントに対応する画素値として、画像フレームを生成する。勿論、ほかの方式を採用して、時差情報に応じて各イベントに対応する画素値を生成するようにしてもよく、具体的な実現プロセスは上記関連説明を参照できるため、ここでは詳細説明を省略する。

【0071】

図６は本発明の実施例に係る画像フレームの模式図を示す。図６に示すように、本発明に係るイベントデータストリームの処理方法３００によって生成される画像フレーム（図６中の各グレーグラデーション矩形）はＸＹ平面に対して所定の傾斜角度を有し、つまり、画像フレームは勾配及び向きを有する。図６中の（１）（２）（３）（４）の４つの図はそれぞれ異なる移動方向に対応する画像フレームの効果図を示す。図６中の（１）及び（２）は物体が同一方向に沿って移動する時に生成される画像フレームを示す。図６中の（２）は物体が同一方向に沿って３種の異なる移動速度でシーン中を移動する時に形成される３つの画像フレームを示し、移動方向が変化しないため、３つの画像フレームの向きが同じである（図中の矢印で示される方向は向きとして理解できる）が、移動速度が異なるため、画像フレームの傾斜度が異なる。図６中の（３）、（４）はそれぞれ物体がほかの２種の方向に沿って移動する時に生成される画像フレームを示し、同様に、矢印は画像フレームの向きを示し、矢印間の夾角は画像フレームが有する勾配を示す。なお、図６に示される画像フレームは単に例示的であり、その重点として、画像フレームがＸＹ平面上で所定の勾配を有することを展示し、実際では、画像フレームの展示は複数種の方式であってもよい。且つ、ほかの処理方式に比べて、本発明に係る方法３００によって生成される画像フレームに表示される勾配はさらに滑らかであり、図６では画像フレーム中のグレーのグラデーションによって、このような滑らかな移行を示し、従って勾配及び向き計算の正確性を向上させることができる。当業者はＭｅａｎｓｈｉｆｔミーンシフト等のアルゴリズムによって画像フレームの勾配及び向きを算出することができ、例えば、勾配の頂（最大値）及び勾配の底（最小値）を決定し、Ｍｅａｎｓｈｉｆｔアルゴリズムによって勾配の頂と勾配の底との間の最短登山経路を見つけ、上記経路が指す方向は向きであり、上記経路とＸＹ平面の投影線との夾角は勾配である。一般には、向きに応じてシーン内の物体の移動方向を容易に取得でき、さらに勾配に応じて物体の移動速度の相対変化傾向を分析できる。以上のように、上記画像フレームによって、シーン中の物体のある期間における移動速度及び移動方向を容易かつ効果的に分析でき、オプティカルフロー計算の速度向上に寄与する。

【0072】

なお、ここでは画像フレームの勾配及び向きを計算することによって物体の移動方向及び移動速度を分析する１種の方法を簡単に説明したが、本発明の実施例ではそれを限定しない。実際には、本発明に係る画像フレームをもとに、当業者は任意の方式を採用して勾配及び向きを算出し、さらにシーン中の移動物体の移動方向及び移動速度を分析することができ、画像フレームによって物体の移動速度及び移動方向を分析するいずれのアルゴリズムも本発明の保護範囲に属する。

【0073】

ここで提供される明細書では、大量の詳細が説明されている。それにもかかわらず、本発明の実施例はこれらの詳細なしで実施されてもよいと理解できる。いくつかの例では、本明細書の理解の曖昧さを回避するために、公知の方法、構造及び技術は詳細説明されていない。

【0074】

同様に、本開示を簡略化し各発明の態様の１つ又は複数を理解するのを助けるために、以上の本発明の例示的な実施例についての説明では、本発明の各特徴は単一の実施例、図、又はその説明にグループされてもよいと理解すべきである。それにもかかわらず、上記開示されている方法は、主張する本発明は各請求項に明確に記載される特徴よりも多くの特徴を必要とすることを反映するものではないと理解すべきである。より正確には、以下の特許請求の範囲に反映されるように、発明の態様は前に開示された単一の実施例のすべての特徴よりも少ないことにある。従って、具体的な実施形態に準拠する特許請求の範囲は上記具体的な実施形態に明確に組み込まれており、各請求項自体は本発明の単独な実施例である。

【0075】

当業者であれば、本明細書に開示されている例における機器のモジュール又はユニット又はアセンブリは上記実施例に説明されている機器に配置され、又は上記例における機器と異なる１つ又は複数の機器に置換可能に位置決めされるようにしてよいと理解すべきである。上記例におけるモジュールを組み合わせて１つのモジュールを形成してもよく、さらに複数のサブモジュールに分けてもよい。

【0076】

当業者であれば、実施例における機器のモジュールを適応的に変更し、上記実施例と異なる１つ又は複数の機器に設置するようにしてもよいと理解できる。実施例におけるモジュール又はユニット又はアセンブリを組み合わせて１つのモジュール又はユニット又はアセンブリを形成してもよく、さらにそれらを複数のサブモジュール又はサブユニット又はサブアセンブリに分けてもよい。このような特徴及び／又はプロセス又はユニットの少なくとも一部が相互に矛盾する以外、本明細書（添付する特許請求の範囲、要約書及び図面を含む）に開示されるすべての特徴及びこのように開示されているいずれかの方法又は機器のすべてのプロセス又はユニットを任意に組み合わせることができる。特に断らない限り、本明細書（添付する特許請求の範囲、要約書及び図面を含む）に開示されている各特徴は同一、同等又は類似目的を提供する代替特徴によって代替されてもよい。

【0077】

本発明はさらに以下のように開示している。

【0078】

Ａ７、開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて上記第１期間内の各イベントに対応する時差情報を計算するステップは、それぞれ第１期間の終了時点と各イベントのタイムスタンプとの差を計算し、対応する各イベントの時差情報を得るステップを含むＡ５に記載の方法。

【0079】

Ａ８、開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて上記第１期間内の各イベントに対応する時差情報を計算するステップは、それぞれ第１期間内の各画素のタイムスタンプと開始時点との差を計算し、対応する各イベントの時差情報を得るステップを含むＡ５に記載の方法。

【0080】

Ａ１１、イベントｉに対応する画素値ｐｉｘｅｌ_ｉは式９

【数9】

（Δｔ_ｉはイベントｉに対応する処理済み時差情報である）によって計算されるＡ９又は１０に記載の方法。

【0081】

Ａ１２、イベントｉに対応する画素値ｐｉｘｅｌ_ｉは式１０

【数10】

（Δｔ_ｉイベントｉに対応する処理済み時差情報、Ａは定数である）によって計算されるＡ９又は１０に記載の方法。

【0082】

Ａ１３、第１期間内のすべてのイベントに対応する画素値及び座標位置に応じて画像フレームを生成するステップは、所定のサイズの画像を構成し、上記画像を初期化して初期画像フレームとするステップと、初期画像フレームでは第１期間内の各イベントに対応する画素座標を検索するステップと、上記第１期間内の各イベントの画素値を初期画像フレーム中の上記イベントに対応する画素座標の画素値として、画像フレームを得るステップと、を含むＡ６－１２のいずれか一項に記載の方法。

【0083】

また、当業者であれば、ここに記載されるいくつかの実施例はほかの特徴ではなく、ほかの実施例に含まれるいくつかの特徴を含むにもかかわらず、異なる実施例の特徴の組み合わせは本発明の範囲内に属し且つ異なる実施例を形成すると理解できる。例えば、以下の特許請求の範囲では、主張する実施例のいずれかを任意な組み合わせ方式で使用してもよい。

【0084】

また、実施例のうちのいくつかは、ここでは、コンピュータシステムのプロセッサ又は機能を実行するほかの装置に実施可能な方法又は方法の要素の組み合わせとして説明されている。従って、方法又は方法の要素を実施するための必要な命令を有するプロセッサは上記方法又は方法の要素を実施するための装置を形成する。また、装置の実施例のここで記載される要素は、上記発明の目的を実施するための要素によって実行される機能を実施するための装置の例である。

【0085】

ここで使用されるように、特に断らない限り、「第１」、「第２」、「第３」等の序数詞を使用して普通の対象を説明する場合、単に係る類似対象の異なる例を示し、このように説明される対象が必ず時間、空間、ランキング又はほかの任意の方式での特定の順序を有することを暗示しない。

【0086】

限られた実施例を参照しながら本発明を説明したが、以上の説明からわかるように、当業者は、ここで説明される本発明の範囲を逸脱せずに、ほかの実施例を想到し得ると理解できる。また、なお、本明細書に使用される言語は主に可読性及び教示の目的のために選択され、本発明の主題を説明又は限定するためのものではない。従って、添付特許請求の範囲の範囲及び精神を逸脱せずに、当業者には種々の修正や変更が明らかになる。本発明の範囲について、本発明は制限的ではなく例示的に開示されており、本発明の範囲は添付特許請求の範囲によって定められる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】