▶ ハーマン インターナショナル インダストリーズ インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-25
(54)【発明の名称】ＤＶＳフレームを生成する方法及びシステム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240315BHJP
H04N 23/54 20230101ALI20240315BHJP
H04N 5/262 20060101ALI20240315BHJP
【ＦＩ】
H04N23/60 500
H04N23/54
H04N5/262 050
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023551708
(86)(22)【出願日】2021-03-29
(85)【翻訳文提出日】2023-08-24
(86)【国際出願番号】 CN2021083544
(87)【国際公開番号】W WO2022204865
(87)【国際公開日】2022-10-06
(81)【指定国・地域】
(71)【出願人】
【識別番号】592051453
【氏名又は名称】ハーマン インターナショナル インダストリーズ インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ジョウ， レンガオ
【テーマコード（参考）】
5C023
5C122
【Ｆターム（参考）】
5C023AA37
5C023BA04
5C023BA11
5C122DA03
5C122FC06
5C122FH11
5C122GA21
5C122HB01
(57)【要約】
ＤＶＳ用のフレームを生成する方法及びシステムが開示される。本方法は、ＤＶＳからオブジェクトのＤＶＳピクセルを受信することと、タイムスパンをタイムスパン値に初期化することと、タイムスパン内にキャプチャされたＤＶＳピクセルを統合することによってフレームを生成することと、オブジェクトの移動速度を評価することと、評価された移動速度が第１の閾値よりも低い場合、複数の連続フレームを１つの結合フレームに結合することと、を含む。本システムは、オブジェクトのＤＶＳピクセルをキャプチャするように構成されたＤＶＳと、ＤＶＳからＤＶＳピクセルを受信して方法を実行するように構成されたプロセッサとを含む。
【選択図】図５
【選択図】図５
【特許請求の範囲】
【請求項1】
ＤＶＳ用のフレームを生成する方法であって、ＤＶＳからオブジェクトのＤＶＳピクセルを受信することと、
タイムスパンをタイムスパン値に初期化することと、
タイムスパン内でキャプチャされたＤＶＳピクセルを統合することによってフレームを生成することと、
前記オブジェクトの移動速度を評価することと、
前記評価された移動速度が第１の閾値よりも低い場合、複数の連続フレームを１つの結合フレームに結合することと、
を含む前記方法。
【請求項2】
複数の連続フレームを１つの結合フレームに結合することが、前記複数の連続フレームのそれぞれを１つずつ前記結合フレームに結合することを含む、請求項１に記載のフレームを生成する方法。
【請求項3】
フレームを１つの結合フレームに結合することが、前記フレーム内の前記ＤＶＳピクセルのそれぞれを前記結合フレームに結合することを含む、請求項２に記載のフレームを生成する方法。
【請求項4】
前記結合フレーム内の各ピクセルを背景色に初期化することをさらに含む、請求項３に記載のフレームを生成する方法。
【請求項5】
ＤＶＳピクセルを前記結合フレームに結合することが、前記ＤＶＳピクセルのグレーレベルを前記結合フレーム内の対応するピクセルにコピーすることを含む、請求項４に記載のフレームを生成する方法。
【請求項6】
前記移動速度が、前記フレームの少なくとも一部におけるＤＶＳピクセルの数または密度に基づいて評価される、先行請求項のいずれかに記載のフレームを生成する方法。
【請求項7】
前記移動速度が、前記フレーム内の高密度ＤＶＳピクセル領域の割合に基づいて評価される、先行請求項のいずれかに記載のフレームを生成する方法。
【請求項8】
複数の連続フレームを１つの結合フレームに結合することが、前記結合フレームの少なくとも一部におけるピクセルの数または密度が閾値以上になるまで、連続フレームを１つの結合フレームに結合することを含む、先行請求項のいずれかに記載のフレームを生成する方法。
【請求項9】
前記評価された移動速度が前記第１の閾値よりも高い第２の閾値よりも高い場合、前記タイムスパンをより小さいタイムスパン値に再設定することをさらに含む、先行請求項のいずれかに記載のフレームを生成する方法。
【請求項10】
複数の連続フレームを１つのフレームに結合することが、前記複数の連続フレームの少なくとも１つのフレームの一部を前記結合フレームに結合することを含む、先行請求項のいずれかに記載のフレームを生成する方法。
【請求項11】
ＤＶＳフレームを生成するシステムであって、オブジェクトのＤＶＳピクセルをキャプチャするように構成されたＤＶＳと、
先行請求項のいずれかに記載の方法を実行するように構成されたプロセッサと、
を含む、前記システム。
【請求項12】
請求項１～１０のいずれかに記載の方法を実行するためにプロセッサによって実行され得るコンピュータプログラムを記憶する、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、ＤＶＳフレームを生成するための方法及びシステムに関する。
【背景技術】
【0002】
ＤＶＳ（ダイナミックビジョンセンサ）と呼ばれる新しい最先端のセンサがある。ＤＶＳは光強度の変化のみをキャプチャし、非同期ＤＶＳピクセル（ピクセルイベント）を作成する。従来のカメラと比較して、ＤＶＳには低遅延、モーションぼやけなし、高ダイナミックレンジ、低消費電力という利点がある。
【0003】
連続したピクセルを含む完全な画像またはフレームを作成する従来のカメラとは異なり、ＤＶＳは空間的及び時間的に離散的かつ不連続であり得る非同期ＤＶＳピクセルのみを作成するため、ＤＶＳによってキャプチャされたＤＶＳピクセル（ピクセルイベント）をタイムスパン内で統合して画像またはフレームを作成する必要がある。ＤＶＳは光強度の変化のみをキャプチャするため、検出対象のオブジェクトが実質的に静止している場合やシーン内でゆっくりと移動する場合など、ＤＶＳによって撮影されているシーンが安定している場合には、特定のタイムスパンで満足のいく画像またはフレームに十分なピクセルをキャプチャできない場合がある。一方、検出対象のオブジェクトがシーン内で高速に移動する場合など、シーンが急速に変化する場合、ＤＶＳは特定のタイムスパンで過剰な冗長ＤＶＳピクセルをキャプチャする可能性がある。
【0004】
したがって、検出されるオブジェクトの移動速度に関係なく、ＤＶＳ用に満足のいく画像またはフレームを取得できる方法またはシステムが必要である。
【0005】
さらに、シーンの一部が急速に変化し、シーンの別の部分がゆっくりと変化する状況が存在する可能性がある。例えば、一部の検出対象オブジェクトがシーン内で速く移動する一方、他の一部の検出対象オブジェクトがシーン内でゆっくりと移動するか、静止している場合などである。この状況では、ＤＶＳは、高速に移動するオブジェクトからは過剰な冗長ＤＶＳピクセルをキャプチャしたが、ゆっくりと移動するオブジェクトや静止しているオブジェクトからは十分なＤＶＳピクセルをキャプチャしていない可能性がある。したがって、高速のオブジェクトと低速のオブジェクトの両方に対して満足のいく画像またはフレームを取得するのにいくつかの困難が生じる可能性がある。
【0006】
したがって、シーン内のオブジェクトの移動速度が異なる場合に、検出されるすべてのオブジェクトについて満足のいくＤＶＳ画像またはフレームを取得できる方法またはシステムが必要である。
【発明の概要】
【課題を解決するための手段】
【0007】
本開示の態様の１つによれば、ＤＶＳ用のフレームを生成する方法が提供される。この方法は、ＤＶＳからオブジェクトのＤＶＳピクセルを受信することと、タイムスパンをタイムスパン値に初期化することと、タイムスパン内にキャプチャされたＤＶＳピクセルを統合することによってフレームを生成することと、オブジェクトの移動速度を評価することと、評価された移動速度が第１の閾値よりも低い場合、複数の連続フレームを１つの結合フレームに結合することと、を含む。
【0008】
本開示の態様の１つによれば、ＤＶＳフレームを生成するためのシステムが提供される。このシステムは、オブジェクトのＤＶＳピクセルをキャプチャするように構成されたＤＶＳと、ＤＶＳからＤＶＳピクセルを受信し、上述の方法を実行するように構成されたプロセッサとを含む。
【0009】
本開示の態様の１つによれば、コンピュータプログラムを記憶するコンピュータ可読記憶媒体が提供され、コンピュータプログラムはプロセッサによって実行されて、上述の方法を実行することができる。
【0010】
本開示の他のシステム、方法、特徴、及び利点は、以下の図及び詳細な説明の検討時に、当業者には明らかであり、または明らかになる。そのようなさらなるシステム、方法、特徴、及び利点はすべて、この説明に含まれ、本開示の範囲内にあり、以下の特許請求の範囲によって保護されることが意図されている。
【0011】
本開示は、以下の図面及び説明を参照することにより、よりよく理解することができる。図面中の構成要素は、必ずしも原寸に比例しているとは限らず、それよりも本開示の原理を示すことに重点が置かれている。さらに、図では、同様の参照数字が、異なる図全体にわたって対応する部分を示す。
【図面の簡単な説明】
【0012】
【図1】Ａ～Ｃは、異なる移動速度を有するオブジェクトの画像またはフレームの概略図を示し、Ａのオブジェクト１００は矢印で示される方向に中程度の速度で移動し、Ｂのオブジェクト１００は矢印で示される方向に非常に速く移動し、Ｃのオブジェクト１００は非常にゆっくりと移動するか、実質的に静止している。
【図2】Ａは、飲料水のシナリオにおける人物検出を示す画像またはフレームであり、人２００が水を飲むためにカップを上げているときの画像またはフレームを示す。Ｂは、飲料水のシナリオにおける人物検出を示す画像またはフレームであり、人２００が水を飲むためにカップを上げているときの画像またはフレームを示す。
【図3】Ａは、飲料水のシナリオにおける人物検出を示す画像またはフレームであり、人２００が水を飲み終えてカップをテーブルに置いているときの画像またはフレームを示す。Ｂは、飲料水のシナリオにおける人物検出を示す画像またはフレームであり、人２００が水を飲み終えてカップをテーブルに置いているときの画像またはフレームを示す。
【図4】連続ＤＶＳフレームを１つの結合フレームに結合する例を示す。
【図5】本開示のいくつかの実施形態による方法のフローチャートを示す。
【図8】本開示のいくつかの他の実施形態による方法のフローチャートを示す。
【発明を実施するための形態】
【0013】
以下に本開示の好ましい実施形態について、添付図面を参照しながらより詳細に説明する。
【0014】
本明細書で使用する場合、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈が別途明らかに示さない限り、複数形も含むことを意図する。「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」及び／または「含んでいる（ｉｎｃｌｕｄｉｎｇ）」という用語は、本明細書で使用されているときには、述べられている特徴、完全体、ステップ、操作、要素、及び／または構成要素の存在を明示するが、１つ以上のその他の特徴、完全体、ステップ、操作、要素、構成要素、及び／またはそれらの群の存在を排除または追加しない。本明細書で使用される場合、用語「及び／または」及び記号「／」は、関連する列挙された項目の１つ以上のあらゆる組み合わせを含むことを意味する。加えて、本明細書では、第１、第２などの用語を様々な要素、コンポーネント、ステップまたは計算を説明するために使用することができるが、これらの要素、コンポーネント、ステップまたは計算はこれらの用語によって限定されるべきではなく、むしろこれらの用語は、ある要素、コンポーネント、ステップ、または計算を互いから区別するためにのみ使用される。例えば、第１のコンポーネントを第２のコンポーネントと呼ぶこともでき、同様に、第１の計算を第２の計算と呼ぶこともでき、同様に、第１のステップを第２のステップと呼ぶこともできる。これらはすべて、本開示の範囲から逸脱することなく行われる。
【0015】
本明細書で使用される「ＤＶＳピクセル」、「ピクセルイベント」、「イベント」という用語は、交換可能に使用でき、ＤＶＳによってキャプチャされる光強度変化を指すことができる。ＤＶＳピクセルまたはピクセルイベントまたはイベントは、通常［ｘ，ｙ，ｔ，ｐ］の形式をとるピクセルまたはイベントデータによって表され得る。ここで、ｘとｙはｘ座標とｙ座標を表し、ｔはこのイベントのタイムスタンプを表し、ｐは光強度の変化が明るくなっているのか暗くなっているのかを意味する極性を表す。ＤＶＳの「画像」もしくは「フレーム」、または「ＤＶＳフレーム」という用語は、タイムスパン内でＤＶＳによって取得されたすべてのピクセルが統合される画像またはフレームを指す。「結合フレーム」という用語は、いくつかの連続ＤＶＳフレームを結合することによって生成されるフレームを指す。
【0016】
係属中の請求項における使用法を明確にするために、かつ本明細書によって公衆に通知するために、「＜Ａ＞、＜Ｂ＞、・・・及び＜Ｎ＞のうちの少なくとも１つ」または「＜Ａ＞、＜Ｂ＞、．．．＜Ｎ＞のうちの少なくとも１つ、またはそれらの組み合わせ」という表現は、本出願人によって明示的に反対の主張がされない限り、本出願前または本出願後の他の何らかの暗示的な定義に取って代わり、最も広い意味で本出願人によって定義されて、Ａ、Ｂ、・・・及びＮ、つまり、任意の１つの要素を単独で含むか、またはリストされていない追加の要素を組み合わせて含むこともできる他の要素の１つ以上と組み合わせた、要素Ａ、Ｂ、・・・またはＮのうちの１つ以上の任意の組み合わせを含むグループから選択される１つ以上の要素を意味するものとする。
【0017】
ＤＶＳは光の強度変化のみをキャプチャし、次いで非同期ＤＶＳピクセル（ピクセルイベント）を作成する。表示したり、オブジェクト認識や動きの検出などのさらなる処理を行ったりするための画像またはフレームを生成するには、タイムスパン内にＤＶＳによってキャプチャされたＤＶＳピクセル（ピクセルイベント）を１つの画像またはフレームに統合する必要がある。
【0018】
ＤＶＳは光の強度変化のみをキャプチャするため、タイムスパン内でＤＶＳによってキャプチャされるＤＶＳピクセルの数は、シーン内で認識または検出されるオブジェクトの移動速度など、シーンの変化速度に依存する可能性がある。例えば、シーン内で認識または検出されるオブジェクトが実質的に静止しているか、または非常にゆっくりと移動する場合、ＤＶＳは特定のタイムスパン内でそのオブジェクトの非常に少数のＤＶＳピクセル（ピクセルイベント）しかキャプチャしない可能性があり、これは、満足のいく画像またはフレームを生成するには不十分である可能性がある。一方、認識または検出されるオブジェクトがシーン内で高速に移動する場合、ＤＶＳはタイムスパン内でオブジェクトの移動経路内の冗長なピクセルをキャプチャしすぎて、ぼやけた画像またはフレームを生成する可能性がある。
【0019】
図１Ａ～１Ｃは、異なる移動速度を有するオブジェクト１００の画像またはフレームの概略図を示し、図１Ａのオブジェクト１００は矢印で示される方向に中程度の速度で移動し、図１Ｂのオブジェクト１００は矢印で示される方向に非常に速く移動し、図１Ｃのオブジェクト１００は非常にゆっくりと移動するか、実質的に静止している。図１Ａでは、オブジェクト１００は中程度の速度で移動し、したがって、オブジェクト１００の動きに起因するタイムスパンにおける光強度変化の十分なイベントが存在し、したがって、ＤＶＳは、タイムスパン内でオブジェクト１００の十分なＤＶＳピクセルをキャプチャすることができる。一方、オブジェクト１００はタイムスパン中に短い距離Ｄ１しか移動しないため、タイムスパン内のすべてのＤＶＳピクセルを統合することによって生成される画像またはフレームは実質的に明瞭であり、オブジェクトの形状（円）を明瞭に示すことができる。
【0020】
図１Ｂでは、オブジェクト１００は高速で移動し、タイムスパン内にＤ２という比較的長い距離を移動する。オブジェクト１００は、タイムスパン内で比較的長い距離を移動するため、ＤＶＳは、タイムスパン内でオブジェクトの移動経路内の多くの冗長なピクセルをキャプチャする可能性があり、したがって、タイムスパン内ですべてのＤＶＳピクセルを統合することによって生成される画像またはフレームは、ぼやける可能性があり、オブジェクト１００の形状が明瞭に示されておらず、望ましくないか、または満足のいくものではない。
【0021】
図１Ｃでは、オブジェクト１００はゆっくりと移動するか、実質的に静止している。オブジェクト１００の動きが遅いため、あるタイムスパンにおいてオブジェクト１００の光強度変化のイベントは多くない。したがって、ＤＶＳは、タイムスパン内でオブジェクト１００の十分なＤＶＳピクセルをキャプチャできず、そのため、タイムスパン内のすべてのＤＶＳピクセルを統合することによって生成された画像またはフレームには、オブジェクトの形状（円）を明瞭に示すのに十分なＤＶＳピクセルがなく、図１Ｃの点線の円で示されている。
【0022】
したがって、図１Ａ～１Ｃによれば、満足のいく画像またはフレームを取得するには、ＤＶＳピクセルを統合するために使用されるタイムスパンが、オブジェクトの移動速度とマッチする必要がある。
【0023】
図２Ａ～２Ｂ、３Ａ～３Ｂは、飲料水のシナリオにおける人物検出を示す画像またはフレームであり、図２Ａ～２Ｂは、人２００が水を飲むためにカップを上げているときの画像またはフレームを示し、図３Ａ～３Ｂは、人２００が水を飲み終えてカップをテーブルに置いているときの画像またはフレームを示す。
【0024】
図２Ａ～２Ｂに示されている瞬間、すなわち、人２００が水を飲むためにカップ２１２を持ち上げているとき、カップ２１２と、腕２０２及び頭２０４などの人２００の一部は、比較的速い速度で移動する。図２Ａに示される画像またはフレームは、第１のタイムスパンでＤＶＳによってキャプチャされたＤＶＳピクセルを統合することによって生成されるが、図２Ｂに示される画像またはフレームは、第２のタイムスパンでＤＶＳによってキャプチャされるＤＶＳピクセルを統合することによって生成され、第１のタイムスパンは第２のタイムスパンよりも長い。カップ２１２、頭２０４、及び腕２０２は比較的速く移動し、第１のタイムスパンが比較的長いため、カップ２１２、頭２０４、及び腕２０２は第１のタイムスパンで比較的長い距離を移動する。したがって、ＤＶＳは、第１のタイムスパンにおいてカップ２１２、頭２０４、及び腕２０２の移動経路において多くの冗長なピクセルをキャプチャする可能性があり、したがって、第１のタイムスパンにおいてＤＶＳピクセルを統合することによって生成される画像またはフレームはぼやける可能性があり、望ましくない、または満足のいくものでない。加えて、カップ２１２、頭２０４、及び腕２０２のうち、カップ２１２が最も速く動く可能性があるため、図２Ａでは、カップが最もぼやけていて、最も認識しにくい。比較として、第１のタイムスパンよりも小さい第２のタイムスパンを使用して、ＤＶＳピクセルを図２Ｂの画像またはフレームに統合する。図２Ｂに示すように、カップ２１２、頭２０４、及び腕２０２は、図２Ａに示すものよりもはるかにぼやけておらず、より認識しやすい。したがって、図２Ａ～２Ｂに示される瞬間、すなわち、人２００が水を飲むためにカップ２１２を上げているとき、カップ２１２、頭２０４、及び腕２０２の移動速度が比較的速いため、及び画像または画像が比較的短いタイムスパンがより適切であり、比較的短い２番目のタイムスパンを使用して生成されたフレームは、はるかに認識しやすく満足のいくものになり得る。
【0025】
図３Ａ～３Ｂに示されている瞬間、すなわち、人２００が水を飲み終えてカップをテーブルに置いているとき、カップ２１２と人２００、例えばその腕２０２及びその頭２０４は、比較的は遅い速度で移動する。図３Ａに示す画像またはフレームは、図２Ａの第１のタイムスパンと同じタイムスパンを使用して生成され、図３Ｂに示す画像またはフレームは、図２Ｂの第２のタイムスパンと同じタイムスパンを使用して生成される。カップ２１２と人２００、例えばその腕２０２やその頭２０４は比較的遅い速度で動くが、第１のタイムスパンが比較的大きいため、光強度変化の十分なイベントが依然として存在する。一方、カップ２１２と人２００は、速度が比較的遅いため、第１のタイムスパンでは短い距離しか移動せず、したがって、第１のタイムスパンですべてのＤＶＳピクセルを統合することによって生成された画像またはフレームは、カップ２１２の形状と、その人２００を明瞭に示すことができる。比較すると、移動速度が比較的遅く、第２のタイムスパンが比較的短いため、光強度の変化のイベントはあまりない。したがって、図３Ｂでは、カップ１２２及び人２００の形状を明瞭に示すのに十分なＤＶＳピクセルがなく、これは望ましくない、または満足のいくものではない。
【0026】
したがって、図２Ａ～２Ｂ、３Ａ～３Ｂによれば、飲むプロセス全体を通して満足のいくフレームを得るために、カップと人が比較的遅い速度で移動する場合には比較的長いタイムスパンを使用することができるが、一方、カップと人が比較的早い速度で移動する場合には比較的短いタイムスパンを使用することができる。
【0027】
本開示の発明者は、図３Ｂに示すような短いタイムスパンの連続ＤＶＳフレーム内の安定したオブジェクトについては、人間の目にはピクセルが連続しているように見えるが、実際にはピクセルが不連続であることを発見した。短いタイムスパンで連続ＤＶＳフレーム内の安定したオブジェクトまたは遅いオブジェクトのピクセルを分析することにより、連続ＤＶＳフレームの中でも、連続フレームの１つに１つの特定の座標位置のＤＶＳピクセルがある場合、その隣接するフレームまたは複数のフレーム内の同じ座標位置に別のＤＶＳピクセルがある可能性は非常にわずかであることがわかった。つまり、連続ＤＶＳフレーム内のＤＶＳピクセルは通常、異なる座標位置にある。２つ以上の連続ＤＶＳフレームは非常に似ているように見え得るが、連続ＤＶＳフレームのそれぞれには主に、異なる座標位置にあるＤＶＳピクセルが含まれている。したがって、不十分な情報またはＤＶＳピクセルを有する連続ＤＶＳフレームを一緒に結合することが可能であり、その結果、連続ＤＶＳフレームに含まれるＤＶＳピクセルが互いに補完し、十分な情報またはＤＶＳピクセルを有する結合フレームを提供することができる。
【0028】
図４は、連続ＤＶＳフレームを１つの結合フレームに結合する例を示す。図４に示すフレーム４０２、４０４、４０６は連続ＤＶＳフレームであり、そのそれぞれは図３Ｂに示すフレームと同様である。本開示の発明者は、フレーム４０２、４０４、４０６は互いに非常によく似ているが、連続フレーム４０２、４０４、４０６の１つが１つの特定の座標位置にＤＶＳピクセルを有する場合、フレーム４０２、４０４、４０６のうちの他の２つの同じ座標位置に別のＤＶＳピクセルがある可能性は非常に小さいことを発見した。すなわち、フレーム４０２、４０４、４０６は互いに似ているように見えるが、フレーム４０２、４０４、４０６のうちの１つのＤＶＳピクセルの座標位置は、フレーム４０２、４０４、４０６の他の２つのものとは実質的にまたはほぼ完全に異なるものであり得、これは予想外で直観に反するかもしれない。したがって、フレーム４０２、４０４、４０６が１つの結合フレーム４００に結合されるとき、フレーム４０２、４０４、４０６のそれぞれのＤＶＳピクセルは互いに補完することができ、その結果、十分な情報またはＤＶＳピクセルを有する満足のいく結合フレームが得られる。
【0029】
本開示は、ＤＶＳ用のフレームを生成するための方法及びシステムを提供する。本開示の方法は、ＤＶＳからオブジェクトのＤＶＳピクセルを受信することと、タイムスパンを短いタイムスパン値に初期化することと、タイムスパン内にキャプチャされたＤＶＳピクセルを統合することによってフレームを生成することと、オブジェクトの移動速度を評価することと、評価された移動速度が第１の閾値よりも低い場合、複数の連続フレームを１つの結合フレームに結合することと、を含む。タイムスパンが小さい値に設定されているため、オブジェクトは短い距離を移動し、したがって、オブジェクトが比較的速い速度で移動する場合でも、フレームをぼかす可能性がある移動オブジェクトの余分なピクセルが多くならない。一方、本開示の方法では、オブジェクトの移動速度が遅い場合には、複数の連続フレームを１つのフレームに結合する。複数の連続フレームを１つの結合フレームに結合することにより、オブジェクトが非常にゆっくりと移動する場合や、実質的に静止している場合でも、オブジェクトの形状を明瞭に表示できる十分なＤＶＳピクセルが結合フレーム内に存在することになる。
【0030】
図５は、本開示のいくつかの実施形態による方法のフローチャートを示す。プロセスはＳ０１から開始され、Ｓ０２に進む。Ｓ０２では、比較的短いタイムスパンが設定される。比較的短いタイムスパンは、オブジェクトの移動速度が比較的大きい場合でも、冗長なＤＶＳピクセルによるフレームのぼやけを回避する目的で設定される。次に、プロセスはＳ０３に進み、タイムスパン内でＤＶＳによってキャプチャされたＤＶＳピクセルを統合することによってフレームが生成される。次に、プロセスはＳ０４に進み、オブジェクトの移動速度を評価する。評価されたオブジェクトの移動速度が十分に速い場合、プロセスはＳ０３に戻り、次のタイムスパン内でＤＶＳによってキャプチャされたＤＶＳピクセルを統合することによって次のフレームが生成される。評価された移動速度が十分に速くない場合、プロセスはＳ０５に進み、複数の連続フレームを１つの結合フレームに結合することができる。次に、プロセスはＳ０６に進み、結合フレームが所望の効果に達したか否かを評価する。結合フレームが所望の効果に達していない場合（いいえ）、プロセスはＳ０５に戻り、さらに連続フレームが結合フレームに結合される。結合フレームがすでに所望の効果に達している場合（はい）、プロセスはＳ０３に戻り、次のタイムスパン内でＤＶＳによってキャプチャされたＤＶＳピクセルを統合することによって次のフレームが生成される。
【0031】
Ｓ０２で設定される短いタイムスパンの特定の値は、特定のアプリケーションシナリオに依存する可能性があり、オブジェクトの移動速度がシナリオでは比較的速くても、冗長なＤＶＳピクセルによるフレームのぼやけを回避するためにタイムスパンが十分に小さい限り、任意の適切な値を有することができる。本開示のいくつかの実施形態では、Ｓ０２で設定される短いタイムスパンは、５００マイクロ秒以下、１ミリ秒以下、２ミリ秒以下、３ミリ秒以下、４ミリ秒以下であり得る。
【0032】
Ｓ０４におけるオブジェクトの移動速度の評価は、様々な方法で行うことができる。本開示のいくつかの実施形態では、オブジェクトの移動速度は、Ｓ０３で生成されたフレーム内のＤＶＳピクセルの数または密度に基づいて評価されてもよい。フレームの一部またはフレーム全体におけるＤＶＳピクセルの数または密度が所定の値を超える場合、オブジェクトの移動速度が速いと評価され得る。そうでない場合、オブジェクトの移動速度は安定している、または遅いと評価され得る。本開示の他のいくつかの実施形態では、オブジェクトの移動速度は、適切な速度センサによって検出または評価され得る。本開示の他のいくつかの実施形態では、オブジェクトの移動速度の評価または推定は、深層学習アルゴリズムまたはモデルを使用することによって実行され得る。深層学習アルゴリズムまたはモデルは当該技術分野で公知であるため、詳細な説明は省略する。
【0033】
本開示のいくつかの実施形態によれば、Ｓ０５において、２、３、４、または５つの連続フレームが１つの結合フレームに結合され得る。しかしながら、本開示はこれに限定されず、Ｓ０５において１つのフレームに結合される連続フレームの数は、任意の適切な数であってよい。他のいくつかの実施形態では、Ｓ０５で１つのフレームに結合される連続フレームの数は、Ｓ０４からの評価結果に依存し得る。例えば、Ｓ０４で評価された移動速度が非常に遅い場合、比較的多数の連続フレーム、例えば４つまたは５つ以上の連続フレームが、Ｓ０５で１つのフレームに結合され得る。そうでない場合、比較的少数の連続フレーム、例えば２つまたは３つの連続フレームがＳ０５において１つのフレームに結合されてもよい。
【0034】
Ｓ０６における結合フレームが所望の効果に達したか否かの評価は、様々な方法で行うことができる。本開示のいくつかの実施形態では、評価は、Ｓ０５で生成された結合フレーム内のＤＶＳピクセルの数または密度に基づいて実行され得る。結合フレームの一部または結合フレーム全体におけるＤＶＳピクセルの数または密度が所定の値を超える場合、所望の効果が達成されたと判断される。それ以外の場合は、所望の効果が得られていないと判断される。他のいくつかの実施形態では、高密度ＤＶＳピクセルを有する領域が識別され、フレーム内の高密度ＤＶＳピクセル領域の割合に基づいて評価が実行され得る。例えば、いくつかの実施形態では、フレームを複数の領域、例えば１００個の領域に分割することができ、所定の数を超えるＤＶＳピクセルを有する各領域を高密度ＤＶＳピクセル領域として識別し、高密度ＤＶＳピクセル領域の数に基づいて評価を行うことができる。例えば、結合フレーム内の高密度ＤＶＳピクセル領域の数が所定の数を超えた場合、所望の効果が達成されたと判断される。それ以外の場合は、所望の効果が得られていないと判断される。本開示の他のいくつかの実施形態では、結合フレームが所望の効果に達したかどうかに関する評価は、深層学習アルゴリズムまたはモデルを使用することによって実行され得る。深層学習アルゴリズムまたはモデルは、所望のオブジェクトを検出するために使用できる。検出が成功した場合、つまり深層学習アルゴリズムまたはモデルが所望のオブジェクトを認識できた場合、目的の効果が達成されたと判断される。それ以外の場合は、所望の効果が得られていないと判断される。
【0035】
図６は、本開示のいくつかの実施形態による、図５のステップＳ０５の例示的なプロセスを示す。プロセスはＳ５１で開始され、次にＳ５２に進み、出力フレーム内のすべてのピクセルを背景色（グレーレベル）に設定することによって出力フレームが初期化される。次に、プロセスはＳ５３に進み、複数の連続フレームのうちの１つを出力フレームに結合する。次に、プロセスはＳ５４に進み、複数の連続フレームがすべて出力フレームに結合されたか否かが判定される。複数の連続フレームがすべて出力フレームに結合されたと判定された場合には、プロセスはＳ５５に進み、出力フレームが結合フレームとして出力される。そうでない場合、プロセスはＳ５３に戻り、複数の連続フレームのうちの次の１つを出力フレームに結合する。
【0036】
図６には、図５のステップＳ０５のプロセスの一例が示されているが、本発明はこれに限定されない。例えば、他のいくつかの実施形態では、複数の連続フレームのうちの１つを出力フレームとして設定し、複数の連続フレームの他（複数可）のそれぞれを出力フレームに結合することができる。
【0037】
図７は、本開示のいくつかの実施形態による、図６のステップＳ５３の例示的なプロセスを示す。プロセスはＳ５３１で開始され、次にＳ５３２に進み、現在のフレームからの１つのＤＶＳピクセルが出力フレームに結合される。次に、プロセスはＳ５３３に進み、現在のフレーム内のすべてのＤＶＳピクセルが出力フレームに結合されたかどうかが判断される。現在のフレーム内のすべてのＤＶＳピクセルが出力フレームに結合されたと判断された場合、プロセスは終了する。そうでない場合、プロセスはＳ５３２に戻り、現在のフレーム内のＤＶＳピクセルのうちの次の１つが出力フレームに結合される。
【0038】
図６に示す実施形態では、Ｓ５３で、複数の連続フレームのフレーム全体が出力フレームに結合される。しかしながら、本開示は、それに限定されない。他のいくつかの実施形態では、フレームの一部だけが結合されて結合フレームに結合される。これは、検出対象の一部が高速で移動する一方で、検出対象の他の一部がゆっくり移動するか、シーン内で静止している場合がある状況で特に有益であり有利である。この状況下では、遅いオブジェクトを含むフレームの部分は結合フレームに結合され得るが、速いオブジェクトを含むフレームの部分は結合フレームに結合されない可能性がある。つまり、遅いオブジェクト（複数可）を含むフレーム部分については、より多くの連続フレームが結合フレームに結合され、一方、高速オブジェクト（複数可）を含むフレーム部分については、より少ない連続フレーム（複数可）が結合フレームに結合される。したがって、速いオブジェクトと遅いオブジェクトの両方に対して満足のいくフレームを実現することができる。
【0039】
本開示のいくつかの実施形態では、ＤＶＳフレームまたは結合フレームはグレースケールとして視覚化することができ、ＤＶＳフレームまたは結合フレーム内の各ピクセルは複数のグレーレベルを有する。通常、グレースケールの各ピクセルは２５６のグレーレベル、つまりグレーレベル０からグレーレベル２５５を有することができ、グレーレベル０は白、グレーレベル２５５は黒、グレーレベル１～２５４は白と黒の間のグレーレベルである。しかし、本発明はこれに限定されず、本発明のＤＶＳフレームまたは結合フレームは、任意の適切なグレーレベルを有するグレースケールであってもよい。本開示のいくつかの実施形態では、背景色は、グレーレベル０とグレーレベル２５５との間の中間グレーレベルである。本開示のいくつかの実施形態では、背景色はグレーレベル１２８であってもよい。本開示のいくつかの実施形態では、ＤＶＳピクセルの［ｘ、ｙ、ｔ、ｐ］のｐが、光強度が暗くなってきていることを示す場合、フレーム内の対応するＤＶＳピクセルのグレーレベルをグレーレベル２５５に設定することができ、ＤＶＳピクセルの［ｘ、ｙ、ｔ、ｐ］のｐが、光強度が明るくなってきていることを示す場合、フレーム内の対応するＤＶＳピクセルのグレーレベルは、グレーレベル０に設定され得る。このような実施形態では、ＤＶＳフレームまたは結合フレーム内の任意のピクセルは、３つの可能なグレーレベル、すなわち、グレーレベル０、グレーレベル１２８、及びグレーレベル２５５のうちの１つであり得る。本開示の他のいくつかの実施形態では、３つの可能なグレーレベルが互いに容易に区別できる限り、３つの可能なグレーレベルは、グレーレベル０、グレーレベル１２８、及びグレーレベル２５５以外のグレーレベルであってもよい。
【0040】
本開示のいくつかの実施形態では、図７に示すステップＳ５３２は、現在のＤＶＳピクセルのグレーレベルを出力フレーム（結合フレーム）内の対応するピクセルにコピーすること、すなわち、出力フレーム（結合フレーム）内のピクセルのグレーレベルを現在のフレーム内の対応するＤＶＳピクセルのグレーレベルと置き換えることを含む。このような実施形態では、結合フレーム内のＤＶＳピクセルのグレーレベルは、連続フレーム内のソースフレームの連続位置とは無関係である。本開示の他のいくつかの実施形態では、結合フレーム内のＤＶＳピクセルのグレーレベルは、連続ＤＶＳフレーム内のソースフレームの連続的な位置に依存し得る。連続ＤＶＳフレーム内でソースフレームが後になるほど、結合フレーム内の結果のＤＶＳピクセルのグレーレベルは背景色（グレーレベル）から遠くなる。例えば、連続ＤＶＳフレームが３つのフレーム、つまりフレーム１、フレーム２、及びフレーム３を含む場合、ソースＤＶＳピクセルがフレーム３のものであるなら、結果のＤＶＳピクセルは背景色から最も遠いグレーレベルになり、ソースＤＶＳピクセルがフレーム１のものである場合、結果のＤＶＳピクセルは背景色に最も近いグレーレベルになる。
【0041】
図８は、本開示のいくつかの他の実施形態による方法のフローチャートを示す。図８に示される方法は、ステップＳ０４’及びＳ０７を除いて、図５に示される方法と同様である。Ｓ０４’では、オブジェクトの移動速度を評価する。評価されたオブジェクトの移動速度が速すぎる場合には、そうでない場合、プロセスはＳ０７に進み、タイムスパンを短縮し、例えばタイムスパンを現在の値の１／２に設定する。次に、プロセスはＳ０３に戻り、短縮されたタイムスパン内でＤＶＳによってキャプチャされたＤＶＳピクセルを統合することによって次のフレームが生成されるか、または短縮されたタイムスパン内にＤＶＳによってキャプチャされたＤＶＳピクセルを統合することによって現在のフレームが再生成される。評価された移動速度が遅い場合、プロセスはＳ０５に進み、複数の連続フレームを１つの結合フレームに結合することができる。評価された移動速度が通常または中程度の値である場合、プロセスはＳ０３に戻り、タイムスパン内でＤＶＳによってキャプチャされたＤＶＳピクセルを統合することによって次のフレームが生成される。図８に示す方法の他のステップは、図５に示すステップと同様であるため、詳細な説明は省略する。
【0042】
本開示のいくつかの実施形態によれば、本開示は以下のように実装することができる。
【0043】
項目１：ＤＶＳ用のフレームを生成する方法であって、
ＤＶＳからオブジェクトのＤＶＳピクセルを受信することと、
タイムスパンをタイムスパン値に初期化することと、
タイムスパン内でキャプチャされたＤＶＳピクセルを統合することによってフレームを生成することと、
前記オブジェクトの移動速度を評価することと、
前記評価された移動速度が第１の閾値よりも低い場合、複数の連続フレームを１つの結合フレームに結合することと、
を含む前記方法。
ＤＶＳからオブジェクトのＤＶＳピクセルを受信することと、
タイムスパンをタイムスパン値に初期化することと、
タイムスパン内でキャプチャされたＤＶＳピクセルを統合することによってフレームを生成することと、
前記オブジェクトの移動速度を評価することと、
前記評価された移動速度が第１の閾値よりも低い場合、複数の連続フレームを１つの結合フレームに結合することと、
を含む前記方法。
【0044】
項目２：複数の連続フレームを１つの結合フレームに結合することが、前記複数の連続フレームのそれぞれを１つずつ前記結合フレームに結合することを含む、項目１に記載のフレームを生成する方法。
【0045】
項目３：フレームを１つの結合フレームに結合することが、前記フレーム内の前記ＤＶＳピクセルのそれぞれを前記結合フレームに結合することを含む、項目１～２のいずれかに記載のフレームを生成する方法。
【0046】
項目４：前記結合フレーム内の各ピクセルを背景色に初期化することをさらに含む、項目１～３のいずれかに記載のフレームを生成する方法。
【0047】
項目５：ＤＶＳピクセルを前記結合フレームに結合することが、前記ＤＶＳピクセルのグレーレベルを前記結合フレーム内の対応するピクセルにコピーすることを含む、項目１～４のいずれかに記載のフレームを生成する方法。
【0048】
項目６：前記移動速度が、前記フレームの少なくとも一部におけるＤＶＳピクセルの数または密度に基づいて評価される、項目１～５のいずれかに記載のフレームを生成する方法。
【0049】
項目７：前記移動速度が、前記フレーム内の高密度ＤＶＳピクセル領域の割合に基づいて評価される、項目１～６のいずれかに記載のフレームを生成する方法。
【0050】
項目８：複数の連続フレームを１つの結合フレームに結合することが、前記結合フレームの少なくとも一部におけるピクセルの数または密度が閾値以上になるまで、連続フレームを１つの結合フレームに結合することを含む、項目１～７のいずれかに記載のフレームを生成する方法。
【0051】
項目９：前記評価された移動速度が前記第１の閾値よりも高い第２の閾値よりも高い場合、前記タイムスパンをより小さいタイムスパン値に再設定することをさらに含む、項目１～８のいずれかに記載のフレームを生成する方法。
【0052】
項目１０：複数の連続フレームを１つのフレームに結合することが、前記複数の連続フレームの少なくとも１つのフレームの一部を前記結合フレームに結合することを含む、項目１～９のいずれかに記載のフレームを生成する方法。
【0053】
項目１１：ＤＶＳフレームを生成するシステムであって、
オブジェクトのＤＶＳピクセルをキャプチャするように構成されたＤＶＳと、
項目１～１０のいずれかに記載の方法を実行するように構成されたプロセッサと、
を含む、前記システム。
オブジェクトのＤＶＳピクセルをキャプチャするように構成されたＤＶＳと、
項目１～１０のいずれかに記載の方法を実行するように構成されたプロセッサと、
を含む、前記システム。
【0054】
項目１２：項目１～１０のいずれかに記載の方法を実行するためにプロセッサによって実行され得るコンピュータプログラムを記憶する、コンピュータ可読記憶媒体。
【0055】
本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または本明細書において全般に、「回路」、「モジュール」もしくは「システム」と称することができるソフトウェア及びハードウェア態様を結合した実施形態の形をとることができる。
【0056】
本開示は、システム、方法、及び／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（複数可）を含むことができる。
【0057】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持及び記憶できる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、またはそれらの任意の適切な組み合わせであってもよい。コンピュータ可読記憶媒体のより多くの具体例は、網羅的ではないが、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルのコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、パンチカードもしくは命令が溝に記憶された隆起構造などの機械的符号化デバイス、及び前述の任意の好適な組み合わせを含む。本明細書で使用されるコンピュータ可読記憶媒体は、それ自体、電波または他の自由に伝播する電磁波、導波路または他の伝送媒体を伝播する電磁波（例えば、光ファイバーケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号などの一時的な信号であると解釈されるべきではない。
【0058】
これらのコンピュータ可読プログラム命令は、汎用コンピュータのプロセッサ、専用コンピュータ、または機械を製造するための他のプログラム可能データ処理装置に提供され得、これにより、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行する命令は、ブロックまたは複数のブロックのフローチャート及び／またはブロック図に指定される機能／行為を実施するための手段を作成する。また、これらのコンピュータ可読プログラム命令は、コンピュータ、プログラム可能データ処理装置、及び／または他のデバイスに特定の方法で機能するように命令できるコンピュータ可読記憶媒体に記憶されてもよく、これにより、命令を記憶しているコンピュータ可読記憶媒体は、フローチャート及び／またはブロック図のブロックまたは複数のブロックに指定される機能／行為の態様を実施する命令を含んだ、製造品を含む。
【0059】
図のフローチャート及びブロック図は、本開示の様々な実施形態に従ったシステム、方法、装置、及びコンピュータプログラム製品の可能である実施態様のアーキテクチャ、機能、及び動作を示す。この点で、フローチャートまたはブロック図の各ブロックは、規定された論理関数（複数可）を実装するための１つ以上の実行可能命令を含むモジュール、セグメント、または命令の一部を表し得る。いくつかの代替実施態様では、ブロックに記載されている機能が、図に記載されている順序とは異なる場合がある。例えば、連続して示される２つのブロックは、実際に、実質的に同時に実行され得る、または、ブロックは、時々、含まれる機能に応じて、逆の順序で実行され得る。また、ブロック図及び／またはフローチャート図の各ブロック、ならびにブロック図及び／またはフローチャート図のブロックの組み合わせは、指定された機能もしくは行為を実行する専用のハードウェアベースのシステムによって実装でき、または専用のハードウェア及びコンピュータ命令の組み合わせによって実行できることに留意されたい。
【0060】
システム及び方法は、本開示の詳細を理解するために一般的な用語で説明されている。いくつかの場合では、本開示の態様を分かりにくくすることを避けるために、周知の構造、材料、及び／または動作については、特に図示したり、詳細に説明したりしていない。他の場合には、本開示の完全な理解を提供するために、具体的な詳細が記載されている。関連分野の当業者は、本開示が、その趣旨または本質的な特徴から逸脱することなく、例えば特定のシステム、装置、状況、材料、またはコンポーネントに適応するために、他の特定の形態で具体化され得ることを認識するであろう。したがって、本明細書の開示及び説明は、例示を目的とするものであり、本開示の範囲を限定するものではない。よって、本開示は、添付の特許請求の範囲とそれらの均等物とを考慮した場合を除いて、制限されるべきではない。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】