(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-05
(45)【発行日】2022-07-13
(54)【発明の名称】速度測定装置およびその速度測定装置を用いる速度測定方法
(51)【国際特許分類】
G01P 3/36 20060101AFI20220706BHJP
【FI】
G01P3/36 C
【外国語出願】
(21)【出願番号】P 2020107997
(22)【出願日】2020-06-23
【審査請求日】2020-09-11
(32)【優先日】2020-05-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520228603
【氏名又は名称】芯鼎科技股▲ふん▼有限公司
(74)【代理人】
【識別番号】110001896
【氏名又は名称】特許業務法人朝日奈特許事務所
(72)【発明者】
【氏名】陳 建安
【審査官】岡田 卓弥
(56)【参考文献】
【文献】米国特許出願公開第2014/0168424(US,A1)
【文献】特開2013-102311(JP,A)
【文献】特開2013-3110(JP,A)
【文献】特開2005-214914(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01P 3/00- 3/80
G01B11/00-11/30
(57)【特許請求の範囲】
【請求項1】
物体の3次元速度を測定するための速度測定装置であって、
第1の時点において、面に沿った前記物体の第1の画像フレームを検出し、
第2の時点において、前記面に沿った前記物体の第2の画像フレームを検出する
ように構成される、イベントセンサと、
前記第1の時点において、前記面に対して略垂直である深さ方向に沿った前記物体の第1の深さを検出し、
前記第2の時点において、前記深さ方向に沿った前記物体の第2の深さを検出する
ように構成される、測距センサと、
前記第1の画像フレームおよび前記第2の画像フレームに応じて、前記面に沿った前記物体の第1の運動ベクトルおよび第2の運動ベクトルを取得し、
前記第1の深さおよび前記第2の深さに応じて、深さ方向に沿った前記物体の第3次元速度を取得し、
前記第1の深さまたは前記第2の深さに応じて、前記第1の運動ベクトルの第1次元速度、および前記第2の運動ベクトルの第2次元速度を取得する
ように構成される、制御装置と
を備え
、
前記制御装置はさらに、
第1のイベント時点において、第1のイベント深さを取得し、
第2のイベント時点において、第2のイベント深さを取得し、
前記第1のイベント深さと前記第2のイベント深さとのイベント深さの差、および前記第1のイベント時点と前記第2のイベント時点とのイベント時間差に応じて、前記深さ方向における前記第3次元速度を取得する
ように構成され、
前記イベント時間差は、前記第1の時点と前記第2の時点との時間差よりも小さい、
速度測定装置。
【請求項2】
前記第1の運動ベクトルは、前記第2の運動ベクトルに対して略直角である、請求項1記載の速度測定装置。
【請求項3】
前記第1の画像フレームは、複数の第1のイベント特徴部を含み、前記第2の画像フレームは、複数の第2のイベント特徴部を含み、
前記制御装置はさらに、
前記複数の第1のイベント特徴部の第1の幾何学中心を取得し、
前記複数の第2のイベント特徴部の第2の幾何学中心を取得し、
前記第1の幾何学中心および前記第2の幾何学中心に応じて、前記面に沿った前記物体の前記第1の運動ベクトルおよび前記第2の運動ベクトルを取得する
ように構成される、請求項1記載の速度測定装置。
【請求項4】
前記制御装置はさらに、
前記第1の幾何学中心および前記第2の幾何学中心に応じて、前記深さ方向に沿った前記物体の前記第3次元速度を取得する
ように構成される、請求項3記載の速度測定装置。
【請求項5】
前記第2の画像フレームは、複数のイベント特徴部を含み、
前記制御装置はさらに、
各イベント特徴部の前記第1次元速度および前記第2次元速度を取得し、
各イベント特徴部の前記第3次元速度を取得し、
前記複数のイベント特徴部の前記第1次元速度を平均化し、
前記複数のイベント特徴部の前記第2次元速度を平均化し、
前記複数のイベント特徴部の前記第3次元速度を平均化する
ように構成される、請求項1記載の速度測定装置。
【請求項6】
前記測距センサは、ToFセンサ、ステレオ画像センサ、DNNセンサ、またはライダ装置である、請求項1記載の速度測定装置。
【請求項7】
物体の3次元速度を測定するための速度測定装置であって、
第1の時点において、面に沿った前記物体の第1の画像フレームを検出し、
第2の時点において、前記面に沿った前記物体の第2の画像フレームを検出する
ように構成される、第1のイベントセンサと、
前記第1の時点において、前記面に沿った前記物体の第3の画像フレームを検出し、
前記第2の時点において、前記面に沿った前記物体の第4の画像フレームを検出する
ように構成される、第2のイベントセンサと、
前記第1の画像フレームおよび前記第2の画像フレームに応じて、前記面に沿った前記物体の第1の運動ベクトルおよび第2の運動ベクトルを取得し、
ステレオ法を用いて、前記第1の画像フレーム、前記第2の画像フレーム、前記第3の画像フレーム、および前記第4の画像フレームに応じて、深さ方向に沿った前記物体の第3次元速度を取得し、
前記第1の画像フレーム、前記第2の画像フレーム、前記第3の画像フレーム、および前記第4の画像フレームに応じて、前記第1の運動ベクトルの第1次元速度、および前記第2の運動ベクトルの第2次元速度を取得する
ように構成される、制御装置と
を備える、速度測定装置。
【請求項8】
前記第1の運動ベクトルは、前記第2の運動ベクトルに対して略直角である、請求項7記載の速度測定装置。
【請求項9】
前記第1の画像フレームは、複数の第1のイベント特徴部を含み、前記第2の画像フレームは、複数の第2のイベント特徴部を含み、
前記制御装置はさらに、
前記複数の第1のイベント特徴部の第1の幾何学中心を取得し、
前記複数の第2のイベント特徴部の第2の幾何学中心を取得し、
前記第1の幾何
学中心および前記第2の幾何学中心に応じて、前記面に沿った前記物体の前記第1の運動ベクトルおよび前記第2の運動ベクトルを取得する
ように構成される、請求項7記載の速度測定装置。
【請求項10】
前記制御装置はさらに、
前記第1の幾何学中心および前記第2の幾何学中心に応じて、前記深さ方向に沿った前記物体の前記第3次元速度を取得する
ように構成される、請求項
9記載の速度測定装置。
【請求項11】
前記第2の画像フレームは、複数の第2のイベント特徴部を含み、
前記制御装置はさらに、
各イベント特徴部の前記第1次元速度および前記第2次元速度を取得し、
各イベント特徴部の前記第3次元速度を取得し、
複数の前記イベント特徴部の前記第1次元速度を平均化し、
複数の前記イベント特徴部の前記第2次元速度を平均化し、
複数の前記イベント特徴部の前記第3次元速度を平均化する
ように構成される、請求項7記載の速度測定装置。
【請求項12】
物体の3次元速度を測定するための速度測定装置であって、
第1の時点において、面に沿った前記物体の第1の画像フレームを検出し、
第2の時点において、前記面に沿った前記物体の第2の画像フレームを検出する
ように構成される、第1のイベントセンサと、
前記第1の時点において、前記面に沿った前記物体の第3の画像フレームを検出し、
前記第2の時点において、前記面に沿った前記物体の第4の画像フレームを検出する
ように構成される、第2のイベントセンサと、
前記第1の画像フレームおよび第3の画像フレームに応じて、深さ方向に沿ったイベント特徴部の第1の第3次元座標を取得し、
前記第1の画像フレームまたは前記第2の画像フレームに応じて、面に沿った前記イベント特徴部の第1の第1次元座標および第1の第2次元座標を取得し、
前記第2の画像フレームおよび第4の画像フレームに応じて、前記深さ方向に沿った前記イベント特徴部の第2の第3次元座標を取得し、
前記第3の画像フレームまたは前記第4の画像フレームに応じて、前記面に沿った前記イベント特徴部の第2の第1次元座標および第2の第2次元座標を取得し、
前記第1の第1次元座標、前記第1の第2次元座標、前記第1の第3次元座標、前記第2の第1次元座標、前記第2の第2次元座標、および前記第2の第3次元座標に応じて、前記イベント特徴部の前記3次元速度を取得する
ように構成される、制御装置と
を備える、速度測定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、測定装置およびその測定装置を用いる測定方法に関し、より具体的には、速度測定装置およびその速度測定装置を用いる速度測定方法に関する。
【背景技術】
【0002】
物体の速度を測定するための、従来の測定装置が多数存在する。一般的な従来の測定方法によると、従来の測定装置は、ドップラーレーダおよびレーザ流速計を含む。しかし、ドップラーレーダは、一次元速度のみを測定し、レーザ流速計は、測定時において、単一の物体を標的とするように制限され、レーザを放射するために高出力を必要とする。
【0003】
特許文献1には、センサの読み取りに基づいて計算結果を生成することによって、縁部、角部など、CV特徴部の変化の検出に基づいて、イベントを発動させるための特定の技術が提供されている。センサ素子のセンサの読み取りの変化に基づいてイベントを検出すると、CV特徴部を検出するための他の技術も提供されている。特定の態様では、イベント検出ロジックおよび特徴計算CV画像操作(feature calculation CV vision operations)は、センサの回路内において、または計算装置のソフトウェア/ファームウェアにおいて、個別に、または組み合わされて行われ得る。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許出願公開第2016/0094787号明細書
【発明の概要】
【0005】
本開示の第1の態様によると、速度測定装置が提供される。速度測定装置は、物体の3次元速度を測定するためのものであり、イベントセンサ、測距センサ、および制御装置を含む。イベントセンサは、第1の時点において、面に沿った物体の第1の画像フレームを検出し、第2の時点において、面に沿った物体の第2の画像フレームを検出するように構成される。測距センサは、第1の時点において、面に対して略垂直である深さ方向に沿った物体の第1の深さを検出し、第2の時点において、深さ方向に沿った物体の第2の深さを検出するように構成される。制御装置は、第1の画像フレームおよび第2の画像フレームに応じて、面に沿った物体の第1の運動ベクトルおよび第2の運動ベクトルを取得し、第1の深さおよび第2の深さに応じて、深さ方向に沿った物体の第3次元速度を取得し、第1の深さまたは第2の深さに応じて、第1の運動ベクトルの第1次元速度、および第2の運動ベクトルの第2次元速度を取得するように構成される。
【0006】
本開示の第2の態様によると、速度測定装置が提供される。速度測定装置は、物体の3次元速度を測定するためのものであり、第1のイベントセンサ、第2のイベントセンサ、および制御装置を含む。第1のイベントセンサは、第1の時点において、面に沿った物体の第1の画像フレームを検出し、第2の時点において、面に沿った物体の第2の画像フレームを検出するように構成される。第2のイベントセンサは、第1の時点において、面に沿った物体の第3の画像フレームを検出し、第2の時点において、面に沿った物体の第4の画像フレームを検出するように構成される。制御装置は、第1の画像フレームおよび第2の画像フレームに応じて、面に沿った物体の第1の運動ベクトルおよび第2の運動ベクトルを取得し、ステレオ法を用いて、第1の画像フレーム、第2の画像フレーム、第3の画像フレーム、および第4の画像フレームに応じて、深さ方向に沿った物体の第3次元速度を取得し、第1の画像フレーム、第2の画像フレーム、第3の画像フレーム、および第4の画像フレームに応じて、第1の運動ベクトルの第1次元速度、および第2の運動ベクトルの第2次元速度を取得するように構成される。
【0007】
本開示の第3の態様によると、速度測定装置が提供される。速度測定装置は、第1のイベントセンサ、第2のイベントセンサ、および制御装置を含む。第1のイベントセンサは、第1の時点において、面に沿った物体の第1の画像フレームを検出し、第2の時点において、面に沿った物体の第2の画像フレームを検出するように構成される。第2のイベントセンサは、第1の時点において、面に沿った物体の第3の画像フレームを検出し、第2の時点において、面に沿った物体の第4の画像フレームを検出するように構成される。制御装置は、第1の画像フレームおよび第3の画像フレームに応じて、深さ方向に沿ったイベント特徴部の第1の第3次元座標を取得し、第1の画像フレームまたは第2の画像フレームに応じて、面に沿ったイベント特徴部の第1の第1次元座標および第1の第2次元座標を取得し、第2の画像フレームおよび第4の画像フレームに応じて、深さ方向に沿ったイベント特徴部の第2の第3次元座標を取得し、第3の画像フレームまたは第4の画像フレームに応じて、面に沿ったイベント特徴部の第2の第1次元座標および第2の第2次元座標を取得し、第1の第1次元座標、第1の第2次元座標、第1の第3次元座標、第2の第1次元座標、第2の第2次元座標、および第2の第3次元座標に応じて、イベント特徴部の3次元速度を取得するように構成される。
【0008】
本開示の上記の態様および他の態様は、以下の、(1つまたは複数の)非限定的な実施形態の詳細な説明に関して、より良く理解される。以下の説明は、添付の図面を参照して行われる。
【図面の簡単な説明】
【0009】
【
図1A】一実施形態による速度測定装置の機能ブロックの模式図を示す。
【
図1B】物体のイベント特徴部の運動を検出する、
図1Aの速度測定装置の模式図を示す。
【
図1C】
図1Aの速度測定装置により検出される、時間軸での複数の画像フレームの模式図を示す。
【
図1D】
図1Aの、異なるイベントセンサのサンプリング時間、および測距センサのサンプリング時間の模式図を示す。
【
図2A】速度測定装置により検出される、第1の画像フレーム中の複数の第1のイベント特徴部の模式図を示す。
【
図2B】速度測定装置により検出される第2の画像フレーム中の複数の第2のイベント特徴部の模式図を示す。
【
図2C】
図2Bの第2のイベント特徴部の複数の第3次元速度の模式図を示す。
【
図3A】別の実施形態による速度測定装置の機能ブロックの模式図を示す。
【
図3B】
図3Aの速度測定装置により検出される、時間軸での複数の画像フレームの模式図を示す。
【発明を実施するための形態】
【0010】
以下に、本発明を説明するために、いくつかの実施形態を開示する。これらの実施形態は、説明することのみを目的とし、本発明の保護範囲を限定するためのものではない。なお、以下の実施形態においては、本発明の技術的特徴を強調するために、二次的な要素は省略されている。
【0011】
図1A~1Dを参照すると、
図1Aは、一実施形態による速度測定装置100の機能ブロックの模式図を示し、
図1Bは、物体のイベント特徴部の運動を検出する、
図1Aの速度測定装置100の模式図を示し、
図1Cは、
図1Aの速度測定装置100により検出される、時間軸での複数の画像フレームの模式図を示し、
図1Dは、
図1Aの、異なるイベントセンサ110のサンプリング時間、および測距センサ120のサンプリング時間の模式図を示す。
【0012】
速度測定装置100は、可動装置、たとえば、輸送機関(たとえば、車両、航空機、ドローン)などに配置され得て、速度測定装置100は、可動装置に対する相対速度を測定し得る。別の実施形態では、速度測定装置100は、固定装置に配置され得て、速度測定装置100は、固定装置に対する絶対速度を測定し得る。
【0013】
速度測定装置100は、イベントセンサ110、測距センサ120、および制御装置130を含む。イベントセンサ110、測距センサ120、および制御装置130のうちの少なくとも2つは、一体に統合され得るか、またはイベントセンサ110および測距センサ120のうちの少なくとも1つは、制御装置130に統合され得る。さらに、イベントセンサ110、測距センサ120、および制御装置130は、半導体プロセス技術を用いて形成される物理回路構造体(たとえば、チップ)となり得る。
【0014】
イベントセンサ110は、物体の運動を感知し得る。物体は、たとえば、車両、有機体、または任意の被検出物体である。イベントセンサ110は、たとえば、イメージセンサであり、複数の画素(図示せず)を含み、明るさの変化(「イベント」と呼ぶ)を感知する画素のみが、制御装置130に信号を出力し、明るさの変化を感知しない他の画素は、制御装置130に信号を出力しない。したがって、イベントセンサ110は、省電力の利点を有する。さらに、イベントセンサ110のサンプリング時間は、マイクロ秒レベルに属するため、イベントセンサ110は、高い時間分解能で物体の運動軌道を感知し得る。
【0015】
図1Bおよび1Cに図示されるように、イベントセンサ110は、複数の異なる時点において、面P(たとえば、x-y面)に沿って物体の複数の画像フレームを検出するように構成される。連続する2つの画像フレームを例とすると、イベントセンサ110は、(1)第1の時点t1において、面Pに沿った物体の第1の画像フレームF1を検出し得、(2)第2の時点t2において、面Pに沿った物体の第2の画像フレームF2を検出し得る。第1の画像フレームF1は、少なくとも1つのイベント特徴部、たとえば、イベント特徴部E
,t1を含み、第2の画像フレームF2は、少なくとも1つのイベント特徴部、たとえば、イベント特徴部E
,t2を含む。
【0016】
さらに、イベント特徴部E,t1およびイベント特徴部E,t2は、物体の同じ幾何学点ではなく、イベント特徴部E,t1およびイベント特徴部E,t2は、同じまたは類似の特徴部、またはローカルイベント分散部(local event distribution)を有する。
【0017】
ノイズを低減し、より堅牢なイベント情報を得るために、イベントセンサ110は、イベントセンサ110の各画素におけるイベント特徴部の数を短時間(マイクロ秒レベル)蓄積して、(1つの)画像フレームを生成する。
【0018】
制御装置130は、第1の画像フレームF1および第2の画像フレームF2に応じて、面Pに沿った物体の第1の運動ベクトルMxおよび第2の運動ベクトルMyを取得するように構成される。たとえば、制御装置130は、第1の時点t1から第2の時点t2までのイベント特徴部の運動に応じて、面Pにおいて、x軸に沿った第1の運動ベクトルMxおよびy軸に沿った第2の運動ベクトルMyを取得し得る。一実施形態では、第1の運動ベクトルMxは、第2の運動ベクトルMyに対して略直角である。
【0019】
測距センサ120は、ToF(タイムオブフライト)技術、ステレオ画像技術、機械学習(たとえば、ディープラーニングネットワーク、DNN)などを用いて、深さ方向(たとえば、z軸)に沿った速度測定装置100と物体との間の距離を感知し得る。別の実施形態では、測距センサ120は、たとえば、ToFセンサ(またはカメラ)、ステレオ画像センサ(またはカメラ)、DNNセンサ(またはカメラ)またはライダ装置である。
【0020】
図1Bに示されるように、測距センサ120は、(1)第1の時点t1’において、面Pに対して略垂直である深さ方向(たとえば、物体のz軸)に沿った第1の深さD1を検出し、(2)第2の時点t2’において、深さ方向に沿った物体の第2の深さD2を検出するように構成される。測距センサ120のサンプリング周波数は、イベントセンサ110のサンプリング周波数とは異なる。たとえば、測距センサ120のサンプリング時間は、イベントセンサ110のサンプリング時間よりも短く、したがって、第1の時点t1’と第1の時点t1とは同じ時点ではなく、第2の時点t2’と第2の時点t2とは同じ時点ではなく、(
図1Dに図示される)第1の時点t1と第2の時点t2との時間差Δtは、第1の時点t1’と第2の時点t2’との時間差Δt’(
図1Dに図示される)よりも小さい。
【0021】
制御装置130は、(1)第1の画像フレームF1および第2の画像フレームF2に応じて、面に沿った物体の第1の運動ベクトルM
xおよび第2の運動ベクトルM
yを取得し、(2)第1の深さD1および第2の深さD2に応じて、深さ方向に沿った物体の第3次元速度V
zを取得し、(3)第1の深さD1または第2の深さD2に応じて、第1の運動ベクトルM
xの第1次元速度V
xおよび第2の運動ベクトルM
yの第2次元速度V
yを取得するように構成される。
図1Cに示されるように、第1の運動ベクトルM
xおよび第2の運動ベクトルM
yは、合成されて合成ベクトルM
,Eとなる。
【0022】
さらに、
図1Dに示すように、制御装置130は、(1)外挿法を用いて、測距センサ120により取得される深さに応じて、第1の時点t1において、第1の深さD1’を取得し得て、(2)外挿法を用いて、測距センサ120により取得される深さに応じて、第2の時点t2において、第2の深さD2’を取得し得て、(3)第1の深さD1’と第2の深さD2’との深さの差ΔD’および第1の時点t1と第2の時点t1との時間差Δtに応じて、深さ方向における第3次元速度V
z(つまり、V
z=ΔD’/Δtの値)を取得し得る。一実施形態では、(イベントセンサ110の)時間差Δtは、マイクロ秒より大きいか、または小さく、(測距センサ120の)時間差Δt’は、ミリ秒より大きいか、または小さい。速度測定装置100は、第1次元速度V
x、第2次元速度V
yおよび第3次元速度V
zを合成することにより、物体の3次元速度V
,Eを測定し得る。
【0023】
上記の実施形態において、画像フレームの数は、例として2つのフレームを用いて説明したが、本発明は、これに限定されない。別の実施形態では、画像フレームの数は、3つ以上であり得る。速度測定装置100は、複数の画像フレームに応じて、複数の時点において、物体の複数の3次元速度V,Eを取得し得る。
【0024】
上記の実施形態において、イベント特徴部の数は、1つを例として用いて説明したが、本発明は、これに限定されない。別の実施形態では、任意の画像フレーム中のイベント特徴部の数は、2つ以上であり得る。
【0025】
図2A~2Cを参照すると、
図2Aは、速度測定装置100により検出される、第1の画像フレームF1中の複数の第1のイベント特徴部E
1,t1~E
5,t1の模式図を示し、
図2Bは、速度測定装置100により検出される、第2の画像フレームF2中の複数の第2のイベント特徴部E
1,t2~E
5,t2の模式図を示し、
図2Cは、
図2Bの第2のイベント特徴部E
1,t1~E
5,t1の複数の第3次元速度V
1z,t2~V
5z,t2の模式図を示す。
【0026】
第1の画像フレームF1は、複数の第1のイベント特徴部E1,t1~E5,t1を含み、第2の画像フレームF2は、複数の第2のイベント特徴部E1,t2~E5,t2を含む。制御装置130は、(1)第1のイベント特徴部E1,t1~E5,t1の第1の幾何学中心G,t1を取得し、(2)第2のイベント特徴部E1,t2~E5,t2の第2の幾何学中心G,t2を取得し、(3)第1の幾何学中心G,t1および第2の幾何学中心G,t2に応じて、面に沿った物体の第1の運動ベクトルMxおよび第2の運動ベクトルMyを取得するようにさらに構成される。一実施形態では、第1の幾何学中心G,t1および第2の幾何学中心G,t2は、たとえば、重心である。
【0027】
さらに、制御装置130は、上で説明した実施形態のものと類似の計算方法を用いて、第2の幾何学中心G,t2の第1次元速度Vx、第2次元速度Vyおよび第3次元速度Vzを取得するように構成される。
【0028】
別の実施形態では、制御装置130は、(1)上で説明した実施形態のものと類似の計算方法を用いて、イベント特徴部E1,t2~E5,t2のそれぞれの第1次元速度Vxおよび第2次元速度Vyを取得し、(2)上で説明した実施形態のものと類似の計算法方法を用いて、イベント特徴部E1,t2~E5,t2のそれぞれの第3次元速度Vzを取得し、(3)イベント特徴部E1,t2~E5,t2の第1次元速度Vxを平均化し、(4)イベント特徴部E1,t2~E5,t2の第2次元速度Vyを平均化し、(5)イベント特徴部E1,t2~E5,t2の第3次元速度Vzを平均化するようにさらに構成される。
【0029】
さらに、先の実施形態において物体の数は、1つを例として説明したが、本発明は、これに限定されない。別の実施形態では、制御装置130は、各フレーム中のイベントに応じて、複数の物体のそれぞれの起動を認識/判定し得る。換言すると、速度測定装置100は、複数の物体の速度を同時に測定し得る。
【0030】
図3Aおよび3Bを参照すると、
図3Aは、別の実施形態の速度測定装置200の機能ブロックの模式図を示し、
図3Bは、
図3Aの速度測定装置200により検出される、時間軸での複数の画像フレームの模式図を示す。
【0031】
速度測定装置200は、可動装置、たとえば、輸送機関(たとえば、車両、航空機、ドローン)などに配置され得て、速度測定装置200は、可動装置に対する相対速度を測定し得る。別の実施形態では、速度測定装置200は、固定装置に配置され得て、速度測定装置200は、固定装置に対する絶対速度を測定し得る。
【0032】
速度測定装置200は、第1のイベントセンサ210、第2のイベントセンサ220および、制御装置230を含む。第1のイベントセンサ210、第2のイベントセンサ220、および制御装置230のうちの少なくとも2つは、一体に統合され得るか、または第1のイベントセンサ210および第2のイベントセンサ220のうちの少なくとも1つは、制御装置230に統合され得る。さらに、第1のイベントセンサ210、第2のイベントセンサ220、および制御装置230は、半導体プロセス技術を用いて形成される物理回路構造体(たとえば、チップ)となり得る。
【0033】
第1のイベントセンサ210および/または第2のイベントセンサ220は、イベントセンサ110と同じか、または類似の特徴を有し、類似点はここでは繰り返されない。さらに、第1のイベントセンサ210は、第2のイベントセンサ220と同じか、もしくは類似の構造を有するか、または第1のイベントセンサ210および第2のイベントセンサ220は、同じ種類/型の構成要素である。
【0034】
第1のイベントセンサ210は、複数の異なる時点において、面P(たとえば、x-y面)に沿って、物体の複数の画像フレームを検出するように構成される。画像フレームのうちの連続する2つを例として、第1のイベントセンサ210は、第1の時点t1において、面Pに沿った物体の第1の画像フレームF11、および第2の時点t2において、面Pに沿った物体の第2の画像フレームF12を検出し得る。第1の画像フレームF11は、少なくとも1つのイベント特徴部、たとえばイベント特徴部E,t1を含み、第2の画像フレームF12は、少なくとも1つのイベント特徴部、たとえばイベント特徴部E,t2を含む。
【0035】
第2のイベントセンサ220は、複数の異なる時点において、面Pに沿って物体の複数の画像フレームを検出するように構成される。画像フレームのうちの連続する2つを例として、第2のイベントセンサ220は、第1の時点t1において、面Pに沿った物体の第3の画像フレームF21、および第2の時点t2において、面Pに沿った物体の第4の画像フレームF22を検出し得る。第3の画像フレームF21は、少なくとも1つのイベント特徴部、たとえばイベント特徴部E,t1を含み、第4の画像フレームF22は、少なくとも1つのイベント特徴部、たとえばイベント特徴部E,t2を含む。
【0036】
制御装置230は、(1)第1の画像フレームF11および第2の画像フレームF12に応じてか、または第3の画像フレームF21および第4の画像フレームF22に応じて、面Pに沿った物体の第1の運動ベクトルMxおよび第2の運動ベクトルMyを取得し、(2)ステレオ法を用いて、第1の画像フレームF11、第2の画像フレームF12、第3の画像フレームF21および第4の画像フレームF22に応じて、深さ方向に沿った物体の第3次元速度Vzを取得し、(3)第1の画像フレームF11、第2の画像フレームF12、第3の画像フレームF21および第4の画像フレームF22に応じて、第1の運動ベクトルMxの第1次元速度Vx、および第2の運動ベクトルMyの第2次元速度Vyを取得するように構成される。
【0037】
たとえば、制御装置230は、(1)ステレオ法を用いて、第1の画像フレームF11および第3の画像フレームF21に応じて、物体の第1の深さD1(
図3Bには図示されず)を取得し、(2)ステレオ法を用いて、第2の画像フレームF12および第4の画像フレームF22に応じて、物体の第2の深さD2(
図3Bには図示されず)を取得し、(3)第1の深さD1と第2の深さD2との深さの差ΔD、および第1の時点t1と第2の時点t2との時間差Δtに応じて、深さ方向における第3次元速度V
z(つまり、V
z=ΔD/Δtの値)を取得し、(4)深さの差ΔDに応じて、第1の運動ベクトルM
xの第1次元速度V
xを取得し、(5)深さの差ΔDに応じて、第2の運動ベクトルM
yの第2次元速度V
yを取得するように構成される。一実施形態では、時間差Δtは、マイクロ秒であるか、またはマイクロ秒より小さい。さらに、第1のイベントセンサ210および第2のイベントセンサ220は、較正後に調整されることで、第1の画像フレームF11と第3の画像フレームF21は、同一平面上になり、第2の画像フレームF12と第4の画像フレームF22も、同一平面上になる。
【0038】
図3Bに示されるように、別の実施形態では、第1のイベントセンサ210は、(1)第1の時点t1において、面Pに沿った物体の第1の画像フレームF11を検出し、(2)第2の時点t2において、面Pに沿った物体の第2の画像フレームF12を検出するように構成される。第2のイベントセンサ220は、(1)第1の時点t1において、面Pに沿った物体の第3の画像フレームF21を検出し、(2)第2の時点t2において、面Pに沿った物体の第4の画像フレームF22を検出するように構成される。制御装置230は、(1)第1の画像フレームF11および第3の画像フレームF21に応じて、深さ方向に沿ったイベント特徴部の第1の第3次元座標z
1,t1を取得し、(2)第1の画像フレームF11または第2の画像フレームF12に応じて、面Pに沿ったイベント特徴部の第1の第1次元座標x
1,t1および第1の第2次元座標y
1,t1を取得し、(3)第2の画像フレームF12および第4の画像フレームF22に応じて、深さ方向に沿ったイベント特徴部の第2の第3次元座標z
2,t2を取得し、(4)第3の画像フレームF21または第4の画像フレームF22に応じて、面Pに沿ったイベント特徴部の第2の第1次元座標x
2,t2および第2の第2次元座標y
2,t2取得し、(5)第1の第1次元座標x
1,t1、第1の第2次元座標y
1,t1、第1の第3次元座標z
1,t1、第2の第1次元座標x
2,t2、第2の第2次元座標y
2,t1および第2の第3次元座標z
2,t1に応じて、イベント特徴部の3次元速度V
,Eを取得するように構成される。
【0039】
たとえば、制御装置230は、(1)Vx=(x2,t2-x1,t1)/Δtに応じて、第1次元速度Vxを取得し、(2)Vy=(y2,t2-y1,t1)/Δtに応じて、第2次元速度Vyを取得し、(3)Vz=(z2,t2-z1,t1)/Δtに応じて、第3次元速度Vzを取得し、(4)第1次元速度Vx、第2次元速度Vy、および第3次元速度Vzを合成することによって、物体の3次元速度V,Eを取得するように構成される。
【0040】
本開示を、例として、また、(1つまたは複数の)例示的な実施形態の点から説明したが、本開示は、これに限定されないことに理解される。むしろ、様々な修正例ならびに類似の配置および処理を含むように意図され、したがって、添付の請求の範囲は、そのようなすべての修正例ならびに類似の配置および処理を包含するように、最も広い解釈を与えられるべきである。