(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-10
(54)【発明の名称】動き推定のためのシステムおよび方法
(51)【国際特許分類】
G01S 13/86 20060101AFI20240403BHJP
【FI】
G01S13/86
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023562264
(86)(22)【出願日】2022-03-31
(85)【翻訳文提出日】2023-12-06
(86)【国際出願番号】 US2022022749
(87)【国際公開番号】W WO2022216511
(87)【国際公開日】2022-10-13
(32)【優先日】2021-04-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】523381996
【氏名又は名称】スルーウェーブ インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】エリナ ビー.リチャーズ
(72)【発明者】
【氏名】ダニエル アーニッツ
(72)【発明者】
【氏名】クレア エム.ワッツ
(72)【発明者】
【氏名】アンドレアス ペドロス-エンゲル
(72)【発明者】
【氏名】マシュー エス.レイノルズ
【テーマコード(参考)】
5J070
【Fターム(参考)】
5J070AB24
5J070AC01
5J070AC06
5J070AD08
5J070AK40
(57)【要約】
本出願は、mmWave撮像を使用するビデオベースの動き抽出システムを対象とする一例では、オブジェクト速度は、圧縮されたビデオから取得された少なくとも1つの動きベクトルからリアルタイムで抽出される。速度情報は、距離センサから取得された距離情報と組み合わされる。距離と速度の組み合わせは、各時間インスタンスでのオブジェクトの位置を計算するために使用される。速度プロファイルが生成され得る。次いで、速度プロファイルは、ミリ波アンテナアレイの前を通過するオブジェクトの画像を再構成するために使用され得る。
【特許請求の範囲】
【請求項1】
ミリ波画像を生成するためのシステムであって、
移動オブジェクトのビデオフレームをキャプチャするように動作するビデオカメラと、
前記ビデオカメラに近接し、ミリ波データフレームをキャプチャするように動作するミリ波アンテナアレイと、
前記ビデオフレームを使用して1つ以上の動きベクトルを計算するように構成された動きベクトルプロセッサであって、前記1つ以上の動きベクトルは、前記ビデオカメラと前記オブジェクトとの間の相対的な動きを表す、動きベクトルプロセッサと、
位置プロセッサ及び速度プロセッサのうちの少なくとも1つであって、前記位置プロセッサは、1つ以上の位置推定値を計算するように構成され、前記速度プロセッサは、前記1つ以上の動きベクトルを使用して、前記ミリ波アンテナアレイに対する前記オブジェクトの1つ以上の速度推定値を計算するように構成される、前記位置プロセッサ及び速度プロセッサのうちの少なくとも1つと、
前記ミリ波データフレーム、及び前記対応する位置及び速度推定値のうちの少なくとも1つを使用して、前記オブジェクトのミリ波画像を計算するように構成された画像再構成プロセッサと
を備えるシステム。
【請求項2】
前記ビデオカメラは、圧縮されたビデオデータセットを生成する、請求項1に記載のシステム。
【請求項3】
前記1つ以上の動きベクトルは、前記圧縮されたビデオデータセットから抽出される、請求項2に記載のシステム。
【請求項4】
前記圧縮されたビデオデータセットは、MPEGビデオデータセットを含む、請求項2に記載のシステム。
【請求項5】
前記ミリ波画像は、前記オブジェクトの3次元画像を含む、請求項1に記載のシステム。
【請求項6】
前記位置及び速度推定値は、前記ビデオフレーム間で補間される、請求項1に記載のシステム。
【請求項7】
前記オブジェクトは、コンベヤベルトまたはロボットのうちの1つを介して搬送される、請求項1に記載のシステム。
【請求項8】
前記オブジェクトが静止しており、前記ビデオカメラおよび前記ミリ波アンテナアレイが移動プラットフォームによって搬送される、請求項1に記載のシステム。
【請求項9】
前記移動プラットフォームは、移動ロボットを備える、請求項8に記載のシステム。
【請求項10】
前記ビデオカメラと前記オブジェクトとの間の前記相対的な動きは、一定でない速度を含む、請求項1に記載のシステム。
【請求項11】
移動オブジェクトのミリ波画像を生成する方法であって、前記方法は、
ミリ波アンテナアレイに近接するビデオカメラを使用して、前記移動オブジェクトの2つ以上のビデオフレームをキャプチャすることと、
前記ミリ波アンテナアレイを使用して2つ以上のミリ波データフレームをキャプチャすることと、
前記ビデオカメラと前記オブジェクトとの間の前記相対的な動きを表す1つまたは複数の動きベクトルを計算することと、
前記動きベクトルを使用して、前記ミリ波アンテナアレイに対する前記オブジェクトの1つ以上の位置推定値及び1つ以上の速度推定値のうちの少なくとも1つを計算することと、
前記ミリ波データフレームを使用して前記ミリ波画像を計算し、画像再構成アルゴリズムを使用して前記対応する位置推定値及び前記速度推定値のうちの少なくとも1つを計算することと
を含む方法。
【請求項12】
前記ビデオフレームは、圧縮されたビデオデータセットを含む、請求項11に記載の方法。
【請求項13】
前記1つ以上の動きベクトルは、前記圧縮されたビデオデータセットから抽出される、請求項12に記載の方法。
【請求項14】
前記圧縮されたビデオデータセットは、MPEGビデオデータセットを含む、請求項12に記載の方法。
【請求項15】
前記ミリ波画像は、前記オブジェクトの3次元画像を含む、請求項11に記載の方法。
【請求項16】
前記位置及び/または速度推定値は、前記ビデオフレーム間で補間される、請求項11に記載の方法。
【請求項17】
前記移動オブジェクトは、一定でない速度を有する、請求項11に記載の方法。
【請求項18】
ビデオ内のオブジェクトの動きを推定する方法であって、
ミリ波アンテナアレイの前を通過するオブジェクトの少なくとも1つの記録を受信することと、
前記オブジェクトに関連付けられた少なくとも1つの速度を計算することであって、前記速度は、少なくとも1つの動きベクトルに基づいて計算される、ことと、
距離センサから、前記オブジェクトに関連付けられた少なくとも1つの距離インジケータを受信することと、
前記少なくとも1つの速度及び前記少なくとも1つの距離インジケータを組み合わせることと、
前記少なくとも1つの速度及び前記少なくとも1つの距離インジケータの前記組み合わせに基づいて、前記オブジェクトの速度プロファイルを生成することと、
前記オブジェクトの前記速度プロファイルに基づいて、少なくとも1つの画像を構成することと
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、高スループットレンズレス3Dミリ波撮像のためにビデオから動きを推定するためのシステム及び方法に関する。
【背景技術】
【0002】
(関連出願の相互参照)
本出願は、2021年4月9日に出願された米国仮特許出願第63/173,318号の利益及び優先権を主張し、その開示は、その全体が参照により本明細書に組み込まれる。
【0003】
(概要)
疎配列を使用した移動オブジェクトのレンズレスミリ波(mmWave)撮像は、移動オブジェクトと撮像システムとの間の相対的な位置の知識に依存して、コヒーレントな画像再構成を可能にする。しかしながら、正確なオブジェクト位置情報は、例えば、コンベヤベルトまたはロボットなどの移動オブジェクトが撮像システムとは独立して制御される、または撮像されたオブジェクトが自律的に移動する商業用途ではほとんど利用できない。これは、多くの商用ミリ波撮像用途にとってハードルとなり得る。
【0004】
そのため、撮像システムとは独立して制御されるオブジェクトの動きのために正確なオブジェクト位置情報が利用できない場合に、オブジェクトのミリ波撮像の課題に対処できるシステムおよび方法に対するニーズが高まっている。
【0005】
いくつかの実施形態では、ミリ波画像を生成するためのシステムは、移動オブジェクトのビデオフレームをキャプチャするように動作するビデオカメラと、ビデオカメラに近接し、ミリ波データフレームをキャプチャするように動作するミリ波アンテナアレイと、動きベクトルプロセッサとを含むことができる。いくつかの実施形態では、動きベクトルプロセッサは、ビデオフレームを使用して1つ以上の動きベクトルを計算するように構成され得、1つ以上の動きベクトルは、ビデオカメラとオブジェクトとの間の相対的な動きを表す。システムは、位置プロセッサ及び速度プロセッサのうちの少なくとも1つを含むことができ、位置プロセッサは、1つ以上の位置推定値を計算するように構成され、速度プロセッサは、1つ以上の動きベクトルを使用して、ミリ波アンテナアレイに対するオブジェクトの1つ以上の速度推定値を計算するように構成される。システムはまた、ミリ波データフレーム及び対応する位置及び速度推定値のうちの少なくとも1つを使用してオブジェクトのミリ波画像を計算するように構成された画像再構成プロセッサを含むことができる。
【0006】
開示された技術のいくつかの態様では、ビデオカメラは、圧縮されたビデオデータセットを生成する。いくつかの態様では、1つ以上の動きベクトルは、圧縮されたビデオデータセットから抽出される。様々な態様では、圧縮されたビデオデータセットは、MPEGビデオデータセットを含む。いくつかの態様では、ミリ波画像は、オブジェクトの3次元画像を含む。技術のいくつかの態様では、位置及び速度推定値は、ビデオフレーム間で補間される。様々な態様では、オブジェクトは、コンベヤベルトまたはロボットのうちの1つを介して搬送される。いくつかの態様では、オブジェクトは静止しており、ビデオカメラ及びミリ波アンテナアレイは、移動プラットフォームによって搬送される。いくつかの態様では、移動プラットフォームは、移動ロボットを含む。いくつかの態様では、ビデオカメラとオブジェクトとの間の相対運動は、一定でない速度を含む。
【0007】
いくつかの実施形態では、移動オブジェクトのミリ波画像を生成するための方法は、ミリ波アンテナアレイに近接するビデオカメラを使用して移動オブジェクトの2つ以上のビデオフレームをキャプチャすることと、ミリ波アンテナアレイを使用して2つ以上のミリ波データフレームをキャプチャすることとを含むことができる。方法は、ビデオカメラとオブジェクトとの間の相対的な動きを表す1つ以上の動きベクトルを計算することと、動きベクトルを使用して、ミリ波アンテナアレイに対するオブジェクトの1つ以上の位置推定値及び1つ以上の速度推定値のうちの少なくとも1つを計算することとを含むことができる。方法はまた、ミリ波データフレームを使用してミリ波画像を計算し、画像再構成アルゴリズムを使用して位置推定値及び速度推定値のうちの対応する少なくとも1つを計算することを含むことができる。
【0008】
いくつかの実施形態では、ビデオ内のオブジェクトの動きを推定する方法は、ミリ波アンテナアレイの前を通過するオブジェクトの少なくとも1つの記録を受信することと、オブジェクトに関連付けられた少なくとも1つの速度を計算することであって、速度は、少なくとも1つの動きベクトルに基づいて計算されることとを含むことができる。方法は、距離センサから、オブジェクトに関連付けられた少なくとも1つの距離インジケータを受信することと、少なくとも1つの速度および少なくとも1つの距離インジケータを組み合わせることとを含むことができる。方法はまた、少なくとも1つの速度及び少なくとも1つの距離インジケータの組み合わせに基づいて、オブジェクトの速度プロファイルを生成することと、オブジェクトの速度プロファイルに基づいて少なくとも1つの画像を構成することとを含むことができる。
【0009】
本明細書に開示される態様は、これらおよび他の一般的な考慮事項に関してなされたものである。また、比較的特定の問題が議論され得るが、実施例は、本明細書で特定された特定の問題を解決することに限定されるべきではないことを理解されたい。
【図面の簡単な説明】
【0010】
【
図1】例示的なミリ波アンテナアレイ及びカメラ構成であり、各コンポーネントの視野と、アレイの前を通過するときの撮像されるオブジェクトの経路を示す図である。
【
図2】距離及び動きデータをミリ波画像再構成に組み込むための処理ステップを示す例示的なフローチャートである。
【
図3A】単一の測定中に2つの異なる時間で撮影されたフレームの視野にわたって測定された例示的な水平速度を示す図である。
【
図3B】単一の測定中に2つの異なる時間で撮影されたフレームの視野にわたって測定された例示的な水平速度を示す図である。
【
図4】推定される速度の関数として補正係数を示す例示的なグラフである。
【
図5A】グラウンドトゥルースデータと比較した推定速度プロファイルの例示的なグラフ、及び実際の動きと推定された動きとの間の不一致に起因する位置誤差を示す図である。
【
図5B】グラウンドトゥルースデータと比較した推定速度プロファイルの例示的なグラフ、及び実際の動きと推定された動きとの間の不一致に起因する位置誤差を示す図である。
【
図6A】
図5に示されるように、3つの異なる速度プロファイルについての動き補正の有無による例示的なシーンを示す図である。
【
図6B】
図5に示されるように、3つの異なる速度プロファイルについての動き補正の有無による例示的なシーンを示す図である。
【
図6C】
図5に示されるように、3つの異なる速度プロファイルについての動き補正の有無による例示的なシーンを示す図である。
【
図6D】
図5に示されるように、3つの異なる速度プロファイルについての動き補正の有無による例示的なシーンを示す図である。
【
図6E】
図5に示されるように、3つの異なる速度プロファイルについての動き補正の有無による例示的なシーンを示す図である。
【
図6F】
図5に示されるように、3つの異なる速度プロファイルについての動き補正の有無による例示的なシーンを示す図である。
【
図7A】100個のサンプル画像の検証データセットの動き推定の精度を示す例示的なグラフを示す図である。
【
図7B】100個のサンプル画像の検証データセットの動き推定の精度を示す例示的なグラフを示す図である。
【
図8】開示された技術のいくつかの実施形態が動作することができるデバイスの概要を示すブロック図である。
【
図9】開示された技術のいくつかの実施形態が動作することができる環境の概要を示すブロック図である。
【
図10】いくつかの実施態様において、開示された技術を採用するシステムで使用することができるコンポーネントを示すブロック図である。
【発明を実施するための形態】
【0011】
本開示の様々な態様は、本明細書の一部を形成し、特定の例示的な態様を示す添付の図面を参照して、以下により完全に説明される。しかしながら、本開示の異なる態様は、多くの異なる形態で実装されてもよく、本明細書に記載の態様に限定されるものとして解釈されるべきではない。むしろ、これらの態様は、本開示が徹底的かつ完全であり、当業者に態様の範囲を完全に伝えるように提供される。態様は、方法、システム、またはデバイスとして実施され得る。したがって、態様は、ハードウェア実装、完全なソフトウェア実装、またはソフトウェア及びハードウェア態様を組み合わせた実装の形態をとり得る。従って、以下の詳細な説明は、限定的な意味で解釈されるべきではない。
【0012】
アクティブなミリ波撮像のためのビデオベースの動き抽出アプローチが提示される。一例では、オブジェクト速度は、圧縮されたビデオから取得された動きベクトルからリアルタイムで抽出される。この情報は、距離センサからの読み出しと組み合わされて、各時点でのオブジェクトの位置を推測し得る。ビデオ由来の動きベクトルを活用することは、2D空間相関の計算の複雑さを、カメラフレーム上で動作する高度に最適化されたアルゴリズムへオフロードすることを可能にし得る。
【0013】
商用高スループット3Dミリ波撮像システムの画像品質は、ターゲットの速度が不明であり、時間によって変化するときに、このアプローチによって改善され得る。さらに、撮像されたオブジェクトの既知の平均動きプロファイルと比較して、画像品質も改善され得る。
【0014】
一例では、根平均平方根(RMS)位置誤差は、0.52mの移動長さにわたって2.5mmであり得る。これは、軌道に沿ってK-バンド(24GHz)で波長の1/8未満の誤差を達成することを含み、したがって、K-バンド及びより長い波長で改善された画像品質を達成するのに十分であるという利点を提供し得る。
【0015】
ミリ波(mmWave)として知られる電磁スペクトルの領域は、1から20mmの間の波長を含み、15から300GHzの周波数範囲に対応する。ミリ波で実行される撮像は、光学またはX線波長のいずれと比較しても利点を提供し得る。乾式壁、段ボール、および多くのプラスチックなど、光学波長で不透明な多くの材料は、ミリ波に対してほぼ透明であり、例えば壁の後ろ、または密封された包装または容器内など、そうでなければ隠れている領域を撮像する機会を提供する。さらに、X線とは対照的に、ミリ波は非電離電磁波であり、面倒で高価な遮蔽を必要とせずに人間にとって安全である。
【0016】
これらの特性が、ミリ波撮像を、多くの商用および工業用途にとって理想的な選択肢とする。レンズレス計算ミリ波撮像システムの以前の実装は、比較的低いフレームレート(例えば、0.25Hz)に制限されていたが、ミリ波撮像装置の設計における最近の進歩により、高スループット用途のための3Dミリ波撮像が可能になった。例えば、ミリ波撮像装置は、倉庫設定で使用して、梱包された商品の内部を調べてオブジェクトをカウントしたり、紛失または損傷したアイテムや液漏れなどの異常を検出したり、梱包内の空きスペースを推定して商業的に効率的な出荷を保証したりすることができる。
【0017】
倉庫または産業用途では、例えば、ミリ波が連続した移動オブジェクトを撮像するために使用されている場合、撮像システムに対する各オブジェクトの正確な位置情報は、高品質画像の生成に役立ち得る。そのような用途では、走査されるオブジェクトは、典型的には、その動きが撮像システムによって制御されず、その速度が一定でない場合があるコンベヤベルトまたはロボットによって搬送される。したがって、各mmWave走査の時間間隔にわたってオブジェクトの動きを測定することは有利であり得、したがって、適切な動き補正をmmWave画像再構成に適用して、mmWave画像が走査の期間を通して適切にフォーカスが合っていることを確実にすることができる。
【0018】
ビデオベースの動き抽出アプローチが、本明細書で説明される。ミリ波アンテナアレイの近くに位置するカメラは、オブジェクトがアレイの前を通過するときにシーン(または複数のシーン)を記録し得る。オブジェクト速度が、次いで、圧縮されたビデオから導出された動きベクトルからリアルタイムで抽出される。この情報は、距離センサからの読み出しと組み合わされて、撮像間隔にわたる各時点でのオブジェクトの正確な位置を推測する。高品質画像を生成するために画像再構成で使用される速度プロファイルの出力が生成され得る。
【0019】
(例示的な撮像システム)
図1は、例示的なミリ波アンテナアレイ及びカメラ構成であり、各コンポーネントの視野と、アレイの前を通過するときの撮像されるオブジェクトの経路を示す。3DmmWave撮像ハードウェアシステムの例は、
図3A及び
図3Bに関して以下に説明する動き推定システムと併せて使用し得る。この撮像システムは、32K-バンドの多入力多出力(MIMO)mmWaveサブアレイで構成され、それぞれ16個のサブアレイの2つの1-D垂直アレイに配置される。サブアレイの列は、コンベヤの側面に沿って配置され、0.3m/sの平均速度でアレイ全体の前に撮像されるオブジェクトを搬送する。2つの列が、コンベヤの片側に平行に160mmの間隔で互いに隣接して配置され、垂直方向の長さは1800mmに及ぶ。2つのカラムは、z方向でわずかに50mmオフセットされていることに留意されたい。ただし、両方の列は単一の論理アレイを形成する。光トリガセンサは、オブジェクトが通過するときに測定をトリガするために使用される。アレイに隣接して配置された光学カメラは、動き推定に使用されるビデオを記録する。撮像システムの図を
図1に示す。
【0020】
このセットアップは、商用パッケージ走査用途を密接にモデル化するように設計されており、撮像されるオブジェクトは、mmWaveセンサーアレイに平行な経路に沿ってコンベヤベルトまたはロボットを介して搬送される。この特定のセットアップでは、コンベヤベルトを使用して動きを供給するが、現代の倉庫では、自律ロボットを使用して場所間で商品を搬送し得る。自律ロボットは、割り当てられたタスクを完了するために、倉庫を通る最適な経路を計算し得る。また、トラフィックの流れを最適化し、製品の重量の違いに適応し、衝突を回避するためにその動きを調整し得る。結果として、いくつかのロボットは同じ速度で移動するが、他のロボットは異なる速度プロファイルを有し得、個々のロボットの速度は、撮像アレイを通過する際に変化し得る。この非一定速度は、コンベヤベルトの速度を変化させることによってモデル化され得、したがって、コンベヤベースの試験設定でロボットシステムをシミュレートすることを可能にする。
【0021】
(動き推定システム)
動きベクトルは、MPEGフォーマットビデオ圧縮の要素を備えることを含む、多くのタイプのビデオシステムで使用されている。動きベクトルは、1つのフレームから次のフレームへの画素のブロックの座標の変化を表す2次元ベクトルである。それらは、3次元シーンの2次元画像への投影から生じる見かけの動きである、画像フレームの光学的な流れに関連する。動きベクトルは、シーンのスパースな表現であり(したがって、光フローと比較して分析が速い)、圧縮されたMPEGデータから容易に直接抽出できるため、光フローを表すための便利な代用となり得る。これらの理由から、圧縮されたMPEGデータからの動きベクトルの抽出は、オブジェクト検出及び追跡における多くの応用を見出した。
【0022】
ビデオカメラは、
図1に示されるように、カメラの視野がアンテナアレイの視野と重なるように、アンテナアレイに隣接して配置される。ビデオは、1440×1080画素の解像度で、毎秒59フレーム(fps)でMPEG4フォーマットで記録され得る。レンズ補正が適用され得、その後、ビデオは20fpsに再符号化される。ビデオフレームレートの選択は、動きベクトルにおける量子化ノイズと歪み効果との間のトレードオフを伴う。動きベクトルは、複数の画素にわたる位置のシフトを表すため、量子化ノイズが存在する。より低いフレームレートは、フレーム間のより大きなシフトを生み出し得、これは、この量子化の影響を低減する。しかしながら、より大きなシフトは、遠近感、不均一な光の状態、及びレンズ歪みに起因する変化の影響も増加させ得る。したがって、低いフレームレートは、フレーム間の相関を低減し得、より多くのノイズをもたらし得る。
【0023】
図2は、距離及び動きデータをミリ波画像再構成に組み込むための処理ステップを示す例示的なフローチャートである。ビデオ画像処理システムは、レンズ補正を実行し、動きベクトルを抽出するための容易に利用可能なツールとして、ffmpeg及びmpegflowを使用し得、あるいは、動きベクトルに対してレンズ補正を直接実行することが可能である。フレームは、mmWave走査の間隔にわたって記録され、シーンの速度に対応する動きベクトルは、フレームごとに抽出される。ブレークビームセンサを使用してシーンの動きを検出するのと比較して、このアプローチは、撮像走査の全期間にわたって連続的な観察を可能にし得、これは、時間変化する動きの補正を可能にし得るが、ブレークビームセンサまたは同様の位置検出器は、センサ間隔にわたる平均速度を生成することしかできない。
図2は、ビデオデータが動きプロファイルに変換され、画像再構成に組み込まれる処理を示す。
【0024】
図3A及び
図3Bは、単一の測定中に2つの異なる時間で取得されたフレームの視野にわたって測定された例示的な水平速度を示す。mpegflowを使用してカメラフレームから動きベクトルが抽出された後、オブジェクトの全体的な速度は、一貫した動きを有する領域にわたって分位平均をとり、訓練データセットから導出された補正係数を適用することによって推定される。
【0025】
全体の平均よりもむしろ分位を使用することは、例えば、オブジェクトがカメラの視野に出入りするときに、フレーム間の低い相関による避けられないノイズの影響を低減する。相関が低い場合、異なる方向にランダムに良好な相関を有する画素ブロックが存在し得るため、動きベクトルは任意の方向にジャンプすることができる。分位平均のみを考慮することは、相関性の低い動きベクトルを排除するのに役立つ。加えて、中央値の代わりに高い分位数を使用することによって、より遠くにある点が遠近法により、より遅い速度で移動するように見えるため、アルゴリズムは、さらに後方に配置される視野の一部ではなく、オブジェクトの前面を使用する。
【0026】
図3は、カメラキャプチャからの2つのサンプルフレームを、視野全体にわたる推定された水平速度のオーバーレイとともに示す。この試験では、オブジェクトの速度は0.4m/sのピークまで増加し、その後、測定の時間間隔にわたって減少した。2つのフレーム間の推定速度の違いは明らかである。さらに、歪みの存在を観察することが可能であり、推定速度は、対象の領域にわたって一定ではない。全体の速度を推定するために動きベクトルの高い分位数のみを使用することは、これらの歪みによって引き起こされるであろう誤差を最小限に抑える。
【0027】
図4は、推定速度の関数として補正係数を示す例示的なグラフである。
図1に示すように、カメラは、コンベヤに対して平行な軸に沿ってレーダアレイからオフセットされ、カメラの視野は、レーダの視野と同一ではない。結果として、カメラフレームの分析によって得られた動きプロファイルは、レーダデータに直接適用され得ず、異なる視野を補償するために、動きプロファイルへの補正が適用され得る。
【0028】
補正係数を推定するために、50個のランダムに生成された速度プロファイル及び既知のグラウンドトゥルースを有する訓練セットを使用してもよい。
図4は、カメラデータから推定される速度の関数として、結果として得られる補正係数を示す。この補正係数はまた、動きベクトルによって測定されるフレームごとの画素から、mmWave撮像システムによって観察されたmm/s単位の速度に変換される。
【0029】
(画像再構成)
mmWaveデータから画像を再構成する目的で、観察されているシーンは、それぞれが複素反射係数ρnを有するN個の点散乱体の集合としてモデル化される。mmWaveアンテナアレイは、送信及び受信アンテナのM個のペアで構成される。各位置m∈{1,...,M}及び各周波数l∈{1,...,L}について、受信信号ym,lは、シーンを含む点散乱体からの反射の合計である。
【0030】
【0031】
式中、cm,l,nは経路損失及びアンテナ応答を表し、ωlは角周波数であり、τm,nはアンテナ位置mと第n番目の点散乱体との間の往復時間遅延であり、νm,lは測定ノイズであり、
【0032】
【0033】
である。
【0034】
周波数lに対する単一のアンテナペアmの測定ベクトルは、ymとして記述することができる。ベクトルy=[y1
T・・・yM
T]の要素としてym、ρ=[ρn・・・ρN]Tとしてρnを表し、ここで、(.)Tは転置演算子を表し、ベクトルは、
【0035】
【0036】
として記述することができ、
式中、Hは、点散乱体と各測定値との間の依存度を与える測定行列であり、νは測定ノイズである。
【0037】
画像再構成処理の目的は、シーンを構成する点の複素反射係数を推定することである。これは、(2)で定義された逆問題を解くことによって達成される。これは、正確には解決されないかもしれないが、Hの一致フィルタを使用して逆を近似することによって、推定値
【0038】
【0039】
を得ることができ、
【0040】
【0041】
式中、(.)*は複素共役転置演算子を示す。
【0042】
各往復時間遅延τの値は、アンテナアレイの相対的な位置及びシーンを形成する点の正確な知識に依存する。時間t0=0におけるオブジェクトの既知の位置y0を与えられると、測定がトリガされるとき、後続のフレームにおけるアレイに対するオブジェクトの位置は、速度プロファイルを統合することによって見つけることができる。時間tnで取得された、速度測定値の離散的なセットについて、対応する時間におけるオブジェクトの位置は、
【0043】
【0044】
によって与えられる。
【0045】
MmWave撮像アレイは、速度プロファイルを形成する、時間tnとは異なる、時間tmにおけるデータフレームをキャプチャする。速度測定値v(tm)のセットは、各mmWaveフレームにおける速度への最良の近似を得るために、v(tn)を見つるために補間される。mmWaveフレームmにおけるオブジェクトの位置は、したがって、
【0046】
【0047】
によって与えられる。
【0048】
mmWaveデータフレームの数は、一般に、同じ時間スパンにわたる推定速度プロファイル内の点の数よりもはるかに大きく、したがって、(tm-1,tm)の中間点までの速度プロファイルを補間することに利点がない場合がある。
【0049】
(結果と考察)
図5A及び
図5Bは、グラウンドトゥルースデータ(破線)と比較した推定速度プロファイル(実線)の例示的なグラフ、ならびに実際の動きと推定された動きとの間の不一致に起因する位置誤差を示す。線502は、ほぼ一定の速度を有するプロファイルを表し、線504は、速度が増加し、その後減少するシナリオを示し、線506は、ゆっくりと増加している速度プロファイルを表す。撮像されたオブジェクトの速度プロファイルについて3つのシナリオを検討することを例示する:0.3m/sに近いほぼ一定の速度を有するオブジェクト、最初に増加し、その後に減少する不均一な速度を有するオブジェクト、および測定の時間間隔にわたって速度が増加するオブジェクト。これらのシナリオのいくつかは、コンベヤ速度の変化のために、または撮像されたオブジェクトがその経路および速度がその周囲に合わせて調整される自律ロボットによって運ばれているために、現実世界の用途で発生し得る。ロボットは、衝突を避けるために一時的にスピードアップしたり、負荷が高いためにゆっくりと加速したりすることがある。同様に、コンベヤベルト速度は、ベルト上のオブジェクトの重量、駆動モータからの利用可能なパワー、または特定のコンベヤを制御する上流または下流制御システム(プログラマブル論理制御、または倉庫実行システムなど)からの制御信号に応答して決まり得る。
図5aは、データから推定されるこれらの3つの速度プロファイルを、参照のためのグラウンドトゥルースプロファイルとともに示す。
図5bは、推定速度とグラウンドトゥルースとの間の不一致に起因して生じる位置誤差を示す。
【0050】
図6A~6Fは、
図5に示されるように、3つの異なる速度プロファイルについての動き補正の有無による例示的なシーンを示す。
図6A~
図6Fは、動き補正の有無による画像再構成を表示する。動き補正なしの画像再構成は、約0.3m/sの推定一定速度を使用する。動き補正ありの画像再構成は、
図5aに示される速度プロファイルを適用する。推定された動きが考慮されると、場合によっては画像品質が向上する。オブジェクトの真の動きと平均速度との差が大きいほど、画像品質の向上はより劇的になる。
【0051】
画像フォーカスの1つの尺度は、画素に対する総パワー、(6)
【0052】
【0053】
であり、式中、f(y,z)は、画像値を表す。動き推定が適用される場合の3つのシナリオのそれぞれについての総パワーの増加を表1に示す。画像フォーカスの向上に対応する総パワーの増加は、一定速度の場合には1.14倍、速度の増加および減少の場合には2.15倍、速度がゆっくりと増加する場合には1.08倍となる。予想されるように、速度変動が最大である第2のシナリオが、動き補正から最も恩恵を受け得る。
【0054】
【0055】
画像フォーカスの別の尺度は、画像ヒストグラムの範囲、(7)
【0056】
【0057】
であり、式中、h(k)は、値kを有する画像画素の数である。-5と0との間の100ビンのヒストグラムについて、動き補正は、表2に示されるように、いくつかの画像についての画像フォーカスのこの測定値を改善する。
【0058】
【0059】
図7A及び
図7Bは、100個のサンプル画像の検証データセットについての動き推定の精度を示す例示的なグラフを示す。ランダムな速度プロファイルを使用した100回のサンプル実行で検証データセットを収集し、結果を
図7にまとめた。上記の3つの例示的なシナリオは、この検証データセットの一部を形成する。
図7aにおいて、これらの100個のプロファイルの水平位置誤差の標準偏差は、0.52mの移動長さにわたって2.5mmであることがわかる。これは、軌道に沿ったK-バンド(24GHz)での波長の1/8よりも良好であり、したがって、この周波数帯域以下で優れた画像品質を達成するのに十分である。関連する位相誤差を
図7bに示す。
【0060】
(適切なシステム)
本明細書に開示される技術は、特殊目的のハードウェア(例えば、回路)として、ソフトウェア及び/またはファームウェアで適切にプログラムされたプログラマブル回路として、または特殊目的とプログラマブル回路の組み合わせとして具現化され得る。したがって、実施形態は、コンピュータ、マイクロプロセッサ、プロセッサ、及び/またはマイクロコントローラ(または他の電子デバイス)に処理を実行させるために使用され得る命令を格納した機械可読媒体を含み得る。機械可読媒体は、光ディスク、コンパクトディスク読み取り専用メモリ(CD-ROM)、磁気光ディスク、ROM、ランダムアクセスメモリ(RAM)、消去可能プログラマブル読み取り専用メモリ(EPROM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、磁気または光カード、フラッシュメモリ、または電子命令を格納するのに適した他のタイプの媒体/機械可読媒体を含み得るが、これらに限定されない。
【0061】
いくつかの実装は、図面を参照してより詳細に以下で説明する。
図8は、開示された技術のいくつかの実装が動作することができるデバイスの概要を示すブロック図である。デバイスは、例えば、mmWave画像をキャプチャするデバイス800のハードウェア構成要素を備えることができる。デバイス800は、CPU(プロセッサ)810に入力を提供し、アクションを通知する1つ以上の入力デバイス820を含むことができる。アクションは、典型的には、入力デバイスから受信した信号を解釈し、通信プロトコルを使用して情報をCPU810に通信するハードウェアコントローラによって仲介される。入力デバイス820は、例えば、マウス、キーボード、タッチスクリーン、mmWave撮像センサ(例えば、24GHzまたはその付近で動作するK-バンドmmWave撮像センサ)、赤外線センサ、タッチパッド、ウェアラブル入力デバイス、カメラまたは画像ベースの入力デバイス、マイクロフォン、または他のユーザ入力デバイスを含む。
【0062】
CPU810は、デバイス内の単一の処理ユニットまたは複数の処理ユニットであってもよく、または複数のデバイスにわたって分散されていてもよい。CPU810は、例えば、PCIバスまたはSCSIバスなどのバスを使用して、他のハードウェアデバイスに結合することができる。CPU810は、ディスプレイ830などのデバイスのためのハードウェアコントローラと通信することができる。ディスプレイ830は、テキスト及びグラフィックを表示するために使用することができる。いくつかの例では、ディスプレイ830は、グラフィック及びテキストの視覚的フィードバックをユーザに提供する。いくつかの実施態様では、ディスプレイ830は、入力デバイスがタッチスクリーンである場合、または目の方向監視システムが装備されている場合など、入力デバイスをディスプレイの一部として含む。いくつかの実施態様では、ディスプレイは、入力デバイスとは別個である。ディスプレイデバイスの例は、LCDディスプレイ画面、LEDディスプレイ画面、投影、ホログラフィック、または拡張現実ディスプレイ(ヘッドアップディスプレイデバイスまたはヘッドマウントデバイスなど)などである。ネットワークカード、ビデオカード、オーディオカード、USB、FireWireまたは他の外部デバイス、センサ、カメラ、プリンタ、スピーカー、CD-ROMドライブ、DVDドライブ、ディスクドライブ、またはブルーレイデバイスなど、他のI/Oデバイス840も、プロセッサに結合され得る。いくつかの例では、I/Oデバイス840は、ロボットマテリアルハンドリングシステムまたはコンベヤベルトの速度の制御も含み得る。
【0063】
いくつかの実装形態では、デバイス800は、ネットワークノードと無線または有線ベースで通信することができる通信デバイスも含む。通信デバイスは、例えば、TCP/IPプロトコルを使用して、ネットワークを介して別のデバイスまたはサーバと通信することができる。デバイス800は、通信デバイスを利用して、複数のネットワークデバイスにわたって動作を分散させることができる。
【0064】
CPU810は、メモリ850へのアクセスを有することができる。メモリは、揮発性及び不揮発性記憶のための様々なハードウェアデバイスのうちの1つ以上を含み、読み取り専用メモリ及び書き込み可能メモリの両方を含むことができる。例えば、メモリは、ランダムアクセスメモリ(RAM)、CPUレジスタ、読み取り専用メモリ(ROM)、及びフラッシュメモリ、ハードドライブ、フロッピーディスク、CD、DVD、磁気記憶デバイス、テープドライブ、デバイスバッファなどの書き込み可能な不揮発性メモリを含むことができる。メモリは、基礎となるハードウェアから分離された伝搬信号ではなく、したがって、メモリは非一時的である。メモリ850は、オペレーティングシステム862、ビデオプラットフォーム864からの動き推定、及び他のアプリケーションプログラム866などのプログラム及びソフトウェアを格納するプログラムメモリ860を含むことができる。メモリ850は、プログラムメモリ860またはデバイス800の任意の要素に提供され得るデータベース情報などを含むことができるデータメモリ870も含むことができる。
【0065】
いくつかの実装は、多数の他の汎用または特殊目的のコンピューティングシステム環境または構成で動作可能であり得る。技術と共に使用するのに適し得る周知のコンピューティングシステム、環境、及び/または構成の例は、限定されないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、セルラー電話、携帯電話、ウェアラブルエレクトロニクス、ゲームコンソール、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラマブルコンシューマエレクトロニクス、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などを含む。
【0066】
図9は、開示された技術のいくつかの実施形態が動作することができる環境900の概要を示すブロック図である。環境900は、1つ以上のクライアントコンピューティングデバイス905A~Dを含むことができ、その例は、デバイス800を含むことができる。クライアントコンピューティングデバイス905は、サーバコンピューティングデバイス910などの1つ以上のリモートコンピュータへのネットワーク930を介した論理接続を使用してネットワーク環境で動作することができる。
【0067】
いくつかの実装形態では、サーバコンピューティングデバイス910は、クライアント要求を受信し、サーバ920A~Cなどの他のサーバを介してそれらの要求の履行を調整するエッジサーバであり得る。サーバコンピューティングデバイス910及び920は、デバイス1000などのコンピューティングシステムを含むことができる。各サーバコンピューティングデバイス910及び920は、単一のサーバとして論理的に表示されるが、サーバコンピューティングデバイスはそれぞれ、同じまたは地理的に異なる物理的位置に位置する複数のコンピューティングデバイスを包含する分散コンピューティング環境であり得る。いくつかの実施態様では、各サーバコンピューティングデバイス920は、サーバのグループに対応する。
【0068】
クライアントコンピューティングデバイス905及びサーバコンピューティングデバイス910及び920はそれぞれ、他のサーバ/クライアントデバイスに対するサーバまたはクライアントとして機能することができる。サーバ910は、データベース915に接続することができる。サーバ920A~Cは、それぞれ、対応するデータベース925A~Cに接続することができる。上述したように、各サーバ920は、サーバのグループに対応することができ、これらのサーバのそれぞれは、データベースを共有することができ、または独自のデータベースを有することができる。データベース915及び925は、情報を保管(例えば、記憶)することができる。データベース915及び925は、単一のユニットとして論理的に表示されるが、データベース915及び925はそれぞれ、複数のコンピューティングデバイスを包含する分散コンピューティング環境であり得るか、それらの対応するサーバ内に配置され得るか、あるいは同じまたは地理的に異なる物理的位置に配置され得る。
【0069】
ネットワーク930は、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)であり得るが、他の有線または無線ネットワークであってもよい。ネットワーク930は、インターネットまたは何らかの他のパブリックまたはプライベートネットワークであり得る。クライアントコンピューティングデバイス905は、有線または無線通信などのネットワークインターフェースを介してネットワーク930に接続することができる。サーバ910とサーバ920との間の接続は、別個の接続として示されているが、これらの接続は、の種類のネットワーク930または別個のパブリックネットワークもしくはプライベートネットワークを含む、任意ローカルネットワーク、広域ネットワーク、有線ネットワーク、または無線ネットワークであり得る。
【0070】
図10は、いくつかの実装において、開示された技術を採用するシステムで使用することができるコンポーネントを示すブロック図である。コンポーネント1000は、ハードウェア1002、一般ソフトウェア1020、及び専用コンポーネント1040を含む。上述したように、開示された技術を実装するシステムは、処理ユニット1004(例えば、CPU、GPU、APUなど)、ワーキングメモリ1006、記憶メモリ1008、及び入出力デバイス1010を含む様々なハードウェアを使用することができる。コンポーネント1000は、クライアントコンピューティングデバイス1105などのクライアントコンピューティングデバイスに、またはサーバコンピューティングデバイス910などのサーバコンピューティングデバイスに実装することができる。
【0071】
一般ソフトウェア1020は、オペレーティングシステム1022、ローカルプログラム1024、及び基本入出力システム(BIOS)1026を含む様々なアプリケーションを含むことができる。専用コンポーネント1040は、ローカルプログラム1024などの一般ソフトウェアアプリケーション1020のサブコンポーネントであり得る。専用コンポーネント1040は、撮像モジュール1044、速度抽出モジュール1046、速度プロファイルモジュール1048、画像再構成モジュール1050、及びデータを伝送し、インターフェース1042などの専用コンポーネントを制御するために使用することができるコンポーネントを含むことができる。いくつかの実装では、コンポーネント1000は、複数のコンピューティングデバイスにわたって分散されるコンピューティングシステム内にあり得るか、または1つ以上の専用コンポーネント1040を実行するサーバベースアプリケーションへのインターフェースであり得る。
【0072】
当業者であれば、図上述した
図6~
図8、及び上述したフロー図のそれぞれにおいて示された構成要素は、様々な方法で変更され得ることを理解するであろう。例えば、論理の順序が再配置されてもよく、サブステップが並列で実行されてもよく、図示された論理が省略されてもよく、他の論理が含まれてもよい、等。いくつかの実装では、上述した1つまたは複数のコンポーネントは、本明細書に記載の1つまたは複数の処理を実行することができる。
【0073】
(結論)
ここで提示される結果は、画像品質が、mmWave撮像システムの視野にわたって撮像されるオブジェクトの正確な動きの知識に依存し得ることを示している。総パワー及びヒストグラム範囲などの画像フォーカスの定量的測定は、オブジェクトの速度が一定に近い場合であっても、撮像されたオブジェクトの動きプロファイルが考慮されるときに改善を示し得る。速度の大きな変動が存在する場合、改善の程度はさらに大きくなり得る。
【0074】
実世界の商用及び産業用途では、撮像されるオブジェクトは、様々な理由で一貫性のない速度で移動し得、動きは、画像を生成するためにレーダ撮像システムによって考慮され得る。撮像アレイに隣接して配置された光学カメラから抽出された動きベクトルの使用は、有益な結果をもたらし得、様々な速度プロファイルをリアルタイムで補正することを可能にし得る。組み合わされた動き-推定、及びレーダ撮像システムは、一定でない速度のシーンのための高スループット走査用途のために利用され得る。
【0075】
上記から、本発明の特定の実施形態が例示の目的で本明細書に記載されているが、本発明の範囲から逸脱することなく様々な修正が行われ得ることが理解されるであろう。したがって、本発明は、添付の特許請求の範囲による場合を除いて限定されるものではない。
【国際調査報告】