特許 7407978 時制集約による単眼三次元物体定位

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-21

(45)【発行日】2024-01-04

(54)【発明の名称】時制集約による単眼三次元物体定位

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231222BHJP

   G06T 7/215 20170101ALI20231222BHJP

   G06T 7/254 20170101ALI20231222BHJP

   G06V 10/82 20220101ALI20231222BHJP

   G06N 3/0442 20230101ALI20231222BHJP

   G06N 3/0464 20230101ALI20231222BHJP

【ＦＩ】

G06T7/00 C

G06T7/00 350C

G06T7/215

G06T7/254 A

G06V10/82

G06N3/0442

G06N3/0464

【請求項の数】 20

(21)【出願番号】P 2022578602

(86)(22)【出願日】2021-08-24

(65)【公表番号】

(43)【公表日】2023-07-25

(86)【国際出願番号】 US2021047294

(87)【国際公開番号】W WO2022046733

(87)【国際公開日】2022-03-03

【審査請求日】2022-12-26

(31)【優先権主張番号】63/072,428

(32)【優先日】2020-08-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/408,911

(32)【優先日】2021-08-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504080663

【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク

【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】ジ、 パン

(72)【発明者】

【氏名】リウ、 ブユ

(72)【発明者】

【氏名】ズオン、 ビンビン

(72)【発明者】

【氏名】チャンドラカー、 マンモハン

(72)【発明者】

【氏名】チェン、 シアンギュ

【審査官】堀井 啓明

(56)【参考文献】

【文献】特開２００９－８７３２６（ＪＰ，Ａ）

【文献】特開２０２０－６１１４４（ＪＰ，Ａ）

【文献】特開２０２０－１２６３９４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１９７７０９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

Ｇ０６Ｖ３０／４１８

Ｇ０６Ｖ４０／１６

Ｇ０６Ｖ４０／２０

Ｇ０６Ｎ３／０４４２

Ｇ０６Ｎ３／０４６４

(57)【特許請求の範囲】

【請求項1】

コンピュータに実装された、三次元（３Ｄ）物体定位のための方法であって、
連続する２つの入力単眼画像にオプティカルフローモデルを適用する共同物体検出機構によって、二次元（２Ｄ）バウンディングボックスの組であって、該組のそれぞれが、前記連続する２つの入力単眼画像のそれぞれにおいて検出された物体のそれぞれの１つに対応する組を予測するステップ（６１０）と、
幾何学的制約を使用して前記検出された物体のそれぞれについて、前記連続する２つの入力単眼画像間の相対的な動きを指定する相対的な動き推定を生成するステップ（６２０）と、
物体深度候補から前記物体深度候補の範囲と前記物体深度候補のそれぞれに対する信頼度スコアと物体深度とを予測するために、前記２Ｄバウンディングボックスの組と前記相対的な動き推定とを用いて、前記連続する２つの入力単眼画像から時間的特徴を集約して物体コストボリュームを構築するステップ（６３０）と、
改良された物体の動きと改良された物体深度とを提供するために、ゲート付き回帰型ユニット（ＧＲＵ）の回帰型改良ループによって、前記物体コストボリュームと前記物体深度とに基づいて前記相対的な動き推定を更新するステップ（６４０）と、
前記改良された物体の動きと前記改良された物体深度とに基づいて、前記検出された物体のそれぞれについて、３Ｄ物体のサイズ、３Ｄ物体の位置、および物体のヨー角を予測する３Ｄバウンディングボックスを再構築するステップ（６５０）とを含む方法。

【請求項2】

請求項１に記載のコンピュータに実装された方法において、
前記予測するステップは、前記オプティカルフローモデルを用いて、前記連続する２つの入力単眼画像の現在のものから前のものへアンカーバウンディングボックス中心を変換し、前記連続する２つの入力単眼画像にわたって対応するアンカーを対にすることを含む方法。

【請求項3】

請求項２に記載のコンピュータに実装された方法において、
前記予測するステップは、与えられたアンカーが正か負かを決定するための共通アンカー分類器を構築するために、前記オプティカルフローモデルに基づく畳み込みニューラルネットワーク（ＣＮＮ）特徴を連結することを含む方法。

【請求項4】

請求項１に記載のコンピュータに実装された方法において、
前記構築するステップは、
前記検出された物体のそれぞれについて再構成された前記３Ｄバウンディングボックスの深度範囲をあらかじめ定義するステップと
前記深度範囲を用いて一定数の可能な物体の深度値を列挙するステップとを含む方法。

【請求項5】

請求項１に記載のコンピュータに実装された方法において、
前記構築するステップは、前記連続する２つの入力単眼画像からの畳み込みニューラルネットワーク（ＣＮＮ）特徴を連結して、コストボリュームテンソルを形成することを含む方法。

【請求項6】

請求項１に記載のコンピュータに実装された方法において、
前記改良された深度の予測は、深度信頼度スコアと深度値との加重和として計算される方法。

【請求項7】

請求項１に記載のコンピュータに実装された方法において、
前記改良された深度の予測は、ソフトａｒｇｍｉｎ演算子を用いて計算される方法。

【請求項8】

請求項１に記載のコンピュータに実装された方法において、
前記ＧＲＵの前記回帰型改良ループは、前記改良された物体の動きと前記改良された物体深度とを反復的に改善する方法。

【請求項9】

請求項１に記載のコンピュータに実装された方法において、
前記検出された物体の少なくとも１つの３Ｄバウンディングボックスに基づいて、前記検出された物体の少なくとも１つとの衝突を回避するために車両の動きを制御することをさらに含む方法。

【請求項10】

三次元（３Ｄ）物体定位のためのコンピュータプログラム製品であって、該コンピュータプログラム製品は、プログラム命令をその中に具現化した非一時的コンピュータ可読記憶媒体を含み、該プログラム命令は、コンピュータに方法を実行させるためにコンピュータによって実行可能であることを特徴とするコンピュータプログラム製品であって、前記方法は、
連続する２つの入力単眼画像にオプティカルフローモデルを適用する共同物体検出機構を実装するハードウェアプロセッサによって、二次元（２Ｄ）バウンディングボックスの組であって、該組のそれぞれが、前記連続する２つの入力単眼画像のそれぞれにおいて検出された物体のそれぞれの１つに対応する組を予測するステップ（６１０）と、
前記ハードウェアプロセッサによって、幾何学的制約を使用して前記検出された物体のそれぞれについて、前記連続する２つの入力単眼画像間の相対的な動きを指定する相対的な動き推定を生成するステップ（６２０）と、
前記ハードウェアプロセッサによって、物体深度候補から前記物体深度候補の範囲と前記物体深度候補のそれぞれに対する信頼度スコアと物体深度とを予測するために、前記２Ｄバウンディングボックスの組と前記相対的な動き推定とを用いて、前記連続する２つの入力単眼画像から時間的特徴を集約して物体コストボリュームを構築するステップ（６３０）と、
改良された物体の動きと改良された物体深度とを提供するために、前記ハードウェアプロセッサを用いて形成されたゲート付き回帰型ユニット（ＧＲＵ）の回帰型改良ループによって、前記物体コストボリュームと前記物体深度とに基づいて前記相対的な動き推定を更新するステップ（６４０）と、
前記ハードウェアプロセッサによって、前記改良された物体の動きと前記改良された物体深度とに基づいて、前記検出された物体のそれぞれについて、３Ｄ物体のサイズ、３Ｄ物体の位置、および物体のヨー角を予測する３Ｄバウンディングボックスを再構築するステップ（６５０）とを含むコンピュータプログラム製品。

【請求項11】

請求項１０に記載のコンピュータプログラム製品において、
前記予測するステップは、前記オプティカルフローモデルを用いて、前記連続する２つの入力単眼画像の現在のものから前のものへアンカーバウンディングボックス中心を変換し、前記連続する２つの入力単眼画像にわたって対応するアンカーを対にすることを含むコンピュータプログラム製品。

【請求項12】

請求項１１に記載のコンピュータプログラム製品において、
前記予測するステップは、与えられたアンカーが正か負かを決定するための共通アンカー分類器を構築するために、前記オプティカルフローモデルに基づく畳み込みニューラルネットワーク（ＣＮＮ）特徴を連結することを含むコンピュータプログラム製品。

【請求項13】

請求項１０に記載のコンピュータプログラム製品において、
前記構築するステップは、
前記検出された物体のそれぞれについて再構成された前記３Ｄバウンディングボックスの深度範囲をあらかじめ定義するステップと
前記深度範囲を用いて一定数の可能な物体の深度値を列挙するステップとを含むコンピュータプログラム製品。

【請求項14】

請求項１０に記載のコンピュータプログラム製品において、
前記構築するステップは、前記連続する２つの入力単眼画像からの畳み込みニューラルネットワーク（ＣＮＮ）特徴を連結して、コストボリュームテンソルを形成することを含むコンピュータプログラム製品。

【請求項15】

請求項１０に記載のコンピュータプログラム製品において、
前記改良された深度の予測は、深度信頼度スコアと深度値との加重和として計算されるコンピュータプログラム製品。

【請求項16】

請求項１０に記載のコンピュータプログラム製品において、
前記改良された深度の予測は、ソフトａｒｇｍｉｎ演算子を用いて計算されるコンピュータプログラム製品。

【請求項17】

請求項１０に記載のコンピュータプログラム製品において、
前記ＧＲＵの前記回帰型改良ループは、前記改良された物体の動きと前記改良された物体深度とを反復的に改善するコンピュータプログラム製品。

【請求項18】

請求項１０に記載のコンピュータプログラム製品において、
前記方法は、前記検出された物体の少なくとも１つの３Ｄバウンディングボックスに基づいて、前記検出された物体の少なくとも１つとの衝突を回避するために車両の動きを制御することをさらに含むコンピュータプログラム製品。

【請求項19】

三次元（３Ｄ）物体定位のためのコンピュータ処理システムであって、
プログラムコードを格納するためのメモリ装置（１４０）と、
前記メモリ装置に動作可能に結合され、前記プログラムコードを実行するハードウェアプロセッサ（１１０）とを有し、前記プログラムコードは、
連続する２つの入力単眼画像にオプティカルフローモデルを適用する共同物体検出機構を用いて、二次元（２Ｄ）バウンディングボックスの組であって、該組のそれぞれが、前記連続する２つの入力単眼画像のそれぞれにおいて検出された物体のそれぞれの１つに対応する組を予測し、
幾何学的制約を使用して前記検出された物体のそれぞれについて、前記連続する２つの入力単眼画像間の相対的な動きを指定する相対的な動き推定を生成し、
物体深度候補から前記物体深度候補の範囲と前記物体深度候補のそれぞれに対する信頼度スコアと物体深度とを予測するために、前記２Ｄバウンディングボックスの組と前記相対的な動き推定とを用いて、前記連続する２つの入力単眼画像から時間的特徴を集約して物体コストボリュームを構築し、
改良された物体の動きと改良された物体深度とを提供するために、ゲート付き回帰型ユニット（ＧＲＵ）の回帰型改良ループを用いて、前記物体コストボリュームと前記物体深度とに基づいて前記相対的な動き推定を更新し、
前記改良された物体の動きと前記改良された物体深度とに基づいて、前記検出された物体のそれぞれについて、３Ｄ物体のサイズ、３Ｄ物体の位置、および物体のヨー角を予測する３Ｄバウンディングボックスを再構築するためのプログラムコードであるコンピュータ処理システム。

【請求項20】

請求項１９に記載のコンピュータ処理システムにおいて、
前記改良された深度の予測は、深度信頼度スコアと深度値との加重和として計算されるコンピュータ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願情報
本出願は、２０２１年８月２３日に出願された米国特許出願第１７／４０８，９１１号および２０２０年８月３１日に出願された米国仮特許出願第６３／０７２，４２８号（いずれも参照によりその全体が本明細書に組み込まれる）の優先権を主張するものである。

【背景技術】

【0002】

本発明は、物体定位に関し、より詳細には、時制集約による単眼物体定位に関する。
関連技術の説明

【0003】

３Ｄ空間における物体の定位は、自動運転、ロボット操作、拡張現実など、数多くの実世界での応用があるため、重要な問題である。既存の３Ｄ物体定位の多くは、１枚の単眼画像を入力として、３Ｄターゲットを回帰するものである。しかし、１枚の画像からの距離推定は非論理的であることが知られており、これらの単眼法の性能は、ステレオ画像やＬｉＤＡＲの点を用いた方法よりもはるかに劣っている。その他にも時間情報を利用する方法がいくつかあるが、それらは３Ｄ物体定位精度の向上よりも、３Ｄ物体追跡に重点を置いている。

【発明の概要】

【0004】

本発明の態様によれば、三次元（３Ｄ）物体定位のためにコンピュータに実装された方法が提供される。この方法は、連続する２つの入力単眼画像にオプティカルフローモデルを適用する共同物体検出機構によって、二次元（２Ｄ）バウンディングボックスの組を予測することを含む。それぞれの組は、前記連続する２つの入力単眼画像のそれぞれにおいて検出された物体のそれぞれの１つに対応する。この方法は、幾何学的制約を使用して前記検出された物体のそれぞれについて、前記連続する２つの入力単眼画像間の相対的な動きを指定する相対的な動き推定を生成することをさらに含む。この方法は、物体深度候補から前記物体深度候補の範囲と前記物体深度候補のそれぞれに対する信頼度スコアと物体深度とを予測するために、前記２Ｄバウンディングボックスの組と前記相対的な動き推定とを用いて、前記連続する２つの入力単眼画像から時間的特徴を集約して物体コストボリュームを構築することをさらに含む。この方法は、改良された物体の動きと改良された物体深度とを提供するために、ゲート付き回帰型ユニット（ＧＲＵ）の回帰型改良ループによって、前記物体コストボリュームと前記物体深度とに基づいて前記相対的な動き推定を更新することをさらに含む。この方法は、前記改良された物体の動きと前記改良された物体深度とに基づいて、前記検出された物体のそれぞれについて、３Ｄ物体のサイズ、３Ｄ物体の位置、および物体のヨー角を予測する３Ｄバウンディングボックスを再構築することをさらに含む。

【0005】

本発明の他の態様によれば、三次元（３Ｄ）物体定位のためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、プログラム命令をその中に具現化した非一時的コンピュータ可読記憶媒体を含む。プログラム命令は、コンピュータにある方法を実行させるために、コンピュータによって実行可能である。この方法は、連続する２つの入力単眼画像にオプティカルフローモデルを適用する共同物体検出機構を実装するハードウェアプロセッサによって、二次元（２Ｄ）バウンディングボックスの組を予測することを含む。それぞれの組は、前記連続する２つの入力単眼画像のそれぞれにおいて検出された物体のそれぞれの１つに対応する。この方法は、前記ハードウェアプロセッサによって、幾何学的制約を使用して前記検出された物体のそれぞれについて、前記連続する２つの入力単眼画像間の相対的な動きを指定する相対的な動き推定を生成することをさらに含む。この方法は、前記ハードウェアプロセッサによって、物体深度候補から前記物体深度候補の範囲と前記物体深度候補のそれぞれに対する信頼度スコアと物体深度とを予測するために、前記２Ｄバウンディングボックスの組と前記相対的な動き推定とを用いて、前記連続する２つの入力単眼画像から時間的特徴を集約して物体コストボリュームを構築することをさらに含む。この方法は、改良された物体の動きと改良された物体深度とを提供するために、前記ハードウェアプロセッサを用いて形成されたゲート付き回帰型ユニット（ＧＲＵ）の回帰型改良ループによって、前記物体コストボリュームと前記物体深度とに基づいて前記相対的な動き推定を更新することをさらに含む。この方法は、前記ハードウェアプロセッサによって、前記改良された物体の動きと前記改良された物体深度とに基づいて、前記検出された物体のそれぞれについて、３Ｄ物体のサイズ、３Ｄ物体の位置、および物体のヨー角を予測する３Ｄバウンディングボックスを再構築することをさらに含む。

【0006】

本発明のさらに他の態様によれば、三次元（３Ｄ）物体定位のためのコンピュータ処理システムが提供される。このコンピュータ処理システムは、プログラムコードを格納するためのメモリ装置を含む。このコンピュータ処理システムは、連続する２つの入力単眼画像にオプティカルフローモデルを適用する共同物体検出機構を用いて、二次元（２Ｄ）バウンディングボックスの組を予測するプログラムコードを実行するために、前記メモリ装置に動作可能に結合されたハードウェアプロセッサをさらに含む。それぞれの組は、前記連続する２つの入力単眼画像のそれぞれにおいて検出された物体のそれぞれの１つに対応する。ハードウェアプロセッサは、さらに、幾何学的制約を使用して前記検出された物体のそれぞれについて、前記連続する２つの入力単眼画像間の相対的な動きを指定する相対的な動き推定を生成するプログラムコードを実行する。また、ハードウェアプロセッサは、さらに、物体深度候補から前記物体深度候補の範囲と前記物体深度候補のそれぞれに対する信頼度スコアと物体深度とを予測するために、前記２Ｄバウンディングボックスの組と前記相対的な動き推定とを用いて、前記連続する２つの入力単眼画像から時間的特徴を集約して物体コストボリュームを構築するプログラムコードを実行する。ハードウェアプロセッサは、さらに、改良された物体の動きと改良された物体深度とを提供するために、ゲート付き回帰型ユニット（ＧＲＵ）の回帰型改良ループを用いて、前記物体コストボリュームと前記物体深度とに基づいて前記相対的な動き推定を更新するプログラムコードを実行する。ハードウェアプロセッサは、さらに、前記改良された物体の動きと前記改良された物体深度とに基づいて、前記検出された物体のそれぞれについて、３Ｄ物体のサイズ、３Ｄ物体の位置、および物体のヨー角を予測する３Ｄバウンディングボックスを再構築するプログラムコードを実行する。

【0007】

これらおよび他の特徴および利点は、添付の図面と関連して読まれる、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0008】

本開示は、以下の図を参照して、好ましい実施形態の以下の説明において詳細を提供する。

【0009】

【図1】本発明の一実施形態に係る例示的な演算装置を示すブロック図である。

【0010】

【図2】本発明の実施形態に係る３Ｄ物体定位のための例示的なシステムパイプラインを示すブロック図である。

【0011】

【図3】本発明の一実施形態に係る３Ｄ物体定位のための例示的なフレームワークを示すブロック図である。

【0012】

【図4】本発明の実施形態に係る例示的な共同物体提案機構を示すブロック図である。

【0013】

【図5】本発明の実施形態による、例示的な物体コストボリュームを示すブロック図である。

【0014】

【図6】本発明の実施形態による三次元（３Ｄ）物体定位の例示的な方法を示すフロー図である。

【図7】本発明の実施形態による三次元（３Ｄ）物体定位の例示的な方法を示すフロー図である。

【発明を実施するための形態】

【0015】

本発明の実施形態は、時制集約による単眼物体定位を対象とする。

【0016】

本発明の実施形態は、単眼画像を用いた３Ｄ物体定位の問題に取り組む。具体的には、本発明の実施形態は、連続する２つ以上の単眼画像から、３Ｄ物体サイズ（幅ｗ，高さｈ，長さｌ）、３Ｄ物体位置（ｘ，ｙ，ｚ）および物体ヨー角（α）を予測することが可能である。一般性を損なうことなく、本発明は連続した２枚の画像を入力として説明するが、他の実施形態では２枚以上の画像を使用することも可能である。

【0017】

本発明の実施形態は、単眼画像における時間情報および動き情報を十分に活用し、正確な３Ｄ物体定位を実現する。そこで、まず、連続する２つのフレームの２Ｄバウンディングボックスの組を同時に予測する新しい共同物体提案機構を提案する。２Ｄバウンディングボックスの組が与えられると、幾何学的制約を用いてその相対的な動きを推定する。さらに、相対的な動きにより、深度候補の範囲にわたってマッチングコストを構築し、各候補の信頼度スコアを予測する、新しい物体コストボリュームモジュールを構築することを提案する。最後に、物体コストボリュームから各３Ｄ物体の深度予測を改良することで、３Ｄ物体定位が改善される。

【0018】

本発明の実施形態は、以下の２つの主要部分、すなわち、（ｉ）２Ｄ物体検出のための新しい共同物体提案機構、および（ｉｉ）３Ｄ物体距離推定のための新しい物体コストボリュームモジュールを含むと考えることができる。

【0019】

提案する共同物体機構は、連続する２つのフレームに対する２Ｄバウンディングボックスの組を同時に生成することを目的としており、したがって、従来の方法における物体の関連付け／追跡のステップを回避する。連続した２枚の画像が与えられたら、まず、事前に学習したフローモデルを用いて、それらのオプティカルフローを計算する。次に、オプティカルフローを用いて、現在のフレームのアンカーバウンディングボックスを前のフレームに変換し、２つのフレームのアンカーが対になるようにする。対応するＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の特徴（オプティカルフローによる）を連結し、共通アンカー分類器（１つのアンカーが正か負かを判断する）を構築する。対となったアンカーと連結された特徴とにより、対となったアンカーに関連付けられた２Ｄ物体バウンディングボックスの提案が組で生成されるという意味で、共同物体提案が実現される。

【0020】

連続するフレームに３Ｄバウンディングボックスの組がある場合、幾何学的制約を使用してそれらの相対的な動きを推定することができる。その後、提案する物体コストボリュームを構築することで、正確な物体距離を予測することができる。具体的には、まず３Ｄバウンディングボックスの深度範囲（例えば０－８０ｍ）をあらかじめ設定し、その範囲内で一定数の深度値の可能性を列挙しておく。ネットワークで予測された３Ｄターゲット（３Ｄ寸法、ヨー角）と各深度値があれば、現在のフレームと現在の画像平面上で計算された投影２Ｄボックスとに対して３Ｄバウンディングボックスを構築することができる。相対的な動きにより、現フレームの３Ｄバウンディングボックスを前フレームの座標系に変換し、前画像に投影することで２Ｄボックスを得ることができる。物体コストボリュームを構築するために、ＣＮＮの特徴は、現在の画像と前の画像との対応する投影された２Ｄボックスを使用してプールされ、コストボリュームのテンソルを形成するために結合される。一連のＣＮＮ層を適用した後、コストボリュームは深度候補の信頼度スコアのセットに変換される。最終的な深度の予測は信頼度スコアと深度値との加重和として計算され、これは本質的にソフトａｒｇｍｉｎ演算子である。

【0021】

本発明の実施形態では、ＣＮＮは、２Ｄターゲット（２Ｄバウンディングボックス）および３Ｄターゲット（３Ｄサイズ、ヨー角、深度）をＬ－ｌ個の損失で予測するように訓練される。

【0022】

図1は、本発明の一実施形態に係る例示的な演算装置１００を示すブロック図である。演算装置１００は、時制集約によって単眼３Ｄ物体定位を行うように構成されている。

【0023】

演算装置１００は、限定されないが、コンピュータ、サーバ、ラックベースのサーバ、ブレードサーバ、ワークステーション、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、モバイル演算装置、ウェアラブル演算装置、ネットワーク機器、ウェブ機器、分散演算システム、プロセッサベースのシステム、および／または利用者電子装置など、本書に記載される機能を実行できる任意のタイプの計算またはコンピュータ装置として具現化することができる。さらにまたは代替的に、演算装置１００は、１つまたは複数のコンピュートスレッド、メモリスレッド、または他のラック、スレッド、演算シャーシ、または物理的に分解された演算装置の他の構成要素として具現化されてもよい。図１に示すように、演算装置１００は、例示的に、プロセッサ１１０、入力／出力サブシステム１２０、メモリ１３０、データ記憶装置１４０、および通信サブシステム１５０、および／またはサーバまたは同様の演算装置に一般的に見られる他の構成要素およびデバイスを含んでいる。もちろん、演算装置１００は、他の実施形態において、サーバコンピュータに一般的に見られるような他のまたは追加の構成要素（例えば、様々な入力／出力デバイス）を含んでもよい。さらに、いくつかの実施形態では、例示的な構成要素の１つ以上が、別の構成要素に組み込まれるか、さもなければ、別の構成要素の一部を形成することができる。例えば、メモリ１３０、またはその一部は、いくつかの実施形態において、プロセッサ１１０に組み込まれてもよい。

【0024】

プロセッサ１１０は、本明細書に記載された機能を実行することができる任意のタイプのプロセッサとして具現化することができる。プロセッサ１１０は、シングルプロセッサ、マルチプロセッサ、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、シングルまたはマルチコアプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、またはその他のプロセッサやプロセスシング／制御回路として具現化されてもよい。

【0025】

メモリ１３０は、本明細書に記載された機能を実行することができる任意のタイプの揮発性または不揮発性メモリまたはデータストレージとして具現化され得る。動作中、メモリ１３０は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、およびドライバなど、演算装置１００の動作中に使用される様々なデータおよびソフトウェアを格納することができる。メモリ１３０は、Ｉ／Ｏサブシステム１２０を介してプロセッサ１１０と通信可能に結合され、プロセッサ１１０メモリ１３０、および演算装置１００の他の構成要素との入出力動作を容易にするための回路および／または構成要素として具現化され得る。例えば、Ｉ／Ｏサブシステム１２０は、メモリコントローラハブ、入力／出力制御ハブ、プラットフォームコントローラハブ、集積制御回路、ファームウェアデバイス、通信リンク（例えば、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、ライトガイド、プリント回路基板トレースなど）および/または、入力/出力操作を容易にするための他の構成要素およびサブシステムとして具現化されてもよく、さもなければ、これらを含んでいても良い。いくつかの実施形態では、Ｉ／Ｏサブシステム１２０は、システムオンチップ（ＳＯＣ）の一部を形成し、プロセッサ１１０、メモリ１３０、および演算装置１００の他の構成要素と共に、単一の集積回路チップに組み込まれてもよい。

【0026】

データ記憶装置１４０は、例えば、メモリ装置および回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、または他のデータ記憶装置など、データの短期または長期記憶用に構成された任意のタイプの装置またはデバイスとして具現化することができる。データ記憶装置１４０は、時制集約によって単眼３Ｄ物体定位を行うためのプログラムコードを格納することができる。演算装置１００の通信サブシステム１５０は、ネットワークを介して演算装置１００と他のリモート装置との間の通信を可能にすることができる、任意のネットワークインターフェースコントローラまたは他の通信回路、装置、またはその集合体として具現されることができる。通信サブシステム１５０は、任意の１つ以上の通信技術（例えば、有線または無線通信）および関連するプロトコル（例えば、イーサネット、ＩｎｆｉｎｉＢａｎｄ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＷｉＭＡＸなど）を使用してそのような通信を実現するように構成され得る。

【0027】

図示のように、演算装置１００は、１つ以上の周辺装置１６０も含むことができる。周辺装置１６０は、任意の数の追加の入出力装置、インタフェース装置、および／または他の周辺装置を含んでもよい。 例えば、いくつかの実施形態では、周辺装置１６０は、ディスプレイ、タッチスクリーン、グラフィック回路、キーボード、マウス、スピーカシステム、マイク、ネットワークインターフェース、および／または他の入力／出力装置、インタフェース装置、および／または周辺装置を含むことができる。

【0028】

もちろん、演算装置１００は、当業者が容易に思いつくように、他の要素（図示せず）を含むこともでき、また、特定の要素を省略することもできる。例えば、様々な他の入力装置および／または出力装置は、当業者によって容易に理解されるように、同じものの特定の実装に依存して、演算装置１００に含まれることが可能である。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、プロセッサ、コントローラ、メモリなどを追加して、様々な構成で利用することも可能である。処理システム１００のこれらおよび他の変形例は、本明細書に提供される本発明の教示を考慮すれば、当業者によって容易に企図されるものである。

【0029】

本明細書で採用するように、「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、１つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ（ＲＡＭ、キャッシュなどを含む）、ソフトウェア（メモリ管理ソフトウェアを含む）またはそれらの組合せを指す場合がある。有用な実施形態では、ハードウェアプロセッササブシステムは、１つ以上のデータ処理要素（例えば、論理回路、処理回路、命令実行装置など）を含むことができる。１つ以上のデータ処理要素は、中央処理ユニット、グラフィックス処理ユニット、および／または別個のプロセッサもしくは演算要素ベースのコントローラ（例えば、論理ゲート等）に含まれることが可能である。ハードウェアプロセッササブシステムは、１つ以上のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み取り専用メモリなど）を含むことができる。いくつかの実施形態では、ハードウェアプロセッササブシステムは、オンボードまたはオフボードであり得る、またはハードウェアプロセッササブシステムによる使用のために専用であり得る１つ以上のメモリ（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）等）を含むことが可能である。

【0030】

いくつかの実施形態では、ハードウェアプロセッササブシステムは、１つ以上のソフトウェア要素を含み、実行することができる。１つ以上のソフトウェア要素は、オペレーティングシステムおよび／または1つ以上のアプリケーションおよび／または特定の結果を達成するための特定のコードを含むことができる。

【0031】

他の実施形態では、ハードウェアプロセッササブシステムは、指定された結果を達成するために１つ以上の電子処理機能を実行する、専用の特殊な回路を含むことができる。このような回路は、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ、および／またはＰＬＡを含むことができる。

【0032】

ハードウェアプロセッササブシステムのこれらおよび他の変形例も、本発明の実施形態に従って企図される。

【0033】

図２は、本発明の実施形態による、３Ｄ物体定位のための例示的なシステムパイプライン２００を示すブロック図である。

【0034】

実施形態において、３Ｄ物体定位の方法は２つのステップを含む：単眼画像のシーケンスが与えられると、２Ｄ物体検出が最初に画像上で実行されて２Ｄバウンディングボックス２１０が得られ、その後、３Ｄバウンディングボックス寸法（ｗ，ｈ，ｌ）、３Ｄ物体の位置（ｘ，ｙ，ｚ）、物体のヨー角（α）を含む３Ｄターゲットを回帰して２Ｄバウンディングボックスが３Ｄバウンディングボックス２２０へ引き上げられる。

【0035】

図３は、本発明の実施形態による、３Ｄ物体定位のための例示的なフレームワーク３００を示すブロック図である。

【0036】

フレームワーク３００は、連続する２枚の画像を入力とし、検出された物体の３Ｄポーズ（バウンディングボックス）を予測する。共同物体提案機構３１０は、連続する２つの画像から２Ｄバウンディングボックスの組を予測するために使用される。検出された各物体について、次に、２つの画像間でその相対的な動きが推定３２０され、それを用いて前の画像から時間的特徴を集約し、物体コストボリューム３３０を構築する。物体コストボリューム３３０は、物体の深度を改良するのに役立ち、それに伴い、動き推定を更新することができる。ゲート付き回帰型ユニット（ＧＲＵ）の使用により、回帰型改良ループ３４０が形成され、物体の動きと深度とを繰り返し改善し、一方でエンドツーエンドの訓練を容易にする。

【0037】

図４は、本発明の実施形態に係る例示的な共同物体提案機構４００を示すブロック図である。

【0038】

連続する２つの画像が与えられると、それらのオプティカルフローは、まず、事前に訓練されたフローモデルを用いて計算される。次に、オプティカルフロー４７０は、現在のフレーム（画像ｉ）のボックス提案４１５としてのｋ個のアンカーボックス４１０のアンカーバウンディングボックス中心４１０Ａを、前のフレーム（画像ｉ－１）のボックス提案４２５としてのｋ個のアンカーボックス４２０のアンカーバウンディングボックス中心４２０Ａに変換して、２つの画像のアンカー４１０および４２０が一緒に組になるようにするために使用する。これは、画像ｉ－１用の畳み込み特徴マップ４８１と、画像ｉ用の畳み込み特徴マップ４８２とを用いて行われる。また、対応するＣＮＮ特徴（オプティカルフローによる）を連結４４０して共通アンカー分類器４５０を構築する（１つのアンカーが正か負かを判断する）。対となるアンカーと共通アンカー分類器４５０とにより、対となるアンカーに関連する２Ｄ物体のバウンディングボックス提案が組で生成されるという意味で、共同物体提案が実現される。

【0039】

図５は、本発明の実施形態に係る例示的な物体コストボリューム５００を示すブロック図である。

【0040】

３Ｄバウンディングボックスの深度範囲（例えば、０－８０ｍ）がまずあらかじめ定義され、その範囲内で一定数の可能な深度値が列挙される。ネットワークで予測された３Ｄターゲット（３Ｄ寸法、ヨー角）と各深度値があれば、現在のフレームと現在の画像平面上で計算された投影２Ｄボックスとに対して３Ｄバウンディングボックスを構築することができる。相対的な動きと異なる深度の３Ｄポーズ候補５１０とで、現フレーム５２２の３Ｄバウンディングボックスを前フレーム５２１の座標系に変換して前画像に投影し、２Ｄボックスを得ることができる。物体コストボリュームを構築するために、ＣＮＮ特徴は、現在の画像５２２および前の画像５２１上の対応する投影２Ｄボックス５２２Ａおよび５２１Ａを用いてプールされ、コストボリュームテンソル５３０を形成するためにチャネル次元に沿って連結される。その後、一連のＣＮＮ層がコストボリュームテンソルに適用され、最後の畳み込み層の後にチャンネル次元が１つに縮退される。その後、深度列挙に沿ってソフトマックス演算子を適用し、本質的にコストボリューム５３０を深度候補５４０の信頼度スコアの集合に変える。最終的な深度予測は信頼度スコアと深度値との加重和として計算され、これは本質的にソフトａｒｇｍｉｎ演算子である。

【0041】

図６および図７は、本発明の実施形態による三次元（３Ｄ）物体定位のための例示的な方法６００を示すフロー図である。

【0042】

ブロック６１０において、連続する２つの入力単眼画像にオプティカルフローモデルを適用する共同物体検出機構によって、二次元（２Ｄ）バウンディングボックスの組を予測する。それぞれの組は、連続する２つの入力単眼画像それぞれで検出された物体のそれぞれ１つに対応する。

【0043】

実施形態において、ブロック６１０は、ブロック６１０Ａと６１０Ｂとの１つ以上を含むことができる。

【0044】

ブロック６１０Ａにおいて、オプティカルフローモデルを使用して、連続する２つの入力単眼画像の現在のものから前のものへのアンカーバウンディングボックス中心を、連続する２つの入力単眼画像にわたって対応するアンカーを対にするように変換する。

【0045】

ブロック６１０Ｂで、与えられたアンカーが正か負かを決定するための共通アンカー分類器を構築するために、オプティカルフローモデルに基づく畳み込みニューラルネットワーク（ＣＮＮ）特徴を連結する。

【0046】

ブロック６２０で、幾何学的制約を使用して検出された物体のそれぞれについて、連続する２つの入力単眼画像間の相対的な動きを指定する相対的な動き推定を生成する。

【0047】

ブロック６３０において、物体深度候補から物体深度候補の範囲と物体深度候補のそれぞれに対する信頼度スコアと物体深度とを予測するために、２Ｄバウンディングボックスの組と相対的な動き推定とを用いて、連続する２つの入力単眼画像から時間特徴を集約して、物体コストボリュームを構築する。

【0048】

実施形態において、ブロック６３０は、ブロック６３０Ａと６３０Ｂとの１つ以上を含むことができる。

【0049】

ブロック６３０Ａで、検出された物体のそれぞれについて再構成された３Ｄバウンディングボックスの深度範囲をあらかじめ定義し、深度範囲を用いて一定数の可能な物体深度値を列挙する。

【0050】

ブロック６３０Ｂで、連続する２つの入力単眼画像からの畳み込みニューラルネットワーク（ＣＮＮ）特徴を連結して、コストボリュームテンソルを形成する。

【0051】

ブロック６４０で、ゲート付き回帰型ユニット（ＧＲＵ）の回帰型改良ループによって、物体コストボリュームと物体深度に基づいて相対的な動き推定を更新し、改良された物体の動きと改良された物体深度とを提供する。一実施形態では、改良された深度の予測は、深度信頼度スコアと深度値との加重和として計算されることが可能である。一実施形態では、改良された深度の予測は、ソフトａｒｇｍｉｎ演算子を用いて計算することができる。

【0052】

ブロック６５０において、改良された物体の動きと改良された物体深度とに基づいて、検出された物体のそれぞれについて３Ｄバウンディングボックスを再構築する。３Ｄバウンディングボックスは、３Ｄ物体のサイズ、３Ｄ物体の位置、および物体のヨー角を予測する。

【0053】

ブロック６６０において、検出された物体の少なくとも１つとの衝突を回避するために、検出された物体の少なくとも１つの３Ｄバウンディングボックスに基づいて車両の動きを制御するように車両システム（例えば、ブレーキ、加速、ステアリングなど）を制御する。

【0054】

本発明は、任意の可能な技術的詳細レベルの統合において、システム、方法、および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（または媒体）を含んでも良い。

【0055】

コンピュータ可読記憶媒体は、命令実行装置によって使用するための命令を保持し、格納することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせであっても良いが、これらに限定されるものではない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、以下のものが含まれる。携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯用コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多機能ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカードまたはそこに記録した命令を持つ溝の盛り上げ構造などの機械的にコード化したデバイスおよび前述の任意の適した組み合わせがある。本明細書で使用するコンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波管または他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を伝播する電磁波、またはワイヤを通過する電気信号などの一過性の信号そのものであると解釈されるものではない。

【0056】

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれの演算／処理装置に、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／または無線ネットワークを介して外部コンピュータまたは外部記憶装置にダウンロードすることが可能である。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバなどで構成される。各演算／処理装置内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれの演算／処理装置内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。

【0057】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳＭＡＬＬＴＡＬＫ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語などの１以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれであってもよい。コンピュータ可読プログラム命令は、利用者のコンピュータで完全に実行してもよいし、利用者のコンピュータの一部で、スタンドアロンのソフトウェアパッケージとして実行してもよいし、利用者のコンピュータの一部とリモートコンピュータの一部、またはリモートコンピュータやサーバで完全に実行してもよい。後者の場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）などの任意のタイプのネットワークを介して利用者のコンピュータに接続されてもよく、接続は外部のコンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行われることができる。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の側面を実行するために、コンピュータ可読プログラム命令の状態情報を利用して、電子回路を個人化し、コンピュータ可読プログラム命令を実行しても良い。

【0058】

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して、本明細書で説明される。フローチャート図および／またはブロック図の各ブロック、並びにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解されるであろう。

【0059】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、特殊目的コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図のブロックまたはブロックに指定された機能／動作を実施する手段を作り出すように、機械を製造することができる。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラム可能なデータ処理装置、および／または他の装置に特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に格納されることもでき、その中に格納された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図のブロックまたはブロックにおいて指定される機能／動作の側面を実装する命令を含む製造物品からなるように、そのような命令もまた、コンピュータ可読記憶媒体の中に格納されても良い。

【0060】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置にロードして、コンピュータ実装プロセスを生成するために、コンピュータ、他のプログラム可能な装置、または他の装置上で実行される命令が、フローチャートおよび／またはブロック図のブロックまたはブロックに指定される機能／動作を実装するように、一連の操作ステップを実行させることもできる。

【0061】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および動作を示す。この点で、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実行するための１つまたは複数の実行可能な命令からなる、命令のモジュール、セグメント、または部分を表すことができる。いくつかの代替的な実装では、ブロックに記された機能は、図に記された順序とは無関係に発生することがある。例えば、連続して表示される２つのブロックは、実際には実質的に同時に実行される場合もあれば、機能によっては逆の順序で実行される場合もある。また、ブロック図および／またはフローチャート図の各ブロック、およびブロック図および／またはフローチャート図のブロックの組み合わせは、特定の機能または動作を実行する、または特別な目的のハードウェアとコンピュータ命令との組み合わせを実行する特別な目的のハードウェア-ベースのシステムによって実装できることに注目されるであろう。

【0062】

明細書において、本発明の「一実施形態」または「一実施形態」、およびその他の変形例への言及は、実施形態に関連して説明した特定の特徴、構造、特性などが、本発明の少なくとも一実施形態に含まれることを意味する。したがって、本明細書中の各所に現れる「一実施形態において」または「一実施形態において」という表現、および他の任意の変形は、必ずしもすべてが同じ実施形態を指すとは限らない。

【0063】

例えば「Ａ／Ｂ」の場合、「Ａおよび／またはＢ」、「ＡとＢとの少なくとも１つ」のような、以下の「／」、「および／または」、「少なくとも1つ」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、または第２のリストされた選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を包含すると意図していると理解されよう。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣの少なくとも１つ」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、または第２のリストされた選択肢（Ｂ）のみの選択、または第３のリストされた選択肢（Ｃ）のみの選択、または第１および第２のリストされた選択肢（ＡおよびＢ）のみの選択、第１および第３のリストされた選択肢（ＡおよびＣ）のみの選択、第２および第３のリストされた選択肢（ＢおよびＣ）のみの選択、または３つすべての選択肢（ＡおよびＢおよびＣ）の選択を包含すると意図されている。このことは、本技術および関連技術分野の通常の知識を有する者が容易に理解できるように、記載された項目の数だけ拡張することができる。

【0064】

上記は、あらゆる点で例示的かつ例示的であるが、制限的なものではないと理解され、ここに開示された発明の範囲は、詳細な説明からではなく、特許法によって許される全幅に従って解釈された請求項から決定されるものである。本明細書に示され説明された実施形態は、本発明の例示に過ぎず、当業者は、本発明の範囲及び精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者であれば、本発明の範囲と精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、特許法が要求する詳細さと特殊性をもって本発明の側面を説明したが、特許状によって請求され、保護されることを望むものは、添付の特許請求の範囲に記載されているとおりである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】