特許 6799169 マルチモーダル融合による３Ｄオブジェクト検出と配向推定の結合

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6799169

(24)【登録日】2020年11月24日

(45)【発行日】2020年12月9日

(54)【発明の名称】マルチモーダル融合による３Ｄオブジェクト検出と配向推定の結合

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201130BHJP

【ＦＩ】

   G06T7/00 350C

   G06T7/00 650Z

【請求項の数】20

【全頁数】19

(21)【出願番号】特願2019-546869(P2019-546869)

(86)(22)【出願日】2018年3月16日

(65)【公表番号】特表2020-509494(P2020-509494A)

(43)【公表日】2020年3月26日

(86)【国際出願番号】US2018022995

(87)【国際公開番号】WO2018170472

(87)【国際公開日】20180920

【審査請求日】2019年8月27日

(31)【優先権主張番号】62/473,054

(32)【優先日】2017年3月17日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(72)【発明者】

【氏名】ワン、チエンイー

(72)【発明者】

【氏名】チェン、イーチェン

(72)【発明者】

【氏名】ラクシュミー ナラヤナン、アスマナラヤン

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００９−０５３０５９（ＪＰ，Ａ）

【文献】 特開２０１０−０６１６５５（ＪＰ，Ａ）

【文献】 特開２０１３−１５６７１８（ＪＰ，Ａ）

【文献】 米国特許第８４８８８７７（ＵＳ，Ｂ１）

【文献】 Shuran Song et al.，"Deep Sliding Shapes for Amodal 3D Object Detection in RGB-D Images"，2016 IEEE Conference on Computer Vision and Pattern Recognition，米国，IEEE，２０１６年 ６月２７日，pp.808-816

【文献】 Markus Braun et al.，"Pose-RCNN: Joint Object Detection and Pose Estimation Using 3D Object Proposals"，2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC)，米国，IEEE，２０１６年１１月 １日，pp.1546-1551

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

３Ｄポイントクラウド及び２Ｄ画像からオブジェクトを識別する方法であって、
前記３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定することと、
３Ｄ畳み込みニューラルネットワークに基づいて、前記３Ｄポイントクラウドから、第２の３Ｄ提案セットを決定することと、
前記第１の３Ｄ提案セット及び前記第２の３Ｄ提案セットをプールして、３Ｄ候補セットを決定することと、
前記第１の３Ｄ提案セットを、前記２Ｄ画像上に投影することと、
２Ｄ畳み込みニューラルネットワークを使用して、前記画像に基づいて、第１の２Ｄ提案セットを決定することと、
前記投影された第１の３Ｄ提案セット及び前記第１の２Ｄ提案セットをプールして、２Ｄ候補セットを決定することと、
前記３Ｄ候補セット及び前記２Ｄ候補セットをプールすることと、を含む、方法。

【請求項2】

前記３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定することが、
前記３Ｄポイントクラウドの離散化ボクセルを表す占有グリッドを生成することと、
前記３Ｄポイントクラウドに基づいて、各ボクセルを、占有又は未占有のいずれかとして指定することと、
ＬｉＤＡＲ光線が通り抜けたボクセルに対応する占有確率で、前記占有グリッドを更新することと、
閉塞したボクセルの占有確率を設定して、前記ボクセルが占有されていることを示すことと、を含む、請求項１に記載の方法。

【請求項3】

前記３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定することが、
前記３Ｄポイントクラウドから、グラウンドポイントを除去することと、
閾値未満のユークリッド距離を有する前記ポイントクラウドのポイントを、提案されたクラスタにクラスタ化することと、を含む、請求項１に記載の方法。

【請求項4】

前記３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定することが、
長さ、幅、高さ、及び中心座標を有する３Ｄ提案ボックスとして、各提案されたクラスタをパラメータ化することを更に含む、請求項３に記載の方法。

【請求項5】

各提案されたクラスタをパラメータ化することが、
グラウンド高さ及びオブジェクト高さに基づいて、前記中心座標のｚ座標を設定することと、
前記提案ボックス内のボクセルの占有確率を最大化する、固定長さ及び高さ、並びにｘ及びｙ座標を有する、少なくとも１つの提案ボックスを生成することと、を含む、請求項４に記載の方法。

【請求項6】

前記少なくとも１つの提案ボックスを生成することが、提案されたクラスタについての複数の提案ボックスを生成することを含み、各提案ボックスが、長さ、高さ、及び幅の異なる組み合わせを有する、請求項５に記載の方法。

【請求項7】

３Ｄ畳み込みニューラルネットワークに基づいて、前記３Ｄポイントクラウドから第２の３Ｄ提案セットを決定することが、複数の畳み込み層及び少なくとも１つの最大プーリング層を適用して、前記第２の３Ｄ提案セットを含む畳み込み特徴マップを生成することを含む、請求項１に記載の方法。

【請求項8】

前記第１の３Ｄ提案セット及び前記第２の３Ｄ提案セットをプールすることが、
前記第２の３Ｄ提案セットの各３Ｄ提案について、前記畳み込み特徴マップから固定サイズの３Ｄ特徴ベクトルを抽出することと、
完全に接続された層を使用して、前記固定サイズの３Ｄ特徴ベクトルを平坦化することと、を含む、請求項７に記載の方法。

【請求項9】

２Ｄ畳み込みニューラルネットワークを使用して、前記画像に基づいて、前記第１の２Ｄ提案セットを決定することが、前記２Ｄ畳み込みニューラルネットワークを使用して、２Ｄ特徴マップを生成することを含む、請求項１に記載の方法。

【請求項10】

前記投影された第１の３Ｄ提案セット及び前記第１の２Ｄ提案セットをプールして、２Ｄ候補セットを決定することが、各２Ｄ提案ボックスの固定された２Ｄ特徴ベクトルを抽出することを含む、請求項１に記載の方法。

【請求項11】

前記３Ｄ候補セット及び前記２Ｄ候補セットをプールすることが、前記３Ｄ候補セットを表す３Ｄ特徴ベクトルと、前記２Ｄ候補セットを表す２Ｄ特徴ベクトルとの間の外積を計算して、マルチモーダル表現を生成することを含む、請求項１に記載の方法。

【請求項12】

前記３Ｄ候補セット及び前記２Ｄ候補セットをプールすることが、前記マルチモーダル表現から前記３Ｄ提案ボックスのサイズ及び配向を回帰させることを含む、請求項１１に記載の方法。

【請求項13】

車両であって、
２Ｄ画像を取得するように構成された、カメラと、
３Ｄポイントクラウドを取得するように構成された、光検出及び測距（ＬｉＤＡＲ）システムと、
前記３Ｄポイントクラウド及び前記２Ｄ画像からオブジェクトを識別するように構成された、マルチモーダル融合システムであって、メモリ、及び前記メモリに通信可能に結合されたプロセッサを含む、マルチモーダル融合システムと、を備え、前記プロセッサが、
前記３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定することと、
３Ｄ畳み込みニューラルネットワークに基づいて、前記３Ｄポイントクラウドから、第２の３Ｄ提案セットを決定することと、
前記第１の３Ｄ提案セット及び前記第２の３Ｄ提案セットをプールして、３Ｄ候補セットを決定することと、
前記第１の３Ｄ提案セットを、前記２Ｄ画像上に投影することと、
２Ｄ畳み込みニューラルネットワークを使用して、前記画像に基づいて、第１の２Ｄ提案セットを決定することと、
前記投影された第１の３Ｄ提案セット及び前記第１の２Ｄ提案セットをプールして、２Ｄ候補セットを決定することと、
前記３Ｄ候補セット及び前記２Ｄ候補セットをプールすることと、を行うように構成されている、車両。

【請求項14】

前記プロセッサが、
前記３Ｄポイントクラウドの離散化ボクセルを表す占有グリッドを生成することと、
前記３Ｄポイントクラウドに基づいて、各ボクセルを、占有又は未占有のいずれかとして指定することと、
ＬｉＤＡＲ光線が通り抜けたボクセルに対応する占有確率で、前記占有グリッドを更新することと、
閉塞したボクセルの占有確率を設定して、前記ボクセルが占有されていることを示すことと、を行うように構成されている、請求項１３に記載の車両。

【請求項15】

前記プロセッサが、
前記３Ｄポイントクラウドから、グラウンドポイントを除去することと、
閾値未満のユークリッド距離を有する前記ポイントクラウドのポイントを、提案されたクラスタにクラスタ化することと。
長さ、幅、高さ、及び中心座標を有する３Ｄ提案ボックスとして、各提案されたクラスタをパラメータ化することと、を行うように構成されている、請求項１３に記載の車両。

【請求項16】

前記プロセッサが、複数の畳み込み層及び少なくとも１つの最大プーリング層を適用して、前記第２の３Ｄ提案セットを含む畳み込み特徴マップを生成することを行うように構成されている、請求項１３に記載の車両。

【請求項17】

前記プロセッサが、
前記第２の３Ｄ提案セットの各３Ｄ提案について、前記畳み込み特徴マップから固定サイズの３Ｄ特徴ベクトルを抽出することと、
完全に接続された層を使用して、前記固定サイズの３Ｄ特徴ベクトルを平坦化することと、を行うように構成されている、請求項１６に記載の車両。

【請求項18】

前記プロセッサが、各２Ｄ提案ボックスについての固定された２Ｄ特徴ベクトルを抽出して、前記２Ｄ候補セットを決定するように構成されている、請求項１３に記載の車両。

【請求項19】

前記プロセッサが、
前記３Ｄ候補セットを表す３Ｄ特徴ベクトルと、前記２Ｄ候補セットを表す２Ｄ特徴ベクトルとの間の外積を計算して、マルチモーダル表現を生成することと、
前記マルチモーダル表現から前記３Ｄ提案ボックスのサイズ及び配向を回帰させることと、を行うように構成されている、請求項１３に記載の車両。

【請求項20】

コンピュータ実行可能命令を記憶するコンピュータ可読媒体であって、プロセッサによって実行されると、前記プロセッサに、
前記３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定することと、
３Ｄ畳み込みニューラルネットワークに基づいて、前記３Ｄポイントクラウドから、第２の３Ｄ提案セットを決定することと、
前記第１の３Ｄ提案セット及び前記第２の３Ｄ提案セットをプールして、３Ｄ候補セットを決定することと、
前記第１の３Ｄ提案セットを、前記２Ｄ画像上に投影することと、
２Ｄ畳み込みニューラルネットワークを使用して、前記画像に基づいて、第１の２Ｄ提案セットを決定することと、
前記投影された第１の３Ｄ提案セット及び前記第１の２Ｄ提案セットをプールして、２Ｄ候補セットを決定することと、
前記３Ｄ候補セット及び前記２Ｄ候補セットをプールすることと、を行わせる、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本特許出願は、本出願の譲受人に譲渡され、その全体が参照により本明細書に組み込まれる、２０１７年３月１７日に出願された、「ＪＯＩＮＴ ３Ｄ ＯＢＪＥＣＴ ＤＥＴＥＣＴＩＯＮ ＡＮＤ ＯＲＩＥＮＴＡＴＩＯＮ ＥＳＴＩＭＡＴＩＯＮ ＶＩＡ ＭＵＬＴＩＭＯＤＡＬ ＦＵＳＩＯＮ」という名称の仮出願第６２／４７３，０５４号の優先権を主張するものである。

【背景技術】

【0002】

３次元（three-dimensional、３Ｄ）シーンを理解することは、自動運転及びアドバンス運転支援システムを含む多くの用途に有用であり得る。これらの用途では、意思決定、リスク評価、及び行動計画のために、異なる交通参加者、例えば、車両、歩行者及びサイクリストをローカライズ及び認識することが有用であり得る。自動運転プラットフォームでは、各センサに長所と短所があるため、マルチモーダル感覚デバイスが一般的に使用されている。カメラ並びに光検出及び測距（light detection and ranging、ＬｉＤＡＲ）は、２つの一般的な知覚センサである。画像は、認識タスクのための大量の視覚的キューを含む。しかしながら、画像品質は、異なる照明変化の影響を受ける可能性があり、透視投影のために画像データから深さ情報を再構築することが困難になる可能性がある。一方、ＬｉＤＡＲセンサは、正確な深さ測定を提供し、照明に対して不変である。しかしながら、ＬｉＤＡＲセンサデータは比較的疎であるため、画像領域のようにオブジェクトを正確に認識することは困難であり得る。

【0003】

上記を考慮すると、関心のあるオブジェクトをより正確に検出し、それらの配向を、３Ｄで推定する方法が存在する可能性がある。更なる利点は、以下に提供される開示から明らかになるであろう。

【発明の概要】

【0004】

本概要は、以下の発明を実施するための形態で更に説明される概念の選択を、簡略化された形態で導入するために提供される。本概要は、特許請求される主題の重要な特徴を特定することを意図するものではなく、特許請求される主題の範囲を決定する際の補助として使用されることを意図するものでもない。

【0005】

一態様では、本開示は、３Ｄポイントクラウド及び２Ｄ画像からオブジェクトを識別するための方法を提供する。方法は、３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定することを含み得る。方法は、３Ｄ畳み込みニューラルネットワークに基づいて、３Ｄポイントクラウドから第２の３Ｄ提案セットを決定することを含んでもよい。方法は、第１の３Ｄ提案セット及び第２の３Ｄ提案セットをプールして、３Ｄ候補セットを決定することを含んでもよい。方法は、第１の３Ｄ提案セットを２Ｄ画像上に投影することを含んでもよい。方法は、２Ｄ畳み込みニューラルネットワークを使用して、画像に基づいて、第１の２Ｄ提案セットを決定することを含んでもよい。方法は、投影された第１の３Ｄ提案セット及び第１の２Ｄ提案セットをプールして、２Ｄ候補セットを決定することを含んでもよい。方法は、３Ｄ候補セット及び２Ｄ候補セットをプールすることを含んでもよい。

【0006】

別の態様では、本開示は、２Ｄ画像を取得するように構成されたカメラと、３Ｄポイントクラウドを取得するように構成された光検出及び測距（ＬｉＤＡＲ）システムと、を含む、車両を提供する。車両は、３Ｄポイントクラウド及び２Ｄ画像からオブジェクトを識別するように構成された、マルチモーダル融合システムを含み得る。マルチモーダル融合システムは、メモリと、メモリに通信可能に結合されたプロセッサと、を含み得る。プロセッサは、３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定するように構成され得る。プロセッサは、３Ｄ畳み込みニューラルネットワークに基づいて、３Ｄポイントクラウドから第２の３Ｄ提案セットを決定するように構成されてもよい。プロセッサは、第１の３Ｄ提案セット及び第２の３Ｄ提案セットをプールして、３Ｄ候補セットを決定するように構成されてもよい。プロセッサは、第１の３Ｄ提案セットを２Ｄ画像上に投影するように構成されてもよい。プロセッサは、２Ｄ畳み込みニューラルネットワークを使用して、画像に基づいて、第１の２Ｄ提案セットを決定するように構成されてもよい。プロセッサは、投影された第１の３Ｄ提案セット及び第１の２Ｄ提案セットをプールして、２Ｄ候補セットを決定するように構成されてもよい。プロセッサは、３Ｄ候補セット及び２Ｄ候補セットをプールするように構成されてもよい。

【0007】

別の態様では、本開示は、プロセッサによって実行されると、プロセッサに、３Ｄポイントクラウド及び２Ｄ画像からオブジェクトを識別させる命令を含む、非一時的コンピュータ可読媒体を提供する。コンピュータ可読媒体は、３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定するための命令を含んでもよい。コンピュータ可読媒体は、３Ｄ畳み込みニューラルネットワークに基づいて、３Ｄポイントクラウドから第２の３Ｄ提案セットを決定するための命令を含んでもよい。コンピュータ可読媒体は、第１の３Ｄ提案セット及び第２の３Ｄ提案セットをプールして、３Ｄ候補セットを決定するための命令を含んでもよい。コンピュータ可読媒体は、第１の３Ｄ提案セットを２Ｄ画像上に投影するための命令を含んでもよい。コンピュータ可読媒体は、２Ｄ畳み込みニューラルネットワークを使用して、画像に基づいて、第１の２Ｄ提案セットを決定するための命令を含んでもよい。コンピュータ可読媒体は、投影された第１の３Ｄ提案セット及び第１の２Ｄ提案セットをプールして、２Ｄ候補セットを決定するための命令を含んでもよい。コンピュータ可読媒体は、３Ｄ候補セット及び２Ｄ候補セットをプールするための命令を含んでもよい。

【0008】

本発明のこれら及び他の態様は、以下の発明を実施するための形態を検討すると、より完全に理解されるであろう。

【図面の簡単な説明】

【0009】

本開示に特徴的であると考えられる新規な特徴は、添付の特許請求の範囲に記載される。以下の説明において、明細書及び図面を通して、同様の部分にはそれぞれ同一の符号を付す。図面は必ずしも縮尺どおりに描画されておらず、明確性及び簡潔さのために、特定の図面は、誇張された又は一般化された形態で示されてもよい。しかしながら、本開示自体、並びにその好ましい使用形態、更なる目的及び進歩は、添付図面と併せて読むと、本開示の例示的な態様の以下の詳細な説明を参照することによって、最も良く理解されるであろう。

【0010】

【図1】本開示の態様による、３Ｄオブジェクト検出及び配向のためのマルチモーダル融合システムの例示的な動作環境を示す概略図である。

【0011】

【図2】本開示の態様による、マルチモーダル融合システムの全体的アーキテクチャを示す概念図である。

【0012】

【図3】本開示の態様による、オブジェクト検出のための例示的な３Ｄポイントクラウドを示す図である。

【0013】

【図4】本開示の態様による、オブジェクト検出のための例示的な２Ｄ画像を示す図である。

【0014】

【図5】本開示の態様による、オブジェクト検出及びローカリゼーションの例示的な方法を示すフローチャートを示す図である。

【0015】

【図6】本開示の態様による使用のための、様々なハードウェア構成要素及び他の特徴の例示的なシステム図を示す。

【0016】

【図7】本開示の態様による使用のための、様々な例示的なシステム構成要素のブロック図である。

【発明を実施するための形態】

【0017】

以下は、本明細書で使用される選択された用語の定義を含む。定義は、用語の範囲内に含まれ、かつ実装に使用され得る、様々な実施例及び／又は構成要素の形態を含む。実施例は、限定することを意図するものではない。

【0018】

本明細書で使用される場合、「プロセッサ」という用語は、信号を処理し、一般的なコンピューティング及び演算機能を実行する。プロセッサによって処理された信号は、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は受信、送信、及び／若しくは検出され得る他のコンピューティングを含んでもよい。

【0019】

本明細書で使用される場合、「バス」という用語は、単一又は複数のシステム内のコンピュータ構成要素間でデータを転送するように動作可能に接続された、相互接続されたアーキテクチャを指す。バスは、とりわけ、メモリバス、メモリコントローラ、周辺バス、外部バス、クロスバースイッチ、及び／又はローカルバスであってもよい。バスはまた、とりわけ、コントローラエリアネットワーク（Controller Area network、ＣＡＮ）、ローカル相互接続ネットワーク（Local Interconnect Network、ＬＩＮ）などのプロトコルを使用して、車両内部の構成要素を相互接続する、車両バスであってもよい。

【0020】

本明細書で使用される場合、「メモリ」という用語は、揮発性メモリ及び／又は不揮発性メモリを含み得る。不揮発性メモリには、例えば、ＲＯＭ（read only memory：読み取り専用メモリ）、ＰＲＯＭ（programmable read only memory：プログラマブル読み取り専用メモリ）、ＥＰＲＯＭ（erasable PROM：消去可能なＰＲＯＭ）、及びＥＥＰＲＯＭ（electrically erasable PROM：電気的消去可能なＰＲＯＭ）が含まれ得る。揮発性メモリには、例えば、ＲＡＭ（random access memory：ランダムアクセスメモリ）、同期ＲＡＭ（synchronous RAM、ＳＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、シンクロナスＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（double data rate SDRAM、ＤＤＲ ＳＤＲＡＭ）、及び／又はダイレクトＲＡＭバスＲＡＭ（direct RAM bus RAM、ＤＲＲＡＭ）が含まれ得る。

【0021】

本明細書で使用するとき、「動作可能な接続」は、エンティティが「動作可能に接続される」接続を含み得、これは、信号、物理的通信、及び／又は論理的通信が、送信及び／又は受信され得るものである。動作可能な接続は、物理的インターフェース、データインターフェース、及び／又は電気インターフェースを含んでもよい。

【0022】

本明細書で使用される場合、「車両」という用語は、任意の形態のエネルギーによって電力供給される、任意の移動車両を指す。車両は、人間の乗員又は積荷を運び得る。「車両」という用語には、限定するものではないが、自動車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクーター、ボート、パーソナルウォータークラフト、及び航空機が含まれる。場合によっては、モータ車両は、１つ以上のエンジンを含む。

【0023】

２Ｄオブジェクト検出に関する最近の研究は、ディープ畳み込みニューラルネットワークの成功により大きな進歩を遂げてきた。しかしながら、画像から深さ情報を再構成することは、深さ情報が３Ｄオブジェクト検出に必要とされる可能性があるため、困難であることが知られている。本開示は、ＬｉＤＡＲポイントクラウドデータ及び画像データを活用して、オブジェクトを３Ｄにローカライズするためのシステムを提供する。本開示は、運転シナリオにおいてマルチクラスオブジェクトを取り扱うための効果的な３Ｄオブジェクト提案アルゴリズムを提供する。本開示は、２Ｄ及び３Ｄ畳み込みニューラルネットワークを、２Ｄ及び３Ｄ関心領域（region of interest、ＲＯＩ）プーリングと統合する、フレームワークを提供する。本開示は、画像及びポイントクラウドからの情報を組み込むために、小型バイリニアプーリングアルゴリズムを使用するマルチモーダルフレームワークを提供する。フレームワークは、ＫＩＴＴＩデータセットなどの困難な現実世界のデータセットにおいて好ましい結果を示す。

【0024】

図１を参照すると、本開示の一態様による、３Ｄオブジェクト検出及び配向のためのオブジェクト検出システム１１０の例示的な動作環境１００の概略図が提供される。オブジェクト検出システム１１０は、車両１０２内に存在してもよい。オブジェクト検出システム１１０の構成要素、並びに本明細書で考察される他のシステムの構成要素、ハードウェアアーキテクチャ、及びソフトウェアアーキテクチャは、組み合わされてもよく、省略されてもよく、又は様々な実装形態に編成されてもよい。

【0025】

車両１０２は、概して、複数の車両システムを動作可能に制御する、電子制御ユニット（electronic control unit、ＥＣＵ）１１２を含むことができる。車両システムは、とりわけ、車両ＨＶＡＣシステム、車両オーディオシステム、車両ビデオシステム、車両インフォテインメントシステム、車両電話システムなどを含むマルチモーダル融合システム１４０を含む、オブジェクト検出システム１１０を含むことができるが、これらに限定されない。マルチモーダル融合システム１４０は、以下に更に詳細に記載されるように、ＥＣＵ１１２に接続されて、車両１０２を取り囲む環境の画像をまた提供し得る、カメラ１２０又は他の画像捕捉デバイス（例えば、スキャナ）を含むことができる。マルチモーダル融合システム１４０はまた、３Ｄポイントクラウドを捕捉することができる、ＬｉＤＡＲセンサ１２２を含んでもよい。オブジェクト検出システム１１０はまた、カメラ１２０、ＬｉＤＡＲセンサ１２２、通信デバイス１３０及び自動運転システム１３２と通信する、プロセッサ１１４及びメモリ１１６を含んでもよい。

【0026】

ＥＣＵ１１２は、内部処理メモリ、インターフェース回路、及びデータを転送し、コマンドを送信し、車両システムと通信するためのバスラインを含んでもよい。ＥＣＵ１１２は、図示されていない内部プロセッサ及びメモリを含み得る。車両１０２はまた、オブジェクト検出システム１１０の様々な構成要素間でデータを内部的に送信するためのバスを含んでもよい。

【0027】

車両１０２は、車両１０２内の特徴及びシステムに関して、そして外部デバイスに関して内部で電子信号を送受信するために、様々なプロトコルを利用して、有線又は無線のコンピュータ通信を提供するための通信デバイス１３０（例えば、無線モデム）を更に含み得る。これらのプロトコルは、無線周波数（radio-frequency、ＲＦ）通信（例えば、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１５．１（Ｂｌｕｅｔｏｏｔｈ（登録商標）））、近距離通信システム（near field communication、ＮＦＣ）（例えば、ＩＳＯ １３１５７）、ローカルエリアネットワーク（local area network、ＬＡＮ）、無線ワイドエリアネットワーク（wireless wide area network、ＷＷＡＮ）（例えば、セルラー）、及び／又はポイントツーポイントシステムを利用する、無線システムを含んでもよい。更に、車両１０２の通信デバイス１３０は、バス（例えば、ＣＡＮ又はＬＩＮプロトコルバス）を介して、内部コンピュータ通信のために動作可能に接続されて、電子制御ユニット１１２と車両特徴及びシステムとの間のデータ入力及び出力を容易にすることができる。一態様では、通信デバイス１３０は、車対車間（vehicle-to-vehicle、Ｖ２Ｖ）通信用に構成されてもよい。例えば、Ｖ２Ｖ通信は、予約された周波数スペクトルにわたる無線通信を含み得る。別の実施例として、Ｖ２Ｖ通信は、Ｗｉ−Ｆｉ又はＢｌｕｅｔｏｏｔｈ（登録商標）を使用して設定された、車両間のアドホックネットワークを含んでもよい。

【0028】

車両１０２は、少なくとも１つのカメラ１２０を含んでもよい。カメラ１２０は、１つ以上の画像若しくは画像ストリームを捕捉することができるデジタルカメラであってもよく、又はスキャナなどの別の画像捕捉デバイスであってもよい。カメラ１２０は、車両１０２の直接的に前面の空間の画像を提供してもよい。他のカメラは、車両１０２を取り囲む他の空間の画像を提供してもよい。例えば、後方カメラは、車両のバンパーの上方に配置されてもよい。カメラ１２０は、マルチモーダル融合システム１４０の２Ｄブランチ１４６、及びマルチモーダル融合システム１４０の３Ｄブランチ１４４に、画像を提供してもよい。

【0029】

車両１０２は、少なくとも１つの光検出及び測距（ＬｉＤＡＲ）センサ１２２を含んでもよい。ＬｉＤＡＲセンサ１２２は、ある領域をレーザ光で照明し、後方散乱を検出することができる。ＬｉＤＡＲセンサ１２２は、オブジェクトがレーザ光を反射する潜在的位置を示す、３Ｄポイントクラウドを生成することができる。ＬｉＤＡＲセンサ１２２はまた、３Ｄポイントクラウドを、マルチモーダル融合システム１４０の３Ｄブランチ１４４及び３Ｄ提案モジュール１４２に提供し得る。

【0030】

車両１０２は、車両１０２を制御するための自動運転システム１３２を含んでもよい。自動運転システム１３２は、他のシステムの中でもとりわけ、車線維持支援システム、衝突警告システム、又は完全自律運転システムを含むことができる。自動運転システム１３２は、マルチモーダル融合システム１４０からオブジェクト位置及び配向情報を受信し得る。一態様では、マルチモーダル融合システム１４０は、自動運転システム１３２の構成要素であってもよい。

【0031】

図２は、マルチモーダル融合システムの全体的なフレームワークを示す概念図２００を示す。フレームワーク全体は、いくつかの部分、すなわち３Ｄオブジェクト提案モジュール１４２、３Ｄニューラルネットワークブランチ１４４、２Ｄニューラルネットワークブランチ１４６、並びに検出及び配向推定のためのマルチモーダル小型バイリニア（multimodal compact bilinear、ＭＣＢ）プーリング層１４８から構成される。

【0032】

３Ｄオブジェクト提案モジュール１４２は、３Ｄ空間内に多くの前景オブジェクトを配置するために、３Ｄ候補ボックスの小さいセットを生成することができる。３Ｄオブジェクト提案モジュール１４２は、離散化された３Ｄグリッド下での占有率推定、及び未加工のポイントクラウドを用いた３Ｄ幾何学的分析を活用して、３Ｄ空間内の正確なオブジェクト提案を提案することができる。図３は、例示的なＬｉＤＡＲポイントクラウド２０２を示す。（例えば、ＬｉＤＡＲセンサ１２２からの）ＬｉＤＡＲポイントクラウド２０２の単一フレームでは、ＬｉＤＡＲ範囲の閉塞及び限界により、周囲の全てのオブジェクトを位置特定することは困難である。例えば、前景オブジェクトに当たるＬｉＤＡＲ光線は、別のオブジェクトを閉塞するであろう。別の実施例として、遠くのオブジェクトのためのＬｉＤＡＲ光線は、指数関数的なＬｉＤＡＲ電力がより長い距離で減少するために、疎になる可能性がある。しかしながら、ＬｉＤＡＲは、周囲の良好な推定を得るために、単一フレームのＬｉＤＡＲポイントクラウドの最良の能力まで利用することができる。単一フレーム内の全てのＬｉＤＡＲ光線を追跡することにより、３Ｄオブジェクト提案モジュール１４２は、空間の占有確率を推定することができる。この方法は、バイナリ占有グリッドモデルと称されることがあり、バイナリ占有グリッド２０４を生成することができる。３Ｄ空間をボクセルに離散化した後、３Ｄオブジェクト提案モジュール１４２は、各ボクセルについて、占有又は未占有のバイナリ状態を仮定することができる。３Ｄオブジェクト提案モジュール１４２は、ＬｉＤＡＲ光線によって横断される各ボクセルの占有率ログオッズを反復的に更新してもよい。例えば、ボクセルの占有率ログオッズを更新するための手順は、Ｄ．Ｍａｔｕｒａｎａ及びＳ．Ｓｃｈｅｒｅｒ、「ＶｏｘＮｅｔ：Ａ ３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ．」、ＩＲＯＳ，２０１５に記載されており、これは参照により本明細書に組み込まれる。３Ｄオブジェクト提案モジュール１４２は、［０、１］の範囲の各ボクセルに対応する占有確率を生成し得る。ＬｉＤＡＲのヒッティング表面（例えば、閉塞表面）の後ろにあるので手順が更新されていないボクセルについては、３Ｄオブジェクト提案モジュールは、それらを占有されていると仮定し、確率を１に設定し得、これは、Ｍａｔｕｒａｎａ及びＳｃｈｅｒｅｒの手順とは異なる。離散化占有グリッドは、前景オブジェクトの可能な位置を狭めるＬｉＤＡＲのヒッティング表面を提供するだけでなく、エンドツーエンド融合ネットワークにおける更なる特徴抽出のために、３Ｄ入力のサイズも低減する。

【0033】

屋外運転シナリオの下で捕捉された単一フレームのＬｉＤＡＲポイントクラウド２０２は、同様のパターンを有し、未加工のＬｉＤＡＲポイントクラウドの幾何学的キューのみを考慮することにより、有意義なクラスタを抽出することが容易である。３Ｄオブジェクト提案モジュール１４２は、まず、例えば、プログレッシブ形態学的フィルタリングアルゴリズムを実行することができる、グラウンド除去モジュール２２０を使用して、グラウンドポイントを除去することができる。例示的なアルゴリズムは、Ｋ．Ｚｈａｎｇ，Ｓ．−Ｃ．Ｃｈｅｎ，Ｄ．Ｗｈｉｔｍａｎ，Ｍ．−Ｌ．Ｓｈｙｕ，Ｊ．Ｙａｎ及びＣ．Ｚｈａｎｇ、「Ａ Ｐｒｏｇｒｅｓｓｉｖｅ Ｍｏｒｐｈｏｌｏｇｉｃａｌ Ｆｉｌｔｅｒ ｆｏｒ Ｒｅｍｏｖｉｎｇ Ｎｏｎｇｒｏｕｎｄ Ｍｅａｓｕｒｅｍｅｎｔｓ Ｆｒｏｍ Ａｉｒｂｏｒｎｅ ＬＩＤＡＲ Ｄａｔａ．」ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＧＥＯＳＣＩＥＮＣＥ ＡＮＤ ＲＥＭＯＴＥ ＳＥＮＳＩＮＧ，４１（４）：８７２−８８２，２００３に記載されており、これは参照により本明細書に組み込まれる。例示的なアルゴリズムは、グラウンドポイントを抽出するために一般的に使用され、道路上のバンプに対して堅牢である。グラウンドポイントがポイントクラウドから取り除かれた後、３Ｄオブジェクト提案モジュール１４２は、ユークリッドクラスタリングモジュール２２２を使用することができ、これは、ユークリッドクラスタリングアルゴリズムを実行して、残りのポイントクラウド２０２をクラスタ化し、可能なオブジェクトクラスタを取得することができる。クラスタｃ内のポイントｐについて、３Ｄオブジェクト提案１４２モジュールは、Ｐとその最近傍との間のユークリッド距離を、ｄ_１として表すことができる。距離ｄ_１が閾値ｔｈ以下である場合、最近傍は、クラスタ内に含まれる。屋外シーン内のオブジェクト間の距離が異なるので、粒度の異なるオブジェクトクラスタを抽出するために、異なる閾値ｔｈが選択されてもよい。

【0034】

３Ｄ幾何学的分析から取得されたオブジェクトクラスタは、周囲のオブジェクトの大まかな位置を示すことができるが、３Ｄオブジェクト提案モジュール１４２は、より正確な位置及びサイズを有する、３Ｄボックスを更に提案することができる。３Ｄオブジェクト提案モジュール１４２は、ＬｉＤＡＲ座標系における３Ｄ提案ボックス２２６のサイズ（長さ、幅、及び高さ）及び中心（ｘ、ｙ、ｚ）（メートル単位）である（ｌ，ｗ，ｈ，ｘ，ｙ，ｚ）によって、各３Ｄ提案ボックス２２６をパラメータ化するための３Ｄ提案生成モジュール２２４を含んでもよい。３Ｄオブジェクト提案モジュール１４２は、目標オブジェクトカテゴリの共通のアスペクト比に対応する、３Ｄ提案ボックス２２６についての小さいサイズのセットＳ_ｓｉｚｅを指定することができる。３Ｄオブジェクト提案生成のための例示的なアルゴリズムは、参照により本明細書に組み込まれる、Ｘ．Ｃｈｅｎ，Ｈ．Ｍａ，Ｊ．Ｗａｎ，Ｂ．Ｌｉ及びＴ．Ｘｉａ，「Ｍｕｌｔｉ−Ｖｉｅｗ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｎｅｔｗｏｒｋ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ．」ｉｎ ＣＶＰＲ，２０１７に記載されている。

【0035】

３Ｄオブジェクト提案モジュール１４２は、Ｓ_ｓｉｚｅを取得するために、平均シフトクラスタリングアルゴリズムを使用して、訓練セット内のグラウンドトルス（ground truth、ＧＴ）オブジェクトサイズをクラスタ化してもよい。３Ｄ幾何学的分析から取得された各オブジェクトクラスタについて、３Ｄオブジェクト提案モジュール１４２は、（ｌ，ｗ，ｈ）∈Ｓ_ｓｉｚｅを有するボックスを提案してもよい。提案の配向は、ＬＩＤＡＲ座標系の長軸と整列するように固定されてもよい。

【0036】

各３Ｄ提案ボックス２２６の位置に関して、ボックス中心のｚ座標は、３Ｄ幾何学的分析からのグラウンド高さ及びオブジェクト高さｈに基づいて計算され得る。（ｘ、ｙ）を決定することは、占有グリッド２０４から導出された３Ｄ空間における占有推定を利用することができる。直感的に、周囲のオブジェクトは、ＬｉＤＡＲのヒッティング表面の前方にあるべきではなく、自由空間をカバーするべきではないと仮定され得る。したがって、占有グリッド２０４からのＬＩＤＡＲのヒッティング表面キューを活用することによって、各アスペクト比について、３Ｄオブジェクト提案モジュール１４２は、同時にオブジェクトクラスタを囲み、最も占有されている空間をカバーすることができる、提案ボックス２２６を生成することができる。ｚが既に固定されているため、３Ｄオブジェクト提案モジュール１４２は、（ｘ、ｙ）を変化させて、最も占有されているボックスを見つけることができる。ｘｙ平面上のオブジェクトクラスタの境界は、（Ｏｂｊ_ｘｍｉｎ，Ｏｂｊ_ｙｍｉｎ，Ｏｂｊ_ｘｍａｘ，Ｏｂｊ_ｙｍａｘ）と表すことができる。提案サイズ（ｌ，ｗ）では、中心の可能な位置は、［Ｏｂｊ_ｘｍａｘ−ｌ／２，Ｏｂｊｘｍｉｎ＋ｌ／２］×［Ｏｂｊ_ｙｍａｘ−ｗ／２，Ｏｂｊ_ｙｍｉｎ＋ｗ／２］の範囲である。中心の各可能な位置に対して、３Ｄオブジェクト提案モジュール１４２は、ボックス内の占有率オッズの合計を計算し、最後に最大の占有確率を有するものを選択することができる。オブジェクトクラスタが大きすぎてボックスで囲むことができない場合、これは、Ｏｂｊ_ｘｍａｘ−ｌ／２＞Ｏｂｊ_ｘｍｉｎ＋ｌ／２又はＯｂｊ_ｙｍａｘ−ｗ／２＞Ｏｂｊｙｍｉｎ＋ｗ／２のときに起こり、その際、オブジェクトクラスタは必ずしも完全ではないので、３Ｄオブジェクト提案モジュール１４２は、ｘ＝（Ｏｂｊ_ｘｍｉｎ＋Ｏｂｊ_ｘｍａｘ）／２及びｙ＝（Ｏｂｊ_ｙｍｉｎ＋Ｏｂｊ_ｙｍａｘ）／２でボックス２２６を生成することができる。最後に、Ｓ_ｓｉｚｅにＮ個の異なるサイズが存在し、３Ｄ幾何学的分析からＫ個のオブジェクトクラスタが存在する場合、ＮＫ個の異なる提案ボックスが存在であろう。３Ｄ幾何学的分析によるオブジェクトクラスタＫの数が異なるため、提案数はポイントクラウドのフレームごとに異なるであろう。

【0037】

マルチモーダル融合システム１４０は、マルチモーダル情報から正確な３Ｄローカリゼーション及び分類結果を提供することができる。ＬｉＤＡＲポイントクラウド２０２は、オブジェクトのより堅牢な３Ｄローカリゼーション（位置及び配向を含む）を提供することができるが、ＬｉＤＡＲポイントクラウド２０２の分析は、疎なデータでは、オブジェクトをうまく認識することができない。一方、画像２０６は、赤−緑−青（red-green-blue、ＲＧＢ）チャネルからの情報を有し、より高密度に構造化されたデータを提供するので、画像２０６は、オブジェクトを認識するためのはるかに優れた能力を有する。図４は、図３のポイントクラウド２０２と同じ環境の表現を示す、例示的な画像２０６を示す。したがって、マルチモーダル融合システム１４０は、３Ｄニューラルネットワークブランチ１４４及び２Ｄニューラルネットワークブランチ１４６を使用して、両方のデータセットからの利点を活用することができ、３Ｄオブジェクト提案を共同で分類し、３Ｄ提案ボックス回帰を行うことができる。

【0038】

マルチモーダル融合システム１４０の３Ｄブランチ１４４は、元の３ＤのＬＩＤＡＲポイントクラウド２０２をより低い解像度で表す占有グリッド２０４全体を、入力として取り得る。３Ｄブランチ１４４は、いくつかの３Ｄ畳み込み層２１０、２１４及び最大プーリング層２１２を使用して、特徴を抽出してもよい。３Ｄブランチ１４４は、３Ｄ提案ボックス２２６ごとに、３Ｄで畳み込み特徴マップを生成し得る。例示的な技術は、参照により本明細書に組み込まれる、Ｒ．Ｇｉｒｓｈｉｃｋ，「Ｆａｓｔ Ｒ−ＣＮＮ」ｉｎ ＩＣＣＶ，２０１５に記載されている。３Ｄブランチ１４４は、３Ｄ関心領域（ＲＯＩ）プーリング層２１６を使用して、畳み込み層２１４によって出力された特徴マップから固定サイズ３Ｄ特徴ベクトルを抽出することができる。完全に接続された層２１８は、更なる融合プロセスのために特徴ベクトルを平坦化するために、３Ｄブランチ１４４の端部に積み重ねられてもよい。

【0039】

ネットワーク設計の場合、例示的な３Ｄブランチ１４４は、最大プーリング層２１２を有する２つの３Ｄ畳み込み層２１０と、続いて別の２つの３Ｄ畳み込み層２１４とを積層して、占有グリッドから特徴を抽出する。例えば、３Ｄ畳み込み層２１０は、ニューラルネットワークに対して、（３２、５、２、１）のパラメータを使用することができる。畳み込み層２１４は、ニューラルネットワークに対して、（６４、５、２、１）のパラメータを使用することができる。交通シーン（例えば、ポイントクラウド２０２）内の目標オブジェクト（例えば、自動車、歩行者、サイクリスト）のサイズは、全３Ｄ空間と比較して非常に小さい場合があるので、３Ｄブランチ１４４は、それらの小さいオブジェクトを検出するために、大きい特徴マップを維持するために１つの最大プーリング層２１２のみを適用することができる。構造化された情報が、画像２０６と比較して占有グリッド２０４内で少ないため、このアーキテクチャ設計は、３Ｄにおける学習強力表現を提供することが見出された。

【0040】

融合ネットワーク２００の２Ｄブランチ１４６は、Ｇｉｒｓｈｉｃｋによって説明されるようなＦａｓｔ−ＲＣＮＮネットワークなどの２Ｄ畳み込みネットワーク２３０を含んでもよい。Ｆａｓｔ−ＲＣＮＮネットワークは、入力として画像２０６全体を取ることができ、ＶＧＧ１６ネットワークを使用して、２Ｄ特徴マップを生成することができる。更に、２Ｄ提案ボックス２３２は、投影によって３Ｄ提案ボックス２２６から取得されてもよい。次いで、２ＤのＲＯＩプーリング層２３４は、２Ｄ提案ボックス２３２ごとに固定された２Ｄ特徴ベクトルを抽出してもよい。次に、完全に接続された層２３６は、３Ｄブランチ１４４のように２Ｄ特徴ベクトルを平坦化することができる。

【0041】

両方の入力（ポイントクラウド２０２及び画像２０６）からの利点を活用するために、マルチモーダル小型バイリニア（ＭＣＢ）プーリング層１４８を使用して、マルチモーダル特徴を効率的かつ表現的に組み合わせることができる。元のバイリニアプーリングモデルは、２つのベクトル間の外積を計算し、これにより、両方のベクトルの全ての要素間の乗法的な相互作用が可能になる。次いで、元のバイリニアプーリングモデルは、次元数を低減し、バイリニアプーリングの効率を向上させるために、カウントスケッチ投影関数を利用した。元のバイリニアプーリングモデルの例は、Ａ．Ｆｕｋｕｉ，Ｄ．Ｈ．Ｐａｒｋ，Ｄ．Ｙａｎｇ，Ａ．Ｒｏｈｒｂａｃｈ，Ｔ．Ｄａｒｒｅｌｌ及びＭ．Ｒｏｈｒｂａｃｈ，「Ｍｕｌｔｉｍｏｄａｌ Ｃｏｍｐａｃｔ Ｂｉｌｉｎｅａｒ Ｐｏｏｌｉｎｇ ｆｏｒ Ｖｉｓｕａｌ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ ａｎｄ Ｖｉｓｕａｌ Ｇｒｏｕｎｄｉｎｇ」ｉｎ ａｒＸｉｖ，２０１６、並びにＹ．Ｇａｏ，Ｏ．Ｂｅｉｊｂｏｍ，Ｎ．Ｚｈａｎｇ及びＴ．Ｄａｒｒｅｌｌ，「Ｃｏｍｐａｃｔ Ｂｉｌｉｎｅａｒ Ｐｏｏｌｉｎｇ」ｉｎ ＣＶＰＲ，２０１６に記載されており、その両方とも参照により本明細書に組み込まれる。視覚的及びテキスト表現からのマルチモーダル特徴を組み合わせることにより、元の小型バイリニアプーリング層を、視覚的質問応答タスクに適用した。マルチモーダル小型バイリニアプーリングの成功は、２つの非常に異なるドメインからの特徴の融合を取り扱う可能性を示している。

【0042】

一態様では、マルチモーダル小型バイリニアプーリング層１４８は、３Ｄドメインから３Ｄブランチ１４４によって、及び２Ｄドメインから２Ｄブランチ１４６によって抽出された２つの平坦化された特徴ベクトルを取り、分類及び３Ｄバウンディングボックス回帰のための４０９６−Ｄマルチモーダル表現を生成してもよい。分類は、分類モジュール２４０によって実行されてもよい。

【0043】

マルチモーダル小型バイリニアプーリング層１４８からの融合表現を考慮すると、バウンディングボックス回帰モジュール２４２は、３Ｄ提案ボックス２２６から、３Ｄバウンディングボックスの配向及びサイズを回帰させることができる。サイズ回帰については、Ｆａｓｔ−ＲＣＮＮと同様に、バウンディングボックス回帰モジュール２４２は、ｔ＝（Δｘ、Δｙ、Δｚ、Δｌ、Δｗ、Δｈ）によって、回帰目標をパラメータ化することができ、ここで、（Δｘ、Δｙ、Δｚ）は、提案サイズによって正規化された中心オフセットであり、（Δｌ、Δｗ、Δｈ）は、Δｓ＝ｌｏｇ（ｓ_ＧＴ／ｓ_{ｐｒｏｐｏｓａｌ}），ｓ∈｛ｌ，ｗ，ｈ｝として計算される。配向回帰の場合、３Ｄ配向回帰モジュール２４４は、Δθ＝θ_ＧＴ−θ_{ｐｒｏｐｏｓａｌ}によって、回帰目標をパラメータ化することができ、ここでθは、ｚ軸の周りの３Ｄバウンディングボックスの回転角である。車両設定では、グラウンドトルス（ＧＴ）は、（ｌ、ｗ、ｈ）が常に（ｘ、ｙ、ｚ）軸と整列するように注釈が付けられているので、角度範囲は、配向回帰をより容易にする［−π／４、π／４］で制限され得る。提案ボックスは、ＬＩＤＡＲ座標の主軸と整列するように設定されているため（θ_{ｐｒｏｐｏｓａｌ}＝０）、配向目標は、Δθ＝Δ_ＧＴとして簡略化され得る。

【0044】

図５は、オブジェクト及び配向を検出するための例示的な方法５００のフローチャートを示す。方法５００は、車両１０２内のオブジェクト検出システム１１０によって実行されてもよい。

【0045】

ブロック５１０において、方法５００は、３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定することを含み得る。一態様では、例えば、３Ｄ提案モジュール１４２は、３Ｄポイントクラウド上でユークリッドクラスタリングを使用して、第１の３Ｄ提案セットを決定することができる。一態様では、ブロック５１０は、３Ｄポイントクラウドの離散化ボクセルを表す占有グリッドを生成することを含み得る。例えば、３Ｄ提案モジュール１４２は、バイナリ占有グリッド２０４を生成してもよい。ブロック５１０は、３Ｄポイントクラウドに基づいて、各ボクセルを占有又は非占有のいずれかとして指定することを含み得る。例えば、３Ｄ提案モジュール１４２は、ポイントクラウド２０２に基づいて、バイナリ占有グリッド２０４の各ボクセルを、占有又は非占有のいずれかとして指定してもよい。ブロック５１０は、ＬｉＤＡＲ光線が通り抜けたボクセルに対応する占有確率で、占有グリッドを更新することを含み得る。例えば、３Ｄ提案モジュール１４２は、ＬｉＤＡＲ線が通り抜けたボクセルに対応する占有確率で、バイナリ占有グリッド２０４を更新し得る。ブロック５１０は、ボクセルが占有されていることを示すために、閉塞したボクセルの占有確率を設定することを含み得る。例えば、３Ｄ提案モジュール１４２は、バイナリ占有グリッド２０４内の閉塞したボクセルの占有確率を設定して、ボクセルが占有されていることを示し得る。例えば、表面によって閉塞されているボクセルは、表面の背後にあるオブジェクトによって占められていると仮定することができる。

【0046】

別の態様では、ブロック５１０は、３Ｄポイントクラウドからグラウンドポイントを除去することを含み得る。例えば、グラウンド除去モジュール２２０は、ポイントクラウド２０２からグラウンドポイントを除去することができる。ブロック５１０は、閾値未満のユークリッド距離を有するポイントクラウドのポイントを、提案されたクラスタにクラスタ化することを含み得る。例えば、ユークリッドクラスタリングモジュール２２２は、閾値未満のユークリッド距離を有するポイントクラウド２０２のポイントを、提案されたクラスタにクラスタ化することができる。

【0047】

一態様では、ブロック５１０は、長さ、幅、高さ、及び中心座標を有する３Ｄ提案ボックスとして、各提案されたクラスタをパラメータ化することを含み得る。例えば、３Ｄ提案生成モジュール２２４は、長さ、幅、高さ、及び中心座標を有する３Ｄ提案ボックス２２６として、各提案されたクラスタをパラメータ化することができる。３Ｄ提案生成モジュール２２４は、グラウンド高さ（グラウンド除去モジュール２２０によって決定される）及び提案ボックス２２６の高さに基づいて、中心座標のｚ座標を設定してもよい。一態様では、ブロック５１０は、固定長さ及び高さを有する少なくとも１つの提案ボックス２２６を生成することを含んでもよい。提案ボックス２２６の中心座標のｘ座標及びｙ座標は、提案ボックス２２６内のボクセルの占有確率を最大化するように選択され得る。例えば、３Ｄ提案生成モジュール２２４は、（例えば、所定のオブジェクトタイプに基づいて）固定長さ及び高さを設定し、提案ボックス２２６の占有率を最大にするｘ座標及びｙ座標を選択してもよい。３Ｄ提案生成モジュール２２４は、提案されたクラスタについての複数の提案ボックスを生成してもよく、各提案ボックスは、（例えば、異なる所定のオブジェットタイプに対応する）長さ、高さ、及び幅の異なる組み合わせを有する。ブロック５２０において、方法５００は、３Ｄ畳み込みニューラルネットワークに基づいて、３Ｄポイントクラウドから第２の３Ｄ提案セットを決定することを含み得る。一態様では、例えば、３Ｄブランチ１４４は、３Ｄ畳み込みニューラルネットワークに基づいて、３Ｄポイントクラウドから第２の３Ｄ提案セットを決定することができる。一態様では、３Ｄブランチ１４４は、複数の畳み込み層及び少なくとも１つの最大プーリング層を適用して、第２の３Ｄ提案セットを含む畳み込み特徴マップを生成することができる。例えば、３Ｄ畳み込みニューラルネットワークは、３Ｄ畳み込み層３１０、最大プーリング層２１２、及び３Ｄ畳み込み層３１２を含み得る。

【0048】

ブロック５３０において、方法５００は、第１の３Ｄ提案セット及び第２の３Ｄ提案セットをプールして、３Ｄ候補セットを決定することを含み得る。一態様では、例えば、３Ｄブランチ１４４は、３Ｄ候補セットを決定するために、第１の３Ｄ提案セット及び第２の３Ｄ提案セットをプールすることができる。一態様では、ブロック５３０における第１の３Ｄ提案セット及び第２の３Ｄ提案セットをプールすることは、第２の３Ｄ提案セットの各３Ｄ提案について、畳み込み特徴マップから固定サイズの３Ｄ特徴ベクトルを抽出することを含み得る。例えば、３ＤのＲＯＩプーリング層１４４は、第２の３Ｄ提案セットの各３Ｄ提案について、畳み込み特徴マップから固定サイズの３Ｄ特徴ベクトルを抽出することができる。ブロック５３０はまた、完全に接続された層を使用して、固定サイズの３Ｄ特徴ベクトルを平坦化することも含み得る。例えば、３Ｄブランチ１４４は、完全に接続された層２１８を使用して、固定サイズの３Ｄ特徴ベクトルを平坦化することができる。

【0049】

ブロック５４０において、方法５００は、第１の３Ｄ提案セットを２Ｄ画像上に投影することを含み得る。一態様では、例えば、２Ｄブランチ１４６は、第１の３Ｄ提案セットを２Ｄ画像上に投影することができる。２Ｄブランチ１４６は、２Ｄ提案ボックス２３２を生成してもよい。

【0050】

ブロック５５０において、方法５００は、２Ｄ畳み込みニューラルネットワークを使用して、画像に基づいて、第１の２Ｄ提案セットを決定することを含み得る。一態様では、例えば、２Ｄブランチ１４６は、２Ｄ畳み込みニューラルネットワーク２３０を使用して、画像に基づいて、第１の２Ｄ提案セットを決定することができる。例えば、２Ｄ畳み込みニューラルネットワーク２３０は、第１の２Ｄ提案セットを含む２Ｄ特徴マップを生成することができる。

【0051】

ブロック５６０において、方法５００は、２Ｄ候補セットを決定するために、第１の３Ｄ提案セット及び第１の２Ｄ提案セットをプールすることを含み得る。一態様において、マルチモーダル小型バイリニアプーリング層１４８については、投影された第１の３Ｄ提案セット及び第１の２Ｄ提案セットをプールして、２Ｄ候補セットを決定することができる。

【0052】

ブロック５７０において、方法５００は、３Ｄ候補セット及び２Ｄ候補セットをプールすることを含んでもよい。一態様では、例えば、マルチモーダル小型バイリニアプーリング層１４８は、３Ｄ候補セット及び２Ｄ候補セットをプールしてもよい。一態様では、ブロック５７０は、３Ｄ候補セットを表す３Ｄ特徴ベクトルと、２Ｄ候補セットを表す２Ｄ特徴ベクトルとの間の外積を計算して、マルチモーダル表現を生成することを含んでもよい。ブロック５７０は、マルチモーダル表現から３Ｄ提案ボックスのサイズ及び配向を回帰させることを更に含んでもよい。例えば、３Ｄバウンディングボックス回帰モジュール２４２は、３Ｄ提案ボックスのサイズを回帰させることができ、３Ｄ配向回帰モジュール２４４は、３Ｄ提案ボックスの配向を回帰させることができる。

【0053】

本開示の態様は、ハードウェア、ソフトウェア、又はそれらの組み合わせを使用して実装されてもよく、１つ以上のコンピュータシステム又は他の処理システムにおいて実装されてもよい。一態様では、本開示は、本明細書に記載される機能を実行することができる、１つ以上のコンピュータシステムを対象とする。図６は、本開示の態様に従って使用され得る、様々なハードウェア構成要素及び他の特徴の例示的なシステム図を示す。本開示の態様は、ハードウェア、ソフトウェア、又はそれらの組み合わせを使用して実装されてもよく、１つ以上のコンピュータシステム又は他の処理システムにおいて実装されてもよい。１つの例示的な変形例では、本開示の態様は、本明細書に記載される機能を実行することができる、１つ以上のコンピュータシステムを対象とする。このようなコンピュータシステム６００の実施例を、図６に示す。

【0054】

コンピュータシステム６００は、プロセッサ６０４などの１つ以上のプロセッサを含む。プロセッサ６０４は、通信インフラストラクチャ６０６（例えば、通信バス、クロスオーバーバー、又はネットワーク）に接続されている。この例示的なコンピュータシステムに関して、様々なソフトウェア態様が記載される。この説明を読んだ後、当業者（複数可）には、他のコンピュータシステム及び／又はアーキテクチャを使用して、本開示の態様を実施する方法が明らかになるであろう。

【0055】

コンピュータシステム６００は、表示ユニット６３０上に表示するために、通信インフラストラクチャ６０６から（又は図示されないフレームバッファから）グラフィック、テキスト、及び他のデータを転送する、表示インターフェース６０２を含み得る。コンピュータシステム６００はまた、メインメモリ６０８、好ましくはランダムアクセスメモリ（ＲＡＭ）を含み、二次メモリ６１０も含み得る。二次メモリ６１０は、例えば、ハードディスクドライブ６１２、及び／又はフロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブなどを表す取り外し可能な記憶ドライブ６１４を含んでもよい。取り外し可能な記憶ドライブ６１４は、周知の様式で、取り外し可能な記憶ユニット６１８から読み取り、及び／又はそこに書き込む。取り外し可能な記憶ユニット６１８は、フロッピーディスク、磁気テープ、光ディスクなどを表し、これは取り外し可能な記憶ドライブ６１４によって読み取られ、そこに書き込まれる。理解されるように、取り外し可能な記憶ユニット６１８は、その中にコンピュータソフトウェア及び／又はデータを記憶する、コンピュータ使用可能な記憶媒体を含む。

【0056】

代替的な態様では、二次メモリ６１０は、コンピュータプログラム又は他の命令を、コンピュータシステム６００にロードすることを可能にするための他の同様のデバイスを含んでもよい。このようなデバイスは、例えば、取り外し可能な記憶ユニット６２２及びインターフェース６２０を含み得る。このような例としては、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲームデバイスに見られるものなど）、取り外し可能なメモリチップ（消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）又はプログラム可能な読み取り専用メモリ（ＰＲＯＭ）など）、及び関連するソケット、並びにソフトウェア及びデータが、取り外し可能な記憶ユニット６２２からコンピュータシステム６００に転送されることを可能にする、他の取り外し可能な記憶ユニット６２２及びインターフェース６２０が含まれ得る。

【0057】

コンピュータシステム６００はまた、通信インターフェース６２４を含み得る。通信インターフェース６２４は、ソフトウェア及びデータが、コンピュータシステム６００と外部デバイスとの間で転送されることを可能にする。通信インターフェース６２４の例としては、モデム、ネットワークインターフェース（イーサネットカードなど）、通信ポート、パーソナルコンピュータメモリカード国際協会（Personal Computer Memory Card International Association、ＰＣＭＣＩＡ）スロット及びカードなどを含むことができる。通信インターフェース６２４を介して転送されるソフトウェア及びデータは、通信インターフェース６２４によって受信されることが可能な電子、電磁気、光学、又は他の信号であり得る、信号６２８の形態である。これらの信号６２８は、通信経路（例えば、チャネル）６２６を介して、通信インターフェース６２４に提供される。この経路６２６は、信号６２８を搬送し、ワイヤ若しくはケーブル、光ファイバ、電話線、セルラリンク、無線周波数（ＲＦ）リンク、及び／又は他の通信チャネルを使用して、実装されてもよい。本文書では、「コンピュータプログラム媒体」及び「コンピュータ使用可能媒体」という用語は、一般に、取り外し可能な記憶ドライブ６８０、ハードディスクドライブ６７０に取り付けられたハードディスク、及び信号６２８などの媒体を指すために使用される。これらのコンピュータプログラム製品は、コンピュータシステム６００にソフトウェアを提供する。本開示の態様は、このようなコンピュータプログラム製品を対象とする。

【0058】

コンピュータプログラム（コンピュータ制御ロジックとも称される）は、メインメモリ６０８及び／又は二次メモリ６１０に記憶される。コンピュータプログラムはまた、通信インターフェース６２４を介して受信されてもよい。このようなコンピュータプログラムは、実行されると、本明細書で考察されるように、コンピュータシステム６００が、本開示の態様に従って様々な機能を実行することを可能にする。具体的には、コンピュータプログラムは、実行されると、プロセッサ６０４がそのような機能を実行することを可能にする。したがって、このようなコンピュータプログラムは、コンピュータシステム６００のコントローラを表す。

【0059】

本開示の態様がソフトウェアを使用して実装される変形例では、ソフトウェアは、コンピュータプログラム製品に記憶され、取り外し可能な記憶ドライブ６１４、ハードドライブ６１２又は通信インターフェース６２０を使用して、コンピュータシステム６００にロードされてもよい。制御ロジック（ソフトウェア）は、プロセッサ６０４によって実行されると、プロセッサ６０４に、本明細書に記載されるような本開示の態様に従って機能を実行させる。別の変形例では、態様は、例えば、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）などのハードウェア構成要素を使用して、主にハードウェアで実装される。本明細書に記載される機能を実行するためのハードウェア状態マシンの実装は、当業者（複数可）には明らかとなるであろう。

【0060】

更に別の例示的な変形例では、本開示の態様は、ハードウェア及びソフトウェアの両方の組み合わせを使用して実装される。

【0061】

図７は、本開示の態様に従って使用され得る、様々な例示的なシステム構成要素のブロック図である。例えば、様々な構成要素は、車両１０２内にあってもよく、又は構成要素の一部のみが車両１０２内にあってもよく、他の構成要素が車両１０２から離れていてもよい。システム７００は、１つ以上のアクセサ７６０、７６２（本明細書では、１つ以上の「ユーザ」とも交換可能に称される）及び１つ以上の端末７４２、７６６（そのような端末は、例えば、オブジェクト検出システム１１０の様々な特徴であってもよく、又はそれを含んでもよい）を含む。一態様では、本開示の態様に従って使用するためのデータは、例えば、パーソナルコンピュータ（personal computer、ＰＣ）、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、電話デバイスなどの端末７４２、７６６、又はＰＣ、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、若しくはプロセッサ及びデータ用のリポジトリ、並びに／又は例えば、インターネット若しくはイントラネットなどのネットワーク７４４、及びカップリング７４５、７４６、７６４を介した、データ用のリポジトリへの接続を有する他のデバイスなどのサーバー７４３に連結されたパーソナルデジタルアシスタント（personal digital assistant、「ＰＤＡ」）若しくはハンドヘルド無線デバイスなどの無線デバイスを介して、アクセサ７６０、７６２によって入力及び／又はアクセスされる。カップリング７４５、７４６、７６４は、例えば、有線、無線、又は光ファイバリンクを含む。別の例示的な変形例では、本開示の態様に従う方法及びシステムは、単一端末上などの独立型環境で動作する。

【0062】

本明細書で考察される本開示の態様はまた、コンピュータ実行可能命令を記憶するコンピュータ可読記憶媒体のコンテキストにおいて、説明及び実施され得る。コンピュータ可読記憶媒体は、コンピュータ記憶媒体及び通信媒体を含む。例えば、フラッシュメモリドライブ、デジタル多用途ディスク（digital versatile disc、ＤＶＤ）、コンパクトディスク（compact disc、ＣＤ）、フロッピーディスク、及びテープカセット。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、モジュール、又は他のデータなどの情報を記憶するための任意の方法又は技術で実装される、揮発性及び不揮発性、取り外し可能及び取り外し不可能な媒体を含んでもよい。

【0063】

上記で開示された及び他の特徴及び機能の様々な実装形態、又はそれらの代替例若しくは変形例は、多くの他の異なるシステム又は用途に望ましく組み合わされ得ることが理解されるであろう。また、当業者であれば、添付の特許請求の範囲によって包含されることも意図される、現在予測又は予期されていない様々な代替、修正、変形、又は改良を今後行うことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】