知財求人 - 知財ポータルサイト「IP Force」
▶ タタ コンサルタンシー サービシズ リミテッドの特許一覧
特開2023-158638自律走行車両のためのライダーポイントクラウド及び周辺カメラを用いたフュージョンベースのオブジェクトトラッカー
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023158638
(43)【公開日】2023-10-30
(54)【発明の名称】自律走行車両のためのライダーポイントクラウド及び周辺カメラを用いたフュージョンベースのオブジェクトトラッカー
(51)【国際特許分類】
G06T 7/00 20170101AFI20231023BHJP
G05D 1/02 20200101ALI20231023BHJP
G08G 1/16 20060101ALN20231023BHJP
【ＦＩ】
G06T7/00 650Z
G05D1/02 K
G08G1/16 C
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023050910
(22)【出願日】2023-03-28
(31)【優先権主張番号】202221022815
(32)【優先日】2022-04-18
(33)【優先権主張国・地域又は機関】IN
(71)【出願人】
【識別番号】510337621
【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド
【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ
【住所又は居所原語表記】Ｎｉｒｍａｌ Ｂｕｉｌｄｉｎｇ，９ｔｈ Ｆｌｏｏｒ，Ｎａｒｉｍａｎ Ｐｏｉｎｔ，Ｍｕｍｂａｉ ４０００２１，Ｍａｈａｒａｓｈｔｒａ，Ｉｎｄｉａ．
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(72)【発明者】
【氏名】マノジュ チャサンクランガラ ラジャン
(72)【発明者】
【氏名】マルニーディ ヴァムシ
(72)【発明者】
【氏名】エドウィン カンジラシナル ジョセ
(72)【発明者】
【氏名】アルンクリシュナ サイールラヴィ
(72)【発明者】
【氏名】アパルナ ミニ パラメスワラン
【テーマコード（参考）】
5H181
5H301
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB05
5H181CC03
5H181CC04
5H181CC12
5H181DD02
5H181LL01
5H181LL02
5H181LL07
5H181LL08
5H301AA03
5H301AA10
5H301CC03
5H301CC06
5H301DD07
5H301DD15
5H301GG08
5H301GG09
5H301LL01
5H301LL02
5H301LL03
5H301LL06
5H301LL11
5H301QQ06
5H301QQ08
5L096AA09
5L096BA04
5L096CA05
5L096EA26
5L096FA02
5L096FA18
5L096FA32
5L096FA66
5L096FA69
5L096GA34
5L096HA04
5L096HA05
5L096HA11
5L096JA11
(57)【要約】 （修正有）
【課題】自律走行車両のためのライダーポイントクラウド及び周辺カメラを用いたフュージョンベースのオブジェクトトラッカーを提供する。
【解決手段】３Ｄ－ＬＩＤＡＲポイントクラウド、２Ｄ－カメラ画像及び３Ｄ ＬＩＤＡＲポイントクラウドからの２Ｄ－ＢＥＶを利用して、オブジェクトの堅牢でシームレスな３６０追跡を提供する方法であって、自律走行車両に取り付けられたＬＩＤＡＲと２Ｄカメラの夫々によってキャプチャされたオブジェクトを独立して検出し追跡する。検出及び追跡は２Ｄ－カメラと２Ｄ－ＢＥＶ上で行われ、３Ｄ－ライダートラッカーとフュージョンされる。更に、２Ｄ－ＢＢとパノプティックセグメンテーション出力を重ね合わせ、２Ｄバウンディングボックス内のオブジェクトの非オクルード領域を識別し、無関係なオブジェクトに位置するライダーポイントを排除して、ポイントクラウド内の検出オブジェクトの正確な実世界位置を提供する。
【選択図】図３Ａ
【解決手段】３Ｄ－ＬＩＤＡＲポイントクラウド、２Ｄ－カメラ画像及び３Ｄ ＬＩＤＡＲポイントクラウドからの２Ｄ－ＢＥＶを利用して、オブジェクトの堅牢でシームレスな３６０追跡を提供する方法であって、自律走行車両に取り付けられたＬＩＤＡＲと２Ｄカメラの夫々によってキャプチャされたオブジェクトを独立して検出し追跡する。検出及び追跡は２Ｄ－カメラと２Ｄ－ＢＥＶ上で行われ、３Ｄ－ライダートラッカーとフュージョンされる。更に、２Ｄ－ＢＢとパノプティックセグメンテーション出力を重ね合わせ、２Ｄバウンディングボックス内のオブジェクトの非オクルード領域を識別し、無関係なオブジェクトに位置するライダーポイントを排除して、ポイントクラウド内の検出オブジェクトの正確な実世界位置を提供する。
【選択図】図３Ａ
【特許請求の範囲】
【請求項1】
オブジェクト追跡のためのプロセッサ実装方法（２００）であって、
前記方法は、
１又は２以上のハードウェアプロセッサによって、（ａ）車両に取り付けられた２Ｄカメラセットアップを介して前記車両を取り巻く環境の複数の２次元（２Ｄ）画像と、（ｂ）前記車両に取り付けられた光検出及び測距（ＬＩＤＡＲ）を介して前記環境の複数の３次元（３Ｄ）ポイントクラウドとを含むストリーミングデータを受け取るステップ（２０２）と、
前記１又は２以上のハードウェアプロセッサによって、前記複数の３Ｄポイントクラウドの各々を、対応する複数の２Ｄバードアイビュー（ＢＥＶ）画像に変換するステップ（２０４）と、
前記１又は２以上のハードウェアプロセッサによって、以下（ａ）～（ｃ）を同時に処理するステップ（２０６）であって、
（ａ）前記複数の２Ｄ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ画像の各々におけるオブジェクトの第１のセットを検出し、（ｉｉ）２Ｄカメラトラッカーを使用して前記オブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤで前記複数の２Ｄ画像の各々の前記オブジェクトの第１のセットの各オブジェクトをラベリングする、前記複数の２Ｄ画像と、
（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）前記ＭＩＳＨ活性化関数を利用して前記カスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用して前記オブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するため前記トラッカーＩＤで前記複数の２Ｄ－ＢＥＶ画像の各々の前記オブジェクトの第２のセットの各オブジェクトをラベリングする、前記複数の２Ｄ ＢＥＶ画像と、
（ｃ）前記複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて前記複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用して前記オブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するため前記トラッカーＩＤで前記複数の３Ｄポイントクラウドの各々の前記オブジェクトの第３のセットの各オブジェクトをラベリングする、前記複数の３Ｄポイントクラウドと、
を同時に処理するステップ（２０６）と、
前記１又は２以上のハードウェアプロセッサによって、前記２Ｄ－ＢＥＶトラッカー内の前記２Ｄ－ＢＥＶオブジェクトと前記３Ｄ ＬＩＤＡＲトラッカー内の前記３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクトに対するフュージョンＬＩＤＡＲトラッカーを生成するステップ（２０８）と、
前記１又は２以上のハードウェアプロセッサによって、前記フュージョンＬＩＤＡＲトラッカー内の前記複数のフュージョンＬＩＤＡＲオブジェクトと前記２Ｄカメラトラッカー内の前記２Ｄカメラオブジェクトとの間の対応関係を決定することによって、統合トラッカーを生成するステップ（２１０）と、
を含み、
前記統合トラッカーを生成するステップが、
（ａ）前記フュージョンＬＩＤＡＲトラッカー及び前記２Ｄカメラトラッカーから出力を読み込むステップと、
（ｂ）較正行列を使用して、前記複数の３Ｄポイントクラウド及び対応する前記複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、前記２Ｄバウンディングボックス（ＢＢ）の前記非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて前記非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、前記最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、前記複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する前記２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）前記複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の前記２Ｄカメラオブジェクトが、前記フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上の前記フュージョンＬＩＤＡＲオブジェクトが、前記２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、前記１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて前記複数の２Ｄカメラオブジェクトに関連する前記属性を、前記オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、
を含む、方法。
前記方法は、
１又は２以上のハードウェアプロセッサによって、（ａ）車両に取り付けられた２Ｄカメラセットアップを介して前記車両を取り巻く環境の複数の２次元（２Ｄ）画像と、（ｂ）前記車両に取り付けられた光検出及び測距（ＬＩＤＡＲ）を介して前記環境の複数の３次元（３Ｄ）ポイントクラウドとを含むストリーミングデータを受け取るステップ（２０２）と、
前記１又は２以上のハードウェアプロセッサによって、前記複数の３Ｄポイントクラウドの各々を、対応する複数の２Ｄバードアイビュー（ＢＥＶ）画像に変換するステップ（２０４）と、
前記１又は２以上のハードウェアプロセッサによって、以下（ａ）～（ｃ）を同時に処理するステップ（２０６）であって、
（ａ）前記複数の２Ｄ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ画像の各々におけるオブジェクトの第１のセットを検出し、（ｉｉ）２Ｄカメラトラッカーを使用して前記オブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤで前記複数の２Ｄ画像の各々の前記オブジェクトの第１のセットの各オブジェクトをラベリングする、前記複数の２Ｄ画像と、
（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）前記ＭＩＳＨ活性化関数を利用して前記カスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用して前記オブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するため前記トラッカーＩＤで前記複数の２Ｄ－ＢＥＶ画像の各々の前記オブジェクトの第２のセットの各オブジェクトをラベリングする、前記複数の２Ｄ ＢＥＶ画像と、
（ｃ）前記複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて前記複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用して前記オブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するため前記トラッカーＩＤで前記複数の３Ｄポイントクラウドの各々の前記オブジェクトの第３のセットの各オブジェクトをラベリングする、前記複数の３Ｄポイントクラウドと、
を同時に処理するステップ（２０６）と、
前記１又は２以上のハードウェアプロセッサによって、前記２Ｄ－ＢＥＶトラッカー内の前記２Ｄ－ＢＥＶオブジェクトと前記３Ｄ ＬＩＤＡＲトラッカー内の前記３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクトに対するフュージョンＬＩＤＡＲトラッカーを生成するステップ（２０８）と、
前記１又は２以上のハードウェアプロセッサによって、前記フュージョンＬＩＤＡＲトラッカー内の前記複数のフュージョンＬＩＤＡＲオブジェクトと前記２Ｄカメラトラッカー内の前記２Ｄカメラオブジェクトとの間の対応関係を決定することによって、統合トラッカーを生成するステップ（２１０）と、
を含み、
前記統合トラッカーを生成するステップが、
（ａ）前記フュージョンＬＩＤＡＲトラッカー及び前記２Ｄカメラトラッカーから出力を読み込むステップと、
（ｂ）較正行列を使用して、前記複数の３Ｄポイントクラウド及び対応する前記複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、前記２Ｄバウンディングボックス（ＢＢ）の前記非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて前記非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、前記最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、前記複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する前記２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）前記複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の前記２Ｄカメラオブジェクトが、前記フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上の前記フュージョンＬＩＤＡＲオブジェクトが、前記２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、前記１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて前記複数の２Ｄカメラオブジェクトに関連する前記属性を、前記オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、
を含む、方法。
【請求項2】
前記ＭＩＳＨ活性化関数を利用して前記カスタマイズされたＮＮアーキテクチャに基づいて前記第１の２Ｄオブジェクト検出器及び第２の２Ｄオブジェクト検出器が、
２Ｄ画像から特徴抽出を行うためのバックボーンと、
（ｉ）負の値を保存し、トレーニングにおいてより良好な正則化と汎化とを提供して受信したストリーミングデータに対してノイズの多い状況での検出を強化できるＭＩＳＨ活性化関数と、（ｉｉ）クラッター状況で検出タスクに寄与する関心オブジェクトにのみ焦点を当てることにより関連する特徴を抽出する空間アテンションモジュール（ＳＡＭ）が更に加えられた５つの畳み込み層を含む経路集約ネットワーク（ＰＡＮ）と、を用いた特徴集約のためのネックと、
小形及び中型サイズのオブジェクトの検出のために、前記ＭＩＳＨ活性化関数と畳み込み層の追加のセットとを使用するヘッドと、
を備える、請求項１に記載の方法。
２Ｄ画像から特徴抽出を行うためのバックボーンと、
（ｉ）負の値を保存し、トレーニングにおいてより良好な正則化と汎化とを提供して受信したストリーミングデータに対してノイズの多い状況での検出を強化できるＭＩＳＨ活性化関数と、（ｉｉ）クラッター状況で検出タスクに寄与する関心オブジェクトにのみ焦点を当てることにより関連する特徴を抽出する空間アテンションモジュール（ＳＡＭ）が更に加えられた５つの畳み込み層を含む経路集約ネットワーク（ＰＡＮ）と、を用いた特徴集約のためのネックと、
小形及び中型サイズのオブジェクトの検出のために、前記ＭＩＳＨ活性化関数と畳み込み層の追加のセットとを使用するヘッドと、
を備える、請求項１に記載の方法。
【請求項3】
前記２Ｄカメラトラッカーは、
オブジェクトの発散又は収束運動に起因した急激なサイズ変化を扱うことによる前記ＢＢのドリフトに対処するためのＫ－最近傍ＫＮＮステージと、
複雑な状況においてオブジェクト検出と２Ｄカメラトラッカーとの間のトラックＩＤの関連付けを処理するためのパディング、オプティカルフロー、スケール不変特徴変換（ＳＩＦＴ）を含む複数の幾何学的及び特徴マッチングステージと、
ゴースト追跡を制御するＳＩＦＴ及びオプティカルフローベースの特徴マッチングアプローチと、
を含む、請求項１に記載の方法。
オブジェクトの発散又は収束運動に起因した急激なサイズ変化を扱うことによる前記ＢＢのドリフトに対処するためのＫ－最近傍ＫＮＮステージと、
複雑な状況においてオブジェクト検出と２Ｄカメラトラッカーとの間のトラックＩＤの関連付けを処理するためのパディング、オプティカルフロー、スケール不変特徴変換（ＳＩＦＴ）を含む複数の幾何学的及び特徴マッチングステージと、
ゴースト追跡を制御するＳＩＦＴ及びオプティカルフローベースの特徴マッチングアプローチと、
を含む、請求項１に記載の方法。
【請求項4】
前記パノプティックセグメンテーションは、前記２Ｄカメラセットアップのカメラのフレーム内の前記２Ｄオブジェクトに対するセマンティックセグメンテーション及びインスタンスセグメンテーションを取得し、前記２Ｄオブジェクトに対応する可視ピクセルのみが、パノプティックセグメンテーション出力に対して前記２Ｄ ＢＢを重ねることによってカメラフレームから抽出され、フュージョン時に、無関係なオブジェクトからの３Ｄ ＬＩＤＡＲポイントを排除して、前記３Ｄポイントクラウド内の前記検出されたオブジェクトの正確な実世界位置を提供できるようにする、請求項１に記載の方法。
【請求項5】
前記最良のクラスタの選択精度は、２Ｄバウンディングボックスと前記パノプティックセグメンテーションの出力の重ね合わせから抽出された、ポイントの数及びオブジェクトの軌跡に基づいて距離信頼性を割り当てることによって更に確保される、請求項１に記載の方法。
【請求項6】
前記カメラトラッカーのみで検出されたオブジェクトに対応する前記カメラ２Ｄ検出の偏差は、中心点ベースの速度及びアセンテッドカルマンフィルタを適用することによって補正され、長手方向位置と横方向位置は、非オクルード領域から最良クラスタの平均を取ることによって決定される、請求項１に記載の方法。
【請求項7】
前記２Ｄカメラセットアップは、各々の視野（ＦｏＶ）が前記環境の異なる領域をカバーする複数のカメラを含み、前記複数のカメラの各々についてカメラトラッカーの単一化によって、複数のカメラビューにわたるシームレスな追跡が得られる、請求項１に記載の方法。
【請求項8】
オブジェクト追跡のためのシステム（１００）であって、
前記システム（１００）が、
命令を格納するメモリ（１０２）と、
１又は２以上の入力／出力（Ｉ／Ｏ）インタフェース（１０６）と、
前記１又は２以上のＩ／Ｏインタフェース（１０６）を介して前記メモリ（１０２）に結合された１又は２以上のハードウェアプロセッサ（１０４）と、
を備え、
前記１又は２以上のハードウェアプロセッサ（１０４）は、前記命令によって、
（ａ）車両に取り付けられた２Ｄカメラセットアップを介して前記車両を取り巻く環境の複数の２次元（２Ｄ）画像と、（ｂ）前記車両に取り付けられた光検出及び測距（ＬＩＤＡＲ）を介して前記環境の複数の３次元（３Ｄ）ポイントクラウドとを含むストリーミングデータを受け取り、
前記複数の３Ｄポイントクラウドの各々を、対応する複数の２Ｄバードアイビュー（ＢＥＶ）画像に変換し、
（ａ）前記複数の２Ｄ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ画像の各々におけるオブジェクトの第１のセットを検出し、（ｉｉ）２Ｄカメラトラッカーを使用して前記オブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤで前記複数の２Ｄ画像の各々の前記オブジェクトの第１のセットの各オブジェクトをラベリングする、前記複数の２Ｄ画像と、（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）前記ＭＩＳＨ活性化関数を利用して前記カスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用して前記オブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するため前記トラッカーＩＤで前記複数の２Ｄ－ＢＥＶ画像の各々の前記オブジェクトの第２のセットの各オブジェクトをラベリングする、前記複数の２Ｄ ＢＥＶ画像と、（ｃ）前記複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて前記複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用して前記オブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するため前記トラッカーＩＤで前記複数の３Ｄポイントクラウドの各々の前記オブジェクトの第３のセットの各オブジェクトをラベリングする、前記複数の３Ｄポイントクラウドと、を同時に処理し、
前記２Ｄ－ＢＥＶトラッカー内の前記２Ｄ－ＢＥＶオブジェクトと前記３Ｄ ＬＩＤＡＲトラッカー内の前記３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクトに対するフュージョンＬＩＤＡＲトラッカーを生成し、
前記フュージョンＬＩＤＡＲトラッカー内の前記複数のフュージョンＬＩＤＡＲオブジェクトと前記２Ｄカメラトラッカー内の前記２Ｄカメラオブジェクトとの間の対応関係を決定することによって、統合トラッカーを生成する、
ように構成され、
前記統合トラッカーは、
（ａ）前記フュージョンＬＩＤＡＲトラッカー及び前記２Ｄカメラトラッカーから出力を読み込むステップと、
（ｂ）較正行列を使用して、前記複数の３Ｄポイントクラウド及び対応する前記複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、前記２Ｄバウンディングボックス（ＢＢ）の前記非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて前記非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、前記最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、前記複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する前記２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）前記複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の前記２Ｄカメラオブジェクトが、前記フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上の前記フュージョンＬＩＤＡＲオブジェクトが、前記２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、前記１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて前記複数の２Ｄカメラオブジェクトに関連する前記属性を、前記オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、
によって生成される、システム（１００）。
前記システム（１００）が、
命令を格納するメモリ（１０２）と、
１又は２以上の入力／出力（Ｉ／Ｏ）インタフェース（１０６）と、
前記１又は２以上のＩ／Ｏインタフェース（１０６）を介して前記メモリ（１０２）に結合された１又は２以上のハードウェアプロセッサ（１０４）と、
を備え、
前記１又は２以上のハードウェアプロセッサ（１０４）は、前記命令によって、
（ａ）車両に取り付けられた２Ｄカメラセットアップを介して前記車両を取り巻く環境の複数の２次元（２Ｄ）画像と、（ｂ）前記車両に取り付けられた光検出及び測距（ＬＩＤＡＲ）を介して前記環境の複数の３次元（３Ｄ）ポイントクラウドとを含むストリーミングデータを受け取り、
前記複数の３Ｄポイントクラウドの各々を、対応する複数の２Ｄバードアイビュー（ＢＥＶ）画像に変換し、
（ａ）前記複数の２Ｄ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ画像の各々におけるオブジェクトの第１のセットを検出し、（ｉｉ）２Ｄカメラトラッカーを使用して前記オブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤで前記複数の２Ｄ画像の各々の前記オブジェクトの第１のセットの各オブジェクトをラベリングする、前記複数の２Ｄ画像と、（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）前記ＭＩＳＨ活性化関数を利用して前記カスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用して前記オブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するため前記トラッカーＩＤで前記複数の２Ｄ－ＢＥＶ画像の各々の前記オブジェクトの第２のセットの各オブジェクトをラベリングする、前記複数の２Ｄ ＢＥＶ画像と、（ｃ）前記複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて前記複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用して前記オブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するため前記トラッカーＩＤで前記複数の３Ｄポイントクラウドの各々の前記オブジェクトの第３のセットの各オブジェクトをラベリングする、前記複数の３Ｄポイントクラウドと、を同時に処理し、
前記２Ｄ－ＢＥＶトラッカー内の前記２Ｄ－ＢＥＶオブジェクトと前記３Ｄ ＬＩＤＡＲトラッカー内の前記３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクトに対するフュージョンＬＩＤＡＲトラッカーを生成し、
前記フュージョンＬＩＤＡＲトラッカー内の前記複数のフュージョンＬＩＤＡＲオブジェクトと前記２Ｄカメラトラッカー内の前記２Ｄカメラオブジェクトとの間の対応関係を決定することによって、統合トラッカーを生成する、
ように構成され、
前記統合トラッカーは、
（ａ）前記フュージョンＬＩＤＡＲトラッカー及び前記２Ｄカメラトラッカーから出力を読み込むステップと、
（ｂ）較正行列を使用して、前記複数の３Ｄポイントクラウド及び対応する前記複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、前記２Ｄバウンディングボックス（ＢＢ）の前記非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて前記非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、前記最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、前記複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する前記２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）前記複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の前記２Ｄカメラオブジェクトが、前記フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上の前記フュージョンＬＩＤＡＲオブジェクトが、前記２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、前記１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて前記複数の２Ｄカメラオブジェクトに関連する前記属性を、前記オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、
によって生成される、システム（１００）。
【請求項9】
前記ＭＩＳＨ活性化関数を利用して前記カスタマイズされたＮＮアーキテクチャに基づいて前記第１の２Ｄオブジェクト検出器及び第２の２Ｄオブジェクト検出器が、
２Ｄ画像から特徴抽出を行うためのバックボーンと、
（ｉ）負の値を保存し、トレーニングにおいてより良好な正則化と汎化とを提供して受信したストリーミングデータに対してノイズの多い状況での検出を強化できるＭＩＳＨ活性化関数と、（ｉｉ）クラッター状況で検出タスクに寄与する関心オブジェクトにのみ焦点を当てることにより関連する特徴を抽出する空間アテンションモジュール（ＳＡＭ）が更に加えられた５つの畳み込み層を含む経路集約ネットワーク（ＰＡＮ）と、を用いた特徴集約のためのネックと、
小形及び中型サイズのオブジェクトの検出のために、前記ＭＩＳＨ活性化関数と畳み込み層の追加のセットとを使用するヘッドと、
を備える、請求項８に記載のシステム（１００）。
２Ｄ画像から特徴抽出を行うためのバックボーンと、
（ｉ）負の値を保存し、トレーニングにおいてより良好な正則化と汎化とを提供して受信したストリーミングデータに対してノイズの多い状況での検出を強化できるＭＩＳＨ活性化関数と、（ｉｉ）クラッター状況で検出タスクに寄与する関心オブジェクトにのみ焦点を当てることにより関連する特徴を抽出する空間アテンションモジュール（ＳＡＭ）が更に加えられた５つの畳み込み層を含む経路集約ネットワーク（ＰＡＮ）と、を用いた特徴集約のためのネックと、
小形及び中型サイズのオブジェクトの検出のために、前記ＭＩＳＨ活性化関数と畳み込み層の追加のセットとを使用するヘッドと、
を備える、請求項８に記載のシステム（１００）。
【請求項10】
前記２Ｄカメラトラッカーは、
オブジェクトの発散又は収束運動に起因した急激なサイズ変化を扱うことによる前記ＢＢのドリフトに対処するためのＫ－最近傍ＫＮＮステージと、
複雑な状況においてオブジェクト検出と２Ｄカメラトラッカーとの間のトラックＩＤの関連付けを処理するためのパディング、オプティカルフロー、スケール不変特徴変換（ＳＩＦＴ）を含む複数の幾何学的及び特徴マッチングステージと、
ゴースト追跡を制御するＳＩＦＴ及びオプティカルフローベースの特徴マッチングアプローチと、
を含む、請求項８に記載のシステム（１００）。
オブジェクトの発散又は収束運動に起因した急激なサイズ変化を扱うことによる前記ＢＢのドリフトに対処するためのＫ－最近傍ＫＮＮステージと、
複雑な状況においてオブジェクト検出と２Ｄカメラトラッカーとの間のトラックＩＤの関連付けを処理するためのパディング、オプティカルフロー、スケール不変特徴変換（ＳＩＦＴ）を含む複数の幾何学的及び特徴マッチングステージと、
ゴースト追跡を制御するＳＩＦＴ及びオプティカルフローベースの特徴マッチングアプローチと、
を含む、請求項８に記載のシステム（１００）。
【請求項11】
前記パノプティックセグメンテーションは、前記２Ｄカメラセットアップのカメラのフレーム内の前記２Ｄオブジェクトに対するセマンティックセグメンテーション及びインスタンスセグメンテーションを取得し、前記２Ｄオブジェクトに対応する可視ピクセルのみが、パノプティックセグメンテーション出力に対して前記２Ｄ ＢＢを重ねることによってカメラフレームから抽出され、フュージョン時に、無関係なオブジェクトからの３Ｄ ＬＩＤＡＲポイントを排除して、前記３Ｄポイントクラウド内の前記検出されたオブジェクトの正確な実世界位置を提供できるようにする、請求項８に記載のシステム（１００）。
【請求項12】
前記最良のクラスタの選択精度は、２Ｄバウンディングボックスと前記パノプティックセグメンテーションの出力の重ね合わせから抽出された、ポイントの数及びオブジェクトの軌跡に基づいて距離信頼性を割り当てることによって更に確保される、請求項８に記載のシステム（１００）。
【請求項13】
前記カメラトラッカーのみで検出されたオブジェクトに対応する前記カメラ２Ｄ検出の偏差は、中心点ベースの速度及びアセンテッドカルマンフィルタを適用することによって補正され、長手方向位置と横方向位置は、非オクルード領域から最良クラスタの平均を取ることによって決定される、請求項８に記載のシステム（１００）。
【請求項14】
前記２Ｄカメラセットアップは、各々の視野（ＦｏＶ）が前記環境の異なる領域をカバーする複数のカメラを含み、前記複数のカメラの各々についてカメラトラッカーの単一化によって、複数のカメラビューにわたるシームレスな追跡が得られる、請求項８に記載のシステム（１００）。
【請求項15】
１又は２以上の命令を含む１又は２以上の非一時的な機械可読情報記憶媒体であって、
前記命令は、１又は２以上のハードウェアプロセッサによって実行されたときに、
１又は２以上のハードウェアプロセッサによって、（ａ）車両に取り付けられた２Ｄカメラセットアップを介して前記車両を取り巻く環境の複数の２次元（２Ｄ）画像と、（ｂ）前記車両に取り付けられた光検出及び測距（ＬＩＤＡＲ）を介して前記環境の複数の３次元（３Ｄ）ポイントクラウドとを含むストリーミングデータを受け取るステップ（２０２）と、
前記１又は２以上のハードウェアプロセッサによって、前記複数の３Ｄポイントクラウドの各々を、対応する複数の２Ｄバードアイビュー（ＢＥＶ）画像に変換するステップ（２０４）と、
前記１又は２以上のハードウェアプロセッサによって、以下（ａ）～（ｃ）を同時に処理するステップ（２０６）であって、
（ａ）前記複数の２Ｄ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ画像の各々におけるオブジェクトの第１のセットを検出し、（ｉｉ）２Ｄカメラトラッカーを使用して前記オブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤで前記複数の２Ｄ画像の各々の前記オブジェクトの第１のセットの各オブジェクトをラベリングする、前記複数の２Ｄ画像と、
（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）前記ＭＩＳＨ活性化関数を利用して前記カスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用して前記オブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するため前記トラッカーＩＤで前記複数の２Ｄ－ＢＥＶ画像の各々の前記オブジェクトの第２のセットの各オブジェクトをラベリングする、前記複数の２Ｄ ＢＥＶ画像と、
（ｃ）前記複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて前記複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用して前記オブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するため前記トラッカーＩＤで前記複数の３Ｄポイントクラウドの各々の前記オブジェクトの第３のセットの各オブジェクトをラベリングする、前記複数の３Ｄポイントクラウドと、
を同時に処理するステップ（２０６）と、
前記１又は２以上のハードウェアプロセッサによって、前記２Ｄ－ＢＥＶトラッカー内の前記２Ｄ－ＢＥＶオブジェクトと前記３Ｄ ＬＩＤＡＲトラッカー内の前記３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクトに対するフュージョンＬＩＤＡＲトラッカーを生成するステップ（２０８）と、
前記１又は２以上のハードウェアプロセッサによって、前記フュージョンＬＩＤＡＲトラッカー内の前記複数のフュージョンＬＩＤＡＲオブジェクトと前記２Ｄカメラトラッカー内の前記２Ｄカメラオブジェクトとの間の対応関係を決定することによって、統合トラッカーを生成するステップ（２１０）と、
を引き起こし、
前記統合トラッカーを生成するステップが、
（ａ）前記フュージョンＬＩＤＡＲトラッカー及び前記２Ｄカメラトラッカーから出力を読み込むステップと、
（ｂ）較正行列を使用して、前記複数の３Ｄポイントクラウド及び対応する前記複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、前記２Ｄバウンディングボックス（ＢＢ）の前記非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて前記非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、前記最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、前記複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する前記２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）前記複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の前記２Ｄカメラオブジェクトが、前記フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上の前記フュージョンＬＩＤＡＲオブジェクトが、前記２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、前記１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて前記複数の２Ｄカメラオブジェクトに関連する前記属性を、前記オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、
を含む、１又は２以上の非一時的な機械可読情報記憶媒体。
前記命令は、１又は２以上のハードウェアプロセッサによって実行されたときに、
１又は２以上のハードウェアプロセッサによって、（ａ）車両に取り付けられた２Ｄカメラセットアップを介して前記車両を取り巻く環境の複数の２次元（２Ｄ）画像と、（ｂ）前記車両に取り付けられた光検出及び測距（ＬＩＤＡＲ）を介して前記環境の複数の３次元（３Ｄ）ポイントクラウドとを含むストリーミングデータを受け取るステップ（２０２）と、
前記１又は２以上のハードウェアプロセッサによって、前記複数の３Ｄポイントクラウドの各々を、対応する複数の２Ｄバードアイビュー（ＢＥＶ）画像に変換するステップ（２０４）と、
前記１又は２以上のハードウェアプロセッサによって、以下（ａ）～（ｃ）を同時に処理するステップ（２０６）であって、
（ａ）前記複数の２Ｄ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ画像の各々におけるオブジェクトの第１のセットを検出し、（ｉｉ）２Ｄカメラトラッカーを使用して前記オブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤで前記複数の２Ｄ画像の各々の前記オブジェクトの第１のセットの各オブジェクトをラベリングする、前記複数の２Ｄ画像と、
（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）前記ＭＩＳＨ活性化関数を利用して前記カスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して前記複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用して前記オブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するため前記トラッカーＩＤで前記複数の２Ｄ－ＢＥＶ画像の各々の前記オブジェクトの第２のセットの各オブジェクトをラベリングする、前記複数の２Ｄ ＢＥＶ画像と、
（ｃ）前記複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて前記複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用して前記オブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するため前記トラッカーＩＤで前記複数の３Ｄポイントクラウドの各々の前記オブジェクトの第３のセットの各オブジェクトをラベリングする、前記複数の３Ｄポイントクラウドと、
を同時に処理するステップ（２０６）と、
前記１又は２以上のハードウェアプロセッサによって、前記２Ｄ－ＢＥＶトラッカー内の前記２Ｄ－ＢＥＶオブジェクトと前記３Ｄ ＬＩＤＡＲトラッカー内の前記３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクトに対するフュージョンＬＩＤＡＲトラッカーを生成するステップ（２０８）と、
前記１又は２以上のハードウェアプロセッサによって、前記フュージョンＬＩＤＡＲトラッカー内の前記複数のフュージョンＬＩＤＡＲオブジェクトと前記２Ｄカメラトラッカー内の前記２Ｄカメラオブジェクトとの間の対応関係を決定することによって、統合トラッカーを生成するステップ（２１０）と、
を引き起こし、
前記統合トラッカーを生成するステップが、
（ａ）前記フュージョンＬＩＤＡＲトラッカー及び前記２Ｄカメラトラッカーから出力を読み込むステップと、
（ｂ）較正行列を使用して、前記複数の３Ｄポイントクラウド及び対応する前記複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、前記２Ｄバウンディングボックス（ＢＢ）の前記非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて前記非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、前記最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、前記複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する前記２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）前記複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の前記２Ｄカメラオブジェクトが、前記フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上の前記フュージョンＬＩＤＡＲオブジェクトが、前記２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、前記１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて前記複数の２Ｄカメラオブジェクトに関連する前記属性を、前記オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、
を含む、１又は２以上の非一時的な機械可読情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願に対する相互参照及び優先権）
本出願は、２０２２年４月１８日に出願されたインド国特許出願第２０２２２１０２２８１５号に対して優先権を主張する。
本出願は、２０２２年４月１８日に出願されたインド国特許出願第２０２２２１０２２８１５号に対して優先権を主張する。
【0002】
（技術分野）
本明細書の実施形態は、一般に、自律走行車両のためのオブジェクト追跡に関し、より詳細には、自律走行車両のための光検出及び測距（ＬＩＤＡＲ）ポイントクラウド及び周辺カメラを用いたフュージョンベースのオブジェクトトラッカーのための方法及びシステムに関する。
本明細書の実施形態は、一般に、自律走行車両のためのオブジェクト追跡に関し、より詳細には、自律走行車両のための光検出及び測距（ＬＩＤＡＲ）ポイントクラウド及び周辺カメラを用いたフュージョンベースのオブジェクトトラッカーのための方法及びシステムに関する。
【背景技術】
【0003】
車両の前方にある障害物のドライバーの視点を得ることは、先進運転支援システム（ＡＤＡＳ）特徴又は自律走行車の最も重要な態様である。車両が移動する際に周囲環境のオブジェクトを追跡して、どのオブジェクトが自車両との衝突を引き起こす可能性があるかを把握することは重要である。センサーのカバーエリア、オクルージョン（遮蔽）、追跡されるオブジェクトの速度など、並びにオブジェクトの感知の際の環境上の課題の観点でセンサーの各タイプの限界を考慮すると、３６０度堅牢トラッキングは技術的に困難である。新しい技術が登場するにつれて、検出及び追跡の精度も向上する。機械学習（ＭＬ）技術と共に、光検出及び測距（ＬＩＤＡＲ）並びに１又は２以上のカメラのようなセンサーの長所を使用して、堅牢なトラッカーを作成する試みがなされている。
【0004】
最近の既存技術は、オブジェクト追跡ソリューションを提供しおり、これらは車両の環境におけるオブジェクトをシームレスに追跡するためにＬＩＤＡＲ及びカメラのデータのフュージョン（フュージョン）に限定されており、両方のセンサーがオブジェクトを見逃すオクルージョンのような困難な状況において正確なオブジェクト検出及び更に堅牢な追跡に使用される技術の点で限界がある。更に、一部の既存の方法は、周辺環境の車両にのみ焦点を当てているが、移動する歩行者、信号機などの静止オブジェクトなどもまた、ＡＤＡＳでは極めて重要である。更にまた、クラッターの中から対象のオブジェクトに正しくフォーカスすることは、追跡前に起こるオブジェクト検出の別の課題である。このように、オブジェクト検出の精度を向上させ、検出されたオブジェクトを更に堅牢でシームレスに追跡することは、研究の余地がある領域である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示の実施形態は、従来のシステムにおいて本発明者らにより認識された上述の技術的問題の１又は２以上に対する解決策として技術的改善を提示する。
【課題を解決するための手段】
【0006】
例えば、一実施形態では、フュージョンベースのオブジェクト追跡のための方法が提供される。本方法は、（ａ）車両に取り付けられた２Ｄカメラセットアップを介して車両を取り巻く環境の複数の２次元（２Ｄ）画像と、（ｂ）車両に取り付けられた光検出及び測距（ＬＩＤＡＲ）を介して環境の複数の３次元（３Ｄ）ポイントクラウドとを含むストリーミングデータを受け取るステップと、を含む。更に、本方法は、複数の３Ｄポイントクラウドの各々を、対応する複数の２Ｄバードアイビュー（ＢＥＶ）画像に変換するステップを含む。更に、本方法は、（ａ）複数の２Ｄ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して複数の２Ｄ画像の各々におけるオブジェクトの第１のセットを検出し、（ｉｉ）２Ｄカメラトラッカーを使用してオブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤで複数の２Ｄ画像の各々のオブジェクトの第１のセットの各オブジェクトをラベリングする、複数の２Ｄ画像と、
（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用してオブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するためトラッカーＩＤで複数の２Ｄ－ＢＥＶ画像の各々のオブジェクトの第２のセットの各オブジェクトをラベリングする、複数の２Ｄ ＢＥＶ画像と、
（ｃ）複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用してオブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するためトラッカーＩＤで複数の３Ｄポイントクラウドの各々のオブジェクトの第３のセットの各オブジェクトをラベリングする、複数の３Ｄポイントクラウドと、を同時に処理するステップを含む。更に、本方法は、２Ｄ－ＢＥＶトラッカー内の２Ｄ－ＢＥＶオブジェクトと３Ｄ ＬＩＤＡＲトラッカー内の３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクトに対するフュージョンＬＩＤＡＲトラッカーを生成するステップを含む。更に、本方法は、フュージョンＬＩＤＡＲトラッカー内の複数のフュージョンＬＩＤＡＲオブジェクトと２Ｄカメラトラッカー内の２Ｄカメラオブジェクトとの間の対応関係を決定することによって、統合トラッカーを生成するステップを含む。統合トラッカーを生成するステップが、
（ａ）フュージョンＬＩＤＡＲトラッカー及び２Ｄカメラトラッカーから出力を読み込むステップと、
（ｂ）較正行列を使用して、複数の３Ｄポイントクラウド及び対応する複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、２Ｄバウンディングボックス（ＢＢ）の非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の２Ｄカメラオブジェクトが、フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上のフュージョンＬＩＤＡＲオブジェクトが、２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて複数の２Ｄカメラオブジェクトに関連する属性を、オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、を含む。
（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用してオブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するためトラッカーＩＤで複数の２Ｄ－ＢＥＶ画像の各々のオブジェクトの第２のセットの各オブジェクトをラベリングする、複数の２Ｄ ＢＥＶ画像と、
（ｃ）複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用してオブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するためトラッカーＩＤで複数の３Ｄポイントクラウドの各々のオブジェクトの第３のセットの各オブジェクトをラベリングする、複数の３Ｄポイントクラウドと、を同時に処理するステップを含む。更に、本方法は、２Ｄ－ＢＥＶトラッカー内の２Ｄ－ＢＥＶオブジェクトと３Ｄ ＬＩＤＡＲトラッカー内の３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクトに対するフュージョンＬＩＤＡＲトラッカーを生成するステップを含む。更に、本方法は、フュージョンＬＩＤＡＲトラッカー内の複数のフュージョンＬＩＤＡＲオブジェクトと２Ｄカメラトラッカー内の２Ｄカメラオブジェクトとの間の対応関係を決定することによって、統合トラッカーを生成するステップを含む。統合トラッカーを生成するステップが、
（ａ）フュージョンＬＩＤＡＲトラッカー及び２Ｄカメラトラッカーから出力を読み込むステップと、
（ｂ）較正行列を使用して、複数の３Ｄポイントクラウド及び対応する複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、２Ｄバウンディングボックス（ＢＢ）の非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の２Ｄカメラオブジェクトが、フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上のフュージョンＬＩＤＡＲオブジェクトが、２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて複数の２Ｄカメラオブジェクトに関連する属性を、オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、を含む。
【0007】
ＭＩＳＨ活性化関数を利用してカスタマイズされたＮＮアーキテクチャに基づいて第１の２Ｄオブジェクト検出器及び第２の２Ｄオブジェクト検出器は、（ａ）２Ｄ画像から特徴抽出を行うためのバックボーンと、（ｂ）（ｉ）負の値を保存し、トレーニングにおいてより良好な正則化と汎化とを提供して受信したストリーミングデータに対してノイズの多い状況での検出を強化できるＭＩＳＨ活性化関数と、（ｉｉ）クラッター状況で検出タスクに寄与する関心オブジェクトにのみ焦点を当てることにより関連する特徴を抽出する空間アテンションモジュール（ＳＡＭ）が更に加えられた５つの畳み込み層を含む経路集約ネットワーク（ＰＡＮ）と、を用いた特徴集約のためのネックと、（ｃ）小形及び中型サイズのオブジェクトの検出のために、ＭＩＳＨ活性化関数と畳み込み層の追加のセットとを使用するヘッドと、を備える。
【0008】
別の態様では、フュージョンベースのオブジェクト追跡のためのシステムが提供される。本システムは、命令を格納するメモリと、１又は２以上の入力／出力（Ｉ／Ｏ）インタフェースと、１又は２以上のＩ／Ｏインタフェースを介してメモリに結合された１又は２以上のハードウェアプロセッサとを備え、１又は２以上のハードウェアプロセッサは、命令によって、（ａ）車両に取り付けられた２Ｄカメラセットアップを介して車両を取り巻く環境の複数の２次元（２Ｄ）画像と、（ｂ）車両に取り付けられた光検出及び測距（ＬＩＤＡＲ）を介して環境の複数の３次元（３Ｄ）ポイントクラウドと、を含むストリーミングデータを受け取るように構成される。更に、１又は２以上のハードウェアプロセッサは、複数の３Ｄポイントクラウドの各々を、対応する複数の２Ｄバードアイビュー（ＢＥＶ）画像に変換するように構成される。更に、１又は２以上のハードウェアプロセッサは、（ａ）複数の２Ｄ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して複数の２Ｄ画像の各々におけるオブジェクトの第１のセットを検出し、（ｉｉ）２Ｄカメラトラッカーを使用してオブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤで複数の２Ｄ画像の各々のオブジェクトの第１のセットの各オブジェクトをラベリングする、複数の２Ｄ画像と、（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用してオブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するためトラッカーＩＤで複数の２Ｄ－ＢＥＶ画像の各々のオブジェクトの第２のセットの各オブジェクトをラベリングする、複数の２Ｄ ＢＥＶ画像と、（ｃ）複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用してオブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するためトラッカーＩＤで複数の３Ｄポイントクラウドの各々のオブジェクトの第３のセットの各オブジェクトをラベリングする、複数の３Ｄポイントクラウドと、を同時に処理するように構成されている。
【0009】
更に、１又は２以上のハードウェアプロセッサは、２Ｄ－ＢＥＶトラッカー内の２Ｄ－ＢＥＶオブジェクトと３Ｄ ＬＩＤＡＲトラッカー内の３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクトに対するフュージョンＬＩＤＡＲトラッカーを生成するように構成される。更に、１又は２以上のハードウェアプロセッサは、フュージョンＬＩＤＡＲトラッカー内の複数のフュージョンＬＩＤＡＲオブジェクトと２Ｄカメラトラッカー内の２Ｄカメラオブジェクトとの間の対応関係を決定することによって、統合トラッカーを生成するように構成される。統合トラッカーを生成するステップは、（ａ）フュージョンＬＩＤＡＲトラッカー及び２Ｄカメラトラッカーから出力を読み込むステップと、
（ｂ）較正行列を使用して、複数の３Ｄポイントクラウド及び対応する複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、２Ｄバウンディングボックス（ＢＢ）の非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の２Ｄカメラオブジェクトが、フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上のフュージョンＬＩＤＡＲオブジェクトが、２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて複数の２Ｄカメラオブジェクトに関連する属性を、オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、を含む。
（ｂ）較正行列を使用して、複数の３Ｄポイントクラウド及び対応する複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、２Ｄバウンディングボックス（ＢＢ）の非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の２Ｄカメラオブジェクトが、フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上のフュージョンＬＩＤＡＲオブジェクトが、２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて複数の２Ｄカメラオブジェクトに関連する属性を、オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、を含む。
【0010】
ＭＩＳＨ活性化関数を利用してカスタマイズされたＮＮアーキテクチャに基づいて第１の２Ｄオブジェクト検出器及び第２の２Ｄオブジェクト検出器は、 ２Ｄ画像から特徴抽出を行うためのバックボーンと、（ｉ）負の値を保存し、トレーニングにおいてより良好な正則化と汎化とを提供して受信したストリーミングデータに対してノイズの多い状況での検出を強化できるＭＩＳＨ活性化関数と、（ｉｉ）クラッター状況で検出タスクに寄与する関心オブジェクトにのみ焦点を当てることにより関連する特徴を抽出する空間アテンションモジュール（ＳＡＭ）が更に加えられた５つの畳み込み層を含む経路集約ネットワーク（ＰＡＮ）と、を用いた特徴集約のためのネックと、小形及び中型サイズのオブジェクトの検出のために、ＭＩＳＨ活性化関数と畳み込み層の追加のセットとを使用するヘッドと、を備える。
【0011】
更に別の態様では、１又は２以上の命令を含む１又は２以上の非一時的な機械可読情報記憶媒体が提供され、この命令は、１又は２以上のハードウェアプロセッサによって実行されたときに、フュージョンベースのオブジェクト追跡のための方法を生じさせる。本方法は、（ａ）車両に取り付けられた２Ｄカメラセットアップを介して車両を取り巻く環境の複数の２次元（２Ｄ）画像と、（ｂ）車両に取り付けられた光検出及び測距（ＬＩＤＡＲ）を介して環境の複数の３次元（３Ｄ）ポイントクラウドとを含むストリーミングデータを受け取るステップを含む。更に、本方法は、複数の３Ｄポイントクラウドの各々を、対応する複数の２Ｄバードアイビュー（ＢＥＶ）画像に変換するステップを含む。更に、本方法は、（ａ）複数の２Ｄ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して複数の２Ｄ画像の各々におけるオブジェクトの第１のセットを検出し、（ｉｉ）２Ｄカメラトラッカーを使用してオブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤで複数の２Ｄ画像の各々のオブジェクトの第１のセットの各オブジェクトをラベリングする、複数の２Ｄ画像と、
（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用してオブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するためトラッカーＩＤで複数の２Ｄ－ＢＥＶ画像の各々のオブジェクトの第２のセットの各オブジェクトをラベリングする、複数の２Ｄ ＢＥＶ画像と、
（ｃ）複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用してオブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するためトラッカーＩＤで複数の３Ｄポイントクラウドの各々のオブジェクトの第３のセットの各オブジェクトをラベリングする、複数の３Ｄポイントクラウドと、を同時に処理するステップを含む。
（ｂ）複数の２Ｄ ＢＥＶ画像であって、（ｉ）ＭＩＳＨ活性化関数を利用してカスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して複数の２Ｄ－ＢＥＶ画像の各々におけるオブジェクトの第２のセットを検出し、（ｉｉ）２Ｄ－ＢＥＶトラッカーを使用してオブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するためトラッカーＩＤで複数の２Ｄ－ＢＥＶ画像の各々のオブジェクトの第２のセットの各オブジェクトをラベリングする、複数の２Ｄ ＢＥＶ画像と、
（ｃ）複数の３Ｄポイントクラウドであって、（ｉ）３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて複数の３Ｄポイントクラウドの各々におけるオブジェクトの第３のセットを検出し、（ｉｉ）３Ｄ ＬＩＤＡＲトラッカーを使用してオブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するためトラッカーＩＤで複数の３Ｄポイントクラウドの各々のオブジェクトの第３のセットの各オブジェクトをラベリングする、複数の３Ｄポイントクラウドと、を同時に処理するステップを含む。
【0012】
更に、本方法は、２Ｄ－ＢＥＶトラッカー内の２Ｄ－ＢＥＶオブジェクトと３Ｄ ＬＩＤＡＲトラッカー内の３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクトに対するフュージョンＬＩＤＡＲトラッカーを生成するステップを含む。更に、本方法は、１又は２以上のハードウェアプロセッサによって、フュージョンＬＩＤＡＲトラッカー内の複数のフュージョンＬＩＤＡＲオブジェクトと２Ｄカメラトラッカー内の２Ｄカメラオブジェクトとの間の対応関係を決定することによって、統合トラッカーを生成するステップを含む。統合トラッカーを生成するステップは、（ａ）フュージョンＬＩＤＡＲトラッカー及び２Ｄカメラトラッカーから出力を読み込むステップと、
（ｂ）較正行列を使用して、複数の３Ｄポイントクラウド及び対応する複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、２Ｄバウンディングボックス（ＢＢ）の非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の２Ｄカメラオブジェクトが、フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上のフュージョンＬＩＤＡＲオブジェクトが、２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて複数の２Ｄカメラオブジェクトに関連する属性を、オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、を含む。
（ｂ）較正行列を使用して、複数の３Ｄポイントクラウド及び対応する複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップと、
（ｃ）パノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ね合わせることにより、２Ｄバウンディングボックス内の非オクルード領域を識別するステップと、
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、２Ｄバウンディングボックス（ＢＢ）の非オクルード領域上に再投影されたＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップであって、ノイズを伴う密度ベースの空間クラスタリングを用いて非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される、ステップと、
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、複数のフュージョンＬＩＤＡＲオブジェクトに推定距離を有する２Ｄカメラオブジェクトをマッピングするステップと、
（ｆ）複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップと、
（ｇ）１又は２以上の２Ｄカメラオブジェクトが、フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップと、
（ｈ）１又は２以上のフュージョンＬＩＤＡＲオブジェクトが、２Ｄカメラオブジェクトとの対応するマッピングを有することができないかどうかを決定し、１又は２以上のフュージョンＬＩＤＡＲオブジェクトについて複数の２Ｄカメラオブジェクトに関連する属性を、オブジェクトの以前の発生及びデフォルト値のうちの１つから導出するステップと、を含む。
【0013】
ＭＩＳＨ活性化関数を利用してカスタマイズされたＮＮアーキテクチャに基づいて第１の２Ｄオブジェクト検出器及び第２の２Ｄオブジェクト検出器は、 ２Ｄ画像から特徴抽出を行うためのバックボーンと、（ｉ）負の値を保存し、トレーニングにおいてより良好な正則化と汎化とを提供して受信したストリーミングデータに対してノイズの多い状況での検出を強化できるＭＩＳＨ活性化関数と、（ｉｉ）クラッター状況で検出タスクに寄与する関心オブジェクトにのみ焦点を当てることにより関連する特徴を抽出する空間アテンションモジュール（ＳＡＭ）が更に加えられた５つの畳み込み層を含む経路集約ネットワーク（ＰＡＮ）と、を用いた特徴集約のためのネックと、小形及び中型サイズのオブジェクトの検出のために、ＭＩＳＨ活性化関数と畳み込み層の追加のセットとを使用するヘッドと、を備える。
【0014】
前述の一般的な説明と以下の詳細な説明の両方は共に例示的で説明的のためのものに過ぎず、請求項に記載される本発明を限定するものではないことを理解されたい。
【0015】
本開示に組み込まれ且つ本開示の一部を構成する添付図面は、例示的な実施形態を例証し、本明細書と共に開示された原理を説明する役割を果たす。
【図面の簡単な説明】
【0016】
【図1】本開示の幾つかの実施形態による、自律走行車両のための３Ｄ光検出及び測距（ＬＩＤＡＲ）ポイントクラウド及び周囲カメラを使用したフュージョンベースのオブジェクトトラッカーのためのシステムの機能ブロック図である。
【図2A】本開示の幾つかの実施形態による、図１のシステムを使用して、自律走行車両のための光検出及び測距（ＬＩＤＡＲ）ポイントクラウド及び周囲カメラを使用したフュージョンベースのオブジェクトトラッカーのための方法を示す流れ図（総称して図２と呼ぶ）である。
【図2B】本開示の幾つかの実施形態による、図１のシステムを使用して、自律走行車両のための光検出及び測距（ＬＩＤＡＲ）ポイントクラウド及び周囲カメラを使用したフュージョンベースのオブジェクトトラッカーのための方法を示す流れ図（総称して図２と呼ぶ）である。
【図3A】本開示の幾つかの実施形態による、カメラからの２Ｄ画像及び３Ｄ ＬＩＤＡＲからの３Ｄポイントクラウドからオブジェクトを検出及び追跡するための図１のシステムのアーキテクチャの概要を示す図である。
【図3B】本開示の幾つかの実施形態による、視聴者に表示されるカメラビュー及び３Ｄ ＬＩＤＡＲポイントクラウドビューにわたって追跡されたオブジェクトを含むシステム入力及び対応する出力を示す図である。
【図3C】本開示の幾つかの実施形態による、視聴者に表示されるカメラビュー及び３Ｄ ＬＩＤＡＲポイントクラウドビューにわたって追跡されたオブジェクトを含むシステム入力及び対応する出力を示す図である。
【図4A】本開示の幾つかの実施形態による、ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて、図１のシステムの２Ｄオブジェクト検出器のアーキテクチャを示す図である（集合的に図４と呼ぶ）。
【図4B】本開示の幾つかの実施形態による、ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて、図１のシステムの２Ｄオブジェクト検出器のアーキテクチャを示す図である（集合的に図４と呼ぶ）。
【図5A】本開示の幾つかの実施形態による、２Ｄオブジェクト検出器のＳＡＭ層を示す図である。
【図5B】カスタマイズされたニューラルネットワークアーキテクチャによって使用されるＭＩＳＨ活性化関数を示す図である。
【図6】本開示の幾つかの実施形態による、３Ｄポイントクラウドから２Ｄ－ＢＥＶ画像への変換、並びに２Ｄオブジェクト検出器を用いた２Ｄ－ＢＥＶ画像内のオブジェクトのセットの検出を示す図である。
【図7】本開示の幾つかの実施形態による、３Ｄ ＬＩＤＡＲオブジェクト検出器を使用した３Ｄポイントクラウド内のオブジェクトのセットの検出を示す図である。
【図9】本開示の幾つかの実施形態による、自律走行車両に取り付けられた２Ｄカメラセットアップの複数のカメラの各々に関連付けられた２Ｄカメラトラッカーによって検出されたトラッカーＩＤの単一化を示す図である。
【図10】本開示の幾つかの実施形態による、２Ｄカメラトラッカー及び３Ｄ ＬＩＤＡＲオブジェクト検出器によって検出されたトラッカーＩＤをフュージョンさせることによって統合トラッカーを生成するトラッカーフュージョンアーキテクチャを示す図である。
【図11B】本開示の幾つかの実施形態による、パノプティックセグメンテーションを使用して検出されたオブジェクトの非オクルード領域の抽出を示す図である。
【発明を実施するための形態】
【0017】
本明細書における何れかのブロック図は、本発明の主題の原理を具現化する例示的なシステム及びデバイスの概念図を表すことは、当業者には理解されるはずである。同様に、何れかのフローチャート、フロー図などは、コンピュータ又はプロセッサが明示的に示されているかどうかにかかわらず、コンピュータ可読媒体で実質的に表されてそのようにコンピュータ又はプロセッサによって実行することができる種々のプロセスを表すことが理解されるであろう。
【0018】
例示的な実施形態が、添付図面を参照して説明される。図において、参照番号の最も左の桁は、参照番号が最初に現れる図を表している。好都合な場合には、同じ又は同様の要素を参照するのに図面全体を通して同じ参照番号が使用される。開示された原理の例及び特徴が本明細書に記載されているが、開示された実施形態の範囲から逸脱することなく、修正、適応、及び他の実施形態が可能である。
【0019】
本開示の実施形態は、自律走行車両のための光検出及び測距（ＬＩＤＡＲ）ポイントクラウド及び周囲カメラを使用したフュージョンベースのオブジェクトトラッカーのための方法及びシステムを提供する。
【0020】
オブジェクトの堅牢な３６０度追跡のための技術的制限がある検出及び追跡のためのＬＩＤＡＲ及びカメラのみの使用に主に依存する既存の方法とは異なり、開示された方法は、オブジェクトの堅牢でシームレスな３６０追跡を提供するために、３Ｄ ＬＩＤＡＲポイントクラウド、２Ｄカメラ画像、及び更に３Ｄ ＬＩＤＡＲポイントクラウドから得られる２Ｄバードアイビュー（ＢＥＶ）画像を利用することによりこの技術的課題を解決する。本方法は、ＬＩＤＡＲ、車両（例えば自律走行車両）に取り付けられた２Ｄカメラの各々によってキャプチャされたオブジェクトを独立して検出し追跡する。次いで、独立して追跡されたオブジェクトは、２つのステップでフュージョンされる。最初に、ＬＩＤＡＲ空間における３Ｄ ＬＩＤＡＲと２Ｄ－ＢＥＶ追跡のフュージョンが行われ、大きなオクルージョンなしにＬＩＤＡＲにオブジェクトが見え続ける限り、トラックＩＤのドロップを低減するのを助ける。例えば、３Ｄ ＬＩＤＡＲでの追跡ができない場合でも、ＢＥＶトラッカーでは追跡が安定している場合、２Ｄ－ＢＥＶと３Ｄ ＬＩＤＡＲのフュージョンにより、トラッカーＩＤの整合性を確保することができる。２Ｄ－ＢＥＶ画像での追跡はより効果的であり、２Ｄカメラ画像用の２Ｄオブジェクトトラッカーに類似した２Ｄオブジェクトトラッカーを使用して実行される。２Ｄ－ＢＥＶのボックスと対応する３Ｄボックスの関係は事前に知られている。２Ｄ－ＢＥＶ画像から、２Ｄ－ＢＥＶトラッカーは、堅牢な追跡を確保するために、幾何学的特徴と画像レベル特徴の両方を抽出する。従って、２Ｄ－ＢＥＶ追跡と３Ｄ ＬＩＤＡＲに搭載されている速度ベースのトラッカーをフュージョンさせることで、効果的な追跡を実現する。２Ｄカメラ検出の実世界における位置は、２Ｄボックスの非オクルード領域上に再投影されたライダーポイントを用いて２Ｄカメラ検出の逆マッピングにより推定される。非オクルード領域は、パノプティックセグメンテーションアルゴリズムを用いて識別される。クラスタリングアルゴリズムは、距離の推定と再投影ライダーポイントからの異常値の除去に使用される。その後、フュージョンされたＬＩＤＡＲ及びカメラデータの更なるフュージョンが行われる。ＬＩＤＡＲの３Ｄ座標は、最も近いユークリッドアルゴリズムを用いて、２Ｄカメラ検出の実世界位置にマッピングされる。ユークリッド距離がある閾値内であれば、トラックＩＤのマッチングが行われ、適切な最終トラックＩＤが割り当てられる。３Ｄライダートラックが利用可能な全てのボックスについて、３Ｄ位置が更新される。残りのボックスについては、再投影アルゴリズムによって事前に計算された実世界位置が更新される。
【0021】
更に、２Ｄオブジェクト検出は、ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて２Ｄオブジェクト検出器によって実行される。２Ｄオブジェクト検出器は、特徴抽出を強化し、精緻化特徴に起因して、小型及び中型サイズのオブジェクトの検出を効果的に向上させる。ＭＩＳＨ活性化関数を利用したカスタマイズされたＮＮアーキテクチャ（ＭＩＳＨ関数は当該技術分野で知られている）は、負の値の保存、より良好な正則化、及びトレーニングにおける汎化を可能にし、ノイズ又はクラッター環境であっても検出の向上をもたらす。
【0022】
ここで図面、より詳細には図１～図１１Ｂを参照すると、同様の参照文字が図全体を通して一貫して対応する特徴を示し、好ましい実施形態が示され、これらの実施形態は、以下の例示的なシステム及び／又は方法に関して説明される。
【0023】
図１は、本開示の幾つかの実施形態による、自律走行車両のための３Ｄ光検出及び測距（ＬＩＤＡＲ）ポイントクラウド及び周囲カメラを使用したフュージョンベースのオブジェクトトラッカーのためのシステムの機能ブロック図である。
【0024】
一実施形態では、システム１００は、プロセッサ１０４と、入力／出力（Ｉ／Ｏ）インタフェース１０６と代替的に呼ばれる通信インタフェースデバイスと、プロセッサ１０４に動作可能に結合された１又は２以上のデータ記憶デバイス又はメモリ１０２と、を含む。１又は２以上のハードウェアプロセッサを有するシステム１００は、システム１００の１又は２以上の機能ブロックの機能を実行するように構成される。
【0025】
システム１００の構成要素を参照すると、実施形態では、プロセッサ１０４は、１又は２以上のハードウェアプロセッサ１０４とすることができる。実施形態において、１又は２以上のハードウェアプロセッサ１０４は、１又は２以上のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、状態機械、論理回路、及び／又は操作命令に基づいて信号を操作する何れかのデバイスとして実装することができる。他の能力の中でもとりわけ、１又は２以上のハードウェアプロセッサ１０４は、メモリ１０２に格納されたコンピュータ可読命令をフェッチし実行するように構成される。実施形態では、システム１００は、ラップトップコンピュータ、ノートブック、携帯電話などのハンドヘルドデバイス、ワークステーション、メインフレームコンピュータ、サーバなどを含む様々なコンピューティングシステムにて実装することができる。具体的には、システム１００は、自律走行車両の制御システムなどの車両制御システムの構成要素とすることができる。
【0026】
Ｉ／Ｏインタフェース１０６は、例えば、ウェブインタフェース、グラフィカルユーザインタフェースなどの様々なソフトウェア及びハードウェアインタフェースを含むことができ、例えば、ＬＡＮ、ケーブルなどの有線ネットワーク、及びＷＬＡＮ、セルラーなどの無線ネットワークを含む、幅広い種類のネットワークＮ／Ｗ及びプロトコルタイプ内の複数の通信を容易にすることができる。実施形態では、Ｉ／Ｏインタフェース１０６は、複数の外部デバイスに接続するため、又は別のサーバもしくはデバイスに接続するための１又は２以上のポートを含むことができる。車両に取り付けられた２Ｄカメラセットアップ１１２及びＬＩＤＡＲ１１４は、Ｉ／Ｏインタフェース１０６を介してシステム１００と通信する。２Ｄカメラセットは、車両の環境の異なるビューをキャプチャする複数のカメラから構成される。例えば、２Ｄカメラセットは、車両の周辺環境における異なるビュー及び対応するオブジェクトをキャプチャする左カメラ、右カメラ及びフロントカメラを含むことができる。複数の２Ｄカメラの各々の視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ：ＦｏＶ）は、環境の異なる領域をカバーする。
【0027】
メモリ１０２は、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）及び動的ランダムアクセスメモリ（ＤＲＡＭ）などの揮発性メモリ、及び／又は、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、及び磁気テープなどの不揮発性メモリなど、当該分野で知られている何れかのコンピュータ可読媒体を含むことができる。
【0028】
更に、メモリ１０２は、図１のシステムのアーキテクチャの概要を描いた図３のように、２Ｄオブジェクト検出器（第１の２Ｄオブジェクト検出器及び第２の２Ｄオブジェクト検出器）、２Ｄカメラトラッカー、２Ｄ－ＢＥＶトラッカー、３Ｄ ＬＩＤＡＲオブジェクト検出器、３Ｄ－ＬＩＤＡＲトラッカー、フュージョンＬＩＤＡＲトラッカー、統合トラッカー、パノプティックセグメンテーションモジュール、及び他のモジュールなどの複数のモジュール１１０を含む。複数のモジュールは、車両のためのフュージョンベースのオブジェクトトラッカーのための１又は２以上のハードウェアプロセッサ１０４によって実行される。更に、メモリ１０２は、２Ｄカメラセットアップによってキャプチャされた複数の２Ｄ画像、ＬＩＤＡＲによって生成された複数の３Ｄポイントクラウド、追跡されているオブジェクトのトラッカーＩＤ、あるトラッカーから他のトラッカーへのオブジェクトマッピングに用いられるルックアップテーブル等を格納するデータベース１０８を含む。更に、メモリ１０２は、本開示のシステム１００及び方法のプロセッサ１０４によって実行される各ステップの入力／出力に係る情報を含むことができる。実施形態において、データベース１０８は、システム１００の外部（図示せず）にあり、Ｉ／Ｏインタフェース１０６を介してシステムに結合することができる。システム１００の構成要素の機能は、図２及び図３～図１２のフロー図と関連して説明される。
【0029】
図２Ａから図２Ｂ（総称して図２と呼ぶ）は、本開示の幾つかの実施形態による、図１のシステムを用いて、自律走行車両のためのＬＩＤＡＲポイントクラウド及び周辺カメラを使用したフュージョンベースのオブジェクトトラッカーのための方法２００を例示するフロー図である。
【0030】
実施形態において、システム１００は、プロセッサ１０４に動作可能に結合された１又は２以上のデータ記憶デバイス又はメモリ１０２を備え、プロセッサ又は１又は２以上のハードウェアプロセッサ１０４による方法２００のステップの実行のための命令を格納するように構成される。ここで、本開示の方法２００のステップを、図１に描かれているようなシステム１００の構成要素又はブロック、及び図１２に描かれているようなフロー図のステップを参照しながら説明することにする。プロセスステップ、方法ステップ、技法などは、連続した順序で説明することができるが、このようなプロセス、方法、及び技法は、代替の順序で動作するように構成することができる。言い換えれば、記載することができるステップの何れかのシーケンス又は順序は、必ずしもステップがその順序で実行される要件を示すものではない。本明細書に記載されるプロセスのステップは、実用的なあらゆる順序で実行することができる。更に、幾つかのステップは、同時に実行されてもよい。
【0031】
図１のシステムのアーキテクチャの概要を描いた図３Ａ～３Ｃと関連して理解することができる方法２００のステップを参照すると、方法２００のステップ２０２において、１又は２以上のハードウェアプロセッサ１０４は、（ａ）車両に取り付けられた２Ｄカメラセットアップを介して車両を取り巻く環境の複数の２Ｄ画像と、（ｂ）車両に取り付けられたＬＩＤＡＲを介して環境の複数の３Ｄポイントクラウドと、を含むストリーミングデータを受け取る。図３Ｂには、所与の瞬間時間の３Ｄポイントクラウド入力と共に、車両から環境の左、前、及び右ビューをキャプチャする２Ｄカメラセットアップの３つのカメラからの２Ｄ画像を含むストリーミングデータが描かれている。画像は代表的なものであり、システム１００の入力及び出力のより良好な理解のために追加されている点を理解されたい。画像の低解像度及び低スケール及びグレースケールは、代表的な画像の文脈において、理解されるべきである。図３Ｃには、入力画像からバウンディングボックス（ＢＢ）を有する追跡されたオブジェクトが、エンドビューアに表示されるように描かれている。検出及び追跡が、ステップ２０４から２１０の助けを借りて説明される。
【0032】
方法２００のステップ２０４を参照すると、１又は２以上のハードウェアプロセッサ１０４は、複数の３Ｄポイントクラウドの各々を、対応する複数の２Ｄバードアイビュー（ＢＥＶ）画像に変換する。
【0033】
方法２００のステップ２０６において、１又は２以上のハードウェアプロセッサ１０４は、受信したデータを同時に処理する。すなわち、システム１００は、ステップ２０６において、以下の動作（ａ）、（ｂ）及び（ｃ）を実行する：
（ａ）複数の２Ｄ画像は、ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して複数の２Ｄ画像の各々においてオブジェクトの第１のセットを検出するよう処理される。第１の２Ｄオブジェクト検出器は、図４Ａ～図５Ｂと関連して説明される。更に、２Ｄ画像の各々におけるオブジェクトの第１のセットは、図８及び図９と関連して説明する２Ｄカメラトラッカーを使用してオブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤでラベリングされる。２Ｄカメラトラッカーは、アルゴリズムを含み、Ｎ番目のフレームのバウンディングボックスを（Ｎ＋１）番目のフレームのバウンディングボックスとマッチングさせ、次いでオブジェクト検出ができなかったときにボックスを予測するのに役立つ。これは、相関トラッカーの上に構築され、堅牢な性能を得るために幾何学的及び特徴的マッチング技術を追加している。
（ｂ）同様に、複数の２Ｄ ＢＥＶ画像は、ＭＩＳＨ活性化関数を利用してカスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して、複数の２Ｄ－ＢＥＶ画像の各々においてオブジェクトの第２のセットを検出するよう処理される。第２の２Ｄオブジェクト検出器は、第１の２Ｄオブジェクト検出器と同様のアーキテクチャを有し、図４Ａから図５Ｂと関連して説明される。検出されたオブジェクトの第２のセットは次に、２Ｄ－ＢＥＶトラッカーを使用してオブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するために、トラッカーＩＤでラベリングされる。２Ｄ－ＢＥＶトラッカーのアーキテクチャは２Ｄカメラトラッカーと同様であるので、２Ｄカメラトラッカーを説明する図８及び図９と関連して理解することができる。
（ｃ）同様に、複数の３Ｄポイントクラウドは、（ｉ）図７と関連して説明したように、３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて複数の３Ｄポイントクラウドの各々においてオブジェクトの第３のセットを検出するよう処理される。３Ｄ ＬＩＤＡＲオブジェクト検出器は、当該技術分野で知られている人工知能（ＡＩ）ベースの検出アルゴリズムを使用する。３Ｄ ＬＩＤＡＲオブジェクト検出器は、Ｘ、Ｙ、Ｚ、及び強度の形態のポイントクラウド入力を取り、予測にポイントピラーアプローチを利用し、３Ｄ ＬＩＤＡＲオブジェクト検出器の出力は、オブジェクトのＸ、Ｙ、Ｚ、ディメンジョン、ＣｌａｓｓＴｙｐｅ、方向（Ｙａｗ）及び信頼度を含む。複数の３Ｄポイントクラウドの各々に対応する検出されたオブジェクトの第３のセットの各々は、３Ｄ ＬＩＤＡＲトラッカーを使用してオブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するためにトラッカーＩＤでラベリングされる。３Ｄ ＬＩＤＡＲトラッカーのワークフローは、以下に提供され、当該技術分野で使用される技術に従う。
１．最初の発生時にオブジェクトのトラッカーＩＤを割り当てる。
２．中心点ベースのアルゴリズム速度アルゴリズム及びアンセンテッドカルマンフィルタを適用して、現在のフレームと次のフレームのオブジェクトをマッピングする（各軸のユークリッド距離）。
３．カルマンフィルタ及び速度トラッカー予測を用いて欠落検出を埋める。
４．重複検出を取り除くために、ラップ、信頼度、及び発生回数に関する３Ｄ ＩＯＵを検証する。
５．各フレームで速度、発生回数、方向変化、及び信頼度を更新する。
６．カルマンフィルタＵＫＦを使用して予測値を更新する。
７．３Ｄライダートラッカー出力を生成する。
（ａ）複数の２Ｄ画像は、ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて第１の２Ｄオブジェクト検出器を使用して複数の２Ｄ画像の各々においてオブジェクトの第１のセットを検出するよう処理される。第１の２Ｄオブジェクト検出器は、図４Ａ～図５Ｂと関連して説明される。更に、２Ｄ画像の各々におけるオブジェクトの第１のセットは、図８及び図９と関連して説明する２Ｄカメラトラッカーを使用してオブジェクトの第１のセットに対応する２Ｄカメラオブジェクトを追跡するためトラッカーＩＤでラベリングされる。２Ｄカメラトラッカーは、アルゴリズムを含み、Ｎ番目のフレームのバウンディングボックスを（Ｎ＋１）番目のフレームのバウンディングボックスとマッチングさせ、次いでオブジェクト検出ができなかったときにボックスを予測するのに役立つ。これは、相関トラッカーの上に構築され、堅牢な性能を得るために幾何学的及び特徴的マッチング技術を追加している。
（ｂ）同様に、複数の２Ｄ ＢＥＶ画像は、ＭＩＳＨ活性化関数を利用してカスタマイズされたＮＮアーキテクチャに基づいて第２の２Ｄオブジェクト検出器を使用して、複数の２Ｄ－ＢＥＶ画像の各々においてオブジェクトの第２のセットを検出するよう処理される。第２の２Ｄオブジェクト検出器は、第１の２Ｄオブジェクト検出器と同様のアーキテクチャを有し、図４Ａから図５Ｂと関連して説明される。検出されたオブジェクトの第２のセットは次に、２Ｄ－ＢＥＶトラッカーを使用してオブジェクトの第２のセットに対応する２Ｄ－ＢＥＶオブジェクトを追跡するために、トラッカーＩＤでラベリングされる。２Ｄ－ＢＥＶトラッカーのアーキテクチャは２Ｄカメラトラッカーと同様であるので、２Ｄカメラトラッカーを説明する図８及び図９と関連して理解することができる。
（ｃ）同様に、複数の３Ｄポイントクラウドは、（ｉ）図７と関連して説明したように、３Ｄ ＬＩＤＡＲオブジェクト検出器を用いて複数の３Ｄポイントクラウドの各々においてオブジェクトの第３のセットを検出するよう処理される。３Ｄ ＬＩＤＡＲオブジェクト検出器は、当該技術分野で知られている人工知能（ＡＩ）ベースの検出アルゴリズムを使用する。３Ｄ ＬＩＤＡＲオブジェクト検出器は、Ｘ、Ｙ、Ｚ、及び強度の形態のポイントクラウド入力を取り、予測にポイントピラーアプローチを利用し、３Ｄ ＬＩＤＡＲオブジェクト検出器の出力は、オブジェクトのＸ、Ｙ、Ｚ、ディメンジョン、ＣｌａｓｓＴｙｐｅ、方向（Ｙａｗ）及び信頼度を含む。複数の３Ｄポイントクラウドの各々に対応する検出されたオブジェクトの第３のセットの各々は、３Ｄ ＬＩＤＡＲトラッカーを使用してオブジェクトの第３のセットに対応する３Ｄ ＬＩＤＡＲオブジェクトを追跡するためにトラッカーＩＤでラベリングされる。３Ｄ ＬＩＤＡＲトラッカーのワークフローは、以下に提供され、当該技術分野で使用される技術に従う。
１．最初の発生時にオブジェクトのトラッカーＩＤを割り当てる。
２．中心点ベースのアルゴリズム速度アルゴリズム及びアンセンテッドカルマンフィルタを適用して、現在のフレームと次のフレームのオブジェクトをマッピングする（各軸のユークリッド距離）。
３．カルマンフィルタ及び速度トラッカー予測を用いて欠落検出を埋める。
４．重複検出を取り除くために、ラップ、信頼度、及び発生回数に関する３Ｄ ＩＯＵを検証する。
５．各フレームで速度、発生回数、方向変化、及び信頼度を更新する。
６．カルマンフィルタＵＫＦを使用して予測値を更新する。
７．３Ｄライダートラッカー出力を生成する。
【0034】
方法２００のステップ２０８において、１又は２以上のハードウェアプロセッサは、２Ｄ－ＢＥＶトラッカー内の２Ｄ－ＢＥＶオブジェクトと３Ｄ ＬＩＤＡＲトラッカー内の３Ｄ ＬＩＤＡＲオブジェクトとの間の対応関係を決定することによって、複数のフュージョンＬＩＤＡＲオブジェクト（ｆｕｓｅｄ ＬＩＤＡＲ ｏｂｊｅｃｔ）に対するフュージョンＬＩＤＡＲトラッカーを生成する。フュージョンＬＩＤＡＲトラッカーを生成するためにシステム１００によって実行されるステップが、以下に提供される。
１．２Ｄ ＩＯＵオーバーラップを決定し、対応関係の３Ｄ ＬＩＤＡＲ及び２Ｄ ＢＥＶの検出を見つける。
２．マッピングされたオブジェクトの３Ｄ ＬＩＤＡＲのＩＤ不一致の場合、トラッカーＩＤを更新する。
３．ＩＤでマッピングされたオブジェクトの欠落３Ｄ検出を更新し、以前のフレームサイズで埋められる。
４．２Ｄ－ＢＥＶトラッカー及び３Ｄ ＬＩＤＡＲトラッカーの両方に存在するオブジェクトのトラッカー信頼度を設定する。
５．フュージョンされたＬＩＤＡＲトラッカー出力を生成する。
１．２Ｄ ＩＯＵオーバーラップを決定し、対応関係の３Ｄ ＬＩＤＡＲ及び２Ｄ ＢＥＶの検出を見つける。
２．マッピングされたオブジェクトの３Ｄ ＬＩＤＡＲのＩＤ不一致の場合、トラッカーＩＤを更新する。
３．ＩＤでマッピングされたオブジェクトの欠落３Ｄ検出を更新し、以前のフレームサイズで埋められる。
４．２Ｄ－ＢＥＶトラッカー及び３Ｄ ＬＩＤＡＲトラッカーの両方に存在するオブジェクトのトラッカー信頼度を設定する。
５．フュージョンされたＬＩＤＡＲトラッカー出力を生成する。
【0035】
フュージョンＬＩＤＡＲトラッカーが生成されると、次に、方法２００のステップ２１０において、１又は２以上のハードウェアプロセッサ１０４は、フュージョンＬＩＤＡＲトラッカー内のフュージョンＬＩＤＡＲオブジェクトとカメラトラッカー内の２Ｄカメラオブジェクトとの間の対応関係を決定することによって統合トラッカーを生成する。統合トラッカーは、図１０及び以下のステップと関連して説明される。
統合トラッカーを生成することは、以下のステップ（ａ）～（ｈ）を含む。
（ａ）フュージョンＬＩＤＡＲトラッカー及び２Ｄカメラトラッカーから出力を読み込むステップ。
（ｂ）較正行列を用いて、複数の３Ｄポイントクラウド及び対応する複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップ。
（ｃ）図３Ａ及び図１０に描かれているように、パノプティックモジュールを用いたパノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ねることにより、２Ｄバウンディングボックスにおいて非オクルード領域を識別するステップ。パノプティックセグメンテーションアプローチは、２Ｄカメラセットのカメラのフレーム内の２Ｄオブジェクトのセマンティックセグメンテーションとインスタンスセグメンテーションを取得することを可能にし、２Ｄオブジェクトに対応する可視ピクセルのみが、パノプティックセグメンテーション出力に対して２Ｄ ＢＢを重ねることによってカメラフレームから抽出され、フュージョン中に無関係なオブジェクトからの３Ｄ ＬＩＤＡＲポイントを排除して、３Ｄポイントクラウド内の検出オブジェクトの正確な実世界位置を提供できるようにする。パノプティックセグメンテーションは、図１１Ａ及び図１１Ｂと関連して説明される。
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、２Ｄバウンディングボックス（ＢＢ）の非オクルード領域上の再投影ＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップ。ノイズを含む密度ベースの空間クラスタリングを用いて非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される。クラスタの選択の精度は、ポイントの数とオブジェクトの軌跡に基づいて距離の信頼性を割り当てることによって更に保証される。位置の何らかの偏差は、中心点ベースの速度と、上記のアルゴリズムとマージされたアンセンテッドカルマンフィルタとによって補正される。縦方向及び横方向位置は、非オクルード領域から最良のクラスタの平均を取ることによって決定される。実施形態では、ＤＢスキャン、最も支配的なクラスタリングの選択、ポイント数に基づく距離信頼性の差別化、及びオブジェクトの軌跡を含む、複数のアルゴリズムと基準に基づいて、最良クラスタが選択される。位置のスパイクの平坦化は、中心点ベースの速度と、最良のクラスタ選択に使用される複数のアルゴリズムとマージされたアンセンテッドカルマンフィルタを用いて行われる。カメラトラッカーのみで検出されたオブジェクトに対応するカメラ２Ｄ検出の偏差は、中心点ベースの速度と上記のアプローチでマージされたアンセントカルマンフィルタとを適用することにより補正される。
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、複数のフュージョンＬＩＤＡＲオブジェクトへの距離推定を有する２Ｄカメラオブジェクトをマッピングするステップ。
（ｆ）複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップ。
（ｇ）１又は２以上の２Ｄカメラオブジェクトが、フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップ。
（ｈ）１又は２以上のフュージョンＬＩＤＡＲオブジェクトが２Ｄカメラオブジェクトと対応するマッピングを有することができないかどうかを決定し、１又は２以上のフュージョンＬＩＤＡＲオブジェクトに対して複数の２Ｄカメラオブジェクトに関連する属性を、オブジェクトの以前の発生とデフォルト値のうちの１つから導出するステップ。ＬＩＤＡＲ－カメラＩＤ間のマッピングの履歴を保持することで、トラックＩＤの維持を保証するための安定対策が導入される。これは、履歴を参照することにより、ＬＩＤＡＲ又はカメラのどちらかのトラックＩＤの切り替えを克服するのに役立つ。
統合トラッカーを生成することは、以下のステップ（ａ）～（ｈ）を含む。
（ａ）フュージョンＬＩＤＡＲトラッカー及び２Ｄカメラトラッカーから出力を読み込むステップ。
（ｂ）較正行列を用いて、複数の３Ｄポイントクラウド及び対応する複数の２Ｄ画像の各々を補正したエゴモーションのルックアップテーブルを作成するステップ。
（ｃ）図３Ａ及び図１０に描かれているように、パノプティックモジュールを用いたパノプティックセグメンテーション出力上に２Ｄバウンディングボックスを重ねることにより、２Ｄバウンディングボックスにおいて非オクルード領域を識別するステップ。パノプティックセグメンテーションアプローチは、２Ｄカメラセットのカメラのフレーム内の２Ｄオブジェクトのセマンティックセグメンテーションとインスタンスセグメンテーションを取得することを可能にし、２Ｄオブジェクトに対応する可視ピクセルのみが、パノプティックセグメンテーション出力に対して２Ｄ ＢＢを重ねることによってカメラフレームから抽出され、フュージョン中に無関係なオブジェクトからの３Ｄ ＬＩＤＡＲポイントを排除して、３Ｄポイントクラウド内の検出オブジェクトの正確な実世界位置を提供できるようにする。パノプティックセグメンテーションは、図１１Ａ及び図１１Ｂと関連して説明される。
（ｄ）ポイントクラウド－画像ルックアップテーブルを参照することにより、２Ｄバウンディングボックス（ＢＢ）の非オクルード領域上の再投影ＬＩＤＡＲポイントからカメラ２Ｄ検出の位置を計算するステップ。ノイズを含む密度ベースの空間クラスタリングを用いて非オクルード領域のＬＩＤＡＲポイントのセットを選択することにより、距離推定のために最良のクラスタが識別され、最良のクラスタを選択するために支配的クラスタ選択アプローチが適用される。クラスタの選択の精度は、ポイントの数とオブジェクトの軌跡に基づいて距離の信頼性を割り当てることによって更に保証される。位置の何らかの偏差は、中心点ベースの速度と、上記のアルゴリズムとマージされたアンセンテッドカルマンフィルタとによって補正される。縦方向及び横方向位置は、非オクルード領域から最良のクラスタの平均を取ることによって決定される。実施形態では、ＤＢスキャン、最も支配的なクラスタリングの選択、ポイント数に基づく距離信頼性の差別化、及びオブジェクトの軌跡を含む、複数のアルゴリズムと基準に基づいて、最良クラスタが選択される。位置のスパイクの平坦化は、中心点ベースの速度と、最良のクラスタ選択に使用される複数のアルゴリズムとマージされたアンセンテッドカルマンフィルタを用いて行われる。カメラトラッカーのみで検出されたオブジェクトに対応するカメラ２Ｄ検出の偏差は、中心点ベースの速度と上記のアプローチでマージされたアンセントカルマンフィルタとを適用することにより補正される。
（ｅ）非マッピング検出の最も近いユークリッドマッチを選択することによって、複数のフュージョンＬＩＤＡＲオブジェクトへの距離推定を有する２Ｄカメラオブジェクトをマッピングするステップ。
（ｆ）複数のフュージョンＬＩＤＡＲオブジェクトに関連する属性を、対応する２Ｄカメラオブジェクトに関連する属性とマージするステップ。
（ｇ）１又は２以上の２Ｄカメラオブジェクトが、フュージョンＬＩＤＡＲオブジェクトとの対応するマッピングを有することができないかどうかを決定するステップであって、再投影プロセスによって決定された２Ｄ ＢＢの位置が使用される、ステップ。
（ｈ）１又は２以上のフュージョンＬＩＤＡＲオブジェクトが２Ｄカメラオブジェクトと対応するマッピングを有することができないかどうかを決定し、１又は２以上のフュージョンＬＩＤＡＲオブジェクトに対して複数の２Ｄカメラオブジェクトに関連する属性を、オブジェクトの以前の発生とデフォルト値のうちの１つから導出するステップ。ＬＩＤＡＲ－カメラＩＤ間のマッピングの履歴を保持することで、トラックＩＤの維持を保証するための安定対策が導入される。これは、履歴を参照することにより、ＬＩＤＡＲ又はカメラのどちらかのトラックＩＤの切り替えを克服するのに役立つ。
【0036】
図４Ａ及び図４Ｂ（集合的に図４と呼ぶ）は、本開示の幾つかの実施形態による、ＭＩＳＨ活性化関数を利用してカスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャに基づいて、図１のシステムの２Ｄオブジェクト検出器のアーキテクチャを示す図である。図４Ａは、カスタマイズされたニューラルネットワーク（ＮＮ）アーキテクチャのバックボーン及びネックを示し、図４Ｂは、ヘッドを示している。図４Ａで分かるように、バックボーンは、従来のアーキテクチャに基づいてものである。しかしながら、ネックでは、精度を向上させるために、リークＲＥＬＵ活性化をＭＩＳＨ活性化関数に置き換えている。ネックは、以下からなる。
１．特徴抽出を向上させるための追加の畳み込み層を含む密接続。
２．標準ＳＰＰ（空間ピラミッドプーリング）。
３．ＰＡＮ（経路集約ネットワーク）は、特徴抽出を向上させるための５つの畳み込み層と、追加のＳＡＭ（空間アテンションモジュール）を含む。ＳＡＭは、検出／分類タスクに寄与する必要なオブジェクトのみに焦点を当てることにより、関連特徴を抽出するのに役立つ。
１．特徴抽出を向上させるための追加の畳み込み層を含む密接続。
２．標準ＳＰＰ（空間ピラミッドプーリング）。
３．ＰＡＮ（経路集約ネットワーク）は、特徴抽出を向上させるための５つの畳み込み層と、追加のＳＡＭ（空間アテンションモジュール）を含む。ＳＡＭは、検出／分類タスクに寄与する必要なオブジェクトのみに焦点を当てることにより、関連特徴を抽出するのに役立つ。
【0037】
ヘッドは、精度を向上させるために、従来のＬｅａｋｙ ＲＥＬＵ活性化に代わってＭＩＳＨ活性化関数を含む。更に、グリッド感度を向上させるために、３つの検出層全てでスケーリングファクタが置き換えられている。更に、小形及び中型サイズのオブジェクトに対処する検出層では、特徴抽出の向上及び追加の空間アテンションモジュール（ＳＡＭ）のために３つの畳み込み層が追加されている。これにより、小形及び中型サイズのオブジェクトの検出が向上された。
【0038】
以下の表１は、従来の２Ｄオブジェクト検出ＮＮアーキテクチャと、ＭＩＳＨ活性化関数を利用したカスタマイズされたＮＮアーキテクチャに基づいて図１のシステムの２Ｄオブジェクト検出器との比較分析を示している。
【0039】
図５Ａは、本開示の幾つかの実施形態による、２Ｄオブジェクト検出器のＳＡＭ層を示す。最近、アテンションモジュールは、ネットワークが全体ではなく、画像内に存在するオブジェクトに特に焦点を合わせるようにするために、畳み込みニューラルネット（ＣＮＮ）において使用されている。これらのモジュールは、オブジェクトの周囲のコンテキスト情報及びどの特徴が重要であるかにそれぞれ重視するようにネットワークに伝えることによって、「どこで」「何を」の質問を解決するのに役立つ。ここで使われているシグモイド活性化関数は、オブジェクトのコンテキスト情報を全て拡大するのに役立つ。検出／分類タスクにおいて役割を果たさない値は、重み付けが軽くされることになる。空間的アテンションマスクは、入力特徴に適用され、精緻化特徴マップを出力する。検出ヘッドにＳＡＭレイヤーを使用することで、小形及び中型サイズのオブジェクトの検出を向上させる結果になる。
【0040】
【0041】
ネック及び検出器ヘッドにおいてＭＩＳＨアクティベーションを使用することで、精度が向上している。ＭＩＳＨ活性化関数は、以下の特性の助けを借りて、負の値に対するニューロンの更新を扱うことができる。
１．非単調関数：負の値を保持することで、ネットワークの勾配流を安定させ、ＲｅＬＵとは異なり、Ｄｙｉｎｇ ＲｅＬＵ問題をほぼ解決し、より表現的な特徴を学習する助けとなる。
２．Ｕｎｂｏｕｎｄｅｄｎｅｓｓ及びＢｏｕｎｄｅｄ Ｂｅｌｏｗ：前者は出力ニューロンの飽和問題を除去するのに役立ち、後者はネットワークの良好な汎化に役立つ。
３．無限次の連続性（Ｉｎｆｉｎｉｔｅ Ｏｒｄｅｒ ｏｆ Ｃｏｎｔｉｎｕｉｔｙ）：関数の滑らかさに起因して重みと学習速度の初期化に不偏であり、より良好な汎化に役立つ。
４．スカラーゲーティング（Ｓｃａｌａｒ Ｇａｔｉｎｇ）；スカラーゲーティングは、この関数の重要な特性であるため、論理的となり、ＲｅＬＵのようなポイント毎関数を容易に置き換えることができる。
５．計算機能は高度であるが、精度は向上する：高コストな関数であるが、ＲｅＬＵと比較して深い層で優れていることが証明されている。
１．非単調関数：負の値を保持することで、ネットワークの勾配流を安定させ、ＲｅＬＵとは異なり、Ｄｙｉｎｇ ＲｅＬＵ問題をほぼ解決し、より表現的な特徴を学習する助けとなる。
２．Ｕｎｂｏｕｎｄｅｄｎｅｓｓ及びＢｏｕｎｄｅｄ Ｂｅｌｏｗ：前者は出力ニューロンの飽和問題を除去するのに役立ち、後者はネットワークの良好な汎化に役立つ。
３．無限次の連続性（Ｉｎｆｉｎｉｔｅ Ｏｒｄｅｒ ｏｆ Ｃｏｎｔｉｎｕｉｔｙ）：関数の滑らかさに起因して重みと学習速度の初期化に不偏であり、より良好な汎化に役立つ。
４．スカラーゲーティング（Ｓｃａｌａｒ Ｇａｔｉｎｇ）；スカラーゲーティングは、この関数の重要な特性であるため、論理的となり、ＲｅＬＵのようなポイント毎関数を容易に置き換えることができる。
５．計算機能は高度であるが、精度は向上する：高コストな関数であるが、ＲｅＬＵと比較して深い層で優れていることが証明されている。
【0042】
図６は、本開示の幾つかの実施形態による、画像ピクセルマッピングへの距離を用いた３Ｄポイントクラウドから２Ｄ－ＢＥＶ画像への変換と、２Ｄオブジェクト検出器を用いた２Ｄ－ＢＥＶ画像内のオブジェクトのセットの検出を示す図である。
【0043】
図７は、本開示の幾つかの実施形態による、３Ｄ ＬＩＤＡＲオブジェクト検出器を使用した３Ｄポイントクラウド内のオブジェクトのセットの検出を示す図である。ＡＩベースの３Ｄ ＬＩＤＡＲ検出器は、ネック、ＣＮＮベースのバックボーン及びヘッドを含む。３Ｄ ＬＩＤＡＲ検出器は、３Ｄポイントクラウドを入力として受け入れ、オブジェクトのための３Ｄ配向ボックスを予測するように学習する。３Ｄ ＬＩＤＡＲ検出器は、基本的には、ポイントクラウドを擬似画像に変換する特徴エンコーダを有する。３Ｄポイントクラウドは等間隔に離隔したグリッドに離散化され、ピラーのセット（Ｐｏｉｎｔ－Ｐｉｌｌａｒｓ）が作成される。線形レイヤーを適用した後、バッチノルム及びＲＥＬＵを適用する。これに続いて、チャンネルに対する最大プーリング操作が行われる。エンコードされると、特徴を元のピラーの位置に戻して散乱させ、擬似画像を作成する。特徴抽出器からの最終検出には、単発検出器が使われ、回帰を用いてオブジェクトの高さ及びエレベーションが求められる。
【0044】
図８は、本開示の幾つかの実施形態による、図１のシステムの２Ｄカメラトラッカーのアーキテクチャを示す図である。２Ｄカメラトラッカーは、以下を含む。
１．オブジェクトの発散／収束運動に起因する急激なサイズ変化を扱うことによるＢＢボックスのドリフトに対処するためのＫ最近傍（ＫＮＮ）ステージ；
２．複雑な状況におけるオブジェクト検出と２Ｄカメラトラッカーとの間のトラックＩＤの関連付けを扱うための、パディング、オプティカルフロー、スケール不変特徴変換（ＳＩＦＴ）を含む複数の幾何学及び特徴マッチングステージ；
３．ゴースト追跡を制御するためのＳＩＦＴ及びオプティカルフローベースの特徴マッチングアプローチ。
１．オブジェクトの発散／収束運動に起因する急激なサイズ変化を扱うことによるＢＢボックスのドリフトに対処するためのＫ最近傍（ＫＮＮ）ステージ；
２．複雑な状況におけるオブジェクト検出と２Ｄカメラトラッカーとの間のトラックＩＤの関連付けを扱うための、パディング、オプティカルフロー、スケール不変特徴変換（ＳＩＦＴ）を含む複数の幾何学及び特徴マッチングステージ；
３．ゴースト追跡を制御するためのＳＩＦＴ及びオプティカルフローベースの特徴マッチングアプローチ。
【0045】
以下の表２は、アーキテクチャの詳細と、２Ｄカメラトラッカーによって得られる技術的利点を示している。
【0046】
以下の表３は、２Ｄカメラトラッカーの特徴を強調している。
【0047】
図９は、本開示の幾つかの実施形態による、自律走行車両に取り付けられた２Ｄカメラセットの複数のカメラの各々に関連付けられた２Ｄカメラトラッカーによって検出されるトラッカーＩＤの単一化を示す図である。複数のカメラビューにわたるトラックＩＤの単一化は、検討中のカメラビューのペアにおける予め定義された関心領域（ＲＯＩ）におけるバウンディングボックスからバウンディングボックスへの分類及びジオメトリマッチングを利用するカスタムルールベース技法を使用して行われる。
【0048】
図１１Ａは、本開示の幾つかの実施形態による、パノプティックセグメンテーションに基づく非オクルードポイント抽出のために図１のシステムによって使用されるアーキテクチャを示す図である。パノプティックセグメンテーションモジュールを使用すると、カメラフレーム内のオブジェクトについて、セマンティックセグメンテーションとインスタンスセグメンテーションの両方が取得される。インスタンスセグメンテーションは、車、トラック、歩行者などの各オブジェクトの輪郭を導き出すのに役立ち、他方、ポール、ガードレール、道路などを表すピクセルは、セマンティックセグメンテーションから導き出される。パノプティックセグメンテーションの出力に２Ｄバウンディングボックスを重ね合わせることで、オブジェクトに対応する可視ピクセルだけが抽出される。例えば、「車」は「ポール」又は「ガードレールピクセル」により遮蔽される可能性があり、「車」の追跡ボックスから「車」を表すピクセル位置のみを取得することが意図されている。図１１Ｂに示すように、車はポールによって遮蔽されている。パノプティックセグメンテーション出力に対して２Ｄバウンディングボックスを重ね合わせることで、車の非オクルードポイントが抽出され、フュージョン時にポールから落ちるＬＩＤＡＲポイントを排除して、ポイントクラウド中の検出オブジェクトの正確な実世界位置を提供する。
【0049】
以下の表４は、パノプティックセグメンテーションに基づく非オクルードポイント抽出の特徴について述べたものである。
【0050】
結果：システム１００は、複数の公開された自律走行データセットを使用して評価され、図３Ｃは、出力のスナップショットの例を提供する。検証用データセットでの評価のＫＰＩが以下の表５に与えられ、高精度で堅牢な追跡を示す。
【0051】
このように、本明細書で開示される方法及びシステムは、３Ｄ ＬＩＤＡＲ、３Ｄ － ２Ｄ ＢＥＶ画像、２Ｄ画像ベースの検出及び追跡のフュージョンを用いたオブジェクト検出と追跡のアプローチを提供し、これによりＬＩＤＡＲ空間と特徴ベースの追跡画像空間上の動きベースのトラッカーを組み合わせることを可能にする。これは、センサーの何れかにオブジェクトが見えない場合、又は入力にノイズがある場合でも、オブジェクトトラックを保持することができるようになる。更に、ＭＩＳＨ活性化関数に基づく拡張ＮＮアーキテクチャを利用することで、小形及び中型サイズのオブジェクトに対するカメラ内でのオブジェクト検出を向上させる。同じアーキテクチャは、３Ｄ－２Ｄ ＢＥＶ画像ベースのオブジェクト検出に利用される。更に、２Ｄカメラと２Ｄ ＢＥＶのための堅牢な多段階特徴ベーストラッカーは、異なるトラフィック方向、様々な大きさのオブジェクト、及び１つのカメラから他のカメラへのオブジェクトの移行に対処する。更に、画素の変化率を考慮した、アンセンテッドカルマンフィルタベースのアプローチが２Ｄ ＢＥＶトラッカーに適用される。これにより、画像内でオブジェクトの特徴が欠落した場合でも、追跡を継続することができる。更に、ＩＯＵオーバーラップの発生回数と信頼度を用いて、オーバーラップや誤検出を除去する。Ｔｒａｃｋｅｒは、オブジェクトが何台のＴｒａｃｋｅｒで検出されたかに基づいて、Ｔｒａｃｋｅｒの信頼度を割り当てる。これにより、検出信頼度と共に誤検出を評価することができる。本システムで使用される全天球分割アルゴリズムは、距離計算のための２Ｄカメラボックスの領域選択を改善する。このアプローチにより、オクルージョンの場合の精度を高めることができる。
【0052】
本明細書では、当業者が本実施形態を実施及び利用できるように主題を説明している。本主題の実施形態の範囲は、特許請求の範囲によって定義され、当業者に生じる他の修正を含むことができる。このような他の修正は、これらが請求項の文言と際のない同様の要素を有する場合、又はこれらが、請求項の文言と僅かな差異を有する均等な要素を含む場合には、請求項の範囲内にあるものとする。
【0053】
保護の範囲は、このようなプログラムに加え、そこにメッセージを有するコンピュータ読み取り可能な手段にも拡張され、このようなコンピュータ読み取り可能な記憶手段は、プログラムがサーバ又はモバイルデバイス又は何れかの適切なプログラム可能なデバイス上で実行される場合、方法の１又は２以上のステップの実施のためのプログラムコード手段を含むことを理解されたい。ハードウェアデバイスは、例えば、サーバ又はパーソナルコンピュータなどのような何れかの種類のコンピュータ、又はこれらの何れかの組み合わせを含む、プログラム可能な何れかの種類のデバイスとすることができる。デバイスはまた、例えば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなハードウェア手段、又はハードウェア手段とソフトウェア手段の組み合わせ、例えばＡＳＩＣとＦＰＧＡ、又はソフトウェア処理構成要素がそこに配置された少なくとも一つのマイクロプロセッサと少なくとも一つのメモリでとすることができる手段を含むことができる。従って、手段は、ハードウェア手段、及びソフトウェア手段の両方を含むことができる。本明細書で説明する方法の実施形態は、ハードウェア及びソフトウェアで実装することができる。また、装置は、ソフトウェア手段を含むことができる。あるいは、実施形態は、異なるハードウェアデバイス、例えば、複数のＣＰＵを使用して実装することができる。
【0054】
本明細書の実施形態は、ハードウェア及びソフトウェア要素を備えることができる。ソフトウェアで実装される実施形態は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限定されない。本明細書で説明する様々な構成要素によって実行される機能は、他の構成要素又は他の構成要素の組み合わせで実装することができる。本説明の目的上、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、装置、又はデバイスによって、又はそれに関連して使用するためのプログラムを構成、保存、通信、伝播、又は輸送することができる何れかの装置とすることができる。
【0055】
図示されたステップは、図示の例示的な実施形態を説明するために記載されており、継続的な技術開発により、特定の機能が実行される方法が変更されることが予想されるべきである。これらの例は、説明の目的で本明細書に提示されたものであり、限定ではない。更に、機能的な構成単位の境界は、説明の便宜上、本明細書で任意に定義されている。指定された機能及びその関係が適切に実行される限り、代替的な境界を定義することができる。代替形態（本明細書に記載されたものの均等物、拡張、変形、逸脱などを含む）は、本明細書に含まれる教示に基づき、関連技術の当業者には明らかであろう。このような代替形態は、開示された実施形態の範囲内にある。また、単語「ｃｏｍｐｒｉｓｉｎｇ」、「ｈａｖｉｎｇ」、「ｃｏｎｔａｉｎｉｎｇ」、及び「ｉｎｃｌｕｄｉｎｇ」、並びに他の同様の形式は、これらの単語の何れかに続く１又は複数の項目が、当該１又は複数の項目を網羅的にリストすることを意味するものではなく、又はリストされた１又は複数の項目のみに限定することを意味しない点において、均等の意味を有し、オープンエンドであることを意図する。また、本明細書及び添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかに指示しない限り、複数の照応形を含むことに留意されたい。
【0056】
更に、１又は２以上のコンピュータ読み取り可能な記憶媒体が、本開示と一致する実施形態を実施する際に利用することができる。コンピュータ読み取り可能な記憶媒体は、プロセッサによって読み取り可能な情報又はデータが記憶され得る、何れかのタイプの物理的メモリを指す。従って、コンピュータ読み取り可能な記憶媒体は、プロセッサに本明細書に記載の実施形態と一致するステップ又は段階を実行させるための命令を含む、１又は２以上のプロセッサによる実行のための命令を記憶し得る。コンピュータ読み取り可能な媒体」という用語は、有形物を含み、搬送波及び過渡信号を除外する、すなわち、非一過性であると理解されるべきである。例としては、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、及び他の何れかの既知の物理的記憶媒体が挙げられる。
【0057】
開示及び実施例は、単に例示的なものとしてみなされることが意図され、開示された実施形態の真の範囲は、添付の請求項によって示される。
【符号の説明】
【0058】
１１２ ２Ｄカメラセットアップ
１００ システム
１０４ プロセッサ
１０６ Ｉ／Ｏインタフェース
１０２ メモリ
１０８ データベース
１１０ モジュール
１００ システム
１０４ プロセッサ
１０６ Ｉ／Ｏインタフェース
１０２ メモリ
１０８ データベース
１１０ モジュール
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【外国語明細書】