特開 2023-21067 マルチターゲット追跡方法、装置、コンピュータ機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023021067

(43)【公開日】2023-02-09

(54)【発明の名称】マルチターゲット追跡方法、装置、コンピュータ機器及び記憶媒体

(51)【国際特許分類】

   G06T 7/246 20170101AFI20230202BHJP

   G06T 7/277 20170101ALI20230202BHJP

   G06V 10/74 20220101ALI20230202BHJP

   G06V 20/58 20220101ALI20230202BHJP

【ＦＩ】

G06T7/246

G06T7/277

G06V10/74

G06V20/58

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022121006

(22)【出願日】2022-07-28

(31)【優先権主張番号】202110865211.1

(32)【優先日】2021-07-29

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】521254764

【氏名又は名称】北京図森智途科技有限公司

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】▲厖▼ 子奇

(72)【発明者】

【氏名】李 智超

(72)【発明者】

【氏名】王 乃岩

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096CA04

5L096CA18

5L096DA02

5L096FA02

5L096FA18

5L096FA59

5L096FA62

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096FA77

5L096GA30

5L096GA51

5L096GA59

5L096HA05

5L096JA03

5L096JA11

(57)【要約】      （修正有）

【課題】マルチターゲット追跡の正確性を向上させるマルチターゲット追跡方法、装置、コンピュータ機器及び記憶媒体を提供する。
【解決手段】ターゲット追跡方法は、既存の観測フレームにおけるターゲットのトラックレットに基づいて、現在の観測フレームにおけるターゲットの予測ボックスを得てＳ２０１、現在の観測フレームに対してターゲット検出を行い、高品質ボックスと中品質ボックスに分けられる検出ボックスのうち１つ又は複数の検出ボックスを得てＳ２０２、予測ボックスが、高品質ボックスにマッチングしないが中品質ボックスにマッチングすることに応答して、ターゲットが現在の観測フレームにおいて追跡状態にあると確定するＳ２０４。
【選択図】図２

【特許請求の範囲】

【請求項1】

既存の観測フレームにおけるターゲットのトラックレットに基づいて、現在の観測フレームにおける前記ターゲットの予測ボックスを得るステップと、
現在の観測フレームに対してターゲット検出を行い、１つ又は複数の検出ボックスを得るステップであって、前記検出ボックスは高品質ボックス、中品質ボックス及び低品質ボックスに分けられるステップと、
前記予測ボックスが高品質ボックスにマッチングしないが中品質ボックスにマッチングすることに応答して、前記ターゲットが現在の観測フレームにおいて追跡状態にあると確定するステップと、を含むマルチターゲット追跡方法。

【請求項2】

前記予測ボックスが中品質ボックスにマッチングすることに応答して、前記トラックレットの状態量をそのまま保持するステップと、
前記予測ボックスが高品質ボックスにマッチングすることに応答して、前記ターゲットが現在の観測フレームにおいて追跡状態にあると確定し、当該高品質ボックスに基づいて前記トラックレットの状態量を更新するステップと、をさらに含む請求項１に記載の方法。

【請求項3】

前記トラックレットは対応するターゲット識別子を有し、前記方法は、
現在の観測フレームにおいて既にマッチングした高品質ボックスと中品質ボックスに対して、当該検出ボックスと前記トラックレットとの関連関係を確立し、当該検出ボックスのために前記トラックレットのターゲット識別子を出力するステップをさらに含む請求項１に記載の方法。

【請求項4】

既にマッチングした検出ボックス毎に対して、当該既にマッチングした検出ボックスの情報、及び前記トラックレットにおける各検出ボックスの情報を予め設定された学習モデルに入力し、当該検出ボックスの出力確率を得るステップであって、前記情報は検出ボックスの状態量及び検出ボックスの品質のうち少なくとも１つを含むステップをさらに含む請求項３に記載の方法。

【請求項5】

前記検出ボックスの出力確率が予め設定された閾値以上のことに応答して、当該検出ボックスの状態量を出力するステップをさらに含む請求項４に記載の方法。

【請求項6】

前記予測ボックスが高品質ボックスにマッチングせず、中品質ボックスにマッチングしないことに応答して、前記ターゲットが現在の観測フレームにおいて紛失状態にあると確定するステップと、
前記ターゲットが連続した複数のフレームのいずれにおいても紛失状態にあることに応答して、前記ターゲットが消失状態にあると確定し、トラックレットプールから前記トラックレットを除去するステップと、をさらに含む請求項１に記載の方法。

【請求項7】

前記予測ボックスと検出ボックスとの類似度に基づいて、それぞれの予測ボックスと検出ボックスをマッチングさせるステップであって、
現在の観測フレームにおける高品質ボックスを抽出して前記トラックレットと初回マッチングさせ、
前記トラックレットが高品質ボックスにマッチングしないことに応答して、現在の観測フレームにおける中質量ボックスを抽出して前記トラックレットと再びマッチングさせるステップを含む請求項１に記載の方法。

【請求項8】

前記類似度は予測ボックスと検出ボックスとの相対的位置関係のメトリック値であり、
前記予測ボックス及び検出ボックスがいずれも２次元ボックスの場合、前記類似度は２つのボックスの積集合面積、和集合面積及び外接凸多角形の面積に関連し、
前記予測ボックス及び検出ボックスがいずれも３次元ボックスの場合、前記類似度は２つのボックスの積集合体積、和集合体積及び外接凸多面体の体積に関連する請求項１に記載の方法。

【請求項9】

前記３次元ボックスの類似度の計算ステップであって、
予測ボックス及び検出ボックスの２次元平面への第１投影ボックス及び第１投影ボックスをそれぞれ生成し、
前記第１投影ボックスと第２投影ボックスとの積集合面積及び外接凸多角形の面積を計算し、
前記予測ボックスと検出ボックスとの縦軸における積集合高さ、和集合高さを計算するステップをさらに含む請求項８に記載の方法。

【請求項10】

前記３次元ボックスの類似度の計算ステップは、
第１投影ボックスと第２投影ボックスとの積集合面積及び積集合高さに基づいて前記積集合体積を計算するステップと、
前記外接凸多角形の面積及び和集合高さに基づいて前記外接凸多面体の体積を計算するステップと、
前記予測ボックスの体積、前記検出ボックスの体積及び前記積集合体積に基づいて前記和集合体積を計算するステップと、をさらに含む請求項９に記載の方法。

【請求項11】

前記ターゲットの現在の観測フレームにおける状態量及び予め設定された状態遷移変換関係に基づいて前記ターゲットの次の観測フレームにおける状態量を計算するステップと、
前記ターゲットの次の観測フレームにおける状態量及び予め設定された観測変換関係に基づいて前記ターゲットの前記次の観測フレームにおける予測ボックス情報を計算するステップと、をさらに含む請求項１に記載の方法。

【請求項12】

前記状態量は位置と速度を含み、前記ターゲットの現在の観測フレームにおける状態量及び予め設定された状態遷移変換関係に基づいて前記ターゲットの次の観測フレームにおける状態量を計算するステップは、
前記状態遷移変換関係、前記ターゲットの現在の観測フレームにおける位置、速度、及び隣接する２つのフレームの時間差に基づいて、前記ターゲットの次の観測フレームにおける状態量を計算するステップを含む請求項１１に記載の方法。

【請求項13】

前記検出ボックスは低品質ボックスをさらに含み、
前記高品質ボックスはスコアが第１の閾値以上の検出ボックスであり、
中品質ボックスはスコアが第１の閾値と第２の閾値との間にある検出ボックスであり、
低スコアボックスはスコアが第２の閾値より小さい検出ボックスであり、且つ第２の閾値は０より大きい請求項１に記載の方法。

【請求項14】

プロセッサと、メモリと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含み、
前記プロセッサは、前記コンピュータプログラムを実行すると、請求項１～１３のいずれかに記載の方法を実行するコンピュータ機器。

【請求項15】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、プロセッサにより実行されると、請求項１～１３のいずれかに記載の方法を実現させるコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はコンピュータビジョン分野に関し、特に、マルチターゲット追跡方法、装置、コンピュータ機器及び記憶媒体に関する。

【背景技術】

【0002】

マルチターゲット追跡（Ｍｕｌｔｉｐｌｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ又はＭｕｌｔｉｐｌｅ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ、ＭＯＴ又はＭＴＴ）の主なタスクは、観測フレームシーケンスにおける全てのターゲットに対してポジショニング及びラベリングを行い、異なる観測フレーム間のターゲットを一対一に対応させ、同一のターゲットに同一のラベルを常に維持させ、さらに異なるターゲットの移動軌跡を形成することである。しかし、現在のマルチターゲット追跡方法にはターゲット追跡が誤り、軌跡追跡が誤る状況が発生しやすく、そのため、マルチターゲット追跡の正確度を向上させることが必要となる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示の実施例は、マルチターゲット追跡の正確性を向上させるように、マルチターゲット追跡方法、装置、コンピュータ機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0004】

上記目的を達成するために、本開示の実施例は以下の技術的解決手段を採用する。

【0005】

本開示の実施例の第１の態様は、
既存の観測フレームにおけるターゲットのトラックレットに基づいて、現在の観測フレームにおける当該ターゲットの予測ボックスを得るステップと、
現在の観測フレームに対してターゲット検出を行い、そのうち１つ又は複数の検出ボックスを得るステップであって、当該検出ボックスは高品質ボックス、中品質ボックス及び低品質ボックスに分けられるステップと、
予測ボックスと検出ボックスとの類似度に基づいて、当該予測ボックスと検出ボックスをマッチングさせるステップと、
当該予測ボックスが高品質ボックスにマッチングしないが中品質ボックスにマッチングすることに応答して、当該ボックスターゲットが現在の観測フレームにおいて追跡状態にあると確定するステップと、を含むマルチターゲット追跡方法を提供する。

【0006】

本開示の実施例の第２の態様は、
既存の観測フレームにおける１つ又は複数のターゲットのトラックレットに基づいて、現在の観測フレームにおけるターゲットの予測ボックスを得ることに適する予測モジュールと、
現在の観測フレームに対してターゲット検出を行い、そのうち１つ又は複数の検出ボックスを得ることに適する検出モジュールであって、当該検出ボックスは高品質ボックス、中品質ボックス及び低品質ボックスに分けられる検出モジュールと、
予測ボックスと検出ボックスとの類似度に基づいて、当該予測ボックスと検出ボックスをマッチングさせることに適するマッチングモジュールと、
当該予測ボックスが高品質ボックスにマッチングしないが中品質ボックスにマッチングすることに応答して、当該ボックスターゲットが現在の観測フレームにおいて追跡状態にあると確定することに適する分析モジュールと、を含むマルチターゲット追跡装置を提供する。

【0007】

本開示の実施例の第３の態様は、プロセッサと、メモリと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含み、そのうち、プロセッサは、コンピュータプログラムを実行すると、上記したマルチターゲット追跡方法を実行するコンピュータ機器を提供する。

【0008】

本開示の実施例の第４の態様は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、プロセッサにより実行されると、上記したマルチターゲット追跡方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。

【発明の効果】

【0009】

本開示の実施例にて提供される技術的解決手段は、トラックレットに基づいて予測された予測ボックスとターゲット検出方法により得られた中品質検出ボックスとがマッチングすると、移動物体のライフサイクルを維持し、高品質検出ボックスのみに基づいてライフサイクルを維持することによる誤検出操作を回避する。また、本開示はマッチングした高品質検出ボックスのみに基づいて物体の移動状態を更新し、中品質検出ボックスによる移動状態の更新がなく、メンテナンスしたトラックレットの正確性を保証する。また、本開示は様々な新しい予測ボックスと検出ボックスとの距離メトリック値を提案し、追跡性能を向上させ、状態量において速度項をメンテナンスし、速度項と２つのフレームの間の時間差とをかけて２つのフレームの間の変位を示すことにより、センサによるフレーム落ちや、検知アルゴリズムが物体を認識しないときによる移動状態のメンテナンスエラーを回避する。

【0010】

以下、本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、実施例又は従来技術の説明に使用する必要がある図面を簡単に紹介し、明らかに、以下の説明における図面は本開示のいくつかの実施例に過ぎず、当業者であれば、創造的な労力をせず、これらの図面に基づいて他の図面を得ることができる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施例にて提供される車両１００の構造図である。

【図2】本開示の実施例にて提供されるマルチターゲット追跡方法２００のフローチャートである。

【図3】本開示の実施例のマルチターゲット追跡形態の概略図である。

【図4A】本開示の実施例のマルチターゲット追跡形態の概略図である。

【図4B】本開示の実施例のマルチターゲット追跡形態の概略図である。

【図5A】本開示の実施例における変換関係行列である。

【図5B】本開示の実施例における変換関係行列である。

【図5C】本開示の実施例における変換関係行列である。

【図6】本開示の実施例にて提供されるマルチターゲット追跡装置６００の構造図である。

【図7】本開示の実施例にて提供されるコンピュータ機器７００の構造図である。

【発明を実施するための形態】

【0012】

以下、本開示の実施例における図面を参照しながら、本開示の実施例における技術的解決手段を明らか且つ完全に説明し、明らかに、説明される実施例は本開示の実施例の一部に過ぎず、実施例の全部ではない。本開示における実施例において、当業者が創造的な労力をせず得る他の実施例の全ては、本開示に保護される範囲に属する。

【0013】

なお、本開示の明細書、特許請求の範囲及び上記図面における用語の「第１」、「第２」などは、類似の対象を区別するために用いられ、特定の順序や前後する順番を説明するためのものではない。そのように使用されるデータは、本開示の実施例を明確に説明するために、適切な場合に交換できることが理解されるべきである。さらに、用語の「含む」及び「有する」、並びにそれらの任意の変形は、排他的でない包含をカバーすることを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明確に列挙されたステップ又は要素に必ずしも限定されず、明確に列挙されていないか、又はこれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを含み得る。

【0014】

以下、当業者が本開示をよりよく理解するために、まず本開示の実施例に現れる技術用語の一部を解釈する。

【0015】

点群データとは、点群データ収集装置（例えばレーザレーダー、ミリ波レーダーなど）によって収集された周辺環境のデータであり、１組のスパースな３次元空間点で表示されるものである。

【0016】

フレーム（Ｆｒａｍｅ）とは、センサが観測を１回完了すると受信した測定データであり、例えばカメラの１フレームのデータは１枚のピクチャであり、点群データ収集装置の１フレームのデータは１組の点群データである。本開示における観測フレームはフレームと略称できる。

【0017】

ターゲットとは、１フレーム毎のデータ中の目標オブジェクトであり、静的物体と動的物体とを含み、例えば、歩行者、車両、動物、障害物、信号機、道路標識などが挙げられる。

【0018】

ターゲット検出とは、アルゴリズムによりセンサデータにおいて目標物体の位置を見つけることであり、一般的に長方形又は直方体で２Ｄ又は３Ｄ空間において物体が占める位置を表す。

【0019】

ターゲット追跡とは、一定の時間内にセンサが入力したデータと所定の目標物体に対して、当該所定の目標物体の各時刻における状態量を計算することである。

【0020】

トラックレット（Ｔｒａｃｋｌｅｔ）とは、あるターゲットの履歴観測フレームにおける履歴情報及び軌跡であり、当該ターゲットの履歴観測フレームにおける状態量を含み得る。

【0021】

状態量とは、３次元世界における物体の位置情報であり、位置パラメータ及び／又は角度パラメータ、すなわち姿勢中の位置及び／又は姿態を含む。状態量は検出ボックスの情報、例えば検出ボックスの位置情報及び縦横高さなどの寸法情報をさらに含み得る。

【0022】

図１は本明細書に開示される様々な技術が実装され得る車両１００を示す図である。車両１００は乗用車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、パワーシャベル、スノーモービル、航空機、レクリエーション用車両、アミューズメントパーク用車両、農場用車両、建設用車両、路面電車、ゴルフカート、列車、トロリーバス、又は他の車両であってよい。車両１００は完全又は部分的に自動運転モードで走行することができる。自動運転モードでは、車両１００は自身を制御することができ、例えば、車両１００は、車両の現在の状態及び車両が位置する環境の現在の状態を確定し、当該環境における少なくとも１つの他の車両の予測挙動を確定し、当該少なくとも１つの他の車両が予測挙動を実行する可能性に対応する信頼レベルを確定し、また、確定した情報に基づいて、車両１００自身を制御することができる。自動運転モードにある場合、車両１００はインタラクション無しで走行できる。

【0023】

車両１００は、例えば、駆動システム１４２、センサシステム１４４、制御システム１４６、ユーザインタフェースシステム１４８、制御用コンピュータシステム１５０及び通信システム１５２など、様々な車両システムを含み得る。車両１００は、より多くのシステム又はより少ないシステムを含み得、各システムは複数のユニットを含み得る。さらに、車両１００のそれぞれのシステム及びユニットの間は相互接続できる。例えば、制御用コンピュータシステム１５０は、車両システム１４２～１４８及び１５２のうち１つ又は複数とデータ通信を行うことができる。それにより、車両１００の１つ又は複数の説明された機能は、追加の機能的構成要素若しくは実体構成要素に分割するか、又はより少ない数の機能的構成要素又は実体構成要素になるように結合することができる。さらなる例では、追加の機能的構成要素又は実体構成要素を図１に示すような例に追加することができる。

【0024】

駆動システム１４２は車両１００に運動エネルギーを提供する複数の操作可能な構成要素（又はユニット）を含み得る。一実施例では、駆動システム１４２は、エンジン又は電動機、車輪、変速機、電子システム、及び動力（又は動力源）を含み得る。エンジン又は電動機は、内燃機関、電気モータ、蒸気機関、燃料電池エンジン、プロパンエンジン、或いは他の形態のエンジン又は電動機の任意の組み合わせとすることができる。いくつかの実施例では、エンジンは動力源を機械的エネルギーに変換することができる。いくつかの実施例では、駆動システム１４２は複数種のエンジン又は電動機を含み得る。例えば、ハイブリッド車両は、ガソリンエンジンと電動機とを含んでもよく、その他のものを含んでもよい。

【0025】

車両１００の車輪は標準的な車輪とすることができる。車両１００の車輪は、一輪、二輪、三輪、又は乗用車やトラックの四輪のような四輪形態を含む様々な形態の車輪とすることができる。例えば六輪又はそれ以上の車輪のような他の数の車輪とすることもできる。車両１００の１つ又は複数の車輪を、他の車輪の回転方向とは異なるように操作することができる。車輪は少なくとも１つが変速機に固定接続される車輪とすることができる。車輪は、金属とゴムとの組み合わせ、又は他の物質の組み合わせを含み得る。変速機は、エンジンの機械的動力を車輪に伝達するように動作可能なユニットを含み得る。この目的のために、変速機は歯車箱、クラッチ、差動歯車及び伝動軸を含み得る。変速機は他のユニットを含んでもよい。伝動軸は、車輪にマッチングする１つ又は複数の輪軸を含み得る。電子システムは車両１００の電子信号を伝送又は制御するためのユニットを含み得る。これらの電子信号は、車両１００における複数のライト、複数のサーボ機構、複数の電動機、及び他の電気ドライバ又は制御装置を作動させるために用いることができる。動力源はエンジン又は電動機に動力を完全又は部分的に供給するエネルギー源とすることができる。すなわち、エンジン又は電動機は動力源を機械的エネルギーに変換することができる。一例として、動力源はガソリン、石油、石油系燃料、プロパン、他の圧縮ガス燃料、エタノール、燃料電池、ソーラーパネル、電池及び他の電気エネルギー源を含んでよい。動力源は、追加的又は任意選択的に、燃料タンク、電池、コンデンサ、又はフライホイールの任意の組み合わせを含んでよい。動力源は車両１００の他のシステムにエネルギーを供給してもよい。

【0026】

センサシステム１４４は、車両１００の環境及び条件の情報を検知するための複数のセンサを含み得る。例えば、センサシステム１４４は、慣性測定ユニット（ＩＭＵ）、全地球測位システム（ＧＰＳ）トランシーバ、レーダー（ＲＡＤＡＲ）ユニット、レーザ距離計／ＬＩＤＡＲユニット（又は他の距離測定装置）、音響センサ及びカメラ又は画像キャプチャ装置を含んでよい。センサシステム１４４は車両１００を監視するための複数のセンサ（例えば、酸素（Ｏ２）モニタ、燃料計センサ、エンジン油圧センサなど）を含んでよい。他のセンサを配置してもよい。センサシステム１４４に含まれる１つ又は複数のセンサは、１つ又は複数のセンサの位置、方向、又はその両方を更新するために、個別に駆動されても、集合的に駆動されてもよい。

【0027】

ＩＭＵは、慣性加速に基づいて車両１００の位置変化及び方向変化を検知するためのセンサの組み合わせ（例えば、加速器とジャイロ）を含み得る。ＧＰＳトランシーバは車両１００の地理的位置を推定するための任意のセンサとすることができる。この目的のために、ＧＰＳトランシーバは、地球に対する車両１００の位置情報を提供するために、受信機／送信機を含み得る。なお、ＧＰＳは全地球航法衛星システムの一例であるため、いくつかの実施例では、ＧＰＳトランシーバを北斗衛星ナビゲーションシステムトランシーバ又はガリレオ衛星ナビゲーションシステムトランシーバに置き換えることができる。レーダーユニットは、無線信号を使用して、車両１００が位置する環境におけるオブジェクトを検知することができる。いくつかの実施例では、レーダーユニットは、オブジェクトを検知することに加えて、車両１００に接近する物体の速度及び進行方向を検知するために用いることもできる。レーザ距離計又はＬＩＤＡＲユニット（又は他の距離測定装置）は、レーザを使用して車両１００が位置する環境における物体を検知する任意のセンサとすることができる。一実施例では、レーザ距離計／ＬＩＤＡＲユニットは、レーザ光源、レーザスキャナー、及び探知器を含み得る。レーザ距離計／ＬＩＤＡＲユニットは、連続的（例えばヘテロダイン検出を用いる）又は不連続な検出モードで動作するために用いられる。カメラは、車両１００が位置する環境の複数の画像をキャプチャするための装置を含み得る。カメラは静止画像カメラであっても、動画カメラであってもよい。

【0028】

制御システム１４６は車両１００及びその構成要素（又はユニット）への操作を制御するために用いられる。それに応じて、制御システム１４６は、例えば、ステアリングユニット、動力制御ユニット、制動ユニット及びナビゲーションユニットなど、様々なユニットを含み得る。

【0029】

ステアリングユニットは車両１００の進行方向を調整する機械の組み合わせとすることができる。動力制御ユニット（例えば、アクセルであってよい）は、例えば、エンジンの回転速度を制御し、さらに、車両１００の速度を制御するために用いることができる。制動ユニットは車両１００を減速させるための機械の組み合わせを含み得る。制動ユニットは標準的な方式で摩擦力により車両を減速させることができる。他の実施例では、制動ユニットは車輪の運動エネルギーを電流に変換することができる。制動ユニットは他の形態を用いてもよい。ナビゲーションユニットは車両１００のために運転経路又はルートを決定する任意のシステムとすることができる。ナビゲーションユニットは、車両１００の走行中に運転経路を動的に更新することもできる。制御システム１４６は、追加的又は任意選択的に、図示されない又は説明されない他の構成要素（又はユニット）を含んでもよい。

【0030】

ユーザインタフェースシステム１４８は、車両１００と、外部センサ、他の車両、他のコンピュータシステム及び／又は車両１００のユーザとの間のインタラクションを可能にするために用いることができる。例えば、ユーザインタフェースシステム１４８は、標準的な視覚的表示装置（例えば、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、タッチスクリーンディスプレイ、ヘッドマウントディスプレイ、又は他の同様のディスプレイ）と、スピーカ又は他の音声出力装置と、マイクロフォン又は他の音声入力装置とを含んでよい。例えば、ユーザインタフェースシステム１４８は、ナビゲーションインタフェースと、車両１００の内部環境（例えば、温度、ファンなど）を制御するインタフェースとを含んでもよい。

【0031】

通信システム１５２は、１つ若しくは複数の機器又は周囲の他の車両と通信する手段を車両１００に提供することができる。例示的な一実施例では、通信システム１５２は、直接、又は通信ネットワークを介して１つ又は複数の機器と通信することができる。通信システム１５２は、例えば無線通信システムであってよい。例えば、通信システムは、３Ｇセルラ通信（例えば、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳ）又は４Ｇセルラ通信（例えば、ＷｉＭＡＸ又はＬＴＥｅ）を用いてもよいし、５Ｇセルラ通信を用いてもよい。任意選択的に、通信システムは、無線ローカルエリアネットワーク（ＷＬＡＮ）と通信できる（例えば、ＷＩＦＩ（登録商標）を用いる）。いくつかの実施例では、通信システム１５２は、例えば、赤外線、ブルートゥース（登録商標）、又はＺＩＧＢＥＥを用いて、１つ若しくは複数の機器又は周囲の他の車両と直接通信することができる。様々な車載通信システムのような他の無線プロトコルも本開示の範囲内にある。例えば、通信システムは、車両及び／又は路側局と公開又は秘密のデータ通信を行うことが可能な、１つ又は複数の専用狭域通信（ＤＳＲＣ）装置と、Ｖ２Ｖ装置又はＶ２Ｘ装置とを含んでよい。

【0032】

制御用コンピュータシステム１５０は車両１００の機能の一部又は全部を制御することができる。制御用コンピュータシステム１５０における自動運転制御ユニットは、車両１００が位置する環境における潜在的な障害物を認識し、評価し、回避し、又は越えるために用いることができる。一般的に、自動運転制御ユニットは、運転者無しで車両１００を制御し、又は運転者が車両を制御するための支援を提供するために用いることができる。いくつかの実施例では、自動運転制御ユニットは、ＧＰＳトランシーバからのデータ、レーダーデータ、ＬＩＤＡＲデータ、カメラデータ、及び他の車両システムからのデータを組み合わせて、車両１００の走行経路又は軌跡を決定するために用いられる。自動運転制御ユニットは、車両１００が自動運転モードで運転されることを可能にするために、アクティブにすることができる。

【0033】

制御用コンピュータシステム１５０は少なくとも１つのプロセッサ（少なくとも１つのマイクロプロセッサを含み得る）を含み得、プロセッサは不揮発性コンピュータ読み取り可能な媒体（例えば、データ記憶装置又はメモリ）に記憶された処理命令（すなわち、機械実行可能な命令）を実行する。メモリには少なくとも１つの機械実行可能な命令が記憶され、プロセッサは少なくとも１つの機械実行可能な命令を実行してマップエンジン、ポジショニングモジュール、検知モジュール、ナビゲーション又は経路モジュール、及び自動制御モジュールなどを含む機能を実現する。マップエンジン及びポジショニングモジュールは地図情報及びポジショニング情報を提供するために用いられる。検知モジュールはセンサシステムが取得した情報及びマップエンジンが提供した地図情報に基づいて車両が位置する環境における物事を検知するために用いられる。ナビゲーション又は経路モジュールはマップエンジン、ポジショニングモジュール及び検知モジュールの処理結果に基づいて、車両のために走行経路を計画するために用いられる。自動制御モジュールはナビゲーション又は経路モジュールなどのモジュールの意思決定情報を入力させ解析して車両制御システムへの制御命令に変換して出力し、車載ネットワーク（例えばＣＡＮバス、ローカルエリアネットワーク、メディア指向システムトランスポートなどの方式で実現される車両内部電子ネットワークシステム）を介して制御命令を車両制御システムにおける対応する構成要素に送信し、車両への自動制御を実現し、自動制御モジュールはさらに、車載ネットワークを介して車両における各構成要素の情報を取得することができる。

【0034】

制御用コンピュータシステム１５０は、分散して車両１００の構成要素又はシステムを制御する複数のコンピューティング装置であってもよい。いくつかの実施例では、メモリは、プロセッサに実行されて車両１００の様々な機能を実装する処理命令を含み得る。一実施例では、制御用コンピュータシステム１５０は、システム１４２、１４４、１４６、１４８及び／又は１５２とデータ通信を行うことができる。制御用コンピュータシステムにおけるインタフェースは制御用コンピュータシステム１５０と、システム１４２、１４４、１４６、１４８及び１５２との間のデータ通信を容易にするために用いられる。

【0035】

メモリは、データ送信のための命令、データ受信のための命令、インタラクションのための命令、又は駆動システム１４０、センサシステム１４４、又は制御システム１４６若しくはユーザインタフェースシステム１４８を制御するための命令を含める他の命令を含み得る。

【0036】

処理命令を記憶することに加えて、メモリは、例えば画像処理パラメータ、道路地図、及び経路情報のような複数種の情報又はデータを記憶することができる。これらの情報は、車両１００が自動形態、半自動形態及び／又は手動モードで走行している間に、車両１００及び制御用コンピュータシステム１５０に使用することができる。

【0037】

自動運転制御ユニットは、プロセッサ及びメモリとは別個に示されているが、いくつかの実施形態では、自動運転制御ユニットの機能の何らか又は全部は、１つ又は複数のメモリ（又はデータ記憶装置）中に存在しているプログラムコード命令により実装し、１つ又は複数のプロセッサにより実行することができ、また、何らかの場合に、自動運転制御ユニットは同じのプロセッサ及び／又はメモリ（又はデータ記憶装置）を用いて実装することができることを理解されたい。いくつかの実施形態では、自動運転制御ユニットは、様々な特定用途向け論理回路、様々なプロセッサ、様々なフィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、様々な特定用途向け集積回路（「ＡＳＩＣ」）、様々なリアルタイムコントローラ及びハードウェアを少なくとも部分的に用いて実装することができる。

【0038】

制御用コンピュータシステム１５０は、様々な車両システム（例えば、駆動システム１４２、センサシステム１４４及び制御システム１４６）から受信した入力、又はユーザインタフェースシステム１４８から受信した入力に基づいて、車両１００の機能を制御することができる。例えば、制御用コンピュータシステム１５０は、制御システム１４６からの入力を用いてステアリングユニットを制御して、センサシステム１４４により検知された障害物を回避することができる。一実施例では、制御用コンピュータシステム１５０は、車両１００及びそのシステムの複数の態様を制御するために用いることができる。

【0039】

図１には、車両１００中に集積された様々な構成要素（又はユニット）が示されているが、これらの構成要素（又はユニット）のうちの１つ又は複数は、車両１００に搭載され、又は車両１００に個別に関連付けられてもよい。例えば、制御用コンピュータシステムは、一部又は全部が車両１００から独立して存在してもよい。それにより、車両１００は、別個の、又は集積された機器ユニットの形態で存在できる。車両１００を構成する機器ユニット間は、有線通信又は無線通信により相互通信を実現することができる。いくつかの実施例では、追加の構成要素又はユニットを各システムに追加し、又はシステムから１つ以上の構成要素又はユニット（例えば、図１に示されるＬｉＤＡＲ又はレーダー）を取り除くとすることができる。

【0040】

図２は本開示の実施例によるマルチターゲット追跡方法２００のフローチャートを示し、当該方法はオンラインシーンにも、オフラインシーンにも適用できる。図２に示すように、当該方法は、以下のステップＳ２０１からステップＳ２０４を含む。

【0041】

ステップ２０１において、既存の観測フレームにおける１つのターゲットのトラックレットに基づいて、現在の観測フレームにおける当該ターゲットの予測ボックスを得る。現在のフレームがｉ番目のフレームとすると、既存の観測フレームは１番目のフレーム、２番目のフレーム、…、ｉ－１番目のフレームのうち１つのフレーム又は複数のフレームを含み得る。

【0042】

いくつかの実施例では、観測フレームは、画像シーケンスの画像フレームであってもよく、点群データシーケンス中の点群データフレームであってもよい。トラックレットは各ターゲットの既存の観測フレームにおける状態量及び検出ボックスを含み、既存の観測フレームにおけるターゲットの状態量及び移動モデルに基づいて、当該ターゲットの現在の観測フレームにおける状態量及び予測ボックスを得ることができる。移動モデルはカルマンフィルタなどとすることができ、それは隣接する２つのフレームの間におけるターゲットの変位量の事前値又は予測値を含み得、カルマンフィルタに基づいてターゲットの最新状態を得ることができる。

【0043】

いくつかの実施例では、本開示はフレーム毎に対してターゲット検出を行うたびに、現在の最新のトラックレットを確定し、図３を参照しながらトラックレットの更新方式を理解することができる。いくつかの実施例では、新たなターゲットを検出すれば、当該新たなターゲットのために１つのトラックレットを初期化し、あるターゲットが過去に連続した複数のフレームのいずれにも現れなければ、当該ターゲットに対応するトラックレットをトラックレットプールから除去する。したがって、当該既存の観測フレームは、前の１つの観測フレームとすることができ、すなわち、本開示は前の１つの観測フレームにおけるターゲットのトラックレットに基づいて、現在の観測フレームにおける当該ターゲットの予測ボックスを確定する。マルチターゲット追跡の重要なタスクの１つは前後フレームを関連付けさせることであり、すなわち現在のフレームのターゲット検出ボックスと前フレームのトラックレットに対して、各ターゲット検出ボックスをトラックレットに対応させる。初期フレームに対してターゲット検出を行う場合、検出された各ターゲットのために１つのトラックレットを初期化する。

【0044】

ステップＳ２０２において、現在の観測フレームに対してターゲット検出を行い、１つ又は複数の検出ボックスを得、当該検出ボックスは高品質ボックス、中品質ボックス及び低品質ボックスを含む。

【0045】

当業者は必要に応じて、例えば１段階のターゲット検出、２段階のターゲット検出など、ターゲット検出を行うターゲット検出アルゴリズムを自ら選択することができ、本開示はこれについて限定しないことを理解されたい。ターゲット検出アルゴリズムは１つ又は複数の検出ボックス及び各検出ボックスの評価指標（例えばスコア）を出力し、各検出ボックスは１つのターゲットに対応する可能性がある。ここで、検出ボックスの評価指標は検出ボックスの品質を表し、当業者は必要に応じて、例えば信頼度、正確度、正解値ボックスとのＩＯＵなど、対応する評価指標量を選択することができ、本開示はこれについて限定しない。

【0046】

検出ボックスの評価指標に基づいて、フレーム毎に出力される検出ボックスを高品質、中品質、低品質に分けることができる。そのうち、高品質ボックスはスコアが第１の閾値以上の検出ボックスであり、中品質ボックスはスコアが第１の閾値と第２の閾値との間にある検出ボックスであり、低品質ボックスはスコアが第２の閾値より小さい検出ボックスであり、且つ第２の閾値は０より大きい。具体的には、中質量ボックスはスコアが第１の閾値未満且つ第２の閾値以上の検出ボックスである。当業者は、信頼度、正確度など異なるスコアタイプに対して対応するスコア閾値を設定することができ、本開示は各スコア閾値の具体的な値について限定しない。例えば、第１の閾値の値区間を［０．５，０．７］にし、具体的には０．５にしてよく、第２の閾値の値区間を［０．１，０．３］にし、具体的には０．３にしてよく、当然のことながら、これらに限定されない。

【0047】

いくつかの実施例では、予測ボックス及び検出ボックスはいずれも２次元ボックス（例えば、矩形ボックス）又は３次元ボックス（例えば、直方体）とすることができる。予測ボックス及び検出ボックスはいずれもキーポイントの座標値及び／又はボックスの寸法で特徴付けることができ、例えば中心点の座標及び縦横値で特徴付けることができ、ボックスを一意に表すことができれば、当業者はボックスの特徴量を自ら選定することができる。例えば、予測ボックス及び検出ボックスはいずれも対角線の頂点の座標値及び／又は縦横値で特徴付けられてもよく、４つの頂点の座標値で特徴付けられてもよい。また例えば、予測ボックス及び検出ボックスはいずれも中心点の座標及び縦横高さ値で特徴付けられてもよく、体対角線の頂点の座標値及び／又は縦横高さなどの寸法値で特徴付けられてもよく、８つの頂点の座標値で特徴付けられてもよい。

【0048】

ステップＳ２０３において、予測ボックスと検出ボックスとの類似度に基づいて、予測ボックスと検出ボックスをマッチングさせる。ステップＳ２０３は、予測ボックスと高品質ボックスとの類似度に基づいて予測ボックスが高品質ボックスにマッチングするか否かを確定するステップと、予測ボックスと低品質ボックスとの類似度に基づいて予測ボックスが低品質ボックスにマッチングするか否かを確定するステップと、をさらに含む。

【0049】

いくつかの実施例では、類似度は予測ボックスと検出ボックスとの相対的位置関係のメトリック値であり、予測ボックスと検出ボックスとの相対的位置関係を表すことができる全てのメトリック値はいずれも本開示の類似度の保護範囲内に属する。例えば、当該類似度は２つのボックスの距離メトリック値（例えばユークリッド距離、マハラノビス距離など）、面積のＩＯＵ（すなわち積集合面積と和集合面積との比）、体積のＩＯＵ（すなわち積集合体積と和集合体積との比）、２つのボックスに対応する画像特徴の類似度であってよい。さらに、本開示はより正確な類似度パラメータを提供し、以下に詳細に記載する。

【0050】

いくつかの実施例では、本開示は、まず高品質ボックスとマッチングし、そして中品質ボックスとマッチングするという形態を用いてマッチングを行い、それによりマッチング及びターゲット検出の正確度を向上させる。具体的には、ステップＳ２０３は、現在の観測フレームにおける高品質ボックスを抽出して各トラックレットと初回マッチングさせるステップと、マッチングしないトラックレットに対して、現在の観測フレームにおける中質量ボックスを抽出して前記マッチングしないトラックレットと再びマッチングさせるステップとを含む。

【0051】

例えば、現在のトラックレットプールにおいて１０個のターゲットのトラックレットがあり、現在の観測フレームにおいて５個の高品質検出ボックスと１０個の中品質検出ボックスがあると仮定すると、まず当該５個の高品質検出ボックスを既存のトラックレットとマッチングさせ、その後、１０個の中品質検出ボックスをマッチングしないトラックレットとマッチングさせる。なお、当業者は必要に応じて予測ボックスと検出ボックスとのマッチングアルゴリズムを選定することができ、例えば二部グラフの最大マッチングアルゴリズムにしてよく、具体的にはハンガリーのアルゴリズムにしてよく、当然のことながら、これに限定されない。

【0052】

ステップＳ２０４において、ある予測ボックスが高品質ボックスにマッチングしないが中品質ボックスにマッチングする場合、当該予測ボックスに対応するターゲットが現在の観測フレームにおいて追跡状態にあると確定する。

【0053】

いくつかの実施例では、ある予測ボックスが高品質ボックスと中品質ボックスにマッチングしない場合、当該予測ボックスに対応するターゲットが現在の観測フレームにおいて紛失状態にあると確定し、あるターゲットが連続した複数のフレームのいずれにおいても紛失状態にある場合、当該ターゲットが消失状態にあると確定し、当該ターゲットに対応するトラックレットを除去する。

【0054】

いくつかの実施例では、ある予測ボックスが中品質ボックスにマッチングする場合、対応するトラックレットの状態量をそのまま保持し、ある予測ボックスが高品質ボックスにマッチングする場合、当該予測ボックスに対応するターゲットが現在の観測フレームにおいて追跡状態にあると確定し、当該高品質ボックスに基づいて対応するトラックレットの状態量を更新する。

【0055】

以上から分かるように、本開示のターゲットの観測フレームにおける状態は追跡状態と、紛失状態と、消失状態とを含む。追跡状態はターゲットが現在の観測フレームにまだ存在していることを表し、紛失状態はターゲットが現在の観測フレームに存在しないことを表し、消失状態はターゲットが観測視野（又は連続しているフレーム）に既に消失したことを表す。また、高品質ボックスと中品質ボックスにマッチングする場合に、物体が追跡状態にあると確定するが、高品質ボックスにより確定された存在の正確度が高いため、高品質ボックスによりターゲットのライフサイクルを維持しつつ、ターゲットの移動モデル（例えばカルマンフィルタ）を更新し、すなわちターゲットの最新の状態量を現在の観測フレームにおける状態量に更新することができる。中品質ボックスにより確定された存在の正確度が比較的低いため、中品質ボックスはターゲットのライフサイクルを維持するしかないが、ターゲットの移動モデルを更新せず、すなわちターゲットの最新の状態量を前のトラックレットにおける状態量のまま保持する。

【0056】

ここで、図４Ａに示すように、マッチングする高品位検出ボックスのみに基づいてターゲットのライフサイクルを更新すれば、高品位ボックスにマッチングしない限り、対応するトラックレットが除去される。このやり方は、ターゲット検出品質が低く、車両が遮蔽されている場合に、トラックレットが誤って早期に削除されることをもたらす。本開示が採用するターゲット追跡形態は、図４Ｂに示すように、高閾値を用いて高品質検出ボックスを選別する以外に、中閾値を用いて「ここで物体がある」を代表できる中品質のターゲット検出ボックスを選別する。これらの中品質検出ボックスはトラックレットのライフ状態を効果的に維持できるが、ターゲットの実際の状態の混乱を引き起こすことを回避するために、移動モデルを更新するために用いられない。

【0057】

いくつかの実施例では、各トラックレットは対応するターゲット識別子を有し、方法２００はさらに、現在の観測フレームにおいて既にマッチングした高品質ボックスと中品質ボックスに対して、当該検出ボックスと対応するトラックレットとの関連関係を確立し、当該検出ボックスのために関連するトラックレットのターゲット識別子を出力するステップとを含み得る。つまり、１つのターゲットは１つのトラックレットに対応し、検出ボックスと予測ボックスとがマッチングした後、当該検出ボックスをこのようにすると、同一のターゲットが同一の観測フレームシーケンスにおいて同一の識別子を有することを保証し、同一のターゲットが異なる識別子を有する状況の発生を回避する。

【0058】

いくつかの実施例では、ある検出ボックスがいずれの予測ボックスにもマッチングせず且つ当該検出ボックスが高品質ボックスの場合、当該高品質ボックスのために１つのトラックレットを新たに生成し、当該トラックレットのために１つのターゲット識別子を新たに生成する。ここでは高品質検出ボックスのためにのみ１つのトラックレットを初期化し、ある中品質検出ボックスがいずれの予測ボックスにもマッチングしない場合に、そのためにトラックレットを初期化せず、トラックレットプールにおけるトラックレットの正確度を保証する。

【0059】

いくつかの実施例では、あるターゲットが初めて紛失状態にあると判定された場合、すなわちあるトラックレットが初めて検出ボックスにマッチングしない場合、当該ターゲットのためにカウントダウンモジュールを作動させ、カウントダウンのカウント初期をｋ（ｋは２以上の整数）に設定する。次のフレームにおいて当該ターゲットが依然として紛失状態と判定され、すなわち当該トラックレットが依然として検出ボックスにマッチングしない場合、カウントダウンのカウントから１を引く（すなわちターゲットが現れないフレーム数に１を加える）。以下同様に、カウントダウンのカウントが０になり、すなわち当該ターゲットが連続したｋフレームのいずれにおいても紛失状態にある場合、当該ターゲットが消失状態にあると確定する。

【0060】

カウントダウンの過程において、あるターゲットが追跡状態にあると再判定され、すなわち対応するトラックレットが検出ボックスにマッチングする場合、カウントダウンのカウントをｋにリセットし、カウントを再開始する。つまり、本開示は、ターゲットが連続したｋフレームのいずれにおいても紛失状態にある場合にのみ、当該ターゲットが消失したと判定し、ターゲットが当該ｋフレームのうち少なくとも１フレームにおいて追跡状態にある場合に、それが消失状態にあると判定しない。

【0061】

いくつかの実施例では、方法２００はさらに、検出ボックスのスコアに基づいて出力される検出ボックスを確定することができる。具体的には、既にマッチングした検出ボックス毎に対して、当該既にマッチングした検出ボックスの情報、及び当該検出ボックスに関連するトラックレットにおける各検出ボックスの情報を予め設定された学習モデルに入力し、当該検出ボックスの出力確率を得る。ある検出ボックスの出力確率が予め設定された閾値以上の場合に、当該検出ボックスの状態量を出力する。ただし、情報は検出ボックスの状態量及び検出ボックスの品質のうち少なくとも１つを含み、当該検出ボックスの品質は例えば当該検出ボックスのスコアである。既にマッチングした検出ボックスとは、既にマッチングし、且つ検出ボックスの品質が所定の条件を満たした検出ボックスである。

【0062】

ここで、既にマッチングした高品質ボックスのみを出力すれば、正解値ボックスに接近する中品質ボックスの一部が無視されることとなる。したがって、本開示は、学習モデルに基づいて各検出ボックスのスコアを補正し、どの検出ボックスを出力すべきかを確定する検出ボックスの出力評価ポリシーを設計する。当該学習モデルは現在の検出ボックスの情報及び当該検出ボックスに関連するトラックレットにおける各検出ボックスの情報を入力とし、現在の検出ボックスを出力する必要があるか否かの出力確率を出力とする。その後、当該出力確率に基づいて当該検出ボックスを出力する必要があるか否かを確定できる。

【0063】

さらに言えば、当該学習モデルはターゲット検出アルゴリズムにより出力された現在の検出ボックスのスコア、及び当該検出ボックスに関連するトラックレットにおける各検出ボックスのスコアを入力とし、現在の検出ボックスの補正後のスコアを出力とする。その後、当該補正後のスコアに基づいて、当該検出ボックスを出力する必要があるか否かを確定できる。当業者は必要に応じて当該学習モデルのタイプ、パラメータ及びスーパーパラメータを選択することができ、本開示はこれについて限定しない。

【0064】

いくつかの実施例では、検出ボックスの品質が所定の条件を満たすことは、例えば、検出ボックスが高品質ボックス及び／又は中品質ボックスのこと、或いは検出ボックスのスコアが所定の閾値以上のことである。一実施形態では、本開示は、信頼度が０．５以上の既にマッチングした検出ボックスのみを学習モデルに入力して、当該ボックスを出力するか否かを判定し、信頼度が０．５未満の既にマッチングした検出ボックスを学習モデルに入力して判定することはない。

【0065】

また、予測ボックスと検出ボックスとの類似度がマハラノビス距離、ユークリッド距離などを用いる場合、物体の重なり関係を判定できないため、大量のマッチングミスを引き起こす可能性がある。面積のＩＯＵを用いる場合、高速移動する車両には故障する可能性がある。このため、本開示は新たな距離メトリックＧＩＯＵ（Ｇｅｎｅｒａｌｉｚｅｄ ＩＯＵ、一般化ＩＯＵ）により予測ボックスと検出ボックスとの間の距離を測定することで、追跡性能を著しく向上させる。

【0066】

いくつかの実施例では、予測ボックス及び検出ボックスがいずれも２次元ボックスの場合、予測ボックスと検出ボックスとの類似度は、２つのボックスの積集合面積、和集合面積及び外接凸多角形の面積に関連する。

【0067】

いくつかの実施例では、予測ボックス及び検出ボックスがいずれも３次元ボックスの場合、予測ボックスと検出ボックスとの類似度は２つのボックスの積集合体積、和集合体積及び外接凸多面体の体積に関連する。

【0068】

さらに、３次元ボックスの類似度の計算ステップは以下の１）～７）を含む。

【0069】

１）予測ボックス及び検出ボックスの２次元平面への第１投影ボックス及び第１投影ボックスをそれぞれ生成し、
予測ボックス及び検出ボックスがそれぞれ３Ｄ ＢＢｏｘ Ａ及び３Ｄ ＢＢｏｘ Ｂであると仮定すると、この２つの３次元ボックスの平面視での２次元投影ボックスを取得し、それぞれ２Ｄ ＢＢｏｘ Ａ’及び２Ｄ ＢＢｏｘ Ｂ’と記す。

【0070】

２）第１投影ボックスと第２投影ボックスとの積集合面積及び外接凸多角形の面積を計算し、
２次元ボックスＡ’及びＢ’の平面視での積集合領域をＩとし、積集合領域の面積をＳ_Ｉとし、
２次元ボックスＡ’及びＢ’の平面視での外接凸多角形をＣとし、当該外接凸多角形の面積をＳ_Ｃとする。

【0071】

３）予測ボックスと検出ボックスとの縦軸における積集合高さ、和集合高さを計算し、
３次元ボックスＡ及びＢのｚ軸における積集合高さを、

【数1】

とし、
３次元ボックスＡ及びＢのｚ軸における和集合高さを、

【数2】

とし、
ここで、ｚ_Ａ及びｚ_Ｂはそれぞれ３次元ボックスＡ及びＢのキーポイントのｚ軸における座標値であり、具体的にはボックスの中心点のｚ軸における座標値であってよい。ｈ_Ａ及びｈ_Ｂはそれぞれ３次元ボックスＡ及びＢのｚ軸における高さの値である。

【0072】

４）第１投影ボックスと第２投影ボックスとの積集合面積及び積集合高さに基づいて積集合体積を計算し、
３次元ボックスＡとＢとの積集合体積を

【数3】

とする。

【0073】

５）外接凸多角形の面積及び和集合高さに基づいて外接凸多面体の体積を計算し、
３次元ボックスＡとＢの外接凸多面体の体積を

【数4】

とする。

【0074】

６）予測ボックスの体積、検出ボックスの体積及び積集合体積に基づいて和集合体積を計算し、
３次元ボックスＡとＢの和集合体積を

【数5】

とする。

【0075】

７）積集合体積、和集合体積及び外接凸多面体の体積に基づいて２つのボックスのＧＩＯＵを計算する。

【数6】

【0076】

いくつかの実施例では、本開示の類似度は３次元ボックスに基づくＤＩＯＵ（距離のＩＯＵ、Ｄｉｓｔａｎｃｅ－ＩＯＵ）を用いてもよく、ＤＩＯＵは予測ボックスと検出ボックスとの距離及び重なり率を考慮し、具体的には、ＤＩＯＵは２つのボックスの体積のＩＯＵ、２つのボックスの中心点座標の間のユークリッド距離ｄ_１、２つのボックスの外接凸多面体の対角線距離ｄ_２に基づいて算出される。ここで、２つのボックスの体積のＩＯＵは直接、積集合体積を和集合体積で割ったものであってもよく、上記算出された新たなＧＩＯＵであってもよい。一実施形態では、ＤＩＯＵ＝体積のＩＯＵ－ｄ_１／ｄ_２＝ＧＩＯＵ－ｄ_１／ｄ_２である。

【0077】

いくつかの実施例では、本開示の類似度は３次元ボックスに基づくＣＩＯＵ（距離のＩＯＵ、Ｃｏｍｐｌｅｔｅ－ＩＯＵ）を用いてもよく、ＣＩＯＵは予測ボックスと検出ボックスとの重なり率、中心点距離及び寸法比、すなわちＤＩＯＵの上で加えられる縦横比の損失項を考慮する。具体的には、ＣＩＯＵ＝ＤＩＯＵ＋ανであり、ここで、αは重みであり、νは寸法比（例えば、縦横比、横高さ比、縦高さ比、又はこの３つの比の平均値）の類似性を計量するために用いられる。

【0078】

以上から分かるように、本開示は複数種の３次元ボックスのメトリック値を設定して予測ボックスと検出ボックスとの類似度を評価し、マハラノビス距離、ユークリッド距離に比べてマルチターゲット追跡の一般化可能性を向上させ、新たなシーン毎に異なる関連のために距離メトリック閾値を再調整する必要があるという難点を排除する。

【0079】

さらに、前述のように、本開示はカルマンフィルタを用いてターゲットの移動状態をメンテナンスすることができる。カルマンフィルタでは、ｘは例えばターゲットの位置及び速度が挙げられるターゲットの移動状態を表し、ｚは例えばターゲットに対応する検出ボックスが挙げられる観測を表す。カルマンフィルタでは、

【数7】

の２つの式で物体の移動状態遷移を記述する。前者は隣接する時間点におけるターゲットの状態遷移を記述するものであり、ｗ_ｔは雑音を表し、Ｆ_ｔは状態遷移変換関係であり、それは１つのベクトルであってもよく、１つの行列であってもよく、当然のことながら、これらに限定されない。後者は観測量ｚ_ｔと状態量ｘ_ｔとの関係を記述するものであり、ここで、Ｈ_ｔは観測変換関係であり、同様にベクトルであっても行列であってもよく、ｖ_ｔは雑音を表す。

【0080】

一般的には、状態量ｘ_ｔはターゲットの位置パラメータ、角度パラメータ及び対応する検出ボックスの寸法を含むが、これらに限定されない。位置パラメータはターゲットのキーポイントの空間座標系における第１座標、第２座標、第３座標のうちの少なくとも１つを含む。第１座標、第２座標及び第３座標は空間座標系におけるｘ軸座標、ｙ軸座標及びｚ軸座標に対応することができる。角度パラメータはピッチ角（Ｐｉｔｃｈ）、ヨー角（Ｙａｗ）、ロール角（Ｒｏｌｌ）のうちの少なくとも１つを含む。キーポイントは１つであっても複数であってもよく、例えば物体の中心点又は物体の特定部位の中心点、又はこれらの点の集合であってもよい。例えば車両については、そのキーポイントは車両中心点であってもよく、車頭中心点、両側の後輪の中心点、又は複数の車体点の集合であってもよく、本開示は当該キーポイントの数及び位置について制限しない。

【0081】

いくつかの実施例では、状態量ｘ_ｔは

【数8】

であり、物体の位置、大きさ及び２つのフレームの間の変位を表し、観測量ｚ_ｔは

【数9】

であり、フレーム毎のターゲット検出ボックスを表す。したがって、Ｈ_ｔ、Ｆ_ｔをそれぞれ図５Ａ及び図５Ｂに示す。状態量がｎ次元ベクトルであれば、Ｈ_ｔはｎ＊（ｎ－３）次元行列となり、Ｆ_ｔはｎ＊ｎ次元行列となる。Ｈ_ｔ行列の最初のｎ－３列の対角線の数値はいずれも１であり、他の数値は０であり、行列の最後の３列の数値はいずれも０である。Ｆ_ｔ行列の対角線の数値、及び第１行第ｎ－２列、第２行第ｎ－１列、第３行第ｎ列の数値はいずれも１であり、その他の数値は０である。

【0082】

しかしカルマンフィルタだけで各物体の位置及びその２つのフレームの間における変位をメンテナンスすれば、センサに中間フレームの落ちが発生し、又は検知アルゴリズムにより連続した複数のフレームにおいて物体が検知されない場合に、カルマンフィルタによるターゲットの移動状態に対するメンテナンスにエラーが発生することを考慮すると、本開示がメンテナンスする状態量ｘ_ｔはターゲット物体のフレーム間における変位ではなく、ターゲットの速度となる可能性があり、このとき状態量は

【数10】

となる。これにより、Ｆ_ｔは図５Ｃに示すような行列となり、つまり第１行第ｎ－２列、第２行第ｎ－１列、第３行第ｎ列の数値をいずれもｔｉｍｅ＿ｌａｇに置き換え、当該ｔｉｍｅ＿ｌａｇは２回の観測間の時間差を表す。

【0083】

これに基づき、方法２００は、
ターゲットの現在の観測フレームにおける状態量及び予め設定された状態遷移変換関係に基づいてターゲットの次の観測フレームにおける状態量を計算するステップと、
ターゲットの次の観測フレームにおける状態量及び予め設定された観測変換関係に基づいて前記ターゲットの前記次の観測フレームにおける予測ボックス情報を計算するステップと、をさらに含み得る。

【0084】

さらに、状態量は位置と速度を含み、速度は３つの座標軸における速度値を含む。ターゲットの現在の観測フレームにおける状態量及び予め設定された状態遷移変換関係に基づいてターゲットの次の観測フレームにおける状態量を計算するステップは、状態遷移変換関係、前記ターゲットの現在の観測フレームにおける位置、速度、及び隣接する２つのフレームの時間差に基づいて、前記ターゲットの次の観測フレームにおける状態量を計算するステップを含む。

【0085】

以上から分かるように、本開示はターゲットの位置とターゲットの速度をメンテナンスすることにより、タイムスタンプを速度に乗じることで物体の２回の観測間における変位を表し、ターゲットの最新位置を得、センサによるフレーム落ち又は検知アルゴリズムによる観測ミスの場合におけるロバスト性を向上させる。

【0086】

図６は本開示の一実施例によるマルチターゲット追跡装置６００の概略図を示す。図６に示すように、装置６００は、
既存の観測フレームにおけるターゲットのトラックレットに基づいて、現在の観測フレームにおける当該ターゲットの予測ボックスを得ることに適する予測モジュール６０１と、
現在の観測フレームに対してターゲット検出を行い、そのうち１つ又は複数の検出ボックスを得ることに適する検出モジュールであって、前記検出ボックスは高品質ボックス、中品質ボックス及び低品質ボックスに分けられる検出モジュール６０２と、
前記予測ボックスと検出ボックスとの類似度に基づいて、当該予測ボックスと検出ボックスをマッチングさせることに適するマッチングモジュール６０３と、
当該予測ボックスが高品質ボックスにマッチングしないが中品質ボックスにマッチングすることに応答して、当該予測ボックスに対応するターゲットが現在の観測フレームにおいて追跡状態にあると確定することに適する分析モジュール６０４と、を含む。

【0087】

いくつかの実施例では、マッチングモジュール６０３はさらに、現在の観測フレームにおける高品質ボックスを抽出して各トラックレットと初回マッチングさせ、マッチングしないトラックレットに対して、現在の観測フレームにおける中質量ボックスを抽出して前記マッチングしないトラックレットと再びマッチングさせることに適する。類似度の計算過程は、方法２００に基づく説明において詳細に開示されたため、ここで重複する説明は省略する。

【0088】

いくつかの実施例では、分析モジュール６０４はさらに、
当該予測ボックスが中品質ボックスにマッチングする場合、対応するトラックレットの状態量をそのまま保持し、
当該予測ボックスが高品質ボックスにマッチングする場合、当該予測ボックスに対応するターゲットが現在の観測フレームにおいて追跡状態にあると確定し、当該高品質ボックスに基づいて対応するトラックレットの状態量を更新し、
ある検出ボックスがいずれの予測ボックスにもマッチングせず且つ当該検出ボックスが高品質ボックスの場合、当該高品質ボックスのために１つのトラックレットを新たに生成し、当該トラックレットのために１つのターゲット識別子を新たに生成し、
当該予測ボックスが高品質ボックスと中品質ボックスにマッチングしない場合、当該予測ボックスに対応するターゲットが現在の観測フレームにおいて紛失状態にあると確定し、また
あるターゲットが連続した複数のフレームのいずれにおいても紛失状態にある場合、当該ターゲットが消失状態にあると確定し、当該ターゲットに対応するトラックレットを除去することに適する。

【0089】

いくつかの実施例では、各トラックレットは対応するターゲット識別子を有し、装置６００はさらに、現在の観測フレームにおいて既にマッチングした高品質ボックスと中品質ボックスに対して、当該検出ボックスと対応するトラックレットとの関連関係を確立し、当該検出ボックスのために関連するトラックレットのターゲット識別子を出力することに適する出力モジュール（図示せず）を含む。

【0090】

いくつかの実施例では、出力モジュールはさらに、既にマッチングした検出ボックス毎に対して、当該既にマッチングした検出ボックスの情報、及び当該検出ボックスに関連するトラックレットにおける各検出ボックスの情報を予め設定された学習モデルに入力し、当該検出ボックスの出力確率を得、ある検出ボックスの出力確率が予め設定された閾値以上の場合に、当該検出ボックスの状態量を出力することに適する。ただし、情報は検出ボックスの状態量及び／又は検出ボックスの品質を含む。既にマッチングした検出ボックスとは、既にマッチングし、且つ検出ボックスの品質が所定の条件を満たした検出ボックスである。

【0091】

いくつかの実施例では、出力モジュールはさらに、ターゲットの現在の観測フレームにおける状態量及び予め設定された状態遷移変換関係に基づいてターゲットの次の観測フレームにおける状態量を計算し、ターゲットの次の観測フレームにおける状態量及び予め設定された観測変換関係に基づいてターゲットの次の観測フレームにおける予測ボックス情報を計算することに適する。ただし、状態量は位置と速度を含み、出力モジュールはさらに、状態遷移変換関係、ターゲットの現在の観測フレームにおける位置、速度、及び隣接する２つのフレームの時間差に基づいて、ターゲットの次の観測フレームにおける状態量を計算することに適する。

【0092】

本開示によるマルチターゲット追跡装置６００は、その具体的な詳細が既に他の図面に基づく説明において詳しく開示されたため、ここで重複する説明は省略する。

【0093】

また、本開示の実施例は、プログラム又は命令を含み、前記プログラム又は命令がコンピュータで実行されると、上記したマルチターゲット追跡方法を実現させるコンピュータ読み取り可能な記憶媒体をさらに提供する。

【0094】

また、本開示の実施例は、図７に示すように、メモリ７０１と、メモリ７０１に通信接続される１つ又は複数のプロセッサ７０２とを含むコンピュータ機器７００をさらに提供する。メモリ７０１には１つ又は複数のプロセッサ７０２により実行可能な命令が記憶されており、１つ又は複数のプロセッサ７０２が上記したマルチターゲット追跡方法を実現するように、命令が１つ又は複数のプロセッサ７０２により実行される。コンピュータ機器７００は、１つ又は複数の通信プロトコル（ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）など）を実施可能な通信インタフェース７０３をさらに含み得る。

【0095】

本開示の技術的解決手段によれば、既存のトラックレットに基づいて各ターゲットの現在フレームにおける予測ボックスを予測し、ターゲット検出アルゴリズムに基づいて現在のフレームの検出ボックスを得、その後に予測ボックスと検出ボックスとのマッチング結果に基づいて物体のライフサイクルを更新する。マッチングする中品質ボックスはライフサイクルを維持するしかないがトラックレットの最新状態量を更新せず、マッチングする高品質ボックスはライフサイクルも維持し、トラックレットの最新状態量も更新し、ターゲット検出の不安定や、車両が遮断されている場合にトラックレットが早期に除去される状況を回避するだけでなく、また移動モデルの高い正確性を保証する。また、観測フレーム毎に対して、各ターゲット物体の位置及び番号を算出し出力することにより、同一物体は関連するフレームにおいて同一番号を持つようになる。

【0096】

当業者であれば、本開示の実施例は方法、システム、又はコンピュータプログラム製品として提供できることを理解されたい。したがって、本開示は完全なハードウェアの実施例、完全なソフトウェアの実施例、又はソフトウェアとハードウェアを組み合わせる態様の実施例の形態を用いることができる。また、本開示は、コンピュータに使用可能なプログラムコードを含むコンピュータに使用可能な１つ以上の記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むがこれらに限定されない）で実施されるコンピュータプログラム製品の形態を用いることができる。

【0097】

本開示は、本開示の実施例による方法、機器（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら説明される。コンピュータプログラム命令によりフローチャート及び／又はブロック図における各フロー及び／又はブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせを実現できることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込み処理機器又は他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行されるときフローチャートの１つ以上のフロー及び／又はブロック図の１つ以上のブロックにおいて指定された機能を実現するように、装置を製造することができる。

【0098】

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置を特定の方式で動作させるコンピュータ読み取り可能なメモリに記憶することで、このコンピュータ読み取り可能なメモリに記憶される命令により、フローチャートの１つ以上のフロー及び／又はブロック図の１つ以上のブロックにおいて指定された機能を実現する命令装置を含む製品を製造することができる。

【0099】

これらのコンピュータプログラム命令は、コンピュータ、又は他のプログラマブル装置に一連の動作ステップを実行させて、コンピュータにより実施可能な処理を生成するように、コンピュータ、又は他のプログラマブルデータ処理装置にロードすることができ、それにより、コンピュータ、又は他のプログラマブル装置において実行される命令は、フローチャートの１つ以上のフロー及び／又はブロック図の１つ以上のブロックにおいて指定された機能を実現するためのステップを提供する。

【0100】

本開示において具体的な実施例を用いて本開示の原理及び実施形態を説明し、以上の実施例の説明は本開示の方法及びその核心思想への理解を助けるためのものに過ぎず、また、当業者であれば、本開示の思想に基づき、具体的な実施形態及び適用範囲のいずれにおいても変更を行ことが可能であり、以上をまとめると、本明細書の内容は本開示を限定するものとして理解されるべきではない。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図6】

【図7】