特許 7241783 クロスカメラ障害物追跡方法、装置、機器、システム及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-09

(45)【発行日】2023-03-17

(54)【発明の名称】クロスカメラ障害物追跡方法、装置、機器、システム及び媒体

(51)【国際特許分類】

   G06T 7/60 20170101AFI20230310BHJP

   G06T 7/70 20170101ALI20230310BHJP

   H04N 7/18 20060101ALI20230310BHJP

【ＦＩ】

G06T7/60 110

G06T7/70 Z

H04N7/18 D

H04N7/18 G

【請求項の数】 16

(21)【出願番号】P 2021001461

(22)【出願日】2021-01-07

(65)【公開番号】P2021111404

(43)【公開日】2021-08-02

【審査請求日】2021-01-07

(31)【優先権主張番号】202010014794.2

(32)【優先日】2020-01-07

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321009845

【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】リ，グオ

(72)【発明者】

【氏名】ガオ，ハン

(72)【発明者】

【氏名】ソン，ジン

(72)【発明者】

【氏名】ワン，ジュン

【審査官】小太刀 慶明

(56)【参考文献】

【文献】特開２０１９－１１４２８０（ＪＰ，Ａ）

【文献】特開２００１－０８８６０９（ＪＰ，Ａ）

【文献】特開２０１９－１８５６１５（ＪＰ，Ａ）

【文献】特開２００４－０７２６２８（ＪＰ，Ａ）

【文献】特開２０１８－０６１１１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１／４０

３／００－５／５０

７／００－７／９０

９／００－９／４０

１１／６０－１３／８０

１７／０５

１９／００－１９／２０

Ｇ０９Ｇ ５／００－５／３６

５／３７７－５／４２

Ｈ０４Ｎ １／３８－１／３９３

７／１８

(57)【特許請求の範囲】

【請求項1】

少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するステップであって、前記障害物追跡結果は、カメラによって撮影された画像内の少なくとも１つの障害物を識別及び追跡した結果を含み、少なくとも１つの追跡された障害物にローカル識別子が設定されるステップと、
各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされる場合、各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立するステップと、
各カメラの障害物追跡結果に基づいて障害物の類似度を決定し、類似度に基づいて同じ障害物のグローバル識別子融合を行うステップと、
前記グローバル識別子でマークされた障害物追跡結果を取得するステップと、を含み、
各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされることは、
前記メインカメラの現在の画像の障害物識別及び追跡の完了が監視された後、メインカメラの障害物追跡結果が取得された場合、前記トリガー条件が満たされると決定することを含み、
前記メインカメラは、設定されたカメラであり、又は車両運転中の注目領域に応じて決定され、
各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立するステップは、
各カメラの現在の画像の障害物追跡結果が履歴画像にローカル識別子を有することが識別された場合、現在の画像の障害物追跡結果を既存のローカル識別子に対応するグロバール識別子に関連付けるステップと、
各カメラの現在の画像の障害物追跡結果が履歴画像にローカル識別子を有さないことが識別された場合、新しく設定されたローカル識別子を新しく作成されたグロバール識別子にマッピングするステップと、を含む、
ことを特徴とするクロスカメラ障害物追跡方法。

【請求項2】

各カメラの障害物追跡結果に基づいて障害物の類似度を決定するステップの前に、
カメラの取り付け位置及び／又はカメラの撮影エリアに従って、オーバーラップエリアにある障害物追跡結果を決定し、対応するグローバル識別子を１つの関連セットに分割するステップをさらに含み、
前記関連セットは、障害物の類似度を決定するための範囲として使用される、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記グローバル識別子でマークされた障害物追跡結果を取得するステップは、
前記グローバル識別子でマッピングされた１つ又は複数のローカル識別子に対応する障害物追跡結果を取得するステップと、
各前記障害物追跡結果に対してルックアラウンド状態処理を実行して、前記グローバル識別子に対応する障害物の最終追跡結果を決定するステップと、を含み、
前記最終追跡結果は、車載自動制御システムの運転決定モジュールに送信される、
ことを特徴とする請求項１に記載の方法。

【請求項4】

各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立するステップの後に、
各グローバル識別子に対応する２つの前記障害物に対して関連一致性の検出を実行するステップと、
異なる障害物であると決定された場合、異なる障害物の追跡結果を異なるグローバル識別子に対応するように分割するステップと、をさらに含む、
ことを特徴とする請求項１に記載の方法。

【請求項5】

各グローバル識別子に対応する２つの前記障害物に対して関連一致性の検出を実行するステップは、
各グローバル識別子に対応する２つの前記障害物について、各カメラの障害物の追跡結果に基づいて、位置の一致性、輪郭の一致性及び体積の一致性の少なくとも１つを識別して、関連一致性の検出結果を決定するステップを含む、
ことを特徴とする請求項４に記載の方法。

【請求項6】

各カメラの障害物追跡結果に基づいて障害物の類似度を決定し、類似度に基づいて同じ障害物のグローバル識別子融合を実行するステップは、
各カメラの障害物追跡結果に基づいて、異なるグローバル識別子に対応する障害物追跡結果に対して２つ１組で位置情報及び／又は輪郭体積情報の類似度計算を実行し、類似度行列を算出するステップと、
前記類似度行列に基づいて同じ障害物のマッチングを実行し、マッチング結果に基づいて同じ障害物に属するグローバル識別子を決定するステップと、
同じ障害物のグローバル識別子を併合して融合するステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項7】

類似度行列を算出するステップの前に、
異なるグローバル識別子に対応する障害物追跡結果に対して条件付き制約フィルタリングを行うステップであって、フィルタリングを制約するための条件は、距離制約、車両の中心に接続された光線の方向角差制約、及びエピポーラ幾何学的制約の少なくとも１つを含むステップをさらに含む、
ことを特徴とする請求項６に記載の方法。

【請求項8】

前記方法の実行主体が産業用コンピュータであり、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するステップは、
車載された少なくとも２つのカメラによってそれぞれ車両の周辺環境を撮影した後に収集された画像を取得するステップと、
各前記画像に対して障害物の識別及び追跡を実行して、前記障害物の追跡結果を取得するステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項9】

前記方法の実行主体が産業用コンピュータであり、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するステップは、
車載された少なくとも２つのカメラによって送信された障害物追跡結果を取得するステップであって、前記障害物追跡結果が、カメラが撮影された画像に基づいて障害物の識別及び追跡を実行するとともにローカル識別子を設定することで取得されるステップを含む、
ことを特徴とする請求項１に記載の方法。

【請求項10】

少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するように構成される追跡結果取得モジュールであって、前記障害物追跡結果は、カメラによって撮影された画像内の少なくとも１つの障害物を識別及び追跡した結果を含み、少なくとも１つの追跡された障害物にローカル識別子が設定される追跡結果取得モジュールと、
各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされる場合、各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立するように構成されるマッピング関係確立モジュールと、
各カメラの障害物追跡結果に基づいて、障害物の類似度を決定し、類似度に基づいて同じ障害物のグローバル識別子融合を実行するように構成されるグローバル識別子融合モジュールと、
前記グローバル識別子でマークされた障害物追跡結果を取得するように構成される追跡結果取得モジュールと、を含み、
各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされることは、
前記メインカメラの現在の画像の障害物識別及び追跡の完了が監視された後、メインカメラの障害物追跡結果が取得された場合、前記トリガー条件が満たされると決定することを含み、
前記メインカメラは、設定されたカメラであり、又は車両運転中の注目領域に応じて決定され、
前記マッピング関係確立モジュールは、
各カメラの現在の画像の障害物追跡結果が履歴画像にローカル識別子を有することが識別された場合、現在の画像の障害物追跡結果を既存のローカル識別子に対応するグロバール識別子に関連付け、
各カメラの現在の画像の障害物追跡結果が履歴画像にローカル識別子を有さないことが識別された場合、新しく設定されたローカル識別子を新しく作成されたグロバール識別子にマッピングする、
ことを特徴とするクロスカメラ障害物追跡装置。

【請求項11】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含む電子機器であって、
前記メモリには前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも１つのプロセッサに実行される場合、前記少なくとも１つのプロセッサが請求項１～７のいずれか一項に記載のクロスカメラ障害物追跡方法を実行可能である、
ことを特徴とする電子機器。

【請求項12】

少なくとも２つの車載カメラを含み、請求項１１に記載の電子機器をさらに含み、前記電子機器が産業用コンピュータである、
ことを特徴とするクロスカメラ障害物追跡システム。

【請求項13】

前記カメラは、具体的には、車両の周囲の画像を撮影するように構成され、
前記産業用コンピュータは、具体的には、車載された少なくとも２つのカメラによってそれぞれ車両の周辺環境を撮影した後に収集された画像を取得し、各前記画像に対して障害物の識別及び追跡を実行して、前記障害物追跡結果を取得するように構成される、
ことを特徴とする請求項１２に記載のシステム。

【請求項14】

前記カメラは、具体的には、車両の周囲の画像を撮影し、撮影された画像に基づいて障害物の識別及び追跡を実行するとともに前記障害物にローカル識別子を設定するように構成され、
前記産業用コンピュータは、具体的には、車載された少なくとも２つのカメラによって送信された障害物追跡結果を取得するように構成される、
ことを特徴とする請求項１２に記載のシステム。

【請求項15】

コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令がコンピュータに請求項１～９のいずれか一項に記載のクロスカメラ障害物追跡方法を実行させる、
ことを特徴とする非一時的コンピュータ可読記憶媒体。

【請求項16】

コンピュータプログラムであって、
前記コンピュータプログラムが実行される場合、コンピュータに請求項１～９のいずれか一項に記載のクロスカメラ障害物追跡方法を実行させる、
ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、インテリジェント交通技術分野に関し、特に自動運転技術分野に関し、具体的には、クロスカメラ障害物追跡方法、装置、機器、システム及び媒体に関する。

【背景技術】

【0002】

通信技術の発展に伴い、交通輸送中の自動運転技術と無人運転技術の新たな可能性がある。

【0003】

現在の無人３６０度視覚センシングシステムは、通常、各カメラでそれぞれ追跡し、カメラのオーバーラップエリアでの障害物の追跡処理の精度が高くない。

【0004】

したがって、ターゲットオブジェクトへの追跡の精度を向上させるために、高性能のサラウンドビューマルチターゲット追跡システムをどのように設計するかは、解決すべき緊急の問題になっている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本出願の実施例は、ターゲットオブジェクトへの追跡の精度を向上させることができるクロスカメラ障害物追跡方法、装置、機器、システム及び媒体を開示する。

【課題を解決するための手段】

【0006】

第１の態様では、本出願の実施例は、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するステップであって、前記障害物追跡結果は、カメラによって撮影された画像内の少なくとも１つの障害物を識別及び追跡した結果を含み、少なくとも１つの追跡された障害物にローカル識別子が設定されるステップと、各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされる場合、各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立するステップと、各カメラの障害物追跡結果に基づいて障害物の類似度を決定し、類似度に基づいて同じ障害物のグローバル識別子融合を実行するステップと、前記グローバル識別子でマークされた障害物追跡結果を取得するステップと、を含むクロスカメラ障害物追跡方法を開示する。

【0007】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。産業用コンピュータにより障害物追跡結果を取得し、障害物のローカル識別子とグローバル識別子とのマッピング関係に基づいて障害物の類似度を決定し、類似度に基づいて障害物追跡結果を最終的に決定する。複数のカメラによる障害物の融合処理により、障害物への追跡の精度を向上させることができる。

【0008】

また、本出願の上記実施例に係るクロスカメラ障害物追跡方法は、さらに次の付加的な技術的特徴を有することができる。

【0009】

選択可能には、各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされるステップは、前記メインカメラの現在の画像の障害物識別及び追跡の完了が監視された後、メインカメラの障害物追跡結果が取得された場合、前記トリガー条件が満たされると決定するステップを含み、前記メインカメラは、設定されたカメラであり、又は車両運転中の注目領域に応じて決定される。

【0010】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。メインカメラ融合を設定することにより、メインカメラ内の画像がフレームを失わないことを確保することができ、障害物追跡の精度をさらに向上させることができる。

【0011】

選択可能には、各カメラの障害物追跡結果に基づいて、障害物の類似度を決定するステップの前に、カメラの取り付け位置及び／又はカメラの撮影エリアに従って、オーバーラップエリアにある障害物追跡結果を決定し、対応するグローバル識別子を１つの関連セットに分割するステップをさらに含み、前記関連セットは、障害物の類似度を決定するための範囲として使用される。

【0012】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。対応するグローバル識別子を同じ関連セットに分割することにより、同じ関連セット内の障害物が同じ障害物である可能性が高いので、それらが同じ障害物であるか否かを決定するプロセスを減らし、システムの処理効率を向上させることができる。

【0013】

選択可能には、前記グローバル識別子でマークされた障害物追跡結果を取得するステップは、前記グローバル識別子でマッピングされた１つ又は複数のローカル識別子に対応する障害物追跡結果を取得するステップと、各前記障害物追跡結果に対してルックアラウンド状態処理を実行して、前記グローバル識別子に対応する障害物の最終追跡結果を決定するステップと、を含み、前記最終追跡結果は、車載自動制御システムの運転決定モジュールに送信すされる。

【0014】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。同じグローバル識別子に対応する１つ又は複数のローカル識別子の障害物追跡結果に対してルックアラウンド処理を実行することにより、当該グローバル識別子に対応する障害物の最終追跡結果を決定することができ、これにより、車載自動制御システム内の運転決定モジュールの決定がより正確になる。

【0015】

選択可能には、各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立するステップは、各カメラの現在の画像の障害物追跡結果が履歴画像にローカル識別子を有することが識別された場合、現在の画像の障害物追跡結果を既存のローカル識別子に対応するグロバール識別子に関連付けるステップと、各カメラの現在の画像の障害物追跡結果が履歴画像にローカル識別子を有さないことが識別された場合、新しく設定されたローカル識別子を新しく作成されたグロバール識別子にマッピングするステップと、を含む。

【0016】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。ローカル識別子とグローバル識別子とのマッピング関係が確立された後、同じ障害物を同じグローバル識別子に対応させることができ、障害物への追跡の精度を向上させることができる。

【0017】

選択可能には、各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立するステップの後に、各グローバル識別子に対応する２つの前記障害物に対して関連一致性の検出を実行するステップと、異なる障害物であると決定された場合、異なる障害物の追跡結果を異なるグローバル識別子に対応するように分割するステップと、をさらに含む。

【0018】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。各グローバル識別子に対応する障害物に対して関連一致性の検出を実行することにより、同じグローバル識別子が同じ障害物に対応することを確保することができる。

【0019】

選択可能には、各グローバル識別子に対応する２つの前記障害物に対して関連一致性の検出を実行するステップは、各グローバル識別子に対応する２つの前記障害物について、各カメラの障害物の追跡結果に基づいて、位置の一致性、輪郭の一致性及び体積の一致性の少なくとも１つを識別して、関連一致性の検出結果を決定するステップを含む。

【0020】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。グローバル識別子に対応する障害物に対して関連一致性の検出を様々な方式で実行することで、関連一致性の検出の精度を向上させることができる。

【0021】

選択可能には、各カメラの障害物追跡結果に基づいて、障害物の類似度を決定し、類似度に基づいて同じ障害物のグローバル識別子融合を実行するステップは、各カメラの障害物追跡結果に基づいて、異なるグローバル識別子に対応する障害物追跡結果に対して２つ１組で位置情報及び／又Ｈ輪郭体積情報の類似度計算を実行し、類似度行列を算出するステップと、前記類似度行列に基づいて同じ障害物のマッチングを実行し、マッチング結果に基づいて同じ障害物に属するグローバル識別子を決定するステップと、同じ障害物のグローバル識別子を併合して融合するステップと、を含む。

【0022】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。類似度によって同じ障害物であるか否かを判断し、同じ障害物を併合して融合することで、１つの障害物の３次元画像をより正確に形成することができる。

【0023】

選択可能には、類似度行列を算出するステップの前に、異なるグローバル識別子に対応する障害物追跡結果に対して条件付き制約フィルタリングを行うステップであって、フィルタリングを制約する条件は、距離制約、車両の中心に接続された光線の方向角差制約、及びエピポーラ幾何学的制約の少なくとも１つを含むステップをさらに含む。

【0024】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。条件付き制約フィルタリングを行った後の障害物追跡結果により、障害物の識別効率を向上させることができる。

【0025】

選択可能には、前記方法の実行主体が産業用コンピュータであり、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するステップは、車載された少なくとも２つのカメラによってそれぞれ車両の周辺環境を撮影した後に収集された画像を取得するステップと、各前記画像に対して障害物の識別及び追跡を実行して、前記障害物の追跡結果を取得するステップと、を含む。

【0026】

上記の出願の１つの実施例は、次の利点又は有益な効果を有している。少なくとも２つのカメラは、画像を取得し、産業用コンピュータは、画像を取得した後、画像を処理する。この場合、車両に搭載されたカメラは、撮影機能のみを備える場合に適用し、カメラのコストを削減することができる。

【0027】

選択可能には、前記方法の実行主体が産業用コンピュータであり、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するステップは、車載された少なくとも２つのカメラによって送信された障害物追跡結果を取得するステップであって、前記障害物追跡結果は、カメラが、撮影した画像に基づいて障害物の識別及び追跡を実行するとともにローカル識別子を設定することで取得されるステップを含む。

【0028】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。カメラは、画像を取得した後、画像内の障害物を識別及び追跡し、この場合、カメラにはチップが配置されており、カメラは、障害物の追跡結果を独立して完成し、結果を産業用コンピュータに送信することができる。このようにすることで、カメラ自体の機能により障害物追跡結果を実行でき、産業用コンピュータの動作負荷を低減させることができるとう利点を有する。

【0029】

第２の態様では、本出願の実施例は、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するように構成される追跡結果取得モジュールであって、前記障害物追跡結果は、カメラによって撮影された画像内の少なくとも１つの障害物を識別及び追跡した結果を含み、少なくとも１つの追跡された障害物にローカル識別子が設定される追跡結果取得モジュールと、各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされると、各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立するように構成されるマッピング関係確立モジュールと、各カメラの障害物追跡結果に基づいて、障害物の類似度を決定し、類似度に基づいて同じ障害物のグローバル識別子融合を実行するように構成されるグローバル識別子融合モジュールと、前記グローバル識別子でマークされた障害物追跡結果を取得するように構成される追跡結果取得モジュールと、を含むクロスカメラ障害物追跡装置を開示する。

【0030】

第３の態様では、本出願の実施例は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含む電子機器であって、前記メモリには前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも１つのプロセッサに実行される場合、前記少なくとも１つのプロセッサが本出願の実施例のいずれかに記載のクロスカメラ障害物追跡方法を実行可能である電子機器を開示する。

【0031】

第４の態様では、本出願の実施例は、少なくとも２つの車載カメラを含み、本出願の実施例に記載の電子機器をさらに含み、前記電子機器が産業用コンピュータであるクロスカメラ障害物追跡システムを開示する。

【0032】

選択可能には、前記カメラは、具体的には車両の周囲の画像を撮影するように構成され、前記産業用コンピュータは、具体的には、車載された少なくとも２つのカメラによってそれぞれ車両の周辺環境を撮影した後に収集された画像を取得し、各前記画像に対して障害物の識別及び追跡を実行して、前記障害物追跡結果を取得するように構成される。

【0033】

選択可能には、前記カメラは、具体的には、車両の周囲の画像を撮影し、撮影された画像に基づいて障害物の識別及び追跡を実行するとともに前記障害物にローカル識別子を設定するように構成され、前記産業用コンピュータは、具体的には、車載された少なくとも２つのカメラによって送信された障害物追跡結果を取得するように構成される。

【0034】

第５の態様では、本出願の実施例は、コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令が前記コンピュータに本出願のいずれかの実施例に記載のクロスカメラ障害物追跡方法を実行させる非一時的コンピュータ可読記憶媒体を開示する。
第６の態様では、本出願の実施例は、コンピュータプログラムであって、前記コンピュータプログラムが実行される場合、前記コンピュータに本出願のいずれかの実施例に記載のクロスカメラ障害物追跡方法を実行させるコンピュータプログラムを開示する。

【0035】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。産業用コンピュータにより障害物追跡結果を取得し、さらに障害物のローカル識別子とグローバル識別子とのマッピング関係に基づいて、障害物の類似度を決定し、類似度に基づいて最終的に障害物追跡結果を決定し、複数のカメラによる障害物の融合処理により、障害物への追跡の精度を向上させることができる。

【0036】

上記の選択可能な方式が有している他の効果は、具体的な実施例と併せて以下に説明される。

【図面の簡単な説明】

【0037】

図面は、本解決策をよりよく理解するために使用され、本出願を限定するものではない。

【図1】本出願の実施例１に係るクロスカメラ障害物追跡方法の概略フローチャートである。

【図2】本出願の実施例２に係るクロスカメラ障害物追跡方法の概略フローチャートである。

【図3】本出願の実施例２に係る障害物融合プロセスの概略ブロック図である。

【図4】本出願の実施例３に係るクロスカメラ障害物追跡装置の概略ブロック図である。

【図5】本出願の実施例に係るクロスカメラ障害物追跡方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0038】

以下に、図面を参照して本出願の例示的な実施例を説明し、理解を容易にするために、その中には本出願の実施例の様々な詳細を含んでおり、それらは単なる例示するものと見なされるべきである。したがって、当業者は、本出願の範囲及び趣旨から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、明確及び簡潔するために、以下の説明では、周知の機能及び構成の説明を省略する。

【0039】

本出願の実施例は、無人運転システムのプロセッサの機能が制限されるため、大量の画像情報がタイムリーに処理されなくて失われ、それによって全体的な追跡効果に影響を与える状況に適用する。
実施例１

【0040】

図１は、本出願の実施例１に係るクロスカメラ障害物追跡方法の概略フローチャートである。本実施例は、自動運転車両がカメラによって撮影された障害物を識別及び追跡する場合に使用され、この方法は、クロスカメラ障害物追跡装置によって実行されてもよく、当該装置がソフトウェア及び／又はハードウェアで実現されてもよく、かつ電子機器に統合されてもよく、当該電子機器が車両に統合された自動運転制御装置であってもよい。図１に示すように、本実施例に係るクロスカメラ障害物追跡方法は、以下のステップＳ１１０～ステップ１４０を含むことができる。

【0041】

Ｓ１１０において、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得し、前記障害物追跡結果は、カメラによって撮影された画像内の少なくとも１つの障害物を識別及び追跡した結果を含み、少なくとも１つの追跡された障害物にローカル識別子が設定される。

【0042】

この実施例のカメラは、車両に搭載され、車両は、無人車両であってもよいし、自動運転車両であってもよい。車両が様々な方向の障害物を識別するために、車両の異なる位置にカメラを取り付けることができ、例として、カメラは、車両の前方、車両の左側、車両の右側及び車両の後方に取り付けられてもよい。車両の異なる位置に取り付けられたこれらのカメラは、その自体によって設定された頻度で画像を収集することができる。

【0043】

具体的には、障害物追跡結果は、車両に搭載されたカメラから取得されてもよいし、車両の産業用コンピュータから取得されてもよい。

【0044】

本実施例では、ローカル識別子とは、単一のカメラ又は産業用コンピュータが取得した画像の障害物を区別するためのマークである。ローカル識別子が単一のカメラによって設定される場合、具体的なプロセスは、単一のカメラが、撮影した画像内で少なくとも１つの障害物を識別し、この障害物の一意の識別子、即ちローカル識別子を障害物に割り当てることである。当該カメラが後続のフレーム画像を撮影し続ける場合、当該障害物が依然として画像に表示されると、カメラの制御プログラムは、前後のフレーム画像に表示される障害物をマッチングして、同じ障害物に属する画像を見つけ、それによって同じローカル識別子に属する障害物の異なる画像を取得することができ、これは、障害物追跡と呼ばれてもよい。例として、Ｌｏｃａｌ＿Ｔｒａｃｋ＿ＩＤをローカル識別子として区別して命名し、具体的には、異なるＩＤで異なる障害物を区別することができる。

【0045】

選択可能には、前記方法の実行主体が産業用コンピュータであり、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するステップは、車載された少なくとも２つのカメラによってそれぞれ車両の周辺環境を撮影した後に収集された画像を取得するステップと、各前記画像に対して障害物の識別及び追跡を実行して、前記障害物の追跡結果を取得するステップと、を含む。

【0046】

本実施例では、ローカル識別子が産業用コンピュータによって設定される場合、具体的なプロセスは、単一のカメラが画像を撮影した後、画像を産業用コンピュータに送信し、産業用コンピュータが、障害物を容易に追跡するように、当該画像内の障害物にローカル識別子を割り当てることである。

【0047】

選択可能には、前記方法の実行主体が産業用コンピュータであり、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するステップは、車載された少なくとも２つのカメラによって送信された障害物追跡結果を取得し、前記障害物追跡結果が、カメラが撮影した画像に基づいて障害物の識別及び追跡を実行するとともにローカル識別子を設定することで取得されるステップを含む。

【0048】

本実施例では、カメラが障害物を識別及び追跡する場合、単一のカメラが画像を取得した後、現在のフレーム画像内の障害物識別結果を、当該カメラによって識別された履歴フレーム画像内の障害物と比較することにより、識別された障害物を追跡し、それに１つのローカル識別子を割り当てる。異なる位置にあるカメラによる障害物の識別及び追跡は、非同期であってもよく、具体的な識別速度は、画像内の障害物の数、障害物の外形の複雑さ及び当該障害物を処理するための計算能力に関連付けられている。

【0049】

具体的には、単一のカメラは、障害物の識別中に信頼度を取得し、信頼度が通常、障害物識別アルゴリズムによって自動的に決定されてもよく、主に当該障害物の識別結果が正しい確率を反映する。信頼度が閾値よりも大きい場合、それは有効な障害物と見なされる。有効な障害物は、単一のカメラで追跡され、さらに、各カメラの有効な障害物の信頼度は、異なってもよい。

【0050】

Ｓ１２０において、各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされる場合、各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立する。

【0051】

本実施例では、メインカメラは、車両内で比較的重要で優先順位が高いカメラである。例えば、当該メインカメラの撮影範囲が運転制御にとって最も重要であるか、又はメインカメラのハードウェアパフォーマンスが最も高い。

【0052】

メインカメラが障害物の融合をトリガーすることにより、当該メインカメラが融合する必要のある全ての障害物追跡結果をタイムリーに融合できることを確保することができる。メインカメラ以外のカメラの場合、異なるカメラが画像を取得する頻度が異なるため、一部のカメラク内の１フレーム又は複数のフレームの画像は、タイムリーに融合されず、フレームが失われる可能性がある。

【0053】

障害物の融合とは、異なるカメラで追跡された障害物を関連付けることであり、異なるカメラで追跡された障害物がローカル識別子でマークされるため、異なるカメラで撮影された同じ障害物が異なるローカル識別子でマークされる可能性がある。障害物識別結果がローカル識別子のマークで後続の自動運転制御決定モジュールに送信されると、同じ障害物が誤って２つの障害物として扱われて、運転制御エラーが発生することになる。したがって、より正確な運転制御ポリシーを得るために、異なるカメラで追跡された障害物を関連付けてから、追跡結果を後続の決定モジュールに送信する必要がある。

【0054】

障害物を融合する場合、主に有効な障害物を融合し、有効な障害物の識別プロセスは、上述したプロセスを参照することができる。本実施例では、障害物の融合がメインカメラによってトリガーされた後、各カメラは、融合するとともに有効な障害物であるか否かを判断することでき、有効な障害物の場合、クロスカメラ融合を実行し、有効な障害物でない場合、当該障害物を廃棄する。

【0055】

選択可能には、各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされるステップは、前記メインカメラの現在の画像の障害物識別及び追跡の完了が監視された後、メインカメラの障害物追跡結果が取得された場合、前記トリガー条件が満たされると決定するステップを含み、前記メインカメラは、設定されたカメラであり、又は車両運転中の注目領域に応じて決定される。

【0056】

本実施例では、メインカメラは、設定されたカメラであってもよく、例として、車両の前側にあるカメラは、メインカメラとして設定され、当該車両の前方の道路状況は、車両の運転にとって最も重要であるとデフォルトされる。メインカメラは、さらに車両運転中の注目領域に応じて決定されてもよく、具体的には、注目領域とは、車両が運転中に注目を集める領域を指し、例として、車両が直線道路を走行している場合、当該車両の注目領域は、前方の走行道路区間であり、当該車両のメインカメラは、車両の前側に取り付けられたカメラである。当該車両が左に曲がると、当該車両の注目領域は、左側の道路区間になり、メインカメラは、車両の左側のカメラに変更される。

【0057】

本実施例では、障害物追跡結果とは、障害物を追跡した後に得られたデータ結果を指し、障害物の画像、障害物の輪郭、画像内の障害物の位置などの様々な特徴データを含む。グローバル識別子は、当該車両の制御システムで使用される一意の識別子であり、車両のすべてのカメラで追跡されたすべての障害物を一意に区別することができる。例として、Ｇｌｏｂａｌ＿Ｔｒａｃｋ＿ＩＤで命名して区別する。障害物追跡結果が取得された後、障害物追跡結果のローカル識別とグローバル識別とのマッピング関係を確立する。

【0058】

選択可能には、各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立するステップは、各カメラの現在の画像の障害物追跡結果が履歴画像にローカル識別子を有することが識別された場合、現在の画像の障害物追跡結果を、既存のローカル識別子に対応するグロバール識別子に関連付けるステップと、各カメラの現在の画像の障害物追跡結果が履歴画像にローカル識別子を有さないことが識別された場合、新しく設定されたローカル識別子を新しく作成されたグロバール識別子にマッピングするステップと、を含む。

【0059】

本実施例では、各カメラが、現在の画像内の障害物が履歴画像には対応するローカル識別子を有することを識別した場合、当該障害物がカメラによって識別されたことを示し、したがって、当該障害物の追跡結果は、当該障害物に対応するグローバル識別子に対応付けられる。

【0060】

各カメラで識別された現在の画像内の障害物が履歴画像には対応するローカル識別子を有さない場合、当該障害物が新しく出現したものであることを表し、当該障害物にローカル識別子を設定し、新しいローカル識別子を作成してマッピングする。

【0061】

Ｓ１３０において、各カメラの障害物追跡結果に基づいて障害物の類似度を決定し、類似度に基づいて同じ障害物のグローバル識別子融合を実行する。

【0062】

本実施例では、障害物追跡結果内の障害物に対して２つずつで類似度を比較して、類似度が要件を満たす異なるローカル識別子の障害物を同じ障害物と見なして、同じグローバル識別子に関連付けることができる。

【0063】

Ｓ１４０において、前記グローバル識別子でマークされた障害物追跡結果を取得する。

【0064】

本実施例では、同じグローバル識別子に対応する障害物の追跡結果をまとめると、同じグローバル識別子でマークされた障害物を処理することにより、同じ障害物を追跡する目的を達成することができる。障害物追跡結果は、障害物の位置、障害物の移動軌跡、障害物の移動軌跡の予測値及び障害物の外形などを含む。

【0065】

上記の出願の１つの実施例は、次の利点又は有益な効果を有する。産業用コンピュータにより障害物追跡結果を取得し、さらに障害物のローカル識別子とグローバル識別子とのマッピング関係に基づいて障害物の類似度を決定し、類似度に基づいて障害物追跡結果を最終的に決定し、複数のカメラによる障害物の融合処理により、障害物追跡の精度を向上させることができる。本実施例では、メインカメラは、クロスカメラ障害物を融合させることにより、主要な障害物追跡結果が失われないことを確保することができる。
実施例２

【0066】

図２は、本出願の実施例２に係るクロスカメラ障害物追跡方法の概略フローチャートである。本実施例は、自動運転車両が撮影された画像内の障害物を識別及び追跡する場合に使用され、この方法は、クロスカメラ障害物追跡装置によって実行されてもよく、当該装置がソフトウェア及び／又はハードウェアで実現されてもよく、かつ電子機器に統合されてもよい。

【0067】

図３は、障害物融合プロセスの概略ブロック図である。図には少なくとも２つのカメラ識別モジュール３０１、少なくとも２つのカメラ追跡モジュール３０２、クロスカメラ障害物融合モジュール３０３、関連一致性検出サブモジュール３０３１、類似度算出サブモジュール３０３２、条件付き制約フィルタリングサブモジュール３０３３、及び障害物融合モジュール３０４が含まれる。カメラにチップが配置されている場合、障害物の識別及び追跡を独立して処理することができ、少なくとも２つのカメラ識別モジュール３０１、少なくとも２つのカメラ追跡モジュール３０２は、カメラに配置され、クロスカメラ障害物融合モジュール３０３、関連一致性検出サブモジュール３０３１、類似度算出サブモジュール３０３２、条件付き制約フィルタリングサブモジュール３０３３、及び障害物融合モジュール３０４は、産業用コンピュータに配置され、カメラにチップが配置されていない場合、カメラは、上記のモジュールを有さず、撮影機能のみを備える。本出願ではカメラに配置されたチップは、カメラに統合されてもよいし、障害物の識別及び追跡の関連機能を処理するためにカメラの外部に配置されてカメラに接続されてもよい。障害物融合モジュール３０４は、結果を車載自動制御システムの運転決定モジュールに出力する。少なくとも２つのカメラ識別モジュール３０１は、単一のカメラで障害物を識別するように構成され、少なくとも２つのカメラ追跡モジュール３０２は、識別された障害物を単一のカメラで識別し、追跡結果をクロスカメラ障害物融合モジュール３０３に出力するように構成される。クロスカメラ障害物融合モジュール３０３は、追跡結果に対して関連一致性の検出、類似度算出などの処理を実行し、障害物融合モジュール３０４により障害物に対して最終的な融合処理を実行する。

【0068】

さらに、図示されるカメラ０～カメラ９がホットスワップできるため、単一のカメラモジュールの交換が容易になり、それに接続されている車載自動制御システムの運転決定モジュールに対して、障害物追跡プロセスのアーキテクチャモジュールの変化に注目する必要がなく、走行ポリシーを独立して実行することができる。

【0069】

具体的には、図２に示すように、本実施例に係るクロスカメラ障害物追跡方法は、以下のステップＳ２１０～ステップ２６０を含むことができる。

【0070】

Ｓ２１０において、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得し、前記障害物追跡結果は、カメラによって撮影された画像内の少なくとも１つの障害物を識別及び追跡した結果を含み、少なくとも１つの追跡された障害物にローカル識別子が設定される。

【0071】

Ｓ２２０において、各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされる場合、各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立する。

【0072】

Ｓ２３０において、各グローバル識別子に対応する２つの前記障害物に対して関連一致性の検出を実行し、異なる障害物であると決定された場合、異なる障害物の追跡結果を異なるグローバル識別子に対応するように分割する。

【0073】

本実施例では、関連一致性検出とは、同じグローバル識別子に対応する２つ又は複数の障害物が同じグローバル識別子であるか否かを検出することを指し、同じグローバル識別子に対応する２つの障害物を比較することにより、同じである場合、比較される２つの障害物が同じ障害物であることを示し、同じではない場合、比較される２つの障害物が異なる障害物であることを示し、当該グローバル識別子で様々な障害物として識別された障害物の追跡結果を、異なるグローバル識別子に分割する。

【0074】

選択可能には、各グローバル識別子に対応する２つの障害物に対して関連一致性の検出を実行するステップは、各グローバル識別子に対応する２つの前記障害物について、各カメラの障害物の追跡結果に基づいて、位置の一致性、輪郭の一致性及び体積の一致性の少なくとも１つを識別して、関連一致性の検出結果を決定するステップを含む。

【0075】

本実施例では、位置の一致性とは、各カメラが各障害物に対して障害物追跡結果を持っていることを意味し、即ち、各カメラは、障害物の位置を知ることができる。複数のフレームの画像に障害物が連続して表示されている場合、複数のフレームの画像によって当該障害物の移動方向及び移動速度を判断することができ、移動方向と移動速度の偏差が大きいと、異なる障害物であることを示す。

【0076】

具体的には、異なるカメラ内の２つの障害物の位置が一致しているか否かについて、それらが同じ障害物であるか否かを判断し、例として、障害物Ａと障害物Ｂとの関連一致性を検出し、障害物Ａが前方のカメラの左側位置にあり、障害物Ｂが左側のカメラの右側位置にあると、障害物Ａと障害物Ｂが同じ障害物である可能性があると判断することができる。障害物Ａが前方のカメラの左側位置にあり、障害物Ｂが右側のカメラの右側位置にあると、障害物Ａと障害物Ｂが異なる障害物であることを示す。さらに、障害物Ａと障害物Ｂの輪郭が一致している場合、障害物Ａと障害物Ｂは、同じ障害物であると判断され、障害物Ａの輪郭が円形であり、障害物Ｂの輪郭が長方形である場合、障害物Ａと障害物Ｂは、異なる障害物であると判断される。

【0077】

２つの障害物に対して関連一致性の検出を実行する場合、障害物の体積によって決定することができる。具体的には、障害物は、画像内で最小の外接矩形フレーム即ち２ｄフレームでマークされてもよく、２ｄフレームの高さ比によって検出され、同じ障害物の２つのカメラ内における結像の高さ比がほぼその焦点距離比に等しい。対応する高さ比の差が大きいと、関連一致性の検出が実行される２つの障害物が同じ障害物ではないことを示す。

【0078】

本実施例では、位置の一致性、輪郭の一致性又は体積の一致性によって２つの障害物の関連一致性の検出を実行することができ、上記の３つの方式を組み合わせて２つの障害物の関連一致性の検出を実行することもできる。

【0079】

Ｓ２４０において、カメラの取り付け位置及び／又はカメラの撮影エリアに従って、オーバーラップエリアにある障害物追跡結果を決定し、対応するグローバル識別子を１つの関連セットに分割する。

【0080】

本実施例では、前記関連セットは、障害物の類似度を決定するための範囲として使用される。例として、車両の前方のカメラと車両の左側のカメラの撮影エリアがオーバーラップし、上記のオーバーラップエリアでの障害物追跡結果は、１つの関連セットに分割され、これは、車両の前方のカメラと車両の前方の左側のカメラのオーバーラップエリアにある障害物が同じ障害物である可能性が高いためであり、それらを同一の関連セットに分割し、次に関連セット内の障害物に対して類似度を比較し、この方式により、障害物の比較回数を減らすことができる。

【0081】

具体的に実現する場合、車両へのカメラの取り付け位置に基づいて、カメラで撮影されたいくつかの障害物は、１つの関連セットに分割されるように予め設定される。各カメラで撮影された障害物は、複数の異なる関連セットに分割されてもよい。選択可能には、カメラの取り付け位置及び撮影エリアを組み合わせて、オーバーラップエリアを決定し、オーバーラップエリアに表示される障害物追跡結果を１つの関連セットに分割することもできる。

【0082】

Ｓ２０５において、各カメラで処理された障害物追跡結果に基づいて、障害物の類似度を決定し、類似度に基づいて同じ障害物のグローバル識別子融合を実行する。

【0083】

選択可能には、各カメラの障害物追跡結果に基づいて障害物の類似度を決定し、類似度に基づいて同じ障害物のグローバル識別子融合を実行するステップは、各カメラの障害物追跡結果に基づいて、異なるグローバル識別子に対応する障害物追跡結果に対して２つ１組で位置情報及び／又は輪郭体積情報の類似度計算を実行し、類似度行列を算出するステップと、前記類似度行列に基づいて同じ障害物のマッチングを実行し、マッチング結果に基づいて同じ障害物に属するグローバル識別子を決定するステップと、同じ障害物のグローバル識別子を併合して融合するステップと、を含む。

【0084】

本実施例では、類似度行列は、異なるグローバル識別子に対応する障害物の類似度を判断するために使用され、類似度行列は、幾何学的輪郭によって算出されてもよいし、位置特徴によって算出されてもよい。類似度行列が閾値よりも高い場合、異なるグローバル識別子に対応する障害物が同じ障害物であることを示し、それらを同じグローバル識別子に対応する障害物に分割し、同じ障害物を融合する。

【0085】

選択可能には、類似度行列を算出するステップの前に、異なるグローバル識別子に対応する障害物追跡結果に対して条件付き制約フィルタリングを行うステップであって、フィルタリングを制約するための条件は、距離制約、車両の中心に接続された光線の方向角差制約、及びエピポーラ幾何学的制約の少なくとも１つを含むステップをさらに含む。

【0086】

本実施例では、距離制約は、画像内の障害物の距離の差によって同じ障害物であるか否かを判断することを指し、例示的なグローバル識別子に対応する障害物が画像内で車両から１００メートル離れた位置に表示されているが、別のグローバル識別子に対応する障害物が画像内で車両から１０００メートル離れる位置に表示されているため、この２つの障害物は、同じ障害物に対応していないと判断されてもよい。

【0087】

車両の中心に接続された光線の方向角差制約とは、障害物と車両の中心軸との角度を指し、角度差が大きいと、障害物が異なる障害物であることを示す。

【0088】

エピポーラ幾何学的制約は、２つのカメラ位置によって生成された２つの画像間の特殊な幾何学的関係を指す。

【0089】

Ｓ２６０において、前記グローバル識別子でマークされた障害物追跡結果を取得する。

【0090】

選択可能には、前記グローバル識別子でマークされた障害物追跡結果を取得するステップは、前記グローバル識別子でマッピングされた１つ又は複数のローカル識別子に対応する障害物追跡結果を取得するステップと、各前記障害物追跡結果に対してルックアラウンド状態処理を実行して、前記グローバル識別子に対応する障害物の最終追跡結果を決定するステップであって、前記最終追跡結果が車載自動制御システムの運転決定モジュールに送信されるステップと、を含む。

【0091】

本実施例では、グローバル識別子とのマッピング関係を持っているローカル識別子に対応する障害物追跡結果に対して、ルックアラウンド状態処理を実行し、ルックアラウンド状態が、ローカル識別子に対応する障害物の画像を３次元合成し、仮想トップビューの形で車両の画面上に表示したり、画像画面を形成して対応する障害物の最終的な追跡結果を得ることを指すことができる。仮想トップビュー内の視角又は最終的に形成された画像画面は、車両の走行奇跡に基づいて動的に移動し、車両の周囲の３６０度の画面を提供できる。最終的に異なるカメラ内の同じ障害物の画像を表示し、最終的な追跡結果を車載自動制御システムに送信することができ、車載自動制御システムは、上記の結果を受信した後、障害物を回避するか、駐車するかなどの次のどのように走行するかを車両に指示することができる。

【0092】

上記の出願の１つの実施例は、次の利点又は有益な効果を有している：障害物に対して関連一致性の検出及び異なる関連セットへの分割を実行することで、同じ障害物を融合し、最終的な追跡結果を車載自動制御システムの運転決定モジュールに送信し、関連一致性の検出及び異なる関連セットへの分割により、同じ障害物を正確に融合することができ、これにより、車載自動制御システは、障害物を正確に追跡することが可能なる。
実施例３

【0093】

図４は本出願の実施例３に係るクロスカメラ障害物追跡装置の概略ブロック図である。クロスカメラ障害物追跡装置は、本出願の実施例に係るクロスカメラ障害物追跡方法を実行することができ、方法の実行に対応する機能モジュールと有益な効果を備える。図４に示すように、当該装置４００は、少なくとも２つのカメラのそれぞれによって撮影された画像の障害物追跡結果を取得するように構成される追跡結果取得モジュール４０１であって、前記障害物追跡結果は、カメラによって撮影された画像内の少なくとも１つの障害物を識別及び追跡した結果を含み、少なくとも１つの追跡された障害物にローカル識別子が設定される追跡結果取得モジュール４０１と、各前記カメラのうちのメインカメラによるクロスカメラ障害物融合のトリガー条件が満たされる場合、各カメラの障害物追跡結果に基づいて、各カメラ内の障害物のローカル識別子とグローバル識別子とのマッピング関係を確立するように構成されるマッピング関係確立モジュール４０２と、各カメラで処理された障害物追跡結果に基づいて、障害物の類似度を決定し、類似度に基づいて同じ障害物のグローバル識別子融合を実行するように構成されるグローバル識別子融合モジュール４０３と、前記グローバル識別子でマークされた障害物追跡結果を取得するように構成される追跡結果取得モジュール４０４と、を含む。

【0094】

前記マッピング関係確立モジュール４０２は、具体的には、前記メインカメラの現在の画像の障害物識別及び追跡の完了が監視された後、メインカメラの障害物追跡結果が取得された場合、前記トリガー条件が満たされると決定するように構成され、前記メインカメラは、設定されたカメラであり、又は車両運転中の注目領域に応じて決定される。

【0095】

前記装置は、カメラの取り付け位置及び／又はカメラの撮影エリアに従って、オーバーラップエリアにある障害物追跡結果を決定し、対応するグローバル識別子を１つの関連セットに分割するように構成されるグローバル識別子分割モジュール４０５であって、前記関連セットが障害物の類似度を決定するための範囲として使用されるグローバル識別子分割モジュール４０５をさらに含む。

【0096】

前記追跡結果取得モジュール４０４は、具体的には、前記グローバル識別子でマッピングされた１つ又は複数のローカル識別子に対応する障害物追跡結果を取得し、各前記障害物追跡結果に対してルックアラウンド状態処理を実行して、前記グローバル識別子に対応する障害物の最終追跡結果を決定するように構成され、前記最終追跡結果は、車載自動制御システムの運転決定モジュールに送信される。

【0097】

前記マッピング関係確立モジュール４０２は、具体的には、各カメラの現在の画像の障害物追跡結果が履歴画像にローカル識別子を有することが識別された場合、現在の画像の障害物追跡結果を既存のローカル識別子に対応するグロバール識別子に関連付け、各カメラの現在の画像の障害物追跡結果が履歴画像にローカル識別子を有さないことが識別された場合、新しく設定されたローカル識別子を新しく作成されたグロバール識別子にマッピングするように構成される。

【0098】

前記装置は、各グローバル識別子に対応する２つの前記障害物に対して関連一致性の検出を実行するように構成される関連一致性検出モジュール４０６と、異なる障害物であると決定された場合、異なる障害物の追跡結果を異なるグローバル識別子に対応するように分割するように構成される追跡結果分割モジュール４０７と、をさらに含む。

【0099】

前記関連一致性検出モジュール４０６は、具体的には、各グローバル識別子に対応する２つの前記障害物について、各カメラの障害物の追跡結果に基づいて、位置の一致性、輪郭の一致性及び体積の一致性の少なくとも１つを識別して、関連一致性の検出結果を決定するように構成される。

【0100】

前記グローバル識別融合モジュール４０３は、具体的には、各カメラで処理された障害物追跡結果に基づいて、異なるグローバル識別子に対応する障害物追跡結果に対して２つ１組で位置情報及び／又は輪郭体積情報の類似度計算を実行し、類似度行列を算出し、前記類似度行列に基づいて同じ障害物のマッチングを実行し、マッチング結果に基づいて同じ障害物に属するグローバル識別子を決定し、同じ障害物のグローバル識別子を併合して融合するように構成される。

【0101】

前記装置は、異なるグローバル識別子に対応する障害物追跡結果に対して条件付き制約フィルタリングを行うように構成される条件付き制約フィルタリングモジュール４０８であって、フィルタリングを制約するための条件は、距離制約、車両の中心に接続された光線の方向角差制約、及びエピポーラ幾何学的制約の少なくとも１つを含む条件付き制約フィルタリングモジュール４０８をさらに含む。

【0102】

上記の出願の１つの実施例は、次の利点又は有益な効果を有している：産業用コンピュータにより障害物追跡結果を取得し、さらに障害物のローカル識別子とグローバル識別子とのマッピング関係に基づいて、障害物の類似度を決定し、類似度に基づいて最終的に障害物追跡結果を決定し、複数のカメラによる障害物の融合処理により、障害物への追跡の精度を向上させることができる。

【0103】

本出願の実施例によれば、本出願は、電子機器と可読記憶媒体とをさらに提供する。

【0104】

図５に示すように、それは、本出願の実施例に係るクロスカメラ障害物追跡方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、大型コンピューター及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを図る。電子機器は、さらにパーソナルデジタル処理、セルラー電話、スマートフォン、ウェアラブルデバイス及び他の類似するコンピューティングデバイスなどの様々な形態の移動装置を表すこともできる。本明細書に示されているコンポーネント、それらの接続と関係、及びそれらの機能は、例だけであり、かつ本明細書での説明及び／又は要求される本出願の実現を制限することを意図するものではない。

【0105】

図５に示すように、当該電子機器は、１つ又は複数のプロセッサ５０１と、メモリ５０２と、高速インターフェース及び低速インターフェースを含む、各コンポーネントを接続するためのインタフェースとを含む。各コンポーネントは、異なるバスで相互に接続され、かつ共通のマザーボードに取り付けられてもよいか、又は必要に応じて他の方式で取り付けられてもよい。プロセッサは、外部入力／出力装置（インタフェースに結合された表示装置など）にＧＵＩのグラフィック情報を表示するためにメモリ内又はメモリ上に記憶される命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要の場合、複数のプロセッサ及び／又は複数のバスを複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各装置は、部分の必要な操作（例えば、サーバーアレイ、１つのブレードサーバーグループ、又はマルチプロセッサシステムとする）を提供することができる。図５では、一つのプロセッサ５０１は、例として挙げられる。

【0106】

メモリ５０２は、本出願に係る非一時的コンピュータ可読記憶媒体である。前記メモリには少なくとも１つのプロセッサで実行可能な命令が記憶され、これにより、前記少なくとも１つのプロセッサは、本出願に係るクロスカメラ障害物追跡方法を実行する。本出願の非一時的コンピュータ可読記憶媒体は、コンピュータ命令を記憶し、当該コンピュータ命令がコンピュータに本出願に係るクロスカメラ障害物追跡方法を実行させるために使用される。

【0107】

メモリ５０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能プログラム、及び本出願の実施例におけるクロスカメラ障害物追跡方法に対応するプログラム命令／モジュール（例えば、図４に示すモジュール）を記憶するように構成されてもよい。プロセッサ５０１は、メモリ５０２に記憶されている非一時的ソフトウェアプログラム、命令及びモジュールを実行することにより、サーバーの様々な機能アプリケーション及びデータ処理を実行し、即ち上記の方法の実施例におけるクロスカメラ障害物追跡方法を実現する。

【0108】

メモリ５０２は、プログラム記憶領域とデータ記憶領域とを含むことができ、プログラム記憶領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、クロスカメラ障害物追跡方法を実現するための電子機器の使用に応じて作成されたデータなどを記憶することができる。また、メモリ５０２は、高速ランダムアクセスメモリを含むことができ、非一時的メモリ、例えば少なくとも一つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の非一時的ソリッドステートストレージデバイスをさらに含むことができる。いくつかの実施例では、メモリ５０２は、プロセッサ５０１に対して遠隔に設けられたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介してクロスカメラ障害物追跡方法を実現するための電子機器に接続されてもよい。上記ネットワークの実施例は、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むがこれらに限定されない。

【0109】

クロスカメラ障害物追跡方法を実現するための電子機器は、入力装置５０３と出力装置５０４とをさらに含むことができる。プロセッサ５０１、メモリ５０２、入力装置５０３と出力装置５０４は、バス又は他の方式で接続されてもよく、図５ではバスで接続されることは例として挙げられる。

【0110】

入力装置５０３は、入力された数字又は文字情報を受信し、クロスカメラ障害物追跡方法を実現するための電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置５０４は、表示装置、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイとプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置は、タッチスクリーンであってもよい。

【0111】

本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現されてもよい。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されてもよく、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を当該記憶システム、当該少なくとも一つの入力装置及び当該少なくとも一つの出力装置に送信することができる。

【0112】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、かつ高レベルのプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実現されてもよい。本明細書で使用されるように、用語「機械可読媒体」及び「コンピュータ可読媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械可読信号である機械命令を受信する機械可読媒体を含む。用語「機械可読信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

【0113】

ユーザとのインタラクションを提供するために、本明細書で説明されるシステム及び技術をコンピュータで実施することができ、当該コンピュータは、情報をユーザに表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するように構成されてもよい。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かつ任意の形態（視覚入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信することができる。

【0114】

本明細書で説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバーとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによって本明細書で説明されるシステム及び技術の実施形態とのインタラクションを行うことができる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施されてもよい。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

【0115】

コンピュータシステムは、クライアントとサーバーとを含むことができる。クライアントとサーバーは、一般的には、互いに離れており、通常、通信ネットワークを介してインタラクションを行う。クライアントとサーバーとの関係は、対応するコンピュータ上で実行されかつ相互にクライアント－サーバー関係を有するコンピュータプログラムによって生成される。

【0116】

本出願の実施例に係る技術的解決策では、産業用コンピュータにより障害物追跡結果を取得し、さらに障害物のローカル識別子とグローバル識別子とのマッピング関係に基づいて、障害物の類似度を決定し、類似度に基づいて最終的に障害物追跡結果を決定し、複数のカメラによる障害物の融合処理により、障害物追跡の精度を向上させることができる。
実施例４

【0117】

本出願の第４の実施例に係るクロスカメラ障害物追跡システムは、少なくとも２つの車載カメラを含み、さらに、本実施例に記載の電子機器を含み、前記電子機器が産業用コンピュータである。

【0118】

選択可能には、前記カメラは、具体的には、車両の周囲の画像を撮影するように構成され、前記産業用コンピュータは、具体的には、車載された少なくとも２つのカメラによってそれぞれ車両の周辺環境を撮影した後に収集された画像を取得し、各前記画像に対して障害物の識別及び追跡を実行して、前記障害物追跡結果を取得するように構成される。

【0119】

選択可能には、前記カメラは、具体的には、車両の周囲の画像を撮影し、撮影された画像に基づいて障害物の識別及び追跡を実行するとともに前記障害物にローカル識別子を設定するように構成され、前記産業用コンピュータは、具体的には、車載された少なくとも２つのカメラによって送信された障害物追跡結果を取得するように構成される。

【0120】

上記の様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解すべきである。例えば、本出願に記載されている各ステップは、本出願で開示されている技術的解決策の所望の結果さえ達成すれば、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本明細書では限定されない。

【0121】

上記の具体的な実施形態は、本出願の保護範囲を制限するためのものではない。当業者は、設計要件及び他の要因に従って、様々な修正、組み合わせ、サブコンビネーション及び置換を行うことができることを理解すべきである。本出願の精神及び原則の範囲内で行われたいかなる修正、同等の置換と改良などは、いずれも本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】