特許 6811291 多焦点距離視覚に基づく障害物感知方法、装置、設備、記憶媒体、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6811291

(24)【登録日】2020年12月16日

(45)【発行日】2021年1月13日

(54)【発明の名称】多焦点距離視覚に基づく障害物感知方法、装置、設備、記憶媒体、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201228BHJP

【ＦＩ】

   G06T7/00 650B

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2019-128121(P2019-128121)

(22)【出願日】2019年7月10日

(65)【公開番号】特開2020-42781(P2020-42781A)

(43)【公開日】2020年3月19日

【審査請求日】2019年7月10日

(31)【優先権主張番号】201811068019.4

(32)【優先日】2018年9月13日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ガオ，ハン

(72)【発明者】

【氏名】リー，グオ

(72)【発明者】

【氏名】サン，シュン

(72)【発明者】

【氏名】シア，ティアン

【審査官】 佐藤 実

(56)【参考文献】

【文献】 Abdelhamid Mammeri et al.，Extending the Detection Range of Vision-Based Vehicular Instrumentation，IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT，IEEE，２０１６年，VOL.65 NO.4，Pages 856-873

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

多焦点距離視覚に基づく障害物感知方法であって、
複数の時刻で、長焦点カメラと短焦点カメラとを用いて、障害物の検出結果をそれぞれ取得するステップと、
前記長焦点カメラと前記短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての前記複数の時刻での検出結果が含まれるステップと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るステップと、を含み、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行うことは、
選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、前記長焦点カメラからの検出結果を前記短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、前記ＩＯＵに基づいて、前記マッチング検出を行うことを含む、
ことを特徴とする多焦点距離視覚に基づく障害物感知方法。

【請求項2】

前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行うことは、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得するステップをさらに含み、
前記ＩＯＵに基づいて、前記マッチング検出を行うことは、
すべての時刻に対して算出されたＩＯＵの平均値を求めステップと、
前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併することは、
前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るステップを含むことを特徴とする請求項１に記載の方法。

【請求項4】

新たな検出結果を取得し、それぞれ前記新たな検出結果を前記合併後の追跡シーケンスと関連検出を行い、
関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、
関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加すること、をさらに含むことを特徴とする請求項１乃至３のいずれか１項に記載の方法。

【請求項5】

多焦点距離視覚に基づく障害物感知装置であって、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての前記複数の時刻での検出結果が含まれるための初期処理モジュールと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュールと、を備え、
前記合併モジュールは、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、前記長焦点カメラからの検出結果を前記短焦点カメラの結像平面に投影し、投影後の検出結果と前記短焦点カメラからの検出結果とのＩＯＵを算出し、前記ＩＯＵに基づいて、前記マッチング検出を行うために用いられる、
ことを特徴とする多焦点距離視覚に基づく障害物感知装置。

【請求項6】

前記合併モジュールは、各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得するために用いられ、
前記ＩＯＵに基づいて、前記マッチング検出を行うことは、
すべての時刻に対して算出されたＩＯＵの平均値を求め、前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定することを特徴とする請求項５に記載の装置。

【請求項7】

前記合併モジュールは、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るために用いられることを特徴とする請求項５に記載の装置。

【請求項8】

新たな検出結果を取得し、それぞれ前記新たな検出結果を前記合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、関連付けが成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する関連付けモジュールをさらに備えることを特徴とする請求項５乃至７のいずれか1項に記載の装置。

【請求項9】

多焦点距離視覚に基づく障害物感知設備であって、
障害物の検出結果を取得するための長焦点カメラと、
障害物の検出結果を取得するための短焦点カメラと、
メモリ及びプロセッサを備え、前記メモリにコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至４のいずれか１項に記載の方法を実現するコントローラと、を備えることを特徴とする多焦点距離視覚に基づく障害物感知設備。

【請求項10】

コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項１乃至４のいずれか１項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

【請求項11】

コンピュータにおいて、プロセッサにより実行される場合、請求項１乃至４のいずれか一項に記載の方法を実現することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は自動運転車の技術分野に関し、特に多焦点距離視覚に基づく障害物感知方法、装置、設備、コンピュータ可読記憶媒体、及びプログラムに関する。

【背景技術】

【0002】

自動運転車の感知システムに対して、有効感知距離は非常に重要な指標である。短焦点カメラは視野が広くて、視野範囲における障害物が分断し難く、障害物の関連付け及び追跡に寄与するが、感知距離が短い問題を抱える一方、長焦点カメラは視野が狭いが、障害物単体の面積がより大きく、視覚測定がさらに正確であるとともに、小障害物を検出しやすく、中遠距離の障害物検出に適用できる。

【0003】

従来の障害物感知技術は単独の短焦点カメラのみ又は長焦点カメラのみを用いて障害物を検出し追跡するため、視野と視距が両立できない。すなわち、短焦点カメラを用いて障害物を検出し追跡する場合、カバー範囲が大きいが、その視距が短すぎる一方、長焦点カメラを用いて障害物を検出し追跡する場合、その視距が長いが、カバー範囲が小さい。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、多焦点距離視覚に基づく障害物感知方法、装置、設備、記憶媒体、及びプログラムを提供する。

【課題を解決するための手段】

【0005】

第一態様によれば、本発明の実施例は、多焦点距離視覚に基づく障害物感知方法を提供し、当該方法は、
複数の時刻で、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得するステップと、
長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるステップと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るステップと、を含む。

【0006】

第一態様に合わせて、本発明の第一態様の第一実施形態において、前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行いことは、
前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択するステップと、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ−ｏｖｅｒ−Ｕｎｉｏｎ）を算出するステップと、
すべての時刻に対して算出されたＩＯＵの平均値を求めステップと、
前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するステップと、を含む。

【0007】

第一態様に合わせて、本発明の第一態様の第二実施形態において、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併することは、
前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るステップを含む。

【0008】

第一態様、第一態様の第一実施形態、第一態様の第二実施形態に合わせて、本発明の第一態様の第三実施形態において、
新たな検出結果を取得し、それぞれ前記新たな検出結果を合併後の追跡シーケンスと関連検出を行い、
関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、
関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加すること、を更に含む。

【0009】

第二態様によれば、本発明の実施例は、多焦点距離視覚に基づく障害物感知装置をさらに提供し、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュールと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュールと、を備える。

【0010】

第二態様に合わせて、本発明の第二態様の第一実施形態において、前記合併モジュールは、前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択し、各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、すべての時刻に対して算出されたＩＯＵの平均値を求め、前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するために用いられる。

【0011】

第二態様に合わせて、本発明の第二態様の第二実施形態において、合併モジュールは、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るために用いられる。

【0012】

第二態様、第二態様の第一実施形態、第二態様の第二実施形態に合わせて、本発明の第二態様の第三実施形態において、前記装置は、
新たな検出結果を取得し、前記新たな検出結果を合併後の追跡シーケンスと関連検出をそれぞれ行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加するための関連付けモジュールをさらに備える。

【0013】

上記技術案のいずれかは以下の利点又は有益な効果を有する。

【0014】

本発明の実施例によれば、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得し、それぞれのカメラにおいて別々に目標追跡を行い、異なる追跡シーケンスを形成し、その後、追跡シーケンスがマッチングすると判定すると、異なるカメラからの追跡シーケンスを合併することにより、従来技術における追跡視野と視距が両立できない問題を解決する。

【0015】

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

【図面の簡単な説明】

【0016】

図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。

【0017】

【図1】本発明の実施例１に係る長焦点カメラと短焦点カメラの設置方式及び視野範囲を示す模式図である。

【図2a】長焦点カメラにより撮影された画像の模式図である。

【図2b】短焦点カメラにより撮影された画像の模式図である。

【図3】本発明の実施例１に係る多焦点距離視覚に基づく障害物感知方法の模式図である。

【図4】本発明の実施例１におけるステップＳ１３０を示すフローチャートである。

【図5】本発明の実施例における追跡シーケンスの合併効果を示す模式図である。

【図6】本発明の実施例２に係る多焦点距離視覚に基づく障害物感知方法の模式図である。

【図7】本発明の実施例３に係る多焦点距離視覚に基づく障害物感知装置の模式図である。

【図8】本発明の実施例４に係る多焦点距離視覚に基づく障害物感知装置の模式図である。

【図9】本発明の実施例５に係る多焦点距離視覚に基づく障害物感知設備の構成模式図である。

【発明を実施するための形態】

【0018】

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

【0019】

本発明の実施例は主に多焦点距離視覚に基づく障害物感知方法及び装置を提供する。以下では、下記実施例による技術案について詳細に説明する。

【0020】

実施例１
本実施例は多焦点距離視覚に基づく障害物感知方法を提供する。

【0021】

本実施例では、自動運転車の感知システムには、画像を撮影するための長焦点カメラと短焦点カメラとが同時に設置される。図１は本発明の実施例１に係る長焦点カメラと短焦点カメラの設置方式及び視野範囲を示す模式図である。図１において、自動運転車のヘッドの同一位置に長焦点カメラと短焦点カメラが設置され、例えば、長焦点カメラは焦点距離が１２ｍｍ、短焦点カメラは焦点距離が６ｍｍである。図１において、階調が濃く且つ角度が小さい扇形領域は長焦点カメラの視野範囲であり、階調が浅く且つ角度が大きい扇形領域は短焦点カメラの視野範囲である。

【0022】

なお、本実施例では、長焦点カメラと短焦点カメラが自動運転車のヘッド位置に設置されることのみを例示するが、本発明のほかの実施例では、長焦点カメラと短焦点カメラは自動運転車のほかの位置に設置されてもよく、自動運転車の異なる位置に複数組の長焦点カメラと短焦点カメラが設置されてもよい。

【0023】

図２ａ及び図２ｂは自動運転車のヘッド位置に設置された長焦点カメラと短焦点カメラによりそれぞれ撮影された画像である。

【0024】

図２ａは長焦点カメラにより撮影された画像の模式図であり、図２ｂに比べて、図２ａにおける遠方の物体が明瞭に視認されるが、視野範囲が小さい。図２ｂは短焦点カメラにより撮影された画像の模式図であり、図２ａに比べて、図２ｂにおける視野範囲が大きいが、遠方の物体が明瞭に視認されない。

【0025】

以上からわかるように、図２ａにおける全画像は図２ｂに含まれ、図２ａを適切な比率で縮小すると、縮小後の画像が図２ｂにおける画像の一部と重なる。

【0026】

図３は本発明の実施例１に係る多焦点距離視覚に基づく障害物感知方法の模式図であり、当該方法は、下記のステップＳ１１０〜Ｓ１３０を含む。

【0027】

Ｓ１１０では、複数の時刻で、長焦点カメラと短焦点カメラを用いて、障害物の検出結果をそれぞれ取得する。
本実施例及び明細書のほかの実施例では、「障害物」とは、広義に理解され、例えば、自動車の周囲の通行人、自転車、自転電動車、他の非自動車又は自動車は、本車（自動運転車）に対して、障害物とすると考えられてもよい。

【0028】

障害物の検出結果を取得した後、初期時、それぞれのカメラにおいて別々に目標追跡を行い、すなわち、下記ステップＳ１２０を実行する。

【0029】

Ｓ１２０では、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて、目標追跡を行い、少なくとも２つの追跡シーケンス（ｔｒａｃｋ）を得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれる。

【0030】

本ステップでは、焦点距離が異なる２つのカメラにより取得された検出結果に対して目標追跡をそれぞれ行い、同一障害物に対して、長焦点カメラと短焦点カメラがともに検出結果を取得する場合、該障害物に対して２つの追跡シーケンスを形成でき、これらの２つの追跡シーケンスがそれぞれ長焦点カメラと短焦点カメラからのものである。

【0031】

目標追跡に対する具体的な手順は、従来技術と同じ方式を採用してもよく、すなわち、検出結果に対して類似度の算出を行い、類似度行列を解くことで、マッチングを行い、検出結果の関連付けを実現し、それにより追跡シーケンスを得る。

【0032】

Ｓ１３０では、前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得る。

【0033】

本ステップでは、マッチング検出が成功すると、２つの追跡シーケンスが異なるカメラからの同一障害物に対する追跡シーケンスであることを物語っている、従って、それらを合併して１つの追跡シーケンスを形成し、カメラ間の追跡シーケンス融合を実現できる。

【0034】

図４は、本発明の実施例１におけるステップＳ１３０を示すフローチャートであり、ステップＳ１３０は、ステップＳ１３１〜Ｓ１３４を含む。

【0035】

Ｓ１３１では、任意の２つの追跡シーケンスに含まれる検出結果を取得する。

【0036】

例えば、既存の少なくとも２つの追跡シーケンスのうち、任意の２つの追跡シーケンスＴａとＴｂとを抽出し、ＴａとＴｂとが複数の検出結果をそれぞれ含む。

【0037】

Ｓ１３２では、各時刻に対して、前記任意の２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出する。

【0038】

Ｓ１３３では、すべての時刻に対して算出されたＩＯＵの平均値を求め、前記平均値が予め設定された閾値より大きい場合、前記任意の２つの追跡シーケンスのマッチングが成功すると判定する。

【0039】

Ｓ１３４では、マッチングが成功する場合、前記任意の２つの追跡シーケンスにおける検出結果を合併することにより、合併後の追跡シーケンスを得る。

【0040】

具体的には、追跡シーケンスＴａとＴｂにおいて、下記の公式に示すように、各時刻の検出結果はｄｉとｄｊを含み、

【数1】

ここで、ｄｉが追跡シーケンスＴａに属する検出結果であり、ｄｊが追跡シーケンスＴｂに属する検出結果であり、且つ、ｄｉとｄｊは、同一時刻におけるものである。

【0041】

上記２つの検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ−ｏｖｅｒ−Ｕｎｉｏｎ）を算出する。純回転モデルを用いて投影を行うことができる。

【0042】

ＩＯＵの値が１に近いほど、２つの検出結果の重なり部分が多く、２つの検出結果が同一障害物に対して撮影して得られる可能性が高い。

【0043】

２つの追跡シーケンスのすべての同一時刻に対する検出結果について、上記ＩＯＵの平均値を求め、該平均値が予め設定された閾値より大きい場合、該任意の２つの追跡シーケンスのマッチングが成功すると判定する。

【0044】

マッチングが成功すると、マッチングに成功する２つの追跡シーケンスを合併でき、例えば、合併して得られた追跡シーケンスがｔｒａｃｋ＝｛ｄ１，ｄ２，ｄ３，…ｄｎ｝であり、ここで、ｄｉ（ｉ＝１，２，…，ｎ）は、長焦点カメラからの検出結果であってもよいし、短焦点カメラからの検出結果であってもよい。

【0045】

図５は本発明の実施例に係る追跡シーケンス合併効果を示す模式図である。図５において、長焦点カメラと短焦点カメラからの２つの追跡シーケンスがマッチングすると判定した後、長焦点カメラの追跡シーケンスにおける各検出結果（図５において三角形で示す）と短焦点カメラの追跡シーケンスにおける各検出結果（図５において円形で示す）を１つの追跡シーケンスに合併する。

【0046】

実施例２
本発明の実施例は、別の多焦点距離視覚に基づく障害物感知方法を提供する。図６は、本発明の実施例２に係る多焦点距離視覚に基づく障害物感知方法の模式図であり、該方法は以下のステップＳ１１０〜Ｓ１４０を含む。

【0047】

Ｓ１１０では、複数の時刻で、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得する。

【0048】

Ｓ１２０では、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれる。

【0049】

Ｓ１３０では、前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得る。

【0050】

上記ステップＳ１１０〜Ｓ１３０は、実施例１におけるステップＳ１１０〜Ｓ１３０の具体的な方式と同様であるため、ここで重複説明を省略する。

【0051】

ステップＳ１１０〜Ｓ１３０では、初期段階における追跡シーケンスの合併を完了する。後続では、新たな検出結果について、どのカメラからのものかに関わらず、新たな検出結果を合併後の追跡シーケンスと直接に関連付けらせ、すなわち、下記ステップＳ１４０を実行する。

【0052】

Ｓ１４０では、新たな検出結果を取得する場合、それぞれ前記新たな検出結果を合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する。

【0053】

上記手順によれば、本実施例は、長焦点カメラと短焦点カメラからの追跡シーケンスに対する融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。

【0054】

実施例３
本実施例は、多焦点距離視覚に基づく障害物感知装置を提供する。図７は、本発明の実施例３に係る多焦点距離視覚に基づく障害物感知装置の模式図であり、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて、目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュール７０１と、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュール７０２と、を備える。

【0055】

具体的には、上記合併モジュール７０２は、
少なくとも２つの追跡シーケンスから２つの追跡シーケンスを選択し、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、
すべての時刻に対して算出されたＩＯＵの平均値を求め、平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定する。

【0056】

マッチング検出が成功する場合、これらの２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得る。

【0057】

例えば、任意の２つの追跡シーケンスＴａとＴｂにおいて、下記の公式に示すように、各時刻の検出結果はｄｉとｄｊを含み、

【数2】

ここで、ｄｉが追跡シーケンスＴａに属する検出結果であり、ｄｊが追跡シーケンスＴｂに属する検出結果であり、且つ、ｄｉとｄｊは、タイムスタンプが同じで、すなわち、同一時刻におけるものである。

【0058】

上記２つの検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果のＩＯＵを算出する。純回転モデルを用いて投影を行うことができる。

【0059】

ＩＯＵの値が１に近いほど、２つの検出結果の重なり部分が多く、２つの検出結果が同一障害物に対して撮影して得られる可能性が高い。

【0060】

２つの追跡シーケンスのすべての同一時刻に対する検出結果について、上記ＩＯＵの平均値を求め、該平均値が予め設定された閾値より大きい場合、該任意の２つの追跡シーケンスのマッチングが成功すると判定する。

【0061】

マッチングが成功すると、マッチングに成功する２つの追跡シーケンスを合併でき、すなわち、マッチングに成功する２つの追跡シーケンスの検出結果を合併し、合併後の追跡シーケンスを得ることができる。

【0062】

例えば、合併後の追跡シーケンスがｔｒａｃｋ＝｛ｄ１，ｄ２，ｄ３，…ｄｎ｝であり、ここで、ｄｉ（ｉ＝１，２，…，ｎ）は、長焦点カメラからの検出結果であってもよいし、短焦点カメラからの検出結果であってもよい。

【0063】

以上からわかるように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知装置は、長焦点カメラと短焦点カメラからの追跡シーケンスの融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。

【0064】

実施例４
本実施例は、別の多焦点距離視覚に基づく障害物感知装置を提供する。図８は、本発明の実施例４に係る多焦点距離視覚に基づく障害物感知装置の模式図であり、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュール７０１と、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュール７０２と、を備える。

【0065】

具体的には、上記合併モジュール７０２は、
少なくとも２つの追跡シーケンスから２つの追跡シーケンスを選択し、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、
すべての時刻に対して算出されたＩＯＵの平均値を求め、平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定する。

【0066】

マッチング検出が成功する場合、これらの２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得る。

【0067】

本実施例に係る装置は、新たな検出結果を取得し、それぞれ新たな検出結果を合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する関連付けモジュール８０３をさらに備える。

【0068】

以上からわかるように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知装置は、長焦点カメラと短焦点カメラの追跡シーケンスの融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。合併後、新たな検出結果に対して、新たな検出結果と合併後の追跡シーケンスとの類似度を算出して関連付け、それにより、新たな検出結果と２つのカメラの検出結果とを直接に追跡検出することを実現する。

【0069】

実施例５
本発明の実施例５は、多焦点距離視覚に基づく障害物感知設備を提供する。図９は、本発明の実施例５に係る多焦点距離視覚に基づく障害物感知設備の構成模式図であり、該障害物感知設備は、
障害物の検出結果を取得するための長焦点カメラ９１０と、
障害物の検出結果を取得するための短焦点カメラ９２０と、
メモリ９３０及びプロセッサ９４０を備え、前記メモリ９３０にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサ９４０により実行されると、上記実施例に係る多焦点距離視覚に基づく障害物感知方法を実現できるコントローラと、を備える。前記メモリ９３０とプロセッサ９４０の数は、１つ又は複数であってもよい。

【0070】

前記設備は、外部装置と通信し、データのインタラクティブ伝送を行うための通信インターフェース９５０をさらに備える。
メモリ９３０は、高速ＲＡＭメモリを含む可能性もあるし、さらに不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも１つの磁気ディスクメモリを含む可能性もある。

【0071】

メモリ９３０、プロセッサ９４０及び通信インターフェース９５０が独立して実現する場合、メモリ９３０、プロセッサ９４０及び通信インターフェース９５０はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図９では１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。

【0072】

選択的に、具体的に実現する時、メモリ９３０、プロセッサ９４０及び通信インターフェース９５０が１枚のチップに統合される場合、メモリ９３０、プロセッサ９４０及び通信インターフェース９５０は、内部インターフェースによって、相互間の通信を実現することができる。

【0073】

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

【0074】

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。

【0075】

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

【0076】

フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

【0077】

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。

【0078】

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。

【0079】

また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

【0080】

以上のように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知方法、装置、設備及びコンピュータ可読記憶媒体によれば、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得し、それぞれのカメラにおいて別々に目標追跡を行い、異なる追跡シーケンスを形成し、その後、追跡シーケンのスマッチングが成功すると判定する場合、異なるカメラからの追跡シーケンスを合併し、それにより、多焦点距離視覚に基づく障害物感知を実現し、従来技術における追跡視野と視距とが両立できない問題を解決することができる。

【0081】

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】