特許7351892障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-19
(45)【発行日】2023-09-27
(54)【発明の名称】障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム
(51)【国際特許分類】
G06T 7/70 20170101AFI20230920BHJP
G06T 7/00 20170101ALI20230920BHJP
G08G 1/00 20060101ALI20230920BHJP
【ＦＩ】
G06T7/70 A
G06T7/00 650Z
G08G1/00 J
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2021210732
(22)【出願日】2021-12-24
(65)【公開番号】P2022034034
(43)【公開日】2022-03-02
【審査請求日】2021-12-24
(31)【優先権主張番号】202011558835.0
(32)【優先日】2020-12-25
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】521208273
【氏名又は名称】阿波▲羅▼智▲聯▼（北京）科技有限公司
【氏名又は名称原語表記】ＡＰＯＬＬＯ ＩＮＴＥＬＬＩＧＥＮＴ ＣＯＮＮＥＣＴＩＶＩＴＹ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】１０１， １ｓｔ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ １， Ｙａｒｄ ７， Ｒｕｉｈｅ Ｗｅｓｔ ２ｎｄ Ｒｏａｄ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジンゥラーン ジア
【審査官】片岡 利延
(56)【参考文献】
【文献】中国特許出願公開第１１１６１２７６０（ＣＮ，Ａ）
【文献】特許第６２２７２１１（ＪＰ，Ｂ１）
【文献】特開２０１２－１４６１９９（ＪＰ，Ａ）
【文献】特開２０１５－１１１３３９（ＪＰ，Ａ）
【文献】特開２０１０－１０３８７７（ＪＰ，Ａ）
【文献】特開２００８－１９７９１７（ＪＰ，Ａ）
【文献】特開２００９－０２０８００（ＪＰ，Ａ）
【文献】特開２０２０－１８７３８５（ＪＰ，Ａ）
【文献】特開２００１－３１９２１８（ＪＰ，Ａ）
【文献】特開２００５－１８２５０４（ＪＰ，Ａ）
【文献】特開２０１０－２８７１５３（ＪＰ，Ａ）
【文献】特開２０２０－０１３２９３（ＪＰ，Ａ）
【文献】市村直幸，フレーム毎の特徴点抽出に基づく特徴点の追跡，[online]，2001年，https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=52770&item_no=1&attribute_id=1&file_no=1
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
Ｇ０６Ｔ ７／００
Ｇ０８Ｇ １／００
(57)【特許請求の範囲】
【請求項1】
障害物検出方法であって、所定の平面に位置する少なくとも１つの障害物を示す少なくとも１つの障害物対象を含む現在画像を取得することと、
現在画像内の前記所定の平面における複数の基準点の現在座標とテンプレート画像内の前記複数の基準点に対応する基準点のテンプレート座標とに基づいて、前記現在画像と前記テンプレート画像との間の変換パラメータを決定することと、
前記変換パラメータと前記現在画像内の前記障害物対象の画素座標とを用いて前記障害物の世界座標系での位置を決定することとを含み、
前記現在画像内の前記所定の平面における複数の基準点の現在座標とテンプレート画像内の前記複数の基準点に対応する基準点のテンプレート座標とに基づいて、前記現在画像と前記テンプレート画像との間の変換パラメータを決定することは、
前記テンプレート画像と前記現在画像とに基づくとともに、前記テンプレート画像内の対応する基準点のテンプレート座標に基づいて、前記複数の基準点の前記現在画像内の現在座標を決定することと、
前記複数の基準点の前記現在座標と対応する基準点の前記テンプレート座標との間の変換に基づいて前記現在画像と前記テンプレート画像との間の変換パラメータを決定することとを含み、
前記テンプレート画像と前記現在画像とに基づくとともに、前記テンプレート画像内の対応する基準点のテンプレート座標に基づいて、前記複数の基準点の前記現在画像内の現在座標を決定することは、
オプティカルフロー追跡方法によって、前記テンプレート画像の対応する基準点に対する前記現在画像内の前記基準点の第１のズレ量を決定することと、
前記基準点の前記第１のズレ量と前記テンプレート座標とに基づいて、前記基準点の現在座標を決定することとを含み、
前記複数の基準点の前記現在座標と対応する基準点の前記テンプレート座標とに基づいて前記現在画像と前記テンプレート画像との間の変換パラメータを決定することは、
前記複数の基準点のそれぞれに対して、前記現在画像のうち該基準点を中心とする現在ピクチャーブロックと前記テンプレート画像のうち該基準点に対応する基準点を中心とするテンプレートピクチャーブロックとの間の類似度を用いて、該基準点と該基準点に対応する基準点との間の第２のズレ量を決定することと、
前記第１のズレ量と前記第２のズレ量とに基づいて、前記複数の基準点の第２のサブセットを決定することであって、前記第２のサブセット中の基準点の第１のズレ量と第２のズレ量との間の差が差閾値未満であることと、
前記第２のサブセット中の基準点の現在座標と前記テンプレート画像内の前記第２のサブセット中の基準点に対応する基準点のテンプレート座標とを用いて、前記変換パラメータを決定することとを含む、障害物検出方法。
【請求項2】
前記複数の基準点の前記現在座標と対応する基準点の前記テンプレート座標とに基づいて前記現在画像と前記テンプレート画像との間の変換パラメータを決定することは、前記複数の基準点の前記現在座標と前記テンプレート座標を用いて、候補変換パラメータを決定することと、
前記候補変換パラメータを用いて前記複数の基準点の前記現在座標に対して座標変換を行い、前記複数の基準点の第１の変換座標を得ることと、
対応するテンプレート座標に対する前記複数の基準点の第１の変換座標の再投影誤差を決定することと、
誤差閾値未満の再投影誤差を有する前記複数の基準点の第１のサブセットを決定することと、
前記第１のサブセット中の基準点の現在座標と前記テンプレート画像内の前記第１のサブセット中の基準点に対応する基準点のテンプレート座標とを用いて、前記変換パラメータを決定することとを含む、請求項１に記載の方法。
【請求項3】
前記変換パラメータはホモグラフィ行列である、請求項１に記載の方法。
【請求項4】
前記変換パラメータと前記現在画像内の前記障害物対象の画素座標とを用いて前記障害物の世界座標系での位置を決定することは、前記現在画像内の前記障害物対象の第１の座標を決定することと、
前記変換パラメータに基づいて前記障害物対象の前記第１の座標を変換し、前記障害物対象の第２の座標を得ることと、
前記障害物対象の第２の座標に基づいて、前記障害物の世界座標系での位置を決定することとを含む、請求項１に記載の方法。
【請求項5】
前記障害物対象の第２の座標に基づいて、前記障害物の世界座標系での位置を決定することは、カメラ座標系において所定の平面を示す方程式を用いて、前記障害物対象の前記第２の座標に基づいて、前記障害物のカメラ座標系での位置を決定することと、
前記障害物のカメラ座標系での位置に基づいて前記障害物の世界座標系での位置を決定することとを含む、請求項４に記載の方法。
【請求項6】
前記障害物は歩行者又は車両である、請求項１に記載の方法。
【請求項7】
前記基準点はレーンライン、ストップライン又は折れ標識ラインの角点である、請求項１に記載の方法。
【請求項8】
障害物検出装置であって、所定の平面に位置する少なくとも１つの障害物を示す少なくとも１つの障害物対象を含む現在画像を取得するように構成される画像取得ユニットと、
現在画像内の前記所定の平面における複数の基準点の現在座標とテンプレート画像内の前記複数の基準点に対応する基準点のテンプレート座標とに基づいて、前記現在画像と前記テンプレート画像との間の変換パラメータを決定するように構成される変換決定ユニットと、
前記変換パラメータと前記現在画像内の前記障害物対象の画素座標とを用いて前記障害物の世界座標系での位置を決定するように構成される障害物位置決定ユニットとを含み、
前記変換決定ユニットは、
前記テンプレート画像と前記現在画像とに基づくとともに、前記テンプレート画像内の対応する基準点のテンプレート座標に基づいて、前記複数の基準点の前記現在画像内の現在座標を決定するように構成される座標決定サブユニットと、
前記複数の基準点の前記現在座標と対応する基準点の前記テンプレート座標との間の変換に基づいて前記現在画像と前記テンプレート画像との間の変換パラメータを決定するように構成されるパラメータ決定ユニットとを含み、
前記座標決定サブユニットは、
オプティカルフロー追跡方法によって、前記テンプレート画像の対応する基準点に対する前記現在画像内の前記基準点の第１のズレ量を決定するように構成される追跡サブユニットと、
前記基準点の前記第１のズレ量と前記テンプレート座標とに基づいて、前記基準点の現在座標を決定するように構成されるズレサブユニットとを含み、
前記パラメータ決定ユニットは、
前記複数の基準点のそれぞれに対して、前記現在画像のうち該基準点を中心とする現在ピクチャーブロックと前記テンプレート画像のうち該基準点に対応する基準点を中心とするテンプレートピクチャーブロックとの間の類似度を用いて、該基準点と該基準点に対応する基準点との間の第２のズレ量を決定するように構成される類似度決定サブユニットと、
前記第１のズレ量と前記第２のズレ量とに基づいて、前記複数の基準点の第２のサブセットを決定するように構成される選別サブユニットであって、前記第２のサブセット中の基準点の第１のズレ量と第２のズレ量との間の差が差閾値未満である選別サブユニットと、
前記第２のサブセット中の基準点の現在座標と前記テンプレート画像内の前記第２のサブセット中の基準点に対応する基準点のテンプレート座標とを用いて、前記変換パラメータを決定するように構成される変換パラメータ決定サブユニットとを含む、障害物検出装置。
【請求項9】
前記パラメータ決定ユニットは、前記複数の基準点の前記現在座標と前記テンプレート座標を用いて、候補変換パラメータを決定するように構成される候補変換決定サブユニットと、
前記候補変換パラメータを用いて前記複数の基準点の前記現在座標に対して座標変換を行い、前記複数の基準点の第１の変換座標を得るように構成される変換サブユニットと、
対応するテンプレート座標に対する前記複数の基準点の第１の変換座標の再投影誤差を決定するように構成される誤差決定サブユニットと、
基準点が誤差閾値未満の再投影誤差を有する前記複数の基準点の第１のサブセットを決定するように構成される選別サブユニットと、
前記第１のサブセット中の基準点の現在座標と前記テンプレート画像内の前記第１のサブセット中の基準点に対応する基準点のテンプレート座標とを用いて、前記変換パラメータを決定するように構成される変換パラメータ決定サブユニットとを含む、請求項８に記載の装置。
【請求項10】
前記障害物位置決定ユニットは、前記現在画像内の前記障害物対象の第１の座標を決定するように構成される第１の座標決定サブユニットと、
前記変換パラメータに基づいて前記障害物対象の前記第１の座標を変換し、前記障害物対象の第２の座標を得るように構成される第２の座標決定サブユニットと、
前記障害物対象の第２の座標に基づいて、前記障害物の世界座標系での位置を決定するように構成される世界座標決定サブユニットとを含む、請求項８に記載の装置。
【請求項11】
少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含み、
前記メモリは、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、前記命令は前記少なくとも１つのプロセッサにより実行されて、前記少なくとも１つのプロセッサが請求項１～７のいずれか１項に記載の方法を実行できるようにする、電子機器。
【請求項12】
請求項１１に記載の電子機器を含む路側機器。
【請求項13】
請求項１～７のいずれか１項に記載の方法をコンピュータに実行させるためのコンピュータ命令が記憶された非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項14】
コンピュータにより実行されると、請求項１～７のいずれか１項に記載の方法を前記コンピュータに実行させる命令を含む、コンピュータプログラム。
【請求項15】
請求項１１に記載の電子機器を含むクラウド制御プラットフォーム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自律運転及びスマート交通の分野に関し、具体的には、障害物検出方法、装置、電子機器、路側機器、クラウド制御プラットフォーム、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム製品に関する。
【背景技術】
【0002】
道路上の障害物を検出するために、通常、路側検知機器が高い位置、たとえば信号機ポールやモニターポールなどの機器のポールに取り付けられる。実環境の複雑さのため、路側検知機器が外界環境の影響を受けると、その位置に振れが発生する可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、障害物検出方法、装置、電子機器、路側機器、クラウド制御プラットフォーム、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム製品を提供する。
【課題を解決するための手段】
【0004】
本開示の一態様によれば、所定の平面に位置する少なくとも１つの障害物を示す少なくとも１つの障害物対象を含む現在画像を取得することと、
現在画像内の前記所定の平面における複数の基準点の現在座標とテンプレート画像内の前記複数の基準点に対応する基準点のテンプレート座標とに基づいて、前記現在画像と前記テンプレート画像との間の変換パラメータを決定することと、
前記変換パラメータと前記現在画像内の前記障害物対象の画素座標とを用いて前記障害物の世界座標系での位置を決定することとを含む障害物検出方法を提供する。
現在画像内の前記所定の平面における複数の基準点の現在座標とテンプレート画像内の前記複数の基準点に対応する基準点のテンプレート座標とに基づいて、前記現在画像と前記テンプレート画像との間の変換パラメータを決定することと、
前記変換パラメータと前記現在画像内の前記障害物対象の画素座標とを用いて前記障害物の世界座標系での位置を決定することとを含む障害物検出方法を提供する。
【0005】
本開示の別の態様によれば、所定の平面に位置する少なくとも１つの障害物を示す少なくとも１つの障害物対象を含む現在画像を取得するように構成される画像取得ユニットと、現在画像内の前記所定の平面における複数の基準点の現在座標とテンプレート画像内の前記複数の基準点に対応する基準点のテンプレート座標とに基づいて、前記現在画像と前記テンプレート画像との間の変換パラメータを決定するように構成される変換決定ユニットと、前記変換パラメータと前記現在画像内の前記障害物対象の画素座標とを用いて前記障害物の世界座標系での位置を決定するように構成される障害物位置決定ユニットとを含む障害物検出装置を提供する。
【0006】
本開示の別の態様によれば、少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含み、
前記メモリは、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、前記命令は前記少なくとも１つのプロセッサにより実行されて、前記少なくとも１つのプロセッサが上記のような方法を実行できるようにする電子機器を提供する。
前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含み、
前記メモリは、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、前記命令は前記少なくとも１つのプロセッサにより実行されて、前記少なくとも１つのプロセッサが上記のような方法を実行できるようにする電子機器を提供する。
【0007】
本開示の別の態様によれば、上記のような電子機器を含む路側機器を提供する。
【0008】
本開示の別の態様によれば、上記のような電子機器を含むクラウド制御プラットフォームを提供する。
【0009】
本開示の別の態様によれば、上記のような方法を前記コンピュータに実行させるためのコンピュータ命令が記憶された非一時的なコンピュータ読み取り可能な記憶媒体を提供する。
【0010】
本開示の別の態様によれば、プロセッサにより実行されると、上記のような方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。
【発明の効果】
【0011】
本開示の１つ又は複数の実施例によれば、画像内の複数の基準点の変換によって、画像収集機器の外部パラメータの変化に起因する障害物検出精度の低下を簡便に修正することができる。
【0012】
なお、本部分で説明される内容は、本開示の実施例の重要な又はキーとなる特徴を識別することを意図しておらず、本開示の範囲を制限することも意図していない。本開示の他の特徴は、以下の明細書によって容易に理解される。
【図面の簡単な説明】
【0013】
図面は実施例を例示的に示し、明細書の一部を構成し、明細書の記載とともに実施例の例示的な実施形態を説明することに用いられる。示される実施例は例示の目的にのみ使用され、特許請求の範囲を制限するものではない。すべての図面において、同じ図面の符号は、類似するが、必ずしも同じではない要素を示す。
【図1】本開示の実施例に係る本明細書に記載の各種の方法を実施できる例示的なシステムの模式図を示す。
【図2】本開示の実施例に係る障害物検出方法の模式的なフローチャートを示す。
【図3】本開示の実施例に係る現在画像とテンプレート画像との間の変換パラメータを決定するための模式的なフローチャートを示す。
【図4】本開示の実施例に係る複数の基準点の現在座標と対応する基準点のテンプレート座標とに基づいて現在画像とテンプレート画像との間の変換パラメータを決定する模式的なフローチャートを示す。
【図5】本開示の実施例に係る複数の基準点の現在座標と対応する基準点のテンプレート座標とに基づいて現在画像とテンプレート画像との間の変換パラメータを決定する別の模式的なフローチャートを示す。
【図6】本開示の実施例に係る変換パラメータと現在画像内の障害物の画素座標とを用いて障害物の世界座標系での位置を決定するための過程の模式的なフローチャートを示す。
【図7】本開示の実施例に係る画像内の基準点の模式図を示す。
【図8A】障害物検出結果の模式図を示す。
【図8B】障害物検出結果の模式図を示す。
【図9】本開示の実施例に係る障害物検出装置の模式的なブロック図を示す。
【図10】本開示の実施例を実現するために使用できる例示的な電子機器の構造ブロック図を示す。
【発明を実施するための形態】
【0014】
以下、図面を参照して本開示の例示的な実施例を説明し、以下の説明には、理解に役に立つように、本開示の実施例の様々な詳細を含むが、このような詳細は単に例示的なものとみなされるべきである。したがって、当業者にとって自明なように、本開示の範囲及び精神から逸脱することなく、ここに記載された実施例に対して様々な変更及び修正が可能である。同様に、以下の説明では、明確かつ簡潔にするために、公知の機能及び構造についての説明を省略する。
【0015】
本開示では、特に明記しない、「第１の」、「第２の」などの用語を用いて各種の要素を説明する場合、これらの要素の位置関係、タイミング関係又は重要性関係を限定することを意図しておらず、このような用語は、１つの要素を別の要素と区別するために過ぎない。いくつかの例では、第１の要素及び第２の要素は該要素の同一の実例を示すことができるが、場合によっては、文脈の説明から、異なる実例を示すこともできる。
【0016】
本開示では、様々な前記例の説明に使用される用語は、特定の例を説明するという目的にのみ使用され、制限することを意図していない。文脈において明記されていない限り、要素の数を特に制限しないと、この要素は１つでも、複数であってもよい。さらに、本開示に使用される用語「及び／又は」は、リストされた項目のうちのいずれか１つ、及びすべての可能な組み合わせを含む。
【0017】
車両ネットワーキング（Ｖ２Ｘ、Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）技術では、全地球測位システム（ＧＰＳ）ナビゲーション技術、車車間通信技術、無線通信及びリモートセンシング技術を統合することにより、新しい自動車技術の発展方向を築く。Ｖ２Ｘ技術では、路側検知技術によって道路情報を取得することで、スマート交通、自律運転などの計画に必要な情報を提供することができる。いくつかの適用では、道路付近に設置された路側検知機器によって所望の道路情報を取得することができる。たとえば、直線道路の両側又は交差点に設置された路側検知機器によって道路情報を取得することができる。
【0018】
スマート交通の車両と道路の協調の１つのシステムアーキテクチャでは、路側機器は路側検知機器と路側計算機器とを含むことができる。路側検知機器（たとえば路側カメラ）は路側計算機器（たとえば路側計算ユニットＲＳＣＵ）に接続され、路側計算機器はクラウド制御プラットフォームに接続される。別のシステムアーキテクチャでは、路側検知機器自体に計算機能を有し、即ち、路側機器は計算機能を有する路側検知機器であってもよく、路側検知機器は前記クラウド制御プラットフォームに直接接続することができる。以上の接続は有線又は無線であってもよい。クラウド制御プラットフォームは車両と道路の協調管理プラットフォーム、中心システム、エッジコンピューティングプラットフォーム、クラウドコンピューティングプラットフォーム、クラウドサーバーなどと呼ぶこともできる。クラウド制御プラットフォームはクラウドで処理を実行し、クラウド制御プラットフォームに含まれる電子機器は検知機器（たとえば路側カメラ）のデータ、たとえばピクチャーやビデオなどを取得して、画像ビデオ処理及びデータ計算を行うことができる。
【0019】
路側検知技術は、路側センサと検知アルゴリズムにより検知した障害物を車両に送信して、車の自律運転機能を可能にする技術である。現在、路側検知センサは、ウェブカメラやライダー（ｌｉｄａｒ）などを含む。車両ネットワーキング（Ｖ２Ｘ）路側検知のシナリオでは、カメラにより視界を超えた道路交通情報を取得し、通常、カメラは街灯柱や信号機ポールに取り付けられ、カメラが高いほど、得られた画像は視界が大きく、より多くの情報量を含み、路側の検知能力は高い。しかしながら、カメラが高いポールに取り付けられる場合、風や重型車両が通過することによりカメラ振れが発生することはある。カメラの位置が変化した場合、オフラインでキャリブレーションしたカメラの外部パラメータを用いて障害物を３Ｄに投影し戻すと、振れの誤差が導入されてしまう。振れが大きすぎると、オフライン外部パラメータは無効になり、障害物の位置の精度が大幅に低下する。したがって、カメラが振れた場合の３Ｄ位置の検出を最適化させるアルゴリズムは必要とされる。ここで、カメラの外部パラメータは回転行列と並進行列を含むことができる。カメラ外部パラメータとしての回転行列と並進行列は、如何に点を世界座標系からカメラ座標系に変換するかを共同で説明する。
【0020】
一般的に、カメラ振れを解決する方法には、光学振れ防止、機械的振れ防止方法及び電子振れ防止方法があり、路側検知のコストによる限制のため、追加コストを必要とする光学振れ防止及び機械的振れ防止のいずれも広く利用できず、一般的な電子振れ防止は、路側カメラのシナリオでは、誤差が大きい場合もある。
【0021】
一般的な方法は、外部パラメータをオンラインでキャリブレーションし、カメラの外部パラメータをリアルタイムで計算することによって、オフライン外部パラメータを更新し、それにより、路側検知システムにおけるオフライン外部パラメータが無効になるという問題を解決することであり、このような方法は、ハードウェアが良好である場合、精度及びリアルタイム性が要件を満たすが、計算コストがかかり、コストが高い。
【0022】
上記問題を解決するために、本開示は、カメラ振れに起因する外部パラメータの変化による誤差を簡便に修正できる新しい障害物検出方法を提供する。
【0023】
以下、図面を参照しながら本開示の実施例を詳細に説明する。
【0024】
図１は、本開示の実施例に係る本明細書に記載の各種の方法及び装置を実施できる例示的なシステム１００の模式図を示す。図１に示すように、該システム１００は、１つ又は複数のクライアント機器１０１、１０２、１０３、１０４、１０５及び１０６と、サーバ１２０と、１つ又は複数のクライアント機器をサーバ１２０に結合する１つ又は複数の通信ネットワーク１１０とを含む。クライアント機器１０１、１０２、１０３、１０４、１０５、及び１０６は、１つ又は複数のアプリケーションを実行するように構成されてもよい。
【0025】
本開示の実施例では、サーバ１２０は、運行すると、本開示に係る障害物検出方法の１つ又は複数のサービス又はソフトウェアアプリケーションを実行させることができる。いくつかの実施例では、クライアント機器１０１、１０２、１０３、１０４、１０５、及び１０６を用いて、本開示に係る障害物検出方法の１つ又は複数のサービス又はソフトウェアアプリケーションを運行してもよい。いくつかの実施形態では、クライアント機器１０１、１０２、１０３、１０４、１０５、及び１０６は、車両ネットワーキングシステムにおける路側機器として実現するために使用できる。
【0026】
いくつかの実施例では、サーバ１２０は、非仮想環境と仮想環境を含みうる他のサービス又はソフトウェアアプリケーションを提供してもよい。いくつかの実施例では、このようなサービスはｗｅｂに基づくサービス又はクラウドサービスとして提供することができ、たとえば、ソフトウェア即ちサービス（ＳａａＳ）モデルでクライアント機器１０１、１０２、１０３、１０４、１０５及び／又は１０６のユーザに提供する。
【0027】
図１に示す構成では、サーバ１２０は、サーバ１２０によって実行される機能の１つ又は複数を実現するコンポーネントを含むことができる。これらのコンポーネントは、１つ又は複数のプロセッサによって実行可能なソフトウェアコンポーネント、ハードウェアコンポーネント又はこれらの組み合わせを含むことができる。クライアント機器１０１、１０２、１０３、１０４、１０５及び／又は１０６を操作するユーザは、１つ又は複数のクライアントアプリケーションを順次用いてサーバ１２０とインタラクションすることによって、これらのコンポーネントにより提供されたサービスを利用できる。なお、さまざまなシステム構成が可能であり、システム１００と異なってもよい。したがって、図１は本明細書に記載の各種方法を実施するためのシステムの一例であり、制限するものではない。
【0028】
クライアント機器は、クライアント機器のユーザとクライアント機器とのインタラクションを可能にするインタフェースを提供できる。クライアント機器はまた、該インタフェースを介してユーザに情報を出力することもできる。図１には、６種類のライアント機器だけが示されているが、当業者にとって自明なように、本開示は任意の数のクライアント機器をサポートできる。
【0029】
クライアント機器１０１、１０２、１０３、１０４、１０５及び／又は１０６は、各種のタイプのコンピュータ機器、たとえば携帯型手持ち機器、汎用コンピュータ（たとえば、パーソナルコンピュータやラップトップコンピュータ）、ワークステーションコンピュータ、ウェアラブル機器、ゲームシステム、シンクライアント、各種のメッセージング機器、センサ又は他の感知機器などを含みうる。これらのコンピュータ機器は、各種タイプ及びバージョンのソフトウェアアプリケーション及びオペレーティングシステム、たとえばＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ、Ａｐｐｌｅ ｉＯＳ、ＵＮＩＸ（登録商標）ライクなオペレーティングシステム、Ｌｉｎｕｘ（登録商標）又はＬｉｎｕｘ（登録商標）ライクなオペレーティングシステム（たとえばＧｏｏｇｌｅ Ｃｈｒｏｍｅ ＯＳ）を運行したり、又は各種の移動オペレーティングシステム、たとえばＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ ＯＳ、ｉＯＳ、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ、Ａｎｄｒｏｉｄを含んだりすることができる。携帯型手持ち機器は、セルラー電話、スマートフォン、タブレットコンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）などを含むことができる。ウェアラブル機器はヘッドマウントディスプレイ及び他の機器を含むことができる。ゲームシステムは各種の手持ち式ゲーム機器、インターネットをサポートするゲーム機器などを含む。クライアント機器は、さまざまなアプリケーション、たとえばＩｎｔｅｒｎｅｔに関連する各種のアプリケーション、通信アプリケーション（たとえば電子メールアプリケーション）、ショートメッセージサービス（ＳＭＳ）アプリケーションを実行し、かつ各種の通信プロトコルを使用することができる。
【0030】
ネットワーク１１０は、当業者にとって周知の任意のタイプのネットワークであってもよく、利用可能な様々なプロトコルのいずれか（ＴＣＰ／ＩＰ、ＳＮＡ、ＩＰＸなどを含むが、これらに限定されない）を使用してデータ通信をサポートすることができる。一例として、１つ又は複数のネットワーク１１０は、ローカルエリアネットワーク（ＬＡＮ）、イーサネット（登録商標）に基づくネットワーク、トークンリング、ワイドエリアネットワーク（ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、公衆電話交換網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（たとえば、ブルートゥース（登録商標）、ＷＩＦＩ）、及び／又は、これら及び／又は他のネットワークの任意の組み合わせであってもよい。
【0031】
サーバ１２０は、１つ又は複数の汎用コンピュータ、専用サーバコンピュータ（たとえば、ＰＣ（パーソナルコンピュータ）サーバ、ＵＮＩＸ（登録商標）サーバ、ミッドレンジサーバ）、ブレードサーバ、メインフレームコンピュータ、サーバクラスタ、又は任意の他の適切な配置及び／又は組み合わせを含むことができる。サーバ１２０は、仮想オペレーティングシステムを運行する１つ又は複数の仮想マシン、又は仮想化を伴う他のコンピューティングアーキテクチャ（たとえば、サーバの仮想記憶機器をメンテナンスするために仮想化され得る論理記憶機器の１つ又は複数の柔軟なプール）を含むことができる。様々な実施例では、サーバ１２０は、以下に記載の機能を提供する１つ又は複数のサービス又はソフトウェアアプリケーションを運行することができる。
【0032】
サーバ１２０の計算ユニットは、上記のいずれかのオペレーティングシステムと、商業的に利用可能ないずれかのサーバオペレーティングシステムとを含む１つ又は複数のオペレーティングシステムを運行することができる。サーバ１２０は、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、ＪＡＶＡ（登録商標）サーバ、データベースサーバなどを含む、様々な追加のサーバアプリケーション及び／又は中間層アプリケーションのうちのいずれかを運行してもよい。
【0033】
いくつかの実施形態では、サーバ１２０は、クライアント機器１０１、１０２、１０３、１０４、１０５、及び１０６のユーザから受信したデータフィード及び／又はイベント更新を分析・マージするように、１つ又は複数のアプリケーションを含むことができる。サーバ１２０は、クライアント機器１０１、１０２、１０３、１０４、１０５、及び１０６の１つ又は複数の表示機器を介してデータフィード及び／又はリアルタイムイベントを表示するように、１つ又は複数のアプリケーションを含むこともできる。
【0034】
いくつかの実施形態では、サーバ１２０は、分散システムのサーバであってもよく、ブロックチェーンを組み込んだサーバであってもよい。サーバ１２０は、クラウドサーバ、又は人工知能技術を備えたスマートクラウドコンピューティングサーバ又はスマートクラウドホストであってもよい。クラウドサーバは、クラウドコンピューティングサービスシステムにおけるホスト製品の１つであり、従来の物理ホストと仮想専用サーバ（ＶＰＳ、Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）サービスに存在する、管理が困難で、ビジネスの拡張性が低いという欠点を解決するようにする。
【0035】
システム１００はまた、１つ又は複数のデータベース１３０を含むことができる。いくつかの実施例では、これらのデータベースは、データ及び他の情報を記憶することに用いられ得る。たとえば、データベース１３０のうちの１つ又は複数は、オーディオファイル及びビデオファイルのような情報を記憶することに用いられ得る。データリポジトリ１３０は、様々な場所に配置されることができる。たとえば、サーバ１２０によって使用されるデータリポジトリは、サーバ１２０に対してローカルであってもよく、サーバ１２０から離れるとともに、ネットワークベース又は専用の接続を介してサーバ１２０と通信してもよい。データリポジトリ１３０は、さまざまなタイプであってもよい。いくつかの実施例では、サーバ１２０によって使用されるデータリポジトリは、リレーショナルデータベースなどのデータベースであってもよい。これらのデータベースの１つ又は複数は、命令に応答して、データベース及びデータベースからのデータを記憶、更新、及び検索できる。
【0036】
いくつかの実施例では、データベース１３０のうちの１つ又は複数は、アプリケーションによって使用されることによってアプリケーションのデータを記憶することもできる。アプリケーションによって使用されるデータベースは、キー値リポジトリ、オブジェクトリポジトリ、又はファイルシステムによってサポートされる通常のリポジトリなど、異なる種類のデータベースであってもよい。
【0037】
図１のシステム１００は、本開示に記載の各種の方法及び装置を適用できるように、各種の方式で構成・操作することができる。
【0038】
図２は、本開示に係る実施例の障害物検出方法の模式的なフローチャートを示す。
【0039】
図２に示すように、ステップＳ２０２では、所定の平面に位置する少なくとも１つの障害物を示す少なくとも１つの障害物対象を含むことができる現在画像を取得する。
【0040】
いくつかの実施例では、現在画像は、路側機器によって収集された道路の監視画像であり得る。いくつかの実施形態では、現在画像は路側機器によって収集された１枚の写真であり得る。別のいくつかの実施形態では、現在画像は路側機器によって収集されたビデオの１つのビデオフレームであってもよい。
【0041】
路側機器によって収集された監視画像は道路上の障害物の位置を監視できる。いくつかの実施例では、所定の平面は地平面としてもよい。即ち、現在画像内の障害物は地面にある。
【0042】
いくつかの実施例では、単眼カメラを用いて現在画像を取得することができる。
【0043】
一般的に、単眼カメラによって取得された画像を用いて画像内の対象の三次元世界座標系での位置を決定することは、制約不足の問題である。他の制約がない場合、画像内の対象の画素座標は世界座標系における１本の光線に対応する。即ち、三次元世界座標系では、この光線上のすべての点は、カメラによって取得された画像内の画素座標が同じである。しかしながら、画像において特定の平面を示す方程式を予めキャリブレーションできれば、単眼カメラを用いて、画像のうち中該特定の平面上に位置する対象の世界座標系での位置を決定できる。
【0044】
車両ネットワーキングの適用シナリオでは、撮像される画像は一般に道路画像であるため、画像内の地平面をキャリブレーションし、カメラ座標系での地平面方程式Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０（ただし、Ａ、Ｂ、Ｃ、Ｄは予めキャリブレーションされた係数であり、ｘ、ｙ、ｚはカメラ座標系における３つの次元の独立変数である。）を得ることができる。
【0045】
カメラ座標系での地平面方程式が既知の場合、画素点の画素座標に対応する光線と地平面方程式との交差点を計算することによって、この画素点の地平面での位置を得ることができる。
【0046】
ステップＳ２０４では、所定の平面における複数の基準点の、現在画像内の現在座標とテンプレート画像内の複数の基準点に対応する基準点のテンプレート座標とに基づいて、現在画像とテンプレート画像との間の変換パラメータを決定する。ここで、複数の基準点が所在する平面は障害物が所在する所定の平面とは同一の平面である。
【0047】
いくつかの実施例では、路側機器が使用される前に、路側機器が元外部パラメータの状態で撮像した画像をテンプレート画像として取得することができる。テンプレート画像を撮像するときの路側機器の元外部パラメータ（即ちオフライン外部パラメータ）を決定することができる。路側機器が使用されたときに、オフライン外部パラメータに基づいて路側機器によって撮像された画像を処理し、画像内の障害物の三次元位置を決定することができる。
【0048】
外界環境の影響のため、画像を収集するための路側機器には、振れや恒久的移動が発生することはある。たとえば、強風が吹いたり重型車両が通過したりする場合、路側機器のカメラの外部パラメータが変化する可能性があるが、地平面方程式はオフラインで決定されたカメラの元外部パラメータに基づいてキャリブレーションされるままである。このような場合、カメラの元外部パラメータを用いてキャリブレーションされた地平面方程式によって決定された画像内の障害物対象の世界座標系での位置の精度は低下する。
【0049】
路側機器の振れや移動による障害物の位置検出への影響を修正するために、テンプレート画像と現在画像との間の画像変化に基づいて現在画像とテンプレート画像との間の変換パラメータを決定することができる。現在画像とテンプレート画像との間の変換パラメータは、現在画像を収集するときの現在のカメラの外部パラメータの、テンプレート画像を収集するときの元カメラ外部パラメータに対する変化を反映することができる。このような変換パラメータを用いると、外部パラメータの変化の具体的な値自体を特に決定することなく、路側機器が現在の外部パラメータで収集された現在画像内の画素座標を、オフライン外部パラメータで収集された画像のうち各画素点に対応する座標に変換することができる。
【0050】
ステップＳ２０６では、ステップＳ２０４において決定した変換パラメータと現在画像内の障害物の画素座標とを用いて、障害物の世界座標系での位置を決定することができる。
【0051】
ステップＳ２０４において決定した変換パラメータを用いて、現在画像内の障害物の画素座標に対して座標変換を行い、オフライン外部パラメータを用いて収集したテンプレート画像内の障害物に対応する画素座標を得ることができる。
【0052】
本開示による方法を用いると、画像内の複数の基準点を用いて、路側機器によって取得された現在画像と路側機器がオフライン外部パラメータで取得したテンプレート画像との間の変換を決定することができ、それによって、外界環境に起因する路側機器の外部パラメータ変化による誤差を簡便に修正することができ、外部パラメータが実際に変化したが、カメラにおいて外部パラメータを再度キャリブレーションしないので、取得された画像内の障害物の位置検出に与える悪影響を解消するようにする。
【0053】
図３は、本開示の実施例に係る現在画像とテンプレート画像との間の変換パラメータ（たとえば上記ステップＳ２０４）を決定するための模式的なフローチャートを示す。図３に示す方法を使用し、カメラの外部パラメータの変化を知る必要せずに、テンプレート座標に基づいて基準点の現在座標を得ることができ、それによって、画像処理方式によって、カメラの外部パラメータの変化による誤差を修正できる。
【0054】
ステップＳ３０２では、前記テンプレート画像と前記現在画像とに基づくとともに、テンプレート画像内の基準点に対応するテンプレート座標に基づいて、現在画像内の複数の基準点の現在座標を決定することができる。
【0055】
車両ネットワーキングシステムにおいて、路側機器によって収集されたテンプレート画像内の複数の基準点は、路面での標識ライン（たとえば、レーンライン、ストップライン又は折れ標識ライン）上の点としてもよい。たとえば、基準点は、レーンライン、ストップライン又は折れ標識ラインの角点であってもよい。ここでの角点とは、レーンライン、ストップライン又は折れ標識ラインを示すための道路上のグラフィックに含まれる線分の交差点であってもよい。
【0056】
なお、レーン又は運転規則を示すためのレーンライン、ストップライン、折れ標識ラインのグラフィックが道路上に存在する。このような標識ラインのグラフィックは、実際の使用シナリオでは、一般的に固定されている。したがって、地平面上の標識ラインのグラフィックによって基準点が決定されることができる。
【0057】
当業者にとって自明なように、本開示による方法を他のシナリオに適用する場合、実際の状況に応じてテンプレート画像内のほかの固定パターン上の点を基準点としてもよい。
【0058】
現在画像とテンプレート画像との間の変換パラメータは、テンプレート画像内の対応する基準点に対する現在画像内の基準点の変化によって決定されることができる。いくつかの実施例では、オプティカルフロー追跡方法によって、テンプレート画像の対応する基準点に対する現在画像内の各基準点の第１のズレ量を決定する。基準点の現在座標は、テンプレート画像内の基準点のテンプレート座標と第１のズレ量とに基づいて決定されることができる。オプティカルフロー追跡方法を使用し、現在画像内の基準点の位置を簡便に決定できる。
【0059】
オプティカルフロー追跡方法は画像内の点の動きの追跡に利用できる。ここで、オプティカルフローは、ターゲット、シナリオ又はカメラが２フレームの画像の間で動くときに発生するターゲットの動きであってもよい。オプティカルフローは、一定の時間間隔で動きにより生じる画像の変化を反映して、画像点上の動き方向や動き速度を決定できる。
【0060】
オプティカルフロー追跡方法を使用し、現在画像のうち複数の基準点の、テンプレート画像のうち対応する基準点に対する動きを決定し、複数の基準点がテンプレート画像内の対応する位置から現在画像内の位置に動くまでの第１のズレ量を決定することができる。対応する基準点のテンプレート画像内のテンプレート座標が既知である場合、基準点の現在画像内の現在座標は、対応する基準点のテンプレート座標に第１のズレ量によって決定される動きベクトルを加算することによって得られる。
【0061】
ステップＳ３０４では、複数の基準点の現在座標と対応する基準点のテンプレート座標との間の変換に基づいて、現在画像とテンプレート画像との間の変換パラメータを決定することができる。ここで、変換パラメータは、現在画像内の複数の基準点が所在する平面を、テンプレート画像内の対応する基準点が所在する平面に変換するために使用できる。
【0062】
現在画像とテンプレート画像との間の基準点の位置の差は、外界環境の影響に起因するカメラの外部パラメータの変化により生じるものである。つまり、世界座標系におけるカメラが回転及び／又は並進したため、画像内の基準点の位置が変化する。したがって、座標変換方式に基づいて基準点が所在する平面の変換パラメータを、現在画像とテンプレート画像との間の変換パラメータとして算出できる。
【0063】
いくつかの実施例では、変換パラメータはホモグラフィ行列としてもよい。ここで、ホモグラフィ行列は、画像収集機器の回転又は平面同士の変換関係の記述に利用できる。本開示に係る実施例では、基準点は地平面上にある。したがって、基準点のテンプレート座標と地平面座標とを用いて、現在画像内の地平面とテンプレート画像内の地平面との変換関係を計算できる。いくつかの実施形態では、ホモグラフィ変換パラメータは、１つの８自由度の３＊３次元のホモグラフィ行列であってもよい。基準点の座標が２つの独立変数を含む二次元画素座標として示されることができると考慮すると、テンプレート画像内の基準点と現在画像内の対応する基準点とを１対のマッチング点とみなされる場合、少なくとも４つのマッチング点を用いてホモグラフィ行列を計算できる。いくつかの例では、４対よりも多いマッチング点を用いてホモグラフィ行列を計算できる。このような場合、ホモグラフィ行列の係数の計算過程は、過剰決定方程式を解く過程に変換され、ホモグラフィ行列の係数は過剰決定方程式の最小二乗解により決定されることができる。計算過程に使用されるマッチング点の対数が多いほど、算出したホモグラフィ行列の正確性が高い。
【0064】
図４は、本開示の実施例に係る複数の基準点の現在座標と対応する基準点のテンプレート座標とに基づいて現在画像とテンプレート画像との間の変換パラメータ（たとえば上記ステップＳ３０４）を決定する模式的なフローチャートを示す。図４に示す方法を使用し、変換パラメータの正確性を向上させるために誤差の大きな基準点を除去できる。
【0065】
場合によっては、撮像された道路画像に移動している歩行者及び車両が存在するので、テンプレート画像のうち決定された基準点の一部を遮断する可能性がある。このような場合、オプティカルフロー追跡方法によって決定された現在画像内の基準点の座標の正確性が不十分である可能性がある。したがって、いくつかの実施例では、複数の基準点の現在座標と対応する基準点のテンプレート座標とからなるマッチング点対を用いて算出したホモグラフィ行列の係数は、現在画像とテンプレート画像との間の変換パラメータとして直接決定されない。図４に示す方法によって、複数の基準点を選別して、上記変換パラメータの決定に適した複数の基準点のサブセットを決定する。
【0066】
図４に示すように、ステップＳ４０１では、複数の基準点の現在座標とテンプレート座標とを用いて、候補変換パラメータを決定することができる。
【0067】
いくつかの実施例では、変換パラメータをホモグラフィ行列として、複数の基準点の現在座標と対応する基準点のテンプレート座標とからなるマッチング点対を用いて、ホモグラフィ行列の係数を候補変換パラメータとして計算することができる。
【0068】
ステップＳ４０２では、候補変換パラメータを用いて複数の基準点の現在座標に対して座標変換を行い、複数の基準点の第１の変換座標を得ることができる。
【0069】
理想的な場合に、候補変換パラメータを計算するためのマッチング点対の座標は正確であると、候補変換パラメータを用いて複数の基準点の現在座標に対して座標変換を行って得た第１の変換座標は、テンプレート画像内の対応する基準点のテンプレート座標と同じである。しかしながら、オプティカルフロー追跡方法によって決定された基準点の、現在画像内の現在座標に大きな誤差が存在すると、ステップＳ４０２において得られた基準点の第１の変換座標とテンプレート座標との間にも、大きな誤差が存在するようになる。
【0070】
ステップＳ４０３では、対応するテンプレート座標に対する複数の基準点の第１の変換座標の再投影誤差を決定することができる。
【0071】
ステップＳ４０４では、ステップＳ４０３において決定された再投影誤差を用いて、複数の基準点の第１のサブセットを決定することができ、ここで、第１のサブセット中の基準点は、誤差閾値未満の再投影誤差を有する。
【0072】
ステップＳ４０５では、第１のサブセット中の基準点の現在座標とテンプレート画像内の第１のサブセット中の基準点に対応する基準点のテンプレート座標とを用いて、変換パラメータを決定することができる。
【0073】
図４に記載の過程と組み合わせると、候補変換パラメータを用いて基準点の現在座標を変換し、候補変換パラメータを用いて得たテンプレート画像のうち基準点の座標と予めキャリブレーションしたテンプレート座標との間の差を比較し、差の大きな基準点を除去することができる。差の小さな基準点を用いて、現在画像とテンプレート画像との間の変換パラメータを再計算することができる。
【0074】
図５は、本開示の実施例に係る複数の基準点の現在座標と対応する基準点のテンプレート座標とに基づいて現在画像とテンプレート画像との間の変換パラメータ（たとえば、上記ステップＳ３０４）を決定する別の模式的なフローチャートを示す。図５に示す方法を使用し、変換パラメータの正確性を向上させるために、誤差の大きな基準点を除去できる。
【0075】
ステップＳ５０１では、複数の基準点のそれぞれに対して、現在画像のうち該基準点を中心とする現在ピクチャーブロックとテンプレート画像のうち該基準点に対応する基準点を中心とするテンプレートピクチャーブロックとの間の類似度を用いて、該基準点と該基準点に対応する基準点との間の第２のズレ量を決定することができる。
【0076】
いくつかの実施例では、現在ピクチャーブロックとテンプレートピクチャーブロックは、長さ、幅がともに１０１画素のピクチャーブロックとしてもよい。該基準点の第２のズレ量は、現在ピクチャーブロックとテンプレートピクチャーブロックとの間の類似度を計算することにより決定されることができる。いくつかの実施形態では、第２のズレ量は、現在ピクチャーブロックとテンプレートピクチャーブロックとの間の位相に基づく類似度を計算することにより決定されることができる。当業者にとって自明なように、現在ピクチャーブロックとテンプレートピクチャーブロックとの間の類似度は、他の任意の画像処理方法によって決定されてもよく、このような類似度であれば、基準点のズレ量を指示できる。
【0077】
ステップＳ５０２では、第１のズレ量と第２のズレ量とに基づいて、複数の基準点の第２のサブセットを決定することができ、第２のサブセット中の基準点の第１のズレ量と第２のズレ量との間の差が差閾値未満である。
【0078】
ステップＳ５０１において決定された第２のズレ量によって、第１のサブセット中の基準点をさらに選別できる。第１のズレ量と第２のズレ量との間の差が差閾値よりも大きい場合、該基準点の位置は信頼できないと考えられる。したがって、変換パラメータを計算するときに、このような基準点を除去することができる。
【0079】
ステップＳ５０３では、第２のサブセット中の基準点の現在座標とテンプレート画像内の第２のサブセット中の基準点に対応する基準点のテンプレート座標とを用いて、変換パラメータを決定することができる。
【0080】
いくつかの実施例では、図４に示す方法によって第１のサブセットの基準点を得た後、第１のサブセット中の基準点に対して図５に記載のステップを実行して、第２のサブセットを得ることができる。このような場合、第２のサブセットは第１のサブセットのサブセットであってもよい。
【0081】
図６は、本開示の実施例に係る変換パラメータと現在画像内の障害物対象の画素座標とを用いて、障害物の世界座標系での位置（たとえば上記ステップＳ２０６）を決定する過程の模式的なフローチャートを示す。障害物と基準点が同一の平面にあるため、基準点を用いて計算された変換パラメータは、現在画像内の障害物対象の座標をテンプレート画像に簡便に変換し、障害物の世界座標系での三次元座標を決定できる。
【0082】
ステップＳ６０２では、現在画像内の障害物対象の第１の座標を決定することができる。
【0083】
いくつかの実施例では、ターゲット検出アルゴリズムによって現在画像を処理し、現在画像に存在する、障害物を示す障害物対象を認識することができる。車両ネットワーキングの適用シナリオでは、障害物は歩行者又は車両であってもよい。いくつかの実施形態では、ターゲット検出アルゴリズムによって現在画像に存在する障害物対象のターゲットボックスを認識し、障害物対象を示す底面中心点座標をターゲットボックス上で第１の座標として決定することができる。たとえば、障害物のタイプに応じてターゲットボックスで障害物対象を示す底面中心点座標を決定することができる。別のいくつかの実施形態では、ターゲット検出アルゴリズムを実現するためのモデルを訓練することができ、モデルが障害物対象の底面中心点の位置を学習できるようにし、モデルによって出力される結果を用いて、障害物対象の底面中心点の位置を直接決定することができる。
【0084】
ステップＳ６０４では、変換パラメータに基づいて障害物の第１の座標を変換し、障害物の第２の座標を得ることができる。
【0085】
図１～図５のうちの少なくとも１つの図を参照して説明する方法によって決定された変換パラメータを使用し、現在画像内の障害物対象の第１の座標に基づいて、障害物対象のテンプレート画像内の第２の座標を決定することができる。このような方法を使用し、カメラの外部パラメータの変化に起因する画像内の障害物対象の不正確な位置の問題を解決できる。
【0086】
ステップＳ６０６では、障害物対象の第２の座標に基づいて、障害物の世界座標系での位置を決定することができる。
【0087】
前記のように、路側機器が使用される前に、テンプレート画像内の地平面はすでにキャリブレーションされている。したがって、カメラ座標系において所定の平面を示す方程式を用いて、障害物対象の第２の座標に基づいて、障害物のカメラ座標系での位置を決定できる。カメラ座標系と世界座標系との幾何学的変換関係に基づいて、障害物のカメラ座標系での位置に基づいて、障害物の世界座標系での位置を決定できる。既知の所定の平面の方程式を使用し、所定の平面における障害物の深さ情報を提供できる。
【0088】
図７は、本開示の実施例に係る画像内の基準点の模式図を示す。図７に示すように、道路上の標識ライン上の点は基準点として決定されることができる。たとえば、点７０１、７０２、７０３、７０５はレーンラインの角点、点７０４は折れ標識ラインの角点である。
【0089】
【0090】
【0091】
図８Ａには、修正されていない場合、２つの路側機器を用いて、カメラに振れが存在する場合、それぞれ認識した道路上の障害物が示されている。ブロック８０１及び８０３は、２つの路側機器がそれぞれ検出した実際の道路上の同一車両の検出位置に対応し、ブロック８０２及び８０４は、２つの路側機器がそれぞれ検出した実際の道路上の同一の別の車両の検出位置に対応する。カメラ振れが修正されていないため、２つの路側機器によって収集された画像のうち、検出された障害物（車両）の位置が異なる。このような場合、２つの路側機器によって取得された画像を統合すると、交差点に４台の車両が存在すると考えられる可能性があり、これは実際の状況と異なる。
【0092】
図８Ｂには、修正された場合、２つの路側機器を用いて、カメラに振れが存在する場合、それぞれ認識した道路上の障害物が示されている。路側機器のカメラ振れが修正されたので、２つの路側機器は、異なる撮像角度で、同一の位置に車両８０１及び８０２を検出できる。これによって、カメラ振れによる検出誤差を避ける。
【0093】
図９は、本開示の実施例に係る障害物検出装置の模式的ブロック図を示す。図９に示すように、障害物検出装置９００は、画像取得ユニット９１０、変換決定ユニット９２０、及び障害物位置決定ユニット９３０を含みうる。
【0094】
画像取得ユニット９１０は、所定の平面に位置する少なくとも１つの障害物を含む現在画像を取得するように構成される。変換決定ユニット９２０は、所定の平面における複数の基準点の、現在画像内の現在座標とテンプレート画像内の複数の基準点に対応する基準点のテンプレート座標とに基づいて、現在画像とテンプレート画像との間の変換パラメータを決定するように構成される。障害物位置決定ユニット９３０は、変換パラメータと現在画像内の障害物の画素座標とを用いて、障害物の世界座標系での位置を決定するように構成される。
【0095】
ここでの障害物検出装置９００の上記各ユニット９１０～９３０の操作は、それぞれ、前述のステップＳ２０２～Ｓ２０６の操作と類似しているので、ここで再度言及しない。
【0096】
いくつかの実施例によれば、変換決定ユニットは、テンプレート画像と現在画像とに基づくとともに、テンプレート画像内の対応する基準点のテンプレート座標に基づいて、複数の基準点の現在画像内の現在座標を決定するように構成される座標決定サブユニットと、複数の基準点の現在座標と対応する基準点のテンプレート座標との間の変換に基づいて、現在画像とテンプレート画像との間の変換パラメータを決定するように構成されるパラメータ決定ユニットとを含む。
【0097】
いくつかの実施例によれば、座標決定サブユニットは、オプティカルフロー追跡方法によって、テンプレート画像の対応する基準点に対する現在画像内の基準点の第１のズレ量を決定するように構成される追跡サブユニットと、基準点の第１のズレ量とテンプレート座標とに基づいて、基準点の現在座標を決定するように構成されるズレサブユニットとを含む。
【0098】
いくつかの実施例によれば、パラメータ決定ユニットは、複数の基準点の現在座標とテンプレート座標を用いて、候補変換パラメータを決定するように構成される候補変換決定サブユニットと、候補変換パラメータを用いて複数の基準点の現在座標に対して座標変換を行い、複数の基準点の第１の変換座標を得るように構成される変換サブユニットと、対応するテンプレート座標に対する複数の基準点の第１の変換座標の再投影誤差を決定するように構成される誤差決定サブユニットと、基準点が誤差閾値未満の再投影誤差を有する複数の基準点の第１のサブセットを決定するように構成される選別サブユニットと、第１のサブセット中の基準点の現在座標と前記テンプレート画像内の第１のサブセット中の基準点に対応する基準点のテンプレート座標とを用いて、前記変換パラメータを決定するように構成される変換パラメータ決定サブユニットとを含む。
【0099】
いくつかの実施例によれば、パラメータ決定ユニットは、複数の基準点のそれぞれに対して、現在画像のうち該基準点を中心とする現在ピクチャーブロックとテンプレート画像のうち該基準点に対応する基準点を中心とするテンプレートピクチャーブロックとの間の類似度を用いて、該基準点と該基準点に対応する基準点との間の第２のズレ量を決定するように構成される類似度決定サブユニットと、第１のズレ量と第２のズレ量とに基づいて、複数の基準点の第２のサブセットを決定するように構成される選別サブユニットであって、第２のサブセット中の基準点の第１のズレ量と第２のズレ量との間の差が差閾値未満である選別サブユニットと、第２のサブセット中の基準点の現在座標とテンプレート画像内の第２のサブセット中の基準点に対応する基準点のテンプレート座標とを用いて、変換パラメータを決定するように構成される変換パラメータ決定サブユニットとを含む。
【0100】
いくつかの実施例によれば、障害物位置決定ユニットは、現在画像内の障害物対象の第１の座標を決定するように構成される第１の座標決定サブユニットと、変換パラメータに基づいて障害物対象の第１の座標を変換し、障害物対象の第２の座標を得るように構成される第２の座標決定サブユニットと、障害物対象の第２の座標に基づいて、障害物の世界座標系での位置を決定するように構成される世界座標決定サブユニットとを含む。
【0101】
本開示による装置を用いると、画像内の複数の基準点を用いて、路側機器によって取得された現在画像と路側機器がオフライン外部パラメータで取得したテンプレート画像との間の変換を決定することができ、それによって、外界環境に起因する路側機器の外部パラメータ変化を簡便に修正し、取得した画像内の障害物の位置検出に与える外部パラメータの変化の悪影響を解消できる。
【0102】
本開示の実施例によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含み、前記メモリは、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、前記命令は前記少なくとも１つのプロセッサにより実行されて、前記少なくとも１つのプロセッサが図１～図６を参照して説明した方法を実行できるようにする電子機器をさらに提供する。
【0103】
本開示の実施例によれば、上記のような電子機器を含む路側機器をさらに提供する。
【0104】
本開示の実施例によれば、上記のような電子機器を含むクラウド制御プラットフォームをさらに提供する。
【0105】
【0106】
【0107】
図１０を参照すると、本開示の移動端末として機能できる電子機器１０００の構造ブロック図を示し、これは、本開示の各態様のハードウェア機器に適用できる例である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナル・デジタル・アシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータのような、様々な形態のデジタル電子のコンピュータ機器を示すことを意図する。電子機器はまた、パーソナルデジタルプロセッシング、セルラー電話、スマートフォン、ウェアラブル機器、及び他の類似するコンピューティング装置のような様々な形態の移動装置を示すことができる。本明細書に示す構成要素、それらの接続及び関係、ならびにそれらの機能は、単なる一例であり、本明細書に記載及び／又は必要とされる本開示の実現を制限することを意図するものではない。
【0108】
図１０に示すように、機器１０００は、読み取り専用メモリ（ＲＯＭ）１００２に記憶されたコンピュータプログラム、又は記憶ユニット１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされたコンピュータプログラムに従って、各種の適切な動作及び処理を実行することができる計算ユニット１００１を含む。ＲＡＭ １００３には、機器１０００の操作に必要な各種のプログラムやデータが記憶されていてもよい。計算ユニット１００１、ＲＯＭ１００２、及びＲＡＭ１００３は、バス１００４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース１００５もバス１００４に接続されている。
【0109】
機器１０００の複数の構成要素は、Ｉ／Ｏインタフェース１００５に接続され、入力ユニット１００６、出力ユニット１００７、記憶ユニット１００８、及び通信ユニット１００９を含む。入力ユニット１００６は、機器１０００に情報を入力することができる任意のタイプの機器であってもよく、入力ユニット１００６は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び／又は機能制御に関連するキー信号入力を生成することができ、マウス、キーボード、タッチスクリーン、トラックボード、トラックボール、ジョイスティック、マイクロフォン、及び／又はリモートコントローラを含むことができるが、これらに限定される。出力ユニット１００７は、情報を表示することができる任意のタイプの機器であってもよく、ディスプレイ、スピーカ、ビデオ／オーディオ出力端末、バイブレータ、及び／又はプリンタを含むことができるが、これらに限定される。記憶ユニット１００８は、磁気ディスク、光ディスクを含むことができるが、これらに限定される。通信ユニット１００９は、機器１０００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にし、モデム、ネットワークカード、赤外線通信機器、無線通信トランシーバ、及び／又はチップセット、たとえば、ブルートゥース（登録商標） ＴＭ機器、１３０２．１１機器、ＷｉＦｉ機器、ＷｉＭａｘ機器、セルラー通信機器、及び／又は類似物を含むことができるが、これらに限定される。
【0110】
計算ユニット１００１は、処理能力及び計算能力を有する様々な汎用及び／又は専用の処理コンポーネントとすることができる。計算ユニット１００１のいくつかの例には、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを運行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどが含まれるが、これらに限定される。計算ユニット１００１は、本開示の実施例に係る障害物検出方法などの以上に記載の様々な方法及び処理を実行する。たとえば、いくつかの実施例では、障害物検出は、記憶ユニット１００８のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例では、コンピュータプログラムの一部又は全部を、ＲＯＭ１００２及び／又は通信ユニット１００９を介して機器１０００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ１００３にロードされ、計算ユニット１００１によって実行されると、以上に記載の方法の１つ又は複数のステップを実行することができる。オプションとして、別の実施例では、計算ユニット１００１は、他の任意の適切な方法で（たとえば、ファームウェア）、障害物検出方法を実行するように構成される。
【0111】
本明細書で前述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ロードプログラマブル論理機器（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実現されてもよい。これら様々な実施形態は、１つ又は複数のコンピュータプログラムで実行することを含むことができ、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行又は解釈可能であり、このプログラマブルシステムは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、この記憶システム、この少なくとも１つの入力装置、及びこの少なくとも１つの出力装置にデータ及び命令を転送することができる。
【0112】
本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせを用いてプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されることができ、プログラムコードがプロセッサ又はコントローラによって実行されると、フローチャート及び／又はブロック図に規定された機能／動作が実施されるようにする。プログラムコードは、完全にマシン上で実行されてもよく、部分的にマシン上で実行されてもよく、スタンドアロンパッケージとして一部がマシン上で実行され且つ一部がリモートマシン上で実行されてもよく、又は完全にリモートマシン又はサーバ上で実行されてもよい。
【0113】
本開示の文脈では、機械読み取り可能な媒体は、命令実行システム、装置、又は機器によって使用され、又は命令実行システム、装置、又は機器と合わせて使用されるためのプログラムを含むか、格納することができる有形媒体とすることができる。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又は機器、あるいはこれらの任意の適切な組み合わせを含むことができるが、これらに限定される。機械読み取り可能な記憶媒体のより具体的な例は、１つ以上のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又はこれらの任意の適切な組み合わせを含む。
【0114】
ユーザとのインタラクションを提供するために、ここで記載されたシステム及び技術はコンピュータ上で実施してもよく、このコンピュータは、ユーザに情報を表示するためのディスプレイ装置（たとえば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供するキーボード及びポインティング装置（たとえば、マウス又はトラックボール）とを含む。他の種類の装置は、ユーザとのインタラクションを提供するために使用されることもでき、たとえば、ユーザに提供されるフィードバックは、任意の形態の感知フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、ユーザからの入力は、任意の形態（音声入力、音声入力、又は触覚入力を含む）で受信することができる。
【0115】
ここで記載されたシステム及び技術は、バックグラウンドコンポーネントを含むコンピューティングシステム（たとえば、データサーバとして）、又はミドルウェアコンポーネントを含むコンピューティングシステム（たとえば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（たとえば、ユーザがここで記載されたシステム及び技術の実施形態とインタラクションできるグラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ）、又はそのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムにおいて実現され得る。システムのコンポーネントは、任意の形態又は媒体のデジタルデータ通信（たとえば、通信ネットワーク）を介して相互に接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットが含まれる。
【0116】
コンピュータシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般的に互いに離れており、通常、通信ネットワークを介してインタラクションする。クライアントとサーバの関係は、対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生成される。
【0117】
なお、上記の様々な形態のプロセスを使用して、ステップを並べ替えたり、追加したり、削除したりすることができる。たとえば、本開示に記載された各ステップは、本開示で開示された技術案によって期待される結果を達成できる限り、並行して実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよく、本明細書はここで限定しない。
【0118】
図面を参照して本開示の実施例又は例を説明したが、上記した方法、システム、及び機器は例示的な実施例又は例にすぎず、本発明の範囲はこれらの実施例又は例によって限定されなく、授権された特許請求の範囲及びそれらの同等の範囲のみによって限定されることが理解されるべきである。実施例又は例における様々な要素は、省略されてもよく、又はそれらの同等の要素によって置き換えられてもよい。なお、各ステップは、本開示で説明されている順序と異なる順序で実行されてもよい。さらに、実施例又は例における様々な要素を様々な方法で組み合わせることができる。ここで記載された多くの要素が、技術の進化に伴って、本開示の後に現れる同等要素で置き換えられてもよいことが重要である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
