特許 7430277 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-01

(45)【発行日】2024-02-09

(54)【発明の名称】障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240202BHJP

   G08G 1/16 20060101ALI20240202BHJP

【ＦＩ】

G06T7/00 650

G06T7/00 350C

G08G1/16 A

【請求項の数】 18

(21)【出願番号】P 2022564312

(86)(22)【出願日】2021-09-24

(65)【公表番号】

(43)【公表日】2023-06-02

(86)【国際出願番号】 CN2021120162

(87)【国際公開番号】W WO2022083402

(87)【国際公開日】2022-04-28

【審査請求日】2022-10-28

(31)【優先権主張番号】202011138627.5

(32)【優先日】2020-10-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】シェン，ユアン

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０２０－１６７４４１（ＪＰ，Ａ）

【文献】特開２０１５－０４２９５２（ＪＰ，Ａ）

【文献】Chen FU et al.，“Camera-Based Semantic Enhanced Vehicle Segmentation for Planar LIDAR”，2018 21st International Conference on Intelligent Transportation Systems (ITSC)，2018年11月，DOI: 10.1109/ITSC.2018.8569413

【文献】Justin Lazarow et al.，“Learning Instance Occlusion for Panoptic Segmentation”，arXiv，2019年06月，https://doi.org/10.48550/arXiv.1906.05896

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

コンピュータデバイスが実行する障害物検出方法であって、
目標車両の位置する道路の道路シーン画像を取得するステップと、
前記道路シーン画像に対して障害物識別処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得するステップと、
各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、前記目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、
前記目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップと、
各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、前記目標車両の位置する道路に対応する障害物検出結果を決定するステップと、を含み、
前記目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップは、
前記目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得するステップと、
前記被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、を含む、ことを特徴とする、
障害物検出方法。

【請求項2】

目標車両の位置する道路の道路シーン画像を取得する前記ステップは、
前記目標車両が自動運転状態にある場合、前記目標車両に対応する画像収集装置から伝送された道路シーン画像を受信するステップであって、前記道路シーン画像は、前記画像収集装置が前記目標車両の位置する道路のリアルシーンを収集して得られた画像である、ステップを含む、ことを特徴とする、請求項１に記載の障害物検出方法。

【請求項3】

前記道路シーン画像に対して障害物識別処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得する前記ステップは、
前記道路シーン画像を障害物識別モデルに入力するステップであって、前記障害物識別モデルは、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含む、ステップと、
前記特徴抽出ネットワークにより、前記道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得するステップと、
前記インスタンス分割ネットワークにより、前記異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報を取得するステップと、
前記被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得するステップと、を含む、ことを特徴とする、
請求項１に記載の障害物検出方法。

【請求項4】

前記特徴抽出ネットワークは、特徴抽出バックボーンネットワーク及び特徴ピラミッドネットワークを含み、前記特徴抽出ネットワークにより、前記道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得する前記ステップは、
前記道路シーン画像を前記特徴抽出バックボーンネットワークに入力し、前記特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得するステップと、
前記異なるスケールのバックボーン特徴マップを前記特徴ピラミッドネットワークに入力し、前記特徴ピラミッドネットワークの処理により、異なるスケールに対応する複数の特徴マップを取得するステップと、を含む、ことを特徴とする、
請求項３に記載の障害物検出方法。

【請求項5】

前記インスタンス分割ネットワークは、領域生成ネットワーク、目標分類ネットワーク及び目標分割ネットワークを含み、前記インスタンス分割ネットワークにより、前記異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報を取得する前記ステップは、
前記異なるスケールの特徴マップをそれぞれ前記領域生成ネットワークに入力し、前記領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各特徴マップにそれぞれ対応する候補領域を取得するステップと、
前記目標分類ネットワークにより、各候補領域にそれぞれ対応する障害物種類を予測するステップと、
予測によって得られた各候補領域が属する障害物種類に基づいて、前記候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報を取得するステップと、を含む、ことを特徴とする、
請求項３に記載の障害物検出方法。

【請求項6】

各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定するステップは、
各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得するステップと、
異なる障害物に対応する候補領域間の重複率を計算するステップと、
重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定するステップと、を含む、ことを特徴とする、
請求項１に記載の障害物検出方法。

【請求項7】

前記測距装置は、カメラ及びレーダのうちの少なくとも１種を含み、前記目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得する前記ステップは、
前記目標車両に対応する前記測距装置が収集した測距データを取得するステップと、
前記測距装置に合わせたデータ前処理方式に応じて、前記測距データを前処理し、前処理後の測距データを取得するステップと、
前記測距装置に合わせた距離予測モデルにより、前記前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得するステップと、を含む、ことを特徴とする、
請求項１に記載の障害物検出方法。

【請求項8】

各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、前記目標車両の位置する道路に対応する障害物検出結果を決定する前記ステップは、
各障害物の測距結果、及び前記障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定するステップと、
各目標障害物間の相対的な被写界深度関係、各障害物の測距結果及び各障害物の危険レベルのうちの少なくとも１つを、前記目標車両の位置する道路に対応する障害物検出結果として決定するステップと、を含む、ことを特徴とする、
請求項１～７のいずれか一項に記載の障害物検出方法。

【請求項9】

各障害物の測距結果、及び前記障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定する前記ステップは、
各障害物の測距結果に基づいて、各障害物にそれぞれ対応する初期危険レベルを決定するステップと、
前記障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、前記目標障害物の初期危険レベルを補正し、対応する補正危険レベルを取得するステップと、
調整されていない障害物の初期危険レベル、及び前記目標障害物の補正危険レベルに基づいて、前記目標車両の位置する道路における各障害物にそれぞれ対応する危険レベルを決定するステップと、を含む、ことを特徴とする、
請求項８に記載の障害物検出方法。

【請求項10】

目標車両の位置する道路の道路シーン画像を取得する道路シーン画像取得モジュールと、
前記道路シーン画像に対して障害物識別処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得する障害物識別処理モジュールと、
各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、前記目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定する相対的な被写界深度関係決定モジュールと、
前記目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得する測距結果取得モジュールと、
各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、前記目標車両の位置する道路に対応する障害物検出結果を決定する障害物検出結果決定モジュールと、を含み、
前記相対的な被写界深度関係決定モジュールは、さらに、
前記目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得し、
前記被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定する、ことを特徴とする、
障害物検出装置。

【請求項11】

前記道路シーン画像取得モジュールは、さらに、
前記目標車両が自動運転状態にある場合、前記目標車両に対応する画像収集装置から伝送された道路シーン画像を受信し、前記道路シーン画像は、前記画像収集装置が前記目標車両の位置する道路のリアルシーンを収集して得られた画像である、ことを特徴とする、
請求項１０に記載の障害物検出装置。

【請求項12】

前記障害物識別処理モジュールは、さらに、
前記道路シーン画像を障害物識別モデルに入力し、前記障害物識別モデルは、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含み、
前記特徴抽出ネットワークにより、前記道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得し、
前記インスタンス分割ネットワークにより、前記異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報を取得し、
前記被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得する、ことを特徴とする、
請求項１０に記載の障害物検出装置。

【請求項13】

前記特徴抽出ネットワークは、特徴抽出バックボーンネットワーク及び特徴ピラミッドネットワークを含み、前記障害物識別処理モジュールは、さらに、
前記道路シーン画像を前記特徴抽出バックボーンネットワークに入力し、前記特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得し、
前記異なるスケールのバックボーン特徴マップを前記特徴ピラミッドネットワークに入力し、前記特徴ピラミッドネットワークの処理により、異なるスケールに対応する複数の特徴マップを取得する、ことを特徴とする、
請求項１２に記載の障害物検出装置。

【請求項14】

前記インスタンス分割ネットワークは、領域生成ネットワーク、目標分類ネットワーク及び目標分割ネットワークを含み、前記障害物識別処理モジュールは、さらに、
前記異なるスケールの特徴マップをそれぞれ前記領域生成ネットワークに入力し、前記領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各前記特徴マップにそれぞれ対応する候補領域を取得し、
前記目標分類ネットワークにより、各候補領域にそれぞれ対応する障害物種類を予測し、
予測によって得られた各候補領域が属する障害物種類に基づいて、前記候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報を取得する、ことを特徴とする、
請求項１２に記載の障害物検出装置。

【請求項15】

前記相対的な被写界深度関係決定モジュールは、さらに、
各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得し、
異なる障害物に対応する候補領域間の重複率を計算し、
重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定する、ことを特徴とする、
請求項１０に記載の障害物検出装置。

【請求項16】

前記測距装置は、カメラ及びレーダのうちの少なくとも１種を含み、前記測距結果取得モジュールは、さらに、
前記目標車両に対応する前記測距装置が収集した測距データを取得し、
前記測距装置に合わせたデータ前処理方式に応じて、前記測距データを前処理し、前処理後の測距データを取得し、
前記測距装置に合わせた距離予測モデルにより、前記前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得する、ことを特徴とする、
請求項１０に記載の障害物検出装置。

【請求項17】

コンピュータ読み取り可能な命令が記憶されているメモリと、１つ又は複数のプロセッサと、を含む、コンピュータデバイスであって、前記コンピュータ読み取り可能な命令が前記プロセッサにより実行される場合、前記１つ又は複数のプロセッサに請求項１～９のいずれか一項に記載の方法のステップを実行させる、ことを特徴とする、コンピュータデバイス。

【請求項18】

１つ又は複数のプロセッサが実行するコンピュータプログラムであって、請求項１～９のいずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の参照）
本願は、２０２０年１０月２２日に中国国家知識産権局に提出した、出願番号が２０２０１１１３８６２７５、発明の名称が「障害物検出方法、装置、コンピュータデバイス及び記憶媒体」の中国特許出願の優先権を主張するものであり、その全ての内容は、参照により本願に組み込まれるものとする。

【0002】

（技術分野）
本願は、コンピュータの技術分野に関し、特に障害物検出方法、装置、コンピュータデバイス及び記憶媒体に関する。

【背景技術】

【0003】

人工知能技術の発展に伴い、自動運転技術が登場し、自動運転技術は、人工知能、ビジュアルコンピューティング、レーダ、監視装置及び全地球測位システムの協働により、コンピュータシステムが人間の能動的な操作がない状態で、自動車を自動的かつ安全に制御する。現在、センサにより障害物に対して距離検出を行うことができ、距離検出によって得られた障害物から車両までの距離に基づいて、障害物の車両に対する危険レベルを決定して、危険レベルが高い障害物をタイムリーに回避して自動運転を実現する。

【0004】

しかしながら、オーバーラップ又は遮蔽が発生する２つ以上の障害物に対して、上記距離検出方式を採用すると、常に、これらの障害物間の相対的な位置関係を正確に判断できず、さらに障害物に対する検出結果が不正確になる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の様々な実施例によれば、障害物を正確に検出可能な障害物検出方法、装置、コンピュータデバイス及び記憶媒体を提供する。

【課題を解決するための手段】

【0006】

コンピュータデバイスが実行する障害物検出方法は、
目標車両の位置する道路の道路シーン画像を取得するステップと、
道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得するステップと、
各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、
目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップと、
各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定するステップと、を含む。

【0007】

障害物検出装置は、
目標車両の位置する道路の道路シーン画像を取得する道路シーン画像取得モジュールと、
道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得する障害物識別処理モジュールと、
各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定する相対的な被写界深度関係決定モジュールと、
目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得する測距結果取得モジュールと、
各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定する障害物検出結果決定モジュールと、を含む。

【0008】

コンピュータデバイスは、コンピュータ読み取り可能な命令が記憶されているメモリと、１つ又は複数のプロセッサとを含み、コンピュータ読み取り可能な命令がプロセッサにより実行される場合、１つ又は複数のプロセッサに、
目標車両の位置する道路の道路シーン画像を取得するステップと、
道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得するステップと、
各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、
目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップと、
各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定するステップと、を実行させる。

【0009】

１つ又は複数の不揮発性読み取り可能な記憶媒体は、コンピュータ読み取り可能な命令を記憶しており、コンピュータ読み取り可能な命令が１つ又は複数のプロセッサにより実行される場合、１つ又は複数のプロセッサに、
目標車両の位置する道路の道路シーン画像を取得するステップと、
道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得するステップと、
各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、
目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップと、
各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定するステップと、を実行させる。

【0010】

本願の１つ又は複数の実施例の詳細は、以下の図面及び説明で述べられる。本願の他の特徴及び利点は、明細書、図面及び特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0011】

ここで説明された図面は、本願の更なる理解を提供するためのものであり、本願の一部を構成するものであり、本願の例示的な実施例及びその説明は、本願を解釈するためのものであり、本願を不当に限定するものではない。

【0012】

【図1】一実施例における障害物検出方法の適用環境図である。

【図2】一実施例における障害物検出方法のフローチャートである。

【図3】一実施例における障害物識別処理結果の概略図である。

【図4】一実施例における道路シーン画像中の障害物の概略図である。

【図5】一実施例における障害物識別ステップのフローチャートである。

【図6】一実施例における障害物識別モデルの概略構成図である。

【図7】別の実施例における障害物検出方法のフローチャートである。

【図8】一実施例における障害物検出装置の構成ブロック図である。

【図9】一実施例におけるコンピュータデバイスの内部構成図である。

【図10】一実施例におけるコンピュータデバイスの内部構成図である。

【発明を実施するための形態】

【0013】

本願の目的、技術的手段及び利点をより明確にするために、以下、図面及び実施例を参照しながら、本願をさらに詳細に説明する。理解されるように、ここで説明された具体的な実施例は、本願を説明するためのものに過ぎず、本願を限定するものではない。

【0014】

本願の実施例に係る技術的手段は、人工知能の機械学習などの技術に関し、具体的には、以下の実施例により説明し、本願に係る障害物検出方法は、コンピュータデバイスにより実行され、具体的には、図１に示すような適用環境に適用することができる。目標車両１０２は、ネットワークを介してコンピュータデバイス１０４と通信する。目標車両１０２は、その位置する道路の道路シーン画像を取得し、取得された道路シーン画像をコンピュータデバイス１０４にアップロードし、コンピュータデバイス１０４は、目標車両の位置する道路の道路シーン画像を取得する場合、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得し、コンピュータデバイス１０４は、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、コンピュータデバイス１０４は、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得し、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定する。また、コンピュータデバイス１０４は、さらに、該障害物検出結果を目標車両１０２に送信することにより、目標車両１０２が該障害物検出結果に基づいて障害物をタイムリーに回避することができる。

【0015】

目標車両は、自動運転自動車などであってもよいが、これらに限定されない。コンピュータデバイスは、端末又はサーバであってもよく、端末は、様々なパーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット及び携帯型ウェアラブルデバイスであってもよいが、これらに限定されず、サーバは、独立した物理サーバであってもよく、複数の物理サーバで構成されたサーバクラスタ又は分散システムであってもよく、さらにクラウドストレージ、ネットワークサービス、クラウド通信、ビッグデータ及び人工知能プラットフォームなどの基礎クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。端末及びサーバは、有線又は無線通信方式により直接的又は間接的に接続することができ、本願において限定されない。

【0016】

一実施例では、図２に示すように、障害物検出方法を提供し、該方法を図１におけるコンピュータデバイス（該コンピュータデバイスが具体的には端末又はサーバであってもよい）に適用することを例として説明し、以下のステップＳ２０２～Ｓ２１０を含む。

【0017】

Ｓ２０２では、目標車両の位置する道路の道路シーン画像を取得する。

【0018】

道路シーン画像は、道路のシーン情報を収集して得られた画像である。道路シーン画像は、車線及び障害物などの目標車両の周囲環境を反映することができ、障害物は、車両、歩行者、街灯、交通標識などを含む。道路シーン画像は、画像収集装置によってリアルタイムに収集された画像であってもよく、このように、目標車両が走行する過程において、道路シーン画像をリアルタイムに分析することにより、目標車両の位置する道路に対応する障害物検出結果を取得し、これにより、目標車両は、障害物検出結果に基づいて障害物をタイムリーに回避して走行する。

【0019】

一実施例では、コンピュータデバイスは、他のコンピュータデバイスがアップロードした道路シーン画像を受信することにより、目標車両の位置する道路の道路シーン画像を取得することができる。他のコンピュータデバイスは、目標車両又は目標車両に関連する画像収集装置であってもよい。

【0020】

具体的には、目標車両が自動運転状態にある場合、目標車両は、画像収集装置によりリアルシーンの画像を収集して目標車両の位置する道路シーン画像を取得した後、該道路シーン画像をコンピュータデバイスにアップロードし、これにより、コンピュータデバイスは、目標車両の位置する道路の道路シーン画像を取得する。画像収集装置は、目標車両に内蔵された画像収集装置であってもよく、外付けされた、目標車両に関連する画像収集装置であってもよく、例えば、目標車両は、接続線又はネットワークを介して外付けの画像収集装置に接続されてもよく、外付けの画像収集装置は、リアルシーンの画像を収集し、収集された画像を目標車両に伝送する。内蔵された画像収集装置は、カメラであってもよく、外付けされた、目標車両に関連する画像収集装置は、無人航空機のようなカメラを備える画像収集装置であってもよい。カメラは、具体的には、単眼カメラであってもよく、それに応じて、カメラによって収集された道路シーン画像は、単眼画像であり、単眼画像は、同じシーンに対する単一画像であり、具体的には、ＲＧＢ画像であってもよい。好ましくは、カメラを呼び出して走査モードを起動し、カメラ視野内の対象物をリアルタイムに走査し、指定されたフレームレートに応じて道路シーン画像をリアルタイムに生成する。カメラ視野は、カメラが撮影可能な領域である。

【0021】

Ｓ２０４では、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得する。

【0022】

障害物識別処理は、道路シーン画像における障害物を識別処理することであり、インスタンス分割処理及び被写界深度予測を含む。

【0023】

インスタンス分割とは、画素レベルで対象輪郭を識別するタスクであり、本願に係るインスタンス分割処理は、具体的には、道路シーン画像における異なる種類の障害物を正確に分割し、画像における各画素点を全て分類し、各画素点が属する種類を決定し、これにより、複数の画素領域を取得し、同じ種類に属する画素領域における異なる障害物を区別して、道路シーン画像における各障害物にそれぞれ対応する領域情報を取得することである。

【0024】

被写界深度予測とは、道路シーン画像における各障害物の深度情報を予測することであり、深度情報は、被写界深度情報と呼ばれてもよく、障害物の被写界深度情報は、障害物からカメラまでの距離であり、本願に係る被写界深度予測は、具体的には、道路シーン画像における各画素点の深度情報を全て予測し、各画素点の深度情報及びインスタンス分割によって決定された障害物にそれぞれ対応する領域情報に基づいて、各障害物にそれぞれ対応する被写界深度情報を予測することである。

【0025】

例を挙げて説明し、図３を参照すると、図３は、一実施例における障害物識別処理結果の概略図であり、異なる障害物は、それぞれ異なる領域情報３０２及び深度情報３０４に対応することが分かり、深度情報は、被写界深度予測によって得られた被写界深度値で示され、被写界深度値が小さいほど、対応する障害物が目標車両に近いことを示し、すなわち、被写界深度値の相対的な大きさは、障害物と目標車両との相対的な遠近関係を示す。

【0026】

なお、本願の実施例では、障害物識別処理の方式は、限定されず、道路シーン画像に対して障害物識別処理を行って各障害物にそれぞれ対応する領域情報及び被写界深度情報を取得することができればよい。

【0027】

一実施例では、コンピュータデバイスは、予めトレーニングされた障害物識別モデルに基づいて、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得する。該予めトレーニングされた障害物識別モデルは、畳み込みニューラルネットワーク構造を含んでもよく、該畳み込みニューラルネットワークは、畳み込み計算、正規化処理、活性化関数計算などの操作を実行することができる。

【0028】

一実施例では、障害物識別モデルのトレーニング方法としては、以下のような方法であってもよい。トレーニングサンプル画像及びトレーニングサンプル画像に対応するトレーニングラベルを取得し、トレーニングラベルは、対応するトレーニングサンプル画像における各画素点の属する種類及び対応する被写界深度情報をラベリングするためのものである。次に、障害物識別モデルのパラメータを初期化し、トレーニングサンプル画像データを障害物識別モデルに送信し、障害物にそれぞれ対応する予測領域情報及び予測被写界深度情報を取得する。次に、予測領域情報及び予測被写界深度情報とトレーニングラベルとの間の差異に対して、損失関数を採用し、勾配降下アルゴリズムに基づいて、障害物識別モデルのパラメータを最適化し、トレーニング停止条件を満たすまで、上記方法に応じて障害物識別モデルに対して反復トレーニングを行う。トレーニング停止条件は、反復回数が指定された回数に達するか、又は損失関数の変化量が指定された閾値より小さいことであってもよい。

【0029】

Ｓ２０６では、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定する。

【0030】

目標障害物は、取得された道路シーン画像における障害物のうち、遮蔽関係を有する障害物であり、遮蔽関係は、目標障害物の、取得された道路シーン画像における対応する領域情報に共通部分があることを示し、相対的な被写界深度関係は、目標障害物から目標車両までの相対的な遠近関係である。理解できるように、遮蔽関係を有する各目標障害物と目標車両との距離が異なり、すなわち、各目標障害物の被写界深度情報が異なり、例えば、障害物Ａが障害物Ｂを遮蔽すると、対応する障害物Ａから目標車両までの距離は、障害物Ｂから目標車両までの距離より小さく、すなわち、障害物Ｂに対して、障害物Ａと目標車両との距離がより近く、異なる目標障害物から目標車両までの距離の相対的な遠近関係は、すなわち目標障害物の相対的な被写界深度関係である。

【0031】

一実施例では、コンピュータデバイスは、予めトレーニングされた障害物識別モデルに基づいて、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報及び被写界深度情報を取得した後、該障害物識別モデルにより、各障害物にそれぞれ対応する領域情報に基づいて、異なる障害物間の領域情報に共通部分があるか否かを決定し、共通部分がある領域情報に対応する障害物を、遮蔽関係を有する目標障害物として決定し、目標障害物の被写界深度情報に基づいて目標障害物から目標車両までの相対的な遠近を決定し、各目標障害物間の相対的な被写界深度関係を取得する。

【0032】

具体的には、予め定められた文字により、任意の２つの目標障害物間の相対的な被写界深度関係を示すことができ、例えば、「－１」、「０」、「１」で各目標障害物間の相対的な被写界深度関係を示し、障害物Ａと障害物Ｂの相対的な被写界深度関係が「－１」である場合、障害物Ａが障害物Ｂを遮蔽することを示し、「（障害物Ａ、障害物Ｂ、－１）」と記してもよく、障害物Ａと障害物Ｂの相対的な被写界深度関係が「０」である場合、障害物Ａと障害物Ｂの間に遮蔽関係がないことを示し、「（障害物Ａ、障害物Ｂ、０）」と記してもよく、障害物Ａと障害物Ｂの相対的な被写界深度関係が「１」である場合、障害物Ａが障害物Ｂに遮蔽されることを示し、「（障害物Ａ、障害物Ｂ、１）」と記してもよい。

【0033】

理解できるように、２つの目標障害物間の相対的な被写界深度関係は、道路シーン画像に対応する各目標障害物間の相対的な被写界深度関係の最小単位であり、例えば、図４に示す道路シーン画像における目標障害物が障害物Ａ、障害物Ｂ、障害物Ｃ及び障害物Ｄであると、該道路シーン画像に対応する各目標障害物間の相対的な被写界深度関係は、「（障害物Ａ、障害物Ｂ、－１）、（障害物Ｂ、障害物Ｃ、０）、（障害物Ｃ、障害物Ｄ、１）」と記してもよく、障害物Ａが障害物Ｂを遮蔽し、障害物Ｂと障害物Ｃとの間に遮蔽関係がなく、障害物Ｃが障害物Ｄを遮蔽することを示す。

【0034】

Ｓ２０８では、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得する。

【0035】

測距装置は、リアルシーンにおける各障害物から目標車両までの距離を測定するための装置であり、該リアルシーンは、取得された道路シーン画像に対応するシーンである。目標車両に対応する測距装置は、目標車両に集積されるか又は取り付けられてもよく、本願は、これに限定されない。

【0036】

測距装置は、カメラ及びレーダのうちの少なくとも１種であってもよく、カメラは、単眼カメラ、両眼カメラ、深度カメラ、及び３Ｄ（３Ｄｉｍｅｎｓｉｏｎｓ、３次元）カメラなどであってもよく、好ましくは、カメラを呼び出して走査モードを起動し、カメラ視野内の対象物をリアルタイムに走査し、指定されたフレームレートに応じて測距のための測距データをリアルタイムに生成し、該測距データは、具体的には、障害物画像であってもよく、障害物画像は、測距装置に合わせた単眼画像、両眼画像、深度画像又は３Ｄ画像などであってもよい。レーダは、レーザレーダ、ミリ波レーダなどのレーダシステムであってもよい。レーザレーダは、レーザビームを照射することにより、対象物の位置、速度、姿勢及び形状などの特徴データを検出するレーダシステムである。ミリ波レーダは、ミリ波帯で検知するレーダシステムである。レーダシステムは、リアルタイムに、対象物に検出信号を送信し、対象物から反射されたエコー信号を受信し、検出情報とエコー信号との間の差異に基づいて、対象物の特徴データを決定する。レーダシステムは、複数の送信機及び受信機を採用し、これにより、リアルシーンにおける障害物に対応する測距のための測距データを取得し、該測距データは、具体的には、３次元点群データであってもよい。

【0037】

一実施例では、目標車両は、測距装置により測距データを収集した後、取得された測距データに基づいて、各障害物から目標車両までの推定距離を決定することができ、すなわち各障害物の測距結果を取得し、該測距結果をコンピュータデバイスにアップロードし、これにより、コンピュータデバイスは、目標車両に対応する収集装置が収集した各障害物に対する測距結果を取得する。

【0038】

一実施例では、目標車両は、測距装置により測距データを収集した後、該測距データをコンピュータデバイスにアップロードし、コンピュータデバイスは、測距装置が収集した測距データを受信した後、該測距データに基づいて各障害物から目標車両までの推定距離を決定し、これにより各障害物の測距結果を取得する。

【0039】

具体的には、異なる測距装置が収集した測距データのデータタイプは異なり、それに応じて該測距データに基づいて、各障害物の測距結果を決定する方式も異なり、具体的には、測距装置に合わせた距離予測モデルを採用して、測距データに基づいて各障害物に対する測距結果を取得することができる。距離予測モデルは、ニューラルネットワークモデルであり、単眼シングルフレーム測距モデル、単眼マルチフレーム測距モデル、両眼立体視測距モデル、レーダ目標検出測距モデル、及びレーダと単眼画像とを融合させた測距モデルなどを含む。

【0040】

例えば、測距データが単眼カメラによって収集されたシングルフレームの単眼画像である場合、単眼シングルフレーム測距方法で、シングルフレームの単眼画像における障害物から目標車両までの距離を推定し、測距結果を取得することができ、測距データが単眼カメラによって収集されたマルチフレームの単眼画像である場合、単眼マルチフレーム測距方法で、マルチフレームの単眼画像における障害物から目標車両までの距離を推定し、測距結果を取得することができ、測距データが両眼カメラによって収集された両眼画像である場合、両眼立体視測距方法で、両眼画像における障害物から目標車両までの距離を推定し、測距結果を取得することができ、測距データがレーダによって収集された３次元点群データである場合、レーダ目標検出測距アルゴリズムで、収集された３次元点群データに基づいて３次元点群データに対応する目標障害物から目標車両までの距離を推定し、測距結果を取得し、測距データが単眼カメラによって収集された単眼画像及びレーダによって収集された３次元点群データである場合、レーダと単眼画像を融合させた目標検出測距アルゴリズムで、収集された単眼画像及び３次元点群データに基づいて、単眼画像における障害物から目標車両までの距離を推定し、測距結果を取得する。

【0041】

Ｓ２１０では、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定する。

【0042】

障害物検出結果は、道路シーン画像に対応する障害物同士と目標車両との相対的な遠近関係を反映することができ、障害物検出結果は、各目標障害物間の相対的な被写界深度関係、各障害物の測距結果、及び各障害物の危険レベルのうちの少なくとも１つであり、危険レベルは、障害物の目標車両に対する危険度の表示であり、実際の適用シーンにおいて、目標車両は、危険レベルが高い目標障害物を優先的に回避する必要がある。

【0043】

一実施例では、Ｓ２１０は、各障害物の測距結果、及び障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定し、各目標障害物間の相対的な被写界深度関係、各障害物の測距結果及び各障害物の危険レベルのうちの少なくとも１つを、目標車両の位置する道路に対応する障害物検出結果として決定するステップを含む。

【0044】

具体的には、遮蔽関係を有する任意の２つの目標障害物のうちの遮蔽された目標障害物の危険レベルは、前景の目標障害物の危険レベルより低く、すなわち、遮蔽関係を有する２つの目標障害物のうちの、目標車両との距離が近い目標障害物の危険レベルがより高い。

【0045】

一実施例では、コンピュータデバイスが各障害物の測距結果、及び障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定するステップは、各障害物の測距結果に基づいて、各障害物にそれぞれ対応する初期危険レベルを決定するステップと、障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、目標障害物の初期危険レベルを補正し、対応する補正危険レベルを取得するステップと、調整されていない障害物の初期危険レベル、及び目標障害物の補正危険レベルに基づいて、目標車両の位置する道路における各障害物にそれぞれ対応する危険レベルを決定するステップと、を含む。初期危険レベルは、測距結果に合わせ、理解できるように、目標車両との距離が近い障害物ほど、目標車両に対する危険度が高く、すなわち、初期危険レベルが高い。

【0046】

具体的には、コンピュータデバイスは、障害物から目標車両までの測距結果に基づいて、障害物が属する距離区間を決定し、各距離区間に合わせた初期危険レベルを取得し、該初期危険レベルを障害物の初期危険レベルとして決定し、障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、目標障害物の相対的な注目レベルを決定し、該相対的な注目レベルに基づいて目標障害物の初期危険レベルを補正し、対応する補正危険レベルを取得し、調整されていない障害物の初期危険レベル、及び目標障害物の補正危険レベルを目標車両の位置する道路における各障害物にそれぞれ対応する危険レベルとして決定する。距離区間に合わせた初期危険レベルは、目標車両の走行シーンの変化に応じて変化することができ、目標車両の走行シーンは、道路シーン及び天気シーンを含み、道路シーンは、普通の市街地道路、繁華街道路及び高速道路などであってもよく、天気シーンは、晴天、雨雪天、霧などを含む。目標障害物の相対的な注目レベルは、遮蔽関係を有する目標障害物間の相対的な注目レベルを指し、例えば、障害物Ａが障害物Ｂを遮蔽すると、障害物Ａの相対的な注目レベルは、高い注目レベルであり、障害物Ｂの相対的な注目レベルは、低い注目レベルである。相対的な注目レベルに基づいて、目標障害物の初期危険レベルを補正する具体的な方式は、初期危険レベルが相対的な注目レベルに合わせる場合、初期危険レベルを補正危険レベルとして決定し、初期危険レベルが相対的な注目レベルに合わない場合、初期危険レベルを相対的な注目レベルに合わせる危険レベルに補正し、相対的な注目レベルに合わせる危険レベルを補正危険レベルとすることであってもよい。

【0047】

上記実施例について、例を挙げて説明する。例えば、目標車両が晴天で普通の市街地道路を走行する場合、該シーンで車速が４０ｋｍ／ｈであると仮定すると、検出された目標車両までの距離が１０ｍより小さい障害物の初期危険レベルを高い初期危険レベル（高と記す）として決定し、検出された目標車両までの距離が１０ｍ以上３０ｍより小さい障害物の初期危険レベルを中くらいの初期危険レベル（中と記す）として決定し、検出された目標車両までの距離が３０ｍ以上の障害物の初期危険レベルを低い初期危険レベル（低と記す）として決定する。検出された障害物Ａ及び障害物Ｂから目標車両までの距離がいずれも１０ｍより小さく、障害物Ａと障害物Ｂが遮蔽関係を有し、対応する相対的な被写界深度関係が「（障害物Ａ、障害物Ｂ、－１）」であれば、障害物Ａ及び障害物Ｂの初期危険レベルがいずれも高い初期危険レベル（高と記す）であると決定し、障害物Ａの相対的な注目レベルが高い注目レベル（高と記す）であり、障害物Ｂの相対的な注目レベルが低い注目レベル（低と記す）であると決定し、障害物Ａ及び障害物Ｂのそれぞれの相対的な注目レベルに基づいて、それぞれ障害物Ａ及び障害物Ｂの初期危険レベルを補正する場合、障害物Ａの高い初期危険レベルをそのまま保持し、障害物Ｂの初期危険レベルを高い初期危険レベルから低い危険レベルに補正し、検出された障害物のうちの障害物Ａ及び障害物Ｂ以外の障害物の初期危険レベル、障害物Ａ及び障害物Ｂの補正危険レベルを、目標車両の位置する道路における各障害物にそれぞれ対応する危険レベルに決定する。

【0048】

上記障害物検出方法において、コンピュータデバイスは、取得された目標車両の位置する道路の道路シーン画像に対して障害物識別処理を行うことにより、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得し、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、これにより、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得した後、オーバーラップ又は遮蔽が発生する２つ以上の目標障害物に対しても、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を正確に決定することができ、さらに正確な障害物検出結果に基づいて、危険レベルが高い障害物をタイムリーに回避し、自動運転の安全信頼性を向上させる。

【0049】

本願は、さらに、上記障害物検出方法を適用する適用シーンを提供する。具体的には、該障害物検出方法の該適用シーンでの適用は、以下のとおりである。

【0050】

コンピュータデバイスは、目標車両の位置する道路の道路シーン画像を取得した後、障害物識別モデルにより道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報及び被写界深度情報を取得し、各障害物にそれぞれ対応する領域情報に基づいて、障害物のうちの遮蔽関係を有する目標障害物間の相対的な被写界深度関係を決定する。同時に、コンピュータデバイスは、さらに、目標車両がレーダにより収集した３次元点群データを受信し、該３次元点群データを画像座標系に投影することにより、点群画像を取得し、該点群画像に基づいて各障害物の測距結果を取得し、すなわち各障害物から目標車両までの距離を取得し、該距離に基づいて各障害物に対応する初期危険レベル（低、中、高を含む）を決定し、次に目標障害物間の相対的な被写界深度関係に基づいて各障害物のうちの目標障害物の初期危険レベルを補正し、各目標障害物の補正危険レベルを取得し、補正されていない障害物の初期危険レベル及び目標障害物の補正危険レベルを各目標障害物の危険レベルとして決定し、次に各障害物の測距結果、目標障害物の相対的な被写界深度関係及び各障害物の危険レベルを障害物検出結果として出力し、すなわち障害物の３Ｄ空間物理的距離、被写界深度関係及び危険レベルを出力する。

【0051】

一実施例では、図５に示すように、Ｓ２０４は、具体的には、以下のステップＳ５０２～Ｓ５０８を含む。

【0052】

Ｓ５０２では、道路シーン画像を、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含む障害物識別モデルに入力する。

【0053】

障害物識別モデルは、ニューラルネットワークモデルであり、具体的には、畳み込みニューラルネットワーク構造を含んでもよく、該畳み込みニューラルネットワークは、畳み込み計算、正規化処理、活性化関数計算などの操作を実行することができる。

【0054】

Ｓ５０４では、特徴抽出ネットワークにより、道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得する。

【0055】

特徴抽出ネットワークは、道路シーン画像に対して特徴抽出操作を行うためのものであり、特徴抽出バックボーンネットワーク（Ｂａｃｋｂｏｎｅ）及び特徴ピラミッドネットワーク（Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓ、ＦＰＮ）を含んでもよい。

【0056】

一実施例では、コンピュータデバイスは、道路シーン画像を特徴抽出バックボーンネットワークに入力し、特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得し、異なるスケールのバックボーン特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドネットワークの処理により、異なるスケールに対応する複数の特徴マップを取得する。特徴ピラミッドネットワークは、複数のアップサンプリングモジュールを含み、各アップサンプリングモジュールは、それぞれアップサンプリングネットワーク層、正規化層及び活性化層で構成される。アップサンプリングモジュールの数は、特徴抽出バックボーンネットワークにより抽出された異なるスケールのバックボーン特徴マップの数と同じである。

【0057】

具体的には、異なるスケールの畳み込みネットワーク層は、各畳み込みネットワーク層から出力された特徴マップの画像サイズが異なることを指す。コンピュータデバイスは、異なるスケールに対応する複数のバックボーン特徴マップを取得した後、異なるスケールの該複数のバックボーン特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドのアップサンプリングモジュールにより、入力された各バックボーン特徴マップに対してアップサンプリング処理を行い、バックボーン特徴マップの拡大を実現し、拡大されたバックボーン特徴マップを取得し、拡大されたバックボーン特徴マップを入力された目標バックボーン特徴マップと融合し、融合された対応するスケールの特徴マップを取得し、目標バックボーン特徴マップは、拡大されたバックボーン特徴マップのスケールと同じであるバックボーン特徴マップであり、これにより、異なるスケールに対応する複数の特徴マップを取得する。

【0058】

Ｓ５０６では、インスタンス分割ネットワークにより、異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報を取得する。

【0059】

インスタンス分割ネットワークは、道路シーン画像における障害物に対してインスタンス分割処理を行うことを実現するためのものであり、具体的には、領域生成ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ、ＲＰＮ）、目標分類ネットワーク及び目標分割ネットワークを含む。

【0060】

一実施例では、コンピュータデバイスは、異なるスケールの特徴マップをそれぞれ領域生成ネットワークに入力し、領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各特徴マップにそれぞれ対応する候補領域を取得し、目標分類ネットワークにより、各候補領域にそれぞれ対応する障害物種類を予測し、予測によって得られた各候補領域が属する障害物種類に基づいて、候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報を取得する。

【0061】

具体的には、予め定められたスケールは、複数の異なるスケールであってもよく、例えば、予め定められたスケールは、それぞれ３×３及び１×１である。領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、複数の候補枠を生成することができ、各候補枠に含まれる領域は、候補領域であり、これにより、各特徴マップにそれぞれ対応する候補領域を取得し、次に、領域特徴集約モジュール（ＲＯＩ Ａｌｉｇｎ）により候補領域に対応する特徴マップの一部を目標分類ネットワークに入力して、目標分類ネットワークにより各候補領域に対応する障害物を分類し、各候補領域に対応する障害物種類を取得し、障害物種類に属する候補領域を目標分割ネットワークに入力し、目標分割ネットワークにより候補領域から障害物の領域情報を抽出する。

【0062】

Ｓ５０８では、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得する。

【0063】

被写界深度予測ネットワークは、道路シーン画像における各障害物の被写界深度情報を予測するためのものであり、本願の他の実施例では、該被写界深度予測ネットワークは、さらに、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度情報を決定することができる。

【0064】

具体的には、コンピュータデバイスは、被写界深度予測ネットワークにより、道路シーン画像における各画素点の深度情報を全て予測し、各画素点の深度情報及びインスタンス分割によって決定された障害物にそれぞれ対応する領域情報に基づいて、各障害物にそれぞれ対応する被写界深度情報を予測する。

【0065】

一実施例では、図６を参照すると、図６は、一実施例における障害物識別モデルの概略構成図である。障害物識別モデルは、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワーク（Ｒｅｌａｔｉｏｎ Ａｗａｒｅ Ｈｅａｄ）を含むことが見られる。

【0066】

特徴抽出ネットワークは、特徴抽出バックボーンネットワーク（Ｂａｃｋｂｏｎｅ）及び特徴ピラミッドネットワーク（ＦＰＮ）を含み、インスタンス分割ネットワークは、領域生成ネットワーク（ＲＰＮ）、目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）及び目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）を含み、特徴抽出バックボーンネットワーク（Ｂａｃｋｂｏｎｅ）は、異なるスケールの畳み込みモジュールを含み、各畳み込みモジュールは、畳み込みネットワーク層（Ｃｏｎｖｏｌｕｔｉｏｎ）、正規化層（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）及び活性化層（Ｒｅｌｕ）で構成され、特徴ピラミッドネットワーク（ＦＰＮ）は、複数のアップサンプリングモジュールを含み、各アップサンプリングモジュールは、それぞれアップサンプリングネットワーク層（ｂｉｌｉｎｅａｒ ｕｐｓａｍｐｌｉｎｇ）、正規化層及び活性化層で構成される。アップサンプリングモジュールの数は、特徴抽出バックボーンネットワークにより抽出された異なるスケールのバックボーン特徴マップの数と同じである。

【0067】

インスタンス分割ネットワークは、領域生成ネットワーク（ＲＰＮ）、目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）及び目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）を含み、領域生成ネットワーク（ＲＰＮ）は、複数の予め定められたスケールの畳み込みモジュールを含み、異なるスケールの特徴マップから候補領域を抽出するためのものであり、目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）は、畳み込みモジュール及びフルメッシュモジュールを含み、各候補領域の種類を予測し、候補領域に対応する候補枠位置に回帰するためのものであり、目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）は、複数の畳み込みモジュールを含み、候補領域に対して非線形変換を行うためのものであり、これにより、障害物に対するインスタンス分割を実現する。

【0068】

被写界深度予測ネットワーク（Ｒｅｌａｔｉｏｎ Ａｗａｒｅ Ｈｅａｄ）は、異なるスケールの畳み込みモジュール及びダウンサンプリングモジュールを含み、各候補領域に対応する障害物の被写界深度情報を予測し、遮蔽関係を有する目標障害物の相対的な被写界深度関係を決定することを実現するためのものである。

【0069】

例を挙げて説明し、続けて図６を参照すると、特徴抽出バックボーンネットワークが４つの異なるスケールの畳み込みモジュールを含むと仮定し、一枚のＷ＊Ｈ＊Ｃ（Ｗが画像の長さを表し、Ｈが画像の幅を表し、Ｃが画像のチャネル数を表す）のＲＧＢ画像を特徴抽出バックボーンネットワークに入力し、１つの畳み込みモジュールを通過するごとに、該畳み込みモジュールからの出力画像の画像面積が入力画像の画像面積の１／４となり、これにより４つの異なるスケールのバックボーン特徴マップを取得し、取得された４つの異なるスケールの特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドのアップサンプリングモジュールにより４つの異なるスケールのバックボーン特徴マップにおける最小スケールのバックボーン特徴マップに対してアップサンプリング処理を行い、バックボーン特徴マップに対する拡大を実現し、拡大されたバックボーン特徴マップを取得し、以下の式で示される。
Ｗ_ｏｕｔ×Ｈ_ｏｕｔ＝（２×Ｗ_ｉｎ）×（２×Ｈ_ｉｎ）
ここで、Ｗ_ｏｕｔは、出力画像の長さであり、Ｈ_ｏｕｔは、出力画像の幅であり、Ｗ_ｉｎは、入力画像の長さであり、Ｈ_ｉｎは、入力画像の幅である。特徴ピラミッドネットワークは、拡大されたバックボーン特徴マップを取得した後、拡大されたバックボーン特徴マップを入力された目標バックボーン特徴マップと融合することにより、融合された４つの異なるスケールの特徴マップを取得し、特徴ピラミッドのダウンサンプリングモジュールにより４つの異なるスケールのバックボーン特徴マップにおける最小スケールのバックボーン特徴マップに対してダウンサンプリング処理を行い、新たなスケールの特徴マップを取得し、これにより特徴ピラミッドネットワークにより５つの異なるスケールの特徴マップを取得する。

【0070】

領域生成ネットワーク（ＲＰＮ）により、それぞれ５つの異なるスケールの特徴マップから候補領域を抽出し、領域特徴集約モジュール（ＲＯＩ ａｌｉｇｎ）により、候補領域に対応する特徴マップの一部を目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）に入力し、候補領域が検出対象の障害物種類であれば、該障害物種類（ｃｌａｓｓ）を出力し、候補枠位置（ｂｏｕｎｄｂｏｘ）に回帰し、該候補領域を目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）に入力し、目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）により、候補領域に対して二値分類分割を行い、すなわち、前景と背景に分割し、前景が障害物領域であり、これにより、障害物の領域情報（Ｍａｓｋ）を抽出し、目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）から出力された障害物種類を領域情報に対応する障害物種類とする。

【0071】

特徴融合モジュール（ｃｏｎｃａｔ）及び最大プーリングモジュール（ｍａｘ ｐｏｌｌｉｎｇ）により、インスタンス分割の結果（すなわち、障害物のノーコメント情報及び障害物種類）を被写界深度予測ネットワーク（Ｒｅｌａｔｉｏｎ Ａｗａｒｅ Ｈｅａｄ）に入力し、被写界深度予測ネットワーク（Ｒｅｌａｔｉｏｎ Ａｗａｒｅ Ｈｅａｄ）により、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度値を出力する。

【0072】

上記実施例では、コンピュータデバイスは、道路シーン画像を、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含む障害物識別モデルに入力し、特徴抽出ネットワークにより、道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得し、インスタンス分割ネットワークにより、異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報を取得し、これにより、道路シーン画像における異なるスケールの障害物に対して、いずれも領域情報の正確な抽出を行うことができ、さらに、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて各障害物に対して被写界深度予測を行い、これにより各障害物にそれぞれ対応する被写界深度情報を取得し、道路シーン画像における異なるスケールの障害物の領域情報及び深度情報の正確な取得を実現し、さらに障害物検出の精度を向上させる。

【0073】

一実施例では、コンピュータデバイスが各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定するステップは、各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得し、異なる障害物に対応する候補領域間の重複率を計算し、重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定するステップを含む。

【0074】

具体的には、コンピュータデバイスは、障害物識別を行う過程において、インスタンス分割ネットワークにおける領域生成ネットワークを採用して候補領域を抽出する場合、候補領域に対応する候補枠を取得し、具体的には、候補枠のサイズ及び座標を含む。コンピュータデバイスは、各障害物にそれぞれ対応する領域情報に基づいて各障害物に対応する候補領域を決定し、具体的には、各障害物に対応する候補枠を決定し、各候補枠のサイズ及び座標に基づいて異なる障害物に対応する候補枠間の重複率を計算し、重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定することである。重複率閾値は、実際の適用シーンに応じて設定することができる。

【0075】

上記実施例では、コンピュータデバイスは、各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得し、異なる障害物に対応する候補領域間の重複率を計算し、これにより、障害物に対応する候補領域間の重複率に基づいて、遮蔽関係を有する目標障害物を決定することができ、さらに目標障害物の被写界深度関係を決定することを実現し、障害物検出の精度を向上させる。

【0076】

一実施例では、コンピュータデバイスが目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップは、目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得するステップと、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、を含む。

【0077】

具体的には、コンピュータデバイスで得られた障害物の被写界深度情報は、被写界深度値であり、被写界深度値の大きさは、障害物から目標車両までの距離の遠近を示し、例えば、被写界深度値が小さいほど、障害物から目標車両までの距離が近いことを示し、被写界深度値が大きいほど、障害物から目標車両までの距離が遠いことを示す。コンピュータデバイスが目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートすることは、具体的には、被写界深度値の大きさに応じて目標障害物を近い順にソートし、目標障害物に対する被写界深度のソート結果を取得することであってもよい。コンピュータデバイスは、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定した後、予め定められた文字により任意の２つの目標障害物間の相対的な被写界深度関係を示すことができ、例えば、「－１」、「０」、「１」で各目標障害物間の相対的な被写界深度関係を示す。

【0078】

上記実施例では、コンピュータデバイスは、目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得し、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、さらに目標車両の位置する道路に対応する障害物検出結果を正確に決定し、障害物検出の精度を向上させる。

【0079】

一実施例では、コンピュータデバイスが、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップは、目標車両に対応する測距装置が収集した測距データを取得するステップと、測距装置に合わせたデータ前処理方式に応じて、測距データを前処理し、前処理後の測距データを取得するステップと、測距装置に合わせた距離予測モデルにより、前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得するステップと、を含む。測距装置は、カメラ及びレーダのうちの少なくとも１種を含む。

【0080】

具体的には、測距装置が収集した測距データのデータタイプが異なり、該測距データに基づいて各障害物の測距結果を決定する方式も異なり、具体的には、測距装置に合わせた距離予測モデルを採用して、測距データに基づいて各障害物に対する測距結果を取得することができ、距離予測モデルを使用して測距結果を取得する前に、距離予測モデルに合わせたデータ前処理方式を予め使用して測距データを前処理する必要がある。距離予測モデルに合わせたデータ前処理方式は、すなわち、測距装置に合わせたデータ前処理方式であり、データ前処理方式は、画像前処理方式又は点群データ前処理方式を含み、画像前処理方式は、画像階調化、幾何学的変換及び画像強調などの処理のうちの少なくとも１種であってもよく、点群データ前処理は、点群データを座標系に投影することにより、点群画像を取得することであってもよい。

【0081】

例えば、測距データがカメラによって収集された単眼画像又は両眼画像である場合、画像前処理方式を採用して、収集された単眼画像又は両眼画像を前処理し、前処理後の単眼画像又は両眼画像を取得してもよく、収集された画像データが３次元点群データである場合、点群データ前処理方式を採用して、３次元点群データを前処理し、点群画像を取得してもよい。

【0082】

上記実施例では、コンピュータデバイスは、目標車両に対応する測距装置が収集した測距データを取得し、測距装置に合わせたデータ前処理方式に応じて、測距データを前処理し、前処理後の測距データを取得し、測距装置に合わせた距離予測モデルにより、前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得し、障害物検出の精度を向上させる。

【0083】

一実施例では、図７に示すように、さらに障害物検出方法を提供し、該方法を、図１のコンピュータデバイス１０４に適用することを例として説明し、以下のステップＳ７０２～Ｓ７３６を含む。

【0084】

Ｓ７０２では、目標車両が自動運転状態にある場合、目標車両に対応する画像収集装置から伝送された道路シーン画像を受信する。

【0085】

Ｓ７０４では、道路シーン画像を障害物識別モデルに入力し、障害物識別モデルは、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含み、特徴抽出ネットワークは、特徴抽出バックボーンネットワーク及び特徴ピラミッドネットワークを含み、インスタンス分割ネットワークは、領域生成ネットワーク、目標分類ネットワーク及び目標分割ネットワークを含む。

【0086】

Ｓ７０６では、道路シーン画像を特徴抽出バックボーンネットワークに入力し、特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得する。

【0087】

Ｓ７０８では、異なるスケールのバックボーン特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドネットワークの処理により、異なるスケールに対応する複数の特徴マップを取得する。

【0088】

Ｓ７１０では、異なるスケールの特徴マップをそれぞれ領域生成ネットワークに入力し、領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各特徴マップにそれぞれ対応する候補領域を取得する。

【0089】

Ｓ７１２では、目標分類ネットワークにより、各候補領域にそれぞれ対応する障害物種類を予測する。

【0090】

Ｓ７１４では、予測によって得られた各候補領域が属する障害物種類に基づいて、候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報を取得する。

【0091】

Ｓ７１６では、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得する。

【0092】

Ｓ７１８では、各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得する。

【0093】

Ｓ７２０では、異なる障害物に対応する候補領域間の重複率を計算する。

【0094】

Ｓ７２２では、重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定する。

【0095】

Ｓ７２４では、目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得する。

【0096】

Ｓ７２６では、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定する。

【0097】

Ｓ７２８では、目標車両に対応する測距装置が収集した測距データを取得する。

【0098】

Ｓ７３０では、測距装置に合わせたデータ前処理方式に応じて、測距データを前処理し、前処理後の測距データを取得する。

【0099】

Ｓ７３２では、測距装置に合わせた距離予測モデルにより、前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得する。

【0100】

Ｓ７３４では、各障害物の測距結果、及び障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定する。

【0101】

Ｓ７３６では、各目標障害物間の相対的な被写界深度関係、各障害物の測距結果及び各障害物の危険レベルのうちの少なくとも１つを、目標車両の位置する道路に対応する障害物検出結果として決定する。

【0102】

本願は、さらに、上記障害物検出方法を適用する適用シーンを提供する。具体的には、該障害物検出方法の該適用シーンでの適用は、以下のとおりである。

【0103】

自動運転状態にある目標車両は、走行中に、一方では、単眼カメラにより目標車両の位置する道路の道路シーン画像（単眼画像）を収集し、該道路シーン画像をコンピュータデバイスに伝送し、道路シーン画像は、目標車両の周囲環境、例えば、車線及び障害物を反映することができ、障害物は、車両、歩行者、街灯、交通標識などを含み、他方では、レーダにより目標車両の位置する道路における各障害物の３次元点群データを収集し、該３次元点群データをコンピュータデバイスに伝送する。

【0104】

コンピュータデバイスは、目標車両の道路シーン画像を取得した後、道路シーン画像を、特徴抽出バックボーンネットワーク（Ｂａｃｋｂｏｎｅ）及び特徴ピラミッドネットワーク（ＦＰＮ）を含む特徴抽出ネットワークと、領域生成ネットワーク（ＲＰＮ）、目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）及び目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）を含むインスタンス分割ネットワークと、被写界深度予測ネットワーク（Ｒｅｌａｔｉｏｎ Ａｗａｒｅ Ｈｅａｄ）と、を含む障害物識別モデルに入力し、特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得し、異なるスケールのバックボーン特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドネットワークにおけるアップサンプリングモジュール及びダウンサンプリングモジュールの処理により、異なるスケールに対応する複数の特徴マップを取得し、異なるスケールの特徴マップをそれぞれ領域生成ネットワークに入力し、領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各特徴マップにそれぞれ対応する候補領域を取得し、目標分類ネットワークにより各候補領域にそれぞれ対応する障害物種類を予測し、予測によって得られた各候補領域が属する障害物種類に基づいて、候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報（ｍａｓｋ）を取得し、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得し、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報（ｍａｓｋ）に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域（候補枠）を取得し、候補領域に基づいて遮蔽関係を有する目標障害物を決定し、さらに予測された各障害物の被写界深度情報と組み合わせて目標障害物を被写界深度の順にソートし、目標障害物間の被写界深度のソート関係（すなわち、相対的な被写界深度関係）を取得する。

【0105】

コンピュータデバイスは、目標車両の位置する道路における障害物の３次元点群データを取得した後、３次元点群データを画像座標系に投影することにより、点群画像を取得し、点群画像に基づいて各障害物から目標車両までの距離を決定し、目標車両までの距離に基づいて各障害物の初期危険レベルを決定し、道路シーン画像における目標障害物間の被写界深度のソート関係を取得した後、該被写界深度のソート関係に基づいて障害物のうちの目標障害物の初期危険レベルを補正し、目標障害物の補正危険レベルを取得し、補正されていない障害物の初期危険レベル及び目標障害物の補正危険レベルを各障害物の危険レベルとして決定する。具体的には、目標障害物が他の障害物に遮蔽されると、その補正危険レベルが低いと決定し、目標障害物の初期危険レベルが被写界深度のソート結果に合わないと、被写界深度のソート結果を基準として障害物の初期危険レベルを補正する。

【0106】

コンピュータデバイスは、各障害物の危険レベルを取得した後、各障害物から目標車両までの距離、各障害物間の被写界深度のソート関係及び各障害物の注目レベルを障害物検出結果として出力する。

【0107】

図２、図５及び図７のフローチャートにおける各ステップは、矢印の指示に従って順に表示されているが、これらのステップは必ずしも矢印で指示した順に実行されるわけではないことを理解されたい。本明細書に明確な記載があることを除外、これらのステップの実行は、厳格に順に行われるものではなく、これらのステップは他の順に従って実行されてもよい。そして、図２、図５及び図７における少なくとも一部のステップは、複数のステップ又は複数の段階を含んでもよく、これらのステップ又は段階は、必ずしも同じタイミングで実行されて完了するわけではなく、異なるタイミングで実行されてもよく、これらのステップ又は段階の実行順序も必ず順に行われるわけではなく、他のステップ又は他のステップにおけるステップ又は段階の少なくとも一部に対して、順番にまたは交替に実行されてもよい。

【0108】

一実施例では、図８に示すように、障害物検出装置を提供し、該装置は、ソフトウェアモジュール又はハードウェアモジュール、又は両者の組み合わせを採用してコンピュータデバイスの一部となり、該装置は、具体的には、道路シーン画像取得モジュール８０２と、障害物識別処理モジュール８０４と、相対的な被写界深度関係決定モジュール８０６と、測距結果取得モジュール８０８と、障害物検出結果決定モジュール８１０とを含み、
道路シーン画像取得モジュール８０２は、目標車両の位置する道路の道路シーン画像を取得し、
障害物識別処理モジュール８０４は、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得し、
相対的な被写界深度関係決定モジュール８０６は、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、
測距結果取得モジュール８０８は、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得し、
障害物検出結果決定モジュール８１０は、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定する。

【0109】

一実施例では、道路シーン画像取得モジュール８０２は、さらに、目標車両が自動運転状態にある場合、目標車両に対応する画像収集装置から伝送された道路シーン画像を受信し、道路シーン画像は、画像収集装置が目標車両の位置する道路のリアルシーンを収集して得られた画像である。

【0110】

一実施例では、障害物検出結果決定モジュール８１０は、さらに、各障害物の測距結果、及び障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定し、各目標障害物間の相対的な被写界深度関係、各障害物の測距結果及び各障害物の危険レベルのうちの少なくとも１つを、目標車両の位置する道路に対応する障害物検出結果として決定する。

【0111】

一実施例では、障害物検出結果決定モジュール８１０は、さらに、各障害物の測距結果に基づいて、各障害物にそれぞれ対応する初期危険レベルを決定し、障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、目標障害物の初期危険レベルを補正し、対応する補正危険レベルを取得し、調整されていない障害物の初期危険レベル、及び目標障害物の補正危険レベルに基づいて、目標車両の位置する道路における各障害物にそれぞれ対応する危険レベルを決定する。

【0112】

上記実施例では、取得された目標車両の位置する道路の道路シーン画像に対して障害物識別処理を行うことにより、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得し、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、これにより、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得した後、オーバーラップ又は遮蔽が発生する２つ以上の目標障害物に対しても、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を正確に決定することができ、さらに正確な障害物検出結果に基づいて、危険レベルが高い障害物をタイムリーに回避し、自動運転の安全信頼性を向上させる。

【0113】

一実施例では、障害物識別処理モジュール８０４は、さらに、道路シーン画像を、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含む障害物識別モデルに入力し、特徴抽出ネットワークにより、道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得し、インスタンス分割ネットワークにより、異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報を取得し、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得する。

【0114】

一実施例では、特徴抽出ネットワークは、特徴抽出バックボーンネットワーク及び特徴ピラミッドネットワークを含み、障害物識別処理モジュール８０４は、さらに、道路シーン画像を特徴抽出バックボーンネットワークに入力し、特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得し、異なるスケールのバックボーン特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドネットワークの処理により、異なるスケールに対応する複数の特徴マップを取得する。

【0115】

一実施例では、インスタンス分割ネットワークは、領域生成ネットワーク、目標分類ネットワーク及び目標分割ネットワークを含み、障害物識別処理モジュール８０４は、さらに、異なるスケールの特徴マップをそれぞれ領域生成ネットワークに入力し、領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各特徴マップにそれぞれ対応する候補領域を取得し、目標分類ネットワークにより、各候補領域にそれぞれ対応する障害物種類を予測し、予測によって得られた各候補領域が属する障害物種類に基づいて、候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報を取得する。

【0116】

上記実施例では、道路シーン画像を、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含む障害物識別モデルに入力し、特徴抽出ネットワークにより、道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得し、インスタンス分割ネットワークにより、異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報を取得し、これにより、道路シーン画像における異なるスケールの障害物に対して、いずれも領域情報の正確な抽出を行うことができ、さらに、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、これにより各障害物にそれぞれ対応する被写界深度情報を取得し、道路シーン画像における異なるスケールの障害物の領域情報及び深度情報の正確な取得を実現し、さらに障害物検出の精度を向上させる。

【0117】

一実施例では、相対的な被写界深度関係決定モジュール８０６は、さらに、各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得し、異なる障害物に対応する候補領域間の重複率を計算し、重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定する。

【0118】

上記実施例では、各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得し、異なる障害物に対応する候補領域間の重複率を計算し、これにより、障害物に対応する候補領域間の重複率に基づいて、遮蔽関係を有する目標障害物を決定することができ、さらに目標障害物の被写界深度関係を決定することを実現し、障害物検出の精度を向上させる。

【0119】

一実施例では、相対的な被写界深度関係決定モジュール８０６は、さらに、目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得し、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定する。

【0120】

上記実施例では、目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得し、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、さらに目標車両の位置する道路に対応する障害物検出結果を正確に決定し、障害物検出の精度を向上させる。

【0121】

一実施例では、測距装置は、カメラ及びレーダのうちの少なくとも１種を含み、測距結果取得モジュール８０８は、さらに、目標車両に対応する測距装置が収集した測距データを取得し、測距装置に合わせたデータ前処理方式に応じて、測距データを前処理し、前処理後の測距データを取得し、測距装置に合わせた距離予測モデルにより、前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得する。

【0122】

上記実施例では、目標車両に対応する測距装置が収集した測距データを取得し、測距装置に合わせたデータ前処理方式に応じて、測距データを前処理し、前処理後の測距データを取得し、測距装置に合わせた距離予測モデルにより、前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得し、障害物検出の精度を向上させる。

【0123】

障害物検出装置に関する具体的な限定は、上記障害物検出方法に対する限定を参照してよく、ここで詳細な説明は省略する。上記障害物検出装置における各モジュールは、その全部又は一部がソフトウェア、ハードウェア及びそれらの組み合わせによって実現されてもよい。プロセッサが以上の各モジュールに対応する操作を呼び出して実行するように、上記各モジュールは、ハードウェアとしてコンピュータデバイスにおけるプロセッサに組み込まれるか、又はコンピュータデバイスにおけるプロセッサとは独立して設けられてもよいし、ソフトウェアとしてコンピュータデバイスにおけるメモリに記憶されてもよい。

【0124】

一実施例では、コンピュータデバイスを提供しており、該コンピュータデバイスは、サーバであってもよく、その内部構造図は、図９のように構成されてもよい。該コンピュータデバイスは、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインタフェースを含む。該コンピュータデバイスのプロセッサは、計算及び制御能力を提供する。該コンピュータデバイスのメモリは、不揮発性記憶媒体、内部メモリを含む。該不揮発性記憶媒体には、オペレーティングシステムと、コンピュータプログラムと、データベースとが記憶されている。該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムの実行に環境を提供する。該コンピュータデバイスのデータベースは、道路シーン画像データを記憶する。該コンピュータデバイスのネットワークインタフェースは、ネットワークを介して外部の端末と通信する。該コンピュータプログラムは、プロセッサによって実行されると、障害物検出方法を実現する。

【0125】

一実施例では、コンピュータデバイスを提供し、該コンピュータデバイスは、端末であってもよく、その内部構造図は、図１０のように構成されてもよい。該コンピュータデバイスは、システムバスを介して接続されたプロセッサ、メモリ、通信インタフェース、ディスプレイ及び入力装置を含む。該コンピュータデバイスのプロセッサは、計算及び制御能力を提供する。該コンピュータデバイスのメモリは、不揮発性記憶媒体、内部メモリを含む。該不揮発性記憶媒体には、オペレーティングシステムと、コンピュータプログラムとが記憶されている。該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムの実行に環境を提供する。該コンピュータデバイスの通信インタフェースは、有線又は無線方式で外部の端末と通信し、無線方式は、ＷＩＦＩ、キャリアネットワーク、ＮＦＣ（近距離無線通信）又は他の技術により実現してもよい。該コンピュータプログラムは、プロセッサによって実行されると、障害物検出方法を実現する。該コンピュータデバイスのディスプレイは、液晶ディスプレイ又は電子インクディスプレイであってもよく、該コンピュータデバイスの入力装置は、ディスプレイに覆われたタッチ層であってもよく、コンピュータデバイスのハウジングに設置されたボタン、トラックボール又はタッチパッドであってもよく、さらに外付けのキーボード、タッチパッド又はマウスなどであってもよい。

【0126】

当業者であれば、図９又は１０に示された構造は、本願の技術的手段に関連する一部の構造のブロック図に過ぎず、本願の技術的手段が適用されるコンピュータデバイスを限定するものではなく、具体的なコンピュータデバイスは、図に示されたものより多い又は少ない構成要素を含んだり、いくつかの構成要素を組み合わせてなったものであったり、異なる構成要素レイアウトを備えたものであったりすることができることを理解できる。

【0127】

一実施例では、さらに、コンピュータ読み取り可能な命令が記憶されているメモリと、１つ又は複数のプロセッサを含むコンピュータデバイスを提供しており、コンピュータ読み取り可能な命令がプロセッサにより実行される場合、１つ又は複数のプロセッサに上記各方法の実施例におけるステップを実行させる。

【0128】

一実施例では、コンピュータ読み取り可能な命令が記憶されている１つ又は複数の不揮発性読み取り可能な記憶媒体を提供しており、コンピュータ読み取り可能な命令が１つ又は複数のプロセッサにより実行される場合、１つ又は複数のプロセッサに上記各方法の実施例におけるステップを実行させる。

【0129】

一実施例では、コンピュータプログラム製品又はコンピュータプログラムを提供しており、該コンピュータプログラム製品又はコンピュータプログラムは、コンピュータ命令を含み、該コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶される。コンピュータデバイスのプロセッサは、コンピュータ読み取り可能な記憶媒体から該コンピュータ命令を読み取り、プロセッサは、該コンピュータ命令を実行することにより、該コンピュータデバイスに上記各方法の実施例におけるステップを実行させる。

【0130】

当業者であれば、上記実施例の方法における全部又は一部のフローは、コンピュータプログラムによって関連するハードウェアに命令を与えることで実現でき、前記コンピュータプログラムは、不揮発性コンピュータの読み取り可能な記憶媒体に記憶されてもよく、該コンピュータプログラムは、実行されると、上記各方法の実施例のフローを含んでもよいことを理解できる。本願において提供される、及び、各実施例において使用されるメモリ、記憶、データベース又は他の媒体に対するいかなる引用は、いずれも不揮発性及び揮発性メモリのうちの少なくとも１種を含んでもよい。不揮発性メモリは、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、磁気テープ、フレキシブルディスク、フラッシュメモリ、又は光メモリなどを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、又は外部キャッシュメモリを含んでもよい。限定されるものではなく例示として、ＲＡＭは、例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）又はダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ）などの様々な形態で可能である。

【0131】

以上、実施例の各技術的特徴を任意に組み合わせることができ、説明を簡潔にするために、上記実施例における各技術的特徴の全ての可能な組み合わせについて説明していない。しかしながら、これらの技術的特徴の組み合わせに矛盾がない限り、それらの全ては、本明細書の範囲と見なされるべきである。

【0132】

以上、実施例は本願のいくつかの実施形態のみを説明しており、それらの説明は、具体的で詳細であるが、本発明の特許の範囲を限定するものとして解釈されるべきではない。当業者にとって、本願の構想から逸脱することなく、いくつかの変形又は改善を加えることもでき、これらの変形又は改善は、両方とも、本願の保護範囲に属することに留意されたい。したがって、本願の特許の保護範囲は、添付の特許請求の範囲を基準とするべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】