特許 7339934 障害物検出方法、装置、電子機器、記憶媒体及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-29

(45)【発行日】2023-09-06

(54)【発明の名称】障害物検出方法、装置、電子機器、記憶媒体及びコンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230830BHJP

   G01S 13/931 20200101ALI20230830BHJP

【ＦＩ】

G08G1/16 C

G01S13/931

【請求項の数】 11

【外国語出願】

(21)【出願番号】P 2020154211

(22)【出願日】2020-09-15

(65)【公開番号】P2021144677

(43)【公開日】2021-09-24

【審査請求日】2020-12-10

(31)【優先権主張番号】202010166864.6

(32)【優先日】2020-03-11

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321009845

【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド

(74)【代理人】

【識別番号】110000914

【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ

(72)【発明者】

【氏名】ワン， ヂー

(72)【発明者】

【氏名】パン， ヨン

(72)【発明者】

【氏名】ヂャオ， チンフイ

【審査官】田中 将一

(56)【参考文献】

【文献】特開平１０－０６９５９８（ＪＰ，Ａ）

【文献】特開２００７－１０４１７１（ＪＰ，Ａ）

【文献】特開平１１－０１６０９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０１Ｓ ７／００ － ７／４２

Ｇ０１Ｓ １３／００ － １３／９５

(57)【特許請求の範囲】

【請求項1】

コンピュータによって実行される障害物検出方法であって、
ミリ波レーダにより検出された車両前方の候補障害物の各位置点を取得することと、
カメラにより検出された車両が位置する道路の左道路境界線及び右道路境界線を取得することと、
前記車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、前記左道路境界線と前記右道路境界線との間の位置点を抽出することと、
前記左道路境界線と前記右道路境界線との間の各位置点を画像に投影し、各位置点の前記画像における投影点により前記車両前方のターゲット障害物を検出することとを含み、
前記各位置点の前記画像における投影点により前記車両前方のターゲット障害物を検出することは、
前記画像において各投影点に対応する関心点（ＲＯＩ）領域を取得することと、
深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を計算することであって、前記検出結果は、障害物有りの検出結果及び障害物無しの検出結果を含む、ことと、
各投影点に対応するＲＯＩ領域の検出結果に基づいて前記車両前方のターゲット障害物を特定することとを含む、
ことを特徴とする障害物検出方法。

【請求項2】

前記深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を計算することは、
各投影点に対応するＲＯＩ領域を前記深層畳み込みネットワークに入力することと、
各投影点に対応するＲＯＩ領域において各位置点の感知結果を取得し、各位置点の感知結果に基づいて、各投影点に対応するＲＯＩ領域の検出結果を計算することと、
前記深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を出力することとを含む、
ことを特徴とする請求項１に記載の障害物検出方法。

【請求項3】

前記各投影点に対応するＲＯＩ領域の検出結果に基づいて前記車両前方のターゲット障害物を特定することは、
予め確定された前記レーダの誤検出位置点に基づいて、前記画像において各誤検出位置点の前記画像における投影点を抽出することと、
前記深層畳み込みネットワークを介して出力された各投影点に対応するＲＯＩ領域の検出結果において、各誤検出位置点の投影点及び各投影点に対応するＲＯＩ領域の検出結果をフィルタリングすることと、
フィルタリングされた各投影点に対応するＲＯＩ領域の検出結果に基づいて、前記車両前方のターゲット障害物を特定することとを含む、
ことを特徴とする請求項１に記載の障害物検出方法。

【請求項4】

前記各位置点の前記画像における投影点により前記車両前方のターゲット障害物を検出することは、
各位置点の前記画像における投影点に基づいて、前記ターゲット障害物の種類を検出するとともに、各位置点の前記画像における投影点及び予め確定された前記車両が占める位置点に基づいて、前記ターゲット障害物と前記車両との間の距離を計算することを含む、
ことを特徴とする請求項１に記載の障害物検出方法。

【請求項5】

ミリ波レーダにより車両前方の候補障害物の各位置点を検出するように構成されるレーダ検出モジュールと、
カメラにより車両が位置する道路の左道路境界線及び右道路境界線を検出するように構成されるカメラ検出モジュールと、
前記車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、前記左道路境界線と前記右道路境界線との間の位置点を抽出する抽出モジュールと、
前記左道路境界線と前記右道路境界線との間の各位置点を画像に投影し、各位置点の前記画像における投影点により前記車両前方のターゲット障害物を検出する併合検出モジュールとを備え、
前記併合検出モジュールは、
前記画像において各投影点に対応する関心点（ＲＯＩ）領域を取得するように構成される取得サブモジュールと、
深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を計算するように構成される計算サブモジュールであって、前記検出結果は、障害物有りの検出結果及び障害物無しの検出結果を含む、計算サブモジュールと、
各投影点に対応するＲＯＩ領域の検出結果に基づいて前記車両前方のターゲット障害物を特定するように構成される検出サブモジュールとを備える、
ことを特徴とする障害物検出装置。

【請求項6】

前記計算サブモジュールは、各投影点に対応するＲＯＩ領域を前記深層畳み込みネットワークに入力し、各投影点に対応するＲＯＩ領域において各位置点の感知結果を取得し、各位置点の感知結果に基づいて、各投影点に対応するＲＯＩ領域の検出結果を計算し、前記深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を出力するように構成される、
ことを特徴とする請求項５に記載の障害物検出装置。

【請求項7】

前記検出サブモジュールは、さらに
予め確定された前記レーダの誤検出位置点に基づいて、前記画像において各誤検出位置点の前記画像における投影点を抽出し、前記深層畳み込みネットワークにより出力された各投影点に対応するＲＯＩ領域の検出結果において、各誤検出位置点の投影点及び各投影点に対応するＲＯＩ領域の検出結果をフィルタリングし、
フィルタリングされた各投影点に対応するＲＯＩ領域の検出結果に基づいて、前記車両前方のターゲット障害物を特定するように構成される、
ことを特徴とする請求項５に記載の障害物検出装置。

【請求項8】

前記併合検出モジュールは、各位置点の前記画像における投影点に基づいて、前記ターゲット障害物の種類を検出するとともに、各位置点の前記画像における投影点及び予め確定された前記車両の占める位置点に基づいて、前記ターゲット障害物と前記車両との間の距離を計算するように構成される、
ことを特徴とする請求項５に記載の障害物検出装置。

【請求項9】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されるメモリとを備え、
前記メモリには、前記少なくとも１つのプロセッサに請求項１～４のいずれか１項に記載の障害物検出方法を実行させるように、前記少なくとも１つのプロセッサにより実行可能な指令が格納されている、
ことを特徴とする電子機器。

【請求項10】

コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ指令は請求項１～４のいずれか１項に記載の障害物検出方法をコンピュータに実行させるように構成されるものである、
ことを特徴とする非一時的コンピュータ可読記憶媒体。

【請求項11】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１～４のいずれか１項に記載の障害物検出方法を実行する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、スマートカーの技術分野に関し、さらに自動運転技術に関し、特に障害物検出方法、装置、電子機器、記憶媒体及びコンピュータプログラムに関するものである。

【背景技術】

【0002】

環境感知はインテリジェントドライビングテクノロジーの基盤である。車両にセンシング装置を装着して周辺環境を感知することで、インテリジェントな補助運転を実現する。しかしながら、車両のセンシング装置は位置固定又は視角有効性などの要因により、感知範囲が制限され、取得された感知情報がインテリジェントドライビングの要求を満たすことができず、特に自動運転の面では、安全運転を確保するために、総合的な環境情報への要求がより高い。自動運転対策において、レーダセンサ及び視覚センサは通常使用される２種類の感知情報源である。したがって、従来の環境感知方法においては、通常、レーダ測距感知モジュール又は視覚測距感知モジュールを使用して車両周辺の環境情報を感知する。

【0003】

レーダ測距感知モジュールでは、ミリ波レーダを介して電波を発信した後、エコーを受信し、発信と受信との間の時間差に基づいてターゲットの位置データを測定する。ミリ波レーダは高い測距信頼性や遠距離感知能力を持っているが、高さ方向では識別力がなく、高架橋や看板などのレーダ反射点に対して前方障害物として誤検出し、スポットブレーキなどの挙動につながりやすい。視覚測距感知モジュールでは、オンラインカメラキャリブレーションテクノロジーを適用して車両の走行姿勢の変化をリアルタイムで監視し、道路状況の変化による単眼測距に与える誤差を低減する。いわゆるカメラキャリブレーションは、画像測定プロセス及びマシンビジョンアプリケーションにおいて、空間オブジェクトの表面上のある点の３次元幾何学的位置とそれの画像内での対応する点との間の相互関係を確定するには、カメライメージングの幾何モデルを確立する必要があり、これらの幾何モデルパラメータがカメラパラメータである。ほとんどの条件下では、これらのパラメータは実験と計算によって取得しなければならなく、このパラメータ（内部パラメータ、外部パラメータ、歪みパラメータ）を求めるプロセスがカメラキャリブレーションと呼ばれるが、車両と同一平面にない障害物については、地上点の単眼投影による距離測定の前提条件が満たされていないので、測距結果が正しくない現象が発生することがある。しかも、オンラインカメラキャリブレーションテクノロジーは車両の揺れのみを補正でき、障害物と車両が同一平面にない状況は変えることができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

以上を鑑みて、本出願実施例は、車両前方の障害物をより正確に検出することができ、ミリ波レーダによる障害物の高さ方向の測位が正確でない問題、及び障害物と自車が同一平面にない場合の単眼カメラによる正確な測距が達成できない問題を解決した障害物検出方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。

【課題を解決するための手段】

【0005】

第１の態様では、本出願実施例は障害物検出方法を提供し、前記方法は、
ミリ波レーダにより車両前方の候補障害物の各位置点を検出することと、
カメラにより車両が位置する道路の左道路境界線及び右道路境界線を検出することと、
前記車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、前記左道路境界線と前記右道路境界線との間の位置点を抽出することと、
前記左道路境界線と前記右道路境界線との間の各位置点を画像に投影し、各位置点の前記画像における投影点により前記車両前方のターゲット障害物を検出することとを含む。

【0006】

上記実施例の利点又は有益な効果：本出願は、左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出し、次に、左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出することにより、車両前方の障害物をより正確に検出する目的を達成する。しかし、従来の障害物検出方法では、通常、ミリ波レーダ又は単眼カメラをそれぞれ使用して障害物を検出するが、ミリ波レーダは高さ方向において障害物を正確に測位することができない問題、及び単眼カメラは障害物と自車が同一平面にない場合に正確に測距できない問題が存在する。本出願は、レーダとカメラを組み合せる技術的手段を採用しているため、従来技術において、ミリ波レーダが高さ方向において障害物を正確に測位することができない問題、及び単眼カメラが障害物と自車が同一平面にない場合に正確に測距できない問題を解消し、車両前方の障害物をより正確に検出するという技術的効果を達成した。

【0007】

上記実施例において、前記各位置点の前記画像における投影点により前記車両前方のターゲット障害物を検出することは、
前記画像において各投影点に対応する関心点ＲＯＩ領域を取得することと、
深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を計算することであって、前記検出結果は、障害物有りの検出結果及び障害物無しの検出結果を含む、ことと、
各投影点に対応するＲＯＩ領域の検出結果に基づいて前記車両前方のターゲット障害物を検出することとを含む。

【0008】

上記実施例の利点又は有益な効果：上記実施例は深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を計算することができて、各投影点に対応するＲＯＩ領域の検出結果に基づいて前記車両前方のターゲット障害物を正確に検出することができる。

【0009】

上記実施例において、前記深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を計算することは、
各投影点に対応するＲＯＩ領域を前記深層畳み込みネットワークに入力することと、
各投影点に対応するＲＯＩ領域において各位置点の感知結果を取得し、各位置点の感知結果に基づいて、各投影点に対応するＲＯＩ領域の検出結果を計算することと、
前記深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を出力することとを含む。

【0010】

上記実施例の利点又は有益な効果：上記実施例は各位置点の感知結果に基づいて、各投影点に対応するＲＯＩ領域の検出結果を計算することができる。各ＲＯＩ領域における各位置点の感知結果は、ミリ波レーダの各位置点に対する測定値であってもよく、該測定値によって該位置点に障害物があるかどうかを表すことができ、このようにして、電子機器は、各ＲＯＩ領域における各位置点の測定値に基づいて各ＲＯＩ領域の検出結果を正確に判断することができる。

【0011】

上記実施例において、前記深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を計算した後、前記各投影点に対応するＲＯＩ領域の検出結果に基づいて前記車両前方のターゲット障害物を検出する前に、前記方法はさらに、
予め確定された前記レーダの誤検出位置点に基づいて、前記画像において各誤検出位置点の前記画像における投影点を抽出することと、
前記深層畳み込みネットワークを介して出力された各投影点に対応するＲＯＩ領域の検出結果において、各誤検出位置点の投影点及び各投影点に対応するＲＯＩ領域の検出結果をフィルタリングすることと、
フィルタリングされた各投影点に対応するＲＯＩ領域の検出結果に基づいて、車両前方の障害物を確定することとを含む。

【0012】

上記実施例の利点又は有益な効果：上記実施例は、まず、個々誤検出された位置点の投影点及び各投影点に対応するＲＯＩ領域の検出結果をフィルタリングした後、フィルタリングされた各投影点に対応するＲＯＩ領域の検出結果に基づいて、車両前方の障害物を確定することができる。これにより車両前方の障害物をより正確に確定することができる。

【0013】

上記実施例において、前記各位置点の前記画像における投影点により前記車両前方のターゲット障害物を検出することは、
各位置点の前記画像における投影点に基づいて、前記ターゲット障害物の種類を検出するとともに、各位置点の前記画像における投影点及び予め確定された前記車両が占める位置点に基づいて、前記ターゲット障害物と前記車両との間の距離を計算することを含む。

【0014】

上記実施例の利点又は有益な効果：上記実施例は、各位置点の前記画像における投影点に基づいて、前記ターゲット障害物の種類を正確に検出することができるとともに、ターゲット障害物と車両との間の距離を正確に算出することができる。

【0015】

第２の態様では、本出願はさらに障害物検出装置を提供し、前記装置は、レーダ検出モジュール、カメラ検出モジュール、抽出モジュール及び併合検出モジュールを備え、
前記レーダ検出モジュールは、ミリ波レーダにより車両前方の候補障害物の各位置点を検出し、
前記カメラ検出モジュールは、カメラにより車両が位置する道路の左道路境界線及び右道路境界線を検出し、
前記抽出モジュールは、前記車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、前記左道路境界線と前記右道路境界線との間の位置点を抽出し、
前記併合検出モジュールは、前記左道路境界線と前記右道路境界線との間の各位置点を画像に投影し、各位置点の前記画像における投影点により前記車両前方のターゲット障害物を検出する。

【0016】

上記実施例において、前記併合検出モジュールは、取得サブモジュール、計算サブモジュール及び検出サブモジュールを備え、
前記取得サブモジュールは、前記画像において各投影点に対応する関心点ＲＯＩ領域を取得し、
前記計算サブモジュールは、深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を計算し、前記検出結果は、障害物有りの検出結果及び障害物無しの検出結果を含むものであり、
前記検出サブモジュールは、各投影点に対応するＲＯＩ領域の検出結果に基づいて前記車両前方のターゲット障害物を検出する。

【0017】

上記実施例において、前記計算サブモジュールは、各投影点に対応するＲＯＩ領域を前記深層畳み込みネットワークに入力し、各投影点に対応するＲＯＩ領域において各位置点の感知結果を取得し、各位置点の感知結果に基づいて、各投影点に対応するＲＯＩ領域の検出結果を計算し、前記深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を出力する。

【0018】

前記実施例において、前記併合検出モジュールは、予め確定された前記レーダの誤検出位置点に基づいて、前記画像において各誤検出位置点の前記画像における投影点を抽出し、前記深層畳み込みネットワークにより出力された各投影点に対応するＲＯＩ領域の検出結果において、各誤検出位置点の投影点及び各投影点に対応するＲＯＩ領域の検出結果をフィルタリングするように構成されるフィルタリングサブモジュールをさらに備え、
前記検出サブモジュールは、フィルタリングされた各投影点に対応するＲＯＩ領域の検出結果に基づいて、車両前方の障害物を確定するように構成される。

【0019】

前記実施例において、前記併合検出モジュールは、各位置点の前記画像における投影点に基づいて、前記ターゲット障害物の種類を検出するとともに、各位置点の前記画像における投影点及び予め確定された前記車両の占める位置点に基づいて、前記ターゲット障害物と前記車両との間の距離を計算する。

【0020】

第３の態様では、本出願の実施例は電子機器を提供し、前記電子機器は、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを格納するように構成されるメモリとを備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合、前記１つ又は複数のプロセッサに本出願のいずれかの実施例に記載の障害物検出方法を実行させる。

【0021】

第４の態様では、本出願の実施例は、コンピュータプログラムが格納され、該プログラムがプロセッサにより実行されると、本出願のいずれかの実施例に記載の障害物検出方法を実現する記憶媒体を提供する。
第５の態様では、本出願の実施例は、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されると、本出願のいずれかの実施例に記載の障害物検出方法を実現する、コンピュータプログラムを提供する。

【0022】

上記出願の一実施例の利点又は有益な効果：本出願による障害物検出方法、装置、電子機器及び記憶媒体は、まず、レーダにより車両前方の候補障害物の各位置点を検出した後、カメラにより車両が位置する道路の左道路境界線及び右道路境界線を検出し、次に、左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出し、最後に、左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出する。言い換えれば、本出願は、左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出し、次に、左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出することにより、車両前方の障害物をより正確に検出するという目的を達成する。しかし、従来の障害物検出方法では、通常、ミリ波レーダ又は単眼カメラを別々に使用して障害物を検出するが、ミリ波レーダは高さ方向において障害物を正確に測位できない問題、及び単眼カメラは障害物と自車が同一平面にない場合に正確に測距できない問題がある。本出願は、レーダとカメラを併合する技術的手段を採用しているため、従来技術においてミリ波レーダは高さ方向において障害物を正確に測位できない問題、及び単眼カメラは障害物と自車が同一平面にない場合に正確に測距できない問題を解消して、車両前方の障害物をより正確に検出するという技術的効果を達成するとともに、本出願の実施例の技術的解決策は簡単かつ便利に実現することができ、普及しやすく、幅広く適用することができる。

【0023】

上記好ましい実施形態が有する他の効果は以下の実施例に合わせて具体的に説明する。

【0024】

図面は本解決策をよりよく理解するためのものであって、本出願を限定するものではない。

【図面の簡単な説明】

【0025】

【図1】本出願の実施例１による障害物検出方法のフロー概略図である。

【図2】本出願の実施例２による障害物検出方法のフロー概略図である。

【図3】本出願の実施例３による障害物検出装置の構造概略図である。

【図4】本出願の実施例３による併合検出モジュールの構造概略図である。

【図5】本出願の実施例による障害物検出方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0026】

以下、容易に理解されるように様々な詳細を含む本出願の例示的な実施例を添付図面を参照しながら説明しているが、それらは単なる例示的なものとして見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載された実施例に対して様々な変更及び修正を行うことができることを理解されたい。また、以下の説明では、明確かつ簡潔にするために、周知の機能及び構造に対する説明を省略している。

【0027】

実施例１

【0028】

図１は、本出願の実施例１による障害物検出方法のフロー概略図であり、該方法は、障害物検出装置又は電子機器によって実行することができ、該装置又は電子機器はソフトウェア及び／又はハードウェアによって実現されてもよく、ネットワーク通信機能を備えた任意のスマートデバイスに統合されてもよい。図１に示すように、障害物検出方法は以下のステップを含むことができる。

【0029】

Ｓ１０１：ミリ波レーダにより車両前方の候補障害物の各位置点を検出する。

【0030】

本出願の具体的な実施例において、電子機器はミリ波レーダにより車両前方の候補障害物の各位置点を検出することができる。具体的には、電子機器は、車両の走行中に、ミリ波レーダにより電波を発信した後、エコーを受信し、発信と受信との間の時間差に基づいて候補障害物の各位置点の座標を計測することができ、これらの位置点の座標は二次元座標であってもよい。

【0031】

Ｓ１０２：カメラにより車両が位置する左道路境界線及び右道路境界線を検出する。

【0032】

本出願の具体的な実施例において、電子機器はカメラにより車両が位置する左道路境界線及び右道路境界線を検出することができる。具体的には、電子機器は、車両の走行中に、所定の時間間隔でカメラにより車両前方の写真を撮影した後、撮影した写真から車両が位置する左道路境界線及び右道路境界線を検出する。具体的には、写真から左道路境界線が検出できない場合は、車両が位置する道路の最も左側縁石を該道路の左道路境界線とし、写真から右道路境界線が検出できない場合は、車両が位置する道路の最も右側縁石を道路の右道路境界線とする。

【0033】

Ｓ１０３：車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出する。

【0034】

本出願の具体的な実施例において、電子機器は、車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出することができる。具体的には、レーダにより検出された候補障害物の各位置点において、各々の位置点に対して、該位置点の座標が左道路境界線と右道路境界線との間にある場合、或いは該位置点の座標が左道路境界線にある場合、或いは該位置点の座標が右道路境界線にある場合、該位置点の座標を保留し、該位置点の座標が左道路境界線の外側にある場合、或いは該位置点の座標が右道路境界線の外側にある場合、該位置点の座標を削除するように操作する。上述した各々の位置点に対する操作により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出することができる。

【0035】

Ｓ１０４：左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出する。

【0036】

本出願の具体的な実施例において、電子機器は、左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出することができる。具体的には、電子機器は、左道路境界線と右道路境界線との間の各位置点の地上点を画像にマークし、各位置点の画像における地上点により車両前方のターゲット障害物を検出することができる。具体的には、電子機器は、画像において各投影点に対応するＲＯＩ領域を取得し、深層畳み込みネットワークを介して、障害物有りの検出結果及び障害物無しの検出結果を含む、各投影点に対応するＲＯＩ領域の検出結果を計算した後、各投影点に対応するＲＯＩ領域の検出結果に基づいて、車両前方のターゲット障害物を検出することができる。

【0037】

本出願の実施例による障害物検出方法は、まず、ミリ波レーダにより車両前方の候補障害物の各位置点を検出した後、カメラにより車両が位置する道路の左道路境界線及び右道路境界線を検出し、次に、車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出し、最後に、左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出する。言い換えれば、本出願は、左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出し、次に、左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出することにより、車両前方の障害物をより正確に検出するという目的を達成する。従来の障害物検出方法では、通常、ミリ波レーダ又は単眼カメラを別々に使用して障害物を検出するが、ミリ波レーダは高さ方向において障害物を正確に測位できない問題、及び単眼カメラは障害物と自車が同一平面にない場合に正確に測距できない問題がある。本出願は、ミリ波レーダとカメラを併合する技術的手段を採用しているため、従来技術において、ミリ波レーダが高さ方向において障害物を正確に測位できない問題、及び単眼カメラが障害物と自車が同一平面にない場合に正確に測距できない問題を解消して、車両前方の障害物をより正確に検出するという技術的効果を達成するとともに、本出願の実施例の技術的解決策は簡単かつ便利に実現することができ、普及しやすく、幅広く適用することができる。

【0038】

実施例２

【0039】

図２は、本出願の実施例２による障害物検出方法のフロー概略図である。図２に示すように、障害物検出方法は以下のステップを含んでもよい。

【0040】

Ｓ２０１：ミリ波レーダにより車両前方の候補障害物の各位置点を検出する。

【0041】

本出願の具体的な実施例において、電子機器はミリ波レーダにより車両前方の候補障害物の各位置点を検出することができる。具体的には、電子機器は、車両の走行中に、ミリ波レーダにより電波を発信した後、エコーを受信し、発信と受信との間の時間差に基づいて候補障害物の各位置点の座標を計測することができ、これらの位置点の座標は二次元座標であってもよい。

【0042】

Ｓ２０２：カメラにより車両が位置する道路の左道路境界線及び右道路境界線を検出する。

【0043】

本出願の具体的な実施例において、電子機器はカメラにより車両が位置する道路の左道路境界線及び右道路境界線を検出することができる。具体的には、電子機器は、車両の走行中に、所定の時間間隔でカメラにより車両前方の写真を撮影した後、撮影した写真から車両が位置する道路の左道路境界線及び右道路境界線を検出する。具体的には、写真から左道路境界線が検出できない場合、車両が位置する道路の最も左側縁石を該道路の左道路境界線とし、写真から右道路境界線が検出できない場合、車両が位置する道路の最も右側縁石を道路の右道路境界線とする。

【0044】

Ｓ２０３：車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出する。

【0045】

本出願の具体的な実施例において、電子機器は、車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出することができる。具体的には、レーダにより検出された候補障害物の各位置点において、各々の位置点に対して、該位置点の座標が左道路境界線と右道路境界線との間にある場合、或いは該位置点の座標が左道路境界線にある場合、或いは該位置点の座標が右道路境界線にある場合、該位置点の座標を保留し、該位置点の座標が左道路境界線の外側にある場合、或いは該位置点の座標が右道路境界線の外側にある場合、該位置点の座標を削除するように操作する。上述した各々の位置点に対する操作により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出することができる。

【0046】

Ｓ２０４：左道路境界線と右道路境界線との間の各位置点を画像に投影し、画像において各投影点に対応するＲＯＩ領域を取得する。

【0047】

本出願の具体的な実施例において、電子機器は、左道路境界線と右道路境界線との間の各位置点を画像に投影し、画像において各投影点に対応するＲＯＩ領域を取得することができる。具体的には、各投影点のＲＯＩ領域は、円形領域、長方形領域など、各位置点を中心とする規則的な形状の領域であってもよい。

【0048】

Ｓ２０５：深層畳み込みネットワークを介して、各投影点に対応するＲＯＩ領域の検出結果を計算し、前記検出結果は、障害物有りの検出結果及び障害物無しの検出結果を含む。

【0049】

本出願の具体的な実施例において、電子機器は、深層畳み込みネットワークを介して、障害物有りの検出結果及び障害物無しの検出結果を含む、各投影点に対応するＲＯＩ領域の検出結果を計算することができる。具体的には、電子機器は、各投影点に対応するＲＯＩ領域を深層畳み込みネットワークに入力した後、各投影点に対応するＲＯＩ領域において各位置点の感知結果を取得し、各位置点の感知結果に基づいて、各投影点に対応するＲＯＩ領域の検出結果を計算し、深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を出力することができる。具体的には、各ＲＯＩ領域における各位置点の感知結果は、ミリ波レーダの各位置点に対する測定値であってもよく、該測定値によって該位置点に障害物があるか否かを表すことができ、本ステップにおいて、電子機器は、各ＲＯＩ領域における各位置点の測定値に基づいて、各ＲＯＩ領域の検出結果を判断することができる。たとえば、あるＲＯＩ領域に５０の位置点が含まれ、そのうち、３０の位置点の測定値が障害物有りで、２０の位置点の測定値が障害物無しであると仮定すると、電子機器は該ＲＯＩ領域の検出結果は障害物有りであると判断することができる。

【0050】

Ｓ２０６：各投影点に対応するＲＯＩ領域の検出結果に基づいて車両前方のターゲット障害物を検出する。

【0051】

本出願の具体的な実施例では、電子機器は、各投影点に対応するＲＯＩ領域の検出結果に基づいて車両前方のターゲット障害物を検出することができる。具体的には、電子機器は、画像において各ＲＯＩ領域の検出結果をマークし、例えば、あるＲＯＩ領域の検出結果が障害物有りであれば、電子機器は画像において該ＲＯＩ領域を１とマークし、あるＲＯＩ領域の検出結果が障害物無しであれば、電子機器は画像において該ＲＯＩ領域を０とマークすることにより、各ＲＯＩ領域の検出結果に基づいて車両前方のターゲット障害物を検出することができる。

【0052】

好ましくは、本出願の具体的な実施例において、電子機器は、深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を計算した後、各投影点に対応するＲＯＩ領域の検出結果に基づいて車両前方のターゲット障害物を検出する前に、さらに、予め確定されたレーダの誤検出位置点に基づいて、画像において各誤検出位置点の画像における投影点を抽出した後、深層畳み込みネットワークを介して出力された各投影点に対応するＲＯＩ領域の検出結果において、各誤検出位置点の投影点及び当該投影点それぞれに対応するＲＯＩ領域の検出結果をフィルタリングし、それからフィルタリングされた各投影点に対応するＲＯＩ領域の検出結果に基づいて、車両前方の障害物を確定することができる。

【0053】

好ましくは、本出願の具体的な実施例において、電子機器は、各位置点の画像における投影点に基づいて、ターゲット障害物の種類を検出するとともに、各位置点の画像における投影点及び予め確定された車両の占める位置点に基づいて、ターゲット障害物と車両との間の距離を計算することができる。

【0054】

本出願の実施例による障害物検出方法は、まず、ミリ波レーダにより車両前方の候補障害物の各位置点を検出した後、カメラにより車両が位置する道路の左道路境界線及び右道路境界線を検出し、次に、車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出し、最後に、左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出する。言い換えれば、本出願は、左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出し、次に、左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出することにより、車両前方の障害物をより正確に検出するという目的を達成する。従来の障害物検出方法では、通常、ミリ波レーダ又は単眼カメラを別々に使用して障害物を検出するが、ミリ波レーダは高さ方向において障害物を正確に測位できない問題、及び単眼カメラは障害物と自車が同一平面にない場合に正確に測距できない問題がある。本出願は、ミリ波レーダとカメラを併合する技術的手段を採用しているため、従来技術において、ミリ波レーダが障害物を高さ方向において正確に測位できない問題、及び単眼カメラが障害物と自車が同一平面にない場合に正確に測距できない問題を解消して、車両前方の障害物をより正確に検出できるという技術的効果を達成するとともに、本出願の実施例の技術的解決策は簡単かつ便利に実現することができ、普及しやすく、幅広く適用することができる。

【0055】

実施例３

【0056】

図３は、本出願の実施例３による障害物検出装置の構造概略図である。図３に示すように、前記装置３００は、レーダ検出モジュール３０１、カメラ検出モジュール３０２、抽出モジュール３０３及び併合検出モジュール３０４を含み、
前記レーダ検出モジュール３０１は、ミリ波レーダにより車両前方の候補障害物の各位置点を検出するように構成され、
前記カメラ検出モジュール３０２は、カメラにより車両が位置する道路の左道路境界線及び右道路境界線を検出するように構成され、
前記抽出モジュール３０３は、前記車両が位置する道路の左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、前記左道路境界線と前記右道路境界線との間の位置点を抽出するように構成され、
前記併合検出モジュール３０４は、前記左道路境界線と前記右道路境界線との間の各位置点を画像に投影し、各位置点の前記画像における投影点により前記車両前方のターゲット障害物を検出するように構成される。

【0057】

図４は、本出願の実施例３による併合検出モジュールの構造概略図である。図４に示すように、前記併合検出モジュール３０４は、取得サブモジュール３０４１、計算サブモジュール３０４２及び検出サブモジュール３０４３を含み、
前記取得サブモジュール３０４１は、前記画像において各投影点に対応するＲＯＩ領域を取得するように構成され、
前記計算サブモジュール３０４２は、深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を計算するように構成され、前記検出結果は、障害物有りの検出結果及び障害物無しの検出結果を含み、
前記検出サブモジュール３０４３は、各投影点に対応するＲＯＩ領域の検出結果に基づいて前記車両前方のターゲット障害物を検出するように構成される。

【0058】

さらに、前記計算サブモジュール３０４２は、各投影点に対応するＲＯＩ領域を前記深層畳み込みネットワークに入力し、各投影点に対応するＲＯＩ領域において各位置点の感知結果を取得し、各位置点の感知結果に基づいて、各投影点に対応するＲＯＩ領域の検出結果を計算し、前記深層畳み込みネットワークを介して各投影点に対応するＲＯＩ領域の検出結果を出力する。

【0059】

さらに、前記併合検出モジュールは、予め確定された前記レーダの誤検出位置点に基づいて、前記画像において各誤検出位置点の前記画像における投影点を抽出し、前記深層畳み込みネットワークにより出力された各投影点に対応するＲＯＩ領域の検出結果において、各誤検出位置点の投影点及び各投影点に対応するＲＯＩ領域の検出結果をフィルタリングするように構成されるフィルタリングサブモジュール３０４４（図示せず）をさらに備え、
前記検出サブモジュール３０４３は、フィルタリングされた各投影点に対応するＲＯＩ領域の検出結果に基づいて、車両前方の障害物を確定するように構成される。

【0060】

さらに、前記併合検出モジュール３０４は、具体的に、各位置点の前記画像における投影点に基づいて、前記ターゲット障害物の種類を検出するとともに、各位置点の前記画像における投影点及び予め確定された前記車両の占める位置点に基づいて、前記ターゲット障害物と前記車両との間の距離を計算するように構成される。

【0061】

上記障害物検出装置は本出願の任意の実施例による方法を実行することができ、実行方法に対応する機能モジュール及び有益な効果を有する。本実施例で詳細に説明されていない技術的な詳細については、本出願の任意の実施例による障害物検出方法を参照されたい。

【0062】

実施例４

【0063】

本出願の実施例によれば、本出願はさらに電子機器及び可読記憶媒体を提供している。

【0064】

図５は、本出願の実施例による障害物検出方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークテーブル、パーソナル・デジタル・アシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、その他の適切なコンピュータなど、さまざまな形態のデジタルコンピュータを表すものである。電子機器は、パーソナル・デジタル・アシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、及びその他類似のコンピューティングデバイスなど、さまざまな形態のモバイルデバイスを表すこともできる。本明細書に示されている構成要素、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書で説明及び／又は要求される本出願の実現を制限するものではない。

【0065】

図５に示すように、該電子機器は、１つ又は複数のプロセッサ５０１、メモリ５０２、並びに高速インターフェース及び低速インターフェースを含む様々な構成要素を接続するためのインターフェースを含む。各構成要素は、互いに異なるバスで接続されており、共通のマザーボードに実装されていてもよく、又は必要に応じて他の形態で実装されていてもよい。プロセッサは、電子機器内で実行される指令を処理することができ、メモリ内又はメモリに格納されて外部の入力／出力装置（インターフェースに接続された表示装置など）にＧＵＩのグラフィック情報を表示させる指令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリと共に使用してもよい。同様に、複数の電子機器を接続することができ、それぞれの機器はいくつかの必要な操作（例えば、サーバアレイ、一組のブレードサーバ、又はマルチプロセッサシステムとして）を提供する。図５では一つのプロセッサ５０１を例とする。

【0066】

メモリ５０２は本出願による非一時的コンピュータ可読記憶媒体である。前記メモリは、少なくとも１つのプロセッサによって実行可能な指令を格納しており、前記少なくとも１つのプロセッサに本出願による障害物検出方法を実行させる。本出願の非一時的コンピュータ可読記憶媒体は、本出願による障害物検出方法をコンピュータに実行させるためのコンピュータ指令を格納する。

【0067】

メモリ５０２は、非一時的コンピュータ可読記憶媒体として、本出願の実施例における障害物検出方法に対応するプログラム指令／モジュール（例えば、図３に示すレーダ検出モジュール３０１、カメラ検出モジュール３０２、抽出モジュール３０３及び併合検出モジュール３０４）などの非一時的なソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム及びモジュールを格納することができる。プロセッサ５０１は、メモリ５０２に格納されている非一時的ソフトウェアプログラム、指令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例における障害物検出方法を実現する。

【0068】

メモリ５０２は、オペレーティングシステム、少なくとも１つの機能を実行するために必要なアプリケーションプログラムを格納し得るプログラム記憶領域及びデータ記憶領域を含むことができ、データ記憶領域は、障害物検出方法に従って電子機器を使用することによって作成されたデータなどを格納することができる。また、メモリ５０２は、高速ランダムアクセスメモリを含んでもよく、さらに、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の非一時的な固体記憶装置などの非一時的メモリを含むことができる。いくつかの実施例において、メモリ５０２は、任意選択でプロセッサ５０１に対して遠隔に設けられたメモリを含んでもよく、これらのリモートメモリは、ネットワークを介して障害物検出方法を実行する電子機器に接続されてもよい。上記ネットワークの実例はインターネット、イントラネット、ローカルエリアネットワーク、移動体通信網及びそれらの組み合わせを含むがこれらに限定されない。

【0069】

障害物検出方法を実行する電子機器はさらに入力装置５０３及び出力装置５０４を含むことができる。プロセッサ５０１、メモリ５０２、入力装置５０３及び出力装置５０４は、バス又はその他の形態で接続されていてもよく、図５ではバスを介して接続されている例を示している。

【0070】

入力装置５０３は、入力されたデジタル又は文字情報を受信し、障害物検出方法を実行する電子機器のユーザ設定や機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインターバー、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置を含む。出力装置５０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含み得る。該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含むがそれらに限定されない。いくつかの実施形態において、表示装置はタッチスクリーンであってもよい。

【0071】

ここで説明されるシステム及び技術の様々な実施形態はデジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これら様々な実施形態は以下を含むことができる。一つ又は複数のコンピュータプログラムにおいて実施され、該一つ又は複数のコンピュータプログラムは少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行、及び／又は解釈されてもよく、該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び指令を受信するとともに、データ及び指令を該記憶システム、該少なくとも一つの入力装置、及び該少なくとも一つの出力装置に伝送することができる。

【0072】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械指令を含み、これらの計算プログラムをハイレベル制御手順及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ言語／機械語で実施することができる。本明細書で使用されているように、用語「機械可読媒体」及び「コンピュータ可読媒体」は、機械指令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を意味し、機械可読信号としての機械指令を受信する機械可読媒体を含む。用語「機械可読信号」は機械指令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

【0073】

ユーザとのインタラクションを提供するために、コンピュータ上で、本明細書で説明したシステム及び技術を実施してもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）、及びユーザがコンピュータに入力を提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）を有する。他の種類の装置はユーザとのインタラクションを提供するために用いられてもよく、例えば、ユーザへのフィードバックは任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力、音声入力又は触覚入力を含む）でユーザからの入力を受信することができる。

【0074】

本明細書で説明したシステム及び技術は、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとして）、又は、ミドルウェアコンポーネントを含むコンピューティングシステム（たとえば、アプリケーションサーバ）、又は、フロントエンドコンポーネント（例えば、グラフィカルユーザインタフェース又はウェブブラウザを備えたユーザーコンピュータであり、ユーザが該グラフィカルユーザインタフェース又は該ウェブブラウザを介して、本明細書で説明したシステム及び技術の実施形態と対話することができる）、又は、これらのバックグラウンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。また、システムのコンポーネントは、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して相互に接続することができる。通信ネットワークの例示的なものとして、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット及びブロックチェーンネットワークが含まれる。

【0075】

コンピュータシステムはクライアント及びサーバを含むことができる。クライアントとサーバは一般的に互いに離れており、通常に通信ネットワークを介して相互作用している。クライアントとサーバの関係は、互いにクライアント－サーバの関係を持つコンピュータプログラムが対応するコンピュータで実行されることによって生成される。

【0076】

本出願の実施例の技術的解決策によれば、まず、ミリ波レーダにより車両前方の候補障害物の各位置点を検出した後、カメラにより車両が位置する道路の左道路境界線及び右道路境界線を検出し、次に、左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出し、最後に、左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出する。言い換えれば、本出願は、左道路境界線及び右道路境界線により、候補障害物の各位置点を区分けして、左道路境界線と右道路境界線との間の位置点を抽出し、次に、左道路境界線と右道路境界線との間の各位置点を画像に投影し、各位置点の画像における投影点により車両前方のターゲット障害物を検出することにより、車両前方の障害物をより正確に検出するという目的を達成できる。従来の障害物検出方法によれば、通常、ミリ波レーダ又は単眼カメラを別々に使用して障害物を検出するが、ミリ波レーダは高さ方向において障害物を正確に測位できない問題、及び単眼カメラは障害物と自車が同一平面にない場合に正確に測距できない問題がある。本出願は、レーダとカメラを併合する技術的手段を採用しているため、従来技術において、ミリ波レーダは高さ方向において障害物を正確に測位できない問題、及び単眼カメラは障害物と自車が同一平面にない場合に正確に測距できない問題を解消して、車両前方の障害物をより正確に検出するという技術的効果を達成するとともに、本出願の実施例の技術的解決策は簡単かつ便利に実現することができ、普及しやすく、幅広く適用することができる。

【0077】

上記に示した様々な形態のプロセスを用いて、ステップを順序変更、追加又は削除できることを理解されたい。本出願が開示する技術的解決策の望ましい結果を実現することができれば、例えば、本出願に記載された各ステップは並行して又は順番通りに又は異なる順番で実行されてもよく、本明細書はここでは制限をしない。

【0078】

上記の具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件及び他の要因に従って、様々な修正、組み合わせ、再組合及び置き換えが可能であることを理解すべきである。本出願の精神及び原則の範囲内で行われた如何なる修正、同等の置き換え及び改善などは、本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】