特許 7395301 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-01

(45)【発行日】2023-12-11

(54)【発明の名称】障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体

(51)【国際特許分類】

   G01S 17/93 20200101AFI20231204BHJP

   G01C 3/06 20060101ALI20231204BHJP

   G01S 17/89 20200101ALI20231204BHJP

   G08G 1/16 20060101ALI20231204BHJP

【ＦＩ】

G01S17/93

G01C3/06 130

G01C3/06 140

G01S17/89

G08G1/16 C

【請求項の数】 8

(21)【出願番号】P 2019177513

(22)【出願日】2019-09-27

(65)【公開番号】P2020098188

(43)【公開日】2020-06-25

【審査請求日】2019-09-27

【審判番号】

【審判請求日】2021-10-14

(31)【優先権主張番号】201811131724.4

(32)【優先日】2018-09-27

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321009845

【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(72)【発明者】

【氏名】チェン， ドンミン

(72)【発明者】

【氏名】スン， シュン

(72)【発明者】

【氏名】ワン， リャン

【合議体】

【審判長】岡田 吉美

【審判官】波多江 進

【審判官】濱野 隆

(56)【参考文献】

【文献】特開２０１２－８３１５７（ＪＰ，Ａ）

【文献】特開２０１２－２２５８０６（ＪＰ，Ａ）

【文献】国際公開第２０１３／０３５６１２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１０／００３０４７３（ＵＳ，Ａ１）

【文献】特開２０１４－１７３８６９（ＪＰ，Ａ）

【文献】特開２０１３－２１８３９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２６１６０３（ＵＳ，Ａ１）

【文献】特開２０１８－９２４８３（ＪＰ，Ａ）

【文献】特開平１０－１４３６５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／００５４５４１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００５１００７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００７／０１５６２８６（ＵＳ，Ａ１）

【文献】特開２００３－２９６７３６（ＪＰ，Ａ）

【文献】中国特許出願公開第１０５６５２８７３（ＣＮ，Ａ）

【文献】中国特許出願公開第１０７６３６６８０（ＣＮ，Ａ）

【文献】中国特許出願公開第１０５８６６７７９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G01S 7/00 - 7/64

G01S 13/00 - 17/95

G01B 11/00 - 11/30

G01C 3/00 - 3/32

(57)【特許請求の範囲】

【請求項1】

障害物検出装置または電子機器によって実行される障害物検出方法であって、
車両周囲の深度マップを取得するステップと、
初期の第１フレームの深度マップに対して、該深度マップにおける予め設定された領域内の点を３次元空間に逆投影した後に平面フィッティングして、前記第１フレームの前記深度マップの地面方程式を取得し、前記第１フレームの前記深度マップの後の他の各フレームの深度マップに対して、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な前記領域内で平面フィッティングして、前記現在のフレームの前記深度マップの地面方程式を取得する操作に基づいて、前記地面方程式を決定するステップと、
前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な領域を検出し、前記深度マップにおける走行可能な前記領域内で、障害物候補点の集合を決定するステップと、
前記障害物候補点の集合における候補点を領域区分して、前記障害物候補点に対応する少なくとも一つの候補領域を取得し、前記候補領域内の候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、前記少なくとも一つのクラスタリング結果を少なくとも一つの他から独立した障害物とするステップと、
少なくとも一つの前記独立した障害物のうち誤検出された障害物を識別してフィルタリングし、前記深度マップに基づく障害物検出結果を取得するステップとを含む障害物検出方法。

【請求項2】

前記車両周囲の前記深度マップを取得するステップは、
双眼ステレオカメラを使用して前記車両周囲の前記深度マップを取得するステップを含む請求項１に記載の障害物検出方法。

【請求項3】

前記車両周囲の前記深度マップを取得すると同時に、レーザレーダによって前記車両周囲がスキャンされたデータを取得し、前記レーザレーダによってスキャンされた前記データに基づいて前記障害物を検出して、レーザレーダ障害物検出結果を取得するステップをさらに含み、
前記深度マップに基づく前記障害物検出結果を取得した後に、
前記レーザレーダ障害物検出結果と前記深度マップに基づく前記障害物検出結果とを使用して、融合クロスチェックするステップをさらに含み、
前記レーザレーダ障害物検出結果と前記深度マップに基づく前記障害物検出結果とを使用して、融合クロスチェックするステップは、
前記深度マップに基づく前記障害物検出結果を目標障害物とするステップと、
前記レーザレーダ障害物検出結果に前記目標障害物の一部が含まれている場合、前記目標障害物をチェックに合格した障害物として決定するステップと、
前記レーザレーダ障害物検出結果に前記目標障害物が含まれておらず、現在の時点の一つ前の時点で採取された前記深度マップに基づいて、前記目標障害物と時間系列とで関連されることが検出された場合、前記目標障害物をチェックに合格した前記障害物として決定するステップとを含む請求項１または請求項２に記載の障害物検出方法。

【請求項4】

二つの隣接する時点で検出された二つの前記障害物が時間系列で関連されるか否かを判断する方法は、
機械学習の方法を使用して二つの前記障害物の画像からそれぞれ特徴を抽出することと、
それぞれの特徴ベクトルを取得することと、
二つの該特徴ベクトル間の類似度を算出することによって、二つの前記障害物が互いに関連されるか否かを判断することとを含む請求項３に記載の障害物検出方法。

【請求項5】

取得モジュールと、
決定モジュールと、
クラスタリングモジュールと、
フィルタリングモジュールとを備え、
前記取得モジュールが、車両周囲の深度マップを取得し、
前記決定モジュールが、初期の第１フレームの深度マップに対して、該深度マップにおける予め設定された領域内の点を３次元空間に逆投影した後に平面フィッティングして、前記第１フレームの前記深度マップの地面方程式を取得し、前記第１フレームの前記深度マップの後の他の各フレームの深度マップに対して、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な前記領域内で平面フィッティングして、前記現在のフレームの前記深度マップの地面方程式を取得する操作に基づいて、前記地面方程式を決定し、前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な領域を検出し、前記深度マップにおける走行可能な前記領域内で、障害物候補点の集合を決定し、
前記クラスタリングモジュールが、前記障害物候補点の集合における候補点を領域区分して、前記障害物候補点に対応する少なくとも一つの候補領域を取得し、前記候補領域内の候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、前記少なくとも一つのクラスタリング結果を少なくとも一つの他から独立した障害物とし、
前記フィルタリングモジュールが、少なくとも一つの前記独立した障害物のうち誤検出された障害物を識別してフィルタリングし、前記深度マップに基づく障害物検出結果を取得する障害物検出装置。

【請求項6】

少なくとも一つのプロセッサと、
少なくとも一つのプログラムを記憶するメモリとを備え、
少なくとも一つの前記プログラムが少なくとも一つの前記プロセッサによって実行される場合に、少なくとも一つの前記プロセッサが、請求項１から請求項４のいずれかに記載の障害物検出方法を実現する電子機器。

【請求項7】

車体を備える車両であって、
請求項６に記載の電子機器と、
双眼ステレオカメラと、
単眼カメラと、
レーザレーダとを備える車両。

【請求項8】

コンピュータプログラムが記憶されている記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合に、請求項１から請求項４のいずれかに記載の障害物検出方法が実現される記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、無人運転車両の技術に関し、特に、障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体に関する。

【背景技術】

【0002】

無人運転車両とは、様々なセンサを使用して車両周囲環境を感知し、感知して取得された道路、車両位置、および障害物などに基づいて、車両の操舵および速度を制御することによって、車両が安全的かつ信頼的に道路で走行するようにする車両を指す。その中、障害物は、道路に現れる石造りの桟橋、円球、消火栓などを含む。

【0003】

単眼カメラとレーザレーダは、いずれも、自動運転システムにおける重要なセンサであり、これらのセンサを使用して、障害物の検出、分類、追跡などの車両周囲環境を感知することができる。これらのセンサには、それぞれ長所があり、自身の制限性もある。

【0004】

単眼カメラを使用して障害物検出する場合、一般的には、機械学習の方法を使用する。まず、既に明確に定義された通常の障害物を収集して、手動でラベル付ける。たとえば、人、車両、自転車、ロードコーンなどに対して、手動でラベル付ける。その後、機械学習アルゴリズムを使用して、ラベル付きサンプルを訓練して、検出モデルを取得する。最後に、検出モデルを使用して実際の撮影画像における障害物を検出する。当該方法の欠点は、訓練したことがない非通常の障害物を検出することができない。しかし、実際の道路には、走行可能な領域内の非通常の障害物の種類が非常に多く、大きいものとしてはさまざまなバリケードがあり、小さいものとしては奇怪な姿をしている石造りの桟橋、盛り土、紙箱などがある。

【0005】

レーザレーダを使用して障害物検出する場合、従来の検出アルゴリズムを使用して通常および非通常の障害物を検出する。しかし、レーダエミッタの数の制限のために、収集されたレーザ点群の密集を保証できず、低い障害物が漏れ検出される情況が発生することになる。また、レーザレーダは、異なる色および異なる材質の物体に対する探知能力も互いに異なる。たとえば、特に黒いある材質である場合、レーザを過度に吸収して、レーザレーダの漏れ検出をもたらす。

【0006】

従って、どのような種類のセンサであっても、非通常の障害物に対しては正確で効果的な検出を実現することができない。

【発明の概要】

【発明が解決しようとする課題】

【0007】

これに鑑みて、本発明は、障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体を提供し、レーザレーダを使用して検出するときに、まばらなサンプリング点による障害物の漏れ検出問題を回避することができ、単眼カメラを使用して検出するときに、すべての種類の障害物をサンプルとしてモデル訓練することができないため、訓練したことがないサンプル種類が検出できないことによる漏れ検出問題も回避することができる。

【課題を解決するための手段】

【0008】

本発明の第１態様として、障害物検出装置または電子機器によって実行される障害物検出方法であって、車両周囲の深度マップを取得するステップと、初期の第１フレームの深度マップに対して、該深度マップにおける予め設定された領域内の点を３次元空間に逆投影した後に平面フィッティングして、前記第１フレームの前記深度マップの地面方程式を取得し、前記第１フレームの前記深度マップの後の他の各フレームの深度マップに対して、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な前記領域内で平面フィッティングして、前記現在のフレームの前記深度マップの地面方程式を取得する操作に基づいて、前記地面方程式を決定するステップと、前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な領域を検出し、前記深度マップにおける走行可能な前記領域内で、障害物候補点の集合を決定するステップと、前記障害物候補点の集合における候補点を領域区分して、前記障害物候補点に対応する少なくとも一つの候補領域を取得し、前記候補領域内の候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、前記少なくとも一つのクラスタリング結果を少なくとも一つの他から独立した障害物とするステップと、少なくとも一つの前記独立した障害物のうち誤検出された障害物を識別してフィルタリングし、前記深度マップに基づく障害物検出結果を取得するステップとを含む障害物検出方法を提供する。

【0009】

上記態様において、前記車両周囲の前記深度マップを取得するステップは、双眼ステレオカメラを使用して前記車両周囲の前記深度マップを取得するステップ、または、レーザレーダを使用して前記車両周囲のレーザ点群を取得し、単眼カメラによって前記車両周囲のレーザ点群をサンプリングして前記車両周囲の深度マップを取得するステップを含んでいてもよい。

【0010】

また、上記態様において、前記地面方程式と前記深度マップとに基づいて、前記障害物候補点の集合を決定するステップは、前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な領域を検出するステップと、前記深度マップにおける走行可能な前記領域内で、前記障害物候補点の集合を決定するステップとを含んでいてもよい。

【0011】

また、本発明の参考例としての発明は、上記態様において、前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な前記領域を検出するステップは、前記地面方程式に基づいて、前記深度マップで、障害物候補の下端と前記地面方程式の境界点である接触点を算出するステップとを含み、前記接触点までの深度マップ内の領域が前記車両の前方の走行可能な前記領域であってもよい。

【0012】

また、本発明の参考例としての発明は、上記態様において、前記深度マップにおける走行可能な前記領域内で、前記障害物候補点の集合を決定するステップは、走行可能な前記領域内の前記深度マップで、取得された前記接触点の上方に位置し、かつ、前記障害物候補のすべての画素点の深度値が予め設定された範囲で変化されるとの規則に合致する点を、前記障害物候補の画素点として決定し、深度値に前記予め設定された範囲を超えるジャンプ変化が発生される場合、前記障害物候補のエッジを決定するステップを含んでいてもよい。

【0013】

また、上記態様において、前記深度マップに基づいて地面フィッティングして、前記地面方程式を決定するステップは、初期の第１フレームの深度マップに対して、該深度マップでの前記予め設定した領域内の点を３次元空間に逆投影した後に平面フィッティングして、前記第１フレームの前記深度マップの地面方程式を取得するステップと、前記第１フレームの前記深度マップの後の他の各フレーム深度マップに対して、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な前記領域内で平面フィッティングして、前記現在のフレームの前記深度マップの地面方程式を取得する操作に基づいて、前記地面方程式を決定するステップとを含んでいてもよい。

【0014】

また、上記態様において、前記障害物候補点の集合における各前記候補点をクラスタリングして、少なくとも一つの前記独立した障害物を取得するステップは、クラスタリングアルゴリズムを使用して、前記障害物候補点の集合における各前記候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、各該クラスタリング結果を検出された前記独立した障害物とするステップを含んでいてもよい。

【0015】

また、上記態様において、少なくとも一つの前記独立した障害物のうち誤検出された前記障害物を識別するステップは、前記障害物の地面からの高さに基づいて識別することと、前記障害物のサイズに基づいて識別することと、前記車両の現在の車線に基づいて識別することと、を少なくとも含む予め設定した計略によって、少なくとも一つの前記独立した障害物のうち誤検出された前記障害物を識別するステップを含んでいてもよい。

【0016】

また、上記態様において、前記車両周囲の前記深度マップを取得すると同時に、レーザレーダによって前記車両周囲がスキャンされたデータを取得し、前記レーザレーダによってスキャンされた前記データに基づいて前記障害物を検出して、レーザレーダ障害物検出結果を取得するステップをさらに含み、前記深度マップに基づく前記障害物検出結果を取得した後に、前記レーザレーダ障害物検出結果と前記深度マップに基づく前記障害物検出結果とを使用して、融合クロスチェックするステップをさらに含んでいてもよい。

【0017】

また、上記態様において、前記レーザレーダ障害物検出結果と前記深度マップに基づく前記障害物検出結果とを使用して、融合クロスチェックするステップは、前記深度マップに基づく前記障害物検出結果を目標障害物とするステップと、前記レーザレーダ障害物検出結果に前記目標障害物の一部が含まれている場合、前記目標障害物をチェックに合格した障害物として決定するステップと、前記レーザレーダ障害物検出結果に前記目標障害物が含まれておらず、現在の時点の一つ前の時点で収集された前記深度マップに基づいて、目標障害物と時間系列とで関連されることが検出された場合、前記目標障害物をチェックに合格した前記障害物として決定するステップとを含んでいてもよい。

【0018】

また、上記態様において、二つの隣接する時点で検出された二つの前記障害物が時間系列で関連されるか否かを判断する方法は、機械学習の方法を使用して二つの前記障害物の画像からそれぞれ特徴を抽出して、それぞれの特徴ベクトルを取得し、二つの該特徴ベクトル間の類似度を算出することによって、二つの前記障害物が互いに関連されるか否かを判断することを含んでいてもよい。

【0019】

本発明の第２態様として、取得モジュールと、決定モジュールと、クラスタリングモジュールと、フィルタリングモジュールとを備え、前記取得モジュールが、車両周囲の深度マップを取得し、前記決定モジュールが、初期の第１フレームの深度マップに対して、該深度マップにおける予め設定された領域内の点を３次元空間に逆投影した後に平面フィッティングして、前記第１フレームの前記深度マップの地面方程式を取得し、前記第１フレームの前記深度マップの後の他の各フレームの深度マップに対して、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な前記領域内で平面フィッティングして、前記現在のフレームの前記深度マップの地面方程式を取得する操作に基づいて、前記地面方程式を決定し、前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な領域を検出し、前記深度マップにおける走行可能な前記領域内で、障害物候補点の集合を決定し、前記クラスタリングモジュールが、前記障害物候補点の集合における候補点を領域区分して、前記障害物候補点に対応する少なくとも一つの候補領域を取得し、前記候補領域内の候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、前記少なくとも一つのクラスタリング結果を少なくとも一つの他から独立した障害物とし、前記フィルタリングモジュールが、少なくとも一つの前記独立した障害物のうち誤検出された障害物を識別してフィルタリングし、前記深度マップに基づく障害物検出結果を取得する障害物検出装置を提供する。

【0020】

本発明の第３態様として、少なくとも一つのプロセッサと、少なくとも一つのプログラムを記憶するメモリとを備え、少なくとも一つの前記プログラムが少なくとも一つの前記プロセッサによって実行される場合に、少なくとも一つの前記プロセッサが、上記の障害物検出方法を実現する電子機器を提供する。

【0021】

本発明の第４態様として、車体を備える車両であって、上記の電子機器と、双眼ステレオカメラと、単眼カメラと、レーザレーダとをさらに備える車両を提供する。

【0022】

本発明の第５態様として、コンピュータプログラムが記憶されている記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合に、上記の障害物検出方法が実現される記憶媒体を提供する。

【0023】

本発明は、障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体を提供する。まず、車両周囲の深度マップを取得し、その後、深度マップに基づいて地面フィッティングして、地面方程式を決定し、地面方と深度マップ程に基づいて、障害物候補点の集合を決定する。さらに、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得して、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングすることによって、深度マップに基づく障害物検出結果を取得する。つまり、本発明の技術案においては、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、障害物候補点の集合における各候補点をクラスタリングし、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングして、深度マップに基づく障害物検出結果を取得することができる。したがって、従来の技術と比較すると、本発明によって提供される障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体によると、レーザレーダを使用して検出するときに、まばらなサンプリング点による障害物の漏れ検出問題を回避することができ、単眼カメラを使用して検出するときに、すべての種類の障害物をサンプルとしてモデル訓練することができないため、訓練したことがないサンプル種類が検出できないことによる漏れ検出問題も回避することができる。また、本発明の実施例の技術案の実現は、簡単・便利であり、そして普及しやすく、よい広い応用範囲を有する。

【図面の簡単な説明】

【0024】

【図1】本発明の実施例１によって提供される障害物検出方法のフローの模式図である。

【図2】本発明の実施例２によって提供される障害物検出方法のフローの模式図である。

【図3】本発明の実施例３によって提供される障害物検出方法のフローの模式図である。

【図4】本発明の実施例４によって提供される障害物検出装置の構成模式図である。

【図5】本発明の実施例５によって提供される電子機器の構成模式図である。

【発明を実施するための形態】

【0025】

以下、図面および実施例と結合して本発明をさらに詳細に説明する。ここで記載する具体的な実施例は、単に、本発明を説明するのみに用いられ、本発明を限定するものではないことを、理解できるはずである。また、説明を容易にするために、本発明に関連する構造の全部ではなく一部のみを図面に示したことを、さらに説明する必要がある。

【0026】

実施例１
図１は、本発明の実施例１によって提供される障害物検出方法のフローの模式図である。
障害物検出方法は、障害物検出装置または電子機器によって実行されることができ、障害物検出装置または電子機器は、ソフトウェア、及び／又は、ハードウェアの方式によって実現されることができる。障害物検出装置または電子機器は、車両などの、ネットワーク通信機能を有する任意のスマート機器に統合されてもよく、車両は、無人車両であってもよい。
図１に示されるように、障害物検出方法は、以下のステップＳ１０１～ステップＳ１０５を含んでいる。
ステップＳ１０１は、車両周囲の深度マップを取得する。

【0027】

コンピュータビジョンシステムにおいて、３次元シーン情報は、画像分割、目標検出及び物体追跡などの様々な種類のコンピュータビジョンアプリケーションのために、より多くの可能性を提供しており、深度マップ（Ｄｅｐｔｈ Ｍａｐ）は、一般的な３次元シーン情報表現方式として、幅広く使用されている。３Ｄコンピュータグラフィックにおいて、深度マップは、視点のシーンオブジェクトの表面からの距離に関連する情報を含む画像または画像チャネルである。Ｄｅｐｔｈ Ｍａｐは、グレースケール画像に似ているが、ただ、Ｄｅｐｔｈ Ｍａｐの各画素値はセンサと物体との間の実際の距離である。本発明の具体的な実施例において、電子機器は、車両周囲の深度マップを取得することができる。具体的には、電子機器は、双眼ステレオカメラを使用して車両周囲の深度マップを取得、或いは、電子機器は、レーザレーダを使用して車両周囲のレーザ点群を取得し、単眼カメラによって車両周囲のレーザ点群をサンプリングして車両周囲の深度マップを取得することができる。

【0028】

ステップＳ１０２は、深度マップに基づいて地面フィッティングして、地面方程式を決定する。

【0029】

本発明の具体的な実施例において、電子機器は、深度マップに基づいて地面フィッティングして、地面方程式を決定することができる。具体的には、初期の第１フレームの深度マップに対して、電子機器は、深度マップにおける予め設定した領域内の点を３次元空間に逆投影した後に平面フィッティングして、第１フレームの深度マップの地面方程式を取得する。そして、第１フレームの深度マップの後の他の各フレームの深度マップに対しては、以下の操作に基づいて地面方程式を決定することができる、この操作は、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な領域内で平面フィッティングして、現在のフレームの深度マップの地面方程式を取得する操作である。

【0030】

一例を挙げて説明すると、電子機器は、第１フレームの深度マップに対しては、第１フレームの深度マップにおける予め設定した領域内の点を３次元空間に逆投影した後に平面フィッティングして、第１フレームの深度マップの地面方程式を取得する。第２フレームの深度マップに対しては、第１フレームの深度マップで決定した走行可能な領域内で平面フィッティングして、第２フレームの深度マップの地面方程式を取得する。第３フレームの深度マップに対しては、第２フレームの深度マップで決定した走行可能な領域内で平面フィッティングして、第３フレームの深度マップの地面方程式を取得する。このような方式で推理すると、第Ｎのフレームの深度マップに対しては、第Ｎ－フレームの深度マップで決定した走行可能な領域内で平面フィッティングして、第Ｎフレームの深度マップの地面方程式を取得し、その中、Ｎは、１より大きい自然数である。

【0031】

ステップＳ１０３は、地面方程式と深度マップとに基づいて、障害物候補点の集合を決定する。

【0032】

本発明の具体的な実施例において、電子機器は、地面方程式と深度マップとに基づいて、障害物候補点の集合を決定することができる。具体的には、電子機器は、まず、地面方程式に基づいて、深度マップで車両の前方の走行可能な領域を検出し、その後、深度マップにおける走行可能な領域内で障害物候補点の集合を決定することができる。

【0033】

ステップＳ１０４は、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得する。

【0034】

本発明の具体的な実施例において、電子機器は、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得することができる。具体的には、電子機器は、クラスタリングアルゴリズムを使用して、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、各クラスタリング結果を検出された独立した障害物とすることができる。具体的には、電子機器は、クラスタリングアルゴリズムを使用して障害物候補点の集合における各候補点をクラスタリングすることができる。たとえば、電子機器は、まず、障害物候補点を領域区分して、障害物候補点に対応する少なくとも一つの候補領域を取得し、その後、各候補領域内の各候補点をクラスタリングすることができる。たとえば、電子機器は、障害物候補点の集合における一つの候補領域内の候補点がより集中されている場合、候補領域内の候補点をクラスタリングして、候補領域内の独立した障害物を取得することができる。

【0035】

ステップＳ１０５は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングし、深度マップに基づく障害物検出結果を取得する。

【0036】

本発明の具体的な実施例において、電子機器は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングすることによって、深度マップに基づく障害物検出結果を取得することができる。具体的には、電子機器は、予め設定した計略によって、少なくとも一つの独立した障害物のうち誤検出された障害物を識別し、予め設定した計略は、障害物の地面からの高さに基づいて識別することと、障害物のサイズに基づいて識別することと、車両の現在の車線に基づいて識別することと、を少なくとも含むことができる。

【0037】

一例を挙げて説明すると、電子機器が障害物候補点の集合における各候補点をクラスタリングして、独立した障害物１、独立した障害物２、…、独立した障害物ＭであるＭ（Ｍは１以上の自然数である）個の独立した障害物を取得したと想定する。ステップにおいて、電子機器は、障害物の地面からの高さに基づいて、独立した障害物１、独立した障害物２、…、独立した障害物Ｍをそれぞれ識別することができ、または、障害物のサイズに基づいて、独立した障害物１、独立した障害物２、…、独立した障害物Ｍをそれぞれ識別することができ、さらに、車両の現在の車線に基づいて、独立した障害物１、独立した障害物２、…、独立した障害物Ｍをそれぞれ識別することができる。たとえば、電子機器は、独立した障害物１の地面からの高さが予め設定した高さ閾値より低い場合、独立した障害物１を誤検出された障害物として識別することができ、または、独立した障害物１のサイズが予め設定したサイズ閾値より小さい場合、独立した障害物１を誤検出された障害物として識別することができ、または、独立した障害物１が車両の現在の車線以外に位置している場合、独立した障害物１を誤検出された障害物として識別することができる。

【0038】

本発明の実施例によって提供される障害物検出方法によると、まず、車両周囲の深度マップを取得する。その後、深度マップに基づいて地面フィッティングして、地面方程式を決定し、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、再障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得する。そして、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングすることによって、深度マップに基づく障害物検出結果を取得する。つまり、本発明の技術案において、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、障害物候補点の集合における各候補点をクラスタリングし、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングして、深度マップに基づく障害物検出結果を取得することができる。したがって、従来の技術と比較すると、本発明の実施例によって提供される障害物検出方法、レーザレーダを使用して検出するときに、まばらなサンプリング点による障害物の漏れ検出問題を回避することができる。単眼カメラを使用して検出するときに、すべての種類の障害物をサンプルとしてモデル訓練することができないため、訓練したことがないサンプル種類が検出できないことによる漏れ検出問題も回避することができ、また、本発明の実施例の技術案の実現は、簡単で便利であり、そして普及しやすく、よい広い応用範囲を有する。

【0039】

実施例２
図２は、本発明の実施例２によって提供される障害物検出方法のフローの模式図である。
図２に示されるように、障害物検出方法は、以下のステップＳ２０１からステップＳ２０６を含んでいる。
ステップＳ２０１は、車両周囲の深度マップを取得する。

【0040】

ステップＳ２０２は、深度マップに基づいて地面フィッティングして、地面方程式を決定する。

【0041】

ステップＳ２０３は、地面方程式に基づいて、深度マップで車両前方の走行可能な領域を検出する。

【0042】

本発明の具体的な実施例において、電子機器は、地面方程式に基づいて、深度マップで車両前方の走行可能な領域を検出することができる。つまり、電子機器は、車両周囲の深度マップを取得した後、深度マップで車両前方の走行可能な領域および走行不可能な領域を検出することができる。具体的には、電子機器は、地面方程式に基づいて、深度マップで接触点を算出して取得することができる。接触点以内が走行可能な領域であり、接触点以外が走行不可能な領域であり、そして、接触点は、障害物の下端と地面方程式との境界点である。

【0043】

ステップＳ２０４は、深度マップにおける走行可能な領域内で障害物候補点の集合を決定する。

【0044】

本発明の具体的な実施例において、電子機器は、深度マップにおける走行可能な領域内で障害物候補点の集合を決定することができる。具体的には、電子機器は、走行可能な領域内の深度マップで、取得された接触点の上方に位置し、かつ、障害物のすべての画素点の深度値が予め設定された範囲で変化されるとの規則に合致する点を、画素点として決定し、深度値に予め設定された範囲を超えるジャンプ変化が発生される場合、障害物のエッジを決定することができる。つまり、障害物のすべての画素点の深度値が予め設定された範囲で変化され、障害物のエッジでは深度値のジャンプ変化が発生される。したがって、電子機器は、深度値に予め設定された範囲を超えるジャンプ変化が検出される場合、障害物のエッジを決定することができる。

【0045】

ステップＳ２０５は、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得する。

【0046】

ステップＳ２０６は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングし、深度マップに基づく障害物検出結果を取得する。

【0047】

本発明の具体的な実施例において、電子機器は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別した後、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングすることもできる。具体的には、電子機器は、予め設定したフィルタリングアルゴリズムを使用して、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングすることができる。

【0048】

好ましくは、本発明の具体的な実施例において、電子機器は、車両周囲の深度マップを取得すると同時に、レーザレーダによって車両周囲がスキャンされたデータを取得し、レーザレーダによってスキャンされたデータに基づいて障害物を検出して、レーザレーダ障害物検出結果を取得することもできる。電子機器は、深度マップに基づく障害物検出結果を取得した後に、レーザレーダ障害物検出結果と、深度マップに基づく障害物検出結果とを使用して、融合クロスチェックすることもできる。レーザ点群は、点群とも呼ばれ、レーザ点群は、レーザを使用して同一の空間参照系で物体表面の各サンプリング点の空間座標を取得して、目標空間分布および目標表面特性を表現する一連の大量の点の集合を取得するものであり、この点の集合が「点群」（Ｐｏｉｎｔ Ｃｌｏｕｄ）と呼ばれる。点群の属性は、空間解像度、点位置精度及び表面法線ベクトルなどを含むことができる。例示的に、車両上方には、レーザレーダが配置され、レーザレーダには複数のレーザエミッタが有り、レーザレーダは特定の周波数で車両の周囲において１回りずつスキャンして、リアルタイムな車両周囲のレーザ点群を取得することができる。したがって、電子機器は、レーザレーダ障害物検出結果と深度マップに基づく障害物検出結果とを使用して、融合クロスチェックすることができる。具体的には、電子機器は、深度マップに基づく障害物検出結果を目標障害物とし、レーザレーダ障害物検出結果に目標障害物の一部が含まれている場合は、目標障害物をチェックに合格した障害物として決定する。そして、レーザレーダ障害物検出結果に目標障害物が含まれていなく、現在の時点の一つ前の時点で採取された深度マップに基づいて、目標障害物と時間系列で関連されることが検出された場合は、目標障害物をチェックに合格した障害物として決定することができる。具体的には、電子機器は、二つの隣接する時点で検出された二つの障害物が時間系列で関連されるか否かを判断する際に、機械学習の方法を使用して、二つの障害物の画像からそれぞれ特徴を抽出する。そして、それぞれの特徴ベクトルを取得し、二つの特徴ベクトル間の類似度を算出することによって、二つの障害物が互いに関連されるか否かを判断することができる。

【0049】

本発明の実施例によって提供される障害物検出方法によると、まず、車両周囲の深度マップを取得し、その後、深度マップに基づいて地面フィッティングして、地面方程式を決定する。そして、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、再障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得して、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングする。これにより、深度マップに基づく障害物検出結果を取得する。つまり、本発明の技術案において、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、障害物候補点の集合における各候補点をクラスタリングし、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングして、深度マップに基づく障害物検出結果を取得することができる。したがって、従来の技術と比較すると、本発明の実施例によって提供される障害物検出方法は、レーザレーダを使用して検出するときに、まばらなサンプリング点による障害物の漏れ検出問題を回避することができる。また、単眼カメラを使用して検出するときに、すべての種類の障害物をサンプルとしてモデル訓練することができないため、訓練したことがないサンプル種類が検出できないことによる漏れ検出問題も回避することができる。また、本発明の実施例の技術案の実現は、簡単で便利であり、そして普及しやすく、よい広い応用範囲を有する。

【0050】

実施例３
図３は、本発明の実施例３によって提供される障害物検出方法のフローの模式図である。図３に示されるように、障害物検出方法は、以下のステップＳ３０１～ステップＳ３０８を含んでいる。
ステップＳ３０１は、車両周囲の深度マップを取得する。

【0051】

ステップＳ３０２は、深度マップに基づいて地面フィッティングして、地面方程式を決定する。

【0052】

ステップＳ３０３は、地面方程式に基づいて、深度マップで車両前方の走行可能な領域を検出する。

【0053】

ステップＳ３０４は、深度マップにおける走行可能な領域内で障害物候補点の集合を決定する。

【0054】

ステップＳ３０５は、クラスタリングアルゴリズムを使用して、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、各クラスタリング結果を検出された独立した障害物とする。

【0055】

ステップＳ３０６は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングし、深度マップに基づく障害物検出結果を取得する。

【0056】

ステップＳ３０７は、車両周囲の深度マップを取得すると同時に、レーザレーダによって車両周囲がスキャンされたデータを取得し、レーザレーダによってスキャンされたデータに基づいて障害物を検出して、レーザレーダ障害物検出結果を取得する。

【0057】

ステップＳ３０８は、レーザレーダ障害物検出結果と深度マップに基づく障害物検出結果とを使用して、融合クロスチェックする。

【0058】

本発明の具体的な実施例において、電子機器は、深度マップに基づく障害物検出結果を目標障害物とし、レーザレーダ障害物検出結果に目標障害物の一部が含まれている場合は、目標障害物をチェックに合格した障害物として決定する。そして、レーザレーダ障害物検出結果に目標障害物が含まれていなく、現在の時点の一つ前の時点で採取された深度マップに基づいて、目標障害物と時間系列で関連されることが検出された場合は、目標障害物をチェックに合格した障害物として決定することができる。具体的には、電子機器は、二つの隣接する時点で検出された二つの障害物が時間系列で関連されるか否かを判断する際に、機械学習の方法を使用して、二つの障害物の画像からそれぞれ特徴を抽出して、それぞれの特徴ベクトルを取得し、二つの特徴ベクトル間の類似度を算出することによって、二つの障害物が互いに関連されるか否かを判断することができる。具体的には、電子機器は、二つの特徴ベクトル間の類似度が予め設定した閾値以上である場合、二つの障害物が関連されると判定し、二つの特徴ベクトル間の類似度が予め設定した閾値未満である場合、二つの障害物が関連されないと判定することができる。

【0059】

本発明の実施例によって提供される障害物検出方法によると、まず、車両周囲の深度マップを取得し、その後、深度マップに基づいて地面フィッティングして、地面方程式を決定する。そして、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、再障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得して、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングすることによって、深度マップに基づく障害物検出結果を取得する。つまり、本発明の技術案において、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、障害物候補点の集合における各候補点をクラスタリングし、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングして、深度マップに基づく障害物検出結果を取得することができる。したがって、従来の技術と比較すると、本発明の実施例によって提供される障害物検出方法は、レーザレーダを使用して検出するときに、まばらなサンプリング点による障害物の漏れ検出問題を回避することができる。また、単眼カメラを使用して検出するときに、すべての種類の障害物をサンプルとしてモデル訓練することができないため、訓練したことがないサンプル種類が検出できないことによる漏れ検出問題も回避することができ、また、本発明の実施例の技術案の実現は、簡単で便利であり、そして普及しやすく、よい広い応用範囲を有する。

【0060】

実施例４
図４は、本発明の実施例４によって提供される障害物検出装置の構成模式図である。図４に示したように、本発明の実施例に記載の障害物検出装置は、取得モジュール４０１と、決定モジュール４０２と、クラスタリングモジュール４０３と、フィルタリングモジュール４０４とを備えている。
取得モジュール４０１は、車両周囲の深度マップを取得する。
決定モジュール４０２は、深度マップに基づいて地面フィッティングして、地面方程式を決定し、地面フィッティング方程と深度マップとに基づいて、障害物候補点の集合を決定する。
クラスタリングモジュール４０３は、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得する。
フィルタリングモジュール４０４は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングし、深度マップに基づく障害物検出結果を取得する。

【0061】

上述した障害物検出装置は、本発明の任意の実施例によって提供される方法を実行することができ、障害物検出方法を実行するための該当する機能モジュールと有益な効果を有する。本実施例において詳細に説明しなかった技術的詳細については、本発明の任意の実施例によって提供される障害物検出方法を参照することができる。

【0062】

実施例５
図５は、本発明の実施例５によって提供される電子機器の構成模式図である。図５は、本発明の実施形態の実現に適当な例示的な電子機器のブロック図を示す。図５に示される電子機器１２は、一例に過ぎず、本発明の実施例の機能および使用範囲に対していかなる限制をもたらすものではない。

【0063】

図５に示されるように、電子機器１２は、汎用計算装置の形で具体化されている。電子機器１２の構成要素は、少なくとも１つのプロセッサまたは処理ユニット１６と、システムメモリ２８と、システム構成要素（システムメモリ２８と処理ユニット１６とを含む）を接続するバス１８とを含むが、これらに限定されない。

【0064】

バス１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ、又は多様なバス構造のいずれかのバス構造を使用するローカルバスを含む、いくつかのタイプのバス構造のうちの少なくとも１つを表す。例えば、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、以下ＩＳＡと略する）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、以下ＭＣＡと略する）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、以下ＶＥＳＡと略する）ローカルバス、及びペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ、以下ＰＣＩと略する）バスを含むが、これらに限定されない。

【0065】

電子機器１２は、一般的に、複数種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む、電子機器１２によってアクセスされ得る任意の使用可能な媒体であってもよい。

【0066】

システムメモリ２８は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、以下ＲＡＭと略する）３０及び／又はキャッシュメモリ３２のような揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでいてもよい。電子機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでいてもよい。一例だけとするが、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図５に図示せず、通常「ハードディスクドライブ」と称される）に対して読み出し及び書き込みをするために用いることができる。図５に示されていないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル不揮発性光学ディスク（例えば、シーディーロム（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、以下ＣＤ－ＲＯＭと略する）、ディーブイディーロム（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、以下ＤＶＤ－ＲＯＭと略する）又は他の光学媒体）に対して読み出し及び書き込みをするための光ディスクドライブを提供することができる。これらの場合、各ドライブは、少なくとも１つのデータメディアインターフェイスを介してバス１８に接続することができる。システムメモリ２８は、本発明の各実施例に記載の機能を実行するように構成される１セットの（例えば、少なくとも１つ）プログラムモジュールを有する少なくとも１つのプログラム製品を含んでいてもよい。

【0067】

１セットの（少なくとも１つ）プログラムモジュール４２を有するプログラム/ユーティリティ４０は、例えば、システムメモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、少なくとも１つのアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含むが、これらに限定されない。これらの例のそれぞれ又はある組み合わせには、ネットワーキング環境の実装が含まれる可能性がある。プログラムモジュール４２は、一般的に、本発明に記載の実施例における機能及び／又は方法を実行する。

【0068】

電子機器１２は、少なくとも１つの外部デバイス１４（例えば、キーボード、ポインティングデバイス、ディスプレイ２４など）と通信することができ、また、ユーザが当該電子機器１２とインタラクションすることを可能にする少なくとも１つのデバイスと通信することができ、及び／又は、電子機器１２が少なくとも１つの他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデムなど）と通信することもできる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。また、電子機器１２は、ネットワークアダプタ２０を介して、１つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、以下ＬＡＮと略する）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、以下ＷＡＮと略する）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図５に示されるように、ネットワークアダプタ２０は、バス１８を介して電子機器１２の他のモジュールと通信する。なお、図示されていないが、マイクロコード、デバイスドライバ、冗長化処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、及びデータバックアップストレージシステムなどを含むが、これらに限定されない他のハードウェア及び／又はソフトウェアモジュールを電子機器１２と組み合わせて使用することができる。

【0069】

処理ユニット１６は、システムメモリ２８に記憶されているプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、前述した実施例に係る方法を実現する。

【0070】

実施例６
本発明の実施例６は、コンピュータ読み取り可能な記憶媒体を提供する。

【0071】

本発明の実施例に係るコンピュータ読み取り可能な記憶媒体は、少なくとも１つのコンピュータ読取り可能な媒体の任意の組み合わせを使用してもよい。コンピュータ読取り可能な媒体は、コンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子、磁気、光、電磁気、赤外線、または、半導体のシステム、装置またはデバイス、または、任意の以上の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な一例（非網羅的リスト）は、少なくとも１つのワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ(ＲＯＭ)、消去可能プログラマブル読み取り専用メモリ(ＥＰＲＯＭまたはフラッシュメモリ)、光ファイバ、携帯用コンパクトディスク読み取り専用メモリ(ＣＤ－ＲＯＭ)、光記憶装置、磁気記憶装置、または、上記の任意の適切な組み合わせを含む。本明細書では、コンピュータ読み取り可能な記憶媒体は、プログラムを含むかまたは記憶されている任意の有形の媒体であってもよく、プログラムは、命令実行システム、装置、または、デバイスによって使用されるか、または、これらと結合して使用されてもよい。

【0072】

コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能なプログラムコードを搬送する、ベースバンドで伝播されるかまたは搬送波の一部として伝播されるデータ信号を含んでもよい。このような伝播されるデータ信号は、電磁信号、光信号、またはこれらの任意の適切な組み合わせを含むがこれらに限定されない、さまざまな形態を使用してもよい。コンピュータ読み取り可能な信号媒体は、また、命令実行システム、装置またはデバイスによって使用されるまたはそれらと結合して使用するためのプログラムを送信、伝播、または、移送することができるコンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読取り可能な媒体であってもよい。

【0073】

コンピュータ読取り可能な媒体に含まれたプログラムコードは、無線、ワイヤ、光ファイバケーブル、無線周波（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）など、またはこれらの任意の適切な組合せを含むがこれらに限定されない、任意の適切な媒体によって送信することができる。

【0074】

本発明の動作を実行するためのコンピュータプログラムコードは、少なくとも１つのプログラミング言語、またはそれらの組み合わせで書くことができ、プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、さらに、「Ｃ」言語または類似のプログラミング言語などの従来の手続き型プログラミング言語も含む。プログラムコードは、完全にユーザのコンピュータ、部分的にユーザのコンピュータ、単独のソフトウェアパッケージとして、部分的にユーザのコンピュータ、部分的にリモートコンピュータで、または全体的にリモートコンピュータまたはサーバで実行されることができる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または、外部コンピュータに接続することができる（例えばインターネットサービスプロバイダを使用してインターネットに接続する）。

【0075】

上記は、ただ、本発明のより好ましい実施例および運用された技術原理のみであることに気づかなければならない。当業者であれば、本発明はここに記載の特定の実施例に限定されず、当業者にとっては本発明の保護範囲を離脱しない範囲で、いろんな明らかな変化、再度の調整および切り替えを行うことができることが理解できるはずである。したがって、上記の実施例を通じて本発明をより詳細に説明したが、本発明は上記の実施例に限定されず、本発明の思想を離脱しない前提下で、もっと多い他の等価の実施例を含むことができるが、本発明の範囲は添付の特許請求の範囲によって決定される。

【図1】

【図2】

【図3】

【図4】

【図5】