特許 7185811 超音波アレイによる障害物検出結果の処理方法、コンピュータデバイス、記憶媒体、プログラム及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-30

(45)【発行日】2022-12-08

(54)【発明の名称】超音波アレイによる障害物検出結果の処理方法、コンピュータデバイス、記憶媒体、プログラム及びシステム

(51)【国際特許分類】

   G01S 15/87 20060101AFI20221201BHJP

   G01S 15/86 20200101ALI20221201BHJP

   G01S 15/931 20200101ALI20221201BHJP

【ＦＩ】

G01S15/87

G01S15/86

G01S15/931

【請求項の数】 19

(21)【出願番号】P 2021518846

(86)(22)【出願日】2019-12-18

(65)【公表番号】

(43)【公表日】2021-10-14

(86)【国際出願番号】 CN2019126392

(87)【国際公開番号】W WO2020147500

(87)【国際公開日】2020-07-23

【審査請求日】2020-12-16

(31)【優先権主張番号】201910034451.X

(32)【優先日】2019-01-15

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321009845

【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(72)【発明者】

【氏名】ズー，シャオシン

(72)【発明者】

【氏名】リウ，シャン

(72)【発明者】

【氏名】ヤン，ファン

【審査官】藤田 都志行

(56)【参考文献】

【文献】特開２０１６－０６５７５０（ＪＰ，Ａ）

【文献】特開２０００－０９８０３１（ＪＰ，Ａ）

【文献】特開平３－１８８３９１（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／０１９５３８３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／５２－ ７／６４

Ｇ０１Ｓ １５／００－１５／９６

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

超音波アレイによる障害物検出結果の処理方法であって、
超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得し、
超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力された各超音波センサにより採集された障害物座標に対する真偽標識を取得し、
前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する、
ことを含む方法。

【請求項2】

超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力することは、
処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数）個の超音波センサにより採集された障害物座標の特徴値を選択してデータシーケンスを生成し、
前記データシーケンスを予め訓練されたニューラルネットワークモデルに入力すること、を含む請求項１に記載の方法。

【請求項3】

前記ニューラルネットワークモデルを訓練することは、
障害物テストシーンを構築し、
超音波センサアレイにおける各超音波センサにより採集された障害物の座標及びライダーにより同じ障害物を採集して得た座標を取得して参照座標系に統合し、
統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に対して真偽標識を行って訓練サンプルを生成し、
前記訓練サンプルによりニューラルネットワークモデルを訓練する、ことを含む請求項１に記載の方法。

【請求項4】

統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に対して真偽標識を行うことは、
ライダーにより採集された障害物座標と超音波センサにより採集された障害物座標との誤差が所定の閾値範囲内にある場合に、ＴＲＵＥとして標識し、所定の閾値範囲よりも大きい場合に、ＦＡＬＳＥとして標識することを含む請求項３に記載の方法。

【請求項5】

前記訓練サンプルを生成することは、
処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ個の超音波センサにより採集された障害物座標の特徴値と、処理待ち超音波センサにより採集された障害物座標に対する真偽標識とを訓練サンプルとして生成することを含み、
Ｎは超音波センサアレイの合計よりも小さい正整数である、請求項３に記載の方法。

【請求項6】

前記ニューラルネットワークモデルは、畳み込みニューラルネットワークモデルである、請求項１～４の何れか一つに記載の方法。

【請求項7】

前記ニューラルネットワークモデルは、長・短期記憶ニューラルネットワークモデルである、請求項１～４の何れか一つに記載の方法。

【請求項8】

前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理することは、
前記ニューラルネットワークモデルから出力された標識結果がＴＲＵＥであれば、前記処理待ち超音波センサにより採集された障害物座標を保留し、
前記ニューラルネットワークモデルから出力された標識結果がＦＡＬＳＥであれば、前記処理待ち超音波センサにより採集された障害物座標を廃棄する、ことを含む請求項２に記載の方法。

【請求項9】

超音波アレイによる障害物検出結果の処理システムであって、
超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得する取得モジュールと、
超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力された各超音波センサにより採集された障害物座標に対する真偽標識を取得するニューラルネットワーク標識モジュールと、
前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する処理モジュールと、
を備えるシステム。

【請求項10】

前記ニューラルネットワーク標識モジュールは、具体的に、
処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数）個の超音波センサにより採集された障害物座標の特徴値を選択してデータシーケンスを生成し、
前記データシーケンスを予め訓練されたニューラルネットワークモデルに入力する、請求項９に記載のシステム。

【請求項11】

前記システムは、更にニューラルネットワーク訓練モジュールを備え、
前記ニューラルネットワーク訓練モジュールは、
障害物テストシーンを構築し、
超音波センサアレイにおける各超音波センサにより採集された障害物の座標及びライダーにより同じ障害物を採集して得た座標を取得して参照座標系に統合し、
統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に対して真偽標識を行って訓練サンプルを生成し、
前記訓練サンプルによりニューラルネットワークモデルを訓練する、ことに用いられる、請求項９に記載のシステム。

【請求項12】

前記ニューラルネットワーク訓練モジュールは、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に対して真偽標識を行う場合に、具体的に、
ライダーにより採集された障害物座標と超音波センサにより採集された障害物座標との誤差が所定の閾値範囲内にある場合に、ＴＲＵＥとして標識し、所定の閾値範囲よりも大きい場合に、ＦＡＬＳＥとして標識する、請求項１１に記載のシステム。

【請求項13】

前記ニューラルネットワーク訓練モジュールは、訓練サンプルを生成する場合に、具体的に、
処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数）個の超音波センサにより採集された障害物座標の特徴値と、処理待ち超音波センサにより採集された障害物座標に対する真偽標識とを訓練サンプルとして生成する、請求項１１に記載のシステム。

【請求項14】

前記ニューラルネットワークモデルは、畳み込みニューラルネットワークモデルである、請求項９～１２の何れか一つに記載のシステム。

【請求項15】

前記ニューラルネットワークモデルは、長・短期記憶ニューラルネットワークモデルである、請求項９～１２の何れか一つに記載のシステム。

【請求項16】

前記処理モジュールは、具体的に、
前記ニューラルネットワークモデルから出力された標識結果がＴＲＵＥであれば、前記処理待ち超音波センサにより採集された障害物座標を保留し、
前記ニューラルネットワークモデルから出力された標識結果がＦＡＬＳＥであれば、前記処理待ち超音波センサにより採集された障害物座標を廃棄する、
請求項１０に記載のシステム。

【請求項17】

メモリと、
プロセッサと、
前記メモリに記憶され且つ前記プロセッサに実行可能なコンピュータプログラムとを備え、前記プロセッサが前記プログラムを実行すると、請求項１～８の何れか一つに記載の方法を実現する、コンピュータデバイス。

【請求項18】

コンピュータプログラムが記憶されており、前記プログラムがプロセッサにより実行されると、請求項１～８の何れか一つに記載の方法を実現する、コンピュータ可読記憶媒体。

【請求項19】

プロセッサにより実行されると、請求項１～８の何れか一つに記載の方法を実現する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、出願日が２０１９年０１月１５日、出願番号が２０１９１００３４４５１.Ｘ、発明名称が「超音波アレイによる障害物検出結果の処理方法及びシステム」の中国特許出願の優先権を要求した。
本願は、自動制御分野に関し、特に超音波アレイによる障害物検出結果の処理方法及びシステムに関する。

【背景技術】

【0002】

自動運転車両は、スマートカーであり、車輪型移動ロボットとも呼ばれ、主に車両内の、コンピュータシステムを中心とするスマートパイロットにより自動運転を実現する。自動運転車両は、自動制御、アーキテクチャ、人工知能、ビジュアルコンピューティングなどの複数の技術が統合されており、コンピュータ科学、モード識別とスマート制御技術が高度に開発された製品でもあり、国の科学研究の実力と工業レベルを評価する重要の標識でもあり、国防と国民経済の分野において広い実用化の将来性を具備する。

【0003】

超音波レーダは、一般的に自動運転車両に実装されて障害回避機能を実現する。しかし、超音波レーダは、自身の動作原理で検出精度が高くなく、誤検出及び検出漏れが発生し易い。従来においてルールによる投票で超音波アレイの検出結果に対する誤検出／検出漏れを検出、校正する方法は、高い精度まで達成し難い。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願の複数の局面は、超音波アレイによる障害物検出の正確性を向上し、誤検出及び検出漏れを避け、走行の安全性を向上する超音波アレイによる障害物検出結果の処理方法及びシステムを提供する。

【課題を解決するための手段】

【0005】

本願の一局面によれば、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得し、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力された各超音波センサにより採集された障害物座標に対する真偽標識を取得し、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理することを含む超音波アレイによる障害物検出結果の処理方法を提供する。

【0006】

前記のような局面と何れか一つの可能な実現方式として、更に、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力することは、処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計によりも小さい正整数）個の超音波センサにより採集された障害物座標の特徴値を選択してデータシーケンスを生成し、前記データシーケンスを予め訓練されたニューラルネットワークモデルに入力することを含む実現方式を提供する。

【0007】

前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワークモデルは、障害物テストシーンを構築し、超音波センサアレイにおける各超音波センサにより採集された障害物の座標及びライダー（ＬｉＤＡＲ： ｌｉｇｈｔ ｄｅｔｅｃｔｉｏＮ ａＮｄ ｒａＮｇｉＮｇ）により同じ障害物に対して採集された座標を取得して参照座標系に統合し、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に対して真偽標識を行って訓練サンプルを生成し、前記訓練サンプルに基づいてニューラルネットワークモデルを訓練する方法で訓練を行う実現方式を提供する。

【0008】

前記のような局面と何れか一つの可能な実現方式として、更に、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標を真偽標識を行うことは、ライダーにより採集された障害物座標と超音波センサにより採集された障害物座標との誤差が所定の閾値の範囲内にある場合に、ＴＲＵＥとして標識し、所定の閾値の範囲よりも大きい場合に、ＦＡＬＳＥとして標識することを含む実現方式を提供する。

【0009】

前記のような局面と何れか一つの可能な実現方式として、更に、前記訓練サンプルを生成することは、処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ個の超音波センサにより採集された障害物座標の特徴値と、処理待ち超音波センサにより採集された障害物座標に対する真偽標識とを訓練サンプルとして生成することを含む実現方式を提供する。

【0010】

前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワークモデルは畳み込みニューラルネットワークモデルである実現方式を提供する。

【0011】

前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワークモデルは、長・短期記憶ニューラルネットワークモデルである実現方式を提供する。

【0012】

前記のような局面と何れか一つの可能な実現方式として、更に、前記訓練サンプルによりニューラルネットワークモデルを訓練することは、連続時間で取得された複数の訓練サンプルにより前記長・短期記憶ニューラルネットワークモデルを訓練することを含む実現方式を提供する。

【0013】

本願の他の局面によれば、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得する取得モジュールと、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して前記予め訓練されたニューラルネットワークモデルから出力された各超音波センサにより採集された障害物座標に対する真偽標識を得るニューラルネットワーク標識モジュールと、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する処理モジュールと、を備える超音波アレイによる障害物検出結果の処理システムを提供する。

【0014】

前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワーク標識モジュールは、具体的に、処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数）個の超音波センサにより採集された障害物座標の特徴値を選択してデータシーケンスを生成し、前記データシーケンスを予め訓練されたニューラルネットワークモデルに入力する実現方式を提供する。

【0015】

前記のような局面と何れか一つの可能な実現方式として、更に、前記システムは、更に、障害物テストシーンを構築し、超音波センサアレイにおける各超音波センサにより採集された障害物の座標及びライダーにより同じ障害物に対して採集された座標を取得して参照座標系に統合し、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に真偽標識を行って訓練サンプルを生成し、前記訓練サンプルによりニューラルネットワークモデルを訓練するニューラルネットワーク訓練モジュールを備える実現方式を提供する。

【0016】

前記のような局面と何れか一つの可能な実現方式として、更に、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に真偽標識を行うことは、ライダーにより採集された障害物座標と超音波センサにより採集された障害物座標との誤差が所定の閾値の範囲内にある場合にＴＲＵＥとして標識し、所定の閾値の範囲よりも大きい場合にＦＡＬＳＥとして標識することを含む実現方式を提供する。

【0017】

前記のような局面と何れか一つの可能な実現方式として、更に、前記訓練サンプルを生成することは、処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ個の超音波センサにより採集された障害物座標の特徴値と、処理待ち超音波センサにより採集された障害物座標に対する真偽標識を訓練サンプルとして生成することを含む実現方式を提供する。

【0018】

前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワークモデルは畳み込みニューラルネットワークモデルである実現方式を提供する。

【0019】

前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワークモデルは長・短期記憶ニューラルネットワークモデルである実現方式を提供する。

【0020】

前記のような局面と何れか一つの可能な実現方式として、更に、前記訓練サンプルによりニューラルネットワークモデルを訓練することは、連続時間で取得された複数の訓練サンプルにより前記長・短期記憶ニューラルネットワークモデルを訓練することを含む実現方式を提供する。

【0021】

本発明の他の局面によれば、メモリと、プロセッサと、前記メモリに記憶され且つ前記プロセッサに実行可能なコンピュータプログラムとを備え、前記プロセッサが前記プログラムを実行すると、上記のような方法を実現するコンピュータデバイスを提供する。

【0022】

本発明の他の局面によれば、コンピュータプログラムが記憶されており、前記プログラムがプロセッサにより実行されると、上記のような方法を実現するコンピュータ可読記憶媒体を提供する。

【0023】

前記の技術案によれば、本願の実施例は、超音波アレイによる障害物検出の正確性を向上し、誤検出と検出漏れを避け、走行の安全性を向上することができる。

【0024】

本願実施例における技術案をより明確に説明するために、以下に実施例又は従来技術の説明に必要な図面を簡単に説明する。明らかに、以下に説明される図面は、本願の一部の実施例である。当業者にとっては、創造的な労働がなされていない前提で、これらの図面に基づいて他の図面を得ても良い。

【図面の簡単な説明】

【0025】

【図1】本願の一実施例により提供される超音波アレイによる障害物検出結果の処理方法のフローチャートである。

【図2】本願の一実施例により提供される超音波アレイによる障害物検出結果の処理方法におけるニューラルネットワークモデル訓練方法のフローチャートである。

【図3】本願の一実施例により提供される超音波アレイによる障害物検出結果の校正システムの構成模式図である。

【図4】本願の一実施例により提供される超音波アレイによる障害物検出結果の校正システムの訓練モジュールの構成模式図である。

【図5】本発明の実施形態を実現可能な例示的なコンピュータシステム／サーバ０１２のブロック図である。

【発明を実施するための形態】

【0026】

本願実施例の目的、技術案及び利点をより明確にするために、以下に本願実施例における図面と合わせて本願実施例における技術案を明確で完全的に説明する。明らかに、説明された実施例は、全ての実施例ではなく、本願の一部の実施例である。当業者は、本願における実施例に基づいて、創造的な労働がなされていない前提で得られた全ての他の実施例は、本願の保護範囲に入る。

【0027】

図１は、本願の一実施例により提供される超音波アレイによる障害物検出結果の処理方法のフローチャートである。図１に示されたように、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得するステップＳ１１と、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して前記予め訓練されたニューラルネットワークモデルから出力される各超音波センサにより採集された障害物座標に対する真偽標識を得るステップＳ１２と、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理するステップＳ１３とを含む。

【0028】

好ましくは、ステップＳ１１の好ましい実現方式において、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得する。

【0029】

好ましくは、本実施例において、同一の障害物について採集された障害物座標が各超音波センサから返信された障害物座標になるように、超音波センサアレイの視野に単一の障害物がある場合のみを考慮し、シーンが単純である。

【0030】

好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布されるため、各超音波センサの座標系が異なり、各超音波センサにより採集された障害物座標を参照座標系に統合する必要がある。本実施例において、各超音波センサの座標を車両の座標系に転換することができる。

【0031】

ステップＳ１２の好ましい実現方式において、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力される各超音波センサにより採集された障害物座標に対する真偽標識を得る。

【0032】

好ましくは、前記超音波センサアレイは、車両前部のバンパーに均等に分布された１０個の超音波センサを備え、実際の応用において、一般的に多くとも隣り合う４～６個の超音波センサが同一の障害物座標を採集可能である。例えば、障害物が車両の左前に出現した場合に、車両前部のバンパーの左側に分布された４個の超音波センサだけが前記障害物の座標を採集して障害物情報を返信する一方、車両前部のバンパーの中央と右側に分布された６個の超音波センサが障害物情報を採集できない可能性がある。

【0033】

本実施例の好ましい実施例において、各超音波センサにより採集された障害物座標から一個の超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数である）個の超音波センサにより採集された障害物座標を選択してデータシーケンスを生成し、前記データシーケンスを予め訓練されたニューラルネットワークに入力して予め訓練されたニューラルネットワークから出力された標識結果を取得し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。前記予め訓練されたニューラルネットワークはＣＮＮ畳み込みニューラルネットワークである。

【0034】

本実施例の他の好ましい実施例において、各超音波センサにより採集された障害物座標から一個の超音波センサ及び当該処理待ち超音波センサと隣り合うＮ個の超音波センサにより採集された障害物座標を選択してデータシーケンスを生成する。なお、Ｎは、超音波センサアレイの合計よりも小さい正整数である。ｔ時刻における前記データシーケンスを予め訓練されたニューラルネットワークに入力して予め訓練されたニューラルネットワークから出力されたｔ時刻における標識結果を取得し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。前記予め訓練されたニューラルネットワークは、ＬＳＴＭ長・短期記憶ニューラルネットワークである。

【0035】

好ましくは、ｔ時刻におけるデータシーケンスをＬＳＴＭ長・短期記憶ニューラルネットワークに代入して当該ｔ時刻におけるＬＳＴＭ結果を算出し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。好ましくは、ＬＳＴＭ長・短期記憶ニューラルネットワークがｔ時刻におけるデータシーケンスを受信した時と同時に、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態が既に存在しており、所定の規則に従って当該ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から当該所定の規則を満たしているＬＳＴＭ隠れ層状態を選択結果として選択してｔ時刻におけるＬＳＴＭ結果を算出することができる。

【0036】

なお、本発明の実施例において、当該所定の規則は、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つの最大の異なるＬＳＴＭ隠れ層状態を選択結果として選択し、及び／又は、Ｌ０－ノルムのスパース性により、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つのＬＳＴＭ隠れ層状態を選択し、及び／又は、人工の経験に基づいてｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つのＬＳＴＭ隠れ層状態を選択することを含むが、それらに限定されない。理解すべきなのは、前記所定の規則は、実際の必要(例えば新たなタスク)に応じて対応の選択規則を設計しても良い。

【0037】

ステップＳ１３の好ましい実現方式において、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する。

【0038】

好ましくは、予め訓練されたニューラルネットワークから出力された標識結果がＴＲＵＥであれば、処理待ち超音波センサにより採集された障害物座標を保留し、予め訓練されたニューラルネットワークから出力された標識結果がＦＡＬＳＥであれば、処理待ち超音波センサにより採集された障害物座標を廃棄する。

【0039】

好ましくは、処理された障害物座標により障害回避を行う。

【0040】

好ましくは、ＣＮＮ畳み込みニューラルネットワークとＬＳＴＭ長・短期記憶ニューラルネットワークを同時に採用して標識結果をそれぞれ出力し、加重和を取って最終の標識結果を確定することができる。

【0041】

図２に示されたように、前記ニューラルネットワークモデルは、障害物テストシーンを構築するステップＳ２１と、超音波センサアレイにより採集された障害物の座標及びライダーにより同じ障害物を採集して得た座標を採集して参照座標系に統合するステップＳ２２により訓練する。好ましくは、前記障害物テストシーンはシンプルなシーンで、単純であり、超音波アレイの視野に単一の障害物だけを設置することにより、前記超音波アレイのテスト中に各超音波センサから同一の障害物の情報が返信される。

【0042】

好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布される。前記ライダーはシングルライダーで、車両前部のバンパーの中央位置に装着され、前記ライダーは障害物の精確な距離データを採用して、超音波センサにより採集される障害物座標のＴＲＵＥ値として標識する。

【0043】

好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布され、ライダーにより車両前部のバンパーの中央位置に装着されるため、各超音波センサ座標系における座標とライダー座標系における座標を参照座標系に転換する必要がある。本実施例において、ライダー座標系における座標と、超音波レーダ座標系における座標とを車両座標系に統合して転換することができる。

【0044】

前記各超音波センサとライダーとの初期の空間配置は既知であり、前記各超音波センサとライダーの自動運転車両の車体における測定データにより得られる。障害物の各超音波センサ座標系における座標とライダー座標系における座標が車両座標系に転換される。

【0045】

ステップＳ２３において、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標を標識して訓練サンプルを生成する。好ましくは、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標を標識し、その採集された障害物座標のｌａｂｅｌをＴＲＵＥ又はＦＡＬＳＥとして標識する。例えば、超音波アレイにおける超音波センサ１について、ライダーから返信された距離データと超音波センサ１から返信された距離データとの誤差が所定の閾値範囲内であれば、ＴＲＵＥとして標識し、所定の閾値範囲よりも大きくなれば、ＦＡＬＳＥとして標識し、前記超音波センサ１に誤検出又は検出漏れがあるとみなす。好ましくは、前記所定の閾値範囲は２０ｃｍで、約９９％の出力をカバーすることができる。

【0046】

超音波センサ１と隣り合うＮ個の超音波センサにより採集された障害物座標の特徴値を確定する。好ましくは、Ｎは、超音波アレイの超音波センサの合計よりも小さい正整数である。好ましくは、前記超音波センサアレイは、車両前部のバンパーに均等に分布された１０個の超音波センサを備え、実際の応用において、一般的に多くとも隣り合う４～６個の超音波センサが同一の障害物座標を採集可能である。例えば、障害物が車両の左前に出現する場合に、車両前部のバンパーの左側に分布された４個の超音波センサだけが前記障害物の座標を採集して障害物情報を返信する一方、車両前部のバンパーの中央と右側に分布された６個の超音波センサが障害物情報を採集できていない可能性がある。従って、Ｎは、４個として選択することができる。Ｎはより大きい数値に設置されても良いが、より多いセンサにより採集される障害物座標とセンサ１により採集された障害物座標との関連度が低く、演算量を増やすだけであるため、一般的に４個として選択すれば良い。

【0047】

超音波センサ１と隣り合うＮ個の超音波センサにより採集された障害物座標を選択し、前記障害物座標に対して平方し、平方根を取るように特徴の変化を行ってその特徴値を取得する。

【0048】

好ましくは、超音波センサ１と隣り合うＮ個の超音波センサの特徴値及び超音波センサ１のｌａｂｅｌを訓練サンプルとして生成する。

【0049】

なお、ｌａｂｅｌはＴＲＵＥとして標識するとポジティブサンプルであり、ＦＡＬＳＥとして標識するとネガティブサンプルである。

【0050】

好ましくは、連続時間の超音波センサ１と隣り合うＮ個の超音波センサの特徴値及び超音波センサ１のｌａｂｅｌを訓練サンプルとして生成する。

【0051】

障害物テストシーンにおいてテストを行うことにより、レーザ距離計デバイスにより人工で手動標識を行う必要がなく、各超音波センサについての大量のテストサンプルを自動に取得し、テストサンプルの取得速度と精確度を大幅に向上することができる。

【0052】

ステップＳ２４において、前記訓練サンプルに基づいてニューラルネットワークモデルを訓練する。

【0053】

本実施例の好ましい実現方式において、前記ニューラルネットワークモデルはＣＮＮ畳み込みニューラルネットワークモデルである。ポジティブサンプルとネガティブサンプルを含む、標識付きの訓練サンプルを利用してＣＮＮ畳み込みニューラルネットワークモデルを訓練する。

【0054】

好ましくは、ＳＧＤ（ＳｔｏｃｈａＳｔｉｃ ＧｒａｄｉｅＮｔ ＤｅＳｃｅＮｔ、ランダム勾配降下)訓練アルゴリズムにより複数のサンプルを訓練してＣＮＮモデルパラメータを最終的に取得する。

【0055】

好ましくは、超音波アレイにおける超音波センサのそれぞれについて、当該処理待ち超音波センサと隣り合うＮ個の超音波センサの特徴値及びそのｌａｂｅｌを訓練サンプルとして生成してＣＮＮ畳み込みニューラルネットワークモデルを訓練する。超音波アレイによる障害物検出結果の処理方法において、異なる超音波センサの校正すべき障害物の検出結果について、対応する訓練後のＣＮＮ畳み込みニューラルネットワークモデルを採用して標識を行う。対応するｌａｂｅｌの標識結果は、その障害物の検出結果の標識であり、ＴＲＵＥであれば、その採集された障害物座標に基づいて障害回避を行い、予め訓練されたニューラルネットワークから出力された標識結果がＦＡＬＳＥであれば、当該採集結果を廃棄し、新たな採集結果を基準に障害回避を行う。

【0056】

本実施例の他の好ましい実現方式において、前記ニューラルネットワークモデルはＬＳＴＭ長・短期記憶ニューラルネットワークモデルである。連続時間で得られた標識付きの複数の訓練サンプルによりＬＳＴＭ長・短期記憶ニューラルネットワークモデルを訓練する。

【0057】

訓練サンプルによりＬＳＴＭ長・短期記憶ニューラルネットワークモデルを訓練し、目標関数を最適化（即ち、最大化又は最小化）することにより、パラメータの初期値からＬＳＴＭ長・短期記憶ニューラルネットワークのパラメータの訓練値を確定する。

【0058】

前記実施例により提供された技術案によれば、ライダーから返信された結果を超音波アレイによる検出のＴＲＵＥ値として採用して超音波アレイによる障害物検出結果を標識し、標識された障害物検出結果を訓練サンプルとしてニューラルネットワークモデルを訓練し、訓練されたニューラルネットワークモデルにより超音波による障害物検出結果を校正することにより、超音波アレイによる障害物検出の正確性を向上し、誤検出と検出漏れを避け、走行の安全性を向上した。

【0059】

説明すべきなのは、前記の各方法実施例について、説明を簡単にするために、一連の動作の組合せとして記述された。しかし、当業者であればわかるように、本願により幾つかのステップが他の順番を採用し、或いは同時に実行可能であるため、本願は説明された動作の順番に限定されない。次に、当業者であればわかるように、明細書に説明された実施例は何れも好適な実施例であり、関わる動作とモジュールが必ずしも本願に必要なものではない。

【0060】

以上は方法実施例に関する説明であり、以下で装置実施例により、本発明の前記方案を更に説明する。

【0061】

図３は本願の一実施例により提供された超音波アレイによる障害物検出結果の校正システムの構成模式図である。図３に示されたように、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得する取得モジュール３１と、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力された各超音波センサにより採集された障害物座標に対する真偽標識を得るニューラルネットワーク標識モジュール３２と、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する処理モジュール３３とを備える。

【0062】

好ましくは、取得モジュール３１の好ましい実現方式において、取得モジュール３１は、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得する。

【0063】

好ましくは、本実施例において、同一の障害物について採集された障害物座標が各超音波センサから返信されるように、超音波センサアレイの視野に単一の障害物がある場合のみを考慮し、シーンが単純である。

【0064】

好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布されるため、各超音波センサの座標系が異なり、各超音波センサにより採集された障害物座標を参照座標系に統合する必要がある。本実施例において、各超音波センサの座標を車両の座標系に転換することができる。

【0065】

ニューラルネットワーク標識モジュール３２の好ましい実現方式において、前記ニューラルネットワーク標識モジュール３２は、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力される各超音波センサにより採集された障害物座標に対する真偽標識を得る。

【0066】

好ましくは、前記超音波センサアレイは、車両前部のバンパーに均等に分布された１０個の超音波センサを備え、実際の応用において、一般的に多くとも隣り合う４～６個の超音波センサが同一の障害物座標を採集可能である。例えば、障害物が車両の左前に出現した場合に、車両前部のバンパーの左側に分布された４個の超音波センサだけが前記障害物の座標を採集して障害物情報を返信する一方、車両前部のバンパーの中央と右側に分布された６個の超音波センサが障害物情報を採集できない可能性がある。

【0067】

本実施例の好ましい実施例において、各超音波センサにより採集された障害物座標から一個の超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数である）個の超音波センサにより採集された障害物座標を選択してデータシーケンスを生成し、前記データシーケンスを予め訓練されたニューラルネットワークに入力して予め訓練されたニューラルネットワークから出力された標識結果を取得し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。前記予め訓練されたニューラルネットワークはＣＮＮ畳み込みニューラルネットワークである。

【0068】

本実施例の他の好ましい実施例において、各超音波センサにより採集された障害物座標から一個の超音波センサ及び当該処理待ち超音波センサと隣り合うＮ個の超音波センサにより採集された障害物座標を選択してデータシーケンスを生成する。なお、Ｎは、超音波センサアレイの合計よりも小さい正整数である。ｔ時刻における前記データシーケンスを予め訓練されたニューラルネットワークに入力して予め訓練されたニューラルネットワークから出力されたｔ時刻における標識結果を取得し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。前記予め訓練されたニューラルネットワークは、ＬＳＴＭ長・短期記憶ニューラルネットワークである。

【0069】

好ましくは、ｔ時刻におけるデータシーケンスをＬＳＴＭ長・短期記憶ニューラルネットワークに代入して当該ｔ時刻におけるＬＳＴＭ結果を算出し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。好ましくは、ＬＳＴＭ長・短期記憶ニューラルネットワークがｔ時刻におけるデータシーケンスを受信した時と同時に、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態が既に存在しており、所定の規則に従って当該ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から当該所定の規則を満たしているＬＳＴＭ隠れ層状態を選択結果として選択してｔ時刻におけるＬＳＴＭ結果を算出することができる。

【0070】

なお、本発明の実施例において、当該所定の規則は、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つの最大の異なるＬＳＴＭ隠れ層状態を選択結果として選択し、及び／又は、Ｌ０－ノルムのスパース性により、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つのＬＳＴＭ隠れ層状態を選択し、及び／又は、人工の経験に基づいてｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つのＬＳＴＭ隠れ層状態を選択することを含むが、それらに限定されない。理解すべきなのは、前記所定の規則は、実際の必要(例えば新たなタスク)に応じて対応の選択規則を設計しても良い。

【0071】

処理モジュール３３の好ましい実現方式において、前記処理モジュール３３は、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する。

【0072】

好ましくは、予め訓練されたニューラルネットワークから出力された標識結果がＴＲＵＥであれば、処理待ち超音波センサにより採集された障害物座標を保留し、予め訓練されたニューラルネットワークから出力された標識結果がＦＡＬＳＥであれば、処理待ち超音波センサにより採集された障害物座標を廃棄する。

【0073】

好ましくは、処理された障害物座標により障害回避を行う。

【0074】

好ましくは、ＣＮＮ畳み込みニューラルネットワークとＬＳＴＭ長・短期記憶ニューラルネットワークを同時に採用して標識結果をそれぞれ出力し、加重和を取って最終の標識結果を確定することができる。

【0075】

前記システムは、更に前記ニューラルネットワークモデルを訓練する訓練モジュール（未図示）を備える。前記訓練モジュールは、障害物テストシーンを構築する構築サブモジュール４１と、超音波センサアレイにより採集された障害物の座標及びライダーにより同じ障害物を採集して得た座標を採集して参照座標系に統合する採集サブモジュール４３とを備える。好ましくは、前記障害物テストシーンはシンプルなシーンで、単純であり、超音波アレイの視野に単一の障害物だけを設置することにより、前記超音波アレイのテスト中に各超音波センサから同一の障害物の情報が返信される。

【0076】

好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布される。前記ライダーはシングルライダーで、車両前部のバンパーの中央位置に装着され、前記ライダーは障害物の精確な距離データを採用して、超音波センサにより採集される障害物座標のＴＲＵＥ値として標識する。

【0077】

好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布され、ライダーにより車両前部のバンパーの中央位置に装着されるため、各超音波センサ座標系における座標とライダー座標系における座標を参照座標系に転換する必要がある。本実施例において、ライダー座標系における座標と、超音波レーダ座標系における座標とを車両座標系に統合して転換することができる。

【0078】

前記各超音波センサとライダーとの初期の空間配置は既知であり、前記各超音波センサとライダーの自動運転車両の車体における測定データにより得られる。障害物の各超音波センサ座標系における座標とライダー座標系における座標が車両座標系に転換される。

【0079】

生成サブモジュール４３は、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標を標識して訓練サンプルを生成する。好ましくは、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標を標識し、その採集された障害物座標のｌａｂｅｌをＴＲＵＥ又はＦＡＬＳＥとして標識する。例えば、超音波アレイにおける超音波センサ１について、ライダーから返信された距離データと超音波センサ１から返信された距離データとの誤差が所定の閾値範囲内であれば、ＴＲＵＥとして標識し、所定の閾値範囲よりも大きくなれば、ＦＡＬＳＥとして標識し、前記超音波センサ１に誤検出又は検出漏れがあるとみなす。好ましくは、前記所定の閾値範囲は２０ｃｍで、約９９％の出力をカバーすることができる。

【0080】

超音波センサ１と隣り合うＮ個の超音波センサにより採集された障害物座標の特徴値を確定する。好ましくは、Ｎは、超音波アレイの超音波センサの合計よりも小さい正整数である。好ましくは、前記超音波センサアレイは、車両前部のバンパーに均等に分布された１０個の超音波センサを備え、実際の応用において、一般的に多くとも隣り合う４～６個の超音波センサが同一の障害物座標を採集可能である。例えば、障害物が車両の左前に出現する場合に、車両前部のバンパーの左側に分布された４個の超音波センサだけが前記障害物の座標を採集して障害物情報を返信する一方、車両前部のバンパーの中央と右側に分布された６個の超音波センサが障害物情報を採集できていない可能性がある。従って、Ｎは、４個として選択することができる。Ｎはより大きい数値に設置されても良いが、より多いセンサにより採集される障害物座標とセンサ１により採集された障害物座標との関連度が低く、演算量を増やすだけであるため、一般的に４個として選択すれば良い。

【0081】

超音波センサ１と隣り合うＮ個の超音波センサにより採集された障害物座標を選択し、前記障害物座標に対して平方し、平方根を取るように特徴の変化を行ってその特徴値を取得する。

【0082】

好ましくは、超音波センサ１と隣り合うＮ個の超音波センサの特徴値及び超音波センサ１のｌａｂｅｌを訓練サンプルとして生成する。

【0083】

なお、ｌａｂｅｌはＴＲＵＥとして標識するとポジティブサンプルであり、ＦＡＬＳＥとして標識するとネガティブサンプルである。

【0084】

好ましくは、連続時間の超音波センサ１と隣り合うＮ個の超音波センサの特徴値及び超音波センサ１のｌａｂｅｌを訓練サンプルとして生成する。

【0085】

障害物テストシーンにおいてテストを行うことにより、レーザ距離計デバイスにより人工で手動標識を行う必要がなく、各超音波センサについての大量のテストサンプルを自動に取得し、テストサンプルの取得速度と精確度を大幅に向上することができる。

【0086】

訓練サブモジュール４４は、前記訓練サンプルに基づいてニューラルネットワークモデルを訓練する。

【0087】

本実施例の好ましい実現方式において、前記ニューラルネットワークモデルはＣＮＮ畳み込みニューラルネットワークモデルである。ポジティブサンプルとネガティブサンプルを含む、標識付きの訓練サンプルを利用してＣＮＮ畳み込みニューラルネットワークモデルを訓練する。

【0088】

好ましくは、ＳＧＤ（ＳｔｏｃｈａＳｔｉｃ ＧｒａｄｉｅＮｔ ＤｅＳｃｅＮｔ、ランダム勾配降下)訓練アルゴリズムにより複数のサンプルを訓練してＣＮＮモデルパラメータを最終的に取得する。

【0089】

好ましくは、超音波アレイにおける超音波センサのそれぞれについて、当該処理待ち超音波センサと隣り合うＮ個の超音波センサの特徴値及びそのｌａｂｅｌを訓練サンプルとして生成してＣＮＮ畳み込みニューラルネットワークモデルを訓練する。超音波アレイによる障害物検出結果の処理方法において、異なる超音波センサの校正すべき障害物の検出結果について、対応する訓練後のＣＮＮ畳み込みニューラルネットワークモデルを採用して標識を行う。対応するｌａｂｅｌの標識結果は、その障害物の検出結果の標識であり、ＴＲＵＥであれば、その採集された障害物座標に基づいて障害回避を行い、予め訓練されたニューラルネットワークから出力された標識結果がＦＡＬＳＥであれば、当該採集結果を廃棄し、新たな採集結果を基準に障害回避を行う。

【0090】

本実施例の他の好ましい実現方式において、前記ニューラルネットワークモデルはＬＳＴＭ長・短期記憶ニューラルネットワークモデルである。連続時間で得られた標識付きの複数の訓練サンプルによりＬＳＴＭ長・短期記憶ニューラルネットワークモデルを訓練する。

【0091】

訓練サンプルによりＬＳＴＭ長・短期記憶ニューラルネットワークモデルを訓練し、目標関数を最適化（即ち、最大化又は最小化）することにより、パラメータの初期値からＬＳＴＭ長・短期記憶ニューラルネットワークのパラメータの訓練値を確定する。

【0092】

前記実施例により提供された技術案によれば、ライダーから返信された結果を超音波アレイによる検出のＴＲＵＥ値として採用して超音波アレイによる障害物検出結果を標識し、標識された障害物検出結果を訓練サンプルとしてニューラルネットワークモデルを訓練し、訓練されたニューラルネットワークモデルにより超音波による障害物検出結果を校正することにより、超音波アレイによる障害物検出の正確性を向上し、誤検出と検出漏れを避け、走行の安全性を向上した。

【0093】

前記実施例において、各実施例に対する説明にそれぞれ偏重する箇所がある。ある実施例に詳しく説明されていない部分は、他の実施例における関連の説明を参照可能である。

【0094】

理解すべきなのは、本願により提供された幾つかの実施例に開示された方法及び装置は、他の方式で実現可能である。例えば、前述された装置実施例は例示的なものに過ぎない。例えば、前記ユニットの分割は、ロジック機能の分割に過ぎず、実際の実現において他の分割手段もある。例えば、複数のユニット又はコンポーネントは、組み合わせても良く、他のシステムに集積されても良い。或いは、幾つかの特徴が省略されても良く、実行されなくても良い。また、表示され又は討論された部品間の結合又は直接結合又は通信接続は、幾つかのインターフェース、装置又はユニットによる間接結合又は通信接続であっても良く、電気的、機械的又は他の手段であっても良い。

【0095】

前記分離部品として説明されたユニットは、物理的な分離であってもなくても良い。ユニットとして表示された部品は、物理ユニットであってもなくても良い。つまり、一箇所に位置されても良く、複数のネットワークユニットに分散されても良い。実際の必要に応じて一部又は全てのユニットを選択して本実施例の技術案の目的を実現可能である。

【0096】

また、本発明の各実施例における各機能ユニットは、一つのプロセッサに集積されても良く、各ユニットが独自で物理的に存在しても良く、二つ又はそれ以上のユニットが一つのユニットに集積されても良い。前記集積されたユニットは、ハードウェアで実現されても良く、ハードウェアと共にソフトウェア機能ユニットで実現されても良い。

【0097】

図５は、本発明の実施形態を実現可能な例示なコンピュータシステム／サーバ０１２を示したブロック図である。図５に示されたコンピュータシステム／サーバ０１２は、例示に過ぎず、本発明の実施例の機能及び使用範囲に制限しない。

【0098】

図５に示されたように、コンピュータシステム／サーバ０１２は、汎用コンピューティングデバイスの形で表現される。コンピュータシステム／サーバ０１２のコンポーネントは、一つ又は複数のプロセッサ又は処理ユニット０１６と、システムメモリ０２８と、異なるシステムコンポーネント（システムメモリ０２８と処理ユニット０１６を含む）を接続するバス０１８を含むが、それらに限定されない。

【0099】

バス０１８は、幾つかの種類のバス構造のうち一つ又は複数を示し、メモリバス又はメモリコントローラ、周辺バス、グラフィックスアクセラレーションポート、プロセッサ或いは複数のバス構造のうち何れか一つのバス構造を使用するローカルエリアバスを含む。例えば、これらのアーキテクチャは、工業標準アーキテクチャ（ＩＳＡ）バス、マイクロチャンネルアーキテクチャ（ＭＡＣ）バス、強化型ＩＳＡバス、ビデオ電子標準協会（ＶＥＳＡ）ローカルエリアバス及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むが、それらに限定されない。

【0100】

コンピュータシステム／サーバ０１２は、一般的に複数種のコンピュータシステム可読媒体を含む。これらの媒体は、コンピュータシステム／サーバ０１２からアクセス可能な任意の使用可能な媒体であっても良く、揮発性及び不揮発性媒体、リムーバブル媒体及び固定媒体を含む。

【0101】

システムメモリ０２８には、揮発性メモリの形のコンピュータシステム可読媒体、例えばランダムアクセスメモリ（ＲＡＭ）０３０及び／又は高速キャッシュメモリ０３２が含まれても良い。コンピュータシステム／サーバ０１２は更に、他のリムーバブル／固定的、揮発的／不揮発的なコンピュータシステム記憶媒体を含んでも良い。例として、記憶システム０３４は、固定な不揮発性磁気媒体（図５に示されていないが、一般的に「ハードディスクドライバ」と呼ばれる）を読み書きすることができる。図５に示されていないが、リムーバブルな不揮発性磁気ディスク（例えば「フロッピーディスク」）を読み書きする磁気ディスクドライバ、及びリムーバブルな不揮発性光ディスク（例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ又は他の光メディア）を読み書きする光ディスクドライバを提供可能である。この場合に、各ドライバは、一つ又は複数のデータメディアインターフェースを介してバス０１８と接続可能である。メモリ０２８は、本発明の各実施例の機能を実行するように配置される１セット（例えば少なくとも一つ）のプログラムモジュールを具備する少なくとも一つのプログラム製品を含んでも良い。

【0102】

１セット（少なくとも一つ）のプログラムモジュール０４２を具備するプログラム／実用ツール０４０は、例えばメモリ０２８に記憶されてもよい。このようなプログラムモジュール０４２は、オペレーティングシステム、一つ又は複数のアプリプログラム、他のプログラムモジュール及びプログラムデータを含むが、それらに限定されない。これらの例示における何れか一つ、或いはある組合わせは、ネットワーク環境の実現を含むことが可能である。プログラムモジュール０４２は、一般的に本発明に説明されている実施例における機能及び／又は方法を実行する。

【0103】

コンピュータシステム／サーバ０１２は、一つ又は複数の外部デバイス０１４（例えばキーボード、ポインティングデバイス、ディスプレー０２４など）と通信しても良い。本発明において、コンピュータシステム／サーバ０１２は、外部のレーダデバイスと通信しても良く、ユーザと当該コンピュータシステム／サーバ０１２とのインタラクションを可能にする一つ又は複数のデバイスと通信しても良く、及び／又は当該コンピュータシステム／サーバ０１２と一つ又は複数の他のコンピューティングデバイスとを通信可能にする任意のデバイス（例えばネットワークカード、モデムなど）と通信しても良い。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース０２２により実行可能である。更に、コンピュータシステム／サーバ０１２は、ネットワークアダプタ０２０を介して一つ又は複数のネットワーク（例えばローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及び／又は公衆ネットワーク、例えばインターネット）と通信しても良い。図５に示されたように、ネットワークアダプタ０２０は、バス０１８によりコンピュータシステム／サーバ０１２における他のモジュールと通信する。理解すべきなのは、図５に未図示であるが、コンピュータシステム／サーバ０１２と合わせて他のハードウェア及び／又はソフトウェアモジュールを使用しても良い。他のハードウェア及び／又はソフトウェアモジュールは、マイクロコード、デバイスドライバ、冗長プロセッサ、外部磁気ディスク駆動アレー、ＲＡＩＤシステム、磁気テープドライバ及びデータバックアップ記憶システムなどを含むが、それらに限定されない。

【0104】

処理ユニット０１６は、システムメモリ０２８に記憶されているプログラムを運行することにより、本発明に説明された実施例における機能及び／又は方法を実行する。

【0105】

前記のコンピュータプログラムは、コンピュータ記憶媒体に設置されても良い。つまり、当該コンピュータ記憶媒体には、コンピュータプログラムがプログラミングされており、当該プログラムが一つ又は複数のコンピュータにより実行されると、一つ又は複数のコンピュータに本発明の前記実施例に示された方法フロー及び／又は装置操作を実行させる。

【0106】

時間及び技術の発展に従って、媒体の意味が益々広くなる。コンピュータプログラムの伝送手段は、形状的な媒体に限らず、ネットワークから直接にダウンロードされても良い。一つ又は複数のコンピュータ可読媒体の任意の組合せを採用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であっても良い。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁気、赤外線、半導体のシステム、装置又は素子、或いは任意の組み合わせであっても良く、それらに限定されない。コンピュータ可読記憶媒体の更なる具体的な例（網羅的ではない列挙）は、一つ又は複数の導線を備える電気的な接続、リムーバブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能なプログラミング読取専用メモリ（ＥＰＲＯＭ又はフラッシュ）、光ファイバ、携帯可能なコンパクト磁気ディスク読取専用メモリ（ＣＤ－ＲＯＭ）、光学記憶素子、磁気記憶素子、或いは前記の任意の組合わせを含む。本願において、コンピュータ可読記憶媒体は、プログラムを含むか記憶する任意の有形の媒体であっても良い。当該プログラムは、コマンド実行システム、装置又は素子に使用され、或いはそれらと組合わせて使用されても良い。

【0107】

コンピュータ可読信号媒体は、ベースバンドに伝送され或いはキャリアの一部として伝送され、コンピュータ可読プログラムコードがロードされるデータ信号を含んでも良い。このような伝送されるデータ信号は、各種の形式を採用しても良く、電磁気信号、光信号又は前記の任意の適当の組合わせを含むが、それらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であっても良い。当該コンピュータ可読媒体は、コマンド実行システム、装置又は素子に使用され又はそれらと組合わせて使用されるプログラムを送信し、伝播し又は伝送することができる。

【0108】

コンピュータ可読媒体に含まれるプログラムコードは、任意の適当の媒体で伝送されても良く、無線、電線、光ケーブル、ＲＦなど、或いは前記の任意の適当の組み合わせを含むが、それらに限定されない。

【0109】

一つ又は複数種のプログラミング言語又はそれらの組み合わせで本出願の操作を実行するためのコンピュータプログラムコードをプログラミングすることができる。前記プログラミング言語には、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト指向プログラミング言語が含まれ、更にC言語又は類似のプログラミング言語のような通常の手続き型プログラミング言語が含まれる。プログラムコードは、全体がユーザコンピュータに実行されても良く、一部がユーザコンピュータに実行されても良く、一つの独立なパッケージとして実行されても良く、一部がユーザコンピュータに実行され且つ一部がリモートコンピュータに実行されても良く、或いは全体がリモートコンピュータ又はサーバに実行されても良い。リモートコンピュータに関する場合に、リモートコンピュータはローカルエリアネットワーク(ＬＡＮ)又はワイドエリアネットワーク(ＷＡＮ)を含む任意の種類のネットワークによりユーザコンピュータに接続されても良く、或いは外部のコンピュータ（例えばインターネットサービスプロバイダを利用してインターネットにより接続する）に接続されても良い。

【0110】

前記の説明は本発明の好適な実施例に過ぎず、本発明を制限しない。本発明の精神と主旨内になされたあらゆる補正、等価な置換、改善などは、何れも本発明の保護範囲内に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】