特許 7222854 相対的位置姿勢の決定方法、装置、機器及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-07

(45)【発行日】2023-02-15

(54)【発明の名称】相対的位置姿勢の決定方法、装置、機器及び媒体

(51)【国際特許分類】

   G01S 13/86 20060101AFI20230208BHJP

   G01S 17/86 20200101ALI20230208BHJP

   G01S 7/40 20060101ALI20230208BHJP

   G01S 7/497 20060101ALI20230208BHJP

   G01S 13/931 20200101ALI20230208BHJP

   G01S 17/931 20200101ALI20230208BHJP

   G08G 1/16 20060101ALI20230208BHJP

【ＦＩ】

G01S13/86

G01S17/86

G01S7/40 126

G01S7/497

G01S13/931

G01S17/931

G08G1/16 C

【請求項の数】 10

(21)【出願番号】P 2019161640

(22)【出願日】2019-09-05

(65)【公開番号】P2020079781

(43)【公開日】2020-05-28

【審査請求日】2019-09-05

(31)【優先権主張番号】201811045093.4

(32)【優先日】2018-09-07

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】321009845

【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(72)【発明者】

【氏名】チョウ， シュン

(72)【発明者】

【氏名】シエ， ユァンファン

(72)【発明者】

【氏名】リ， シルイ

(72)【発明者】

【氏名】ワン， リャン

【審査官】東 治企

(56)【参考文献】

【文献】国際公開第２０１７／１３０７７０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０２３１６５４（ＵＳ，Ａ１）

【文献】特開２００１－２２７９８２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／０１６４２９５（ＵＳ，Ａ１）

【文献】特開２０１１－２３２３２５（ＪＰ，Ａ）

【文献】国際公開第２０１７／０５７０４１（ＷＯ，Ａ１）

【文献】特開２０１５－１２７６６４（ＪＰ，Ａ）

【文献】特開２０１７－０９６８１３（ＪＰ，Ａ）

【文献】特開２０１７－１９８５５５（ＪＰ，Ａ）

【文献】特開２００７－２１８７３８（ＪＰ，Ａ）

【文献】特開２００４－３１７５０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００－７／６４

Ｇ０１Ｓ １３／００－１７／９５

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するステップであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるステップと、
シーンにおける障害物のミリ波データ及び第１データに基づいて、各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するステップと、
第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップと、を含み、
第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップは、
ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と前記目標障害物の第１位置データおよび第２位置データとに基づいて、第１障害物データと第２障害物データとを同一座標系に変換し、変換された障害物データに基づいて、各目標障害物の位置誤差を決定するステップと、
各目標障害物の位置誤差の合計を目標関数とし、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサと第１センサとの相対的位置姿勢とするステップと、を含み、
前記第１位置データは、前記目標障害物の前記ミリ波レーダ座標系における位置データであり、前記第１障害物データから取得し、
前記第２位置データは、前記目標障害物の前記第１センサ座標系における位置データであり、前記第２障害物データから取得し、
第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップは、
前記第１障害物データと前記第２障害物データとを同一座標系に変換するステップと、
変換された第１障害物データと第２障害物データに基づいて、各目標障害物の位置誤差を決定するステップと、
各目標障害物の位置誤差の合計を目標関数として反復的に最小化するステップと、
反復的に最小化された目標関数に対応する相対的位置姿勢をミリ波レーダセンサと第１センサとの相対的位置姿勢とするステップと、をさらに含む、ことを特徴とする、相対的位置姿勢の決定方法。

【請求項2】

ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と前記目標障害物の第１位置データおよび第２位置データとに基づいて、第１障害物データと第２障害物データとを同一座標系に変換し、変換された障害物データに基づいて、各目標障害物の位置誤差を決定するステップの前に、
シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識するステップと、
シーンにおける障害物の第１データに基づいて、シーンに含まれる各第２目標障害物を認識するステップと、
シーンに含まれる各第１目標障害物と、シーンに含まれる各第２目標障害物との対応関係を決定するステップと、をさらに含むことを特徴とする、請求項１に記載の方法。

【請求項3】

シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識するステップは、
シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の速度と位置とを決定し、速度がゼロでない物体をフィルタリングして除去するステップと、
シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の反射強度を決定し、反射強度が強度閾値より小さい物体をフィルタリングして除去するステップと、
異なる目標障害物間の実際の相対的距離及び残りの各物体の位置に基づいて、残りの各物体が目標障害物であるか否かを決定して、障害物データに含まれる各目標障害物を取得するステップと、を含むことを特徴とする、請求項２に記載の方法。

【請求項4】

第１センサがライダーセンサである場合、前記シーンにおける障害物の第１データに基づいて、シーンに含まれる各第２目標障害物を認識するステップは、
シーンにおける障害物の点群データに基づいて地面を検出し、地面の点群データを除去するステップであって、シーンにおける障害物の点群データは前記第１データであるステップと、
点群数及び／又は点群分布規則に基づいて、シーンにおける各物体の点群データと位置とを決定するステップと、
シーンにおける各物体の点群データと位置とに基づいて、シーンに含まれる各第２目標障害物を認識するステップと、を含むことを特徴とする、請求項２に記載の方法。

【請求項5】

車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するためのデータ取得モジュールであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるデータ取得モジュールと、
シーンにおける障害物のミリ波データ及び第１データに基づいて、各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するための目標検出モジュールと、
第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するための位置姿勢決定モジュールと、を含み、
前記位置姿勢決定モジュールは、
ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と前記目標障害物の第１位置データおよび第２位置データとに基づいて、第１障害物データと第２障害物データとを同一座標系に変換し、変換された障害物データに基づいて、各目標障害物の位置誤差を決定するための座標初期変換ユニットと、
各目標障害物の位置誤差の合計を目標関数とし、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサと第１センサとの相対的位置姿勢とするための位置姿勢決定ユニットと、を含み、
前記第１位置データは、目標障害物のミリ波レーダ座標系における位置データであり、第１障害物データから取得し、
前記第２位置データは、目標障害物の第１センサ座標系における位置データであり、第２障害物データから取得し、
前記座標初期変換ユニットは、第１障害物データと第２障害物データとを同一座標系に変換し、変換された第１障害物データと第２障害物データに基づいて、各目標障害物の位置誤差を決定し、
前記位置姿勢決定ユニットは、各目標障害物の位置誤差の合計を目標関数として反復的に最小化し、反復的に最小化された目標関数に対応する相対的位置姿勢をミリ波レーダセンサと第１センサとの相対的位置姿勢とする、ことを特徴とする、相対的位置姿勢の決定装置。

【請求項6】

前記装置は、
ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と前記目標障害物の第１位置データおよび第２位置データとに基づいて、第１障害物データと第２障害物データとを同一座標系に変換し、変換された障害物データに基づいて、各目標障害物の位置誤差が決定される前に、シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識するための第１目標認識モジュールと、
シーンにおける障害物の第１データに基づいて、シーンに含まれる各第２目標障害物を認識するための第２目標認識モジュールと、
シーンに含まれる各第１目標障害物と、シーンに含まれる各第２目標障害物との対応関係を決定するためのデータ関連付けモジュールと、をさらに含むことを特徴とする、請求項５に記載の装置。

【請求項7】

前記第１目標認識モジュールは、
シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の速度と位置とを決定し、速度がゼロでない物体をフィルタリングして除去するための速度位置フィルタリングユニットと、
シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の反射強度を決定し、反射強度が強度閾値より小さい物体をフィルタリングして除去するための反射強度フィルタリングユニットと、
異なる目標障害物間の実際の相対的距離及び残りの各物体の位置に基づいて、残りの各物体が目標障害物であるか否かを決定して、障害物データに含まれる各目標障害物を取得するための第１目標決定ユニットと、を含むことを特徴とする、請求項６に記載の装置。

【請求項8】

第１センサがライダーセンサである場合、前記第２目標認識モジュールは、
シーンにおける障害物の点群データに基づいて地面を検出し、地面の点群データを除去するためのデータフィルタリングユニットであって、シーンにおける障害物の点群データは前記第１データであるデータフィルタリングユニットと、
点群数及び／又は点群分布規則に基づいて、シーンにおける各物体の点群データと位置とを決定するための物体及び位置決定ユニットと、
シーンにおける各物体の点群データと位置とに基づいて、シーンに含まれる各第２目標障害物を認識するための第２目標決定ユニットと、を含むことを特徴とする、請求項６に記載の装置。

【請求項9】

一つ又は複数のプロセッサと、
シーンにおける障害物のミリ波データを収集するためのミリ波レーダセンサと、
シーンにおける障害物の第１データを収集するための第１センサと、
一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが、請求項１から４のいずれかに記載の相対的位置姿勢の決定方法を実現することを特徴とする、機器。

【請求項10】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
当該プログラムがプロセッサによって実行される場合に、請求項１から４のいずれかに記載の相対的位置姿勢の決定方法が実現されることを特徴とする、コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、自動運転の分野に関し、特に、相対的位置姿勢の決定方法、装置、機器及び媒体に関する。

【背景技術】

【0002】

ミリ波レーダセンサとライダーセンサは、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ，高度運転支援システム）及び自動運転の分野でよく使われているセンサである。通常、ＡＤＡＳ又は自動運転機能を有する車両には、いずれも上記の二つのセンサが搭載されている。ミリ波レーダセンサは、ミリ波帯で動作するレーダセンサを指す。ライダーセンサは、レーザビームを放射して目標の位置、速度などの特徴量を検出するレーダセンサである。

【0003】

ミリ波レーダ座標系とライダー座標系とは異なるため、二つのセンサの検出情報を十分に活用するために、検出情報に対して座標系の変換を行う必要がある。座標系の変換は、二つの座標系の相互関係、すなわち二つのセンサ間の相対的位置姿勢を決定する必要があるため、二つのセンサ間の相対的位置姿勢の決定は不可欠である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例の技術案は、ミリ波レーダセンサと他のセンサとの相対的位置姿勢の決定を実現する相対的位置姿勢の決定方法、装置、機器及び媒体を提供する。

【課題を解決するための手段】

【0005】

第１の側面において、本発明の実施例は、車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するステップであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるステップと、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するステップと、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップと、を含む相対的位置姿勢の決定方法を提供する。

【0006】

第２の側面において、本発明の実施例は、車両のミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するためのデータ取得モジュールであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるデータ取得モジュールと、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するための目標検出モジュールと、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するための位置姿勢決定モジュールと、を含む相対的位置姿勢の決定装置をさらに提供する。

【0007】

第３の側面において、本発明の実施例は、機器をさらに提供し、前記機器は、一つ又は複数のプロセッサと、シーンにおける障害物のミリ波データを収集するためのミリ波レーダセンサと、シーンにおける障害物の第１データを収集するための第１センサと、一つ又は複数のプログラムを記憶するための記憶装置と、を含み、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサは、本発明の実施例のいずれかに記載の相対的位置姿勢の決定方法を実現する。

【0008】

第４の側面において、本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例のいずれかに記載の相対的位置姿勢の決定方法が実現される。

【発明の効果】

【0009】

本発明の実施例では、まず、ミリ波レーダセンサ及び第１センサによって検出することができる少なくとも一つの目標障害物を設置し、その後、目標障害物のミリ波レーダ座標系における第１障害物データと目標障害物の第１センサ座標系における第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定する。これにより、ミリ波レーダセンサと第１センサとの相対的位置姿勢が決定される。決定された相対的位置姿勢に基づいて、センサの検出情報のミリ波レーダ座標系と第１センサ座標系とで相互変換することができ、検出情報を十分に活用することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例１によって提供される相対的位置姿勢の決定方法のフローチャートである。

【図2】本発明の実施例２によって提供される相対的位置姿勢の決定方法のフローチャートである。

【図3】本発明の実施例３によって提供される相対的位置姿勢の決定方法のフローチャートである。

【図4】本発明の実施例４によって提供される相対的位置姿勢の決定方法のフローチャートである。

【図5】本発明の実施例５によって提供される相対的位置姿勢の決定装置の概略構成図である。

【図6】本発明の実施例６によって提供される機器の概略構成図である。

【発明を実施するための形態】

【0011】

以下、図面と実施例とを合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分のみが示されている。

【0012】

実施例１
図１は、本発明の実施例１によって提供される相対的位置姿勢の決定方法のフローチャートである。本実施例は、同一の車両に搭載されたミリ波レーダセンサと第１センサとのパラメータの標定、すなわち相対的位置姿勢の決定の場合に適用することができる。当該方法は、相対的位置姿勢の決定装置によって実行することができ、当該装置は、ソフトウェア及び／又はハードウェアの方式で実現することができる。図１を参照すると、本実施例によって提供される相対的位置姿勢の決定方法は、以下のステップＳ１１０～ステップＳ１３０を含む。
ステップＳ１１０において、車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得し、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置される。

【0013】

ここで、第１センサは、ミリ波レーダセンサ以外の任意のセンサであり、典型的には、当該センサは、ライダーセンサ又はカメラセンサであってもよい。
ミリ波データは、ミリ波レーダセンサによって収集されたシーンにおける障害物のデータである。

【0014】

第１センサがライダーセンサである場合、第１データは、ライダーセンサによって収集されたシーンにおける障害物の点群データである。第１センサがカメラセンサである場合、第１データは、カメラセンサによって収集されたシーンにおける障害物の画像データである。

【0015】

ミリ波レーダ信号ブースターは、受信した電磁波をすべて放射し返すか、又は受信した電磁波を増幅した後に反射し返すことができる任意のデバイスであってもよい。ミリ波レーダ信号ブースターは、非常に強い反射エコー特性を有する。

【0016】

典型的には、ミリ波レーダ信号ブースターは、コーナーリフレクターであってもよい。ミリ波レーダセンサによる金属物体に対する反射強度が大きい（すなわち感動が高い）。したがって、目標障害物の検出結果が非目標障害物の検出結果とは区別されるように、必要に応じてミリ波レーダ信号ブースターを設置することができる。

【0017】

ミリ波レーダ信号ブースターの数は少なくとも一つである。ミリ波レーダ信号ブースターの数が複数である場合、異なるミリ波レーダ信号ブースターを区別するために、また、その後の動作で異なるミリ波レーダ信号ブースターのデータの対応関係のマッチングを容易にするために、複数のミリ波レーダ信号ブースターを区別して設置することができ、例えば、異なる形状又は異なる体積に設置することができる。

【0018】

ミリ波レーダ信号ブースターの数が複数である場合、異なるミリ波レーダ信号ブースターを区別するために、異なるミリ波レーダ信号ブースターの設置間隔を、設定された距離閾値より大きくする。設定された距離閾値は、実際のニーズ又は経験に応じて決定することができる。

【0019】

第１センサがカメラセンサである場合、目標障害物がカメラセンサによって収集された画像から容易に検出されるように、目標障害物に色を付ける処理、又はテクスチャを貼り付ける処理をすることができる。

【0020】

目標障害物は、シーンに設置された、上記の二つのセンサの相対的位置姿勢を決定するためのミリ波レーダ信号ブースターである。

【0021】

ステップＳ１２０において、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定する。

【0022】

具体的には、目標障害物のミリ波レーダセンサ座標系及び第１センサ座標系におけるデータ特徴に基づいて、目標障害物に対応するデータを決定し、すなわち非目標障害物のノイズデータをフィルタリングして除去する。

【0023】

シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の速度、位置及び各物体の反射強度を決定することができる。設置された目標障害物は静止しており、且つ他の材質の物体と比較して、ミリ波レーダセンサよる金属材質の目標障害物に対する反射強度がより大きいので、速度がゼロではなく、且つ反射強度が強度閾値より小さい障害物データをフィルタリングして除去する。

【0024】

ステップＳ１３０において、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定する。

【0025】

具体的には、前記第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップは、ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定するステップと、各目標障害物の位置誤差に基づいて目標関数を決定して、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサと第１センサとの相対的位置姿勢とするステップと、を含む。

【0026】

第１位置データは、目標障害物のミリ波レーダセンサ座標系における位置データであり、第１障害物データから取得することができる。

【0027】

相対的位置姿勢変数の初期値は、初期相対的位置姿勢である。初期相対的位置姿勢は、装置が工場から出荷するときに設定することができる。

【0028】

第２位置データは、目標障害物の第１センサ座標系における位置データであり、第２障害物データから取得することができる。

【0029】

各目標障害物の位置誤差の決定は、第１障害物データと第２障害物データとを同一座標系に変換することができる。変換された障害物データに基づいて、変換後の同一目標障害物の検出誤差を決定してもよい。

【0030】

選択可能に、第１障害物データを第１センサ座標系に変換して、第２障害物データと誤差の比較を行うことができ、また、第２障害物データを第１センサ座標系に変換して、第１障害物と誤差の比較を行うこともできる。

【0031】

例えば、第１センサがカメラセンサである場合、第１障害物データをカメラセンサ座標系に変換して、第２障害物データと誤差の比較を行うこともできるし、第２障害物データをミリ波レーダセンサ座標系に変換して、第１障害物と誤差の比較を行うこともできる。

【0032】

本発明の実施例の技術案は、まず、ミリ波レーダセンサ及び第１センサによって検出することができる少なくとも一つの目標障害物を設置し、その後、目標障害物のミリ波レーダ座標系における第１障害物データと目標障害物の第１センサ座標系における第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定する。これにより、ミリ波レーダセンサと第１センサとの相対的位置姿勢が決定される。決定された相対的位置姿勢に基づいて、センサ検出情報のミリ波レーダ座標系と第１センサ座標系とで相互変換することができ、検出情報を十分に活用することができる。

【0033】

さらに、ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定するステップの前に、シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識するステップと、シーンにおける障害物の第１データに基づいて、シーンに含まれる各第２目標障害物を認識するステップと、シーンに含まれる各第１目標障害物と、シーンに含まれる各第２目標障害物との対応関係を決定するステップと、をさらに含む。

【0034】

ここで、第１目標障害物は、ミリ波レーダセンサのミリ波データに基づいて検出された目標障害物である。第２目標障害物は、第１センサの第１データに基づいて検出された当該目標障害物である。

【0035】

第１センサがカメラセンサである場合、シーンにおける障害物の画像データに基づいて、シーンにおける各目標障害物を認識する方法は、目標障害物を認識することができる任意のアルゴリズムであってもよい。典型的には、当該アルゴリズムは、テンプレートマッチングアルゴリズム、ディープラーニングアルゴリズム又は従来の目標検出の様々なアルゴリズムであってもよい。

【0036】

さらに、シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識するステップは、シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の速度と位置とを決定し、速度がゼロでない物体をフィルタリングして除去するステップと、シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の反射強度を決定し、反射強度が強度閾値より小さい物体をフィルタリングして除去するステップと、異なる目標障害物間の実際の相対的距離及び残りの各物体の位置に基づいて、残りの各物体が目標障害物であるか否かを決定して、障害物データに含まれる各目標障害物を取得するステップと、を含む。

【0037】

実施例２
図２は、本発明の実施例２によって提供される相対的位置姿勢の決定方法のフローチャートである。本実施例は、上記の実施例に基づいて、ライダーセンサを第１センサとすることを例にして提供される選択可能な案である。図２を参照すると、本実施例によって提供される相対的位置姿勢の決定方法は、以下のステップＳ２１０～ステップＳ２３０を含む。
ステップＳ２１０において、車両におけるミリ波レーダセンサ及びライダーセンサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び点群データを取得し、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置される。

【0038】

典型的には、ミリ波レーダ信号ブースターは、コーナーリフレクターであってもよい。ミリ波レーダセンサによる金属物体に対する反射強度が大きく（すなわち、感度が高い）、ライダーセンサによる白い物体に対する反射強度が大きい（すなわち、感度が高い）。したがって、目標障害物の検出結果が非目標障害物の検出結果とは区別されるように、必要に応じてミリ波レーダ信号ブースターを設置することができる。

【0039】

ステップＳ２２０において、シーンにおける障害物のミリ波データ及び点群データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物のライダー座標系における第２障害物データをそれぞれ決定する。

【0040】

ライダーセンサによって検出される障害物点群データについて、シーンにおける障害物の点群データに基づいて地面を検出し、地面の点群データの干渉を除去することができる。点群データ基づいて物体速度を決定することはできないが、目標障害物は一定の面積と分布規則とを有する。点群数及び／又は点群分布規則に基づいて、シーンにおける各目標障害物の点群データを決定することができる。

【0041】

ステップＳ２３０において、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢を決定する。

【0042】

具体的には、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢を決定するステップは、ミリ波レーダセンサとライダーセンサとの変数、及び各目標障害物の第１位置データと第２位置データとに基づいて、各目標障害物の位置誤差を決定するステップと、各目標障害物の位置誤差に基づいて目標関数を決定し、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサとライダーセンサとの相対的位置姿勢とするステップと、を含む。

【0043】

選択可能に、第１障害物データをライダーセンサ座標系に変換して、第２障害物データと誤差の比較を行うことができるし、第２障害物データをミリ波レーダセンサ座標系に変換して、第１障害物と誤差の比較を行うこともできる。

【0044】

具体的には、各目標障害物の位置誤差に基づいて目標関数を決定することは、各目標障害物の位置誤差の二乗和を目標関数とすること、又は絶対値をとった後の各目標障害物の位置誤差の合計を目標関数とすることを含む。目標関数の決定方式は、他にも多数あるが、本実施例では、これについて一切限定しない。

【0045】

典型的には、相対的位置姿勢は、二つの座標系の相対的回転角度と変位とを示すための６自由度の外部パラメータによって構成されてもよい。

【0046】

本発明の実施例の技術案は、まず、ミリ波レーダセンサ及びライダーセンサによっていずれも検出することができる少なくとも一つの目標障害物を設置し、その後、目標障害物のミリ波レーダ座標系における第１障害物データと目標障害物のライダー座標系における第２障害物データとに基づいて、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢を決定する。これにより、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢が決定される。決定された相対的位置姿勢は、センサ検出情報のミリ波レーダ座標系とライダー座標系とで相互変換することができ、検出情報を十分に活用することができる。

【0047】

実施例３
図３は、本発明の実施例３によって提供される相対的位置姿勢の決定方法のフローチャートである。本実施例は、上記の実施例に基づいて、第１障害物データをライダーセンサ座標系に変換して、第２障害物データと誤差の比較を行うことを例にして提供される選択可能な案である。図３を参照すると、本実施例により提供される相対的位置姿勢の決定方法は、以下のステップＳ３１０～ステップＳ３５０を含む。
ステップＳ３１０において、車両のミリ波レーダセンサ及びライダーセンサによってそれぞれ収集されたシーンにおける障害物のミリ波データと点群データを取得し、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置される。

【0048】

ステップＳ３２０において、シーンにおける障害物のミリ波データ及び点群データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物のライダー座標系における第２障害物データをそれぞれ決定する。

【0049】

ステップＳ３３０において、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢変数に基づいて各目標障害物の第１位置データをライダー座標系に変換して各目標障害物の第３位置データを取得する。

【0050】

ステップＳ３４０において、各目標障害物の第２位置データと第３位置データとに基づいて、各目標障害物の位置誤差を決定する。

【0051】

ステップＳ３５０において、各目標障害物の位置誤差の合計を目標関数とし、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサとライダーセンサとの相対的位置姿勢とする。

【0052】

ここで、位置誤差は位置差値の絶対値である。

【0053】

具体的には、目標関数を反復的に最小化して、反復的に最小化された目標関数に対応する相対的位置姿勢をミリ波レーダセンサとライダーセンサとの相対的位置姿勢とすることができる。

【0054】

本発明の実施例の技術案は、第１障害物データをライダーセンサ座標系に変換して、第２障害物データと位置誤差の比較を行う。各目標障害物の位置誤差の合計を目標関数として反復的に最小化して、反復的に最小化された目標関数に対応する相対的位置姿勢をミリ波レーダセンサとライダーセンサとの相対的位置姿勢とする。これにより、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢が決定される。

【0055】

実施例４
図４は、本発明の実施例４によって提供される相対的位置姿勢の決定方法のフローチャートである。本実施例は、上記の実施例に基づいて提出される選択可能な案である。図４を参照すると、本実施例によって提供される相対的位置姿勢の決定方法は、以下のステップＳ４１０～ステップＳ４６０を含む。

【0056】

ステップＳ４１０において、車両におけるミリ波レーダセンサ及びライダーセンサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び点群データを取得し、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置される。

【0057】

ステップＳ４２０において、シーンにおける障害物のミリ波データ及び点群データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物のライダー座標系における第２障害物データをそれぞれ決定する。

【0058】

ステップＳ４３０において、シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識し、シーンにおける障害物の点群データに基づいて、シーンに含まれる各第２目標障害物を認識する。
ここで、第２目標障害物は、ライダーセンサの点群データに基づいて検出された目標障害物である。

【0059】

具体的には、前記シーンにおける障害物の点群データに基づいて、シーンに含まれる各第２目標障害物を認識するステップは、シーンにおける障害物の点群データに基づいて地面を検出し、地面の点群データを除去するステップと、点群数及び／又は点群分布規則に基づいて、シーンにおける各物体の点群データと位置とを決定するステップと、
シーンにおける各物体の点群データと位置とに基づいて、シーンに含まれる各第２目標障害物を認識するステップと、を含む。

【0060】

なお、1本の木に対応する点群データ量及び点群分布規則は、一本の警告パイルに対応する点群データ量及び点群分布規則とは異なることが理解される。

【0061】

点群数及び／又は点群分布規則は、点群検出アルゴリズムに基づいて検出することができる。目標障害物は、機械学習などのアルゴリズムを使用して目標障害物の検出と認識決定を行うことができる。

【0062】

ステップＳ４４０において、シーンに含まれる各第１目標障害物と、シーンに含まれる各第２目標障害物との対応関係を決定する。

【0063】

例示的には、上記の対応関係は、以下のように理解されてもよい。障害物データに三つの障害物１、２、及び３があり、点群データに三つの障害物ａ、ｂ、及びｃがあり、１とｂとが同一の実際の障害物に対応し、２とａとが同一の実際の障害物に対応し、３とｃとが同一の実際の障害物に対応する対応関係を決定する。

【0064】

具体的には、当該対応関係は、目標障害物間の距離、目標障害物の分布規則及び／又は点群データ量に基づいて決定することができる。

【0065】

典型的には、第１目標障害物における一つの目標障害物と第２目標障害物における一つの目標障害物との間の距離が設定された距離範囲内にあり、しかも点群データの分布規則が同じ又は類似しており、点群データ量も同じ又は類似している場合、当該二つの障害物が同一の実際の障害物に対応することが決定されるため、当該二つの障害物の間に対応関係があると決定される。

【0066】

ステップＳ４５０において、決定された対応関係と、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定する。

【0067】

例示的には、１とｂとが同一の実際の障害物に対応する場合、ｂの第２位置データと１の第３位置データとに基づいて当該実際の障害物の位置誤差を決定する。

【0068】

ステップＳ４６０において、各目標障害物の位置誤差に基づいて目標関数を決定し、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサとライダーセンサとの相対的位置姿勢とする。

【0069】

本発明の実施例の技術案は、ミリ波レーダセンサのミリ波データに基づいて検出された目標障害物と、ライダーセンサの点群データに基づいて検出された目標障害物との対応関係を決定し、当該対応関係に基づいて各目標障害物の位置誤差を決定する。これにより、目標障害物が複数である場合の各目標障害物の位置誤差が決定され、上記の二つのセンサの相対的位置姿勢が決定される。

【0070】

なお、本実施例の技術的教示によって、当業者は、上記の実施例に記載されたいずれかの実施形態の案を組み合わせて、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢を決定する動機を有する。

【0071】

実施例５
図５は、本発明の実施例５によって提供される相対的位置姿勢の決定装置の概略構成図である。選択可能に、当該相対的位置姿勢の決定装置は、自動運転車両に取り付けることができる。図５を参照すると、本実施例によって提供される相対的位置姿勢の決定装置は、データ取得モジュール１０と、目標検出モジュール２０と、位置姿勢決定モジュール３０と、を含む。

【0072】

データ取得モジュール１０は、車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得し、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置される。
目標検出モジュール２０は、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定する。
位置姿勢決定モジュール３０は、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定する。

【0073】

本発明の実施例の技術案は、まず、ミリ波レーダセンサ及び第１センサによっていずれも検出することができる少なくとも一つの目標障害物を設置し、その後、目標障害物のミリ波レーダ座標系における第１障害物データと目標障害物の第１センサ座標系における第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定する。これにより、ミリ波レーダセンサと第１センサとの相対的位置姿勢が決定される。決定された相対的位置姿勢に基づいて、センサ検出情報のミリ波レーダ座標系と第１センサ座標系とで相互変換することができ、検出情報を十分に活用することができる。

【0074】

さらに、前記位置姿勢決定モジュールは、座標初期変換ユニットと位置姿勢決定ユニットとを含む。

【0075】

座標初期変換ユニットは、ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定する。
位置姿勢決定ユニットは、各目標障害物の位置誤差に基づいて目標関数を決定し、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサと第１センサとの相対的位置姿勢とする。

【0076】

さらに、前記装置は、第１目標認識モジュールと、第２目標認識モジュールと、データ関連付けモジュールとをさらに含む。

【0077】

第１目標認識モジュールは、ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて各目標障害物の位置誤差が決定される前に、シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識する。
第２目標認識モジュールは、シーンにおける障害物の第１データに基づいて、シーンに含まれる各第２目標障害物を認識する。
データ関連付けモジュールは、シーンに含まれる各第１目標障害物と、シーンに含まれる各第２目標障害物との対応関係を決定する。

【0078】

さらに、前記第１目標認識モジュールは、速度位置フィルタリングユニットと、反射強度フィルタリングユニットと、第１目標決定ユニットとを含む。

【0079】

速度位置フィルタリングユニットは、シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の速度と位置とを決定し、速度がゼロでない物体をフィルタリングして除去する。
反射強度フィルタリングユニットは、シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の反射強度を決定し、反射強度が強度閾値より小さい物体をフィルタリングして除去する。
第１目標決定ユニットは、異なる目標障害物間の実際の相対的距離及び残りの各物体の位置に基づいて、残りの各物体が目標障害物であるか否かを決定して、障害物データに含まれる各目標障害物を取得する。

【0080】

さらに、第１センサがライダーセンサである場合、前記第２目標認識モジュールは、データフィルタリングユニットと、物体及び位置決定ユニットと、第２目標決定ユニットとを含む。

【0081】

データフィルタリングユニットは、シーンにおける障害物の点群データに基づいて地面を検出し、地面の点群データを除去し、シーンにおける障害物の点群データは前記第１データである。
物体及び位置決定ユニットは、点群数及び／又は点群分布規則に基づいて、シーンにおける各物体の点群データと位置とを決定する。
第２目標決定ユニットは、シーンにおける各物体の点群データと位置とに基づいて、シーンに含まれる各第２目標障害物を認識する。

【0082】

実施例６
図６は、本発明の実施例６によって提供される機器の概略構成図である。図６は、本発明の実施形態の実現に適した例示的な機器１２のブロック図である。図６に示される機器１２は単なる一例であり、本発明の実施例の機能及び使用範囲を一切限定しない。典型的には、当該機器は、自動運転車両の一つの車載機器であってもよい。

【0083】

図６に示すように、機器１２は、汎用コンピューティング機器の形態で示される。機器１２の構成要素は、一つ又は複数のプロセッサ又は処理ユニット１６と、システムメモリ２８と、異なるシステム構成要素（システムメモリ２８と処理ユニット１６とを含む）を接続するバス１８と、を含むことができるが、これらに限定されない。処理ユニット１６は、シーンにおける障害物のミリ波データを収集するためのミリ波レーダセンサ１６１と、シーンにおける障害物の第１データを収集するための第１センサ１６２と、をさらに含む。

【0084】

バス１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうちのいずれかのバス構造を使用するローカルバスを含む、複数種類のバス構造のうち一つ又は複数を表す。例を挙げると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＡＣ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むが、これらに限定されない。

【0085】

機器１２は、典型的には、複数種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、機器１２がアクセスすることができる任意の使用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む。

【0086】

システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０及び／又はキャッシュメモリ３２などの揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでもよい。機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでもよい。単なる一例として、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図６に示されていないが、通常「ハードドライブ」という）に対して読み出し及び書き込みをするために用いることができる。図６に示されていないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル不揮発性光学ディスク（例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ又は他の光学媒体）に対して読み出し及び書き込みをするための光学ディスクドライブを提供することができる。これらの場合、各ドライブは、一つ又は複数のデータメディアインターフェイスを介してバス１８に接続することができる。メモリ２８は、本発明の各実施例に記載の機能を実行するように構成される１セット（例えば、少なくとも一つ）のプログラムモジュールを有する少なくとも一つのプログラム製品を含んでもよい。

【0087】

１セット（少なくとも一つ）のプログラムモジュール４２を有するプログラム／ユーティリティ４０は、例えば、メモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、一つ又は複数のアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むがこれらに限定されない。これらの例のそれぞれ又は何らかの組み合わせには、ネットワーク環境の実装が含まれる可能性がある。プログラムモジュール４２は、通常本発明に記載の実施例における機能及び／又は方法を実行する。

【0088】

機器１２は、一つ又は複数の外部デバイス１４（例えば、キーボード、ポインティングデバイス、ディスプレイ２４など）と通信することができるし、ユーザが機器１２とインタラクションすることを可能にする一つ又は複数のデバイスと通信することもでき、及び／又は機器１２が一つ又は複数の他のコンピューティング機器と通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデムなど）と通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス２２を介して行うことができる。また、機器１２は、ネットワークアダプタ２０を介して、一つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図に示すように、ネットワークアダプタ２０は、バス１８を介して、機器１２の他のモジュールと通信する。なお、図示されていないが、マイクロコードやデバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、及びデータバックアップトレージシステムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを、機器１２と組み合わせて使用することができる。

【0089】

処理ユニット１６は、システムメモリ２８に記憶されたプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の実施例によって提供される相対的位置姿勢の決定方法を実現する。

【0090】

実施例７
本発明の実施例７は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例のいずれかに記載の相対的位置姿勢の決定方法を実現し、当該方法は、
車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するステップであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるステップと、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するステップと、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップと、を含む。

【0091】

本発明の実施例のコンピュータ読み取り可能な媒体は、一つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記の任意の組み合わせであってもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、一つ又は複数の配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。この明細書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。

【0092】

コンピュータ読み取り可能なの信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、その中にはコンピュータ読み取り可能なのプログラムコードが搭載されている。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能なの信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。

【0093】

コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送することができる。

【0094】

一つ又は複数のプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよいし、部分的にユーザーコンピュータに実行されてもよいし、スタンドアロンソフトウェアパッケージとして実行されてもよいし、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよい、又は完全にリモートコンピュータ又はサーバーで実行してもよい。リモートコンピュータに係る場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意種類のインターネットを介して、ユーザーコンピュータに接続することができ、或いは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）に接続することもできる。

【0095】

なお、上記の記載は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明がここに記載された特定の実施例に限定されないと理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変更、新たな調整及び置換を行うことができる。上記実施例を用いて本発明を比較的詳細に説明したが、本発明は、上記実施例に限定されず、本発明の構想を逸脱せず、より多くの他の効果同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】