特許 6771059 ３次元シーンを再構成するための方法、装置、機器及びコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6771059

(24)【登録日】2020年9月30日

(45)【発行日】2020年10月21日

(54)【発明の名称】３次元シーンを再構成するための方法、装置、機器及びコンピュータ可読記憶媒体

(51)【国際特許分類】

   G01S 17/89 20200101AFI20201012BHJP

   G09B 29/00 20060101ALI20201012BHJP

   G06T 17/05 20110101ALI20201012BHJP

   G06T 7/00 20170101ALI20201012BHJP

   G01C 21/28 20060101ALI20201012BHJP

   B60W 40/02 20060101ALI20201012BHJP

【ＦＩ】

   G01S17/89

   G09B29/00 Z

   G06T17/05

   G06T7/00 650A

   G01C21/28

   B60W40/02

【請求項の数】19

【外国語出願】

【全頁数】19

(21)【出願番号】特願2019-47110(P2019-47110)

(22)【出願日】2019年3月14日

(65)【公開番号】特開2019-211466(P2019-211466A)

(43)【公開日】2019年12月12日

【審査請求日】2019年3月22日

(31)【優先権主張番号】201810565152.4

(32)【優先日】2018年6月4日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】110001416

【氏名又は名称】特許業務法人 信栄特許事務所

(72)【発明者】

【氏名】ユイ，リー

(72)【発明者】

【氏名】ソン，シユ

【審査官】 田中 純

(56)【参考文献】

【文献】 特表２０１６−５１９７５７（ＪＰ，Ａ）

【文献】 特表２０１７−５３０３４３（ＪＰ，Ａ）

【文献】 特表２０１９−５３６０３５（ＪＰ，Ａ）

【文献】 特開２０１９−１６８４１７（ＪＰ，Ａ）

【文献】 特開２０１９−２１１２６４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１９／０１０２９１３（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１０９４６６５４８（ＣＮ，Ａ）

【文献】 SHIRATORI TAKAAKI ET AL，"Efficient Large-Scale Point Cloud Registration Using Loop Closures"，2015 INTERNATIONAL CONFERENCE ON 3D VISION，IEEE，２０１５年１０月１９日，pages 232-240

【文献】 YU FISHER ET AL，"Semantic Alignment of LiDAR Data at City Scale"，2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) ，IEEE，２０１５年 ６月 ７日，pages 1722-1731

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ ７／４８ − Ｇ０１Ｓ ７／５１

Ｇ０１Ｓ １７／００ − Ｇ０１Ｓ １７／９５

Ｇ０１Ｂ １１／００ − Ｇ０１Ｂ １１／３０

Ｇ０１Ｃ ３／００ − Ｇ０１Ｃ ３／３２

(57)【特許請求の範囲】

【請求項1】

３次元シーンを再構成するための方法であって、
前記３次元シーンについての点群データフレームセットを取得するステップであって、前記点群データフレームセット内の点群データフレームそれぞれは、姿勢パラメータを有する、ステップと、
前記点群データフレームセットから前記３次元シーンの一部に対応するサブセットを確定するステップと、
前記サブセット内の点群データフレームの姿勢パラメータを調整して、調整後のサブセットを取得するステップであって、前記調整後のサブセットは、マッチするオーバーラップ部分を有する少なくとも２つの点群データフレームを含む、ステップと、
調整後のサブセットを使用して前記点群データフレームセットを更新するステップと、を含み、
前記サブセットを確定するステップは、
前記点群データフレームセットに対応する軌跡に基づいて、前記３次元シーン内の交差点の位置を確定するステップと、
前記交差点の位置に基づいて、前記交差点を接続する接続図を作成するステップと、
前記接続図に基づいて、前記３次元シーンの前記一部として閉経路を決定するステップと、を含み、
前記交差点の位置を確定するステップは、
前記軌跡を拡大することによって、道路を表す経路を確定するステップと、
前記経路に基づいて、前記交差点内の少なくとも１つのコーナー点を確定するステップと、
前記交差点内の少なくとも１つのコーナー点に基づいて前記交差点の位置を確定するステップと、を含む、
３次元シーンを再構成するための方法。

【請求項2】

前記姿勢パラメータを調整するステップは、
前記サブセット内の点群データフレームから、動的オブジェクトに関連するデータ点を削除して前記サブセットを更新するステップと、
更新された前記サブセット内の点群データフレームの姿勢パラメータを調整するステップと、を含む、
請求項１に記載の方法。

【請求項3】

前記データ点を削除するステップは、
前記点群データフレームから、地面を表すデータ点を削除するステップと、
前記点群データフレーム内の動的オブジェクトを識別するステップと、
前記点群データフレームから、前記動的オブジェクトを表すデータ点を削除するステップと、
前記地面を表すデータ点を前記点群データフレームに追加するステップと、を含む、
請求項２に記載の方法。

【請求項4】

前記動的オブジェクトを識別するステップは、
前記点群データフレーム内のデータ点をクラスタリングして、前記点群データフレーム内で複数のグループを決定するステップと、
前記複数のグループから、前記動的オブジェクトの属性にマッチするグループを確定するステップと、を含む、
請求項３に記載の方法。

【請求項5】

前記姿勢パラメータを調整するステップは、
前記複数の点群データフレームから、静的オブジェクトを表すデータ点を抽出して前記サブセットを更新するステップと、
更新された前記サブセット内の点群データフレームの姿勢パラメータを調整するステップと、を含む、
請求項１に記載の方法。

【請求項6】

前記少なくとも２つの点群データフレームは、第１の点群データフレームと第２の点群データフレームとを含み、前記姿勢パラメータを調整するステップは、
前記第１の点群データフレームと前記第２の点群データフレーム内の対応するオブジェクト間の特徴距離を確定するステップと、
前記特徴距離に基づいて前記姿勢パラメータを調整するステップと、を含む、
請求項１に記載の方法。

【請求項7】

前記点群データフレームセットを更新するステップは、
前記３次元シーンの前記一部と重なる前記３次元シーンの他の部分を確定するステップと、
前記点群データフレームセットから、前記３次元シーンの前記他の部分に対応する他のサブセットを確定するステップと、
前記サブセット内の第３の点群データフレームが前記他のサブセット内の第４の点群データフレームと重なるように、前記サブセット及び前記他のサブセット内の点群データフレームの姿勢パラメータを調整するステップと、を含む、
請求項１に記載の方法。

【請求項8】

前記点群データフレームセットを更新するステップは、
全地球航法衛星システムによって前記一部における第５の点群データフレームの姿勢パラメータを確定するステップと、
前記第５の点群データフレームの姿勢パラメータに基づいて前記点群データフレームセットを更新するステップと、を含む、
請求項１に記載の方法。

【請求項9】

３次元シーンを再構成するための装置であって、
前記３次元シーンについての点群データフレームセットを取得するように配置される点群取得モジュールであって、前記点群データフレームセット内の点群データフレームそれぞれは、姿勢パラメータを有する、点群取得モジュールと、
前記点群データフレームセットから前記３次元シーンの一部に対応するサブセットを確定するように配置されるサブセット確定モジュールと、
前記サブセット内の点群データフレームの姿勢パラメータを調整して、調整後のサブセットを取得するように配置される姿勢調整モジュールであって、前記調整後のサブセットは、マッチするオーバーラップ部分を有する少なくとも２つの点群データフレームを含む、姿勢調整モジュールと、
調整後のサブセットを使用して前記点群データフレームセットを更新するように配置される点群更新モジュールと、を備え、
前記サブセット確定モジュールは、
前記点群データフレームセットに対応する軌跡に基づいて、前記３次元シーン内の交差点の位置を確定するように配置される交差点確定モジュールと、
前記交差点の位置に基づいて、前記交差点を接続する接続図を作成するように配置される接続図作成モジュールと、
前記接続図に基づいて、前記３次元シーンの前記一部として閉経路を決定するように配置される部分確定モジュールと、を備え、
前記交差点確定モジュールは、
前記軌跡を拡大することによって、道路を表す経路を確定するように配置される経路確定モジュールと、
前記経路に基づいて、前記交差点の少なくとも１つのコーナー点を確定するように配置されるコーナー点確定モジュールと、
前記交差点の少なくとも１つのコーナー点に基づいて前記交差点の位置を確定するように配置される位置確定モジュールと、を備える、
３次元シーンを再構成するための装置。

【請求項10】

前記姿勢調整モジュールは、
前記サブセット内の点群データフレームから、動的オブジェクトに関連するデータ点を削除して前記サブセットを更新するように配置される動的オブジェクト除去モジュールと、
更新された前記サブセット内の点群データフレームの姿勢パラメータを調整するように配置される第１の姿勢パラメータ調整モジュールと、を備える、
請求項９に記載の装置。

【請求項11】

前記動的オブジェクト除去モジュールは、
前記点群データフレームから、地面を表すデータ点を削除するように配置される地面除去モジュールと、
前記点群データフレーム内の動的オブジェクトを識別するように配置される動的オブジェクト識別モジュールと、
前記点群データフレームから、前記動的オブジェクトを表すデータ点を削除するように配置されるデータ点削除モジュールと、
前記地面を表すデータ点を前記点群データフレームに追加するように配置される地面追加モジュールと、を備える、
請求項１０に記載の装置。

【請求項12】

前記動的オブジェクト識別モジュールは、
前記点群データフレーム内のデータ点をクラスタリングして、前記点群データフレーム内で複数のグループを決定するように配置されるクラスタリングモジュールと、
前記複数のグループから、前記動的オブジェクトの属性にマッチするグループを確定するように配置されるマッチングモジュールと、を備える、
請求項１１に記載の装置。

【請求項13】

前記姿勢調整モジュールは、
前記複数の点群データフレームから、静的オブジェクトを表すデータ点を抽出して前記サブセットを更新するように配置されるデータ点抽出モジュールと、
更新された前記サブセット内の点群データフレームの姿勢パラメータを調整するように配置される第１の姿勢パラメータ調整モジュールと、を備える、
請求項９に記載の装置。

【請求項14】

前記少なくとも２つの点群データフレームは、第１の点群データフレームと第２の点群データフレームとを含み、前記姿勢調整モジュールは、
前記第１の点群データフレームと前記第２の点群データフレーム内の対応するオブジェクト間の特徴距離を確定するように配置される特徴距離確定モジュールと、
前記特徴距離に基づいて前記姿勢パラメータを調整するように配置される第２の姿勢パラメータ調整モジュールと、を備える、
請求項９に記載の装置。

【請求項15】

前記点群更新モジュールは、
前記３次元シーンの前記一部と重なる前記３次元シーンの他の部分を確定するように配置される他の部分確定モジュールと、
前記点群データフレームセットから、前記３次元シーンの前記他の部分に対応する他のサブセットを確定するように配置されるサブセット確定モジュールと、
前記サブセット内の第３の点群データフレームが前記他のサブセット内の第４の点群データフレームと重なるように、前記サブセット及び前記他のサブセット内の点群データフレームの姿勢パラメータを調整するように配置される第３の姿勢パラメータ調整モジュールと、を備える、
請求項９に記載の装置。

【請求項16】

前記点群更新モジュールは、
全地球航法衛星システムによって前記一部における第５の点群データフレームの姿勢パラメータを確定するように配置される姿勢パラメータ確定モジュールと、
前記第５の点群データフレームの姿勢パラメータに基づいて前記点群データフレームセットを更新するように配置される点群データ更新モジュールと、を備える、
請求項９に記載の装置。

【請求項17】

電子機器であって、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶するためのメモリとを備え、
前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されると、前記電子機器に請求項１〜８のいずれか一項に記載の方法を実現させる、電子機器。

【請求項18】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
当該コンピュータプログラムがプロセッサによって実行されると、請求項１〜８のいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。

【請求項19】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜８のいずれか一項に記載の方法を実現させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、通常に、点群データの処理に関し、より詳細に、３次元シーンを再構成するための方法、装置、機器及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

高精度地図は、自動運転技術の重要な構成部分で、自動運転車の経路計画及び決定制御の基礎であり、車両の高精度自体位置推定にもコアデータを提供する。車載レーザレーダに基づく高精度シーンの再構成は、高精度地図を生成するための前提条件である。全地球航法衛星システム（ＧＮＳＳ、例えば全地球測位システム（ＧＰＳ））信号が良好である環境では、差動ＧＰＳ／慣性航法装置を介して正確なレーダ姿勢を得ることができ、得られた点群データをレーダ姿勢に従って世界座標系に投影することによって、高精度３次元シーンを再構成することができる。しかし、都市における高層ビルやトンネルなどのシーンでは、ＧＮＳＳ信号の欠失で、システムが正しく機能できない。したがって、上記技術的問題を少なくとも部分的に解決する、３次元シーンを再構成するための技術的解決策を提供することが必要となる。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の実施形態により、３次元シーンを再構成するための技術案が提供される。

【0004】

本発明の第１の態様において、３次元シーンを再構成するための方法が提供される。当該方法は、前記３次元シーンについての点群データフレームセットを取得するステップであって、前記点群データフレームセット内の点群データフレームそれぞれは、姿勢パラメータを有する、ステップと、前記点群データフレームセットから前記３次元シーンの一部に対応するサブセットを確定するステップと、前記サブセット内の点群データフレームの姿勢パラメータを調整して、調整後のサブセットを取得するステップであって、前記調整後のサブセットは、マッチするオーバーラップ部分を有する少なくとも２つの点群データフレームを含む、ステップと、調整後のサブセットを使用して前記点群データフレームセットを更新するステップと、を含む。

【0005】

本発明の第２の態様において、３次元シーンを再構成するための装置が提供される。当該装置は、前記３次元シーンについての点群データフレームセットを取得するように配置される点群取得モジュールであって、前記点群データフレームセット内の点群データフレームそれぞれは、姿勢パラメータを有する、点群取得モジュールと、前記点群データフレームセットから前記３次元シーンの一部に対応するサブセットを確定するように配置されるサブセット確定モジュールと、前記サブセット内の点群データフレームの姿勢パラメータを調整して、調整後のサブセットを取得するように配置される姿勢調整モジュールであって、前記調整後のサブセットは、マッチするオーバーラップ部分を有する少なくとも２つの点群データフレームを含む、姿勢調整モジュールと、調整後のサブセットを使用して前記点群データフレームセットを更新するように配置される点群更新モジュールと、を備える。

【0006】

本発明の第３の態様において、電子機器が提供される。当該電子機器は、１つ以上のプロセッサと、１つ以上のプログラムを記憶するためのメモリとを備え、前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されると、電子機器に本発明の第１の態様に記載の方法を実現させる。

【0007】

本発明の第４の態様において、コンピュータプログラムが記憶されているコンピュータ可読（記憶）媒体であって、当該プログラムがプロセッサによって実行されると、本発明の第１の態様に記載の方法を実現させるコンピュータ可読（記憶）媒体が更に提供される。

【0008】

発明の開示に記載された内容は、本発明の実施形態の決定的な又は重要な特徴を限定することを意図するものではなく、本発明の範囲を限定するものでもない。本発明の他の特徴は、以下の説明によって容易に理解されるであろう。

【図面の簡単な説明】

【0009】

添付図面と組み合わせて以下の詳細な説明を参照すれば、本発明の各実施形態の上述したもの並びに他の特徴、利点及び態様は、より明らかになるであろう。添付図面において、同一又は類似の参照番号は、同一又は類似の要素を表す。

【0010】

【図1】図１は、本発明の実施形態を実施可能な例示的な環境を示す概略図である。

【図2】図２は、本発明の実施形態に係る３次元シーンを再構成するための方法を示すフローチャートである。

【図3】図３は、本発明の実施形態に係る３次元シーンの一部に対応する点群データフレームサブセットを確定するための方法を示すフローチャートである。

【図4】図４は、本発明の実施形態に係る姿勢パラメータを調整するための方法を示すフローチャートである。

【図5】図５は、本発明の実施形態に係る３次元シーンを再構成するための装置を示すブロック図である。

【図6】図６は、本発明の実施形態を実施可能な電子機器を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら本発明の実施形態を更に詳しく説明する。本発明のいくつかの実施形態が図面に示されているが、本発明は様々な形態で具現化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではなく、逆に、これらの実施形態は、本発明をより明確かつ完全に理解するために提供されていることを理解されたい。なお、本発明の図面及び実施形態は例示的なものにすぎず、本発明の保護範囲を限定するものではない。

【0012】

上述したように、自動運転の分野では、従来の地図作成方法は、主に、全地球航法衛星システム（ＧＮＳＳ）／慣性航法装置（ＳＩＮＳ）からなるナビゲーションシステムによって提供される高精度全地球測位結果に応じて、地図を作成することであり、当該システムは、遮るもののない高速道路などの場所では確かにセンチメートルレベルの精度を提供することができる。しかしながら、高層ビルが密集している場所やトンネルなどの一般的な都市のシーンでは、ＧＰＳ信号が弱くなったり完全に欠落したりして、慣性航法エラーが急速に蓄積され、正確なレーザレーダ姿勢を得ることができず、その結果、シーンの再構成精度は自動運転の要求を満たすことができない。加えて、ＧＰＳ信号の欠失は、特に大規模な都市の道路の場合、点群データフレームのスプライシングにおける高計算量につながり、高い計算効率及び計算精度を達成することが困難である。

【0013】

前記問題について、本発明の実施形態は、３次元シーンを再構成するための技術案を提供する。当該技術案は、３次元シーンを複数の独立した部分に分割し、各部分に対して点群データフレームの姿勢パラメータを最適化する。次に、最適化された各部分を組み合わせる。このようにして、３次元シーンの再構成と高精度地図の作成に関する分散処理を実現することができ、複雑なシーンに対する処理効率や計算精度を向上させることができる。

【0014】

以下、本発明の実施形態に対して、図１〜図７を参照しながら具体的に説明する。

【0015】

図１は、本発明の実施形態を実施可能な例示的な環境１００を示す概略図である。環境１００では、レーザーレーダを搭載した収集エンティティ１１６（例えば、車両）が道路１２０上を移動して、収集エンティティ１１６が配置されているシーン１０２に関連するデータを収集する。

【0016】

本発明のコンテキストでは、「収集エンティティ」という用語は、点群、データ、及び／又は他の適切なデータを収集可能なエンティティであり、例えば、車両、人、又は他の移動可能なデバイスなどが挙げられる。レーザーレーダは、シングルラインレーザーレーダ、マルチラインレーザーレーダ、３Ｄレーザーレーダなどであってもよい。上記実施形態は、本発明の単なる例示であり、本発明の実施形態の範囲を限定することを意図しないと理解されるべきである。

【0017】

収集エンティティ１１６の移動中、レーザーレーダは、収集エンティティ１１６が配置されているシーン１０２の３次元情報を記述する点群を取得する。図１に示すように、シーン１０２は、収集エンティティ１１６が現在位置している道路１２０、収集エンティティ１１６の両側の木１１２、及び収集エンティティ１１６の前の建築物１１４などを含む。収集された点群データは、道路１２０、木１１４、及び建築物１１４上の各点の空間座標などの３次元情報を記述することが可能である。また、シーン１０２は、車両１１８のようないくつかの移動物体をさらに含む。したがって、取得された点群データは、車両１１８などの移動物体を記述する空間座標などの３次元情報を含んでもよい。

【0018】

マルチラインレーザーレーダを一例として、１回のスキャンによって得られる点群は、一フレームの点群又は１つの点群データフレームという。例えば、６４ラインのレーザーレーダが０．１秒で３６０°スキャンすると、当該レーザーレーダは、１秒間に１０フレームの点群を取得することができる。当業者は、レーザーレーダのようなセンサの位置（例えば、３次元座標）及び方向（例えば、姿勢角）をそのようなセンサの姿勢ともいうことを理解するであろう。例えば、センサは、３Ｄデータを取得するときに姿勢パラメータによって定義される姿勢を有すると考えることができる。例えば、姿勢パラメータは、座標及びピッチ角などの６つのパラメータを含んでもよい。

【0019】

収集エンティティ１１６は、移動中に収集された点群をクラウドストレージデバイスにアップロードすることができる。当業者であれば、点群をクラウドストレージデバイスに格納することに限定せず、他のストレージデバイスに格納することもできることを理解するであろう。例えば、点群は、例えば収集エンティティ１１６などに配置可能なハードディスクのような従来のメモリに格納することもできる。

【0020】

コンピューティングデバイス１０４は、クラウドストレージデバイス又は他のストレージデバイスから、収集エンティティ１１６によって収集されたデータを取得することができる。コンピューティングデバイス１０４は、大規模データ処理の計算性能を向上させるための並列計算能力を有する分散型コンピューティングデバイスであってもよい。コンピューティングデバイス１０４は、点群データを処理し、図１に示すシーン１０６のような３次元シーンを再構成して出力することができる。再構成されるシーン１０６には、道路１２６、木１２２、及び建築物１２４が示される。道路１２６には、車線の情報が含まれてもよい。再構成されるシーン１０６は、更に、自動運転などの応用に使用するように高精度地図の作成に利用可能である。

【0021】

なお、図１に示す様々な構成要素の数、構造、接続関係、及びレイアウトは、限定的なものではなく例示的なものであり、構成要素の一部は所望により選択できる。当業者は、本発明の範囲内で、数、構造、接続関係及びレイアウトなどに関して調整を行うことができる。

【0022】

図２は、本発明のいくつかの実施形態に係る３次元シーンを再構成するための方法２００を示すフローチャートである。方法２００は、図１に示すコンピューティングデバイス１０４によって実行することができる。前述のように、コンピューティングデバイス１０４は、複数のコンピューティングノードを含む分散型コンピューティングデバイスであってもよい。

【0023】

ブロック２０２において、コンピューティングデバイス１０４は、３次元シーンを対象とする点群データフレームセットを取得し、点群データフレームセット内の点群データフレームそれぞれは姿勢パラメータを有する。例えば、点群データフレームセットは、収集エンティティによって都市道路上でレーザーレーダを用いて取得することができる。上述した通り、点群データフレームを取得するとき、レーザーレーダなどのセンサの位置及びポジションは、当該点群データフレームに対応する姿勢パラメータと呼ばれることができる。例えば、姿勢パラメータは、座標及びピッチ角などの６つのパラメータを含んでもよい。収集エンティティは、全地球航法衛星システム（ＧＮＳＳ）及び／又は慣性計測装置（ＩＭＵ）を更に含んでもよい。ＧＮＳＳは、全地球測位システム（ＧＰＳ）、北斗システム、ガリレオシステム、ＧＬＯＮＡＳＳなどを含む。

【0024】

ブロック２０４において、コンピューティングデバイス１０４は、点群データフレームセットから、３次元シーンの一部に対応するサブセットを確定する。このようにして、３次元シーンを複数の部分に分割することができ、各部は、対応点群データフレームのサブセットに対応する。コンピューティングデバイス１０４が分散型コンピューティングデバイスである場合、異なるコンピューティングノードが点群データフレームサブセットを並列に処理して計算効率を向上させることができるように、異なる点群データフレームサブセットを異なるコンピューティングノードに送信することができる。これにより、都市の大規模シーンの地図作成の最適化計算に時間がかかるという問題が効果的に解決される。

【0025】

本発明の実施形態によれば、様々な方法により、シーンの確定の部分に対応するサブセットを点群データフレームセットから確定することができる。図３は、本発明のいくつかの実施形態に係る、点群データフレームサブセットを確定するための方法３００を示すフローチャートである。方法３００は、図１に示すコンピューティングデバイス１０４によって実行されることができる。

【0026】

ブロック３０２において、コンピューティングデバイス１０４は、点群データフレームセットに対応する軌跡に基づいて、３次元シーン内の交差点の位置を確定する。点群データフレームセットに対応する軌跡は、点群データフレームの初期姿勢に基づいて確定可能である。例えば、点群データフレームの初期姿勢は、全地球航法衛星システム（ＧＮＳＳ）及び／又は慣性計測装置（ＩＭＵ）によって確定可能である。いくつかの実施形態では、収集エンティティの開始点に良好なＧＮＳＳ信号があり、収集エンティティの位置も正確に確定可能である。収集エンティティが移動するにしたがって、ＧＮＳＳ信号は遮蔽されるにより弱まるか又は消える可能性があり、初期姿勢はＩＭＵによって増分的に確定可能である。

【0027】

いくつかの実施形態では、一部の道路上で複数回の点群データ収集が実行された可能性があるので、これらの道路は複数の軌跡を有する可能性がある。したがって、軌跡画像を拡大処理することで、複数の軌跡に対応する道路を１本の線に結合することができる。例えば、１本の道路は１０本の軌跡線を有することが可能であり、これらの１０本の軌跡線を拡大することで１本の線に結合することができる。拡大処理後の画像に対して、コーナー検出法により交差点のコーナー点を確定することができる。当業者であれば、交差点のコーナー点は、現在知られているか又は将来開発されるコーナー検出法によって確定可能であり、本発明はここで限定しないことを理解するであろう。コーナー検出法により、１つの交差点に対応する１つ以上のコーナー点を検出可能である。例えば、１つの交差点で２つの点又は４つの点を検出可能である。１つの交差点で複数のコーナー点が検出された場合、当該交差点の位置はクラスタリング法によって確定可能である。当該位置のグローバル座標系における平面座標は、画像の画素から逆算可能である。

【0028】

ブロック３０４において、交差点の位置に基づいて、交差点を接続する接続図を作成する。例えば、軌跡の接続性に応じて、確定された交差点を接続して交差点の接続図を形成することができる。

【0029】

ブロック３０６において、接続図に基づいて閉経路を３次元シーンの前記一部として決定することができる。例えば、抽出された交差点と、レーザーレーダによって収集された軌跡のシーケンスとを通じて、各交差点の座標の相互接続性が得られ、各閉経路（閉ループ又はループバックともいう）が確定される。この場合、誤差のドリフトを減らし、最適化の精度を向上させるために、閉ループ検出（ループバック検出ともいう）は点群のスプライシングプロセス中に実行されてもよい。当業者は、閉ループ検出が現在知られているか又は将来開発される任意の適切な閉ループ検出法によって実行されることを理解するであろう。

【0030】

ここで、図２を再び参照し、ブロック２０６において、サブセット内の点群データフレームの姿勢パラメータを調整して、調整後のサブセットを取得する。調整後のサブセットは、マッチするオーバーラップ部分を有する少なくとも２つの点群データフレームを含む。例えば、各点群データフレームのオーバーラップ部分のゴーストを減らすために、点群データフレームサブセット内の各点群データフレームをスプライシングすることが可能である。

【0031】

姿勢パラメータは、様々な方法で調整可能である。図４は、本発明のいくつかの実施形態に係る姿勢パラメータを調整するための方法４００を示すフローチャートである。方法４００は、コンピューティングデバイス１０４によって実行されることができる。例えば、コンピューティングデバイス１０４が分散型コンピューティングデバイスである場合、方法４００は、分散型コンピューティングデバイスのうちの１つのコンピューティングノードによって実行可能である。更に、図４は、方法４００が複数のステップを順に含むことを示すが、本発明の範囲から逸脱しない限り、これらのステップのうちの１つまたは複数が省略可能であり、しかもこれらのステップの順序が適切に調整可能であることを当業者は理解するであろう。

【0032】

ブロック４０２において、コンピューティングデバイス１０４は、動的オブジェクトに関連付けられたデータ点を、点群データフレームサブセットの点群データフレームから削除する。図１に示すように、３次元シーン１０２は、車両１１８、歩行者（図示せず）などのような動的オブジェクトを含んでもよい。３次元シーン１０２の再構成について、動的オブジェクトはノイズと見なされてもよい。したがって、動的オブジェクトの影響を排除するために、まず、動的オブジェクトを表すデータ点を点群データフレームから削除することができる。

【0033】

いくつかの実施形態では、地面検出及びバウンディングボックスに基づく方法によって、動的オブジェクトを検出することができる。この方法では、点群データフレームから地面を抽出可能である。例えば、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）、平面フィッティングなどの方法を用いて地面を抽出することができる。当業者は、現在知られているか又は将来開発される画像処理方法によって、地面を抽出することが可能であり、本発明はここで限定しないことを理解するであろう。地面が抽出された後、地面を表すデータ点を点群データフレームから削除することができる。

【0034】

実際の適用シナリオでは、非地上データ点は、建築物の壁、植物（例えば、木）などを含んでもよい。地面を表すデータ点が除去された後、地面による接続がないので、これらのオブジェクトの空間分布は、離散性と不連続性を示す可能性がある。このような状況において、オブジェクトを表すデータ点は、クラスタリングによって複数のグループに分割されることができ、各グループは、対応するオブジェクトを表すことができる。例えば、各車両、木などをグループにクラスタリングすることができる。

【0035】

車両などのオブジェクトの属性（例えば、幾何学的特性）に基づいて動的オブジェクトをマッチング及び抽出することができる。例えば、バウンディングボックス法によって動的オブジェクトをマッチング及び抽出することができる。例えば、車両を例として、車両のサイズ（例えば、長さ、幅、高さ）とマッチするバウンディングボックスを使用して車両を検出することができる。動的オブジェクトが抽出された後、動的オブジェクトを表すデータ点を点群データフレームから削除し、地面を表すデータ点を追加することができる。

【0036】

異なる点群データフレームにおける動的オブジェクトの位置が異なるので、点群スプライシング中で誤差が発生する。点群データフレームから動的オブジェクトを表すデータ点を削除することで、このような誤差の発生が低減、又は排除し、マッチング精度及び安定性を向上させることができる。以上、地面検出及びバウンディングボックスに基づく方法を参照しながら動的オブジェクトに対する処理を説明した。しかしながら、当業者は、ルールに基づく検出、学習に基づく検出などのような、現在知られているか又は将来開発される他の検出方法によって、動的オブジェクトを除去することが可能であることを理解するであろう。

【0037】

ブロック４０４では、コンピューティングデバイス１０４は、点群データフレームから静的オブジェクトを抽出することができ、例えば、点群データフレーム内の平面（地面、壁など）及び柱状物（トランク、街灯など）を抽出し、強く構造化された情報を有するデータのみを残して、その後のマッチング精度を向上するようにする。コンピューティングデバイス１０４は、平面特徴及び／又は線形特徴を抽出することができる。例えば、ポイントクラウドライブラリ（ＰＣＬ）を用いて地面などの平面を抽出することができ、領域成長法を使用してトランクなどの柱状物を抽出することができる。当業者であれば、静的オブジェクトを抽出するために現在知られているか又は将来開発される任意の適切な方法を使用できることを理解するであろう。

【0038】

ブロック４０６において、コンピューティングデバイス１０４は、オーバーラップを有する点群データフレーム内の対応オブジェクト間の特徴距離に基づいて、姿勢パラメータを調整することができる。例えば、２つの点群データフレームに対して共通領域がスキャンされた場合、これらの２つの点群データフレームは、オーバーラップを有する点群データフレームを形成することができる。例えば、第１の点群データフレームと第２の点群データフレームがオーバーラップを有する場合、第１の点群データフレームと第２の点群データフレームにおける対応オブジェクト間の特徴距離を確定することができ、当該特徴距離に基づいて姿勢パラメータを調整可能である。オブジェクトは、ブロック４０４で確定された平面特徴（例えば、地面又は壁など）又は線形特徴（例えば、トランク又は街灯など）であってもよい。点群データフレームサブセット内のこれらすべてのオブジェクト間の特徴距離を合計することができ、特徴距離の和を最小化することによって姿勢パラメータを調整することができる。例えば、最小二乗法を使用して求解することができ、現在知られているか又は将来開発される任意の適切な方法を使用して求解することができることを当業者は理解するであろう。

【0039】

上述したように、点群データを収集する際に、道路上で複数回の収集を行ってもよい。例えば、各道路上で５回往復で収集を行ってもよい。したがって、点群データフレームに対して、当該点群データフレームとオーバーラップを有する点群データフレームは、時間的に連続して収集された１つまたは複数の点群データフレームと、当該位置（例えば、当該位置から一定の距離以内に）が何度も通過するときに収集された点群データフレームとを含んでもよい。したがって、１つの点群データフレームを複数の点群データフレームとペアにすることができる。

【0040】

点群データフレームサブセット内のすべての点群データフレームの姿勢パラメータを最適化することは、大量の計算を必要とするので、独立した計算ノードで処理する場合、より有利である。また、平面特徴及び線形特徴を抽出し、平面特徴及び線形特徴に基づいてマッチングを実行することによって、ノイズが低減され、マッチング精度及び計算効率が向上可能である。

【0041】

いくつかの実施形態では、抽出された平面及び円柱体（円柱体は、中心を通る直線と見なすことができる）に対して、

と表すことができる。ここで、

は中心座標を表し、

は平面の法線ベクトル又は直線の方向を表す。点群がマッチする場合、Ｐ点から平面特徴までの特徴距離は、式（１）に従って計算され、Ｐ点から直線特徴までの特徴距離は、式（２）に従って算出されることができる。

【0042】

【数1】

【0043】

【数2】

【0044】

レーザーレーダの事前姿勢は、

であり、２つのフレームのレーザ点群は、それぞれ

（上記の抽出された平面特徴及び法線ベクトルを含む）である。点群をマッチングする目的は、

をマッチングすることによって最適な姿勢差

を確定することである。このようにして、レーザーレーダの事後姿勢は、

として導出され得る。

【0045】

上述のように、オーバーラップ領域を有する点群データフレームの対応する特徴（例えば、平面特徴及び／又は線形特徴）が確定されることができ、それらの特徴に対して線間距離及び平面間距離が計算され、オーバーラップ領域を有する全ての点群データフレームの線間距離及び平面間距離を最適化対象関数として合計し、式（３）に示すように、前記対象関数を最小化することによって、最適な姿勢差

を求める。

【0046】

【数3】

【0047】

ここで、ｉ及びｊは２つの点群データフレームを表し、ｋはデータ点を表す。

【0048】

以上、式（１）〜（３）を参照しながら本発明のいくつかの実施形態による姿勢パラメータ最適化方法を説明した。上記の式を提供する目的は、本発明の実施形態をより明確に説明することであり、限定することではないことを当業者は理解するであろう。

【0049】

現在、図２を再び参照し、コンピューティングデバイス１０４は、調整されたサブセットを使用して、点群データフレームセットを更新する。各部分は別々に最適化されるので、グローバルの姿勢調整は、共同参加の姿勢の制約を通して実行される。例えば、点群データフレームサブセット内の全ての点群データフレームの姿勢パラメータを全体的に最適化することができる。具体的には、３次元シーンの他の部分を確定することができ、他の部分は３次元シーンの一部と重なる。例えば、２つの閉経路が部分的に重なり合う経路を有する可能性がある。３次元シーンの他の部分に対して、他の部分に対応する点群データフレームサブセットを確定することができ、これはブロック２０６または図３に示す方法３００によって処理されたものであってもよい。２つのサブセットの点群データフレームの姿勢パラメータを調整することによって、３次元シーンのオーバーラップ部分の対応する点群データフレームは互いに重なり合うか、または対応する点群データフレームの姿勢パラメータは等しくなる。

【0050】

例えば、各点群データフレームサブセットは、例えば回転行列Ａ及び並進ベクトルｂなどの対応する姿勢調整パラメータを有する。例えば、第ｉのシーン部分と第ｊのシーン部分とにオーバーラップがある場合、オーバーラップ部分に対して、点群データフレームが繰り返して使用されたので、対応する点群データフレームの姿勢パラメータは、同等のものである必要がある。例えば、対応する点群データフレームは、関係Ａ_iＳ_i＋ｂ_i＝Ａ_jＳ_j＋ｂ_jを満たす必要がある。ここで、Ａ_i、ｂ_i、Ａ_j、ｂ_jは、第ｉの点群データフレームサブセット及び第ｊの点群データフレームサブセットの回転行列と並進ベクトルをそれぞれ表す。点群データフレームサブセットの姿勢は、点群データフレームのうちの１つの姿勢として定義することができ、当該サブセット内の他の点群データフレームの姿勢は、当該点群データフレームの姿勢の相対姿勢として理解することができる。例えば、２つのシーン部分で繰り返して使用される点群データフレームの姿勢は、対応するサブセットの姿勢として定義することができる。

【0051】

いくつかの実施形態では、ＧＮＳＳ（例えば、ＧＰＳ）が信頼度を提供し得る場合、全体的なレーザーレーダ姿勢を最適化するために、ＧＮＳＳ信号が良質である姿勢を固定することができる。例えば、対応する点群データフレームの姿勢パラメータはＧＮＳＳによって確定されてもよく、点群データフレームセットは当該点群データフレームの姿勢パラメータに基づいて更新される。例えば、Ａ_i＊Ｓ^H_i＋ｂ_i＝^Ｓ^Hの場合、ＧＮＳＳの信頼度の高い姿勢（Ｓ^H）は最適化の前後で変化しない。例えば、点群データフレームサブセット内の１つの点群データフレームが、良好なＧＮＳＳ信号に対応する場合、当該点群データフレームの姿勢パラメータは、ブロック２０６で最適化された後に元の姿勢パラメータから外れる可能性があり、元の姿勢パラメータは、信頼度の高いＧＮＳＳ信号によって確定されるものである。したがって、当該点群データフレームの姿勢パラメータを元の姿勢パラメータに変更することができ、当該点群データフレームのサブセット内の他の点群データフレームの姿勢パラメータも同様に調整される。高い信頼度を有するＧＮＳＳ信号によって、点群のスプライシングの精度を更に向上させることができる。

【0052】

図５は、本発明のいくつかの実施形態に係る３次元シーンを再構成するための装置５００を示すブロック図である。装置５００は、図１のコンピューティングデバイス１０４内に含まれ、又はコンピューティングデバイス１０４として実現されてもよい。図５に示すように、装置５００は、３次元シーンを対象とする点群データフレームセットを取得するように配置される点群取得モジュール５０２を備え、点群データフレームセット内の点群データフレームそれぞれは、姿勢パラメータを有する。装置５００は、点群データフレームセットから、３次元シーンの一部に対応するサブセットを確定するように配置されるサブセット確定モジュール５０４を更に備える。装置５０２は、サブセット内の点群データフレームの姿勢パラメータを調整して、調整後のサブセットを取得するように配置される姿勢調整モジュール５０６を更に備え、調整後のサブセットは、マッチするオーバーラップ部分を有する少なくとも２つの点群データフレームを含む。また、装置５００は、調整後のサブセットを使用して、点群データフレームセットを更新するように配置される点群更新モジュール５０８を更に備える。

【0053】

いくつかの実施形態では、サブセット確定モジュール５０４は、点群データフレームセットに対応する軌跡に基づいて、３次元シーン内の交差点の位置を確定するように配置される交差点確定モジュールと、交差点の位置に基づいて、交差点を接続する接続図を形成するように配置される接続図形成モジュールと、接続図に基づいて３次元シーンの一部として閉経路を確定するように配置される部分確定モジュールとを備える。

【0054】

いくつかの実施形態では、交差点確定モジュールは、軌跡を拡大することによって、道路を表す経路を決定するように配置される経路確定モジュールと、経路に基づいて交差点内の少なくとも１つの点を確定するように配置されるコーナー点確定モジュールと、交差点内の少なくとも１つの点に基づいて交差点の位置を確定するように配置される位置確定モジュールと、を備える、

【0055】

いくつかの実施形態では、姿勢調整モジュール５０６は、サブセット内の点群データフレームから動的オブジェクトに関連するデータ点を削除して、サブセットを更新するように配置される動的オブジェクト除去モジュールと、更新されたサブセット内の点群データフレームの姿勢パラメータを調整するように配置される第１の姿勢パラメータ調整モジュールと、を備える。

【0056】

いくつかの実施形態では、動的オブジェクト除去モジュールは、点群データフレームから、地面を表すデータ点を削除するように配置される地面除去モジュールと、点群データフレーム内の動的オブジェクトを識別するように配置される動的オブジェクト識別モジュールと、点群データフレームから動的オブジェクトを表すデータ点を削除するように配置されるデータ点削除モジュールと、地面を表すデータ点を点群データフレームに追加するように配置される地面追加モジュールと、を備える。

【0057】

いくつかの実施形態では、動的オブジェクト識別モジュールは、点群データフレーム内の点群データフレームをクラスタリングして、点群データフレーム内で複数のグループを決定するように配置されるクラスタリングモジュールと、複数のグループから動的オブジェクトの属性にマッチするグループを確定するように配置されるマッチングモジュールと、を備える。

【0058】

いくつかの実施形態では、姿勢調整モジュール５０６は、複数の点群データフレームから静的オブジェクトを表すデータ点を抽出して、サブセットを更新するように配置されるデータ点抽出モジュールと、更新されたサブセット内の点群データフレームの姿勢パラメータを調整するように配置される第１の姿勢パラメータ調整モジュールと、を備える。

【0059】

いくつかの実施形態では、少なくとも２つの点群データフレームは、第１の点群データフレームと第２の点群データフレームとを含み、姿勢調整モジュール５０６は、第１の点群データフレームと第２の点群データフレーム内の対応するオブジェクト間の特徴距離を確定するように配置される特徴距離確定モジュールと、特徴距離に基づいて姿勢パラメータを調整するように配置される第２の姿勢パラメータ調整モジュールと、を備える。

【0060】

いくつかの実施形態では、点群更新モジュール５０８は、３次元シーンの一部と重なる３次元シーンの他の部分を確定するように配置される他の部分確定モジュールと、点群データフレームセットから、３次元シーンの他の部分に対応する他のサブセットを確定するように配置されるサブセット確定モジュールと、サブセット内の第３の点群データフレームが他のサブセット内の第４の点群データフレームと重なるように、サブセット及び他のサブセット内の点群データフレームの姿勢パラメータを調整するように配置される第３の姿勢パラメータ調整モジュールと、を備える。

【0061】

いくつかの実施形態では、点群更新モジュール５０８は、全地球航法衛星システムによって一部における第５の点群データフレームの姿勢パラメータを確定するように配置される姿勢パラメータ確定モジュールと、第５の点群データフレームに基づいて点群データフレームセットを更新するように配置される点群データ更新モジュールと、を備える。

【0062】

図６は、本発明の実施形態を実施するために使用可能な装置６００を示す概略ブロック図である。装置６００は、図１のコンピューティングデバイス１０４を実施するために使用可能である。図に示すように、装置６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているコンピュータプログラム命令又は記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラム命令によって様々な適当な動作及び処理を実行することができる中央処理装置（ＣＰＵ）６０１を備える。ＲＡＭ６０３には、装置６００の動作に必要な様々なプログラム及びデータが更に記憶されることが可能である。ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

【0063】

装置６００内の複数の構成要素は、キーボード、マウスなどの入力ユニット６０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット６０７と、磁気ディスク、光ディスクなどの記憶ユニット６０８と、ネットワークカード、モデム、無線通信送受信機などの通信ユニット６０９とを備えるＩ／Ｏインターフェース６０５に接続されている。通信ユニット６０９は、装置６００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の装置と情報／データを交換することを可能にする。

【0064】

上述の様々なプロセス及び処理は、例えば方法２００〜４００など、処理ユニット６０１によって実行可能である。例えば、いくつかの実施形態では、方法２００〜４００は、記憶ユニット６０８などの機械可読媒体に有形に実施されるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部又は全部は、ＲＯＭ６０２及び／又は通信ユニット６０９を介して装置６００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされ、ＣＰＵ６０１によって実行されると、上述の方法２００〜４００のうちの１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、ＣＰＵ６０１は、他の任意の適切な手段によって（例えば、ファームウェアによって）方法２００〜４００を実行するように配置されてもよい。

【0065】

本発明は、方法、装置、システム、及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、本発明の各態様を実行するためのコンピュータ可読プログラム命令がロードされたコンピュータ可読記憶媒体を含んでもよい。

【0066】

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し格納することが可能な有形の装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、又はこれらの任意の適切な組み合わせであることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的リスト）には、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯用コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリースティック、フロッピーディスク、機械的符号化装置、例えば命令が格納されたパンチカード又はスロットの凸起構造及び上記の任意の適切な組み合わせが含まれる。本明細書で使用されるコンピュータ可読記憶媒体は、例えば、電波又は他の自由に伝搬する電磁波、導波路又は他の伝送媒体を介して伝搬する電磁波（例えば、光ファイバケーブルを通る光パルス）、又は電線を介して伝送する電気信号などの過渡信号自体として解釈されるべきではない。

【0067】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から様々なコンピューティング／処理装置にダウンロードすること、又はインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又は無線ネットワークなどのネットワークを介して外部コンピュータ又は外部記憶装置にダウンロードすることが可能である。ネットワークは、銅線伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置内のネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各コンピューティング／処理装置内のコンピュータ可読記憶媒体に格納するために該コンピュータ可読プログラム命令を転送する。

【0068】

本発明の動作を実施するためのコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は、１種以上のプログラミング言語の任意の組み合わせで書かれたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、オブジェクト指向プログラミング言語（例えば、Ｓｍａｌｌｔａｌｋ及びＣ＋＋）並びに一般的手続き型プログラミング言語（例えば、「Ｃ」言語又は同様のプログラミング言語）を含む。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行され、部分的にユーザのコンピュータ上で実行され、独立したソフトウェアパッケージとして実行され、一部がユーザのコンピュータ上で一部がリモートコンピュータ上で実行され、又は完全にリモートコンピュータ又はサーバ上で実行されてもよい。リモートコンピュータに関わる場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されることができ、又は外部のコンピュータに接続されることができる（例えば、インターネットサービスプロバイダによりインターネットで接続される）。いくつかの実施形態では、コンピュータ可読プログラム命令の状態情報を使用することによって、電子回路（例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ））がカスタマイズされる。該電子回路は、コンピュータ可読プログラム命令を実行することによって本発明の各態様を実施することができる。

【0069】

ここでは、本発明の各態様は、本発明の実施形態による方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら説明された。フローチャート及び／又はブロック図の各ブロック、並びにフローチャート及び／又はブロック図内の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実施可能であることを理解されよう。

【0070】

これらのコンピュータ可読プログラム命令が汎用コンピュータ、特殊用途コンピュータ、又は他のプログラマブルデータ処理装置の処理ユニットに提供されることによって、機械を構成することができ、それによって、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置の処理ユニットによって実行されると、フローチャート及び／又はブロック図の１つ以上のブロックで規定されている機能／動作を実施するためのデバイスを形成可能である。これらのコンピュータ可読プログラム命令がコンピュータ可読記憶媒体に記憶されてもよく、これらの命令によって、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置が確定の方法で動作可能となり、それによって、命令が記憶されているコンピュータ可読媒体は、フローチャート及び／又はブロック図の１つ以上のブロックで規定されている機能／動作を実施するための様々な態様の命令を含む製品を備える。

【0071】

コンピュータ実施プロセスを達成するために、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードすることで、コンピュータ、他のプログラマブルデータ処理装置又は他の装置が一連の動作ステップを実行することができ、それによって、コンピュータ、他のプログラマブルデータ処理装置又は他の装置上で実行される命令は、フローチャート及び／又はブロック図の１つ以上のブロックで規定されている機能／動作を実施する。

【0072】

図面におけるフローチャート及びブロック図は、本発明の複数の実施形態に係るシステム、方法及びコンピュータプログラム製品により実現可能なアーキテクチャ、機能及び動作を示す。ここで、フローチャート又はブロック図における各枠は、１つのモジュール、プログラムセグメント又は命令の一部を表してもよく、前記モジュール、プログラムセグメント、又は命令の一部は、規定されたロジック機能を達成するための１つ以上の実行可能な命令を含む。いくつかの代替実施態様において、枠内に示された機能は、図面に示された順番とは異なるもので実行されてもよい。例えば、２つの連続枠は、実際には関連する機能に応じて、ほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図及び／又はフローチャートにおける各枠、並びに、ブロック図及び／又はフローチャートにおける枠の組み合わせは、規定された機能又は動作を実行する、ハードウェアに基づく専用システムで実現されてもよく、又は、専用ハードウェアとコンピュータ命令との組み合わせで実行されてもよい。

【0073】

以上、本発明の各実施形態について説明したが、上記の説明は例示的なものであって網羅的なものではなく、開示された各実施形態に限定されるものではない。当業者には、説明された各実施形態の範囲及び精神から逸脱することなく行われた多数の補正及び変更が明らかであろう。本明細書で使用される用語の選択は、各実施形態の原理、実際の用途、又は市場における技術の改善を最もよく説明すること、又は他の当業者が本明細書で開示される各実施形態を理解できるようにすることを意図する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】