特許 7451628 車両姿勢推定方法、装置、電子デバイス、記憶媒体、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-08

(45)【発行日】2024-03-18

(54)【発明の名称】車両姿勢推定方法、装置、電子デバイス、記憶媒体、及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240311BHJP

   G06T 7/00 20170101ALI20240311BHJP

   G05D 1/24 20240101ALI20240311BHJP

   G05D 1/242 20240101ALI20240311BHJP

   G05D 1/43 20240101ALI20240311BHJP

   G05D 1/60 20240101ALI20240311BHJP

   G05D 1/644 20240101ALI20240311BHJP

   G05D 105/00 20240101ALN20240311BHJP

   G05D 105/05 20240101ALN20240311BHJP

   G05D 107/00 20240101ALN20240311BHJP

   G05D 107/20 20240101ALN20240311BHJP

   G05D 107/90 20240101ALN20240311BHJP

   G05D 109/00 20240101ALN20240311BHJP

   G05D 109/10 20240101ALN20240311BHJP

   G05D 111/00 20240101ALN20240311BHJP

   G05D 111/63 20240101ALN20240311BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 650Z

G05D1/24

G05D1/242

G05D1/43

G05D1/60

G05D1/644

G05D105:00

G05D105:05

G05D107:00

G05D107:20

G05D107:90

G05D109:00

G05D109:10

G05D111:00

G05D111:63

【請求項の数】 21

(21)【出願番号】P 2022137742

(22)【出願日】2022-08-31

(65)【公開番号】P2023122614

(43)【公開日】2023-09-04

【審査請求日】2022-08-31

(31)【優先権主張番号】202210166170.1

(32)【優先日】2022-02-23

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100166729

【弁理士】

【氏名又は名称】武田 幸子

(72)【発明者】

【氏名】ディン ハオドン

(72)【発明者】

【氏名】チャン リャンジュン

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０２１－１８８２５８（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１７９７７３４（ＣＮ，Ａ）

【文献】米国特許出願公開第２０２０／０１６０５４２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

Ｇ０５Ｄ １／４３

(57)【特許請求の範囲】

【請求項1】

車両の点群データに基づいて、第１目標データを得ることと、ここで、前記第１目標データは、前記車両の目標面を構成することができ、
前記第１目標データに基づいて、前記車両を包囲するための目標体に対して姿勢推定を行い、推定結果を得ることと、
前記推定結果に基づいて、前記車両の姿勢に対して推定を行うことと、を含み、
前記車両の点群データに基づいて、第１目標データを得ることは、
車両の点群データから、第２目標データを決定することと、ここで、前記第２目標データは、前記車両のコーナーを構成することができる点を表し、
前記第２目標データに基づいて、目標ラインを得ることと、ここで、前記目標ラインは、前記コーナーのエッジを構成することができ、
前記目標ラインに基づいて、前記第１目標データを得ることと、を含む、
車両姿勢推定方法。

【請求項2】

前記第１目標データに基づいて、前記車両を包囲するための目標体に対して姿勢推定を行い、推定結果を得ることは、
予め設定された姿勢推定方式を用いて、前記第１目標データに基づいて、前記目標体に対して姿勢推定を行い、前記目標体の中心位置と方向を得ることと、
前記目標体の中心位置と方向を前記推定結果とすることと、を含む、
請求項１に記載の車両姿勢推定方法。

【請求項3】

前記推定結果に基づいて、前記車両の姿勢に対して推定を行うことは、
前記目標体の中心位置に基づいて、前記車両の所在する位置を得ることと、
前記目標体の方向に基づいて、前記車両の向きを得ることと、
前記車両の所在する位置と向きを前記車両の姿勢とすることと、を含む、
請求項２に記載の車両姿勢推定方法。

【請求項4】

前記第２目標データは、車両の点群データのうちの点であって、前記点の法線と、前記点から第１所定範囲内にある複数の他の点の法線とが直交条件を満たす点であり、ここで、前記複数の他の点の数は、第１所定閾値以上である、
請求項１に記載の車両姿勢推定方法。

【請求項5】

前記車両の点群データから、第２目標データを決定することは、
車両の点群データから点をスクリーニングすることと、ここで、前記点は、前記点の法線と、前記点から第１所定範囲内にある複数の他の点の法線とが直交条件を満たす点であり、前記複数の他の点の数は、第１所定閾値以上であり、
スクリーニングした前記点をクラスタリングして、少なくとも２つの点クラスタを形成することと、
前記少なくとも２つの点クラスタから、目標点クラスタを決定することと、
前記目標点クラスタのうちの点を前記第２目標データとすることと、を含む、
請求項１に記載の車両姿勢推定方法。

【請求項6】

前記第２目標データに基づいて、目標ラインを得ることは、
前記第２目標データに対して分析を行い、目標の長さ及び目標中心点を決定することと、
前記目標の長さと目標中心点に基づいて、前記目標ラインを得ることと、を含む、
請求項１に記載の車両姿勢推定方法。

【請求項7】

前記目標ラインに基づいて、前記第１目標データを得ることは、
目標支点集合を取得することと、
前記目標ラインの目標の長さと目標中心点に基づいて、前記目標支点集合から目標支点を取得することと、
予め設定された領域拡張方式を用いて、前記目標支点を起点として領域拡張処理を行い、前記車両の目標面を構成することができる前記第１目標データを得ることと、を含む、
請求項６に記載の車両姿勢推定方法。

【請求項8】

前記目標支点集合は、前記車両の点群データのうち、前記車両のコーナーを構成する複数の点のいずれとも直交条件を満たす点の集合であり、ここで、前記複数の点の数は、第２所定閾値以上である、
請求項７に記載の車両姿勢推定方法。

【請求項9】

目標環境に対して得られた３次元点群データを取得することと、
目標環境に対して得られた２次元画像を取得することと、
前記３次元点群データと前記２次元画像に基づいて、前記車両の点群データを得ることと、をさらに含み、
ここで、前記目標環境には、少なくとも前記車両が含まれている、
請求項１～８のいずれか１項に記載の車両姿勢推定方法。

【請求項10】

車両の点群データに基づいて、第１目標データを得るための第１取得ユニットと、ここで、前記第１目標データは、前記車両の目標面を構成することができ、
前記第１目標データに基づいて、前記車両を包囲するための目標体に対して姿勢推定を行い、推定結果を得るための第２取得ユニットと、
前記推定結果に基づいて、前記車両の姿勢に対して推定を行うための推定ユニットと、を備え、
前記第１取得ユニットは、
車両の点群データから、第２目標データを決定することと、ここで、前記第２目標データが、前記車両のコーナーを構成することができる点を表し、
前記第２目標データに基づいて、目標ラインを得ることと、ここで、前記目標ラインが、前記コーナーのエッジを構成することができ、
前記目標ラインに基づいて、前記第１目標データを得ることと、にさらに用いられる、
車両姿勢推定装置。

【請求項11】

前記第２取得ユニットは、
予め設定された姿勢推定方式を用いて、前記第１目標データに基づいて、前記目標体に対して姿勢推定を行い、前記目標体の中心位置と方向を得ることと、
前記目標体の中心位置と方向を前記推定結果とすることと、に用いられる、
請求項１０に記載の車両姿勢推定装置。

【請求項12】

前記推定ユニットは、
前記目標体の中心位置に基づいて、前記車両の所在する位置を得ることと、
前記目標体の方向に基づいて、前記車両の向きを得ることと、
前記車両の所在する位置と向きを前記車両の姿勢とすることと、に用いられる、
請求項１１に記載の車両姿勢推定装置。

【請求項13】

前記第２目標データは、車両の点群データのうちの点であって、前記点の法線と、前記点から第１所定範囲内にある複数の他の点の法線とが直交条件を満たす点であり、ここで、前記複数の他の点の数は、第１所定閾値以上である、
請求項１０に記載の車両姿勢推定装置。

【請求項14】

前記第１取得ユニットは、
車両の点群データから点をスクリーニングすることと、ここで、前記点は、前記点の法線と、前記点から第１所定範囲内にある複数の他の点の法線とが直交条件を満たす点であり、前記複数の他の点の数が、第１所定閾値以上であり、
スクリーニングした前記点をクラスタリングし、少なくとも２つの点クラスタを形成することと、
前記少なくとも２つの点クラスタから、目標点クラスタを決定することと、
前記目標点クラスタのうちの点を前記第２目標データとすることと、にさらに用いられる、
請求項１０に記載の車両姿勢推定装置。

【請求項15】

前記第１取得ユニットは、
前記第２目標データに対して分析を行い、目標の長さと目標中心点を決定することと、
前記目標の長さと目標中心点に基づいて、前記目標ラインを得ることと、にさらに用いられる、
請求項１０に記載の車両姿勢推定装置。

【請求項16】

前記第１取得ユニットは、
目標支点集合を取得することと、
前記目標ラインの目標の長さと目標中心点に基づいて、前記目標支点集合から目標支点を取得することと、
予め設定された領域拡張方式を用いて、前記目標支点を起点として領域拡張処理を行い、前記車両の目標面を構成することができる前記第１目標データを得ることと、にさらに用いられる、
請求項１５に記載の車両姿勢推定装置。

【請求項17】

前記目標支点集合は、前記車両の点群データのうち、前記車両のコーナーを構成する複数の点のいずれとも直交条件を満たす点の集合であり、ここで、前記複数の点の数は、第２所定閾値以上である、
請求項１６に記載の車両姿勢推定装置。

【請求項18】

目標環境に対して得られた３次元点群データを取得することと、
目標環境に対して得られた２次元画像を取得することと、
前記３次元点群データと前記２次元画像に基づいて、前記車両の点群データを得ることと、に用いられる第３取得ユニット、をさらに備え、
ここで、前記目標環境には、少なくとも前記車両が含まれている、
請求項１０～１７のいずれか１項に記載の車両姿勢推定装置。

【請求項19】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１～８のいずれか１項に記載の車両姿勢推定方法を実行させる、
電子デバイス。

【請求項20】

コンピュータに請求項１～８のいずれか１項に記載の車両姿勢推定方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。

【請求項21】

コンピュータにおいて、プロセッサにより実行されると、請求項１～８のいずれか１項に記載の車両姿勢推定方法を実現するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、データ処理技術分野に関し、特に自動運転、スマート交通、ＩｏＴ、ビッグデータ等の技術分野に関する。

【背景技術】

【0002】

無人電動ショベルのシーンにおいて、無人電動ショベル設備は、自律的な積載を実現するように、鉱山トラック車両の姿勢情報に基づいて、鉱山トラック車両の近くまで自動走行し、炭鉱等の掘削対象を鉱山トラック車両に自動積載することができる。このように、車両姿勢の精確又は正確な推定をいかにして実現するかが、無人作業シーンにおいて解決すべき技術的課題となっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、車両姿勢推定方法、装置、デバイス、及び記憶媒体を提供する。

【課題を解決するための手段】

【0004】

本開示の１つの態様では、車両姿勢推定方法を提供し、該方法は、
車両の点群データに基づいて、第１目標データを得ることと、ここで、前記第１目標データは、前記車両の目標面を構成することができ、
前記第１目標データに基づいて、前記車両を包囲するための目標体に対して姿勢推定を行い、推定結果を得ることと、
前記推定結果に基づいて、前記車両姿勢に対して推定を行うことと、を含む。

【0005】

本開示のもう１つの様態では、車両姿勢推定装置を提供し、該装置は、
車両の点群データに基づいて、第１目標データを得るための第１取得ユニットと、ここで、前記第１目標データは、前記車両の目標面を構成することができ、
前記第１目標データに基づいて、前記車両を包囲するための目標体に対して姿勢推定を行い、推定結果を得るための第２取得ユニットと、
前記推定結果に基づいて、前記車両姿勢に対して推定を行うための推定ユニットと、を備える。

【0006】

本開示のもう１つの様態では、電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
命令は、少なくとも１つのプロセッサにより実行されると、本開示の上記の方法を実行させることを特徴とする。

【0007】

本開示のもう１つの様態では、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、該コンピュータ命令は、本開示の上記の方法をコンピュータに実行させる。

【0008】

本開示のもう１つの様態では、プログラムを提供し、該プログラムは、プロセッサにより実行されると、本開示の上記の方法を実現する。

【0009】

本開示によれば、車両姿勢に対する精確又は正確な推定を実現することができる。

【0010】

ここに記載された内容は、本開示の実施例のキーポイント又は重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して説明を促す。

【図面の簡単な説明】

【0011】

添付図面は、本方案をより良く理解するためのものであり、本開示を限定するものではない。

【図1】本開示における車両姿勢推定方法の実現フローチャートの概略図１である。

【図2】本開示における車両姿勢推定方法の実現フローチャートの概略図２である。

【図3】本開示における車両姿勢推定方法の実現フローチャートの概略図３である。

【図4】本開示における１つの応用シーンの概略図である。

【図5】本開示における車両姿勢推定方法の実現フローチャートの概略図４である。

【図6】本開示による車両姿勢推定結果の視覚化概略図である。

【図7】本開示における車両姿勢推定装置の構成概略図である。

【図8】本開示の１つの実施例における車両姿勢推定方法の電子デバイスのブロック図である。

【発明を実施するための形態】

【0012】

以下では、本開示の例示的な実施例を、理解を容易にするために本開示の実施例の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施例に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。

【0013】

本明細書における用語「第１」、「第２」という用語は、複数の類似した技術用語を指し、それらを区別することを意味し、順序を限定する意味ではなく、あるいは、２つのみを限定する意味ではない。例えば、第１目標データと第２目標データとは、２種類／２つの異なる目標データを表す。

【0014】

本開示の実施例の技術方案を説明する前に、本開示において使用され得る技術用語についてさらに説明する。

【0015】

１）点群データとして、レーザレーダ等のスキャナーによって取得された空間座標を持つサンプリング点の１つの集合で、サンプリング点の数が多く、密度が高いため、通常は点群データとみなされる。点群データにおける各点、即ち各サンプリング点はいずれも３次元座標（ｘ、ｙ、ｚ）であり、通常は該サンプリング点の対応する物体の外面形状を表すために用いられる。

【0016】

２）バウンディングボックス推定として、バウンディングボックス推定アルゴリズムの一種であり、所望の包囲対象あるいは所望の包囲対象を表す離散点に対する最適化包囲空間を得る方法である。該アルゴリズムの基本的な考え方は、複雑である所望の包囲対象を、やや体積の大きく且つ特性が単純である幾何形状（バウンディングボックスと呼ばれる）に近似的に置き換えることである。

【0017】

本開示の技術方案において、所望の包囲対象は車両であり、車両を包囲するための目標体に対して推定を行うことは、バウンディングボックス推定アルゴリズムを採用することにより、車両を包囲するためのバウンディングボックスに対して推定を行うことである。

【0018】

３）領域拡張方式として、領域拡張アルゴリズムの一種であり、領域成長アルゴリズムとも呼ばれる。領域拡張アルゴリズムの基本的な考え方は、性質の類似する点、例えば、画像内の点を統合することである。各領域に対して、まず領域拡張もしくは成長のためのシードの起点として１つの点を指定し、次に、シードの始点の周囲の領域の他の点とシードの始点とを比較し、類似した性質を持つ他の点を統合して、類似した性質を持つすべての点が取り込まれるまで、外側に向かって拡張もしくは成長を続ける。これにより、領域拡張もしくは成長が完了する。

【0019】

本開示の実施例に係る技術方案は、例えば、自家用車、バス、専用車両等の自動運転が可能な車両に適用することができる。このうち、専用車両には、トラック、貨車、物流車等の、特定の輸送機能を実行するための車両が含まれる。本開示の実施例に係る技術方案は、車両と対話することが可能な装置にも適用することができ、該装置は、例えば、車両と対話する他の車両、車両姿勢に対して制御及び／又は管理するプラットフォームなど、車両姿勢を把握する必要がある任意の合理的な装置であることができる。

【0020】

図１は、本開示の実施形態に係る車両姿勢推定方法の第１実施例のフローチャート概略図である。図１に示すように、該方法は、以下のステップを含む。

【0021】

Ｓ（ステップ）１０１において、車両の点群データに基づいて、第１目標データを得、該第１目標データは、車両の目標面を構成することができる。

【0022】

車両の点群データは、レーザレーダ等のスキャナーによりスキャンされて得られるものである。レーザレーダによりスキャンされた車両の点群データは、車両の点群画像と見なすことができる。車両の点群画像に基づいて、車両の目標面を構成することができる（第１）目標データを得る。第１目標データは、車両の目標面を構成する複数の点である。車両の幾何特性を考慮すると、車両には大きく、車両のフロントが所在する面、車両の後方が所在する面、車体の側面（通常は２つ）、車両のルーフが所在する面等のような面を含む。車両の目標面は、上記のいくつかの面のうちの少なくとも１つの面であってもよい。

【0023】

レーザレーダは通常車両をスキャンできる位置に設置されることを理解することができる。レーザレーダのスキャン位置が固定されているため、通常、レーザレーダは、上記の面のうちのいくつかの面、例えば、１つ又は２つの面のみをスキャンすることができる。本開示における車両の目標面が、上記のいくつかの面のうちのどの面であるかは、レーザレーダのスキャン状況によって決まる。

【0024】

レーザレーダと車両との両者の間の相対的な位置及び向きに変化が発生しない場合、車両の目標面は、レーザレーダが所在する位置でスキャンすることができる車両の面であることが一般的である。このように、本開示は、レーザレーダによってスキャンされた車両の面に基づいて、車両の姿勢推定を実現するための方案とみなすことができる。即ち、スキャンされた車両の幾何情報を用いて車両の姿勢推定を実現することで、姿勢推定の精度を高めることができる。

【0025】

Ｓ１０２において、第１目標データに基づいて、車両を包囲するための目標体に対して姿勢推定を行い、推定結果を得る。

【0026】

前述したように、本ステップにおける目標体は、前述した車両を包囲するためのバウンディングボックスである。車両の目標面を構成することができる（第１）目標データに基づいて、バウンディングボックス推定アルゴリズムを採用して、車両を包囲するためのバウンディングボックスに対して姿勢推定を行い、バウンディングボックスに対する姿勢推定結果を得る。

【0027】

車両の目標面を構成する（第１）目標データを用いてバウンディングボックスに対して推定を行うことは、車両の幾何情報に基づいてバウンディングボックスに対して推定を行いことであり、車両姿勢に対する推定の精確性を確保することができる。

【0028】

Ｓ１０３において、該推定結果に基づいて、車両姿勢に対して推定を行う。

【0029】

本ステップにおいて、バウンディングボックスの推定結果に基づいて車両姿勢に対して推定を行う。

【0030】

上記Ｓ１０１～Ｓ１０３において、車両の目標面を構成する（第１）目標データを用いて、車両を包囲するためのバウンディングボックスに対して姿勢推定を行い、該推定結果に基づいて、車両姿勢に対して推定を行う。車両の目標面を構成する目標データが車両自体の形状や大きさ等の幾何情報として表すことができるため、車両の幾何情報を用いて車両姿勢推定を行うことにより、車両姿勢の精確又は正確な推定を実現することができる。

【0031】

また、車両自身の点群データに基づいて、車両の目標面を構成する（第１）目標データを得ることにより、第１目標データの精度を保証することができ、さらに、その後の車両姿勢の精確な推定に一定のベースを提供することができる。

【0032】

実際の適用において、車両は、車体の側面と車両の後方が所在する面との間のコーナーや、車両のフロントが所在する面と車体の側面との間のコーナーなど、異なるコーナーを有している。各コーナーには、例えば、直角、鈍角、鋭角等の角度がある。コーナーのエッジは、車両の異なる面を区別するラインと見なすことができる。理論上、あるコーナーのエッジを知ることができれば、車両のうち該コーナーにてつながっている２つの面、即ち、車両の点群データのうち該２つの面を構成する点を識別することができる。

【0033】

これに基づいて、前述の車両の点群データに基づいて第１目標データを得る方案は、図２に示された内容に基づいて実現されることができる。

【0034】

Ｓ２０１において、車両の点群データから、第２目標データを決定し、該第２目標データは、車両のコーナーを構成することができる点を表す。

【0035】

本ステップにおいて、車両の点群データから、車両のコーナーを構成する点を決定する。

【0036】

Ｓ２０２において、第２目標データに基づいて、目標ラインを得、該目標ラインは、コーナーのエッジを構成することができる。

【0037】

本ステップにおいて、車両のコーナーを構成する点に基づいて、コーナーのエッジを構成することができる目標ラインを得る。

【0038】

Ｓ２０３において、目標ラインに基づいて、第１目標データを得る。

【0039】

本ステップにおいて、目標ラインに基づいて車両の目標面を構成する（第１）目標データを得る。

【0040】

Ｓ２０１～Ｓ２０３に示す方案において、車両の点群データから、車両のコーナーを構成することができる点を決定し、車両のコーナーを構成する点に基づいて、コーナーのエッジを構成することができる目標ラインを得、目標ラインに基づいて、目標面を構成する（第１）目標データを得る。前述の方案は、コーナーのエッジを構成する目標ラインに基づいて、目標面を取得する方案に相当する。これにより、目標面の取得精度を保証することができ、ひいては後の車両の姿勢推定を保証することができる。

【0041】

本開示におけるバウンディングボックスは有向バウンディングボックスであり、バウンディングボックスに対する推定は、バウンディングボックスの中心位置及び向きのいずれにも推定を行うことであることを理解することができる。本開示における車両の姿勢とは、車両が所在する位置や車両の向き等の情報を含む車両の位置姿勢である。

【0042】

これに基づいて、本開示の実施例において、図３に示すように、車両姿勢推定方法は、以下を含む。

【0043】

Ｓ３０１において、車両の点群データに基づいて、第１目標データを得、前記第１目標データは、前記車両の目標面を構成することができる。

【0044】

Ｓ３０２において、予め設定された姿勢推定方式を用いて、第１目標データに基づいて、目標体に対して姿勢推定を行い、目標体の中心位置と方向を得る。

【0045】

予め設定された姿勢推定方式は、座標軸に平行なバウンディングボックス推定アルゴリズム、最小バウンディングボックス推定アルゴリズムのうちの少なくとも１つを含むが、これらに限定されない。前述のバウンディングボックス推定アルゴリズムを採用し、車両の目標面を構成する第１目標データに基づいて車両を包囲するバウンディングボックスに対して推定を行うことにより、バウンディングボックスの中心位置と方向の推定精度を保証することができ、ひいては後の車両の正確な推定を保証することができる。

【0046】

Ｓ３０３において、目標体の中心位置と方向を、目標体に対して姿勢推定を行った推定結果とする。

【0047】

Ｓ３０４において、目標体の中心位置に基づいて、車両の所在する位置を得る。

【0048】

Ｓ３０５において、目標体の方向に基づいて、車両の向きを得る。

【0049】

Ｓ３０４、Ｓ３０５において、バウンディングボックスの推定結果と車両姿勢には一定の関連性が存在する。一例として、バウンディングボックスの中心位置は、車両の所在する位置であり、バウンディングボックスの方向は、車両の向きと反対又は同一である。あるいは、バウンディングボックスの中心位置に対して予め設定された換算方法で換算して車両の所在する位置を得、バウンディングボックスの向きに対して換算を行い車両の向きを得る。以上は１つの具体例に過ぎず、任意の合理的なシーンは本開示の範囲に含まれる。

【0050】

Ｓ３０６において、車両の所在する位置と向きを車両姿勢とする。

【0051】

ここで、Ｓ３０２～Ｓ３０３は、前述した第１目標データに基づいて車両を包囲する目標体に対して姿勢推定を行い、推定結果を得ることに対する更なる説明とすることができる。Ｓ３０４～Ｓ３０６は、前述した推定結果に基づいて車両姿勢に対して推定を行う更なる説明とすることができる。Ｓ３０４とＳ３０５には厳密な優先順位はなく、同時に行うこともできる。

【0052】

前述のＳ３０１～Ｓ３０６において、車両を包囲するバウンディングボックスの中心位置と方向の推定結果に基づいて、車両の所在する位置と向きに対して推定を行うことにより、車両姿勢に対する精確な推定を実現する。

【0053】

本開示の実施例において、車両の点群データから第２目標データを決定する方案は、以下の２つを含み、第２目標データの決定は、いずれの方案を用いても実現することができる。

【0054】

実施方案ａとして、車両の点群データから、その法線と、第１所定範囲内にある複数の他の点の法線とが直交条件を満たす点をスクリーニングし、スクリーニングされた点を第２目標データとする。ここで、前記複数の他の点の数は、第１所定閾値以上である。

【0055】

即ち、実施方案ａにおいて、第２目標データは、車両の点群データのうち、その法線と、第１所定範囲内にある複数の他の点の法線とが直交条件を満たす点であり、ここで、前記複数の他の点の数は、第１所定閾値以上である。

【0056】

ここで、直交条件を満たすことは、近似直交条件を満たすことと見なすことができる。近似直交条件を満たすとは、２つの点の法線のなす角がほぼ直角であることであり、例えば、２つの点の法線のなす角の余弦が第３所定閾値よりも小さい。かつ、車両のコーナーを構成する点は、十分な数（第１所定閾値以上）の他の点と直交条件を満たす必要がある。

【0057】

これにより、車両のコーナーを構成する点のスクリーニングを正確に行うことができ、車両のコーナーを構成する点のスクリーニング漏れを回避することができる。

【0058】

実施方案ｂとして、車両の点群データから、その法線と、第１所定範囲内にある複数の他の点の法線とが直交条件を満たす点をスクリーニングし、スクリーニングした点をクラスタリングして、少なくとも２つの点クラスタを形成し、前記少なくとも２つの点クラスタから、目標点クラスタを決定し、目標点クラスタのうちの点を第２目標データとする。ここで、前記複数の他の点の数は、第１所定閾値以上である。

【0059】

実施方案ｂは、実施方案ａの更なる最適化方案である。直交条件を満たす複数の点をスクリーニングした後、点のクラスタリングを行い、目標点クラスタをスクリーニングし、目標点クラスタのうちの点を車両のコーナーを構成することができる点とする。

【0060】

ここで、予め設定されたクラスタリングアルゴリズムにより、スクリーニングされた点のクラスタリングを実現することができる。ここで、クラスタリングアルゴリズムは、距離に基づくクラスタリングアルゴリズム、密度に基づくクラスタリングアルゴリズム、クラスタリング中心に基づくクラスタリングアルゴリズムのうちの少なくとも１つを含むが、これらに限定されない。少なくとも２つの点クラスタのうちから、最も多くの点を有する点クラスタをスクリーニングして目標点クラスタとする。これにより、車両のコーナーを構成する点の取得精度を確保することができる。

【0061】

前述のクラスタリング及び目標点クラスタの選択によりコーナーを構成する点の取得を実現し、車両のコーナーを構成する点の取得の精度を保証し、さらに後の目標ライン及び目標面の正確な取得を保障する。

【0062】

本開示の一実施例では、第２目標データに基づいて目標ラインを得る方案は、以下により実現することができる。第２目標データに対して分析を行い、目標の長さ及び目標中心点を決定する。目標の長さと目標中心点に基づいて、目標ラインを得る。

【0063】

車両のコーナーのエッジは線分であることを理解することができる。線分の中心点と長さを知ることができれば、目標ラインを知ることができる。前述の実施方案ａ又はｂにより得られたコーナーを構成する点の分析により、コーナーを構成するエッジの目標ラインの長さ（目標の長さ）及び中心点（目標中心点）を知ることができ、コーナーを構成するエッジの目標ラインの取得を実現する。該方案は過程が簡単で実行しやすく、複雑な演算を回避し、軽量級の演算方法であり、演算コストを節約することができる。

【0064】

本開示の一実施例では、前述の目標ラインに基づいて、第１目標データを得る方案は、以下により実現することができる。目標支点集合を取得し、目標ラインの目標の長さと目標中心点に基づいて、目標支点集合から目標支点を取得し、予め設定された領域拡張方式を用いて、目標支点を起点として領域拡張処理を行い、車両の目標面を構成することができる第１目標データを得る。

【0065】

ここで、目標支点集合は、前記車両の点群データのうち、車両のコーナーを構成する複数の点のいずれとも直交条件を満たす点の集合であり、ここで、複数の点の数は、第２所定閾値以上である。即ち、目標支点集合のうちの点は、車両の点群データのうち、車両のコーナーを構成することができる十分な数（第２所定閾値以上）の点といずれとも直交条件を満たす点である。目標支点集合のうちの点の精度は、目標支点の取得の精度及び領域拡張の精度を保証することができる。

【0066】

ここでの直交条件を満たすについては、関連の説明を参照することができ、重複する点については繰り返し述べない。

【0067】

目標支点集合から目標支点を取得することにより、目標支点の取得の精度を保証することができ、ひいては後の正確な領域拡張を保証することができる。

【0068】

目標支点をシードの始点として領域拡張処理を行うことで、シードの始点と類似した特徴を有する点を、目標支点と同様に車両の目標面を構成する点として探し出すことができる。該方法は、簡単で実行しやすい第１目標データの取得方式を提供し、軽量級の演算を実現するだけでなく、第１目標データの取得精の度を保証する。後の車両姿勢の正確な推定を保障することができる。

【0069】

本開示の一実施例では、車両の点群データは、以下の方案により得られる。

【0070】

目標環境に対して得られた３次元点群データを取得し、目標環境に対して得られた２次元画像を取得し、３次元点群データと２次元画像に基づいて、車両の点群データを得る。ここで、目標環境には、少なくとも車両が含まれている。

【0071】

例示的に、レーザレーダを用いて目標環境に対して３次元スキャンを行い、目標環境に対する３次元点群データを得る。例えば、カメラ等の画像収集ユニットを用いて目標環境に対して（平面）画像の取得を行い、目標環境に対する２次元画像を得る。

【0072】

実際の適用において、目標環境には、車両に加えて、地面、石等の他の任意の合理的な物体が含まれてもよい。このように、目標環境に対して得られた２次元画像と３次元点群データには、車両に加えて、前述の他の物体も含まれる。３次元点群データと２次元画像に基づいて車両の点群データを得ることは、２次元画像を利用して、車両の点群データと他の物体の点群データに対して正確な識別を行う方案と見なすことができる。これにより、車両の点群データの取得の精度を保証することができる。後の車両姿勢推定のための正確なベースデータを提供する。

【0073】

以下において図４～図６に示された内容を合わせ、本開示の実施例の技術方案をさらに説明することができる。

【0074】

本適用シーンにおいて、図４に示すように、無人電動ショベルの作業シーン、車両が鉱山トラック車両であることを例に、無人電動ショベル設備は、自律的な積載を実現するように、鉱山トラック車両が作業環境中の所在する位置と向きを知り、知り得た車両姿勢に基づいて鉱山トラック車両まで走行する必要がある。

【0075】

図４に示されるように、本開示の車両姿勢推定方案は、主に以下を含む。

【0076】

Ｓ４０１において、鉱山トラック車両の点群データを取得する。

【0077】

Ｓ４０２において、車両の点群データに基づいて、鉱山トラック車両の幾何情報を得る。

【0078】

Ｓ４０３において、鉱山トラック車両の幾何情報に基づいて、鉱山トラック車両の姿勢に対する推定を実現する。

【0079】

Ｓ４０１～Ｓ４０３において、鉱山トラック車両の幾何情報に基づいて、鉱山トラック車両の姿勢の正確又は精確な推定を行うことができ、ディープラーニングアルゴリズムに基づく車両姿勢に対する推定によりもたらされる演算コストが高いという関連技術の問題を回避することができる。演算コストの低い車両姿勢推定方案である。

【0080】

ここで、鉱山トラック車両の幾何情報は、鉱山トラック車両の目標面、例えば車体の側面により実現されるが、これに限定されない。

【0081】

以上の各ステップの実現過程は、具体的に図５の各ステップの関連する説明を参照することができる。

【0082】

本適用シーンにおいて、目標環境は、無人電動ショベル設備と鉱山トラック車両設備が所在する環境である。無人電動ショベル設備の異なる位置にレーザレーダとカメラ（撮像素子）を設置する。ここで、レーザレーダは、自身が所在する位置において、鉱山トラック車両が所在する環境に対して３次元点群データのスキャンを行い、目標環境に対する３次元点群データを得ることに用いられる。カメラは、自身が所在する位置において、鉱山トラック車両が所在する環境に対して平面画像の取得を行い、目標環境に対する２次元画像を得ることに用いられる。

【0083】

無人電動ショベル設備は、目標環境に対して得られた３次元点群データと２次元画像に基づいて、車両の点群データを得る。前述の内容は、地上等の他の物体を含む３次元点群データから、車両等の目標体の点群データをスクリーニングする方案に相当する。

【0084】

以下図５に示す内容と合わせて示すよう、前述の方式は、具体的に以下により実現することができる。２次元画像から車両画像を抽出又は分割する（Ｓ５０１）。該車両画像がカメラ座標系のような２次元座標系で得られるため、該車両画像を、目標環境に対して得られた３次元点群データが存在する３次元座標系に投影又はマッピングする。３次元点群データがレーザレーダによってスキャンされたものであるため、３次元点群データが存在する３次元座標系をレーダ座標系と見なすことができる。２次元の車両画像をレーダ座標系に投影又はマッピングした場合、目標環境に対して得られた３次元点群データのうち、車両画像に対応する点群データが車両の点群データとなる。即ち、鉱山トラック車両の点群データを得る（Ｓ５０２）。

【0085】

このようにして、目標環境に対して得られた３次元点群データから、車両の点群データの抽出又は分割を実現する。これは、車両の点群データに対して抽出又は分割を行う方案である。車両の点群データと他の物体の点群データの正確な識別を実現する。後の車両姿勢に推定に正確なベースデータを提供する。

【0086】

ここで、ディープラーニングアルゴリズムを利用して２次元画像から車両画像の分割又は抽出を実現することができる。

【0087】

前述のＳ５０１及びＳ５０２の方案は、Ｓ４０１方案のさらなる説明とすることができる。

【0088】

前述の２次元画像は通常、ＲＧＢ（赤、緑、青）画像である。前述の目標環境に対して得られた３次元点群データと２次元画像に基づいて、車両の点群データを得る方案は、ＲＧＢ画像と３次元点群データの融合により車両の点群データを得る方案と見なすことができる。工学的に実現しやすく、実用性が高い。

【0089】

実際の適用において、車両のコーナーを直角と見なすことができる。車両の点群データから車両の直角を構成することができる点をスクリーニング又は抽出する（Ｓ５０３）。説明を容易にするため、車両の直角を構成する点を所望点と見なす。

【0090】

鉱山トラック車両の点群データ中のぞれぞれの点に対して、ぞれぞれの点の法線と、該点から半径ｒ（第１所定範囲）の距離内にある他の点の法線とのなす角を、具体的に法線間の内積公式（１）を参照することができる。
式１
ｃｏｓθ＝ｎ１・ｎ２ （１）

【0091】

ここで、ｎ１は点群データのうちのある点の法線である。ｎ２は、該ある点から半径ｒ内にある点の法線である。θは２つの点の法線のなす角である。ここで、半径ｒの値は予め設定されたものとする。法線の間の角度の余弦値により、計算速度を向上し、計算コストを削減することができる。

【0092】

ｃｏｓθが第３所定余弦閾値以下、例えば、０．２以下であれば、２つの点の法線はほぼ直交しているとすることができ、直交条件を満たす。２つの点の法線がほぼ直交する２つの点を１つの点対とする。ある点と、その点の半径ｒ内に存在するその法線とほぼ直交する点とからなる点対の数が、所定の第１閾値以上であれば、該点は擬似所望点であるとみなす。即ち、該点は、車両の直角を構成する点である可能性があり、車両の直角を構成する点ではない可能性もある。

【0093】

車両の点群データから、全ての擬似所望点をスクリーニング又は抽出する。ユークリッド距離に基づくクラスタリング方法を採用して、全ての擬似所望点に対してクラスタリングを行い、２つ以上の点クラスタを形成する。最も点数の多い点クラスタをスクリーニングして目標点クラスタとし、該目標点クラスタにおける点を車両のコーナーを構成する点とする。車両のコーナーを構成する点の正確な取得を実現し、後の精確な目標ラインの取得を保証する。

【0094】

通常、１つの鉱山トラックの直角は１つの目標点クラスタに対応しており、車両の点群データからいくつの鉱山トラックの直角の対応する目標点クラスタを得ることができるかは、レーザレーダが鉱山トラック車両をスキャンしたときに鉱山トラック車両との間に現れる相対的な位置関係に応じて決まる。通常、１つ又は２つの鉱山トラックの直角がスキャンされる。

【0095】

また、前述の法線と所望点の法線とがほぼ直交する点について、ある点の法線が、例えば第２所定閾値以上の複数の所望点の法線といずれもほぼ直交する場合に、該点を所望点の支点とみなす。所望点の支点を集合して目標支点集合を得、後で使用するために保存する。

【0096】

ここで、第１所定閾値、第２所定閾値、及び第３所定閾値は、例えば５０のように、同じ数値であってもよく、もちろん３つの所定閾値は異なっていてもよい。例えば、第１所定閾値は７０であり、第２所定閾値は５０であり、第３所定閾値は２０である。また、本方案では３つの所定閾値の間の大小関係を限定しない。

【0097】

次に、車両の直角を構成する点に基づいて、直角を構成することができるエッジの目標ラインをフィッティングする（Ｓ５０４）。主成分分析アルゴリズム（ＰＣＡ）を採用して目標点クラスタにおける点に対して分析を行い、最大の特徴値に対応する特徴ベクトルを得、該特徴ベクトルが示す方向は直角のエッジの方向（即ち目標ラインの方向）である。レーダ座標系（ＸＹＺ座標系）において、目標ライン方向において、最大のｘ、最大のｙ、最大のｚを求め、及び最小のｘ、最大のｙ、最大のｚを求める。最大と最小のｘの差を取り、最大と最小のｙの差を取り、最大と最小のｚの差を取り、３つの差を２乗してルートを取ると目標ラインの長さである目標の長さを得ることができる。目標点クラスタの中心は、目標ラインの（目標）中心点である。目標点クラスタの中心と目標の長さに基づいて、直角のエッジを構成することができる目標ラインをフィッティングする。目標ラインの精確なフィッティングを実現する。

【0098】

実際の適用において、レーザレーダによってスキャンされた直角の数が１つ、もしくは２つ、もしくは他の合理的な数である可能性を考慮すると、目標ラインの数は１つ、もしくは２つ、もしくは他の合理的な数であることができる。レーザレーダがスキャンした実際の状況によって決める。

【0099】

次に、目標ラインに基づいて車体の側面を抽出するフローを実行する（Ｓ５０５）。

【0100】

目標ラインの中心点を中心とし、半径が目標ラインの長さの２／３の範囲内で、目標支点集合から点を探し出せるか否かを判定し、点を探し出すことが出来た場合、探し出した点を目標支点とする。該目標支点は、後に車両の目標面又は目標面を構成する点を得るために、目標ラインの平面支点とすることができる。このように、平面を構成する支点の精確な取得を実現することができ、後の車両姿勢推定に正確なベースデータを提供する。前述の半径は、目標ラインの長さの１／２以上、目標ラインの長さ未満の任意の数値であってもよく、具体的に限定しない。

【0101】

そして、予め設定された領域拡張方式を用いて、目標支点を起点として、全シーン点群データ（目標環境に対して得られた３次元点群データ）から領域拡張処理を行い、車両の２つの車体の側面を構成する全ての点を得る。各車体の側面の全ての点により構成される領域は、即ち鉱山トラック車両の車体の側面である。車体の側面を構成する点の精確な取得を実現でき、後の車両姿勢推定に正確なベースデータを提供する。

【0102】

前述の方案は、全シーンの点群データから鉱山トラック車両の２つの車体の側面を抽出又は分割する方案と見なすことができる。また、全シーン点群データのうちの部分点群データ車両の点群データから、鉱山トラック車両の車体の側面を抽出又は分割することもできる。車両の点群データから鉱山トラック車体の側面を抽出又は分割する場合と比較して、全シーン点群データから見ることは、車両の点群データが不完全であるために車体の側面の抽出ができないもしくは抽出が不完全である問題を回避することができる。

【0103】

前述のＳ５０３～Ｓ５０５は、Ｓ４０２のさらなる説明とすることができる。Ｓ５０３～Ｓ５０５の方案は、いずれもレーダ座標系のもとで実行される。

【0104】

次に、車体の側面に基づいてバウンディングボックスに対する推定を実現するフローを実行する（Ｓ５０６）。

【0105】

バウンディングボックスが、鉱山トラック車両を包囲するためのものであるため、バウンディングボックスに対する推定は車両座標系において行う必要がある。本フローは車体の側面に基づいて車両座標系に対して構築し、車両座標系においてバウンディングボックスの中心位置と方向の推定を行う。

【0106】

さらに、車体の側面は平面であり、２つの車体の側面の法線を取得する。法線には大きさと方向が含まれる。具体的に、計算速度を向上させるために、車体の側面内の各点の法線の合成方向を計算し、該合成方向を車体の側面の法線方向とする。車体の側面の法線の大きさは１である。２つの車体の側面の法線に対して、外積を行い１つのベクトルを得る。該ベクトル及び２つの車体の側面の法線から構成される座標系が車両座標系である。車両座標系において、２つの車体の側面又は車体の側面を構成する点について、座標軸に平行なバウンディングボックスアルゴリズムを用いて、バウンディングボックスの中心位置と方向に対して推定を行う。バウンディングボックスの中心位置と方向の精確な推定を実現することができる。

【0107】

最後に、バウンディングボックスの推定結果に基づいて車両姿勢の推定を実現するフローを実行する（Ｓ５０７）。

【0108】

レーダ座標系と車両座標系との間のマッピング関係に従って、車両座標系におけるバウンディングボックスの推定結果をレーダ座標系に変換することにより、レーダ座標系における車両の位置と向きを得ることができる。レーダ座標系において、バウンディングボックスの中心位置、方向に基づき車両の位置、方向を得る方案は前述の関連する説明を参照でき、ここでは繰り返し述べない。

【0109】

前述のＳ５０６～Ｓ５０７は、Ｓ４０３のさらなる説明とすることができる。

【0110】

実際の適用において、無人電動ショベル設備は独自の座標系を有し、無人電動ショベル設備の座標系がレーダ座標系と異なる座標系である場合に、レーダ座標系において得られた車両の位置と方向を無人電動ショベル設備の座標系に換算する必要があることを理解することができる。このように、無人電動ショベル設備は、自律的な積みおろしを実現するように、人が積みおろしに介入する必要せず、鉱山トラック車両の姿勢を正確に知り、さらに鉱山トラック車両まで走行する。

【0111】

図６は、車両姿勢推定結果の可視化模式図である。図６において、異なる点を異なる符号で表している。図１において、レーザレーダは１つの直角（☆で示されている）をスキャンしている。該直角を構成する点の支点を◇符号で表す。平面支点を＊で表す。車体の側面は、○符号で表す側面１と●符号で表す側面２の２つを含む。直線部分は鉱山トラック車両のバウンディングボックスを表す。

【0112】

前述の方案は、無人電動ショベルの作業中における鉱山トラックの車両姿勢推定を効果的に完了し、工程的に実現しやすく、関連技術におけるディープラーニングモデルを用いて鉱山トラック車両の姿勢推定を行う方案と比べ、演算コストを大幅に節約できる。また、車両の幾何情報を用いた車両姿勢推定に基づいて、車両姿勢に対する精確又は正確な推定を実現することができる。

【0113】

本開示はさらに車両姿勢推定装置の実施例を提供し、図７に示すように、前記装置は以下の第１取得ユニット７０１、第２取得ユニット７０２、推定ユニット７０３を備える。

【0114】

第１取得ユニット７０１は、車両の点群データに基づいて、第１目標データを得、ここで、前記第１目標データは、前記車両の目標面を構成することができる。

【0115】

第２取得ユニット７０２は、前記第１目標データに基づいて、前記車両を包囲するための目標体に対して姿勢推定を行い、推定結果を得る。

【0116】

推定ユニット７０３は、前記推定結果に基づいて、前記車両の姿勢に対して推定を行う。

【0117】

ここで、前記第１取得ユニット７０１は、
車両の点群データから、第２目標データを決定することと、ここで、前記第２目標データが、前記車両のコーナーを構成することができる点を表し、
前記第２目標データに基づいて、目標ラインを得ることと、ここで、前記目標ラインが、前記コーナーのエッジを構成することができ、
前記目標ラインに基づいて、前記第１目標データを得ることと、にさらに用いられる。

【0118】

ここで、前記第２取得ユニット７０２は、
予め設定された姿勢推定方式を用いて、前記第１目標データに基づいて、前記目標体に対して姿勢推定を行い、前記目標体の中心位置と方向を得ることと、
前記目標体の中心位置と方向を前記推定結果とすることと、に用いられる。

【0119】

ここで、前記推定ユニット７０３は、
前記目標体の中心位置に基づいて、前記車両の所在する位置を得ることと、
前記目標体の方向に基づいて、前記車両の向きを得ることと、
前記車両の所在する位置と向きを前記車両姿勢とすることと、に用いられる。

【0120】

ここで、前記第２目標データは、車両の点群データのうち、その法線と、第１所定範囲内にある複数の他の点の法線とが直交条件を満たす点であり、ここで、前記複数の他の点の数は、第１所定閾値以上である。

【0121】

ここで、前記第１取得ユニット７０１は、
車両の点群データから、その法線と、第１所定範囲内にある複数の他の点の法線とが直交条件を満たす点をスクリーニングすることと、ここで、前記複数の他の点の数が、第１所定閾値以上であり、
スクリーニングした前記点をクラスタリングし、少なくとも２つの点クラスタを形成することと、
前記少なくとも２つの点クラスタから、目標点クラスタを決定することと、
前記目標点クラスタのうちの点を前記第２目標データとすることと、にさらに用いられる。

【0122】

ここで、前記第１取得ユニット７０１は、
前記第２目標データに対して分析を行い、目標の長さと目標中心点を決定することと、
前記目標の長さと目標中心点に基づいて、前記目標ラインを得ることと、にさらに用いられる。

【0123】

ここで、前記第１取得ユニット７０１は、
目標支点集合を取得することと、
前記目標ラインの目標の長さと目標中心点に基づいて、目標支点集合から目標支点を取得することと、
予め設定された領域拡張方式を用いて、前記目標支点を起点として領域拡張処理を行い、前記車両の目標面を構成することができる前記第１目標データを得ることと、にさらに用いられる。

【0124】

ここで、前記目標支点集合は、前記車両の点群データのうち、前記車両のコーナーを構成する複数の点のいずれとも直交条件を満たす点の集合であり、ここで、前記複数の点の数は、第２所定閾値以上である。

【0125】

前記装置は、第３取得ユニット（図７には図示せず）をさらに備え、第３取得ユニットは、
目標環境に対して得られた３次元点群データを取得することと、
目標環境に対して得られた２次元画像を取得することと、
前記３次元点群データと前記２次元画像に基づいて、前記車両の点群データを得ることと、に用いられる。

【0126】

ここで、前記目標環境には、少なくとも前記車両が含まれている。

【0127】

なお、本開示に係る車両姿勢推定装置は、前述の車両姿勢推定方法と問題を解決する原理が類似しているため、車両姿勢推定装置の実施過程及び実施原理は、前述の方法の実施過程及び実施原理の説明を参照することができ、重複する箇所は繰り返し述べない。

【0128】

本開示の技術方案において、関連するユーザの個人情報の取得、保存及び応用等は、いずれも関連法律法規の規定に合致しており、公序良俗に反するものではない。

【0129】

本開示の実施形態によれば、本開示はまた、電子デバイス、可読記憶媒体、及びコンピュータプログラム製品を提供する。

【0130】

図８は、本開示の実施形態を実現するための電子デバイス８００のブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置を更に指し、例えば、パーソナルデジタルアシスタント、セルラー電話、インテリジェントフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本開示に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本開示に記載・特定されているものの実現を限定するわけではない。

【0131】

図８に示すように、デバイス８００は、リードオンリーメモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム命令、又は記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ）８０３にローディングされたコンピュータプログラム命令に基づいて、各種の適切な動作と処理を実行できる計算ユニット８０１を含む。ＲＡＭ８０３には、デバイス８００の動作に必要な各種のプログラム及びデータを更に記憶することができる。計算ユニット８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とは、バス８０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続されている。

【0132】

デバイス８００における複数のコンポーネントは、Ｉ／Ｏインターフェース８０５に接続されており、その複数のコンポーネントは、キーボードやマウス等の入力ユニット８０６と、種々なディスプレイやスピーカ等の出力ユニット８０８と、磁気ディスクや光学ディスク等の記憶ユニット８０８と、ネットワークカード、モデム、無線通信トランシーバー等の通信ユニット８０９と、を備える。通信ユニット８０９は、デバイス８００がインターネットのようなコンピュータネット及び／又は種々なキャリアネットワークを介して他の機器と情報／データを交換することを許可する。

【0133】

計算ユニット８０１は、処理及び計算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット８０１のいくつかの例としては、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラ等を備えるが、これらに限定されない。計算ユニット８０１は、上述で説明された各方法及び処理、例えば車両姿勢推定方法を実行する。例えば、いくつかの実施形態では、車両姿勢推定方法を、記憶ユニット８０８のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウエアプログラムとして実現することができる。一部の実施形態では、コンピュータプログラムの一部又は全ては、ＲＯＭ８０２及び／又は通信ユニット８０９を介して、デバイス８００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ８０３にロードされて計算ユニット８０１によって実行される場合に、前述した車両姿勢推定方法の１つ又は複数のステップを実行することができる。追加可能に、他の実施形態では、計算ユニット８０１は、他の任意の適当な方式（例えば、ファームウェア）により車両姿勢推定方法を実行するように構成することができる。

【0134】

ここで記載されているシステム又は技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現することができる。これらの各実施形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにて実行及び／又は解釈される１つ又は複数のコンピュータプログラムにより実行することを含み得、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受け取り、データ及び命令を該ストレージシステム、該少なくとも１つの入力デバイス、及び該少なくとも１つの出力デバイスに転送することができる専用又は汎用のプログラマブルプロセッサであってもよい。

【0135】

本開示の方法を実行するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラミングデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラによって実行される場合に、フローチャート及び／又はブロック図に規定された機能／動作を実行することができる。プログラムコードは、完全にマシンで実行されてもよいし、部分的にマシンで実行されてもよいし、独立したソフトパッケージとして部分的にマシンで実行されるとともに部分的にリモートマシンで実行されてもよし、又は完全にリモートマシン又はサーバーで実行されてもよい。

【0136】

本開示の説明において、機械読み取り可能な媒体は、有形な媒体であってもよく、命令実行システム、装置又は機器によって、又は命令実行システム、装置又は機器と合わせて用いられるプログラムを含み、又は記憶する。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、又はデバイス、又は前述した内容の任意の適切な組み合わせを含むことができるがこれらに限定されない。機械読み取り可能な記憶媒体のさらなる具体例として、１つ又は複数の配線による電気的接続、ポータブルコンピュータディスクカートリッジ、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＭＯ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＭＯ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＭＯ）、光学記憶装置、磁気記憶装置、又は前述した内容の任意の組み合わせを含む。

【0137】

ユーザとのインタラクションを提供するために、コンピュータでここで記載されているシステム及び技術を実施することができ、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター等）、ユーザが入力をコンピュータに提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボール等）を備えるができる。ユーザとのインタラクションを提供するために、他の種類の装置を使用することもでき、例えば、ユーザに提供するフィードバックは、いかなる形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック等）であってもよく、また、いかなる形式（例えば、音響入力、音声入力、触覚入力等）によって、ユーザからの入力を受付取るができる。

【0138】

ここに記載されているシステムと技術を、バックグラウンド部品に含まれる計算システム（例えば、データサーバーとして）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバー）、又はフロント部品を含む計算システム（例えば、ＧＵＩ又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザがＧＵＩ又は該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロント部品のいかなる組合した計算システムで実施することができる。いかなる形式又はメディアのデジタルデータ通信（例えば、通信ネットワーク）を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

【0139】

コンピュータシステムは、クライアントとサーバーを含み得る。通常、クライアントとサーバーは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント－サーバーの関係を有するコンピュータプログラムによってクライアントとサーバーの関係を生み出す。

【0140】

上記の様々な態様のフローを使用して、ステップを新たにソート、追加、又は削除することが可能であることを理解すべきである。例えば、本開示で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本開示で開示された技術案が所望する結果を実現することができる限り、本開示ではこれに限定されない。

【0141】

上記具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解するべきである。本開示の要旨及び原理原則内における変更、均等な置換及び改善等は、いずれも本開示の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】