知財求人 - 知財ポータルサイト「IP Force」
特表2024-538401対象物体の再測位方法および装置、記憶媒体並びに電子装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-18
(54)【発明の名称】対象物体の再測位方法および装置、記憶媒体並びに電子装置
(51)【国際特許分類】
G06T 7/70 20170101AFI20241010BHJP
【ＦＩ】
G06T7/70 Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024529558
(86)(22)【出願日】2022-11-17
(85)【翻訳文提出日】2024-05-17
(86)【国際出願番号】 CN2022132629
(87)【国際公開番号】W WO2023088383
(87)【国際公開日】2023-05-25
(31)【優先権主張番号】202111387413.6
(32)【優先日】2021-11-22
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】511151662
【氏名又は名称】中興通訊股▲ふん▼有限公司
【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】ＺＴＥ Ｐｌａｚａ，Ｋｅｊｉ Ｒｏａｄ Ｓｏｕｔｈ，Ｈｉ－Ｔｅｃｈ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】ワン，ホイ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA08
5L096BA18
5L096CA02
5L096FA67
5L096FA69
(57)【要約】
本開示は、対象物体の再測位方法および装置、記憶媒体並びに電子装置に関する。当該方法は、仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得するステップと、前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出するステップと、前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定するステップと、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するステップであって、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である、ステップと、を含む。
【特許請求の範囲】
【請求項1】
仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得するステップであって、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する、ステップと、前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出するステップであって、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである、ステップと、
前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定するステップであって、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである、ステップと、
前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するステップであって、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である、ステップと、を含む、
対象物体の再測位方法。
【請求項2】
前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するステップは、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を第３の位置姿勢情報に更新するステップを含み、
前記第１のカメラ位置姿勢行列および前記第１の目標カメラ位置姿勢行列に基づいて第２の目標位置姿勢行列を確定するステップであって、前記第２の目標位置姿勢行列は、前記前回の測位後の前記対象物体の前記仮想空間での前記第３の位置姿勢情報を示すためのものであるステップと、
前記第２の位置姿勢情報と前記第３の位置姿勢情報との間の誤差値が第１の所定値よりも大きい場合、前記第２の位置姿勢情報を前記第３の位置姿勢情報に更新するステップと、を含む、
請求項１に記載の対象物体の再測位方法。
【請求項3】
前記誤差値を用いて前記第３の位置姿勢情報を補償するステップ、または、前記誤差値に対応する補償パラメータを取得し、前記誤差値と前記補償パラメータとの除算値を用いて前記第３の位置姿勢情報を補償するステップをさらに含む、
請求項２に記載の対象物体の再測位方法。
【請求項4】
前記誤差値を用いて前記第３の位置姿勢情報を補償するステップは、前記誤差値に対応する座標補償値を確定するステップと、
前記座標補償値を用いて前記第３の位置姿勢情報における空間座標を調整するステップと、を含む、
請求項３に記載の対象物体の再測位方法。
【請求項5】
前記誤差値を用いて前記第３の位置姿勢情報を補償するステップは、前記誤差値に対応する角度補償値を確定するステップであって、前記角度補償値は、前記カメラの前回の測位時の空間角度と前記前回の測位後の空間角度との間の角度差を示すためのものであるステップと、
前記角度補償値を用いて前記第３の位置姿勢情報における空間角度を調整するステップと、を含む、
請求項３に記載の対象物体の再測位方法。
【請求項6】
予め設定された条件が満たされた場合、前記仮想空間で前記対象物体を再測位するようにトリガーするステップをさらに含み、前記予め設定された条件は、
前記カメラによって撮影された前記現実空間内の画像の画像データが変化したことと、
前記仮想空間での前記移動端末の位置が変化したことと、
前記移動端末において、前記仮想空間での前記対象物体の再測位を要求するための再測位要求を受信したことと、
前記仮想空間において前記対象物体に対する前回の測位を完了した後の時間長さが第１の所定時間以上となったことと、
前記点群空間において前記対象物体に対する前回の測位を完了した後の時間長さが第２の所定時間以上となったことと、のうちの１つを少なくとも含む、
請求項１に記載の対象物体の再測位方法。
【請求項7】
前記第１の画像の取得方式は、前記移動端末における前記カメラが前記現実空間で撮影したビデオストリームのフレームレートが第２の所定値以上である場合、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する方式と、
前記移動端末における前記カメラが前記現実空間で撮影したビデオストリームにおける無効フレーム画像の数が第３の所定値以下である場合、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する方式と、
前記移動端末における前記カメラが前記現実空間で複数の画像を撮影した場合、前記複数の画像から画像ノイズの数が第４の所定値以下である画像を前記第１の画像として選択する方式と、のうちの１つを含む、
請求項１に記載の対象物体の再測位方法。
【請求項8】
前記第１の画像の画像データにおける各画素の空間点位置を算出して、前記空間点位置を用いて前記点群空間を構築するステップであって、前記各画素の空間点位置は、前記第２のカメラ位置姿勢行列によって得られたものであるステップと、前記点群空間を可視的に前記移動端末に表示するステップであって、前記点群空間は、前記移動端末の位置を原点とし、前記移動端末の進行方向をＺ軸方向とし、前記移動端末の上昇方向をＹ軸方向とするステップと、を含む、
請求項１に記載の対象物体の再測位方法。
【請求項9】
仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得するように設けられる送信モジュールであって、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する、送信モジュールと、前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出するように設けられる取得モジュールであって、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである、取得モジュールと、
前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定するように設けられる確定モジュールであって、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである、確定モジュールと、
前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するように設けられる更新モジュールであって、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である、更新モジュールと、を含む、
対象物体の再測位装置。
【請求項10】
コンピュータプログラムが記憶されるコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラムは、実行される時に請求項１～８のいずれか１項に記載の方法を実現するように設けられる、
コンピュータ読取可能な記憶媒体。
【請求項11】
メモリとプロセッサとを含み、前記メモリには、コンピュータプログラムが記憶され、
前記プロセッサは、前記コンピュータプログラムを実行することによって請求項１～８のいずれか１項に記載の方法を実現するように設けられる、
電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本開示は、２０２１年１１月２２日に中国特許庁へ提出した出願番号が２０２１１１３８７４１３.６であり、出願名称が「対象物体の再測位方法および装置、記憶媒体並びに電子装置」である中国特許出願を基礎とする優先権を要求し、その全ての内容は援用により本開示に組み込まれる。
本開示は、２０２１年１１月２２日に中国特許庁へ提出した出願番号が２０２１１１３８７４１３.６であり、出願名称が「対象物体の再測位方法および装置、記憶媒体並びに電子装置」である中国特許出願を基礎とする優先権を要求し、その全ての内容は援用により本開示に組み込まれる。
【0002】
本開示は、通信分野に関し、特に対象物体の再測位方法および装置、記憶媒体並びに電子装置に関する。
【背景技術】
【0003】
拡張現実(Augmented Reality)技術は、ハードウェア装置の計算能力を利用して、移動端末が取得した画像に基づいて自身の位置姿勢変換をリアルタイムに算出し、現実環境を理解して適切な位置に文字、画像、モデル、ビデオをレンダリングする技術である。当該技術に基づいて、仮想空間と現実環境における対象物体とを融合して、仮想空間を豊かにし、仮想空間に対してより多くの情報を付与し、視覚効果の体験および仮想現実インタラクションの立体感を増強させるという目的を達成する。
【0004】
近年、ＡＲ技術の急速な発展に伴い、全世界のメーカーから徐々にＡＲ開発キット(Software Development Kit、ＳＤＫ)が発売されている。これらのＡＲ開発キットは、ＡＲアプリケーションの開発期間を効果的に短縮させることができ、そして、アンカー機能をＡＲアプリケーションのコア基本機能として、平面検出、物体測位、物体認識、画像認識、顔認識などの他のＡＲ機能を対応できる。
【0005】
しかしながら、現在のＡＲ開発キットのアンカー機能は、現在の移動端末が取得した仮想空間において対象物体の位置をアンカリングすることしか保証できず、他のユーザに対して、同様な対象物体が仮想空間における同一の位置にあるとは限らず、かつ、構築された仮想環境が現実環境の環境テクスチャの影響を受けるため、ＡＲ開発キットによる物体測位の安定性に大きな変動が生じて、対象物体の仮想空間での測位位置がドリフトし、ＡＲ体験を劣化させる恐れがある。
【0006】
従来、ＡＲ技術による対象物体の仮想空間での測位精度が低いという問題に対して有効な解決策がまだ提案されていない。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示の実施例は、少なくとも対象物体の仮想空間での測位精度が低いという問題を解決するために、対象物体の再測位方法および装置、記憶媒体並びに電子装置を提供する。
【課題を解決するための手段】
【0008】
本開示の実施例の一方面によれば、仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得するステップであって、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する、ステップと、前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出するステップであって、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである、ステップと、前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定するステップであって、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである、ステップと、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するステップであって、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である、ステップと、を含む対象物体の再測位方法を提供する。
【0009】
本開示の実施例の他方面によれば、仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得するための送信モジュールであって、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する、送信モジュールと、前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出するように設けられる取得モジュールであって、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである、取得モジュールと、前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定するように設けられる確定モジュールであって、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである、確定モジュールと、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するように設けられる更新モジュールであって、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である、更新モジュールと、を含む対象物体の再測位装置をさらに提供する。
【0010】
本開示の実施例の他方面によれば、コンピュータプログラムが記憶されるコンピュータ読取可能な記憶媒体であって、当該コンピュータプログラムは、実行される時に上記の対象物体の再測位方法を実現するように設けられるコンピュータ読取可能な記憶媒体をさらに提供する。
【0011】
本開示の実施例の他方面によれば、メモリと、プロセッサと、メモリに記憶されかつプロセッサで実行可能なコンピュータプログラムと、を含む電子装置であって、上記プロセッサは、コンピュータプログラムによって上記の対象物体の再測位方法を実現する電子装置をさらに提供する。
【発明の効果】
【0012】
本開示によれば、仮想空間で対象物体を再測位する場合、取得した第１のカメラ位置姿勢行列および第１の画像に基づいて第２のカメラ位置姿勢行列を得て、前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定し、前記第１の目標位置姿勢行列に基づいて前記対象物体の前記仮想空間での第２の位置姿勢情報を更新することにより、関連技術では、対象物体の仮想空間での測位精度が低いという技術問題を解決し、測位精度を向上させることができる。
【図面の簡単な説明】
【0013】
ここで説明する図面は、本開示に対するさらなる理解を提供するためのものであって、本開示の一部を構成し、本開示の例示的な実施例およびその説明は、本開示を解釈するためのものに過ぎず、本開示を不当に限定するものではない。
【図1】本開示の実施例に係る対象物体の再測位方法のコンピュータ端末の構成を示すブロック図である。
【図2】本開示の実施例に係る対象物体の再測位過程の模式図である。
【図3】本開示の実施例に係る点群空間でのカメラの模式図である。
【図4】本開示の実施例に係る対象物体の仮想空間での再測位の模式図である。
【図5】本開示の１つの実施例に係る対象物体の再測位方法のフローチャートである。
【図6】本開示の別の実施例に係る対象物体の再測位方法のフローチャートである。
【図7】本開示の実施例に係る対象物体の再測位装置の構造を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、当業者が本開示の技術案をよりよく理解するために、本開示の実施例における技術案について本開示の実施例における図面を参照しながら明瞭かつ完全に説明するが、以下に説明する実施例は、本開示の全部の実施例ではなく、そのうちの一部に過ぎないことは言うまでもない。当業者が本開示の実施例に基づいて進歩性のある労働を付与せずに得られる他の実施例も全て本開示の保護範囲に含まれる。
【0015】
なお、本開示の明細書、特許請求の範囲および上記図面における「第１」、「第２」等の用語は、類似する対象を区別するためのものであり、特定の順序または前後順序を説明するためのものではない。
【0016】
なお、このように使用するデータは、ここで説明する本開示の実施例をここで図示や説明する順序以外の順序で実施できるように、適宜に交換してもよいと理解すべきである。また、「含む」や「有する」などの用語、およびそれらのいかなる変形は、非排他的な包含をカバーし、例えば一連のステップまたはユニットを含む過程、方法、システム、製品または機器については、明確にリストアップされたそれらのステップまたはユニットに限らず、明確にリストアップされていなく、またはこれらの過程、方法、製品または装置に固有する他のステップまたはユニットを含んでもよいことが意図されている。
【0017】
本開示の実施例が提供する方法実施例は、コンピュータ端末または類似する演算装置で実行することができる。コンピュータ端末で実行されることを例として、図１は、本開示の実施例に係る対象物体の再測位方法のコンピュータ端末の構成を示すブロック図である。
【0018】
図１に示すように、コンピュータ端末は、１つまたは複数(図１において１つのみが示されている)のプロセッサ１０２(プロセッサ１０２は、マイクロプロセッサ(Microprocessor Unit、ＭＰＵと略称する)またはプログラマブルロジックデバイス(Programmable Logic device、ＰＬＤと略称する)を含むが、これらに限定されない)と、データを記憶するためのメモリ１０４と、を含むことができるが、１つの例示的な実施例では、上記コンピュータ端末は、通信機能に用いられる伝送装置１０６および入出力装置１０８をさらに含んでもよい。
【0019】
当業者であれば理解できるように、図１に示す構造は、単に例示的なものに過ぎず、上記コンピュータ端末の構造を限定するものではない。例えば、コンピュータ端末は、図１に示されるものよりも多いまたは少ない構成要素を含んだり、または図１に示されるものと同等の機能または図１に示される機能よりも多い異なる構成を有したりしてもよい。
【0020】
メモリ１０４は、コンピュータプログラム、例えば本開示の実施例における対象物体の再測位方法に対応するコンピュータプログラムのようなアプリケーションソフトウェアのソフトウェアプログラムおよびモジュールを記憶するために用いられ、プロセッサ１０２は、メモリ１０４に記憶されるコンピュータプログラムを実行することにより、様々な機能応用およびデータ処理を実行し、すなわち、上記の方法を実現する。メモリ１０４は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば１つまたは複数の磁気記憶装置、フラッシュメモリまたは他の不揮発性固体メモリを含んでもよい。
【0021】
幾つかの具体例では、メモリ１０４は、プロセッサ１０２に対して遠隔的に設置されるメモリをさらに含んでもよく、これらの遠隔メモリは、ネットワークを介してコンピュータ端末に接続することができる。上記ネットワークの具体例は、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信網およびそれらの組み合わせを含むがこれらに限定されない。
【0022】
伝送装置１０６は、１つのネットワークを介してデータを送受信するために用いられる。上記のネットワークの具体例は、コンピュータ端末の通信サプライヤーが提供する無線ネットワークを含んでもよい。１つの具体例では、伝送装置１０６は、基地局を介して他のネットワーク装置に接続されてインターネットと通信可能なネットワークアダプタ(Network Interface Controller、ＮＩＣと略称する)を含む。１つの具体例では、伝送装置１０６は、インターネットと無線で通信を行うための無線周波数(Radio Frequency、ＲＦと略称する)モジュールであってもよい。
【0023】
【0024】
ステップ１において、モバイルクライアント(上記移動端末に相当する)が再測位を要求した場合、現在ではカメラが撮影したリアルタイム画面と前回の現在の仮想空間でのカメラ位置姿勢行列をクラウド認識ライブラリにアップロードする。
【0025】
なお、現在の仮想空間でのカメラ位置姿勢行列は、前回の測位時の仮想空間でのカメラ位置姿勢行列(上記第１のカメラ位置姿勢行列に相当する)として理解することができる。
【0026】
ステップ２において、クラウドにおいて対象物体を認識し、クラウドにおけるデータベース(すなわち、図２におけるクラウド認識ライブラリであり、上記第１の画像の画像データを記憶するデータベースに相当する)を参照してカメラの点群空間での位置姿勢行列(すなわち、第２のカメラ位置姿勢行列)を算出する。
【0027】
なお、上記第２のカメラ位置姿勢行列に基づいて、対象物体の点群空間での位置姿勢行列である第１の目標位置姿勢行列を確定することができる。
【0028】
ステップ３において、対象物体に対する認識過程および第２のカメラ位置姿勢行列の算出過程を完了した後、クラウドで算出したカメラの点群空間での位置姿勢行列(第２のカメラ位置姿勢行列に相当する)およびカメラの仮想空間での位置姿勢行列(第１のカメラ位置姿勢行列に相当する)をモバイルクライアントに返信する。
【0029】
ステップ４において、モバイルクライアントは、返信してきた第１のカメラ位置姿勢行列および第１の目標位置姿勢行列に基づいて、対象物体の仮想空間での位置姿勢行列(上記第２の目標位置姿勢行列に相当する)を算出し、かつ第２の目標位置姿勢行列に基づいて対象物体の仮想空間での位置姿勢情報を更新する。
【0030】
１つの実施例では、図３～図４における実施例を参照しながら、ステップ４における第２の目標位置姿勢行列の算出過程について説明することができる。図３に示すように、点群空間でのカメラおよび対象物体の位置の模式図を提供し、図３において、対象物体の位置を原点としてカメラと対象物体の２次元座標系を確立し、そのうち、対象物体の座標は、(０,０)であり、カメラの座標は、(２,２)である。
【0031】
図４は、対象物体の仮想空間での位置の更新の模式図を提供し、図４に示すように、図３における点群空間でのカメラおよび対象物体の位置を参照して、前回の測位時の仮想空間でのカメラおよび対象物体の位置を、再測位時のカメラおよび対象物体の位置に更新し、そのうち、カメラの位置は変化せず、カメラの座標は(３,１)であり、対象物体の座標が(０,０)から(１,-１)に更新される。
【0032】
１つの実施例では、以下のコードを参照しながら、第２の目標位置姿勢行列に基づいて対象物体の仮想空間での位置姿勢情報を更新する過程について説明することができる。すなわち、まず、リアルタイム画像と前回の測位時のカメラの仮想空間での位置姿勢行列によって、再測位時のカメラの点群空間での位置姿勢行列を算出し、再測位時のカメラの点群空間での位置姿勢行列に基づいて再測位時の対象物体の点群空間での位置姿勢行列を取得し、その後、再測位時の対象物体の点群空間での位置姿勢行列および前回の測位時のカメラの仮想空間での行列に基づいて空間演算を行って、再測位時の対象物体の仮想空間での位置姿勢情報を取得し、対象物体の仮想空間での再測位を完了する。第２の目標位置姿勢行列に基づいて対象物体の仮想空間での位置姿勢情報を更新する過程を理解するためのコードは、以下の通りである。
【0033】
【0034】
【0035】
ステップＳ５０２において、仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得し、そのうち、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する。
【0036】
なお、上記移動端末は、携帯電話、タブレット、ウェアラブルデバイス、スマートウォッチなどを含む移動端末装置として理解することができるが、これらに限定されない。上記移動端末は、受動的に動作するように設定されてもよく、能動的に動作するように設定されてもよい。移動端末が受動的に動作する場合、移動端末の使用対象は、人またはロボットを含んでもよい。上記移動端末には、撮影のためのカメラが設けられている。
【0037】
なお、上記カメラの位置姿勢情報は、カメラの位置とカメラの姿勢との総称として理解することができ、第１の空間の第１の座標系と第２の空間の第２の座標系との間の変換関係を説明したものであり、そのうち、カメラの第１の座標系での第１の座標が既知である場合、カメラの位置姿勢行列とカメラの第１の座標とは、変換行列によって変換することができる。
【0038】
ステップＳ５０４において、前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出し、そのうち、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである。
【0039】
ステップＳ５０６において、前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定し、そのうち、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである。
【0040】
ステップＳ５０８において、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新し、そのうち、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である。
【0041】
本開示は、仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得し、そのうち、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置し、前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出し、そのうち、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものであり、前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定し、そのうち、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものであり、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新し、そのうち、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報であるようにすることにより、ＡＲ技術では、対象物体の仮想空間での測位精度が低いという技術問題を解決し、対象物体の仮想空間での測位精度を向上させた。
【0042】
なお、再測位過程は、本質的に２つの３次元空間でのカメラとコンテンツとの相対関係の統一である。従って、本実施例では、まず、点群空間と仮想空間との２つの３次元空間があり、そのうち、点群空間は、点群技術を用いて構築した３次元空間として理解することができ、点群空間で認識アルゴリズムを参照してカメラとコンテンツの位置姿勢情報を正確に得ることができる。仮想空間は、空間座標軸に基づいて構築した３次元空間として理解することができる。仮想空間での対象物体の位置がずれやすいことがあるため、仮想空間での対象物体を再測位する必要がある。
【0043】
なお、上記対象物体の位置姿勢情報の説明については、上記カメラの位置姿勢情報の説明過程を参照できるので、本開示ではその説明を省略する。
【0044】
１つの実施例では、点Ｐの第１の座標をＰwとすると、カメラの位置姿勢行列によって第１の座標Ｐwを点Ｐの第２の空間の座標系での第２の座標に変換することができ、第２の座標Ｐcは、以下のように表される。
【0045】
または、点Ｐを第２の座標系から第１の座標系に変換することができる。
【0046】
そのうち、Ｔcwは、点Ｐを第１の座標系から第２の座標系に変換する変換行列であり、Ｔwcは、点Ｐを第２の座標系から第１の座標系に変換する変換行列である。
【0047】
上記実施例に基づいて、第１の空間が点群空間を表し、第２の空間が仮想空間を表す場合、点群空間と仮想空間との間の対象物体の変換過程を実現することができる。
【0048】
１つの例示的な実施例では、上記のステップＳ５０８においてどのように前記第１の目標位置姿勢行列に基づいて前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するかをよりよく理解するために、具体的に、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を第３の位置姿勢情報に更新するステップを含み、前記第１のカメラ位置姿勢行列および前記第１の目標カメラ位置姿勢行列に基づいて第２の目標位置姿勢行列を確定するステップであって、前記第２の目標位置姿勢行列は、前記前回の測位後の前記対象物体の前記仮想空間での前記第３の位置姿勢情報を示すためのものであるステップと、前記第２の位置姿勢情報と前記第３の位置姿勢情報との間の誤差値が第１の所定値よりも大きい場合、前記第２の位置姿勢情報を前記第３の位置姿勢情報に更新するステップと、を含む技術案を提供する。
【0049】
本実施例の技術案によれば、対象物体の仮想空間での位置姿勢情報が変化した場合、対象物体の仮想空間での位置姿勢情報を更新して、対象物体の測位位置を更新することができ、対象物体の測位精度をさらに向上させた。
【0050】
なお、上記誤差値のタイプは、角度誤差値および位置誤差値を含んでもよいが、本開示ではこれを限定しない。
【0051】
なお、誤差値のタイプに応じて上記第１の所定値を設定することができ、手動で設定してもよいし、履歴データによって確定してもよい。
【0052】
１つの実施例では、角度誤差値に対する第１の所定値の範囲は、[０,１]度であってもよく、位置誤差値に対する第１の所定値は、座標値で表されてもよく、第１の所定値の範囲、すなわち座標のオフセット範囲は[-１,１]である。
【0053】
１つの例示的な実施例では、具体的に、前記誤差値を用いて前記第３の位置姿勢情報を補償するステップ、または、前記誤差値に対応する補償パラメータを取得し、前記誤差値と前記補償パラメータとの除算値を用いて前記第３の位置姿勢情報を補償するステップを含む技術案をさらに提供する。本実施例の技術案によれば、更新後の対象物体の仮想空間での位置姿勢情報の誤差を低減させ、対象物体の仮想空間での位置姿勢情報の信頼度を向上させることができる。
【0054】
なお、上記補償パラメータは、誤差値に対する補償回数として理解することができ、誤差値に基づいて予め設定され、上記誤差値と正の相関関係を有するものであってもよく、例えば、上記誤差値が大きければ大きいほど、上記誤差値に対応する補償パラメータが大きくなる。
【0055】
１つの例示的な実施例では、複数の技術案によって、前記誤差値を用いて前記第３の位置姿勢情報を補償することができ、本実施例では、前記誤差値に対応する座標補償値を確定し、前記座標補償値を用いて前記第３の位置姿勢情報における空間座標を調整するという技術案を提供する。本実施例の技術案によれば、更新後の対象物体の仮想空間での空間座標の誤差を低減させ、対象物体の仮想空間での位置姿勢情報の信頼度を向上させ、かつ対象物体の仮想空間での測位の正確性を向上させることができる。
【0056】
１つの例示的な実施例では、前記誤差値を用いて前記第３の位置姿勢情報を補償するという技術案をさらに提供し、具体的に、前記誤差値に対応する角度補償値を確定するステップであって、そのうち、前記角度補償値は、前記カメラの前回の測位時の空間角度と前記前回の測位後の空間角度との間の角度差を示すためのものであるステップと、前記角度補償値を用いて前記第３の位置姿勢情報における空間角度を調整するステップと、を含む。本実施例の技術案によれば、更新後の対象物体の仮想空間での空間角度の誤差を低減させ、対象物体の仮想空間での位置姿勢情報の信頼度を向上させ、かつ対象物体の仮想空間での測位の正確性を向上させることができる。
【0057】
１つの実施例では、上記誤差値のタイプが角度誤差値である場合、角度誤差値を０.５度とし、かつ対応する補償回数を５とすると、角度誤差値を１度とした場合、対応する補償回数を１０とする。
【0058】
１つの実施例では、前記誤差値と前記補償パラメータとの除算値を用いて前記第３の位置姿勢情報を補償する過程は、角度誤差値と角度誤差値に対応する補償パラメータとを用いる過程と理解することができる。角度誤差値を０.５度とし、角度誤差値に対応する補償回数を５とする場合、０.５度を５で除算した値である０.１度を用いて上記第３の位置姿勢情報を補償することができる。幾つかの場合、第３の位置姿勢情報に対して５回の補償を行い、毎回の補償値を０.１度とすることができる。
【0059】
なお、上記座標補償値および上記角度補償値はそれぞれ上記誤差値と正の相関関係があるため、上記の座標補償値および角度補償値を用いて前記第３の位置姿勢情報を調整する過程は、角度誤差値および角度誤差値に対応する補償パラメータを用いる過程と類似する。他の実施例では、角度誤差値および角度誤差値に対応する補償パラメータを用いる過程を参照して、座標補償値および角度補償値を用いて前記第３の位置姿勢情報を調整する過程を得ることができる。
【0060】
１つの例示的な実施例では、具体的に、予め設定された条件が満たされた場合、前記仮想空間で前記対象物体を再測位するようにトリガーするステップを含む技術案をさらに提供し、そのうち、前記予め設定された条件は、前記カメラによって撮影された前記現実空間内の画像の画像データが変化したことと、前記仮想空間での前記移動端末の位置が変化したことと、前記移動端末において、前記仮想空間での前記対象物体の再測位を要求するための再測位要求を受信したことと、前記仮想空間において前記対象物体に対する前回の測位を完了した後の時間長さが第１の所定時間以上となったことと、前記点群空間において前記対象物体に対する前回の測位を完了した後の時間長さが第２の所定時間以上となったこととのうちの１つを少なくとも含む。
【0061】
本実施例の技術案によれば、再測位のトリガー条件を提供することにより、再測位の応用シーンの豊かさを向上させ、再測位の技術案の応用範囲を拡大させた。
【0062】
なお、上記第１の所定時間は、１分間、２０分間、１時間などであってもよいが、本開示ではこれを限定しない。１つの実施例では、上記第１の所定時間が１分間である場合、仮想空間において対象物体に対する前回の測位を完了した後の時間長さが２分間であると、仮想空間での対象物体の再測位を要求するように移動端末をトリガーする。
【0063】
他の実施例では、上記第２の所定時間は、上記第１の所定時間の表現と類似し、上記第１の所定時間を参照して上記第２の所定時間の説明過程を理解することができるので、本開示ではその説明を省略する。
【0064】
１つの例示的な実施例では、上記のステップＳ５０２において第１の画像を取得することをよりよく理解するために、前記第１の画像の取得方式として、前記移動端末における前記カメラが前記現実空間で撮影したビデオストリームのフレームレートが第２の所定値以上である場合、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する方式と、前記移動端末における前記カメラが前記現実空間で撮影したビデオストリームにおける無効フレーム画像の数が第３の所定値以下である場合、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する方式と、前記移動端末における前記カメラが前記現実空間で複数の画像を撮影した場合、前記複数の画像から画像ノイズの数が第４の所定値以下である画像を前記第１の画像として選択する方式とのうちの１つを含む技術案を提供する。
【0065】
本実施例の技術案によれば、複数種の画像データの取得方式を提供することにより、画像データのデータ量を向上させ、異なる取得方式で得られた画像データを選択することにより、画像データの画像品質を向上させた。
【0066】
なお、上記第２の所定値は、２０フレーム/秒および２４フレーム/秒を含んでもよいが、本開示ではこれを限定しない。１つの実施例では、上記第２の所定値が２０フレーム/秒である場合、上記移動端末における上記カメラが上記現実空間で撮影したビデオストリームのフレームレートが１０フレーム/秒であると、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する。
【0067】
なお、上記第３の所定値の範囲は、[０,１００]であってもよいが、本開示ではこれを限定しない。１つの実施例では、上記第３の所定値が１００である場合、前記移動端末における前記カメラが前記現実空間で撮影したビデオストリームにおける無効フレーム画像の数が１０であると、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する。そのうち、無効フレーム画像は、画素情報が欠落したフレーム画像として理解することができる。
【0068】
なお、カメラにおけるセンサのサイズに応じて上記第４の所定値を設定してもよい。
【0069】
１つの例示的な実施例では、具体的に、前記第１の画像の画像データにおける各画素の空間点位置を算出して、前記空間点位置を用いて前記点群空間を構築するステップであって、そのうち、前記各画素の空間点位置は、前記第２のカメラ位置姿勢行列によって得られたものであるステップと、前記点群空間を可視的に前記移動端末に表示するステップであって、そのうち、前記点群空間は、前記移動端末の位置を原点とし、前記移動端末の進行方向をＺ軸方向とし、前記移動端末の上昇方向をＹ軸方向とするステップと、を含む技術案をさらに提供する。
【0070】
本実施例の技術案によれば、第１の画像の画像データを用いて点群空間を構築し、かつ点群空間を可視的に表示することにより、使用対象のインタラクション体験を向上させた。
【0071】
次に、以下の実施例を参照しながら対象物体の再測位方法をさらに説明する。
【0072】
図６は、本開示の別の実施例に係る対象物体の再測位方法のフローチャートである。図６に示すように、ＡＲ ＳＤＫをＡＲアプリケーション開発プラットフォームとし、ＡＲ ＫｉｔまたはＡＲ Ｃｏｒｅを対応できるスマートフォン(上記移動端末に相当)を選択し、具体的な実現ステップは、以下の幾つかの部分を含む。
【0073】
ステップＳ６０２:ＡＲ ＳＤＫを起動させてスマートフォンのカメラを呼び出して、周囲の現実環境を撮影して画像データ(上記第１の画像の画像データに相当する)を取得する。
【0074】
ステップＳ６０４:採集した画像データに基づいて現地の点群地図(点群空間に相当する)を構築し、点群空間において対応する現実環境を体現することができる。
【0075】
なお、１つの実施例では、環境テクスチャが豊富な現実環境において、単眼カメラ(上記カメラに相当する)を利用して画像を連続的に採集し、採集した画像に基づいて点群地図の構築過程を完成し、現在の採集カメラの位置姿勢情報および画像採集時に必要な特徴情報を記録し、クラウドのクラウド認識ライブラリを構築し、かつ画像データおよびカメラの仮想空間での位置姿勢行列(上記第１のカメラ位置姿勢行列に相当する)をクラウド認識ライブラリにリアルタイムに送信することができる。
【0076】
そのうち、上記の画像採集時に必要な特徴情報は、画像の採集時間、画像の採集頻度、画像採集装置の情報などを含んでもよいがこれらに限定されず、本開示ではこれを限定しない。
【0077】
ステップＳ６０６:スマートフォンを始点として、スマートフォンのスクリーンが前を向いている方向をＺ軸方向、スクリーンが上を向いている方向をＹ軸方向として選択し、ＵｎｉｔｙにおいてＵｎｉｔｙにおけるワールド空間体系とも呼ばれる仮想空間体系(上記仮想空間に相当する)を構築する。
【0078】
ステップＳ６０８:スマートフォンのカメラの仮想空間での位置姿勢行列Ｍをリアルタイムに取得する。
【0079】
ステップＳ６１０:同一時刻で取得した画像データおよびＭをｈｔｔｐ/ｈｔｔｐｓプロトコルによってクラウド識別ライブラリに伝送する。
【0080】
なお、上記クラウド識別ライブラリは、例えばｄｌｌライブラリまたはｓｏライブラリなどのダイナミックリンクライブラリを含んでもよい。
【0081】
ステップＳ６１２:クラウドは、現実環境での対象物体の測位を完了した後、カメラの点群空間での位置姿勢行列Ｍ１(上記第２のカメラ位置姿勢行列に相当する)およびカメラの仮想空間での位置姿勢行列Ｍを返信する。
【0082】
そのうち、カメラの点群空間での位置姿勢行列Ｍ１は、クラウド認識ライブラリの画像データおよびカメラの仮想空間での位置姿勢行列に基づいて得られたカメラ位置姿勢行列である。具体的には、クラウドは、スマートフォンが撮影した画像データおよびスマートフォンのカメラの仮想空間での位置姿勢行列を取得した後、上記ステップにおいて構築したクラウド認識ライブラリを参照して、スマートフォンの点群空間での位置姿勢行列を算出してスマートフォンに返信する。
【0083】
ステップＳ６１４:Ｍ１に基づいて再測位時の対象物体の点群空間での位置姿勢行列(上記第１の目標位置姿勢行列に相当する)を算出して、Ｍおよび前回の測位時に得られたカメラの仮想空間での位置姿勢行列に基づいて、対象物体の点群空間での位置姿勢情報を仮想空間に統一的に変換する。
【0084】
なお、上記対象物体の点群空間での位置姿勢情報を仮想空間に統一的に変換する過程は、スマートフォンがクラウドから返信されたスマートフォンのカメラの仮想空間での位置姿勢行列Ｍおよび対象物体の点群空間での位置姿勢行列を受信した後、これら２つの位置姿勢行列に基づいて対象物体の仮想空間での位置姿勢行列(上記第２の目標位置姿勢行列に相当する)を算出すると理解することができる。
【0085】
ステップＳ６１６:ＡＲ ＳＤＫによって現実環境をリアルタイムに認識し、採集した画像データをリアルタイムに更新することにより、カメラの仮想空間での位置姿勢行列を更新し、現実環境の環境特徴情報に基づいて対象物体に対して運動追跡を行って、対象物体の仮想空間でのリアルタイム位置をアンカリングする。
【0086】
そのうち、上記現実環境の環境特徴情報は、採集した画像データの画像特徴情報に影響を与えて、さらに点群空間に表示される空間環境に影響を与えることがあり、上記現実環境の環境特徴情報は、環境の輝度特徴、環境の天気状態などを含んでもよく、これと対応して、採集した画像データの画像特徴情報は、画像の鮮明度、画像の明るさなどを含んでもよいが、本開示ではこれを限定しない。
【0087】
例えば、１つの実施例では、上記現実環境の天気状態が霧である場合、上記画像特徴情報における画像の鮮明度が低下し、構築された点群空間の完全性および鮮明度が低下する。
【0088】
１つの実施例では、対象物体の仮想空間でのリアルタイム位置をアンカリングする過程は、算出した対象物体の仮想空間での位置姿勢行列に基づいて、再測位時の対象物体の仮想空間での座標および回転角度と、前回の測位時の対象物体の仮想空間での座標および回転角度との誤差値を確定すると理解することができ、この誤差値は、対象物体が現実環境において運動することによって発生したアンカー誤差を表し、対象物体の仮想空間での座標および回転角度を、毎回の再測位時の対象物体の仮想空間での座標および回転角度にリアルタイムに更新することによって誤差値が存在するという問題を解決し、対象物体の仮想空間での再測位を実現することができる。
【0089】
ステップＳ６１８:一定の時間間隔を隔てて、またはボタンをクリックすることによって、再測位を行うようにクラウドをトリガーして、ステップＳ６０８を実行する。
【0090】
１つの実施例では、現実環境での対象物体への運動追跡過程および点群空間での対象物体への認識測位過程のいずれにおいても一定の偏差値が発生するため、点群空間において再測位を定期的かつ自動的にトリガーさせる機能を設定することにより、１回の再測位過程において対象物体の点群空間での位置姿勢情報をできるだけ多く取得して、偏差値の割合を低減させ、さらに対象物体の仮想空間での再測位の結果の正確性を向上させ、さらに、対象物体の仮想空間での測位時に測位位置が大幅にドリフトするという問題を解決して、ユーザのＡＲ体験を向上させた。
【0091】
そのうち、対象物体の点群空間での位置姿勢情報をできるだけ多く取得した後、合理的な範囲内の対象物体の点群空間での位置姿勢データに対して平均化処理を行い、すなわち、対象物体の位置姿勢行列における対応するオイラー角および並進ベクトルを平均化し、または発生したエラーデータをフィルタリングし、または画像データがクラウドに伝送される時の画像の上りフレームレートを調整することにより、対象物体の点群空間での位置姿勢情報の正確性を向上させることもできる。
【0092】
上記実施例では、対象物体の運動追跡過程と空間再測位過程はＡＲ ＳＤＫによって完成されるだけではなく、同時にクラウドのクラウド認識ライブラリを参照してスマートフォンに対して測位および登録を行い、対象物体の点群空間での位置姿勢情報を得て、さらに対象物体の点群空間から仮想空間への変換を完成することにより、ユーザがスマートフォンを用いて点群空間の異なる視角から同一の対象物体を観察する一致性を向上させた。
【0093】
また、上記実施例では、クラウド認識ライブラリを利用して対象物体の点群空間での位置姿勢情報をリアルタイムに更新することにより、空間運動追跡に誤差が生じるという問題も解決した。
【0094】
以上の実施形態の説明から、当業者は、上記実施例の方法がソフトウェアと必要な汎用ハードウェアプラットフォームとの組み合わせによって実現することができ、勿論、ハードウェアによって実現することもできるが、多くの場合では、前者がより好ましい実施形態であることを明らかに理解することができる。このような理解に基づいて、本開示の技術方案は、本質的に、または関連技術に貢献する部分がソフトウェア製品の形式で体現することができ、当該コンピュータソフトウェア製品は、記憶媒体(例えば、ＲＯＭ/ＲＡＭ、磁気ディスク、光ディスク)に記憶され、１台の端末装置(携帯電話、コンピュータ、サーバ、またはネットワーク装置等であってもよい)が本開示の各実施例に記載の方法を実行するように若干の指令を含む。
【0095】
本実施例は、上記実施例および好適な実施形態を実現するための対象物体の再測位装置をさらに提供し、既に説明したものについてその説明を省略する。以下に使用される「モジュール」という用語は、所定の機能のソフトウェアおよび/またはハードウェアの組み合わせを実現することができる。以下の実施例に記載の装置は、ソフトウェアによって実現することが好ましいが、ハードウェア、またはソフトウェアとハードウェアの組み合わせによる実現も可能であってかつ構想され得る。
【0096】
図７は、本開示の実施例に係る対象物体の再測位装置の構造を示すブロック図である。図７に示すように、対象物体の再測位装置は、
仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得するように設けられる送信モジュールであって、そのうち、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する、送信モジュール７０２と、
前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出するように設けられる取得モジュールであって、そのうち、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである、取得モジュール７０４と、
前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定するように設けられる確定モジュールであって、そのうち、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである、確定モジュール７０６と、
前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するように設けられる更新モジュールであって、そのうち、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である、更新モジュール７０８と、を含む。
仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得するように設けられる送信モジュールであって、そのうち、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する、送信モジュール７０２と、
前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出するように設けられる取得モジュールであって、そのうち、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである、取得モジュール７０４と、
前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定するように設けられる確定モジュールであって、そのうち、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである、確定モジュール７０６と、
前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するように設けられる更新モジュールであって、そのうち、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である、更新モジュール７０８と、を含む。
【0097】
なお、上記移動端末は、携帯電話、タブレット、ウェアラブルデバイス、スマートウォッチなどを含む移動端末装置として理解することができるが、これらに限定されない。上記移動端末は、受動的に動作するように設定されてもよく、能動的に動作するように設定されてもよい。移動端末が受動的に動作する場合、移動端末の使用対象は、人またはロボットを含んでもよい。上記移動端末には、撮影のためのカメラが設けられている。
【0098】
なお、上記カメラの位置姿勢情報は、カメラの位置とカメラの姿勢との総称として理解することができ、第１の空間の第１の座標系と第２の空間の第２の座標系との間の変換関係を説明したものであり、そのうち、カメラの第１の座標系での第１の座標が既知である場合、カメラの位置姿勢行列とカメラの第１の座標とは、変換行列によって変換することができる。
【0099】
上記の装置によれば、仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得し、そのうち、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置し、ステップ前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出し、そのうち、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものであり、前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定し、そのうち、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものであり、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新し、そのうち、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報であるようにすることにより、関連技術では、対象物体の仮想空間での測位精度が低いという技術問題を解決し、対象物体の仮想空間での測位精度を向上させた。
【0100】
なお、再測位過程は、本質的に２つの３次元空間でのカメラとコンテンツとの相対関係の統一である。従って、本実施例では、まず、点群空間と仮想空間との２つの３次元空間があり、そのうち、点群空間は、点群技術を用いて構築した３次元空間として理解することができ、点群空間で認識アルゴリズムを参照してカメラとコンテンツの位置姿勢情報を正確に得ることができる。仮想空間は、空間座標軸に基づいて構築した３次元空間として理解することができる。仮想空間での対象物体の位置がずれやすいことがあるため、仮想空間での対象物体を再測位する必要がある。
【0101】
なお、上記対象物体の位置姿勢情報の説明については、上記カメラの位置姿勢情報の説明過程を参照できるので、本開示ではその説明を省略する。
【0102】
１つの実施例では、点Ｐの第１の座標をＰwとすると、カメラの位置姿勢行列によって第１の座標Ｐwを点Ｐの第２の空間の座標系での第２の座標に変換することができ、第２の座標Ｐcは、以下のように表される。
【0103】
または、点Ｐを第２の座標系から第１の座標系に変換することができる。
【0104】
そのうち、Ｔcwは、点Ｐを第１の座標系から第２の座標系に変換する変換行列であり、Ｔwcは、点Ｐを第２の座標系から第１の座標系に変換する変換行列である。
【0105】
上記実施例に基づいて、第１の空間が点群空間を表し、第２の空間が仮想空間を表す場合、点群空間と仮想空間との間の対象物体の変換過程を実現することができる。
【0106】
上記更新モジュールは、さらに、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を第３の位置姿勢情報に更新し、前記第１のカメラ位置姿勢行列および前記第１の目標カメラ位置姿勢行列に基づいて第２の目標位置姿勢行列を確定し、そのうち、前記第２の目標位置姿勢行列は、前記前回の測位後の前記対象物体の前記仮想空間での前記第３の位置姿勢情報を示すためのものであることと、前記第２の位置姿勢情報と前記第３の位置姿勢情報との間の誤差値が第１の所定値よりも大きい場合、前記第２の位置姿勢情報を前記第３の位置姿勢情報に更新することと、を含むように設けられる。
【0107】
本実施例の技術案によれば、対象物体の仮想空間での位置姿勢情報が変化した場合、対象物体の仮想空間での位置姿勢情報を更新して、対象物体の測位位置を更新することができ、対象物体の測位精度をさらに向上させた。
【0108】
なお、上記誤差値のタイプは、角度誤差値および位置誤差値を含んでもよいが、本開示ではこれを限定しない。
【0109】
なお、誤差値のタイプに応じて上記第１の所定値を設定することができ、手動で設定してもよいし、履歴データによって確定してもよい。
【0110】
１つの実施例では、角度誤差値に対する第１の所定値の範囲は、[０,１]度であってもよく、位置誤差値に対する第１の所定値は、座標値で表されてもよく、第１の所定値の範囲、すなわち座標のオフセット範囲は[-１,１]である。
【0111】
上記の対象物体の再測位装置は、前記誤差値を用いて前記第３の位置姿勢情報を補償し、または前記誤差値に対応する補償パラメータを取得して、前記誤差値と前記補償パラメータとの除算値を用いて前記第３の位置姿勢情報を補償するように設けられる補償モジュールをさらに含む。本実施例の技術案によれば、更新後の対象物体の仮想空間での位置姿勢情報の誤差を低減させ、対象物体の仮想空間での位置姿勢情報の信頼度を向上させることができる。
【0112】
なお、上記補償パラメータは、誤差値に対する補償回数として理解することができ、誤差値に基づいて予め設定され、上記誤差値と正の相関関係を有するものであってもよく、例えば、上記誤差値が大きければ大きいほど、上記誤差値に対応する補償パラメータが大きくなる。
【0113】
上記の対象物体の再測位装置は、前記誤差値に対応する座標補償値を確定して、前記座標補償値を用いて前記第３の位置姿勢情報における空間座標を調整するように設けられる座標補償モジュールをさらに含む。本実施例の技術案によれば、更新後の対象物体の仮想空間での空間座標の誤差を低減させ、対象物体の仮想空間での位置姿勢情報の信頼度を向上させ、かつ対象物体の仮想空間での測位の正確性を向上させることができる。
【0114】
上記の対象物体の再測位装置は、前記誤差値に対応する角度補償値を確定して、前記角度補償値を用いて前記第３の位置姿勢情報における空間角度を調整するように設けられる角度補償モジュールであって、そのうち、前記角度補償値は、前記カメラの前回の測位時の空間角度と前記前回の測位後の空間角度との間の角度差を示すためのものである角度補償モジュールをさらに含む。本実施例の技術案によれば、更新後の対象物体の仮想空間での空間角度の誤差を低減させ、対象物体の仮想空間での位置姿勢情報の信頼度を向上させ、かつ対象物体の仮想空間での測位の正確性を向上させることができる。
【0115】
１つの実施例では、上記誤差値のタイプが角度誤差値である場合、角度誤差値を０.５度とし、かつ対応する補償回数を５とすると、角度誤差値を１度とした場合、対応する補償回数を１０とする。
【0116】
１つの実施例では、前記誤差値と前記補償パラメータとの除算値を用いて前記第３の位置姿勢情報を補償する過程は、角度誤差値と角度誤差値に対応する補償パラメータとを用いる過程と理解することができる。角度誤差値を０.５度とし、角度誤差値に対応する補償回数を５とする場合、０.５度を５で除算した値である０.１度を用いて上記第３の位置姿勢情報を補償することができる。幾つかの場合、第３の位置姿勢情報に対して５回の補償を行い、毎回の補償値を０.１度とすることができる。
【0117】
なお、上記座標補償値および上記角度補償値はそれぞれ上記誤差値と正の相関関係があるため、上記の座標補償値および角度補償値を用いて前記第３の位置姿勢情報を調整する過程は、角度誤差値および角度誤差値に対応する補償パラメータを用いる過程と類似する。他の実施例では、角度誤差値および角度誤差値に対応する補償パラメータを用いる過程を参照して、座標補償値および角度補償値を用いて前記第３の位置姿勢情報を調整する過程を得ることができる。
【0118】
上記の対象物体の再測位装置は、予め設定された条件が満たされた場合、前記仮想空間で前記対象物体を再測位するようにトリガーするトリガーモジュールをさらに含み、そのうち、前記予め設定された条件は、前記カメラによって撮影された前記現実空間内の画像の画像データが変化したことと、前記仮想空間での前記移動端末の位置が変化したことと、前記移動端末において、前記仮想空間での前記対象物体の再測位を要求するための再測位要求を受信したことと、前記仮想空間において前記対象物体に対する前回の測位を完了した後の時間長さが第１の所定時間以上となったことと、前記点群空間において前記対象物体に対する前回の測位を完了した後の時間長さが第２の所定時間以上となったこととのうちの１つを少なくとも含む。本実施例の技術案によれば、再測位のトリガー条件を提供することにより、再測位の応用シーンの豊かさを向上させ、再測位の技術案の応用範囲を拡大させた。
【0119】
なお、上記第１の所定時間は、１分間、２０分間、１時間などであってもよいが、本開示ではこれを限定しない。１つの実施例では、上記第１の所定時間が１分間である場合、仮想空間において対象物体に対する前回の測位を完了した後の時間長さが２分間であると、仮想空間での対象物体の再測位を要求するように移動端末をトリガーする。
【0120】
他の実施例では、上記第２の所定時間は、上記第１の所定時間の表現と類似し、上記第１の所定時間を参照して上記第２の所定時間の説明過程を理解することができるので、本開示ではその説明を省略する。
【0121】
前記第１の画像の取得方式は、前記移動端末における前記カメラが前記現実空間で撮影したビデオストリームのフレームレートが第２の所定値以上である場合、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する方式と、前記移動端末における前記カメラが前記現実空間で撮影したビデオストリームにおける無効フレーム画像の数が第３の所定値以下である場合、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する方式と、前記移動端末における前記カメラが前記現実空間で複数の画像を撮影した場合、前記複数の画像から画像ノイズの数が第４の所定値以下である画像を前記第１の画像として選択する方式とのうちの１つを含む。本実施例の技術案によれば、複数種の画像データの取得方式を提供することにより、画像データのデータ量を向上させ、異なる取得方式で得られた画像データを選択することにより、画像データの画像品質を向上させた。
【0122】
なお、上記第２の所定値は、２０フレーム/秒および２４フレーム/秒を含んでもよいが、本開示ではこれを限定しない。１つの実施例では、上記第２の所定値が２０フレーム/秒である場合、上記移動端末における上記カメラが上記現実空間で撮影したビデオストリームのフレームレートが１０フレーム/秒であると、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する。
【0123】
なお、上記第３の所定値の範囲は、[０,１００]であってもよいが、本開示ではこれを限定しない。１つの実施例では、上記第３の所定値が１００である場合、前記移動端末における前記カメラが前記現実空間で撮影したビデオストリームにおける無効フレーム画像の数が１０であると、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する。そのうち、無効フレーム画像は、画素情報が欠落したフレーム画像として理解することができる。
【0124】
なお、カメラにおけるセンサのサイズに応じて上記第４の所定値を設定してもよい。
【0125】
上記の対象物体の再測位装置は、前記第１の画像の画像データにおける各画素の空間点位置を算出して、前記空間点位置を用いて前記点群空間を構築し、かつ前記点群空間を可視的に前記移動端末に表示するように設けられる構築モジュールであって、そのうち、前記各画素の空間点位置は、前記第２のカメラ位置姿勢行列によって得られたものであり、前記点群空間は、前記移動端末の位置を原点とし、前記移動端末の進行方向をＺ軸方向とし、前記移動端末の上昇方向をＹ軸方向とする構築モジュールをさらに含む。本実施例の技術案によれば、第１の画像の画像データを用いて点群空間を構築し、かつ点群空間を可視的に表示することにより、使用対象のインタラクション体験を向上させた。
【0126】
１つの例示的な実施例では、上記コンピュータ可読記憶媒体は、ＵＳＢディスク、リードオンリーメモリ(Read-Only Memory、ＲＯＭと略称する)、ランダムアクセスメモリ(Random Access Memory、ＲＡＭと略称する)、リムーバブルハードディスク、磁気ディスクまたは光ディスクなどの様々なコンピュータプログラムを記憶可能な媒体であってもよいがこれらに限定されない。
【0127】
本実施例における具体的な例示は、上記実施例および例示的な実施形態に記載されている例示を参照できるので、本実施例ではその説明を省略する。
【0128】
本開示の実施例は、メモリとプロセッサとを含み、当該メモリには、コンピュータプログラムが記憶され、当該プロセッサは、コンピュータプログラムを実行することによって上記のいずれか１つの方法実施例におけるステップを実行するように設けられる電子装置をさらに提供する。
【0129】
選択的に、本実施例では、上記プロセッサは、コンピュータプログラムによって以下のステップを実行するように設けられてもよい。
【0130】
Ｓ１:仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得し、そのうち、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する。
【0131】
Ｓ２:前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出し、そのうち、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである。
【0132】
Ｓ３:前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定し、そのうち、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである。
【0133】
Ｓ４:前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新し、そのうち、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である。
【0134】
１つの例示的な実施例では、上記電子装置は、上記プロセッサに接続される伝送装置、および上記プロセッサに接続される入出力装置をさらに含んでもよい。
【0135】
本実施例における具体的な例示は、上記実施例および例示的な実施形態に記載されている例示を参照できるので、本実施例ではその説明を省略する。
【0136】
勿論、当業者が理解できるように、上記本開示の各モジュールまたは各ステップは、汎用のコンピューティング装置によって実現することができ、それらを単一のコンピューティング装置に集中させたり、複数のコンピューティング装置で構成されたネットワークに分布させたりすることができ、コンピューティング装置が実行可能なプログラムコードによって実現することができ、これにより、それらを記憶装置に記憶してコンピューティング装置が実行することができる。
【0137】
１つの実施例では、上記プログラムコードは、コンピュータプログラムによって以下のステップを実現するように設けられてもよい。
【0138】
Ｓ１:仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得し、そのうち、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する。
【0139】
Ｓ２:前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出し、そのうち、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである。
【0140】
Ｓ３:前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定し、そのうち、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである。
【0141】
Ｓ４:前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新し、そのうち、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である。
【0142】
そして、幾つかの場合では、示されたかまたは説明されたステップをここでの順序と異なる順序で実行することができ、または、それらをそれぞれ各集積回路モジュールに作成するか、またはそれらのうちの複数のモジュールまたはステップを単一の集積回路モジュールに作成して実現することができる。このように、本開示は、任意の特定のハードウェアとソフトウェアの組み合わせに限定されない。
【0143】
以上は、本開示の好適な実施例に過ぎず、本開示を限定するものではなく、当業者にとって、本開示に種々の変更や変化を加えることが可能である。本開示の原則内で行われたいかなる修正、同等置換、改良などは、いずれも本開示の保護範囲内に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2024-08-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得するステップであって、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する、ステップと、前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出するステップであって、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである、ステップと、
前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定するステップであって、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである、ステップと、
前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するステップであって、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である、ステップと、を含む、
対象物体の再測位方法。
【請求項2】
前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するステップは、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を第３の位置姿勢情報に更新するステップを含み、
前記第１のカメラ位置姿勢行列および前記第１の目標位置姿勢行列に基づいて第２の目標位置姿勢行列を確定するステップであって、前記第２の目標位置姿勢行列は、前記前回の測位後の前記対象物体の前記仮想空間での前記第３の位置姿勢情報を示すためのものであるステップと、
前記第２の位置姿勢情報と前記第３の位置姿勢情報との間の誤差値が第１の所定値よりも大きい場合、前記第２の位置姿勢情報を前記第３の位置姿勢情報に更新するステップと、を含む、
請求項１に記載の対象物体の再測位方法。
【請求項3】
前記誤差値を用いて前記第３の位置姿勢情報を補償するステップ、または、前記誤差値に対応する補償パラメータを取得し、前記誤差値と前記補償パラメータとの除算値を用いて前記第３の位置姿勢情報を補償するステップをさらに含む、
請求項２に記載の対象物体の再測位方法。
【請求項4】
前記誤差値を用いて前記第３の位置姿勢情報を補償するステップは、前記誤差値に対応する座標補償値を確定するステップと、
前記座標補償値を用いて前記第３の位置姿勢情報における空間座標を調整するステップと、を含む、
請求項３に記載の対象物体の再測位方法。
【請求項5】
前記誤差値を用いて前記第３の位置姿勢情報を補償するステップは、前記誤差値に対応する角度補償値を確定するステップであって、前記角度補償値は、前記カメラの前回の測位時の空間角度と前記前回の測位後の空間角度との間の角度差を示すためのものであるステップと、
前記角度補償値を用いて前記第３の位置姿勢情報における空間角度を調整するステップと、を含む、
請求項３に記載の対象物体の再測位方法。
【請求項6】
予め設定された条件が満たされた場合、前記仮想空間で前記対象物体を再測位するようにトリガーするステップをさらに含み、前記予め設定された条件は、
前記カメラによって撮影された前記現実空間内の画像の画像データが変化したことと、
前記仮想空間での前記移動端末の位置が変化したことと、
前記移動端末において、前記仮想空間での前記対象物体の再測位を要求するための再測位要求を受信したことと、
前記仮想空間において前記対象物体に対する前回の測位を完了した後の時間長さが第１の所定時間以上となったことと、
前記点群空間において前記対象物体に対する前回の測位を完了した後の時間長さが第２の所定時間以上となったことと、のうちの１つを少なくとも含む、
請求項１に記載の対象物体の再測位方法。
【請求項7】
前記第１の画像の取得方式は、前記移動端末における前記カメラが前記現実空間で撮影したビデオストリームのフレームレートが第２の所定値以上である場合、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する方式と、
前記移動端末における前記カメラが前記現実空間で撮影したビデオストリームにおける無効フレーム画像の数が第３の所定値以下である場合、前記ビデオストリームから１フレームの画像を前記第１の画像として選択する方式と、
前記移動端末における前記カメラが前記現実空間で複数の画像を撮影した場合、前記複数の画像から画像ノイズの数が第４の所定値以下である画像を前記第１の画像として選択する方式と、のうちの１つを含む、
請求項１に記載の対象物体の再測位方法。
【請求項8】
前記第１の画像の画像データにおける各画素の空間点位置を算出して、前記空間点位置を用いて前記点群空間を構築するステップであって、前記各画素の空間点位置は、前記第２のカメラ位置姿勢行列によって得られたものであるステップと、前記点群空間を可視的に前記移動端末に表示するステップであって、前記点群空間は、前記移動端末の位置を原点とし、前記移動端末の進行方向をＺ軸方向とし、前記移動端末の上昇方向をＹ軸方向とするステップと、を含む、
請求項１に記載の対象物体の再測位方法。
【請求項9】
仮想空間で対象物体を再測位する場合、第１のカメラ位置姿勢行列および第１の画像を取得するように設けられる送信モジュールであって、前記第１のカメラ位置姿勢行列は、前記仮想空間で前記対象物体に対して前回の測位を行った時の移動端末におけるカメラの前記仮想空間での位置姿勢情報を示すためのものであり、前記第１の画像は、前記前回の測位を行った後に前記カメラが現実空間で撮影した画像であり、前記対象物体は、前記現実空間に位置する、送信モジュールと、前記第１のカメラ位置姿勢行列および前記第１の画像に基づいて第２のカメラ位置姿勢行列を算出するように設けられる取得モジュールであって、前記第２のカメラ位置姿勢行列は、前記カメラが前記第１の画像を撮影した時の前記カメラの点群空間での対応する位置姿勢情報を示すためのものである、取得モジュールと、
前記第２のカメラ位置姿勢行列に基づいて第１の目標位置姿勢行列を確定するように設けられる確定モジュールであって、前記第１の目標位置姿勢行列は、前記対象物体の前記点群空間での第１の位置姿勢情報を示すためのものである、確定モジュールと、
前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するように設けられる更新モジュールであって、前記第２の位置姿勢情報は、前記前回の測位時に得られた前記対象物体の前記仮想空間での位置姿勢情報である、更新モジュールと、を含む、
対象物体の再測位装置。
【請求項10】
コンピュータプログラムが記憶されるコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラムは、実行される時に請求項１～８のいずれか１項に記載の方法を実現するように設けられる、
コンピュータ読取可能な記憶媒体。
【請求項11】
メモリとプロセッサとを含み、前記メモリには、コンピュータプログラムが記憶され、
前記プロセッサは、前記コンピュータプログラムを実行することによって請求項１～８のいずれか１項に記載の方法を実現するように設けられる、
電子装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【0048】
１つの例示的な実施例では、上記のステップＳ５０８においてどのように前記第１の目標位置姿勢行列に基づいて前記対象物体の前記仮想空間での第２の位置姿勢情報を更新するかをよりよく理解するために、具体的に、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を第３の位置姿勢情報に更新するステップを含み、前記第１のカメラ位置姿勢行列および前記第１の目標位置姿勢行列に基づいて第２の目標位置姿勢行列を確定するステップであって、前記第２の目標位置姿勢行列は、前記前回の測位後の前記対象物体の前記仮想空間での前記第３の位置姿勢情報を示すためのものであるステップと、前記第２の位置姿勢情報と前記第３の位置姿勢情報との間の誤差値が第１の所定値よりも大きい場合、前記第２の位置姿勢情報を前記第３の位置姿勢情報に更新するステップと、を含む技術案を提供する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【0106】
上記更新モジュールは、さらに、前記第１の目標位置姿勢行列に基づいて、前記対象物体の前記仮想空間での第２の位置姿勢情報を第３の位置姿勢情報に更新し、前記第１のカメラ位置姿勢行列および前記第１の目標位置姿勢行列に基づいて第２の目標位置姿勢行列を確定し、そのうち、前記第２の目標位置姿勢行列は、前記前回の測位後の前記対象物体の前記仮想空間での前記第３の位置姿勢情報を示すためのものであることと、前記第２の位置姿勢情報と前記第３の位置姿勢情報との間の誤差値が第１の所定値よりも大きい場合、前記第２の位置姿勢情報を前記第３の位置姿勢情報に更新することと、を含むように設けられる。
【国際調査報告】