特開 2022-132063 拡張現実提供装置のポーズ決定方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022132063

(43)【公開日】2022-09-07

(54)【発明の名称】拡張現実提供装置のポーズ決定方法及び装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220831BHJP

   G06T 7/20 20170101ALI20220831BHJP

   G06T 7/60 20170101ALI20220831BHJP

【ＦＩ】

G06T7/70

G06T7/20 100

G06T7/60 300Z

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2021187636

(22)【出願日】2021-11-18

(31)【優先権主張番号】10-2021-0026726

(32)【優先日】2021-02-26

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】司空 棟▲ふん▼

(72)【発明者】

【氏名】朱 浩進

(72)【発明者】

【氏名】皮 在桓

(72)【発明者】

【氏名】張 現盛

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096CA27

5L096DA02

5L096FA12

5L096FA67

5L096FA69

5L096JA11

5L096JA16

(57)【要約】

【課題】拡張現実提供装置のポーズ決定方法及び装置を提供すること。
【解決手段】拡張現実提供装置のポーズ決定方法は、前記拡張現実提供装置の動きセンサを用いて拡張現実提供装置の動き情報を推定するステップと、動き情報に基づいて拡張現実提供装置の第１ポーズ情報を決定するステップと、拡張現実提供装置のイメージセンサを介して現在映像フレームを取得するステップと、現在映像フレームでオブジェクトの特徴点を抽出するステップと、抽出された特徴点とオブジェクトに対して予め定義された特徴点位置情報に基づいて拡張現実提供装置の第２ポーズ情報を推定するステップと、動き情報と特徴点の抽出情報に基づいて第１ポーズ情報及び第２ポーズ情報それぞれの信頼度値を決定するステップと、第１ポーズ情報、第２ポーズ情報、及び信頼度値に基づいて拡張現実提供装置のポーズを決定するステップと、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

拡張現実提供装置のポーズ決定方法であって、
前記拡張現実提供装置の動きセンサを用いて、前記拡張現実提供装置の動き情報を推定するステップと、
前記動き情報に基づいて、前記拡張現実提供装置の第１ポーズ情報を決定するステップと、
前記拡張現実提供装置のイメージセンサを介して、現在映像フレームを取得するステップと、
前記現在映像フレームからオブジェクトの特徴点を抽出するステップと、
前記抽出された特徴点および前記オブジェクトに対して予め定義された特徴点位置情報に基づいて、前記拡張現実提供装置の第２ポーズ情報を推定するステップと、
前記動き情報および前記特徴点の抽出情報に基づいて、前記第１ポーズ情報および前記第２ポーズ情報それぞれの信頼度値を決定するステップと、
前記第１ポーズ情報、前記第２ポーズ情報、及び前記信頼度値に基づいて、前記拡張現実提供装置のポーズを決定するステップと、
を含む、方法。

【請求項2】

前記信頼度値を決定するステップは、
前記動き情報に基づいて推定された現在時点における前記オブジェクトの特徴点位置と、前記特徴点の抽出情報による前記現在時点における前記オブジェクトの特徴点位置との間の差に基づいて前記信頼度値を決定するステップ、を含む、
請求項１に記載の方法。

【請求項3】

前記信頼度値を決定するステップは、
前記差が条件を満たす場合、前記第１ポーズ情報の信頼度値を前記第２ポーズ情報の信頼度値よりも高く決定するステップを、含む、
請求項２に記載の方法。

【請求項4】

前記信頼度値を決定するステップは、
前記動き情報による前記拡張現実提供装置の動き程度に基づいて、前記信頼度値を決定するステップ、を含む、
請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

前記信頼度値を決定するステップは、
前記動き程度が条件を満たす場合、前記第１ポーズ情報の信頼度値を前記第２ポーズ情報の信頼度値よりも高く決定するステップ、を含む、
請求項４に記載の方法。

【請求項6】

前記信頼度値を決定するステップは、
前記現在映像フレーム内に前記オブジェクトが位置し、前記現在映像フレームの映像品質が条件を満たす場合、前記第２ポーズ情報の信頼度値を前記第１ポーズ情報の信頼度値よりも高く決定するステップ、を含む、
請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

前記信頼度値を決定するステップは、
カルマンフィルター（Ｋａｌｍａｎ ｆｉｌｔｅｒ）を用いて前記信頼度値を決定するステップ、を含む、
請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

前記信頼度値を決定するステップは、
前記オブジェクトの特徴点それぞれの動き速度に基づいて、前記オブジェクトの特徴点それぞれの信頼度値を決定するステップ、を含む、
請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

前記信頼度値を決定するステップは、
前記特徴点の抽出情報及び前記動き情報のうち少なくとも１つがアップデートされた場合、前記第１ポーズ情報及び第２ポーズ情報のうち少なくとも１つの信頼度値を再び決定するステップ、を含む、
請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

前記拡張現実提供装置のポーズを決定するステップは、
前記第１ポーズ情報と前記第２ポーズ情報それぞれの信頼度値に基づいて、前記第１ポーズ情報と前記第２ポーズ情報を組み合わせることで、前記拡張現実提供装置のポーズを決定するステップ、を含む、
請求項１乃至９のいずれか一項に記載の方法。

【請求項11】

前記予め定義された特徴点位置情報は、前記オブジェクトが基準ポーズにあるときの前記オブジェクトの表面上に位置する基準特徴点の３次元座標情報を示す、
請求項１乃至１０のいずれか一項に記載の方法。

【請求項12】

前記第１ポーズ情報を決定するステップは、
以前映像フレームから抽出された前記オブジェクトの特徴点と前記動き情報に基づいて、前記第１ポーズ情報を決定するステップ、を含む、
請求項１乃至１１のいずれか一項に記載の方法。

【請求項13】

前記第２ポーズ情報を推定するステップは、
前記抽出された特徴点と前記基準特徴点との間に互いに対応する特徴点の位置差に基づいて、前記第２ポーズ情報を推定するステップ、を含む、
請求項１１に記載の方法。

【請求項14】

前記拡張現実提供装置のポーズを決定するステップは、
前記拡張現実提供装置の位置および姿勢を示す特徴値を決定するステップ、を含む、
請求項１乃至１３のいずれか一項に記載の方法。

【請求項15】

請求項１乃至１４のいずれか一項に記載の方法を実行するための命令語を含む１つ以上のコンピュータプログラムを格納した、
コンピュータで読み出し可能な記録媒体。

【請求項16】

拡張現実提供装置のポーズを決定するポーズ決定装置であって、
前記拡張現実提供装置の動き情報を測定する動きセンサと、
前記拡張現実提供装置の周辺のうち少なくとも一部を撮影して、現在映像フレームを取得するイメージセンサと、
前記測定した動き情報および前記取得された現在映像フレームに基づいて、前記拡張現実提供装置のポーズを決定するプロセッサと、を含み、
前記プロセッサは、
前記動き情報に基づいて、前記拡張現実提供装置の第１ポーズ情報を決定し、
前記現在映像フレームからオブジェクトの特徴点を抽出し、
前記抽出された特徴点と前記オブジェクトに対して予め定義された特徴点位置情報に基づいて、前記拡張現実提供装置の第２ポーズ情報を推定し、
前記動き情報と前記特徴点の抽出情報に基づいて、前記第１ポーズ情報と前記第２ポーズ情報それぞれの信頼度値を決定し、
前記第１ポーズ情報、前記第２ポーズ情報、及び前記信頼度値に基づいて、前記拡張現実提供装置の前記ポーズを決定する、
装置。

【請求項17】

前記プロセッサは、
前記動き情報に基づいて推定された現在時点における前記オブジェクトの特徴点位置と、前記特徴点の抽出情報による前記現在時点における前記オブジェクトの特徴点位置との間の差が条件を満たす場合、前記第１ポーズ情報の信頼度値を前記第２ポーズ情報の信頼度値よりも高く決定する、
請求項１６に記載の装置。

【請求項18】

前記プロセッサは、
前記動き情報による前記拡張現実提供装置の動き程度が条件を満たす場合、前記第１ポーズ情報の信頼度値を前記第１ポーズ情報の信頼度値よりも高く決定する、
請求項１６又は１７に記載の装置。

【請求項19】

前記プロセッサは、
前記現在映像フレーム内に前記オブジェクトが位置し、前記現在映像フレームの映像品質が条件を満たす場合、前記第２ポーズ情報の信頼度値を前記第１ポーズ情報の信頼度値よりも高く決定する、
請求項１６乃至１８のいずれか一項に記載の装置。

【請求項20】

拡張現実提供装置であって、
前記拡張現実提供装置の動き情報を測定する動きセンサと、
前記拡張現実提供装置の周辺のうち少なくとも一部を撮影して、現在映像フレームを取得するイメージセンサと、
前記動き情報による前記拡張現実提供装置のポーズを推定し、前記推定されたポーズにより、実際のオブジェクトに整合される拡張現実コンテンツを生成するプロセッサと、
前記拡張現実コンテンツを可視化するディスプレイと、を含み、
前記プロセッサは、
前記動き情報に基づいて、前記拡張現実提供装置の第１ポーズ情報を決定し、
前記現在映像フレームから前記実際のオブジェクトの特徴点を抽出し、
前記抽出された特徴点と前記実際のオブジェクトに対して予め定義された特徴点位置情報に基づいて、前記拡張現実提供装置の第２ポーズ情報を推定し、
前記動き情報と前記特徴点の抽出情報に基づいて、前記第１ポーズ情報と前記第２ポーズ情報それぞれの信頼度値を決定し、
前記第１ポーズ情報、前記第２ポーズ情報、及び前記信頼度値に基づいて、前記拡張現実提供装置の前記ポーズを決定する、
装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実提供装置のポーズを決定する技術及び拡張現実提供技術に関する。

【背景技術】

【0002】

最近、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）、又は混合現実（ｍｉｘｅｄ ｒｅａｌｉｔｙ、ＭＲ）を実現できる電子機器が開発され、これに対する関心が高まっている。このうち、拡張現実は、現実世界の環境上に仮想のオブジェクトや情報を結合して表示するディスプレイ技術である。拡張現実は、様々な現実環境に応用できる長所があり、ユビキタス環境やモノのインターネット環境に適した次世代ディスプレイ技術として注目を浴びている。拡張現実は、外部の全景と仮想映像の結合によりユーザへの新しい経験を提供し、情報をより効率的かつ実感できるように伝える手段となり得る。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の目的は、拡張現実提供装置のポーズを決定する技術及び拡張現実提供技術を提供することにある。

【課題を解決するための手段】

【0004】

一実施形態に係る拡張現実提供装置のポーズ決定方法は、前記拡張現実提供装置の動きセンサを用いて前記拡張現実提供装置の動き情報を推定するステップと、前記動き情報に基づいて前記拡張現実提供装置の第１ポーズ情報を決定するステップと、前記拡張現実提供装置のイメージセンサを介して現在映像フレームを取得するステップと、前記現在映像フレームからオブジェクトの特徴点を抽出するステップと、前記抽出された特徴点と前記オブジェクトに対して予め定義された特徴点位置情報に基づいて、前記拡張現実提供装置の第２ポーズ情報を推定するステップと、前記動き情報と前記特徴点の抽出情報に基づいて、前記第１ポーズ情報と前記第２ポーズ情報それぞれの信頼度値を決定するステップと、前記第１ポーズ情報、前記第２ポーズ情報、及び前記信頼度値に基づいて、前記拡張現実提供装置のポーズを決定するステップと、を含む。

【0005】

前記信頼度値を決定するステップは、前記動き情報に基づいて推定された現在時点における前記オブジェクトの特徴点位置と、前記特徴点の抽出情報による前記現在時点における前記オブジェクトの特徴点位置との間の差に基づいて、前記信頼度値を決定するステップ、を含むことができる。

【0006】

前記信頼度値を決定するステップは、前記差が条件を満たす場合、前記第１ポーズ情報の信頼度値を前記第２ポーズ情報の信頼度値よりも高く決定するステップ、を含むことができる。

【0007】

前記信頼度値を決定するステップは、前記動き情報による前記拡張現実提供装置の動き程度に基づいて前記信頼度値を決定するステップ、を含むことができる。

【0008】

前記信頼度値を決定するステップは、前記動き程度が条件を満たす場合、前記第１ポーズ情報の信頼度値を前記第２ポーズ情報の信頼度値よりも高く決定するステップ、を含むことができる。

【0009】

前記拡張現実提供装置のポーズを決定するステップは、前記第１ポーズ情報と前記第２ポーズ情報それぞれの信頼度値に基づいて、前記第１ポーズ情報と前記第２ポーズ情報を組み合わせることで前記拡張現実提供装置のポーズを決定するステップ、を含むことができる。

【0010】

前記予め定義された特徴点位置情報は、前記オブジェクトが基準ポーズにあるときの前記オブジェクトの表面上に位置する基準特徴点の３次元座標情報を示してもよい。

【0011】

一実施形態に係る拡張現実提供装置のポーズを決定するポーズ決定装置は、前記拡張現実提供装置の動き情報を測定する動きセンサと、前記拡張現実提供装置の周辺のうち少なくとも一部を撮影して現在映像フレームを取得するイメージセンサと、前記測定した動き情報及び前記取得された現在映像フレームに基づいて、前記拡張現実提供装置のポーズを決定するプロセッサと、を含む。前記プロセッサは、前記動き情報に基づいて、前記拡張現実提供装置の第１ポーズ情報を決定し、前記現在映像フレームからオブジェクトの特徴点を抽出し、前記抽出された特徴点と前記オブジェクトに対して予め定義された特徴点位置情報に基づいて、前記拡張現実提供装置の第２ポーズ情報を推定し、前記動き情報と前記特徴点の抽出情報に基づいて、前記第１ポーズ情報と前記第２ポーズ情報それぞれの信頼度値を決定し、前記第１ポーズ情報、前記第２ポーズ情報、及び前記信頼度値に基づいて、前記拡張現実提供装置の前記ポーズを決定する。

【0012】

一実施形態に係る拡張現実提供装置は、前記拡張現実提供装置の動き情報を測定する動きセンサと、前記拡張現実提供装置の周辺のうち少なくとも一部を撮影して現在映像フレームを取得するイメージセンサと、前記動き情報による前記拡張現実提供装置のポーズを推定し、前記推定されたポーズにより実際のオブジェクトに整合される拡張現実コンテンツを生成するプロセッサと、前記拡張現実コンテンツを可視化するディスプレイと、を含む。前記プロセッサは、前記動き情報に基づいて、前記拡張現実提供装置の第１ポーズ情報を決定し、前記現在映像フレームから前記実際のオブジェクトの特徴点を抽出し、前記抽出された特徴点と前記実際のオブジェクトに対して予め定義された特徴点位置情報に基づいて、前記拡張現実提供装置の第２ポーズ情報を推定し、前記動き情報と前記特徴点の抽出情報に基づいて、前記第１ポーズ情報と前記第２ポーズ情報それぞれの信頼度値を決定し、前記第１ポーズ情報、前記第２ポーズ情報、及び前記信頼度値に基づいて、前記拡張現実提供装置の前記ポーズを決定する。

【発明の効果】

【0013】

一実施形態によれば、イメージデータと動きデータを共に用いて拡張現実提供装置のポーズを推定することで、ポーズを正確かつ効率よく推定することができる。

【0014】

一実施形態によれば、ポーズ決定装置は、信頼度値に基づいて動き情報から決定された第１ポーズ情報と、イメージデータから決定された第２ポーズ情報とを状況に応じて適応的に利用することで、ポーズの推定結果の正確度を改善させることができる。

【0015】

一実施形態によれば、ポーズ決定装置は、時間による相対的な動き変化量を累積してポーズを算出しないため、時間に応じてポーズの誤差が累積することなく、高い正確度でポーズを算出することができる。

【0016】

一実施形態によれば、ポーズ決定装置は、拡張現実提供装置のポーズを推定することにおいて、オブジェクトに対して予め定義された基準特徴点の位置情報を使用することで、ポーズの推定の正確度を高めることができる。

【図面の簡単な説明】

【0017】

【図1】一実施形態に係る拡張現実提供装置の概要（ｏｖｅｒｖｉｅｗ）を説明するための図である。

【図2】一実施形態に係る拡張現実提供装置の概要を説明するための図である。

【図3】一実施形態に係るポーズ決定装置の構成を示すブロック図である。

【図4】一実施形態に係る拡張現実提供装置のポーズ決定方法を説明するためのフローチャートである。

【図5】一実施形態に係る信頼度値を算出する動作を説明するためのフローチャートである。

【図6】他の実施形態に係る信頼度値を算出する動作を説明するためのフローチャートである。

【図7】他の実施形態に係るポーズ決定装置の構成を示すブロック図である。

【図8】一実施形態に係る拡張現実提供装置の構成を示すブロック図である。

【発明を実施するための形態】

【0018】

本明細書で開示する特定の構造的又は機能的な説明は、単に実施形態を説明するための目的として例示したものであり、実施形態は、様々な異なる形態で実施される。本発明は、本明細書で説明した実施形態に限定されるものではなく、本発明の範囲は、実施形態で説明する技術的な思想に含まれている変更、均等物、または代替物を含む。

【0019】

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は、１つの構成要素を他の構成要素から区別することだけを目的として解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。

【0020】

いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

【0021】

単数の表現は、文脈上明白に異なる意味をもたない限り、複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0022】

異なるように定義がなされない限り、技術的であるか又は科学的な用語を含む、ここで用いられる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

【0023】

以下に、添付する図面を参照しながら実施形態を詳細に説明する。添付図面を参照して説明することにおいては、図面符号に関係なく、同一の構成要素には同一の参照符号を付与し、これに対する重複する説明は省略することにする。

【0024】

図１及び図２は、一実施形態に係る拡張現実提供装置の概要を説明するための図である。

【0025】

図１を参照すると、拡張現実提供装置１１０は、ユーザ１００に拡張現実サービスを提供する装置である。拡張現実サービスは、ユーザ１００が見ている現実世界のイメージに仮想のイメージを重ねて示すサービスである。拡張現実提供装置１１０は、ディスプレイ１１５を介して、現実世界のイメージと共に、実際のオブジェクト１２０に関するコンテンツを含む仮想のイメージをユーザに提供することができる。ユーザ１１０によって見られる仮想のイメージは、２Ｄ又は３Ｄイメージであってもよく、固定されたイメージ又はアニメーションのような動的なイメージであってもよい。拡張現実提供装置１１０は、例えば、メガネ型装置、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）などのようにユーザ１００に着用され得るウェアラブル装置であってもよい。

【0026】

図２を参照すると、拡張現実提供装置１１０のディスプレイ１１５を介して提供される、拡張現実コンテンツ２１０の一例が図示されている。拡張現実コンテンツ２１０は、ユーザ１００が見ている現実世界のオブジェクト１２０に、仮想情報を含む仮想のイメージ２２０を整合して形成されている。拡張現実コンテンツ２１０は、例えば、現実世界のオブジェクト１２０から実感できる仮想オブジェクトを複製するものであるが、オブジェクト１２０上に仮想のコンピュータグラフィック効果を実現（例えば、実際の機械装置上にガイドブックのような付加情報を仮想のイメージで実現）すること、などを含む。

【0027】

ユーザ１００が頭部又は視線を動かす場合、ユーザがオブジェクト１２０を見ていた視線方向が変わるので、ユーザ１００に高精密の拡張現実コンテンツ２１０を提供するためには、視線方向の変化に応じて仮想のイメージ２２０を細かく調整しなければならない。ここで、オブジェクト１２０と仮想のイメージ２２０との間の自然な整合のためには、視線方向の変化を精密に測定することが求められる。実感できる拡張現実コンテンツを実現するためには、ユーザ１００がオブジェクト１２０を見ている場面から仮想のイメージ２２０を正確な位置に表現しなければならない。

【0028】

拡張現実提供装置１１０は、拡張現実提供装置１１０のポーズ（ｐｏｓｅ）を決定する装置であるポーズ決定装置（例えば、図７に示すポーズ決定装置７００）を含んでもよい。ポーズ決定装置は、拡張現実提供装置１１０の位置測定（ｌｏｃａｌｉｚａｔｉｏｎ）を行い、位置測定結果は、ユーザ１００の頭部の動きやユーザ１００が見ている方向を推定するために用いられてもよい。ポーズ決定装置によって決定される拡張現実提供装置１１０のポーズは、拡張現実提供装置１１０の位置及び姿勢に関する情報を含み、６自由度（ｄｅｇｒｅｅｓ ｏｆ ｆｒｅｅｄｏｍ、ＤｏＦ）として表現されてもよい。拡張現実提供装置１１０のポーズは、ユーザ１００のポーズ又は拡張現実提供装置１１０に含まれているイメージセンサ（例えば、カメラ）のポーズに対応する。

【0029】

ポーズ決定装置は、イメージセンサによって取得されたイメージデータと動きセンサによって取得された動きデータを用いて、拡張現実提供装置１１０のポーズを決定することができる。ポーズ決定装置は、イメージデータと動きデータを共に利用することで拡張現実提供装置１１０のポーズを正確かつ効率よく推定できる。イメージセンサと動きセンサは、拡張現実提供装置１１０に含まれてもよい。イメージセンサは、拡張現実提供装置１１０の周辺領域のうち少なくとも一部の領域（例、ユーザ１００の前方領域）を撮影してイメージデータを取得する。動きセンサは、拡張現実提供装置１１０又はユーザ１００の動きを測定し、加速度センサとジャイロ（ｇｙｒｏ）センサを含む慣性センサ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ ｓｅｎｓｏｒ）を含んでもよい。

【0030】

ポーズ決定装置は、動きデータに基づいて拡張現実提供装置１１０の第１ポーズ情報を決定し、イメージデータに基づいて拡張現実提供装置１１０の第２ポーズ情報を決定する。第１ポーズ情報は、動きセンサ基盤のポーズ測定値に対応し、第２ポーズ情報は、イメージセンサ基盤のポーズ測定値に対応する。

【0031】

ポーズ決定装置は、拡張現実提供装置１１０の以前時間の位置に以前時間から現在時間までの動きを反映して第１ポーズ情報を決定する。ポーズ決定装置は、第２ポーズ情報を決定するとき、オブジェクト１２０に対する事前情報（ａｄｖａｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）を用いてポーズを推定することができる。事前情報は、オブジェクト１２０が基準ポーズにあるときのオブジェクト１２０の表面上に位置する基準特徴点の３次元座標情報を含んでもよい。事前情報を使用することで、迅速かつ精密に第２ポーズ情報を決定することができる。ポーズ決定装置は、オブジェクト１２０を撮影したイメージデータからオブジェクト１２０の特徴点２３２，２３３，２３４，２３５，２３６，２３７，２３８を抽出し、抽出された特徴点２３２，２３３，２３４，２３５，２３６，２３７，２３８と、事前情報として予め定義されたオブジェクト１２０の基準特徴点との間の位置関係を比較して第２ポーズ情報を決定する。本明細書において「特徴点」は、ランドマーク（ｌａｎｄｍａｒｋ）のように称してもよい。その後、ポーズ決定装置は、第１ポーズ情報及び第２ポーズ情報それぞれの信頼度値を決定し、決定された信頼度値に基づいて拡張現実提供装置１１０の最終ポーズを決定する。このような拡張現実提供装置１１０のポーズ決定過程について、以下に、図３～図６を参照して詳しく説明する。

【0032】

図３は、一実施形態に係るポーズ決定装置の構成を示すブロック図である。

【0033】

図３を参照すると、ポーズ決定装置は、動き情報決定器３３０、オブジェクト特徴点抽出器３４０、信頼度決定器３５０、及びポーズ決定器３６０を含む。ポーズ決定装置は、動きセンサ（例えば、ＩＭＵセンサ）３１０の検出情報とイメージセンサ３２０の検出情報を用いて、拡張現実提供装置（例えば、図１に示す拡張現実提供装置１１０）のポーズを決定する。

【0034】

動きセンサ３１０は、加速度センサとジャイロセンサを含んでもよく、拡張現実提供装置に内蔵されてもよい。加速度センサによって測定された加速度測定情報及びジャイロセンサによって測定された角速度測定情報は、動き情報決定器３３０に伝達される。動き情報決定器３３０は、動きセンサ３１０から拡張現実提供装置の動き測定値を受信し、受信した動き測定値に基づいて拡張現実提供装置の動き情報を推定することができる。

【0035】

動き情報決定器３３０は、動きセンサ３１０の検出情報を用いて拡張現実提供装置の動き情報（例えば、加速度、速度、角速度情報）を推定し、アップデートする。動き情報決定器３３０は、加速度センサから拡張現実提供装置の並進運動に関する加速度及び／又は速度の測定値を取得し、取得された測定値に基づいて拡張現実提供装置の動きの加速度及び速度を算出する。動き情報決定器３３０は、ジャイロセンサから拡張現実提供装置の回転運動に関する角速度の測定値を取得し、取得した測定値に基づいて拡張現実提供装置の動きの角速度を算出する。動き情報決定器３３０は、推定した拡張現実提供装置の動き情報をポーズ決定器３６０に伝達する。動き情報決定器３３０は、ポーズ決定器３６０から動き情報のエラーを矯正（ｃｏｒｒｅｃｔｉｏｎ）するための矯正情報を受信し、受信した矯正情報に基づいて動き情報の算出を矯正する。このような矯正を通じて拡張現実提供装置の動き情報がより正確に決定され得る。

【0036】

イメージセンサ３２０は、１つ以上のカメラを含み、カラーイメージ又は白黒イメージのイメージデータを取得してもよい。イメージセンサ３２０によって取得されるイメージデータは、互いに異なる時間で取得された複数の映像フレームを含んでもよい。イメージセンサ３２０によって取得されたイメージデータは、オブジェクト特徴点抽出器３４０に伝達される。

【0037】

オブジェクト特徴点抽出器３４０は、イメージデータでオブジェクトの特徴点を抽出する。オブジェクト特徴点抽出器３４０は、イメージデータで予め定義されたオブジェクトの特徴点の位置を２次元の座標で探知してもよい。オブジェクト特徴点抽出器３４０は、例えば、ハリスコーナー（Ｈａｒｒｉｓ ｃｏｎｎｅｒ）特徴点検出アルゴリズム、ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）特徴点検出アルゴリズム、及び／又は、ニューラルネットワークを用いた特徴点検出アルゴリズムなどを用いて特徴点を抽出することができる。但し、実施形態の範囲は、このような特徴点検出アルゴリズムに限定されるのではなく、他の様々な特徴点検出アルゴリズムが用いられてもよい。

【0038】

信頼度決定器３５０は、動き情報決定器３３０から動き情報を受信し、オブジェクト特徴点抽出器３４０からオブジェクトの特徴点の抽出情報を受信して、リアルタイムで信頼度値を決定することができる。信頼度決定器３５０は、動き情報に基づいて推定された拡張現実提供装置の第１ポーズ情報と、特徴点の抽出結果に基づいて推定された拡張現実提供装置の第２ポーズ情報それぞれの信頼度値（又は、重要度）を決定する。第１ポーズ情報の信頼度値は、第１ポーズ情報がどれ程信頼できるか、又は、どれ程正確であるかに対する推定値又は確率値を示し、第２ポーズ情報の信頼度値は、第２ポーズ情報がどれ程信頼できるか、又は、どれ程正確であるかに対する推定値又は確率値を示す。

【0039】

第１ポーズ情報は、以前時間で決定された拡張現実提供装置のポーズ情報に動き情報による拡張現実提供装置の移動値を適用することで決定されてもよい。第２ポーズ情報は、オブジェクト特徴点抽出器３４０によって抽出された特徴点の位置と、オブジェクトに対して予め定義された基準特徴点の位置との間の比較結果に基づいて決定される。予め定義された特徴点位置に関する情報は、予め知っているオブジェクトが基準ポーズ（ｒｅｆｅｒｅｎｃｅ ｐｏｓｅ）にあるときのオブジェクトの表面上に位置する基準特徴点の３次元座標情報を含む。ポーズ決定装置は、事前情報を通じてオブジェクトの形状情報を予め知っており、オブジェクトは、動かないものとして考慮される。事前情報の場合、予めオブジェクトの特徴点を基準特徴点に定義し、オブジェクトが基準ポーズであるときの基準特徴点の３Ｄ位置情報を記録することにより生成される。イメージデータから抽出された特徴点の位置と、オブジェクトが基準ポーズにあるときの基準特徴点の位置とを比較することで、第２ポーズ情報が導き出され得る。互いに対応関係にある抽出された特徴点と基準特徴点との間のマッチング情報を通じて、第２ポーズ情報が推定され得る。

【0040】

動き情報に基づく第１ポーズ情報と、特徴点抽出情報に基づく第２ポーズ情報は、それぞれ異なる役割を果たす。第２ポーズ情報は、イメージデータの品質低下がないか、微々たる場合にオブジェクトの特徴点の位置に基づいて拡張現実提供装置のポーズの推定を正確に補正する役割を果たし、第１ポーズ情報は、イメージセンサ３２０の動きなどによってイメージデータに品質低下が発生しても、ポーズの推定結果の正確度が低くなることを防止する役割を果たす。例えば、オブジェクトがイメージデータの外側に一部又は全体が外れた場合に、第２ポーズ情報の正確度は低くなるが、動き情報に基づく第１ポーズ情報を通じて、このような正確度の低下を補完することができる。また、イメージデータを取得してイメージデータから第２ポーズ情報を決定することは、動き情報を取得して動き情報から第１ポーズ情報を決定するのに比べて相対的に高い遅延を有するが、動き情報に基づく第１ポーズ情報を使用することで、素早いポーズ決定が要求される状況で拡張現実提供装置のポーズを素早く決定することができる。

【0041】

一実施形態において、信頼度決定器３５０は、カルマンフィルター（Ｋａｌｍａｎ ｆｉｌｔｅｒ）のようなフィルタ基盤のアルゴリズムを用いて信頼度値を決定してもよい。信頼度決定器３５０によって決定される信頼度値は、例えば、試験的に決定された最小値と最大値の間の一定範囲内の値に決定され、信頼度値は、時間に応じて変わり得る。信頼度決定器３５０によって決定された信頼度値は、ポーズ決定器３６０に伝達され得る。

【0042】

ポーズ決定器３６０は、第１ポーズ情報、第２ポーズ情報、及び信頼度決定器３５０によって決定された信頼度値に基づいて、拡張現実提供装置の位置及び姿勢を示すポーズ情報を決定し、決定されたポーズ情報を出力する。拡張現実提供装置のポーズ情報は、イメージセンサ３２０のポーズ情報に対応する。ポーズ情報は、例えば、６自由度（ＤｏＦ）を示す変数（例えば、ｘ、ｙ、ｚ、Ｒｘ、Ｒｙ、Ｒｚ）に定義され、６次元のベクトル又は該当のベクトルに対応する行列に表現され得る。

【0043】

一方、動きセンサ３１０から動き測定値が出力される周期とイメージセンサ３２０からイメージデータが出力される周期とは、同一であるか、又は、それぞれ異なってもよい。該当の周期が互いに異なる場合、例えば、動きセンサ３１０から２００Ｈｚの出力頻度で動き測定値が提供され、イメージセンサ３２０から３０Ｈｚの出力頻度でイメージデータが提供される場合、ポーズ決定器３６０から２００Ｈｚの出力頻度で最終のポーズ情報が出力されてもよい。ポーズ決定器３６０は、より高い出力頻度を有するセンサの出力頻度で最終のポーズ情報を出力することができる。

【0044】

ポーズ決定装置は、信頼度値に基づいて動き情報から決定された第１ポーズ情報とイメージデータから決定された第２ポーズ情報とを状況に応じて適応的に利用することで、最終ポーズの推定の正確度を改善することができる。ポーズ決定装置は、時間による相対的な動き変化量を累積してポーズを算出しないため、時間に応じてポーズの誤差が累積されず、高い正確度でポーズを算出することができる。また、ポーズ決定装置は、拡張現実提供装置のポーズ推定において、オブジェクトに対して予め定義された基準特徴点の位置情報を使用することで、ポーズの推定の正確度を高めることができる。

【0045】

図４～図６は、一実施形態に係る拡張現実提供装置のポーズ決定方法を説明するためのフローチャートである。ポーズ決定方法は、ポーズ決定装置（例えば、図７に示すポーズ決定装置７００）によって実行されてもよい。

【0046】

図４を参照すると、ステップＳ４１０において、ポーズ決定装置は、拡張現実提供装置の動きセンサを用いて拡張現実提供装置の動き情報を推定する。拡張現実提供装置の動き情報は、ユーザの動き、より詳しくは、ユーザの頭又は視線方向の動きに対応する。動きセンサは、加速度値を測定する加速度センサと、角速度値を測定するジャイロセンサとを含んでもよい。ポーズ決定装置は、動きセンサによって測定された動き測定値（例えば、加速度値、角速度値）に基づいて、拡張現実提供装置の動きに対する加速度、速度、及び角速度を推定することができる。

【0047】

ステップＳ４１５において、ポーズ決定装置は、拡張現実提供装置の動き情報に基づいて拡張現実提供装置の第１ポーズ情報を決定する。ポーズ決定装置は、以前時点の以前映像フレームから抽出されたオブジェクトの特徴点と動き情報に基づいて第１ポーズ情報を決定することができる。ポーズ決定装置は、以前映像フレームから抽出された特徴点の位置情報に以前時点と現在時点との間で測定された動き情報を反映し、現在時点で特徴点の位置がどのように変化したかを算出し、算出結果に基づいて、現在時点における第１ポーズ情報を決定することができる。

【0048】

ステップＳ４２０において、ポーズ決定装置は、拡張現実提供装置のイメージセンサを介して現在映像フレームを取得する。イメージセンサは、拡張現実提供装置の周辺の少なくとも一部の領域（例えば、ユーザの頭が向かっている領域又はユーザの視線が向かっている領域）を撮影してイメージデータを取得する。イメージデータは、特定の時間周期で取得され、それぞれの時間ごとに映像フレームの形態に取得されてもよい。

【0049】

ステップＳ４３０において、ポーズ決定装置は、現在映像フレームからオブジェクトの特徴点を抽出し、抽出された特徴点に基づいて拡張現実提供装置の第２ポーズ情報を決定する。ポーズ決定装置は、現在映像フレームで予め定義されたオブジェクトが存在するか否かを判断し、該当オブジェクトの特徴点を抽出する。第２ポーズ情報を決定するために、現実空間に存在するオブジェクトに対する事前情報が活用されてもよい。事前情報は、オブジェクトの特徴点に対して予め定義された特徴点位置情報を含む。ここで、予め定義された特徴点位置情報は、オブジェクトが基準ポーズにあるときのオブジェクトの表面上に位置する基準特徴点の３次元座標情報を示す。基準特徴点の位置情報は、現実空間のオブジェクトを、３Ｄスキャナを介してスキャンした結果であって、基準特徴点の位置を決定する方式を通じて取得されてもよい。ポーズ決定装置は、現在映像フレームから抽出された特徴点の２次元位置情報と予め定義された基準特徴点の３Ｄ位置情報との間の比較結果に基づいて、第２ポーズ情報を決定することができる。ポーズ決定装置は、現在映像フレームから抽出された特徴点と基準特徴点との間に互いに対応する特徴点の位置差に基づいて第２ポーズ情報を推定する。第２ポーズ情報を決定するために使用される基準特徴点の個数は制限されない。オブジェクトの全体基準特徴点の全て又は一部を用いてもよい。

【0050】

ステップＳ４４０において、ポーズ決定装置は、動き情報と特徴点の抽出情報に基づいて、第１ポーズ情報及び第２ポーズ情報それぞれの信頼度値を決定する。一実施形態において、ポーズ決定装置は、カルマンフィルターを用いたＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）方式により導き出された推定共分散（ｅｓｔｉｍａｔｉｏｎ ｃｏｖａｒｉａｎｃｅ）に基づいて信頼度値を決定してもよい。例えば、推定共分散の大きさが大きければ、信頼度値の小さい値を有し、推定共分散の大きさが小さければ、信頼度値の大きい値を有するものと決定されてもよい。ポーズ決定装置は、特徴点の抽出情報及び動き情報のうちの１つ以上がアップデートされた場合、第１ポーズ情報及び第２ポーズ情報のうちの１つ以上の信頼度値を再び決定することができる。そのため、信頼度値は、時間に応じて変わり得る。

【0051】

ポーズ決定装置は、拡張現実提供装置の動きが大きいと判断されれば、動き情報に基づく第１ポーズ情報の信頼度値を高く設定し、特徴点の抽出情報に基づいた第２ポーズ情報の信頼度値を小さく設定してもよい。また、ポーズ決定装置は、現在映像フレームにオブジェクトの全体領域が全て出ており、現在映像フレームの映像品質が良いと判断されれば、第２ポーズ情報の信頼度値を高く設定し、第１ポーズ情報の信頼度値を低く設定してもよい。現在映像フレームにおいてオブジェクト領域が切られているか、現在映像フレームの映像品質が良好でないと判断されれば、ポーズ決定装置は、第２ポーズ情報の信頼度値を低く設定し、第１ポーズ情報の信頼度値を高く設定してもよい。

【0052】

ポーズ決定装置は、動き情報に基づいて推定された現在時点におけるオブジェクトの特徴点位置と、特徴点の抽出情報による現在時点におけるオブジェクトの特徴点位置との間の差に基づいて信頼度値を決定することができる。ポーズ決定装置は、上記の差が条件を満たす場合（例えば、差が閾値よりも大きい場合）、動き情報に基づいた第１ポーズ情報の信頼度値を、特徴点の抽出情報に基づいた第２ポーズ情報の信頼度値よりも高く決定してもよい。ポーズ決定装置は、現在映像フレーム内にオブジェクトが位置し、現在映像フレームの映像品質が条件を満たす場合（例えば、映像品質の測定値が閾値よりも大きい場合）、第２ポーズ情報の信頼度値を、第１ポーズ情報の信頼度値よりも高く決定してもよい。ポーズ決定装置は、動き情報による拡張現実提供装置の動き程度に基づいて信頼度値を決定してもよい。ポーズ決定装置は、拡張現実提供装置の動き程度が条件を満たす場合（例えば、動き程度が閾値よりも大きい場合）、第１ポーズ情報の信頼度値を、第２ポーズ情報の信頼度値よりも高く決定してもよい。他の実施形態において、ポーズ決定装置は、オブジェクトの特徴点それぞれの動き速度に基づいてオブジェクトの特徴点それぞれの信頼度値を決定してもよい。

【0053】

ポーズ決定装置が信頼度値を決定する実施形態について、図５及び図６を参照して次のように説明する。図５を参照すると、ポーズ決定装置は、信頼度判断のために特徴点基盤の信頼度分析、動き速度基盤の信頼度分析、及び、信頼度分析結果に基づいて信頼度値を決定する過程を行う。

【0054】

ステップＳ５１０において、ポーズ決定装置は、特徴点基盤の信頼度分析を行う。ポーズ決定装置は、イメージセンサによって取得されたイメージデータ基盤の特徴点位置測定値と、動きセンサによって取得された動き情報基盤の特徴点位置測定値とを比較し、２つの特徴点位置測定値の間の差（又は、残差（ｒｅｓｉｄｕａｌ））に基づいて信頼度を分析してもよい。ポーズ決定装置は、動き情報に基づいて推定された現在時点におけるオブジェクトの特徴点位置と、特徴点の抽出情報による現在時点におけるオブジェクトの特徴点位置との間の差が大きければ、動き情報に基づく第１ポーズ情報に第２ポーズ情報よりも高い信頼度値を割り当てる。これは、イメージセンサ基盤で導き出された第２ポーズ情報のポーズ測定値は、映像フレーム内オブジェクトの特徴点の探知性能に大きく影響を受けるためである。例えば、イメージセンサの撮影領域の外でオブジェクトが一部又は全体が外れる場合、オブジェクトの特徴点位置の正確度が急に低くなり、特徴点の探知性能は大きく低下し得る。このような状況を考慮して、動き情報基盤に決定された特徴点位置と映像フレームから抽出された特徴点の特徴点位置との間の差が大きい場合、ポーズ決定装置は、動き情報基盤に決定された特徴点位置をより信頼するものとして信頼度値を決定することができる。

【0055】

ステップＳ５２０において、ポーズ決定装置は、拡張現実提供装置（又は、ユーザ）の動き速度基盤の信頼度分析を行う。ポーズ決定装置は、オブジェクトに対する拡張現実提供装置の相対的な動き速度が大きい場合、特徴点の抽出情報に基づく第２ポーズ情報の信頼度値を低く設定する。動き速度が大きい場合、イメージブラー（ｉｍａｇｅ ｂｌｕｒ）などによってイメージデータの映像の品質低下が生じ、そのため、特徴点の抽出情報の正確度が低くなる。従って、ポーズ決定装置は、拡張現実提供装置の相対的な動き速度が大きい場合は、第２ポーズ情報の信頼度値を低くし、動き情報に基づいた第１ポーズ情報の信頼度値を相対的に高く設定し、映像の品質低下によりポーズの推定が不正確になることを防止できる。

【0056】

ステップＳ５３０において、ポーズ決定装置は、ステップＳ５１０及びステップＳ５２０の信頼度分析結果に基づいて、第１ポーズ情報及び第２ポーズ情報それぞれの信頼度値を決定する。ポーズ決定装置は、予め定義された信頼度値の最小値－最大値の範囲で信頼度値をリアルタイムに決定することができる。ポーズ決定装置は、例えば、ステップＳ５１０の信頼度分析で考慮された特徴点位置測定値の間の差と、ステップＳ５２０の信頼度分析で考慮された拡張現実提供装置の相対的な動き速度の合計又は加重合計として信頼度値を決定してもよい。加重合計で使用される加重値は、試験的に決定された値であってもよい。ポーズ決定装置は、合計又は加重合計の累積値や平均値を信頼度値として用いてもよい。

【0057】

図５に示す実施形態において、オブジェクトの特徴点の全体が同じ信頼度値を有することになる。他の実施形態において、ポーズ決定装置はこれとは異なって、各特徴点ごとに信頼度値を決定してもよい。図６を参照すると、ポーズ決定装置は、ステップＳ５１０及びステップＳ５２０を前述したものと同様に行ってもよい。ステップＳ６１０において、ポーズ決定装置は、オブジェクトの特徴点それぞれの動き速度に基づいて、オブジェクトの特徴点それぞれの信頼度値を決定する。そのため、特徴点ごとに互いに異なる信頼度値が割り当てられてもよい。例えば、オブジェクトが１０個の特徴点を有すると仮定するとき、特徴点１０個が同一の信頼度値Ｒでなく、それぞれ決定された信頼度値Ｒ１、Ｒ２、Ｒ３、…、Ｒ１０を有することになる。ポーズ決定装置は、オブジェクトの各特徴点位置における動き速度を算出し、算出された動き速度の大きさに基づいて各特徴点の信頼度値を算出する。ポーズ決定装置は、ステップＳ５１０の信頼度分析から考慮された特徴点位置測定値の間の差と、該当特徴点位置における動き速度の合計又は加重合計として、各特徴点の信頼度値を決定することができる。

【0058】

図４を参照すると、ステップＳ４５０において、ポーズ決定装置は、第１ポーズ情報、第２ポーズ情報、及び信頼度値に基づいて拡張現実提供装置のポーズを決定する。ポーズ決定装置は、拡張現実提供装置の位置及び姿勢を示す特徴値を決定し、該当の特徴値は６自由度を有する。ポーズ決定装置は、第１ポーズ情報及び第２ポーズ情報それぞれの信頼度値に基づいて、第１ポーズ情報及び第２ポーズ情報を組み合わせることで拡張現実提供装置のポーズを決定することができる。ポーズ決定装置は、第１ポーズ情報及び第２ポーズ情報の各信頼度値を加重値として利用し、信頼度値のさらに高いポーズ情報を中心に拡張現実提供装置の最終ポーズを決定することができる。ポーズ決定装置によって決定された最終ポーズにより、拡張現実コンテンツで可視化される仮想のイメージの形状及び位置が調整され得る。

【0059】

図７は、他の実施形態に係るポーズ決定装置の構成を示すブロック図である。

【0060】

図７を参照すると、ポーズ決定装置７００は、拡張現実提供装置（例えば、図１に示す拡張現実提供装置１１０）のポーズを決定する装置であって、拡張現実提供装置の内部で動作する。ポーズ決定装置７００は、動きセンサ７１０、イメージセンサ７２０、プロセッサ７３０、及びメモリ７４０を含んでもよい。

【0061】

動きセンサ７１０（例えば、図３に示す動きセンサ３１０）は、拡張現実提供装置の動きを示す動き情報を測定する。拡張現実提供装置の動きは、ユーザの頭部の動き又はユーザの視線方向の動きに対応する。動きセンサ７１０は、加速度センサ及びジャイロセンサを含んでもよく、拡張現実提供装置に内蔵されて配置されてもよい。

【0062】

イメージセンサ７２０は、イメージデータを取得する。イメージセンサ７２０（例えば、図３に示すイメージセンサ３２０）は、拡張現実提供装置の周辺のうち少なくとも一部を撮影して現在映像フレームを取得することができる。イメージセンサ７２０は、１つ以上のカメラを含み、拡張現実提供装置の特定位置に配置されてもよい。

【0063】

メモリ７４０は、コンピュータで読出し可能な命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を格納する。メモリ７４０に格納された命令語がプロセッサ７３０によって実行されれば、プロセッサ７３０は、命令語に応じて定義される動作を処理する。メモリ７４０は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能な格納装置を含んでもよい。例えば、メモリ７４０は、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｉｅｓ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｉｅｓ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｉｅｓ）又は、この技術分野で知られた他の形態の不揮発性メモリを含んでもよい。

【0064】

プロセッサ７３０は、ポーズ決定装置７００の全体的な動作を制御する。プロセッサ７３０は、目的とする動作（ｄｅｓｉｒｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行させるための物理的な構造を有する回路を有するハードウェアで具現化された装置であってもよい。目的とする動作は、プログラムに含まれたコード（ｃｏｄｅ）又は命令語を含んでもよい。ハードウェアで具現化された装置は、マイクロプロセッサー（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、グラフィック処理装置（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチ－コアプロセッサ（ｍｕｌｔｉ－ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含んでもよい。

【0065】

プロセッサ７３０は、ポーズ決定装置７００内で実行するための機能及び命令語を実行する。プロセッサ７３０は、図１～図６を参照して前述した少なくとも１つの動作及び／又は機能を行う。プロセッサ７３０は、図３に示す動き情報決定器３３０、オブジェクト特徴点抽出器３４０、信頼度決定器３５０、及びポーズ決定器３６０の機能及び／又は動作を行う。

【0066】

プロセッサ７３０は、動きセンサ７１０によって測定した動き情報とイメージセンサ７２０から取得された現在映像フレームに基づいて、拡張現実提供装置のポーズを決定する。プロセッサ７３０は、動き情報に基づいて、拡張現実提供装置の第１ポーズ情報を決定する。プロセッサ７３０は、現在映像フレームからオブジェクトの特徴点を抽出し、抽出された特徴点とオブジェクトに対して予め定義された特徴点位置情報に基づいて、拡張現実提供装置の第２ポーズ情報を推定することができる。

【0067】

プロセッサ７３０は、動き情報と特徴点の抽出情報に基づいて、第１ポーズ情報及び第２ポーズ情報それぞれの信頼度値を決定する。一例として、動き情報に基づいて推定された現在時点におけるオブジェクトの特徴点位置と、特徴点の抽出情報による現在時点におけるオブジェクトの特徴点位置との間の差が、予め定義された条件（例えば、該当差が閾値よりも大きい場合）を満たす場合、プロセッサ７３０は、第１ポーズ情報の信頼度値を第２ポーズ情報の信頼度値よりも高く決定してもよい。異なる例として、動き情報による拡張現実提供装置の動き程度が、予め定義された条件（例えば、加速度変化量や速度変化量が閾値よりも大きい場合）を満たす場合、プロセッサ７３０は、第１ポーズ情報の信頼度値を第２ポーズ情報の信頼度値よりも高く決定する。更なる例として、現在映像フレーム内にオブジェクトが位置し、現在映像フレームの映像品質が予め定義された条件（例えば、映像品質測定値が閾値よりも大きい場合）を満たす場合、プロセッサ７３０は、第２ポーズ情報の信頼度値を第１ポーズ情報の信頼度値よりも高く決定してもよい。

【0068】

プロセッサ７３０は、第１ポーズ情報、第２ポーズ情報、及び信頼度値に基づいて拡張現実提供装置の最終ポーズを決定することができる。プロセッサ７３０は、第１ポーズ情報及び第２ポーズ情報それぞれの信頼度値に基づいて、第１ポーズ情報と前記第２ポーズ情報を組み合わせることで、拡張現実提供装置の最終ポーズを決定し得る。プロセッサ７３０は、最終ポーズの決定において、第１ポーズ情報及び第２ポーズ情報それぞれの信頼度値を加重値として利用してもよい。他の実施形態において、プロセッサ７３０は、第１ポーズ情報（異なる例として、第２ポーズ情報）の信頼度値が特定値以下である場合、第２ポーズ情報（異なる例として第１ポーズ情報）を中心に最終ポーズを決定することができる。

【0069】

図８は、一実施形態に係る拡張現実提供装置の構成を示すブロック図である。

【0070】

図８を参照すると、拡張現実提供装置８００は、ユーザに拡張現実コンテンツを提供する装置であって、前述したポーズ決定過程を介して決定された拡張現実提供装置８００のポーズに応じて、実際のオブジェクトと仮想のコンテンツを整合して拡張現実コンテンツを生成することができる。拡張現実提供装置８００は、例えば、先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒｓ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ、ＡＤＡＳ）、ヘッドアップディスプレイ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ、ＨＵＤ）装置、３Ｄデジタル情報ディスプレイ（Ｄｉｇｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ、ＤＩＤ）、ナビゲーション装置、ニューロモルフィック装置（ｎｅｕｒｏｍｏｒｐｈｉｃ ｄｅｖｉｃｅ）、３Ｄモバイル機器、スマートフォン、スマートＴＶ、スマート車両、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）デバイス、医療デバイス、及び計測デバイスなどのように様々な分野の装置である。ここで、３Ｄモバイル機器は、例えば、拡張現実、仮想現実、及び／又は混合現実を表示するためのディスプレイ装置、頭着用ディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）、顔着用ディスプレイ（Ｆａｃｅ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＦＭＤ）、及び拡張現実メガネ（ＡＲ ｇｌａｓｓｅｓ）などを含んでもよい。

【0071】

拡張現実提供装置８００は、プロセッサ８１０、メモリ８２０、センサ８３０、格納装置８４０、入力装置８５０、出力装置８６０、及び通信装置８７０を含んでもよい。拡張現実提供装置８００の各構成要素は、通信バス８８０を介して通信できる。

【0072】

プロセッサ８１０は、拡張現実提供装置８００の全体的な動作を制御し、拡張現実提供装置８００内で実行するための機能及び命令を実行する。プロセッサ８１０は、図１～図７を参照して前述した１つ以上の動作を行ってもよい。プロセッサ８１０は、センサによって測定された動き情報による前記拡張現実提供装置のポーズを推定し、推定されたポーズにより実際のオブジェクトに整合される拡張現実コンテンツを生成することができる。

【0073】

メモリ８２０は、プロセッサ８１０の演算実行において必要な情報を格納する。例えば、メモリ８２０は、プロセッサ８１０によって実行するための命令を格納し、拡張現実提供装置８００においてソフトウェア又はプログラムが実行される間に関連情報を格納してもよい。メモリ８２０は、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、又はこの技術分野で知られた他の形態の不揮発性メモリを含んでもよい。

【0074】

センサ８３０は、拡張現実提供装置８００の動き情報を測定する動きセンサと、拡張現実提供装置８００の周辺のうち少なくとも一部を撮影し、現在映像フレームを取得するイメージセンサを含んでもよい。動きセンサは慣性測定センサを含み、イメージセンサはカメラのような映像取得装置を含んでもよい。

【0075】

格納装置８４０は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能な格納装置８４０を含んでもよい。例えば、格納装置８４０は、ストレージ、磁気ハードディスク、光ディスク、フラッシュメモリ装置などを含んでもよい。

【0076】

入力装置８５０は、ユーザからユーザ入力を受信する。例えば、入力装置８５０は、キーボード、マウス、タッチスクリーン、マイクロホン、又は、ユーザからユーザ入力を検出し、検出されたユーザ入力を拡張現実提供装置８００に伝達できる任意の他の装置を含んでもよい。

【0077】

出力装置８６０は、視覚的、聴覚的、又は触覚的なチャネルを介してユーザに拡張現実提供装置８００の出力を提供することができる。出力装置８６０は、ディスプレイ、タッチスクリーン、スピーカ、振動発生装置、又はユーザに出力を提供できる任意の他の装置を含んでもよい。ディスプレイは、拡張現実コンテンツを可視化して示すことができる。

【0078】

通信装置８７０は、有線ネットワーク又は無線ネットワークを介して外部装置と通信することができる。

【0079】

以上で説明した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行うことができる。また、処理装置は、ソフトウェアの実行に応答して、データをアクセス、格納、操作、処理及び生成することもできる。理解の利便のために、処理装置は、１つが使用されるものと説明される場合もあるが、当該技術分野において通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数のタイプの処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は単一のプロセッサ、及び単一つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。

【0080】

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具現化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読み出し可能な記録媒体に格納され得る。

【0081】

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータで読み出し可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータで読み出し可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。

【0082】

上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0083】

上述のように、実施形態が限定された図面によって説明されてきても、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

【0084】

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

【符号の説明】

【0085】

１１０、８００：拡張現実提供装置
１１５：ディスプレイ３１０
７１０：動きセンサ
３２０、７２０：イメージセンサ
３３０：動き情報決定器
３４０：オブジェクト特徴点抽出器
３５０：信頼度決定器
３６０：ポーズ決定器
７００：ポーズ決定装置
７３０、８１０：プロセッサ
７４０、８２０：メモリ
８３０：センサ
８４０：格納装置
８５０：入力装置
８６０：出力装置
８７０：通信装置
８８０：通信バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】