特開 2022-96724 データ融合に関係するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022096724

(43)【公開日】2022-06-30

(54)【発明の名称】データ融合に関係するシステム及び方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220623BHJP

   A63F 13/211 20140101ALI20220623BHJP

   A63F 13/213 20140101ALI20220623BHJP

   A63F 13/428 20140101ALI20220623BHJP

【ＦＩ】

G06F3/01 570

A63F13/211

A63F13/213

A63F13/428

G06F3/01 510

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2020209847

(22)【出願日】2020-12-18

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518427524

【氏名又は名称】未來市股▲ふん▼有限公司

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】▲ホアン▼ 靖▲ニィン▼

(72)【発明者】

【氏名】謝 毅剛

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA11

5E555BA02

5E555BA04

5E555BA20

5E555BB38

5E555BC01

5E555BE17

5E555CA44

5E555CA45

5E555CB66

5E555EA19

5E555FA00

(57)【要約】      （修正有）

【課題】１つの人体部位が異なるモーション追跡技術で追跡されることのできるデータ融合に関係するシステム及び方法を提供する。
【解決手段】モーション追跡方法は、第１と第２の感知データに基づき、データ組合せを決定し、画像に基づき、第３の感知データを取得し、第１の期間に、第３の感知データ内に人体部位が存在するか否かを判定し、人体部位が第３の感知データ内に存在する場合は、ユーザのモーション情報を、データ組合せと第１の期間の第３の感知データとを含む第１の決定要因により決定し、人体部位が第３の感知データ内に存在しない場合は、データ組合せと第２の期間の第３の感知データを含む第２の決定要因により決定する。ユーザの人体部位は、第２の期間中、第３の感知データ内に存在する。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザの人体部位に装着可能な複数のモーション感知装置を含むシステムに適合された方法であって、
前記方法が、
異なる感知方法に基づく第１の感知データと第２の感知データとを取得することと、
前記第１の感知データと前記第２の感知データとに基づくデータ組合せを決定することと、
画像センサから撮像された画像に基づく第３の感知データを取得することであって、前記第１の感知データと前記第２の感知データが前記画像に基づき取得されないことと、
前記ユーザの前記人体部位のうちの１つが第１の期間中に前記第３の感知データ内に存在するか否かを判定することと、
前記ユーザの前記人体部位のうちの１つが前記第３の感知データ内に存在することに応じて、第１の決定要因により前記ユーザのモーション情報を決定することであって、前記第１の決定要因が前記データ組合せと前記第１の期間の前記第３の感知データとを含むことと、
前記ユーザの前記人体部位のうちの１つが前記第３の感知データ内に存在しないことに応じて、第２の決定要因により前記ユーザの前記モーション情報を決定することであって、前記第２の決定要因が前記データ組合せと第２の期間の前記第３の感知データとを含み、前記ユーザの前記人体部位が第２の期間中に前記第３の感知データ内に存在することと
を含む、
方法。

【請求項2】

ユーザの人体部位に装着可能な、複数のモーション感知装置と、
画像センサと、
異なる感知方法に基づく第１の感知データと第２の感知データとを取得することと、
前記第１の感知データと前記第２の感知データとに基づくデータ組合せを決定することと、
前記画像センサから撮像された画像に基づく第３の感知データを取得することであって、前記第１の感知データと前記第２の感知データが前記画像に基づき取得されないことと、
前記ユーザの前記人体部位のうちの１つが第１の期間中に前記第３の感知データ内に存在するか否かを判定することと、
前記ユーザの前記人体部位のうちの１つが前記第３の感知データ内に存在することに応じて、第１の決定要因により前記ユーザのモーション情報を決定することであって、前記第１の決定要因が前記データ組合せと前記第１の期間の前記第３の感知データとを含むことと、
前記ユーザの前記人体部位のうちの１つが前記第３の感知データ内に存在しないことに応じて、第２の決定要因により前記ユーザの前記モーション情報を決定することであって、前記第２の決定要因が前記データ組合せと第２の期間の前記第３の感知データとを含み、前記ユーザの前記人体部位が第２の期間中に前記第３の感知データ内に存在することと
を実行するよう構成された、プロセッサと
を含む、
システム。

【請求項3】

前記複数のモーション感知装置に設けられたモーションセンサに基づき、前記第１の感知データを取得することと、
前記複数のモーション感知装置のうちの３つの間で送信される無線信号に基づき、前記第２の感知データを取得することと
を更に含む、
請求項１に記載の方法、
又は、
各前記複数のモーション感知装置が、
無線信号を送受信する、無線トランシーバと、
前記ユーザの前記人体部位のうちの１つの動きを感知する、モーションセンサと
を含み、
前記プロセッサが、
前記複数のモーション感知装置に設けられた前記モーションセンサに基づき、前記第１の感知データを取得することと、
前記複数のモーション感知装置のうちの３つの間で送信される前記無線信号に基づき、前記第２の感知データを取得することと
を行うよう更に構成された、
請求項２に記載のシステム。

【請求項4】

前記ユーザの前記モーション情報を決定するステップが、
前記第１の感知データにより、方位情報と第１の位置情報とを取得することと、
前記第２の感知データにより、第２の位置情報を取得することと、
前記第３の感知データにより、第３の位置情報を取得することと、
前記第１の位置情報と前記第２の位置情報と前記第３の位置情報とにより、調整済み位置情報を取得することと、
前記方位情報と前記調整済み位置情報の両方により、前記ユーザの前記モーション情報を決定することと
を含む、
請求項１に記載の方法、
又は、
前記プロセッサが、
前記第１の感知データにより、方位情報と第１の位置情報とを取得することと、
前記第２の感知データにより、第２の位置情報を取得することと、
前記第３の感知データにより、第３の位置情報を取得することと、
前記第１の位置情報と前記第２の位置情報と前記第３の位置情報とにより、調整済み位置情報を取得することと、
前記方位情報と前記調整済み位置情報の両方により、前記ユーザの前記モーション情報を決定することと
を行うよう更に構成された、
請求項２に記載のシステム。

【請求項5】

前記データ組合せが、前記第１の感知データと前記第２の感知データの重み付き組合せであり、
前記第１の位置情報と前記第２の位置情報と前記第３の位置情報とにより前記調整済み位置情報を取得するステップが、
前記第３の位置情報により、前記重み付き組合せの第１の重みと第２の重みとを決定することと、
前記第１の重みと前記第１の位置情報とを乗算することにより、第１のパラメータを取得することと、
前記第２の重みと前記第２の位置情報とを乗算することにより、第２のパラメータを取得することと、
前記第２のパラメータに前記第１のパラメータを加算することにより、前記調整済み位置情報を取得することであって、前記重み付き組合せが前記調整済み位置情報を含むことと
を含む、
請求項４に記載の方法、
又は、
前記データ組合せが、前記第１の感知データと前記第２の感知データの重み付き組合せであり、
前記プロセッサが、
前記第３の位置情報により、前記重み付き組合せの第１の重みと第２の重みとを決定することと、
前記第１の重みと前記第１の位置情報とを乗算することにより、第１のパラメータを取得することと、
前記第２の重みと前記第２の位置情報とを乗算することにより、第２のパラメータを取得することと、
前記第２のパラメータに前記第１のパラメータを加算することにより、前記調整済み位置情報を取得することであって、前記重み付き組合せが前記調整済み位置情報を含むことと
を行うよう更に構成された、
請求項４に記載のシステム。

【請求項6】

前記ユーザの前記人体部位が前記第３の感知データ内に存在することに応じて、前記第１の重みと前記第２の重みが前記第３の感知データにより度々変化する、
請求項５に記載の方法、
又は、
請求項５に記載のシステム。

【請求項7】

前記ユーザの前記人体部位が前記第３の感知データ内に存在しないことに応じて、前記第１の重みと前記第２の重みが固定である、
請求項５に記載の方法、
又は、
請求項５に記載のシステム。

【請求項8】

前記重み付き組合せの前記第１の重みと前記第２の重みを決定するステップが、
前記第３の位置情報が前記第１の位置情報と前記第２の位置情報の前記重み付き組合せに等しいという等式に基づき、前記第１の重みと前記第２の重みを決定することを含む、
請求項５に記載の方法、
又は、
前記プロセッサが
前記第３の位置情報が前記第１の位置情報と前記第２の位置情報の前記重み付き組合せに等しいという等式に基づき、前記第１の重みと前記第２の重みを決定することを含む、
を行うよう更に構成された、
請求項５に記載のシステム。

【請求項9】

前記ユーザの前記モーション情報を決定するステップが、
前記第１の感知データにより、方位情報を取得することと、
前記第２の感知データにより、位置情報を取得することと、
前記方位情報と前記位置情報の両方により、前記ユーザの前記モーション情報を決定することと
を含む、
請求項１に記載の方法、
又は、
前記プロセッサが、
前記第１の感知データにより、方位情報を取得することと、
前記第２の感知データにより、位置情報を取得することと、
前記方位情報と前記位置情報の両方により、前記ユーザの前記モーション情報を決定することと
を行うよう更に構成された、
請求項２に記載のシステム。

【請求項10】

前記ユーザの前記モーション情報を決定するステップが、
前記第１の感知データにより、第１の位置情報と方位情報とを取得することと、
前記第２の感知データにより、第２の位置情報を取得することと、
前記第１の位置情報と前記第２の位置情報とにより、調整済み位置情報を取得することと、
前記方位情報と前記調整済み位置情報の両方により、前記ユーザの前記モーション情報を決定することと
を含む、
請求項１に記載の方法、
又は、
前記プロセッサが、
前記第１の感知データにより、第１の位置情報と方位情報とを取得することと、
前記第２の感知データにより、第２の位置情報を取得することと、
前記第１の位置情報と前記第２の位置情報とにより、調整済み位置情報を取得することと、
前記方位情報と前記調整済み位置情報の両方により、前記ユーザの前記モーション情報を決定することと
を行うよう更に構成された、
請求項２に記載のシステム。

【請求項11】

前記ユーザの前記モーション情報を決定するステップが、
前記第１の感知データにより、方位情報を取得することと、
第３の期間中の前記第２の感知データにより、位置情報の第１の部分を取得することと、
第４の期間中の前記第３の感知データにより、位置情報の第２の部分を取得することと、
位置情報の前記第１の部分と前記第２の部分を、組合せ済み位置情報として組み合わせることと、
前記方位情報と前記組合せ済み位置情報の両方により、前記ユーザの前記モーション情報を決定することと
を含む、
請求項１に記載の方法、
又は、
前記プロセッサが、
前記第１の感知データにより、方位情報を取得することと、
第１の期間中の前記第２の感知データにより、位置情報の第１の部分を取得することと、
第２の期間中の前記第３の感知データにより、位置情報の第２の部分を取得することと、
位置情報の前記第１の部分と前記第２の部分を、組合せ済み位置情報として組み合わせることと、
前記方位情報と前記組合せ済み位置情報の両方により、前記ユーザの前記モーション情報を決定することと
を行うよう更に構成された、
請求項２に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの動きを追跡するための方法に関するものであり、特に、データ融合に関係するシステム及び方法に関するものである。

【背景技術】

【0002】

（ゲームプレーヤー、コンピュータ、スマートフォン、スマート家電等といった）電子装置の直観的な操作を提供するため、ユーザの動きにより電子装置を直接制御するよう、ユーザの動きを検出することができる。

【0003】

従来の技術において、電子装置によってはユーザの（手、脚、頭等といった）人体部位がこれら電子装置の動作を制御することを可能とし、これら人体部位の動きが追跡される。しかし、これら電子装置は、同時に複数の人体部位の動きを検出する１つの方法を提供するのみである。例えば、ある仮想現実（ＶＲ）製品は手持ち型コントローラを提供し、各手持ち型コントローラはユーザの手の動きを追跡するための慣性測定ユニット（ＩＭＵ）を含む。時には、１つのモーション追跡方法のみがそのハードウェアまたは追跡機構により制限され、異常又は不正確な追跡結果となる可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

時には、単に１つのセンサでの追跡結果は正確でない可能性がある。従って、本発明は、１つの人体部位が異なるモーション追跡技術で追跡されることのできる、データ融合に関係するシステム及び方法を対象とする。

【課題を解決するための手段】

【0005】

例示的な実施形態の１つにおいて、方法は、ユーザの人体部位に装着可能な第１、第２、第３のモーション感知装置を含むシステムに適合される。該方法は、以下のステップを含むが、これに限定されない。第１、第２、第３のモーション感知装置に設けられたモーションセンサに基づき、第１の感知データが取得される。第１、第２、第３のモーション感知装置の間で送信される無線信号に基づき、第２の感知データが取得される。ユーザのモーション情報が、第１の感知データと第２の感知データとを含む決定要因により決定される。

【0006】

例示的な実施形態の１つにおいて、システムは、３つのモーション感知装置とプロセッサとを含むが、これに限定されない。モーション感知装置は、ユーザの人体部位に装着可能である。各モーション感知装置は、無線トランシーバとモーションセンサとを含む。無線トランシーバは、無線信号を送受信するために用いられる。モーションセンサは、ユーザの１つの人体部位の動きを感知するために用いられる。プロセッサは、モーション感知装置のモーションセンサに基づく第１の感知データと、３つのモーション感知装置の間で送信される無線信号に基づく第２の感知データとを取得し、第１の感知データと第２の感知データとを含む決定要因によりユーザのモーション情報を決定するよう構成される。

【発明の効果】

【0007】

上記を鑑み、１以上の実施形態により提供されるデータ融合に関係するシステム及び方法によると、ユーザの１つの動作部位の動きが複数の感知方法に基づく感知データに基づき追跡される。従って、正確で信頼できる追跡メカニズムが提供される。

【0008】

ただし、この概要は本発明の全ての様態と実施形態を含むものではなく、如何なる方法でも限定又は制限を意図するものではないことを理解されたい。そして、ここで開示される発明は、その明らかな改善と改変を含むと当業者により理解される。

【図面の簡単な説明】

【0009】

本発明の更なる理解のため添付図面が含まれ、本明細書に包含され、本明細書の一部を構成する。図面は本発明の実施形態を表し、明細書と共に、本発明の原理を説明する役割を果たす。

【0010】

【図1】図１は、本発明の例示的な実施形態の１つによるモーション追跡システムを表すブロック図である。

【0011】

【図2】図２は、本発明の例示的な実施形態の１つによるモーション追跡システムを表す概略図である。

【0012】

【図3】図３は、本発明の例示的な実施形態の１つによるモーション追跡方法を表すフロー図である。

【0013】

【図4】図４は、本発明の例示的な実施形態の１つによるモーション追跡方法を表す概略図である。

【0014】

【図5】図５は、本発明の例示的な実施形態の１つによるモーション追跡方法を表す概略図である。

【発明を実施するための形態】

【0015】

本発明の好ましい実施形態の詳細を述べる。実施例は添付の図面に表される。可能な限り、図面と明細書において同一の符号が同一又は類似の部材に対し用いられる。

【0016】

図１は、本発明の例示的な実施形態の１つによるモーション追跡システム１０を表すブロック図である。図１を参照し、モーション追跡システム１０は、３以上の複数のモーション感知装置１００と、演算装置２００とを含むが、これに限定されない。モーション追跡システム１０は、ＶＲ、ＡＲ、ＭＲ、ＸＲ又は他の現実関連技術に適合される。

【0017】

各モーション感知装置１００は、無線トランシーバ１１０とモーションセンサ１３０とを含むが、これに限定されない。モーション感知装置１００は、手持ち型コントローラ、又は、装着型コントローラ、スマートウォッチ、足首センサ、腰ベルト、ヘッドマウントディスプレイ（ＨＭＤ）等といった装着型装置であることができる。１つの実施形態において、各モーション感知装置１００はユーザの１つの人体部位に装着可能である。人体部位は、手、頭、足首、脚、腰、又は他の部位であってよい。

【0018】

無線トランシーバ１１０は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、ＩＲ、ＲＦＩＤ、又は他の無線通信技術と互換性がある通信トランシーバであることができる。１つの実施形態において、無線トランシーバ１１０は、他のモーション感知装置１００の無線トランシーバ１１０と無線信号を送受信するために用いられ、モーション感知装置１００の間で送信される無線信号に基づき、一連の第１の感知データが生成される。一連の第１の感知データ生成のための詳細な処理については後に紹介する。

【0019】

モーションセンサ１３０は、加速度計、ジャイロスコープ、磁力計、慣性測定ユニット（ＩＭＵ）、又は上記のセンサの任意の組合せであってよい。１つの実施形態において、モーションセンサ１３０は、ある時間内の複数の時点でモーションセンサ１３０の（加速度、回転、磁力等といった）感知結果から一連の第１の感知データを生成するため、該時間にモーション感知装置１００を装着したユーザの対応する人体部位の動きを感知するために用いられる。１つの例として、第１の感知データは３－ＤｏＦ（Ｄｅｇｒｅｅ ｏｆ Ｆｒｅｅｄｏｍ：自由度）データを含み、３－ＤｏＦデータは、ヨー、ロール、ピッチの加速度といった、３次元（３Ｄ）空間における人体部位の方位情報に関連する。

【0020】

演算装置２００は、メモリ２４０とプロセッサ２５０とを含むが、これに限定されない。演算装置２００は、コンピュータ、サーバ、スマートフォン、タブレット、又はモーション感知装置１００のうちの１つであることができる。

【0021】

メモリ２４０は、固定又は取り外し可能なランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ又は類似のデバイス、又は上記デバイスの組合せであってよい。メモリ２４０は、プログラムコード、デバイス設定、バッファデータ、又は（感知データ、モーション情報、距離関係等といった）永続的データを格納するために用いられ、これらデータについては後に紹介する。

【0022】

プロセッサ２５０はメモリ２４０に連接され、プロセッサ２５０は、本発明の例示的な実施形態の手順を実行するため、メモリ２４０に格納されたプログラムコードを読み込むよう構成される。１つの実施形態において、プロセッサ１５０の機能は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号処理（ＤＳＰ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等といったプログラマブルユニットにより実装されてよい。いくつかの実施形態において、プロセッサ２５０の機能は独立した電子デバイス又は集積回路（ＩＣ）により実装されてもよく、プロセッサ１５０の動作はソフトウェアにより実装されてもよい。

【0023】

プロセッサ２５０は、モーション感知装置１００の一部又は全てと同一の装置に設けられても設けられなくてよいことに注意されたい。ただし、モーションセンサ１３０とプロセッサ２５０をそれぞれ搭載する装置は、互いにデータを送受信するため、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、赤外線無線通信といった、互換性のある通信技術を有する通信トランシーバ、又は物理的な伝送路を更に含んでよい。

【0024】

１つの実施形態において、モーション追跡システム１０はヘッドマウントディスプレイ（ＨＭＤ）３００を更に含んでよい。ＨＭＤ３００はユーザの頭に装着可能である。ＨＭＤ３００は、無線トランシーバ３１０と画像センサ３６０とを含むが、これに限定されない。

【0025】

無線トランシーバ３１０の説明は、無線トランシーバ１１０の説明を参照でき、省略する。これは、ＨＭＤ３００が無線トランシーバ３１０を介しモーション感知装置１００と通信してよいことを意味する。

【0026】

画像センサ３６０は、モノクロカメラ又はカラーカメラといったカメラ、深層学習対応カメラ、ビデオレコーダ、又は画像を撮像できるその他の画像撮像装置であってよい。

【0027】

図２は、本発明の例示的な実施形態の１つによるモーション感知システム２０を表す概略図である。図２を参照し、モーション感知システム２０は、ＨＭＤ３００と、４つのモーション感知装置１００（人体部位Ｂ１とＢ２（即ち、２つの足首）に装着された２つの足首センサと、人体部位Ｂ３とＢ４（即ち、２つの手）に装着された２つの手持ち型コントローラ）とを含む。いくつかの実施形態において、ＨＭＤ３００は、人体部位Ｂ５（即ち、頭）の方位情報を取得するため、もう１つのモーションセンサ１３０（図示せず）を更に含んでよい。プロセッサ２５０は、ＨＭＤ３００組み込まれる。

【0028】

モーション感知システム２０は、モーション感知装置１００と、ＨＭＤ３００と、プロセッサ２５０の設置方法を表すための単なる１つの例であることに注意されたい。しかし、多くの他の行動理解システム１０の実装がまだ存在し、本発明はこれに限定されない。

【0029】

本発明の１以上の実施形態において提供される動作処理をより理解し易くするよう、モーション追跡システム１０又は２０の動作処理を詳述するため、いくつかの実施形態を以下に例示する。モーション追跡システム１０又は２０内のデバイスとモジュールは、ここで提供される制御方法を説明するための、下記の実施形態において適用される。制御方法の各ステップは実際の実装状況に応じて調整でき、ここで説明されるものに限定されるべきではない。

【0030】

図３は、本発明の例示的な実施形態の１つによるモーション追跡方法を表すフロー図である。図３を参照し、プロセッサ２５０は、３つのモーション感知装置１００に設けられたモーションセンサ１３０に基づき、第１の感知データを取得してよい（ステップＳ３１０）。具体的には、モーションセンサ１３０の異なる種類について、２Ｄ／３Ｄ空間における対応する人体部位の動きの、加速度、回転、磁力、方位、及び／又は、３－ＤｏＦ／６－ＤｏＦが取得されてよく、モーションセンサ１３０の１以上の感知結果が人体部位の一連の第１の感知データとなる。

【0031】

一方で、プロセッサ２５０は、３つのモーション感知装置１００の間で送信される無線信号に基づき、第２の感知データを取得してよい（ステップＳ３３０）。１つの実施形態において、プロセッサ２５０は、複数の時点で、３以上のモーション感知装置１００からの無線信号の信号強度を取得してよく、各信号強度は、それに対応する送信機と受信機と共にメモリ２４０に記録される。信号強度は、受信信号強度インジケーション（ＲＳＳＩ）、受信チャネル電力インジケータ（ＲＣＰＩ）、参照信号受信電力（ＲＳＲＰ）等であることができる。１つの実施形態において、モーション感知装置１００は全ての検出可能な無線信号の信号強度を監視してよく、各無線信号は送信機及び／又は受信機の特定の識別子を含む。モーション感知装置１００は更に、対応する識別子と共に信号強度を演算装置２００へフィードバックしてよい。もう１つの実施形態において、演算装置２００は全ての検出可能な無線信号の信号強度を監視してよく、プロセッサ２５０は、対応する送信機の識別子と共に信号強度をメモリ２４０に記録する。信号強度は、一連の第２の感知データを生成するため、ある期間にわたり記録される。これは、第２の感知データが時間で並べられた一連の信号強度を含むことを意味する。

【0032】

いくつかの実施形態において、プロセッサ２５０は、画像センサ３６０から撮像された画像に基づき、第３の感知データを更に取得してよい。第３の感知データは、一連の画像、及び／又は、画像内の画素の（明度、色、深度等といった）感知結果であることができる。

【0033】

次いで、プロセッサ２５０は、第１の感知データと第２の感知データとを含む決定要因によりユーザのモーション情報を決定してよい（ステップＳ３５０）。１つの実施形態において、モーション情報は、位置情報と方位情報とを含んでよい。位置情報について、先ず、１つの実施形態において、プロセッサ２５０は第１の感知データによりユーザの位置情報を決定してよい。この実施形態において、決定要因は第１の感知データを含む。変位に基づき位置情報を更に決定するため、人体部位に対応する変位が、３軸における人体部位の検出された加速度（即ち、第２の感知データ）の二重積分を介し推定されることができる。例えば、位置情報は、２又は３軸での座標、基準に対する位置等であることができる。

【0034】

もう１つの実施形態において、プロセッサ２５０は、３つのモーション感知装置１００の間の無線信号に基づく第２の感知データにより、位置情報を取得してよい。この実施形態において、決定要因は第２の感知データを含み、無線信号の信号強度は２つのモーション感知装置１００の間の相対距離に関連することに注意されたい。加えて、三辺測量に基づき、３点の間の３つの距離が、３点の相対位置情報を決定するために用いられることができる。モーション感知装置１００のうちの３つが上述した３点であると仮定し、プロセッサ２５０は、各２つのモーション感知装置１００の間の相対距離を、モーション感知装置１００の間の距離関係として決定してよい。次いで、プロセッサ２５０は、距離関係と三辺測量に基づき、追跡される装置の位置情報を生成してよい。

【0035】

モーション追跡システム２０を例として、プロセッサ２５０は、人体部位Ｂ３のためのモーション感知装置１００から人体部位Ｂ５のためのＨＭＤ３００（本実施形態においてモーション感知装置１００の１つ）への無線信号、人体部位Ｂ４のためのモーション感知装置１００から人体部位Ｂ５のためのＨＭＤ３００への無線信号、及び人体部位Ｂ３のためのモーション感知装置１００から人体部位Ｂ４のためのモーション感知装置１００への無線信号の、信号強度を取得してよい。プロセッサ２５０は、信号強度によりこれらの距離関係を決定し、次いで、該距離関係に基づき人体部位Ｂ３の位置情報を生成してよい。位置情報は座標又は相対位置であってよい。

【0036】

本実施形態はどの３つのモーション感知装置１００が選択されるか限定しないことに注意されたい。例えば、人体部位Ｂ２のためのモーション感知装置１００から人体部位Ｂ３のためのモーション感知装置１００への無線信号、人体部位Ｂ３のためのモーション感知装置１００から人体部位Ｂ１のためのモーション感知装置１００への無線信号、及び人体部位Ｂ２のためのモーション感知装置１００から人体部位Ｂ１のためのモーション感知装置１００への無線信号の信号強度が、人体部位Ｂ１の位置情報を推定するために用いられることができる。モーション感知装置１００の組合せは要件に応じて変化することができる。

【0037】

更にもう１つの実施形態において、プロセッサ２５０は、第３の感知データによりユーザの位置情報を判定してよい。この実施形態において、決定要因は第３の感知データを含む。画像内の人体部位の位置と変位が、実環境における位置情報を決定するために用いられることができる。図２を例として、画像内の人体部位Ｂ４に対応する感知強度と画素位置が、人体部位Ｂ４の深度情報（即ち、ＨＭＤ３００に対する距離）を推定するため、そして画像センサ３６０に対し平行な面での人体部位Ｂ４の２Ｄ位置を推定するために用いられることができる。

【0038】

例えば、無線トランシーバ１１０、モーションセンサ１３０、画像センサ３６０のうちの１つに基づく、１つの感知方法のみに基づく位置情報の精度は異なる可能性があることに注意されたい。このため、対応する人体部位の位置情報を決定するため、２以上の感知方法が用いられることができる。

【0039】

１つの実施形態において、プロセッサ２５０は、第１の感知データにより第１の位置情報を取得し、第２の感知データにより第２の位置情報を取得し、第１の位置情報と第２の位置情報とにより調整済み位置情報を取得してよい。この実施形態において、決定要因は第１の感知データと第２の感知データとを含む。プロセッサ２５０は、第１の位置情報と第２の位置情報との組合せにより位置情報を決定してよい。いくつかの実施形態において、該組合せは重み付き組合せである。調整済み位置情報は、重み付き第１の位置情報と重み付き第２の位置情報との和により決定される。

【0040】

１つの実施形態において、第１の位置情報と第２の位置情報の重み付き組合せの重みは固定であってよい。もう１つの実施形態において、第１の位置情報と第２の位置情報の重み付き組合せの重みは変化してよい。第１の位置情報の重みは０～１００％までの値であることができ、第２の位置情報の重みは０～１００％までの値であることができる。ただし、第１と第２の位置情報の重みは共に同時に０とはならない。

【0041】

いくつかの実施形態において、画像センサ３６０の画像により生成された第３の感知データに基づき決定された位置情報は、無線トランシーバ１１０及び／又はモーションセンサ１３０に基づき決定された位置情報よりも正確であることに注意されたい。このため、１つの実施形態において、決定要因は第２と第３の感知データを含んでよい。プロセッサ２５０は、第１、第２、第３の感知データに基づき取得した位置情報の組合せにより位置情報を決定してよい。

【0042】

１つの実施形態において、プロセッサ２５０は、第１の期間における第２の感知データにより位置情報の第１の部分を取得し、第２の期間における第３の感知データにより位置情報の第２の部分を取得し、位置情報の第１と第２の部分を、組合せ済み位置情報として組み合わせてよい。人体部位を検出する第３の感知データが、第１と第２の期間における第２の感知データに基づき位置情報を修正するため用いられることができる。プロセッサ２５０は、異なる期間における位置情報の第１と第２の部分に基づき、組合せ済み位置情報を決定してよい。例えば、位置（１，１）が第１の期間で第２の感知データに基づき決定され、もう１つの位置（２，１）が第２の期間で第３の感知データに基づき決定され、組合せ済み位置情報は位置（１，１）から位置（２，１）への変位であってよい。

【0043】

いくつかの実施形態において、プロセッサ２５０は、第２と第３の位置情報の重み付き組合せにより位置情報を決定してよい。第２と第３の位置情報のための重みは、実際の状況により固定又は可変であってよい。例えば、第３の位置情報のための重みは第２の位置情報よりも大きくてよい。もう１つの実施形態において、人体部位が第３の感知データ内に存在する場合、位置情報は重み付き位置情報であり、人体部位が第３の感知データ内に存在しない場合、位置は第２の位置情報である。

【0044】

１つの実施形態において、画像センサ３６０は、特定の視野（ＦＯＶ）で設計されてよい。１つの人体部位が画像センサ３６０の視野の外側に位置する場合、プロセッサ２５０は第３の感知データを用いることのみによりこの人体部位のモーション情報を決定することはできず、第１又は第２の感知データが考慮されるべきである。

【0045】

１つ実施形態において、プロセッサ２５０は、ユーザの人体部位が一連の第３の感知データ内に存在するか否かを判定し、三辺測量に基づき位置情報を決定するために人体部位の存在の判定結果により３つのモーション感知装置１００の間の距離関係を用いるか否かを判定してよい。プロセッサ２５０は、第３の感知データ内の目標人体部位を識別するため、（深層学習、人工ニューラルネットワーク（ＡＮＮ）、又はサポートベクターマシン（ＳＶＭ）等といった）機械学習技術を用いてよい。

【0046】

図４は、本発明の例示的な実施形態の１つによるモーション追跡方法を表す概略図である。図４を参照し、人体部位Ｂ４のためのモーション感知装置１００が目標装置であると仮定する。この図において、人体部位Ｂ４はＨＭＤ３００の視野ＦＯＶ内に存在する（即ち、人体部位Ｂ４は第３の感知データ内に存在する）。

【0047】

図５は、本発明の例示的な実施形態の１つによるモーション追跡方法を表す概略図である。図５を参照し、人体部位Ｂ３のためのモーション感知装置１００が目標装置であると仮定する。この図において、人体部位Ｂ５はＨＭＤ３００の視野ＦＯＶ内に存在しない（即ち、人体部位Ｂ５は第３の感知データ内に存在しない）。

【0048】

図４と５に表された視野のサイズと形状は例示のみであり、実際の要件に基づき改変されることができることに注意されたい。

【0049】

このため、画像センサ３６０の視野が、人体部位が第３の感知データ内に存在するか否かを判定するために用いられる。１つの実施形態において、人体部位が第１の期間で視野の外側に位置し（即ち、第３の感知データ内に存在しない）、該人体部位が第２の期間で画像センサ３６０の視野の内側に位置する（即ち、第３の感知データ内に存在する）と仮定する。いくつかの実施形態において、人体部位が第１と第２の期間で画像センサ３６０の視野の内側に位置すると仮定する。

【0050】

もう１つの実施形態において、プロセッサ２５０は、第１の感知データにより第１の位置情報を取得し、第２の感知データにより第２の位置情報を取得し、第１の位置情報と第２の位置情報と第３の位置情報とにより調整済み位置情報を取得してよい。この実施形態において、決定要因は第１、第２、第３の感知データを含む。プロセッサ２５０は、第１の位置情報と第２の位置情報と第３の位置情報との組合わせにより調整済み位置情報を決定してよい。

【0051】

１つの実施形態において、該組合せは重み付き組合せである。プロセッサ２５０は、第３の位置情報により、第１の位置情報のための第１の重みと、第２の位置情報のための第２の重みを決定してよい。１つの実施形態において、第１の重みと第２の重みは度々変化する。人体部位が第３の感知データ内に存在する期間、第３の位置情報は正しい位置情報であると見なされ、第１の重みと第２の重みを伴う第１と第２の位置情報の重み付き組合せは、第３の位置情報により調整される。プロセッサ２５０は、重み付き組合せを取得するため、第１の重みと第１の位置情報とを乗算することにより第１のパラメータを取得し、第２の重みと第２の位置情報とを乗算することにより第２のパラメータを取得し、第１のパラメータと第２のパラメータとを加算することにより調整済み位置情報を取得してよいことに注意されたい。

【0052】

１つの実施形態において、後続の時点での第１と第２の重みは、第３の位置情報が前の時点での第１と第２の位置情報の重み付き組合せに等しいという等式に基づき、決定されてよい。例えば、第３の時点で、第１の重みが０．５であり、第２の重みが０．５であり、３次元座標システムにおいて第１の位置情報が（６，６，６）であり、第２の位置情報が（１０，１０，１０）であり、調整済み位置情報は（８，８，８）である。第３の位置情報が（７，７，７）である場合、第４の時点での第１の重みと第２の重みは、それぞれ０．７５と０．２５として決定される。次いで、第４の時点で、３次元座標システムにおいて第１の位置情報が（７，６，６）であり、第２の位置情報が（１２，１０，１０）である場合、調整済み位置情報は（８．２５，７，７）である。

【0053】

もう１つの実施形態において、現時点での第１と第２の重みは、第３の位置情報が現時点での第１と第２の位置情報の重み付き組合せに等しいという等式にに基づき、決定されてよい。例えば、第２の時点で、３次元座標システムにおいて第１の位置情報が（６，６，６）であり、第２の位置情報が（１０，１０，１０）である。第３の位置情報が（７，７，７）である場合、第２の時点での第１の重みと第２の重みは、それぞれ０．７５と０．２５として決定される。このとき、第２の時点での調整済み位置情報は（７，７，７）として決定される。

【0054】

いくつかの実施形態において、ユーザの人体部位が第３の感知データ内に存在しない場合、第１の重みと第２の重みは固定である。人体部位が画像センサ３６０の視野の外側に位置する場合、第３と第２の重みは、ユーザの人体部位がまだ第３の感知データ内に存在した前の時点での、前の第１と第２の重みと同一である。例えば、第１の時点で人体部位が画像センサ３６０の視野の内側に位置し、第１の重みが０．５であり、第２の重みが０．５である。次いで、第２の時点で、人体部位が画像センサ３６０の視野の外側に位置する。第１の時点での第１と第２の重みと同じく、第２の時点で第１の重みは０．５であり、第２の重みは０．５である。ユーザの人体部位が第３の感知データ内に存在するまで、第１と第２の重みは第３の感知データにより変化する。

【0055】

更にもう１つの実施形態において、プロセッサ２５０は、第１の位置情報と第２の位置情報と第３の位置情報との重み付き組合せにより、調整済み位置情報を決定してよい。調整済み位置情報は、重み付き第１の位置情報と重み付き第２の位置情報と重み付き第３の位置情報との和により決定される。３つの位置情報の重みは、実際の状況により可変又は固定であってよい。

【0056】

一方、方位情報について、１つの実施形態において、プロセッサ２５０は一連の第１の感知データを、直接、方位情報として用いてよい。例えば、方位情報は、加速度、３軸における角速度、方位、３－ＤｏＦ情報、及び／又は６－ＤｏＦ情報であることができる。

【0057】

もう１つの実施形態において、プロセッサ２５０は、第３の感知データにより方位情報を決定してよい。図４を例として、異なる時点での画像内の人体部位Ｂ４の２つの姿勢が、方位情報を推定するために用いられることができる。

【0058】

いくつかの実施形態において、プロセッサ２５０は、第１の感知データと第３の感知データとにより、方位情報を決定してよい。方位情報は、第１の感知データと第３の感知データとの重み付き組合せであってよい。例えば、位置情報は、モーションセンサ１３０に基づく重み付き第１の方位情報と、画像センサ３６０に基づく重み付き第２の方位情報との和により決定されてよい。

【0059】

１つの実施形態において、画像センサ３６０の視野は、第３の感知データによる方位情報を用いるか否かに関する条件である。人体部位が第３の感知データ内に存在する場合、第１の感知データと第３の感知データとにより方位情報が決定されてよい。人体部位が第３の感知データ内に存在しない場合、第１の感知データのみにより方位情報が決定されてよい。

【0060】

１つの実施形態において、プロセッサ２５０は、方位情報と位置情報の両方により、ユーザのモーション情報を決定してよい。方位情報は、上述したように、第１の感知データ、第３の感知データ、又は第１と第３の感知データの組合せに基づき生成されることができる。位置情報は、上述したように、第１、第２、第３の感知データのうちの１つに基づき生成されることができる。図２の人体部位Ｂ１又はＢ２を例として、モーション情報は、持ち上げる、指し示す、蹴る、ステップを踏む、又はジャンプする動きに関連してよい。

【0061】

もう１つの実施形態において、プロセッサ２５０は、第１の感知データに基づく方位情報と、第１の第２の位置情報に基づく調整済み位置情報の両方により、ユーザのモーション情報を決定してよい。人体部位が第３の感知データ内に存在するか否かに関わらず、プロセッサ２５０はユーザの動きを予測することができる。

【0062】

更にもう１つの実施形態において、プロセッサ２５０は、第１の感知データに基づく方位情報と、第２と第３の感知データに基づく組合せ済み位置情報の両方に基づき、ユーザのモーション情報を決定してよい。これは、モーション情報が、人体部位が第３の感知データ内に存在する期間と存在しない期間の２つの期間における方位情報と組合せ済み位置情報とに基づき決定されることができることを意味する。

【0063】

図４と５を例として、図４において人体部位Ｂ４の手を挙げる動きが判定され、図５において手を下げる動きが判定される。次いで、人体部位Ｂ４の上から下への揺動が決定される。

【0064】

１つの実施形態において、プロセッサ２５０は、第２の感知データに基づく位置情報のみにより、ユーザのモーション情報を決定してよい。もう１つの実施形態において、プロセッサ２５０は、第２と第３の感知データに基づく組合せ済み位置情報のみにより、ユーザのモーション情報を決定してよい。いくつかの実施形態において、プロセッサ２５０は、人体部位が第３の感知データ内に存在しない場合、第２の感知データに基づく位置情報のみによりユーザのモーション情報を決定してよく、人体部位が第３の感知データ内に存在する場合、第３の感知データに基づく位置情報又は組合せ済み位置情報のみによりユーザのモーション情報を決定してよい。

【0065】

人体部位の変位又は軌跡が追跡されてよく、モーション情報は方位又は軌跡に基づき決定されることができる。図４と５を例として、人体部位Ｂ３が上から下へ移動し、人体部位Ｂ４の上から下への揺動が決定される。

【0066】

まとめると、上述した例示的な実施形態は、データ融合に関係するシステム及び方法を描写している。人体部位の動きは、信号強度、モーションセンサの感知結果、及び／又はカメラ画像に基づき追跡することができる。カメラ画像の検出結果により、追跡された人体部位がＦＯＶ内に存在しないことに応じて、モーション感知装置の間の信号強度が、位置情報の決定におけるモーションセンサの感知結果での精度の欠如を補償するために用いられることができる。追跡される人体部位がＦＯＶ内に存在することに応じて、カメラ画像が、信号強度に基づく位置推定結果を修正するために用いられることができる。従って、異なる条件のために複数の追跡方法が用いられることができ、追跡結果の精度を改善することができる。

【0067】

当業者にとって、本発明の範囲又は精神から逸脱することなく、本発明の構造に様々な改変と変形を行うことができることは明らかであろう。上記を鑑み、本発明は、以下の特許請求の範囲及びそれらの均等物の範囲内にあるという条件で、本発明の改変及び変形を網羅することを意図している。

【産業上の利用可能性】

【0068】

本発明のデータ融合に関係するシステム及び方法は、モーション感知技術に応用することができる。

【符号の説明】

【0069】

１０、２０：モーション感知システム
１００：モーション感知装置
１１０、３１０：無線トランシーバ
１３０：モーションセンサ
２００：演算装置
２４０：メモリ
２５０：プロセッサ
３００：ヘッドマウントディスプレイ
３６０：画像センサ
Ｂ１～Ｂ５：人体部位
Ｓ３１０～Ｓ３５０：ステップ
ＦＯＶ：視野

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】