特開 2024-106855 情報処理装置およびデバイス位置取得方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024106855

(43)【公開日】2024-08-08

(54)【発明の名称】情報処理装置およびデバイス位置取得方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240801BHJP

   G06F 3/0346 20130101ALI20240801BHJP

【ＦＩ】

G06F3/01 514

G06F3/01 570

G06F3/0346 422

G06F3/0346 425

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023011323

(22)【出願日】2023-01-27

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】山内 孔貴

(72)【発明者】

【氏名】南野 孝範

(72)【発明者】

【氏名】西川 憲三

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA07

5B087BC32

5E555AA11

5E555AA27

5E555AA64

5E555BA20

5E555BA38

5E555BB20

5E555BB38

5E555BC04

5E555BE16

5E555BE17

5E555CA23

5E555CA42

5E555CA44

5E555CB19

5E555CB66

5E555DA08

5E555DA11

5E555EA22

5E555FA00

(57)【要約】

【課題】デバイスの位置によらずその位置情報を継続して取得できる技術を提供する。
【解決手段】情報処理装置の第１デバイス情報取得部は、ＨＭＤ１００の位置姿勢情報を取得する。第２デバイス情報取得部は、ＨＭＤ１００の位置姿勢情報に基づき骨格モデルを設定し、肘位置Ｊ１、Ｊ２に基づき入力デバイス１６ｂ、１６ａの位置を推定する。第２デバイス情報取得部は、ＨＭＤ１００と入力デバイス１６ａ、１６ｂのセンサデータに基づき、ＨＭＤ１００の運動に対する骨格モデルの追従の度合いが高いＦＡモードと、追従の度合いが低いＦＴモードを切り替え制御する。
【選択図】図１５

【特許請求の範囲】

【請求項1】

ユーザに装着される第１デバイスの位置姿勢情報を取得する第１デバイス情報取得部と、
前記第１デバイスと異なる部位に装着される第２デバイスの位置情報を、前記第１デバイスの位置姿勢情報および人の骨格モデルに基づき取得する第２デバイス情報取得部と、
前記第１デバイスおよび前記第２デバイスの運動を計測するセンサからセンサデータを取得するセンサデータ取得部と、
を備え、
前記第２デバイス情報取得部は、前記センサデータに基づき、前記第１デバイスに対する前記骨格モデルの追従の度合いを変化させることを特徴とする情報処理装置。

【請求項2】

前記第２デバイス情報取得部は、前記第１デバイスと前記第２デバイスの角速度の差が所定の基準を越えたとき、前記追従の度合いを低くすることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記第２デバイス情報取得部は、前記追従の度合いの変化として、前記第１デバイスの回転運動に前記骨格モデルを追従させるか否かを決定することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記第２デバイス情報取得部は、前記第１デバイスの回転運動に前記骨格モデルを追従させないモードにおいても、所定の条件下で、前記骨格モデルを前記第１デバイスの回転方向と同方向に回転させることを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記第２デバイス情報取得部は、前記第１デバイスと前記骨格モデルの正面方向の角度差が増加する方向にあり、前記第１デバイスの角速度が所定のしきい値以上である期間に、当該角速度に対し所定比率ｋ（０＜ｋ＜１．０）を乗算した角速度で、前記骨格モデルを回転させることを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記第２デバイス情報取得部は、前記第１デバイスと前記骨格モデルの正面方向の角度差が所定の上限を超えるとき、前記骨格モデルを前記第１デバイスの回転運動に追従させないモードから、当該回転運動に追従させるモードへ切り替えることを特徴とする請求項３から５のいずれかに記載の情報処理装置。

【請求項7】

前記第１デバイス情報取得部は、前記第１デバイスとしてヘッドマウントディスプレイの位置姿勢情報を取得し、
前記第２デバイス情報取得部は、前記第２デバイスとして、ユーザが把持するデバイスの位置を取得することを特徴とする請求項１から５のいずれかに記載の情報処理装置。

【請求項8】

前記第２デバイス情報取得部は、前記第２デバイスとしてユーザが左右の手に把持する２つのデバイスの双方の角速度と、前記第１デバイスの角速度との差が所定の基準を超えたことを条件に、前記追従の度合いを低くすることを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記第１デバイスは撮像装置を含み、
前記第２デバイス情報取得部は、前記第２デバイスが前記撮像装置の視野内にあるとき、当該撮像装置による撮影画像に基づき、前記第２デバイスの位置情報を取得し、前記第２デバイスが前記撮像装置の視野外にあるとき、前記骨格モデルに基づき、前記第２デバイスの位置情報を取得することを特徴とする請求項１から５のいずれかに記載の情報処理装置。

【請求項10】

前記第１デバイス情報取得部は、前記撮像装置による撮影画像に基づき、ＳＬＡＭ（Simultaneous Localization and Mapping）処理により前記第１デバイスの位置姿勢情報を取得することを特徴とする請求項９に記載の情報処理装置。

【請求項11】

ユーザに装着される第１デバイスの位置姿勢情報を取得するステップと、
前記第１デバイスと異なる部位に装着される第２デバイスの位置情報を、前記第１デバイスの位置姿勢情報および人の骨格モデルに基づき取得するステップと、
前記第１デバイスおよび前記第２デバイスの運動を計測するセンサからセンサデータを取得するステップと、
を含み、
前記第２デバイスの位置情報を取得するステップは、前記センサデータに基づき、前記第１デバイスに対する前記骨格モデルの追従の度合いを変化させることを特徴とするデバイス位置取得方法。

【請求項12】

ユーザに装着される第１デバイスの位置姿勢情報を取得する機能と、
前記第１デバイスと異なる部位に装着される第２デバイスの位置情報を、前記第１デバイスの位置姿勢情報および人の骨格モデルに基づき取得する機能と、
前記第１デバイスおよび前記第２デバイスの運動を計測するセンサからセンサデータを取得する機能と、
をコンピュータに実現させ、
前記第２デバイスの位置情報を取得する機能は、前記センサデータに基づき、前記第１デバイスに対する前記骨格モデルの追従の度合いを変化させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コントローラ等のデバイスの位置情報を取得する情報処理装置、およびデバイス位置取得方法に関する。

【背景技術】

【0002】

特許文献１は、複数のマーカを備えたデバイスを撮影した画像からマーカ像の代表座標を特定し、マーカ像の代表座標を用いてデバイスの位置情報および姿勢情報を導出する情報処理装置を開示する。特許文献１に開示された情報処理装置は、撮影画像において第１輝度以上の画素が連続する領域を囲む第１境界ボックスを特定するとともに、第１境界ボックス内において第１輝度よりも高い第２輝度以上の画素が連続する領域を囲む第２境界ボックスを特定し、第１境界ボックス内または第２境界ボックス内の画素にもとづいてマーカ像の代表座標を導出する。

【0003】

特許文献２は、複数の発光部と複数の操作部材とを設けられた入力デバイスを開示する。入力デバイスの発光部は、ヘッドマウンティングデバイスに設けられたカメラにより撮影され、検知された発光部の位置にもとづいて、入力デバイスの位置と姿勢が算出される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１８１３２２号公報

【特許文献2】国際公開第２０２１／２４０９３０号

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年、デバイスの位置や姿勢をトラッキングし、ＶＲ空間の３Ｄモデルに反映させる情報処理技術が普及している。ゲーム空間のプレイヤキャラクタやゲームオブジェクトの動きを、トラッキング対象となるデバイスの位置や姿勢の変化に連動させることで、ユーザによる直観的な操作が実現される。

【0006】

特許文献１に開示されたデバイス位置推定処理は、デバイスが撮像装置により撮影されて、撮影画像にマーカ像が含まれているときに実施される。そのためデバイスが撮像装置の画角外に移動して、撮影画像にマーカ像が含まれなくなると、特許文献１に開示されたデバイス位置推定処理は実施できない。

【0007】

そこで本発明は、デバイスの位置によらずその位置情報を継続して取得できる技術を提供することを目的とする。なおデバイスは操作部材を有する入力デバイスであってよいが、操作部材を有しない単にトラッキングの対象となるデバイスであってもよい。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、ユーザに装着される第１デバイスの位置姿勢情報を取得する第１デバイス情報取得部と、第１デバイスと異なる部位に装着される第２デバイスの位置情報を、第１デバイスの位置姿勢情報および人の骨格モデルに基づき取得する第２デバイス情報取得部と、第１デバイスおよび第２デバイスの運動を計測するセンサからセンサデータを取得するセンサデータ取得部と、を備え、第２デバイス情報取得部は、センサデータに基づき、第１デバイスに対する骨格モデルの追従の度合いを変化させることを特徴とする。

【0009】

ここで「装着」とは、人体に直接的または間接的に略固定された状態を指し、貼付されたり何らかの固定機構により身につけたりする場合のほか、ユーザ自身が把持する場合も含まれる。

【0010】

本発明の別の態様は、デバイス位置推定方法に関する。このデバイス位置推定方法は、ユーザに装着される第１デバイスの位置姿勢情報を取得するステップと、第１デバイスと異なる部位に装着される第２デバイスの位置情報を、第１デバイスの位置姿勢情報および人の骨格モデルに基づき取得するステップと、第１デバイスおよび第２デバイスの運動を計測するセンサからセンサデータを取得するステップと、を含み、第２デバイスの位置情報を取得するステップは、センサデータに基づき、第１デバイスに対する前記骨格モデルの追従の度合いを変化させることを特徴とする。

【0011】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0012】

本発明によれば、デバイスの位置によらずその位置情報を継続して取得できる。

【図面の簡単な説明】

【0013】

【図1】本実施の形態における情報処理システムの構成例を示す図である。

【図2】本実施の形態のＨＭＤの外観形状の例を示す図である。

【図3】本実施の形態のＨＭＤの機能ブロックを示す図である。

【図4】本実施の形態の入力デバイスの形状を示す図である。

【図5】本実施の形態の入力デバイスの形状を示す図である。

【図6】本実施の形態において入力デバイスを撮影した画像の一部の例を示す図である。

【図7】本実施の形態の入力デバイスの機能ブロックを示す図である。

【図8】本実施の形態の情報処理装置の機能ブロックを示す図である。

【図9】本実施の形態の位置姿勢推定処理を示すフローチャートである。

【図10】本実施の形態の推定処理部の内部構成を示す図である。

【図11】本実施の形態において撮像装置の撮影可能な範囲を模式的に示す図である。

【図12】本実施の形態における、ＨＭＤと入力デバイスの推定位置の例を示す図である。

【図13】本実施の形態において入力デバイスが撮影可能範囲から外れた状態を示す図である。

【図14】本実施の形態において、肘位置を基点としてデバイス位置を推定する処理を説明するための図である。

【図15】本実施の形態において、ＨＭＤに対する骨格モデルの状態設定に係るモードを説明するための図である。

【図16】本実施の形態の部位置推定部の機能ブロックの構成をより詳細に示す図である。

【図17】本実施の形態のＦＴモードにおいて、腕モデルの正面方向をＨＭＤの正面方向に近づける補正部の処理を説明するための図である。

【図18】本実施の形態において部位位置推定部が腕モデルの設定モードを制御する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0014】

図１は、本実施の形態における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、記録装置１１と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが持って手指で操作する入力デバイス１６と、画像および音声を出力する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

【0015】

記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、コンテンツサーバからネットワーク２経由で、ゲームソフトウェアを記録装置１１にダウンロードしてよい。情報処理装置１０はゲームソフトウェアを実行して、ゲームの画像データおよび音声データをＨＭＤ１００に供給する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてもよく、またケーブルで接続されてもよい。

【0016】

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。

【0017】

ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。

【0018】

情報処理装置１０と入力デバイス１６とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス１６は操作ボタンなどの複数の操作部材を備え、ユーザは入力デバイス１６を把持しながら、手指で操作部材を操作する。情報処理装置１０がゲームを実行する際、入力デバイス１６はゲームコントローラとして利用される。入力デバイス１６は、３軸の加速度センサおよび３軸の角速度センサを含む慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を備え、所定の周期（たとえば８００Ｈｚ）でセンサデータを情報処理装置１０に送信する。

【0019】

本実施形態のゲームは、入力デバイス１６の操作部材の操作情報だけでなく、入力デバイス１６の位置、速度、姿勢などを操作情報として取り扱って、仮想３次元空間内におけるプレイヤキャラクタの動きに反映する。たとえば操作部材の操作情報は、プレイヤキャラクタを移動させるための情報として利用され、入力デバイス１６の位置、速度、姿勢などの操作情報は、プレイヤキャラクタの腕を動かすための情報として利用されてよい。ゲーム内の戦闘シーンにおいて、入力デバイス１６の動きが、武器をもつプレイヤキャラクタの動きに反映されることで、ユーザの直観的な操作が実現され、ゲームへの没入感が高められる。

【0020】

入力デバイス１６の位置および姿勢をトラッキングするために、入力デバイス１６には、撮像装置１４によって撮影可能な複数のマーカ（光出射部）が設けられる。情報処理装置１０は、入力デバイス１６を撮影した画像を解析して、実空間における入力デバイス１６の位置および姿勢を推定する機能（以下、「第１推定機能」とも呼ぶ）を備える。

【0021】

ＨＭＤ１００には、複数の撮像装置１４が搭載される。複数の撮像装置１４は、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含むように、ＨＭＤ１００の前面の異なる位置に異なる姿勢で取り付けられる。撮像装置１４は、入力デバイス１６の複数のマーカの像を取得できるイメージセンサを備える。たとえばマーカが可視光を出射する場合、撮像装置１４はＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルビデオカメラで利用されている可視光センサを有する。マーカが非可視光を出射する場合、撮像装置１４は非可視光センサを有する。複数の撮像装置１４は同期したタイミングで、ユーザの前方を所定の周期（たとえば１２０フレーム／秒）で撮影し、実空間を撮影した画像データを情報処理装置１０に送信する。

【0022】

情報処理装置１０は第１推定機能を実施して、撮影画像に含まれる入力デバイス１６の複数のマーカ像の位置を特定する。なお１つの入力デバイス１６が同じタイミングで複数の撮像装置１４に撮影されることもあるが、撮像装置１４の取付位置および取付姿勢は既知であるため、情報処理装置１０は複数の撮影画像を合成して、マーカ像の位置を特定してよい。

【0023】

入力デバイス１６の３次元形状と、その表面に配置された複数のマーカの位置座標は既知であり、情報処理装置１０は、撮影画像内の複数のマーカ像の位置座標にもとづいて、入力デバイス１６の実空間における位置および姿勢を推定する。入力デバイス１６の位置は、基準位置を原点とした３次元空間におけるワールド座標における座標値として推定され、基準位置はゲーム開始前に設定した位置座標（緯度、経度、高度（標高））であってよい。

【0024】

本実施形態の情報処理装置１０は、入力デバイス１６から送信されるセンサデータを解析して、実空間における入力デバイス１６の位置および姿勢を推定する機能（以下、「第２推定機能」とも呼ぶ）を備える。情報処理装置１０は、第１推定機能による推定結果と、第２推定機能による推定結果を用いて、入力デバイス１６の位置および姿勢を導出する。本実施形態の情報処理装置１０は、カルマンフィルタを用いた状態推定技術を利用して、第１推定機能による推定結果と第２推定機能による推定結果とを統合することで、現在時刻における入力デバイス１６の状態を高精度に推定する。

【0025】

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

【0026】

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

【0027】

筐体１０８の前方側外面には、複数の撮像装置１４ａ、１４ｂ、１４ｃ、１４ｄが備えられる。ユーザの顔正面方向を基準として、撮像装置１４ａは、カメラ光軸が右斜め上を向くように前方側外面の右上隅に取り付けられ、撮像装置１４ｂは、カメラ光軸が左斜め上を向くように前方側外面の左上隅に取り付けられ、撮像装置１４ｃは、カメラ光軸が右斜め下を向くように前方側外面の右下隅に取り付けられ、撮像装置１４ｄは、カメラ光軸が左斜め下を向くように前方側外面の左下隅に取り付けられる。このように複数の撮像装置１４が設置されることで、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含む。このユーザの視野は、３次元仮想空間におけるユーザの視野であってよい。

【0028】

ＨＭＤ１００は、ＩＭＵ（慣性計測装置）が検出したセンサデータおよび撮像装置１４が撮影した画像データを情報処理装置１０に送信し、また情報処理装置１０で生成されたゲーム画像データおよびゲーム音声データを受信する。

【0029】

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。ＩＭＵ１２４は、ＨＭＤ１００の動きに関するセンサデータを取得する。ＩＭＵ１２４は、少なくとも３軸の加速度センサおよび３軸の角速度センサを含んでよい。ＩＭＵ１２４は、所定の周期（たとえば８００Ｈｚ）で各軸成分の値（センサデータ）を検出する。

【0030】

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、情報処理装置１０からデータを受信し、制御部１２０に出力する。

【0031】

制御部１２０は、ゲーム画像データやゲーム音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、ＩＭＵ１２４からのセンサデータ、マイク１２６からの音声データ、撮像装置１４からの撮影画像データを、通信制御部１２８から情報処理装置１０に送信させる。

【0032】

図４（ａ）は、左手用の入力デバイス１６ａの形状を示す。左手用の入力デバイス１６ａは、ケース体２０と、ユーザが操作する複数の操作部材２２ａ、２２ｂ、２２ｃ、２２ｄ（以下、特に区別しない場合は「操作部材２２」と呼ぶ）と、ケース体２０の外部に光を出射する複数のマーカ３０とを備える。マーカ３０は断面円形の出射部を有してよい。操作部材２２は、傾動操作するアナログスティック、押下式ボタンなどを含んでよい。ケース体２０は、把持部２１と、ケース体頭部とケース体底部とを連結する湾曲部２３を有し、ユーザは湾曲部２３に左手を入れて、把持部２１を把持する。ユーザは把持部２１を把持した状態で、左手の親指を用いて、操作部材２２ａ、２２ｂ、２２ｃ、２２ｄを操作する。

【0033】

図４（ｂ）は、右手用の入力デバイス１６ｂの形状を示す。右手用の入力デバイス１６ｂは、ケース体２０と、ユーザが操作する複数の操作部材２２ｅ、２２ｆ、２２ｇ、２２ｈ（以下、特に区別しない場合は「操作部材２２」と呼ぶ）と、ケース体２０の外部に光を出射する複数のマーカ３０とを備える。操作部材２２は、傾動操作するアナログスティック、押下式ボタンなどを含んでよい。ケース体２０は、把持部２１と、ケース体頭部とケース体底部とを連結する湾曲部２３を有し、ユーザは湾曲部２３に右手を入れて、把持部２１を把持する。ユーザは把持部２１を把持した状態で、右手の親指を用いて、操作部材２２ｅ、２２ｆ、２２ｇ、２２ｈを操作する。

【0034】

図５は、右手用の入力デバイス１６ｂの形状を示す。入力デバイス１６ｂは、図４（ｂ）で示した操作部材２２ｅ、２２ｆ、２２ｇ、２２ｈに加えて、操作部材２２ｉ、２２ｊを有する。ユーザは把持部２１を把持した状態で、右手の人差し指を用いて操作部材２２ｉを操作し、中指を用いて操作部材２２ｊを操作する。以下、入力デバイス１６ａと入力デバイス１６ｂとを特に区別しない場合、「入力デバイス１６」と呼ぶ。

【0035】

入力デバイス１６に設けられた操作部材２２は、押さなくても、触れるだけで指を認識するタッチセンス機能を搭載してよい。右手用の入力デバイス１６ｂに関して言えば、操作部材２２ｆ、２２ｇ、２２ｊが、静電容量式タッチセンサを備えてよい。なおタッチセンサは他の操作部材２２に搭載されてもよいが、入力デバイス１６をテーブルなどの載置面に置いた際に、タッチセンサが載置面に接触することのない操作部材２２に搭載されることが好ましい。

【0036】

マーカ３０は、ケース体２０の外部に光を出射する光出射部であり、ケース体２０の表面において、ＬＥＤ（Light Emitting Diode）素子などの光源からの光を外部に拡散出射する樹脂部を含む。マーカ３０は撮像装置１４により撮影されて、入力デバイス１６のトラッキング処理に利用される。

【0037】

情報処理装置１０は、撮像装置１４による撮影画像を、入力デバイス１６のトラッキング処理と、ＨＭＤ１００のＳＬＡＭ（Simultaneous Localization and Mapping）処理に利用する。本実施形態では撮像装置１４が１２０フレーム／秒で撮影する画像のうち、６０フレーム／秒で撮影されるグレースケール画像が、入力デバイス１６のトラッキング処理に利用され、６０フレーム／秒で撮影される別のフルカラー画像が、ＨＭＤ１００の自己位置推定および環境地図作成を同時実行する処理に利用されてよい。

【0038】

図６は、入力デバイス１６を撮影した画像の一部の例を示す。この画像は、右手で把持された入力デバイス１６ｂを撮影した画像であり、光を出射する複数のマーカ３０の像が含まれる。ＨＭＤ１００において、通信制御部１２８は、撮像装置１４が撮影した画像データをリアルタイムで情報処理装置１０に送信する。

【0039】

図７は、入力デバイス１６の機能ブロックを示す。制御部５０は、操作部材２２に入力された操作情報を受け付ける。また制御部５０は、ＩＭＵ（慣性計測装置）３２により検出されたセンサデータとタッチセンサ２４により検出されたセンサデータを受け付ける。上述したようにタッチセンサ２４は、複数の操作部材２２のうちの少なくとも一部に取り付けられ、ユーザの指が操作部材２２に接触している状態を検知する。

【0040】

ＩＭＵ３２は、入力デバイス１６の動きに関するセンサデータを取得し、少なくとも３軸の加速度データを検出する加速度センサ３４と、３軸の角速度データを検出する角速度センサ３６を含む。加速度センサ３４および角速度センサ３６は、所定の周期（たとえば８００Ｈｚ）で各軸成分の値（センサデータ）を検出する。制御部５０は、受け付けた操作情報およびセンサデータを通信制御部５４に供給し、通信制御部５４は、ネットワークアダプタまたはアンテナを介して有線または無線通信により、操作情報およびセンサデータを情報処理装置１０に送信する。

【0041】

入力デバイス１６は、複数のマーカ３０を点灯するための複数の光源５８を備える。光源５８は、所定の色で発光するＬＥＤ素子であってよい。通信制御部５４が情報処理装置１０から発光指示を取得すると、制御部５０は発光指示にもとづいて光源５８を発光させ、マーカ３０を点灯させる。なお図７に示す例では、１つのマーカ３０に対して１つの光源５８が設けられているが、１つの光源５８が複数のマーカ３０を点灯させてもよい。

【0042】

図８は、情報処理装置１０の機能ブロックを示す。情報処理装置１０はコンピュータを備え、コンピュータがプログラムを実行することによって、図８に示す様々な機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図８に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

【0043】

本実施の形態において情報処理装置１０は、撮像装置１４を備えるデバイスであるＨＭＤ１００の位置や姿勢をトラッキングするとともに、その撮影画像を利用して、その他のデバイスである入力デバイス１６をトラッキングすることを基本とする。これらのデバイスはユーザの身に装着され、またはユーザに把持されることにより、位置や姿勢が変化し得る点で共通するが、撮像装置１４を備えるか否かに依存してトラッキング手法、ひいては結果の取得特性に差が生じる。

【0044】

つまり撮像装置１４を備えるデバイスは基本的には、ＳＬＡＭ等の技術によりそれ自体の状態によらずトラッキングが可能であるのに対し、被写体であるデバイスは、画角から逸脱している期間のトラッキングが困難になる。このため情報処理装置１０は、例えば前者のデバイスの位置や姿勢を基準として、人の骨格モデルに基づき後者のデバイスの位置や姿勢を推定する機能を有する。

【0045】

本実施の形態では、前者のデバイスとしてＨＭＤ１００、後者のデバイスとして入力デバイス１６を例に説明するが、各デバイスの種類は特に限定されず、それぞれを「第１デバイス」、「第２デバイス」と表現することができる。第１デバイスおよび第２デバイスは、身体の部位のいずれに装着（把持を含む）されてもよい。また第１デバイスの状態取得の手段も、基準として用いることができる程度に継続的なトラッキングが可能な限り特に限定されない。

【0046】

情報処理装置１０は、処理部２００および通信部２０２を備え、処理部２００は、データ取得部２１０、ゲーム実行部２２０、画像信号処理部２２２、マーカ情報保持部２２４、状態保持部２２６、第１デバイス情報取得部２６９、第２デバイス情報取得部２３０を備える。通信部２０２は、入力デバイス１６から送信される操作部材２２の操作情報およびセンサデータを受信し、データ取得部２１０に供給する。また通信部２０２は、ＨＭＤ１００から送信される撮影画像データおよびセンサデータを受信し、データ取得部２１０に供給する。データ取得部２１０は、撮影画像取得部２１２、センサデータ取得部２１４および操作情報取得部２１６を備える。

【0047】

（ＳＬＡＭ機能）
撮影画像取得部２１２は、ＨＭＤ１００のＳＬＡＭ処理用のフルカラー画像を取得し、第１デバイス情報取得部２６９の画像信号処理部２６８に供給する。画像信号処理部２６８は、画像データにノイズ低減や光学補正（シェーディング補正）などの画像信号処理を施し、画像信号処理した画像データをＳＬＡＭ処理部２７０に供給する。

【0048】

センサデータ取得部２１４は、ＨＭＤ１００から送信されるセンサデータを取得し、ＳＬＡＭ処理部２７０に供給する。ＳＬＡＭ処理部２７０は、撮影画像取得部２１２から供給される画像データと、センサデータ取得部２１４から供給されるセンサデータにもとづいて、ＨＭＤ１００の自己位置推定および環境地図作成を同時実行する。

【0049】

（撮影画像を用いる第１推定機能）
撮影画像取得部２１２は、入力デバイス１６のトラッキング処理用のグレースケール画像を取得し、画像信号処理部２２２に供給する。画像信号処理部２２２は、画像データにノイズ低減や光学補正（シェーディング補正）などの画像信号処理を施し、画像信号処理した画像データを、第２デバイス情報取得部２３０の第１推定処理部２４０に供給する。

【0050】

第１推定処理部２４０は、マーカ像座標特定部２４２、位置姿勢導出部２４４、部位位置推定部２４６およびノイズ導出部２４８を備え、入力デバイス１６を撮影した画像にもとづいて入力デバイス１６の位置および姿勢を推定する第１推定機能を実現する。第１推定処理部２４０は、撮影画像から入力デバイス１６の複数のマーカ３０を撮影したマーカ像を抽出し、抽出した複数のマーカ像の配置から、入力デバイス１６の位置および姿勢を推定する。第１推定処理部２４０は、推定した入力デバイス１６の位置および姿勢を、そのノイズ（誤差）の分散とともに、第３推定処理部２６０に出力する。

【0051】

なお後述するように、入力デバイス１６が撮影画像の画角から逸脱する状況に備え、センサデータ取得部２１４は、ＨＭＤ１００および入力デバイス１６から送信されるセンサデータも、第１推定処理部２４０に供給する。当該センサデータは、骨格の可動範囲から入力デバイス１６の位置や姿勢を推定するのに用いられるほか、骨格モデルを設定する際の、頭部に対する身体の向きの制御にも用いられる。

【0052】

（センサデータを用いる第２推定機能）
センサデータ取得部２１４は、入力デバイス１６から送信されるセンサデータを取得し、第２推定処理部２５０に供給する。第２推定処理部２５０は、入力デバイス１６の加速度および角速度を示すセンサデータにもとづいて、入力デバイス１６の位置および姿勢を推定する第２推定機能を実現する。本実施形態において、第２推定機能はカルマンフィルタにおける状態予測ステップを実施する機能であり、第２推定処理部２５０は、前回の時刻における状態ベクトル（位置、速度、姿勢）に、供給されたセンサデータを積分演算することで得られる状態ベクトルの変化量を加算することで、今回の時刻における状態ベクトルを推定する。第２推定処理部２５０は、推定した状態ベクトルを、そのノイズの分散とともに、第３推定処理部２６０に出力する。なお積分演算により得られる変化量は、時間経過とともにノイズが蓄積するため、第２推定処理部２５０により推定される状態ベクトル（位置、速度、姿勢）は、実際の状態ベクトル（位置、速度、姿勢）から離れていく傾向がある。

【0053】

（推定結果の統合機能）
第３推定処理部２６０は、第１推定処理部２４０が推定した入力デバイス１６の位置および姿勢と、第２推定処理部２５０が推定した入力デバイス１６の状態ベクトル（位置、速度、姿勢）から、入力デバイス１６の位置および姿勢を高精度に導出する。第３推定処理部２６０は、ＵＫＦ（無香料カルマンフィルタ）のフィルタリングステップ（補正ステップ）を実施してよい。第３推定処理部２６０は、第２推定処理部２５０が推定した状態ベクトルを「事前推定値」として取得し、第１推定処理部２４０が推定した位置および姿勢を「観測値」として取得して、カルマンゲインを算出し、カルマンゲインを用いて「事前推定値」を補正した「事後推定値」を求める。「事後推定値」は、入力デバイス１６の位置および姿勢を高精度に表現し、ゲーム実行部２２０に提供されるとともに、状態保持部２２６に記録されて、第２推定処理部２５０における次の時刻の状態ベクトルの推定に利用される。

【0054】

撮像装置１４やＩＭＵ３２など複数のセンサを用いた解析結果を統合して精度を高める手法はセンサフュージョンとして知られている。センサフュージョンにおいては、各センサによりデータが取得された時刻を共通の時間軸で表現する必要がある。情報処理システム１においては、撮像装置１４の撮像周期とＩＭＵ３２のサンプリング周期が異なり、また非同期であるため、画像の撮影時刻と、加速度および角速度の検出時刻とを正確に管理することで、第３推定処理部２６０は、入力デバイス１６の位置および姿勢を高精度に推定することが可能となる。

【0055】

操作情報取得部２１６は、入力デバイス１６から送信される操作情報を取得し、ゲーム実行部２２０に供給する。ゲーム実行部２２０は、操作情報と、第２デバイス情報取得部２３０により取得された入力デバイス１６の位置姿勢情報にもとづいて、ゲームを進行する。

【0056】

図９は、第１推定処理部２４０による位置姿勢推定処理を示すフローチャートである。撮影画像取得部２１２は、入力デバイス１６を撮影した画像データを取得して（Ｓ１０）、画像信号処理部２２２に供給する。画像信号処理部２２２は、画像データにノイズ低減や光学補正などの画像信号処理を施し（Ｓ１２）、画像信号処理した画像データをマーカ像座標特定部２４２に供給する。

【0057】

マーカ像座標特定部２４２は、撮影画像に含まれる複数のマーカ像の代表座標を特定する（Ｓ１４）。グレースケール画像の各画素の輝度が８ビットで表現されて、０～２５５の輝度値をとる場合、マーカ像は、図６に示すように高輝度をもつ像として撮影される。マーカ像座標特定部２４２は、撮影画像から、所定値以上の輝度値（たとえば１２８輝度値）をもつ画素が連続する領域を特定し、その連続画素領域の重心座標を算出して、マーカ像の代表座標を特定してよい。

【0058】

なお撮影画像には、マーカ像だけでなく、電灯などの照明機器の像も含まれている。そこでマーカ像座標特定部２４２は、いくつかの所定の基準に照らし合わせて、所定値以上の輝度値をもつ連続画素領域がマーカ像に対応するか調査する。たとえば連続画素領域が大きすぎる場合や、長尺形状である場合には、当該連続画素領域はマーカ像に対応しないことが確実であるため、マーカ像座標特定部２４２は、そのような連続画素領域がマーカ像ではないことを判断してよい。マーカ像座標特定部２４２は、所定の基準を満たす連続画素領域の重心座標を算出して、マーカ像の代表座標（マーカ像座標）として特定し、特定した代表座標をメモリ（図示せず）に記憶する。

【0059】

マーカ情報保持部２２４は、基準位置および基準姿勢にある入力デバイス１６の３次元モデルにおける各マーカの３次元座標を保持している。３次元の形状および大きさが既知である物体の撮影画像から、それを撮影した撮像装置の位置および姿勢を推定する手法として、ＰＮＰ（Perspective n-Point）問題を解く方法が知られている。

【0060】

本実施形態において位置姿勢導出部２４４は、Ｎ（Ｎは３以上の整数）個のマーカ像座標をメモリ（図示せず）から読み出し、読み出したＮ個のマーカ像座標と、入力デバイス１６の３次元モデルにおけるＮ個のマーカの３次元座標から、入力デバイス１６の位置および姿勢を推定する。位置姿勢導出部２４４は、以下の（式１）を用いて撮像装置１４の位置および姿勢を推定し、その推定結果をもとに入力デバイス１６の３次元空間の位置および姿勢を導出する。

【0061】

【数1】

【0062】

ここで（ｕ，ｖ）は撮影画像におけるマーカ像座標であり、（Ｘ，Ｙ，Ｚ）は、入力デバイス１６の３次元モデルが基準位置および基準姿勢にあるときのマーカ３０の３次元空間での位置座標である。なお３次元モデルは、入力デバイス１６と完全に同一の形状および大きさをもち、マーカを同一位置に配置したモデルであり、マーカ情報保持部２２４は、基準位置および基準姿勢にある３次元モデルにおける各マーカの３次元座標を保持している。位置姿勢導出部２４４は、マーカ情報保持部２２４から各マーカの３次元座標を読み出して、（Ｘ，Ｙ，Ｚ）を取得する。

【0063】

（ｆ_ｘ、ｆ_ｙ）は撮像装置１４の焦点距離、（ｃ_ｘ、ｃ_ｙ）は画像主点であり、いずれも撮像装置１４の内部パラメータである。ｒ_１１～ｒ_３３、ｔ_１～ｔ_３を要素とする行列は、回転・並進行列である。（式１）において（ｕ，ｖ）、（ｆ_ｘ、ｆ_ｙ）、（ｃ_ｘ、ｃ_ｙ）、（Ｘ，Ｙ，Ｚ）は既知であり、位置姿勢導出部２４４は、Ｎ個のマーカ３０について方程式を解くことにより、それらに共通の回転・並進行列を求める。本実施形態では、入力デバイス１６の位置姿勢を推定する処理を、Ｐ３Ｐ問題を解くことで実施する。

【0064】

具体的に位置姿勢導出部２４４は、マーカ像座標特定部２４２により特定された複数のマーカ像座標の中から、任意の３個のマーカ像座標を抽出する。位置姿勢導出部２４４は、マーカ情報保持部２２４から３次元モデルにおけるマーカの３次元座標を読み出し、（式１）を用いてＰ３Ｐ問題を解く。位置姿勢導出部２４４は、抽出された３個のマーカ像座標に共通する回転・並進行列を特定すると、抽出した３個のマーカ像座標以外の入力デバイス１６のマーカ像座標を用いて再投影誤差を算出する。

【0065】

位置姿勢導出部２４４は、３個のマーカ像座標の組合せを所定数抽出する。位置姿勢導出部２４４は、抽出された３個のマーカ像座標のそれぞれの組合せに対して回転・並進行列を特定し、それぞれの再投影誤差を算出する。それから位置姿勢導出部２４４は、所定数の再投影誤差の中から最小の再投影誤差となる回転・並進行列を特定して、入力デバイス１６の位置および姿勢を導出する（Ｓ１６）。

【0066】

ノイズ導出部２４８は、推定した位置および姿勢のそれぞれのノイズ（誤差）の分散を導出する（Ｓ１８）。ノイズの分散値は、推定した位置および姿勢の信頼度に対応し、信頼度が高ければ分散値は小さく、信頼度が低ければ分散値は大きくなる。ノイズ導出部２４８は、撮像装置１４と入力デバイス１６の間の距離や、画角内におけるマーカ像の位置にもとづいて、ノイズの分散を導出してよい。たとえば撮像装置１４と入力デバイス１６とが遠く離れている、または極端に近い場合や、マーカ像が撮影画像の端に位置するような場合は、正確なマーカ像の重心座標を導出することが難しくなるため、ノイズ分散は大きく導出される傾向がある。

【0067】

なおトラッキング処理中（第１推定機能の実施中）に推定する位置および姿勢の信頼度が高いことは確実であるため、ノイズ導出部２４８は、推定位置および推定姿勢のそれぞれのノイズの分散を、小さい固定値に設定してもよい。たとえばノイズ導出部２４８は、トラッキング処理中の位置ノイズの分散を固定値である「０．５ｍｍ」に設定して、第３推定処理部２６０に供給してもよい。トラッキング処理中、第１推定処理部２４０は、推定した位置および姿勢の情報とともに、位置ノイズおよび姿勢ノイズの分散を第３推定処理部２６０に出力してよいが、位置ノイズおよび姿勢ノイズの分散が固定値である場合には、トラッキング処理の開始時にノイズの分散を第３推定処理部２６０に一回出力して、第３推定処理部２６０がノイズの分散を記憶して使用してもよい。

【0068】

第１推定処理部２４０による位置姿勢推定処理は、入力デバイス１６のトラッキング用画像の撮像周期（６０フレーム／秒）で実施される（Ｓ２０のＮ）。ゲーム実行部２２０がゲームを終了すると、第１推定処理部２４０による位置姿勢推定処理は終了する（Ｓ２０のＹ）。

【0069】

図１０は、第２デバイス情報取得部２３０の内部構成を示す。時刻ｋにおいて、第１推定処理部２４０は、推定した位置および姿勢を「観測値ｎ_ｋ」、位置ノイズおよび姿勢ノイズの分散を「観測ノイズＲ_ｋ」として、第３推定処理部２６０に出力する。
・ 観測値ｎ_ｋ ： 時刻ｋの観測ベクトル
・ 観測ノイズＲ_ｋ ： 時刻ｋの観測値の誤差共分散行列

【0070】

第２推定処理部２５０は、１時刻前（時刻ｋ－１）の「状態ベクトルｍ_{ｋ－１｜ｋ－１}」および「推定誤差Ｐ_{ｋ－１｜ｋ－１}」を状態保持部２２６から読み出し、「状態ベクトルｍ_{ｋ－１｜ｋ－１}」および「推定誤差Ｐ_{ｋ－１｜ｋ－１}」を予測部に入力する。本実施形態の状態変数ｍは、入力デバイス１６の位置、速度、姿勢を含むが、さらに加速度バイアス、角速度バイアスを含んでもよい。
・ 状態ベクトルｍ_{ｋ－１｜ｋ－１} ： 時刻ｋ－１までの情報で推定した時刻ｋ－１の状態ベクトル
・ 推定誤差Ｐ_{ｋ－１｜ｋ－１} ： 時刻ｋ－１までの情報で推定した時刻ｋ－１の状態の推定誤差共分散行列

【0071】

また第２推定処理部２５０は、センサデータ取得部２１４から、入力デバイス１６の加速度ａ_ｋと角速度ω_ｋを取得し、加速度ａ_ｋと角速度ω_ｋを「プロセス入力ｌ_ｋ」として、予測部に入力する。
・ 加速度ａ_ｋ ： 時刻ｋの加速度
・ 角速度ω_ｋ ： 時刻ｋの角速度
・ プロセス入力ｌ_ｋ ： 時刻ｋのプロセス入力ベクトル

【0072】

第２推定処理部２５０は、加速度ａ_ｋと角速度ω_ｋと、固定のノイズパラメータ（軸ずれ、スケールずれ、値ずれ、バイアスずれを含む）から、加速度ノイズの分散および角速度ノイズの分散を計算し、「プロセスノイズＱ_ｋ」として、予測部に入力する。
・ プロセスノイズＱ_ｋ ： 時刻ｋのプロセス入力の誤差共分散行列

【0073】

予測部は、加速度ａ_ｋおよび角速度ω_ｋをそれぞれ積分演算して、「状態ベクトルｍ_{ｋ－１｜ｋ－１}」からの変化量（つまり、位置変化量、速度変化量、姿勢変化量）を算出し、「状態ベクトルｍ_{ｋ－１｜ｋ－１}」に加算する演算を行う。予測部は、加速度ａ_ｋを積分して速度変化量を算出し、速度変化量を用いて推定される速度を積分して位置変化量を算出し、角速度ω_ｋを積分して姿勢変化量を算出する。予測部は、「状態ベクトルｍ_{ｋ｜ｋ－１}」および「推定誤差Ｐ_{ｋ｜ｋ－１}」を、第３推定処理部２６０に出力する。
・ 状態ベクトルｍ_{ｋ｜ｋ－１} ： 時刻ｋ－１までの情報で推定した時刻ｋの状態ベクトル
・ 推定誤差Ｐ_{ｋ｜ｋ－１} ： 時刻ｋ－１までの情報で推定した時刻ｋの状態の推定誤差共分散行列

【0074】

第３推定処理部２６０は、第１推定処理部２４０から「観測値ｎ_ｋ」および「観測ノイズＲ_ｋ」を取得し、第２推定処理部２５０から「状態ベクトルｍ_{ｋ｜ｋ－１}」および「推定誤差Ｐ_{ｋ｜ｋ－１}」を取得して、「状態ベクトルｍ_{ｋ｜ｋ－１}」を補正するためのカルマンゲインを算出する。第３推定処理部２６０は、カルマンゲインを用いて「状態ベクトルｍ_{ｋ｜ｋ－１}」を補正し、「状態ベクトルｍ_ｋ｜ｋ」および「推定誤差Ｐ_ｋ｜ｋ」を出力する。
・ 状態ベクトルｍ_ｋ｜ｋ ： 時刻ｋまでの情報で推定した時刻ｋの状態ベクトル
・ 推定誤差Ｐ_ｋ｜ｋ ： 時刻ｋまでの情報で推定した時刻ｋの状態の推定誤差共分散行列

【0075】

「状態ベクトルｍ_ｋ｜ｋ」は、高精度に推定された位置、速度、姿勢を示し、ゲーム実行部２２０に提供されて、ゲーム操作に利用されてよい。「状態ベクトルｍ_ｋ｜ｋ」および「推定誤差Ｐ_ｋ｜ｋ」は状態保持部２２６に一時的に保持されて、第２推定処理部２５０における時刻ｋ＋１の推定処理の際に読み出される。

【0076】

第２デバイス情報取得部２３０において、第１推定処理部２４０による推定処理は６０Ｈｚの周期で実施される一方で、第２推定処理部２５０による推定処理は８００Ｈｚの周期で実施される。そのため第１推定処理部２４０が観測値を出力してから、次の観測値を出力するまでの間に、第２推定処理部２５０は状態ベクトルを順次更新し、この間、状態ベクトルは補正されない。本実施形態の第２デバイス情報取得部２３０は、観測時刻ｋの直前の時刻ｋ－１の状態を基準に補正ステップを行っており、つまり観測値を、過去の状態を修正するために利用している。

【0077】

以上のように、入力デバイス１６のトラッキング処理が実施されている間は、第２デバイス情報取得部２３０が、入力デバイス１６の位置および姿勢を高精度に推定する。しかしながら入力デバイス１６のマーカ３０が撮像装置１４により撮影されなくなると、第１推定処理部２４０は、図９に示す位置姿勢推定処理を実行できない。

【0078】

図１１は、ＨＭＤ１００に搭載した撮像装置１４の撮影可能な範囲を模式的に示す。撮像装置１４はＨＭＤ１００の前面側に取り付けられているため、ＨＭＤ１００の前方側の空間は撮影できるが、後方側の空間を撮影できない。そのためユーザが入力デバイス１６を顔の後方に動かすと、入力デバイス１６が撮像装置１４の画角から外れることで、図９に示した位置姿勢推定処理が実行できなくなる。

【0079】

このような場合に備えて、部位位置推定部２４６は、トラッキング処理の実施中に、入力デバイス１６の推定位置にもとづいて、ユーザの体における所定の部位の位置を推定しておく。入力デバイス１６の推定位置は、位置姿勢導出部２４４が推定した位置を利用しよいが、第３推定処理部２６０が出力する状態ベクトルに含まれる推定位置を利用してもよい。

【0080】

図１２（ａ）は、実空間のワールド座標系におけるＨＭＤ１００と入力デバイス１６の推定位置の例を示す。本実施形態の情報処理装置１０は、ＨＭＤ１００のＳＬＡＭ処理および入力デバイス１６ａ、１６ｂのトラッキング処理を実施することで、ＨＭＤ１００および入力デバイス１６ａ、１６ｂのワールド座標系における位置および姿勢を推定している。

【0081】

図１２（ｂ）は、ユーザの体における所定の部位の位置を推定する手法を示す。部位位置推定部２４６は、ＨＭＤ１００の位置と入力デバイス１６の位置から、体の部位である肘の位置を推定する。

【0082】

まず部位位置推定部２４６は、ＨＭＤ１００の位置および姿勢から、ユーザの右肩の位置Ｈ１と左肩の位置Ｈ２を推定する。ＨＭＤ１００が傾斜していない場合、部位位置推定部２４６は、ＨＭＤ１００の中心位置から距離ｄ１だけ下方にある点Ｉを特定し、点Ｉから距離ｄ２だけ右方にある位置Ｈ１を右肩位置、点Ｉから距離ｄ２だけ左方にある位置Ｈ２を左肩位置と特定してよい。この距離ｄ１、ｄ２は固定値であってよいが、ユーザの体の大きさに合わせて設定されてもよい。

【0083】

続いて部位位置推定部２４６は、右肩位置Ｈ１と右手用の入力デバイス１６ｂの位置にもとづいて、右肘の位置Ｊ１を推定する。このとき部位位置推定部２４６は、右肩から肘までの上腕長ｌ１と、肘から手までの前腕長ｌ２から、インバースキネマティクスにより右肘の位置Ｊ１を推定してよい。なお上腕長ｌ１と、前腕長ｌ２は固定値であってよいが、ユーザの体の大きさに合わせて設定されてもよい。

【0084】

なおインバースキネマティクスにより推定される右肘位置Ｊ１の候補は無数にあるため、部位位置推定部２４６は、これまでの入力デバイス１６ｂの挙動や、入力デバイス１６ｂとＨＭＤ１００との間の距離などのパラメータにもとづいて、最も確からしい右肘位置Ｊ１を導出することが好ましい。なおＨＭＤ１００と入力デバイス１６ｂの相対的な位置関係および相対的な姿勢関係に応じて右肘位置Ｊ１を一意に導き出す関数またはマップを予め用意しておき、部位位置推定部２４６は、当該関数またはマップを用いて、右肘位置Ｊ１を導出してもよい。

【0085】

同様に部位位置推定部２４６は、左肩位置Ｈ２と左手用の入力デバイス１６ａの位置にもとづいて、左肘の位置Ｊ２を推定する。なお部位位置推定部２４６が、フルカラー撮影画像に含まれるユーザの肘位置を画像解析により特定して、ワールド座標空間における肘位置の座標を導出する機能を有していれば、当該肘位置を利用してもよい。

【0086】

図１３は、入力デバイス１６が撮像装置１４の撮影可能範囲から外れた状態を示す。入力デバイス１６が撮像装置１４の画角から外れると、撮影画像にマーカ像が含まれなくなる。このときマーカ像座標特定部２４２は、撮影画像からマーカ像を抽出できないことを判定し、その判定結果を位置姿勢導出部２４４に通知する。位置姿勢導出部２４４は、判定結果を受けてトラッキング処理を実施不能であることを認識すると、推定モードを切り替えて、部位位置推定部２４６で推定された肘位置にもとづいた入力デバイス１６の位置推定処理を開始する。

【0087】

位置姿勢導出部２４４は、部位位置推定部２４６から、撮影画像にマーカ像が含まれなくなる直前に（つまりトラッキングがロスト状態となる直前に）推定された肘位置を取得する。位置姿勢導出部２４４は、取得した肘位置を回転中心としてセンサデータに対応する回転量で回転した位置を、入力デバイス１６の位置として導出する。

【0088】

図１４は、肘位置を基点としてデバイス位置を推定する処理を説明するための図である。図中、×印で示す位置は、マーカ３０が最後に撮影されたときに推定された入力デバイス１６の位置を示し、肘位置Ｊは、そのときに推定された肘の位置を示す。位置姿勢導出部２４４は、肘位置Ｊを回転中心として、入力デバイス１６の角速度に対応する回転量および回転方向で所定長の仮想的な前腕を回転させて、入力デバイス１６の位置を導出する。図１２に示したように、肘位置Ｊと入力デバイス１６の間の前腕の長さはｌ２であり、したがって位置姿勢導出部２４４は、トラッキングロスト状態が継続する間、肘位置Ｊを回転中心とした半径ｌ２の球面上の位置を、入力デバイス１６の位置として導出する。このように導出された位置は、必ずしも正確とは言えないが、トラッキングロストが生じる直前の肘位置を基点として推定されるため、ゲームを継続するには十分な精度であると言える。

【0089】

トラッキングロスト状態が継続する間、部位位置推定部２４６は後述するように、ＨＭＤ１００の動きに追従して骨格モデルを動かすことで、ＨＭＤ１００の位置と肘位置Ｊとの相対的位置関係を良好に保つことが好ましい。

【0090】

ノイズ導出部２４８は、トラッキングロスト中の位置ノイズの分散を導出する。ノイズ導出部２４８は、トラッキング処理中（撮影画像にマーカ像が含まれているとき）の位置ノイズの分散よりも、トラッキングロスト中（撮影画像にマーカ像が含まれていないとき）の位置ノイズの分散を大きく設定する。上記した例で、ノイズ導出部２４８は、トラッキング処理中の位置ノイズの分散を０．５ｍｍに設定しているが、トラッキングロスト中は５ｍｍ以上の位置ノイズの分散を導出してよい。肘位置Ｊを回転中心とした回転量（回転角度）が大きくなるほど、推定位置の信頼度は低くなるため、ノイズ導出部２４８は、回転量が大きくなると、回転量が小さいときよりも大きな位置ノイズの分散を導出してもよい。たとえばトラッキングロストする直前のデバイス位置からの回転量が２０度未満である場合、位置ノイズの分散を５ｍｍに設定し、回転量が２０度以上となる場合、位置ノイズの分散を５０ｍｍに設定してもよい。ノイズ導出部２４８は、位置ノイズの分散を、回転量の増加に応じて線形的または非線形的に大きくなるように導出してもよい。

【0091】

なお入力デバイス１６が撮像装置１４の画角内に移動して、撮影画像にマーカ像が含まれるようになると、マーカ像座標特定部２４２は、撮影画像からマーカ像を抽出し、位置姿勢導出部２４４は、推定モードを元に戻して、マーカ像にもとづいた位置姿勢推定処理を再開する。

【0092】

次に、トラッキングロストの状態において、ＨＭＤ１００の動きに対し骨格モデルを追従させる際の制御手法について説明する。図１５は、本実施の形態において、ＨＭＤ１００に対する骨格モデルの状態設定に係るモードを説明するための図である。図は、ＨＭＤ１００と骨格モデルの複数の状態を斜視図で示している。これまで述べたようにユーザが両手に把持する入力デバイス１６ａ、１６ｂを状態取得の対象とした場合、骨格モデルとしては、図１２（ｂ）に示したように、両肩（位置Ｈ１、Ｈ２）と、両肘（位置Ｊ１、Ｊ２）を含む腕モデルが導入される。

【0093】

上述したように部位位置推定部２４６は、トラッキングロストの状態において、両肘の位置Ｊ１、Ｊ２を中心に上腕長を半径とする球面上で入力デバイス１６ａ、１６ｂの位置を導出する。腕モデルを導入することにより、トラッキングロスト直後における両肘の位置Ｊ１、Ｊ２の推定精度を向上できるとともに、その後、トラッキングロストの状態が継続しても、ＨＭＤ１００の動きから推定される身体の動きに合うように、両肘の位置Ｊ１、Ｊ２を更新できる。

【0094】

多くの場合、図の左端に示すように、ユーザの顔と身体が同じ方向を向いた状態３００が自然な体勢となるため、これを仮定すれば、図１２（ｂ）を参照して説明したように腕モデルを容易に設定できる。詳細には部位位置推定部２４６は、腕モデルの正面方向、すなわちベクトルｖａの向きが、ＨＭＤ１００の正面方向、すなわちベクトルｖｈの向きと一致するように、また、ＨＭＤ１００と腕モデルの中心軸（ｚ軸）が一致するように、腕モデルを設定すればよい。

【0095】

一方、ユーザが頭部の姿勢を変化させる際、実際にはこのような標準状態を保ったままとは限らない。すなわちユーザは、身体ごと向きを変えるのではなく、一時的に振り向いたり首をかしげたりして頭のみ姿勢を変化させることがあり得る。このような状況において常に状態３００を前提に腕モデルを設定すると、肘の位置Ｊ１、Ｊ２が実際と乖離し、結果として入力デバイス１６ａ、１６ｂの位置や姿勢に大きな誤差が生じてしまうことが考えられる。

【0096】

そこで本実施の形態において部位位置推定部２４６は、頭部、ひいてはＨＭＤ１００に対する腕モデルの追従の度合いを、ＨＭＤ１００と入力デバイス１６ａ、１６ｂのセンサデータに応じて変化させる。「追従の度合い」とは、腕モデルの運動を定義するパラメータのうち拘束条件を課すパラメータの数と言い換えられる。具体的には、腕モデルをＨＭＤ１００の並進運動および回転運動に完全に追従させるモード（以後、「ＦＡ（Follow All）モード」と呼ぶ）と、腕モデルをＨＭＤ１００の並進運動には追従させるが回転運動には追従させないモード（以後、「ＦＴ（Follow Translation）モード」と呼ぶ）とを準備し、部位位置推定部２４６がセンサデータに基づき切り替え制御する。

【0097】

図では状態３００を初期状態とし、ＨＭＤ１００の回転運動発生時における腕モデルの変化を、ＦＡモード（上段）とFTモード（下段）で比較している。まず図の中列（ａ）は、ＨＭＤ１００が頭部の鉛直方向の中心軸（ｚ軸）周りにヨー方向の回転をした場合を示す。このとき部位位置推定部２４６は、ＦＡモードでは、腕モデルをＨＭＤ１００と同じ角度でヨー方向に回転させる。その結果、ＨＭＤ１００の正面方向のベクトルｖｈと腕モデルの正面方向のベクトルｖａの向きは常に一致する。ＦＴモードでは、部位位置推定部２４６は腕モデルを回転させない。その結果、ＨＭＤ１００の正面方向のベクトルｖｈと腕モデルの正面方向のベクトルｖａには角度差が生じる。

【0098】

図の右列（ｂ）は、ＨＭＤ１００が頭部の前後方向の軸周りにロール方向の回転をした場合を示す。このとき部位位置推定部２４６は、ＦＡモードでは、腕モデルをＨＭＤ１００と同じ角度でロール方向に回転させる。ＦＴモードでは、部位位置推定部２４６は腕モデルを回転させない。図示したいずれの状態においても、そのように設定した腕モデルから両肘の位置Ｊ１、Ｊ２を取得し、それに基づき入力デバイス１６ａ、１６ｂの位置姿勢を導出する手法は前述のとおりでよい。また部位位置推定部２４６は、図示しないＨＭＤ１００の並進運動成分に対しては、腕モデルも同じだけ並進運動をさせる。

【0099】

図１６は部位位置推定部２４６の機能ブロックの構成をより詳細に示している。部位位置推定部２４６は、第１デバイス情報取得部３１０、センサデータ取得部３１２、モード制御部３１４、補正部３１６、および部位位置決定部３１８を備える。第１デバイス情報取得部３１０は、第１デバイス情報取得部２６９からＨＭＤ１００の位置および姿勢に係る情報を取得する。センサデータ取得部３１２は、センサデータ取得部２１４からＨＭＤ１００および入力デバイス１６のセンサデータを取得する。

【0100】

モード制御部３１４は、ＨＭＤ１００および入力デバイス１６のセンサデータに基づき、上述のＦＡモードとＦＴモード間でのモード切り替えを制御する。例えばモード制御部３１４は、センサデータが以下の（式２）を満たしている期間をＦＡモード、それ以外の期間をＦＴモードとする。

【0101】

【数2】

【0102】

ここでω_ｈ、ω_ｃはそれぞれ、ワールド座標系におけるＨＭＤ１００、入力デバイス１６の角速度である。（式２）によるモード制御によれば、ＨＭＤ１００と入力デバイス１６の角速度の差が、基準より小さければ頭部と腕は同じように回転していると判断し、差が基準以上であれば頭部のみ回転していると判断していることになる。ここで基準を、ＨＭＤ１００自体の角速度を用いた変数とすることにより、動作スピードそのものが判定に与える影響を軽減している。

【0103】

なおモード制御部３１４は、左右の手に把持される２つの入力デバイス１６ａ、１６ｂのうち少なくともどちらかが（式２）を満たしたとき、ＦＡモードとしてよい。これにより、腕モデルが左右で異なる挙動となったり、角速度の計測上のノイズ等により容易にＦＴモードへ切り替わったりするのを防ぐことができる。上述のとおり本来は、顔と身体が同じ方向を向いた状態が標準であるため、異なる方向を向いた状態を許容するＦＴモードへの移行や、当該状態の継続に対し比較的厳しい条件を課すことにより、確率の低い不自然な状態が作り出されないようにすることが肝要である。

【0104】

補正部３１６は、ＨＭＤ１００と腕モデルの姿勢に不自然な差が生じないように腕モデルの姿勢を補正する。具体的には補正部３１６はＦＴモードにおいて、腕モデルの回転を完全に停止させるのでなく、ＨＭＤ１００の向きに徐々に合わせる補正を行う。例えば補正部３１６は、ＨＭＤ１００が腕モデルに対し角度差を広げる方向に大きく回転している期間に、所定比率の小さい角速度で、同じ方向に腕モデルを回転させる。つまりＨＭＤ１００の回転運動に対し所定割合での追従を許容する。これにより、ＨＭＤ１００と腕モデルの角度差が不自然に大きくなるのを防ぐことができる。

【0105】

補正部３１６はさらに、ＦＴモードにおいて、ＨＭＤ１００と腕モデルの角度差を監視し、当該角度差が、あらかじめ設定された上限を超えるとき、ＦＡモードへの切り替えをモード制御部３１４に要求する。例えば補正部３１６は、ＨＭＤ１００および入力デバイス１６のセンサデータが以下の（式３）、（式４）の双方を満たしているか否かを監視する。

【0106】

【数3】

【0107】

【数4】

【0108】

（式３）のｖ_ｈｆ、ｖ_ｃｆはそれぞれ、ワールド座標系におけるＨＭＤ１００、入力デバイス１６の正面方向のベクトルである。前者は図１５のベクトルｖｈに対応し、後者は図１５のベクトルｖａと同様の意味を持つ。また（式４）のａ_ｈｒ、ａ_ｃｒはそれぞれ、ＨＭＤ１００、入力デバイス１６の、標準状態からのロール方向の回転角である。θ_ｆ、θ_ｒはそれぞれ、（式３）、（式４）の左辺の角度に与える上限であり、人の身体の可動域等に基づきあらかじめ設定しておく。一例としてθ_ｆは９０°、θ_ｒは６０°などとする。

【0109】

補正部３１６は（式３）によって、ＨＭＤ１００と腕モデルの正面方向の角度差がθ_ｆを越えないことを監視している。また補正部３１６は（式４）によって、ＨＭＤ１００と腕モデルのロール方向の角度差がθ_ｒを越えないことを監視している。なお補正部３１６は、左右の手に把持される２つの入力デバイス１６ａ、１６ｂのうち少なくともどちらかが（式３）、（式４）のどちらかを満たしたとき、ＦＡモードへの切り替えを要求してもよい。モード制御部３１４は当該要求を受け、ＦＴモードからＦＡモードへ切り替える。

【0110】

これにより、以後は、腕モデルがＨＭＤ１００の回転運動に追従することになり、上限を超えた角度差が生じなくなる。例えば、身体に対する顔の向きが９０°を越えたり、身体に対し頭が６０°を越えて傾いだりする不自然な状況の発生を防止できる。なおＨＭＤ１００および腕モデルの正面方向のベクトルのなす角や、両者のロール方向の角度差を定性的に表せる指標であれば、監視対象とするパラメータは（式３）、（式４）に限定されない。

【0111】

部位位置決定部３１８は、モード制御部３１４の制御のもとＦＡモード、ＦＴモードのポリシーに従い、腕モデルをワールド座標系に設定したうえ、入力デバイス１６の位置決定に用いる部位、すなわち肘の位置Ｊを所定周期で決定する。決定結果は位置姿勢導出部２４４に順次通知され、図１４を参照して説明したように入力デバイスの位置導出に用いられる。なお位置導出の対象とするデバイスを装着する身体の箇所によって、用いる骨格モデルの種類や、位置を求める部位が様々に置き換え可能であることは、当業者には理解されるところである。

【0112】

図１７は、ＦＴモードにおいて、腕モデルの正面方向をＨＭＤ１００の正面方向に近づける補正部３１６の処理を説明するための図である。上段はＨＭＤ１００および腕モデルの正面方向のベクトルの角度（ヨー角）の時間変化を例示している。この例ではＨＭＤ１００が標準状態（０°）から徐々に回転した結果、実線で示したＨＭＤ１００の角度３５０が単調増加している。ＦＴモードでは原則として、腕モデルを当該回転に追従させないため、本来は一点鎖線で示すように、腕モデルの角度３５２ａが一定値となる。その結果、ＨＭＤ１００と腕モデルの正面方向のベクトルの角度差はΔαとなる。

【0113】

一方、上述のとおり補正部３１６は、ＨＭＤ１００と腕モデルとの角度差が容易に拡大しないように、腕モデルをＨＭＤ１００と同方向に所定の比率で回転させる。例えば補正部３１６は、図の破線で示した角度３５２ｂのような変化で腕モデルを回転させる。その結果、ＨＭＤ１００と腕モデルの正面方向のベクトルの角度差はΔα’（＜Δα）に縮小される。ここで補正部３１６は、ＨＭＤ１００の角速度に応じて、腕モデルの補正速度（補正のための角速度）を変化させる。定性的には、ＨＭＤ１００の角速度が大きいときに腕モデルの補正速度を大きくする。

【0114】

図の下段は、上段に示した角度の変化をもたらす角速度の変化を示している。この例でＨＭＤ１００の角速度３５６は、時刻ｔ０から徐々に増加し、中盤の時刻ｔ１で極大値をとったあとに徐々に減少する変化となる。これに対し補正部３１６は、腕モデルの角速度３５４に示すように、ＨＭＤ１００の角速度ωｈに対し所定比率ｋ（０＜ｋ＜１．０）を乗算した角速度ωｈ＊ｋで、腕モデルを同方向に回転させる。

【0115】

また補正部３１６は図示するように、ＨＭＤ１００の角速度ωｈが所定のしきい値ω_ｔｈ以上である期間に限定して、腕モデルを角速度ωｈ＊ｋで回転させてもよい。例えば補正部３１６は、フレームの生成周期に対し０．５°の変化をもたらす角速度をしきい値ω_ｔｈとし、それ以上の角速度でＨＭＤ１００が回転している期間に、当該角速度の２％の角速度で腕モデルを同方向に回転させる。

【0116】

このようにＦＴモードであっても、所定比率で腕モデルをＨＭＤ１００の回転運動に追従させておくことにより、ＨＭＤ１００と腕モデルの角度差が不自然に大きな状態に到る可能性を低くできる。またＨＭＤ１００が大きく動いているときに角度差の解消を図ることにより、腕モデルの状態、ひいては入力デバイス１６の位置情報を、ユーザに気付かれにくい状況下で補正することができる。

【0117】

図１８は、本実施の形態において部位位置推定部２４６が腕モデルの設定モードを制御する処理手順を示すフローチャートである。部位位置推定部２４６はまず、左右の手（腕）、ひいては左右の手に把持する入力デバイスを識別するパラメータ「ａｒｍ」に０を代入する（Ｓ３０）。例えば部位位置推定部２４６は、パラメータ「ａｒｍ」が０のとき右手を対象とし、１のとき左手を対象とする。

【0118】

パラメータ「ａｒｍ」が２未満のとき（Ｓ３２のＹ）、部位位置推定部２４６は、対象の手に把持する入力デバイス１６とＨＭＤ１００の正面方向、ロール方向の角度差が、あらかじめ設定された上限θ_ｆ、θ_ｒ以下であるか否か、すなわち上述の式３、式４を満たすか否かを確認する（Ｓ３４）。どちらかの角度差が上限を超えている場合（Ｓ３４のＮ）、部位位置推定部２４６はＦＡモードとして、腕モデルをＨＭＤ１００の回転運動にも追従させる（Ｓ３８）。

【0119】

角度差が上限以下の場合（Ｓ３４のＹ）、部位位置推定部２４６は次に、対象の手に把持する入力デバイス１６とＨＭＤ１００の角速度差が基準より小さいか否か、すなわち上述の式２を満たすか否かを確認する（Ｓ３６）。角速度差が基準より小さい場合（Ｓ３６のＮ）、部位位置推定部２４６はＦＡモードとして、腕モデルをＨＭＤ１００の回転運動にも追従させる（Ｓ３８）。

【0120】

対象の手に把持された入力デバイス１６について、ＨＭＤ１００との角度差が上限以下であり（Ｓ３４のＹ）、角速度差が基準以上のとき（Ｓ３６のＹ）、部位位置推定部２４６はパラメータ「ａｒｍ」をインクリメントし、もう一方の手に把持された入力デバイス１６を対象として同じ判定処理を行う（Ｓ３６、Ｓ３２のＹ、Ｓ３４、Ｓ３６）。もう一方の手に把持された入力デバイス１６についても、ＨＭＤ１００との角度差が上限以下であり（Ｓ３４のＹ）、角速度差が基準以上のとき（Ｓ３６のＹ）、部位位置推定部２４６はＦＴモードとして、腕モデルをＨＭＤ１００の回転運動に追従させない（Ｓ３２のＮ、Ｓ４０）。

【0121】

ＦＴモードにおいて部位位置推定部２４６は、ＨＭＤ１００が腕モデル（あるいは少なくともどちらかの入力デバイス１６）に対する角度差が増す方向に回転し、その角速度ωｈがしきい値ω_ｔｈ以上か否かを確認する（Ｓ４２）。角速度ωｈがしきい値ω_ｔｈ以上のとき（Ｓ４２のＹ）、部位位置推定部２４６は、当該角速度ωｈに所定比率ｋを乗算した角速度ωｈ＊ｋでＨＭＤ１００に追従するように、腕モデルを回転させる（Ｓ４４）。角度差を増加させるＨＭＤ１００の回転において角速度ωｈがしきい値未満のときは（Ｓ４２のＮ）、部位位置推定部２４６は腕モデルを回転させない。

【0122】

部位位置推定部２４６は図示する処理を、表示画像のフレーム周期など所定の周期で繰り返す。これにより腕モデルをＨＭＤ１００の回転に追従させるか否か、あるいはその度合いを、ユーザの動きの変化に応じて細かく切り替えることができる。

【0123】

以上述べた本実施の形態によれば、ＨＭＤ（第１デバイス）と、入力デバイス（第２デバイス）を把持する手などの部位との位置関係を、人の骨格モデルを利用して設定することにより、第２デバイスの位置や姿勢の情報を導出する。この際、頭と身体が一体的に動く場合と、頭のみが回転する場合とを想定し、センサデータを利用した所定の判定基準で骨格モデルの設定モードを切り替える。

【0124】

具体的には、ＨＭＤと入力デバイスの角速度の差が基準より小さいときは、ＨＭＤの並進運動、回転運動の双方に骨格モデルを追従させ、角速度の差が基準以上のときは、ＨＭＤの並進運動のみに骨格モデルを追従させる。これにより、素早く振り向く、首を傾げる、身体全体で姿勢を変える、といった実際の運動特性を考慮して骨格モデルを設定でき、部位の位置、ひいては入力デバイスの位置や姿勢の情報の精度を高められる。また、撮影画像に基づき入力デバイスをトラッキングするシステムにおいて、入力デバイスが撮像装置の画角から逸脱してもトラッキングを継続できるため、位置姿勢情報を用いた情報処理の精度も高められる。

【0125】

さらに、顔と身体が同方向を向くのが標準的な状態であることを踏まえ、骨格モデルをＨＭＤの回転運動に追従させないモードにおいても、当該標準的な状態から乖離する方向性に対しフィルタをかける補正処理を、骨格モデルに継続的に施す。これにより、センサデータの誤差などに起因して骨格モデルが不自然な状態に到る可能性を低くし、入力デバイスの位置姿勢情報の取得精度を保つことができる。

【0126】

以上、実施形態をもとに本発明を説明した。上記本実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。本実施形態ではデバイスの位置や姿勢の取得を情報処理装置１０が実施したが、情報処理装置１０の機能がＨＭＤ１００に設けられて、ＨＭＤ１００が情報取得を実施してもよい。つまりＨＭＤ１００が、情報処理装置１０であってもよい。

【0127】

本実施形態では、操作部材２２を備えた入力デバイス１６における複数マーカ３０の配置について説明したが、トラッキングの対象となるデバイスは、必ずしも操作部材２２を備えていなくてよい。本実施形態では撮像装置１４がＨＭＤ１００に取り付けられているが、撮像装置１４は、マーカ像を撮影できればよく、ＨＭＤ１００以外の別の位置に取り付けられてもよい。

【符号の説明】

【0128】

１ 情報処理システム、 １０ 情報処理装置、 １４ 撮像装置、 １６ 入力デバイス、 ２１２ 撮影画像取得部、 ２１４ センサデータ取得部、 ２３０ 第２デバイス情報取得部、 ２４０ 第１推定処理部、 ２４２ マーカ像座標特定部、 ２４４ 位置姿勢導出部、 ２４６ 部位位置推定部、 ２６９ 第１デバイス情報取得部、 ２７０ ＳＬＡＭ処理部、 ３１０ 第１デバイス情報取得部、 ３１２ センサデータ取得部、 ３１４ モード制御部、 ３１６ 補正部、 ３１８部位位置決定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】