▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023120843
(43)【公開日】2023-08-30
(54)【発明の名称】情報処理装置およびデバイス位置推定方法
(51)【国際特許分類】
G06F 3/0346 20130101AFI20230823BHJP
【ＦＩ】
G06F3/0346 425
G06F3/0346 426
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022023936
(22)【出願日】2022-02-18
(71)【出願人】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【弁理士】
【氏名又は名称】三木 友由
(74)【代理人】
【識別番号】100134256
【弁理士】
【氏名又は名称】青木 武司
(72)【発明者】
【氏名】南野 孝範
(72)【発明者】
【氏名】西川 憲三
【テーマコード（参考）】
5B087
【Ｆターム（参考）】
5B087AA07
5B087BC12
5B087BC13
5B087BC26
5B087BC32
5B087DJ00
(57)【要約】
【課題】デバイスが撮影されなくなった場合に、デバイス位置を推定する技術を提供する。
【解決手段】撮影画像取得部２１２は、デバイスを撮影した画像を取得する。センサデータ取得部２１４は、デバイスの角速度を示すセンサデータを取得する。位置姿勢導出部２４４は、撮影画像にデバイスが含まれているとき、撮影画像におけるデバイスの位置座標から、三次元空間におけるデバイスの位置を導出する。部位位置推定部２４６は、推定したデバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定する。位置姿勢導出部２４４は、撮影画像にデバイスが含まれなくなると、位置姿勢導出部２４４が推定した部位の位置を回転中心としてセンサデータに対応する回転量で回転した位置を、デバイスの位置として導出する。
【選択図】図８
【解決手段】撮影画像取得部２１２は、デバイスを撮影した画像を取得する。センサデータ取得部２１４は、デバイスの角速度を示すセンサデータを取得する。位置姿勢導出部２４４は、撮影画像にデバイスが含まれているとき、撮影画像におけるデバイスの位置座標から、三次元空間におけるデバイスの位置を導出する。部位位置推定部２４６は、推定したデバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定する。位置姿勢導出部２４４は、撮影画像にデバイスが含まれなくなると、位置姿勢導出部２４４が推定した部位の位置を回転中心としてセンサデータに対応する回転量で回転した位置を、デバイスの位置として導出する。
【選択図】図８
【特許請求の範囲】
【請求項1】
ユーザが持つデバイスの位置を推定する情報処理装置であって、
前記デバイスを撮影した画像を取得する撮影画像取得部と、
前記デバイスを撮影した画像にもとづいて、前記デバイスの位置を推定する推定処理部と、
前記デバイスの角速度を示すセンサデータを取得するセンサデータ取得部と、を備え、
前記推定処理部は、
撮影画像に前記デバイスが含まれているとき、前記撮影画像における前記デバイスの位置座標から、三次元空間における前記デバイスの位置を導出する導出部と、
推定した前記デバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定する部位位置推定部と、を備え、
前記導出部は、撮影画像に前記デバイスが含まれなくなると、前記部位位置推定部が推定した前記部位の位置を回転中心として前記センサデータに対応する回転量で回転した位置を、前記デバイスの位置として導出する、
ことを特徴とする情報処理装置。
前記デバイスを撮影した画像を取得する撮影画像取得部と、
前記デバイスを撮影した画像にもとづいて、前記デバイスの位置を推定する推定処理部と、
前記デバイスの角速度を示すセンサデータを取得するセンサデータ取得部と、を備え、
前記推定処理部は、
撮影画像に前記デバイスが含まれているとき、前記撮影画像における前記デバイスの位置座標から、三次元空間における前記デバイスの位置を導出する導出部と、
推定した前記デバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定する部位位置推定部と、を備え、
前記導出部は、撮影画像に前記デバイスが含まれなくなると、前記部位位置推定部が推定した前記部位の位置を回転中心として前記センサデータに対応する回転量で回転した位置を、前記デバイスの位置として導出する、
ことを特徴とする情報処理装置。
【請求項2】
前記撮影画像取得部は、ユーザが装着したヘッドマウントディスプレイに搭載された撮像装置が撮影した画像を取得し、
前記部位位置推定部は、撮影画像に前記デバイスが含まれているとき、前記ヘッドマウントディスプレイの位置と前記デバイスの位置から、インバースキネマティクスにより前記部位の位置を推定する、
ことを特徴とする請求項１に記載の情報処理装置。
前記部位位置推定部は、撮影画像に前記デバイスが含まれているとき、前記ヘッドマウントディスプレイの位置と前記デバイスの位置から、インバースキネマティクスにより前記部位の位置を推定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記部位位置推定部は、撮影画像に前記デバイスが含まれなくなると、前記部位の位置を、ヘッドマウントディスプレイの動きに追従して動かす、
ことを特徴とする請求項２に記載の情報処理装置。
ことを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記導出部は、撮影画像に前記デバイスが含まれなくなると、前記部位の位置を回転中心として、前記センサデータに対応する回転量で所定長の仮想腕を回転させて、前記デバイスの位置を導出する、
ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
【請求項5】
ユーザが持つデバイスの位置を推定する情報処理装置であって、
前記デバイスを撮影した画像を取得する撮影画像取得部と、
前記デバイスを撮影した画像にもとづいて、前記デバイスの位置を推定する第１推定処理部と、
前記デバイスの加速度および／または角速度を示すセンサデータを取得するセンサデータ取得部と、
前記センサデータにもとづいて、前記デバイスの位置を推定する第２推定処理部と、
前記第１推定処理部が推定した前記デバイスの位置と、前記第２推定処理部が推定した前記デバイスの位置にもとづいて、前記デバイスの位置を導出する第３推定処理部と、を備え、
前記第１推定処理部は、
撮影画像に前記デバイスが含まれているとき、撮影画像における前記デバイスの位置座標から、三次元空間における前記デバイスの位置を導出する導出部と、
推定した前記デバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定する部位位置推定部と、を備え、
前記導出部は、撮影画像に前記デバイスが含まれなくなると、前記部位位置推定部が推定した前記部位の位置を回転中心として前記センサデータに対応する回転量で回転した位置を、前記デバイスの位置として導出する、
ことを特徴とする情報処理装置。
前記デバイスを撮影した画像を取得する撮影画像取得部と、
前記デバイスを撮影した画像にもとづいて、前記デバイスの位置を推定する第１推定処理部と、
前記デバイスの加速度および／または角速度を示すセンサデータを取得するセンサデータ取得部と、
前記センサデータにもとづいて、前記デバイスの位置を推定する第２推定処理部と、
前記第１推定処理部が推定した前記デバイスの位置と、前記第２推定処理部が推定した前記デバイスの位置にもとづいて、前記デバイスの位置を導出する第３推定処理部と、を備え、
前記第１推定処理部は、
撮影画像に前記デバイスが含まれているとき、撮影画像における前記デバイスの位置座標から、三次元空間における前記デバイスの位置を導出する導出部と、
推定した前記デバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定する部位位置推定部と、を備え、
前記導出部は、撮影画像に前記デバイスが含まれなくなると、前記部位位置推定部が推定した前記部位の位置を回転中心として前記センサデータに対応する回転量で回転した位置を、前記デバイスの位置として導出する、
ことを特徴とする情報処理装置。
【請求項6】
前記第１推定処理部は、前記デバイスの位置のノイズの分散を導出するノイズ導出部を有し、
前記ノイズ導出部は、撮影画像に前記デバイスが含まれているときに第１の分散を導出し、撮影画像に前記デバイスが含まれていないときに、前記第１の分散より大きな第２の分散を導出する、
ことを特徴とする請求項５に記載の情報処理装置。
前記ノイズ導出部は、撮影画像に前記デバイスが含まれているときに第１の分散を導出し、撮影画像に前記デバイスが含まれていないときに、前記第１の分散より大きな第２の分散を導出する、
ことを特徴とする請求項５に記載の情報処理装置。
【請求項7】
前記ノイズ導出部は、撮影画像に前記デバイスが含まれていないとき、回転量が大きくなると、回転量が小さいときよりも大きな前記第２の分散を導出する、
ことを特徴とする請求項６に記載の情報処理装置。
ことを特徴とする請求項６に記載の情報処理装置。
【請求項8】
前記部位は、ユーザの肘である、
ことを特徴とする請求項１から７のいずれかに記載の情報処理装置。
ことを特徴とする請求項１から７のいずれかに記載の情報処理装置。
【請求項9】
ユーザが持つデバイスの位置を推定する方法であって、
撮像装置が撮影した画像を取得するステップと、
前記撮像装置が前記デバイスを撮影した画像にもとづいて、前記デバイスの位置を推定するステップと、
推定した前記デバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定するステップと、
前記デバイスの角速度を示すセンサデータを取得するステップと、
前記撮像装置が撮影した画像に前記デバイスが含まれなくなると、推定した前記部位の位置を回転中心として前記センサデータに対応する回転量で回転した位置を、前記デバイスの位置として導出するステップと、
を有することを特徴とするデバイス位置推定方法。
撮像装置が撮影した画像を取得するステップと、
前記撮像装置が前記デバイスを撮影した画像にもとづいて、前記デバイスの位置を推定するステップと、
推定した前記デバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定するステップと、
前記デバイスの角速度を示すセンサデータを取得するステップと、
前記撮像装置が撮影した画像に前記デバイスが含まれなくなると、推定した前記部位の位置を回転中心として前記センサデータに対応する回転量で回転した位置を、前記デバイスの位置として導出するステップと、
を有することを特徴とするデバイス位置推定方法。
【請求項10】
ユーザが持つデバイスの位置を推定する方法であって、
撮像装置が撮影した画像を取得するステップと、
前記撮像装置がデバイスを撮影した画像にもとづいて、前記デバイスの位置を推定する第１推定ステップと、
前記デバイスの加速度および／または角速度を示すセンサデータを取得するステップと、
前記センサデータにもとづいて、前記デバイスの位置を推定する第２推定ステップと、
前記第１推定ステップで推定した前記デバイスの位置と、前記第２推定ステップで推定した前記デバイスの位置にもとづいて、前記デバイスの位置を推定する第３推定ステップと、を備え、
前記第１推定ステップは、
撮影画像に前記デバイスが含まれているとき、撮影画像における前記デバイスの位置座標から、三次元空間における前記デバイスの位置を推定するステップと、
推定した前記デバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定するステップと、
撮影画像に前記デバイスが含まれなくなると、推定した前記部位の位置を回転中心として前記センサデータに対応する回転量で回転した位置を、前記デバイスの位置として導出するステップと、を有する、
ことを特徴とするデバイス位置推定方法。
撮像装置が撮影した画像を取得するステップと、
前記撮像装置がデバイスを撮影した画像にもとづいて、前記デバイスの位置を推定する第１推定ステップと、
前記デバイスの加速度および／または角速度を示すセンサデータを取得するステップと、
前記センサデータにもとづいて、前記デバイスの位置を推定する第２推定ステップと、
前記第１推定ステップで推定した前記デバイスの位置と、前記第２推定ステップで推定した前記デバイスの位置にもとづいて、前記デバイスの位置を推定する第３推定ステップと、を備え、
前記第１推定ステップは、
撮影画像に前記デバイスが含まれているとき、撮影画像における前記デバイスの位置座標から、三次元空間における前記デバイスの位置を推定するステップと、
推定した前記デバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定するステップと、
撮影画像に前記デバイスが含まれなくなると、推定した前記部位の位置を回転中心として前記センサデータに対応する回転量で回転した位置を、前記デバイスの位置として導出するステップと、を有する、
ことを特徴とするデバイス位置推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザが持つデバイスの位置を推定する技術に関する。
【背景技術】
【0002】
特許文献１は、複数のマーカを備えたデバイスを撮影した画像からマーカ像の代表座標を特定し、マーカ像の代表座標を用いてデバイスの位置情報および姿勢情報を導出する情報処理装置を開示する。特許文献１に開示された情報処理装置は、撮影画像において第１輝度以上の画素が連続する領域を囲む第１境界ボックスを特定するとともに、第１境界ボックス内において第１輝度よりも高い第２輝度以上の画素が連続する領域を囲む第２境界ボックスを特定し、第１境界ボックス内または第２境界ボックス内の画素にもとづいてマーカ像の代表座標を導出する。
【0003】
特許文献２は、複数の発光部と複数の操作部材とを設けられた入力デバイスを開示する。入力デバイスの発光部は、ヘッドマウンティングデバイスに設けられたカメラにより撮影され、検知された発光部の位置にもとづいて、入力デバイスの位置と姿勢が算出される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－１８１３２２号公報
【特許文献2】国際公開第２０２１／２４０９３０号
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年、デバイスの位置や姿勢をトラッキングし、ＶＲ空間の３Ｄモデルに反映させる情報処理技術が普及している。ゲーム空間のプレイヤキャラクタやゲームオブジェクトの動きを、トラッキング対象となるデバイスの位置や姿勢の変化に連動させることで、ユーザによる直観的な操作が実現される。
【0006】
特許文献１に開示されたデバイス位置推定処理は、デバイスが撮像装置により撮影されて、撮影画像にマーカ像が含まれているときに実施される。そのためデバイスが撮像装置の画角外に移動して、撮影画像にマーカ像が含まれなくなると、特許文献１に開示されたデバイス位置推定処理は実施できない。
【0007】
そこで本発明は、デバイスが撮影されなくなった場合においても、デバイス位置を推定する技術を提供することを目的とする。なおデバイスは操作部材を有する入力デバイスであってよいが、操作部材を有しない単にトラッキングの対象となるデバイスであってもよい。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある態様の情報処理装置は、ユーザが持つデバイスの位置を推定する情報処理装置であって、デバイスを撮影した画像を取得する撮影画像取得部と、デバイスを撮影した画像にもとづいて、デバイスの位置を推定する推定処理部と、デバイスの角速度を示すセンサデータを取得するセンサデータ取得部とを備える。推定処理部は、撮影画像にデバイスが含まれているとき、撮影画像におけるデバイスの位置座標から、三次元空間におけるデバイスの位置を導出する導出部と、推定したデバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定する部位位置推定部とを備える。導出部は、撮影画像にデバイスが含まれなくなると、部位位置推定部が推定した部位の位置を回転中心としてセンサデータに対応する回転量で回転した位置を、デバイスの位置として導出する。
【0009】
本発明の別の態様の情報処理装置は、ユーザが持つデバイスの位置を推定する情報処理装置であって、デバイスを撮影した画像を取得する撮影画像取得部と、デバイスを撮影した画像にもとづいて、デバイスの位置を推定する第１推定処理部と、デバイスの加速度および／または角速度を示すセンサデータを取得するセンサデータ取得部と、センサデータにもとづいて、デバイスの位置を推定する第２推定処理部と、第１推定処理部が推定したデバイスの位置と、第２推定処理部が推定したデバイスの位置にもとづいて、デバイスの位置を導出する第３推定処理部とを備える。第１推定処理部は、撮影画像にデバイスが含まれているとき、撮影画像におけるデバイスの位置座標から、三次元空間におけるデバイスの位置を導出する導出部と、推定したデバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定する部位位置推定部とを備える。導出部は、撮影画像にデバイスが含まれなくなると、部位位置推定部が推定した部位の位置を回転中心としてセンサデータに対応する回転量で回転した位置を、デバイスの位置として導出する。
【0010】
本発明の別の態様のデバイス位置推定方法は、ユーザが持つデバイスの位置を推定する方法であって、撮像装置が撮影した画像を取得するステップと、撮像装置がデバイスを撮影した画像にもとづいて、デバイスの位置を推定するステップと、推定したデバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定するステップと、デバイスの角速度を示すセンサデータを取得するステップと、撮像装置が撮影した画像にデバイスが含まれなくなると、推定した部位の位置を回転中心としてセンサデータに対応する回転量で回転した位置を、デバイスの位置として導出するステップとを有する。
【0011】
本発明の別の対応のデバイス位置推定方法は、ユーザが持つデバイスの位置を推定する方法であって、撮像装置が撮影した画像を取得するステップと、撮像装置がデバイスを撮影した画像にもとづいて、デバイスの位置を推定する第１推定ステップと、デバイスの加速度および／または角速度を示すセンサデータを取得するステップと、センサデータにもとづいて、デバイスの位置を推定する第２推定ステップと、第１推定ステップで推定したデバイスの位置と、第２推定ステップで推定したデバイスの位置にもとづいて、デバイスの位置を推定する第３推定ステップと、を備える。第１推定ステップは、撮影画像にデバイスが含まれているとき、撮影画像におけるデバイスの位置座標から、三次元空間におけるデバイスの位置を推定するステップと、推定したデバイスの位置にもとづいて、ユーザの体における所定の部位の位置を推定するステップと、撮影画像にデバイスが含まれなくなると、推定した部位の位置を回転中心としてセンサデータに対応する回転量で回転した位置を、デバイスの位置として導出するステップとを有する。
【0012】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。
【図面の簡単な説明】
【0013】
【図1】実施例における情報処理システムの構成例を示す図である。
【図2】ＨＭＤの外観形状の例を示す図である。
【図3】ＨＭＤの機能ブロックを示す図である。
【図4】入力デバイスの形状を示す図である。
【図5】入力デバイスの形状を示す図である。
【図6】入力デバイスを撮影した画像の一部の例を示す図である。
【図7】入力デバイスの機能ブロックを示す図である。
【図8】情報処理装置の機能ブロックを示す図である。
【図9】位置姿勢推定処理を示すフローチャートである。
【図10】推定処理部の内部構成を示す図である。
【図11】撮像装置の撮影可能な範囲を模式的に示す図である。
【図12】ＨＭＤと入力デバイスの推定位置の例を示す図である。
【図13】入力デバイスが撮影可能範囲から外れた状態を示す図である。
【図14】肘位置を基点としてデバイス位置を推定する処理を説明するための図である。
【発明を実施するための形態】
【0014】
図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、記録装置１１と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが持って手指で操作する入力デバイス１６と、画像および音声を出力する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。
【0015】
記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、コンテンツサーバからネットワーク２経由で、ゲームソフトウェアを記録装置１１にダウンロードしてよい。情報処理装置１０はゲームソフトウェアを実行して、ゲームの画像データおよび音声データをＨＭＤ１００に供給する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてもよく、またケーブルで接続されてもよい。
【0016】
ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。
【0017】
ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。
【0018】
情報処理装置１０と入力デバイス１６とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス１６は操作ボタンなどの複数の操作部材を備え、ユーザは入力デバイス１６を把持しながら、手指で操作部材を操作する。情報処理装置１０がゲームを実行する際、入力デバイス１６はゲームコントローラとして利用される。入力デバイス１６は、３軸の加速度センサおよび３軸の角速度センサを含む慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を備え、所定の周期（たとえば８００Ｈｚ）でセンサデータを情報処理装置１０に送信する。
【0019】
実施例のゲームは、入力デバイス１６の操作部材の操作情報だけでなく、入力デバイス１６の位置、速度、姿勢などを操作情報として取り扱って、仮想３次元空間内におけるプレイヤキャラクタの動きに反映する。たとえば操作部材の操作情報は、プレイヤキャラクタを移動させるための情報として利用され、入力デバイス１６の位置、速度、姿勢などの操作情報は、プレイヤキャラクタの腕を動かすための情報として利用されてよい。ゲーム内の戦闘シーンにおいて、入力デバイス１６の動きが、武器をもつプレイヤキャラクタの動きに反映されることで、ユーザの直観的な操作が実現され、ゲームへの没入感が高められる。
【0020】
入力デバイス１６の位置および姿勢をトラッキングするために、入力デバイス１６には、撮像装置１４によって撮影可能な複数のマーカ（光出射部）が設けられる。情報処理装置１０は、入力デバイス１６を撮影した画像を解析して、実空間における入力デバイス１６の位置および姿勢を推定する機能（以下、「第１推定機能」とも呼ぶ）を備える。
【0021】
ＨＭＤ１００には、複数の撮像装置１４が搭載される。複数の撮像装置１４は、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含むように、ＨＭＤ１００の前面の異なる位置に異なる姿勢で取り付けられる。撮像装置１４は、入力デバイス１６の複数のマーカの像を取得できるイメージセンサを備える。たとえばマーカが可視光を出射する場合、撮像装置１４はＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルビデオカメラで利用されている可視光センサを有する。マーカが非可視光を出射する場合、撮像装置１４は非可視光センサを有する。複数の撮像装置１４は同期したタイミングで、ユーザの前方を所定の周期（たとえば１２０フレーム／秒）で撮影し、実空間を撮影した画像データを情報処理装置１０に送信する。
【0022】
情報処理装置１０は第１推定機能を実施して、撮影画像に含まれる入力デバイス１６の複数のマーカ像の位置を特定する。なお１つの入力デバイス１６が同じタイミングで複数の撮像装置１４に撮影されることもあるが、撮像装置１４の取付位置および取付姿勢は既知であるため、情報処理装置１０は複数の撮影画像を合成して、マーカ像の位置を特定してよい。
【0023】
入力デバイス１６の３次元形状と、その表面に配置された複数のマーカの位置座標は既知であり、情報処理装置１０は、撮影画像内の複数のマーカ像の位置座標にもとづいて、入力デバイス１６の実空間における位置および姿勢を推定する。入力デバイス１６の位置は、基準位置を原点とした３次元空間におけるワールド座標における座標値として推定され、基準位置はゲーム開始前に設定した位置座標（緯度、経度、高度（標高））であってよい。
【0024】
実施例の情報処理装置１０は、入力デバイス１６から送信されるセンサデータを解析して、実空間における入力デバイス１６の位置および姿勢を推定する機能（以下、「第２推定機能」とも呼ぶ）を備える。情報処理装置１０は、第１推定機能による推定結果と、第２推定機能による推定結果を用いて、入力デバイス１６の位置および姿勢を導出する。実施例の情報処理装置１０は、カルマンフィルタを用いた状態推定技術を利用して、第１推定機能による推定結果と第２推定機能による推定結果とを統合することで、現在時刻における入力デバイス１６の状態を高精度に推定する。
【0025】
図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。
【0026】
出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。
【0027】
筐体１０８の前方側外面には、複数の撮像装置１４ａ、１４ｂ、１４ｃ、１４ｄが備えられる。ユーザの顔正面方向を基準として、撮像装置１４ａは、カメラ光軸が右斜め上を向くように前方側外面の右上隅に取り付けられ、撮像装置１４ｂは、カメラ光軸が左斜め上を向くように前方側外面の左上隅に取り付けられ、撮像装置１４ｃは、カメラ光軸が右斜め下を向くように前方側外面の右下隅に取り付けられ、撮像装置１４ｄは、カメラ光軸が左斜め下を向くように前方側外面の左下隅に取り付けられる。このように複数の撮像装置１４が設置されることで、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含む。このユーザの視野は、３次元仮想空間におけるユーザの視野であってよい。
【0028】
ＨＭＤ１００は、ＩＭＵ（慣性計測装置）が検出したセンサデータおよび撮像装置１４が撮影した画像データを情報処理装置１０に送信し、また情報処理装置１０で生成されたゲーム画像データおよびゲーム音声データを受信する。
【0029】
図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。ＩＭＵ１２４は、ＨＭＤ１００の動きに関するセンサデータを取得する。ＩＭＵ１２４は、少なくとも３軸の加速度センサおよび３軸の角速度センサを含んでよい。ＩＭＵ１２４は、所定の周期（たとえば８００Ｈｚ）で各軸成分の値（センサデータ）を検出する。
【0030】
通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、情報処理装置１０からデータを受信し、制御部１２０に出力する。
【0031】
制御部１２０は、ゲーム画像データやゲーム音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、ＩＭＵ１２４からのセンサデータ、マイク１２６からの音声データ、撮像装置１４からの撮影画像データを、通信制御部１２８から情報処理装置１０に送信させる。
【0032】
図４（ａ）は、左手用の入力デバイス１６ａの形状を示す。左手用の入力デバイス１６ａは、ケース体２０と、ユーザが操作する複数の操作部材２２ａ、２２ｂ、２２ｃ、２２ｄ（以下、特に区別しない場合は「操作部材２２」と呼ぶ）と、ケース体２０の外部に光を出射する複数のマーカ３０とを備える。マーカ３０は断面円形の出射部を有してよい。操作部材２２は、傾動操作するアナログスティック、押下式ボタンなどを含んでよい。ケース体２０は、把持部２１と、ケース体頭部とケース体底部とを連結する湾曲部２３を有し、ユーザは湾曲部２３に左手を入れて、把持部２１を把持する。ユーザは把持部２１を把持した状態で、左手の親指を用いて、操作部材２２ａ、２２ｂ、２２ｃ、２２ｄを操作する。
【0033】
図４（ｂ）は、右手用の入力デバイス１６ｂの形状を示す。右手用の入力デバイス１６ｂは、ケース体２０と、ユーザが操作する複数の操作部材２２ｅ、２２ｆ、２２ｇ、２２ｈ（以下、特に区別しない場合は「操作部材２２」と呼ぶ）と、ケース体２０の外部に光を出射する複数のマーカ３０とを備える。操作部材２２は、傾動操作するアナログスティック、押下式ボタンなどを含んでよい。ケース体２０は、把持部２１と、ケース体頭部とケース体底部とを連結する湾曲部２３を有し、ユーザは湾曲部２３に右手を入れて、把持部２１を把持する。ユーザは把持部２１を把持した状態で、右手の親指を用いて、操作部材２２ｅ、２２ｆ、２２ｇ、２２ｈを操作する。
【0034】
図５は、右手用の入力デバイス１６ｂの形状を示す。入力デバイス１６ｂは、図４（ｂ）で示した操作部材２２ｅ、２２ｆ、２２ｇ、２２ｈに加えて、操作部材２２ｉ、２２ｊを有する。ユーザは把持部２１を把持した状態で、右手の人差し指を用いて操作部材２２ｉを操作し、中指を用いて操作部材２２ｊを操作する。以下、入力デバイス１６ａと入力デバイス１６ｂとを特に区別しない場合、「入力デバイス１６」と呼ぶ。
【0035】
入力デバイス１６に設けられた操作部材２２は、押さなくても、触れるだけで指を認識するタッチセンス機能を搭載してよい。右手用の入力デバイス１６ｂに関して言えば、操作部材２２ｆ、２２ｇ、２２ｊが、静電容量式タッチセンサを備えてよい。なおタッチセンサは他の操作部材２２に搭載されてもよいが、入力デバイス１６をテーブルなどの載置面に置いた際に、タッチセンサが載置面に接触することのない操作部材２２に搭載されることが好ましい。
【0036】
マーカ３０は、ケース体２０の外部に光を出射する光出射部であり、ケース体２０の表面において、ＬＥＤ（Light Emitting Diode）素子などの光源からの光を外部に拡散出射する樹脂部を含む。マーカ３０は撮像装置１４により撮影されて、入力デバイス１６のトラッキング処理に利用される。
【0037】
情報処理装置１０は、撮像装置１４による撮影画像を、入力デバイス１６のトラッキング処理と、ＨＭＤ１００のＳＬＡＭ（Simultaneous Localization and Mapping）処理に利用する。実施例では撮像装置１４が１２０フレーム／秒で撮影する画像のうち、６０フレーム／秒で撮影されるグレースケール画像が、入力デバイス１６のトラッキング処理に利用され、６０フレーム／秒で撮影される別のフルカラー画像が、ＨＭＤ１００の自己位置推定および環境地図作成を同時実行する処理に利用されてよい。
【0038】
図６は、入力デバイス１６を撮影した画像の一部の例を示す。この画像は、右手で把持された入力デバイス１６ｂを撮影した画像であり、光を出射する複数のマーカ３０の像が含まれる。ＨＭＤ１００において、通信制御部１２８は、撮像装置１４が撮影した画像データをリアルタイムで情報処理装置１０に送信する。
【0039】
図７は、入力デバイス１６の機能ブロックを示す。制御部５０は、操作部材２２に入力された操作情報を受け付ける。また制御部５０は、ＩＭＵ（慣性計測装置）３２により検出されたセンサデータとタッチセンサ２４により検出されたセンサデータを受け付ける。上記したようにタッチセンサ２４は、複数の操作部材２２のうちの少なくとも一部に取り付けられ、ユーザの指が操作部材２２に接触している状態を検知する。
【0040】
ＩＭＵ３２は、入力デバイス１６の動きに関するセンサデータを取得し、少なくとも３軸の加速度データを検出する加速度センサ３４と、３軸の角速度データを検出する角速度センサ３６を含む。加速度センサ３４および角速度センサ３６は、所定の周期（たとえば８００Ｈｚ）で各軸成分の値（センサデータ）を検出する。制御部５０は、受け付けた操作情報およびセンサデータを通信制御部５４に供給し、通信制御部５４は、ネットワークアダプタまたはアンテナを介して有線または無線通信により、操作情報およびセンサデータを情報処理装置１０に送信する。
【0041】
入力デバイス１６は、複数のマーカ３０を点灯するための複数の光源５８を備える。光源５８は、所定の色で発光するＬＥＤ素子であってよい。通信制御部５４が情報処理装置１０から発光指示を取得すると、制御部５０は発光指示にもとづいて光源５８を発光させ、マーカ３０を点灯させる。なお図７に示す例では、１つのマーカ３０に対して１つの光源５８が設けられているが、１つの光源５８が複数のマーカ３０を点灯させてもよい。
【0042】
図８は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、処理部２００および通信部２０２を備え、処理部２００は、取得部２１０、ゲーム実行部２２０、画像信号処理部２２２、マーカ情報保持部２２４、状態保持部２２６、推定処理部２３０、画像信号処理部２６８およびＳＬＡＭ処理部２７０を備える。通信部２０２は、入力デバイス１６から送信される操作部材２２の操作情報およびセンサデータを受信し、取得部２１０に供給する。また通信部２０２は、ＨＭＤ１００から送信される撮影画像データおよびセンサデータを受信し、取得部２１０に供給する。取得部２１０は、撮影画像取得部２１２、センサデータ取得部２１４および操作情報取得部２１６を備える。
【0043】
情報処理装置１０はコンピュータを備え、コンピュータがプログラムを実行することによって、図８に示す様々な機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図８に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【0044】
（ＳＬＡＭ機能）
撮影画像取得部２１２は、ＨＭＤ１００のＳＬＡＭ処理用のフルカラー画像を取得し、画像信号処理部２６８に供給する。画像信号処理部２６８は、画像データにノイズ低減や光学補正（シェーディング補正）などの画像信号処理を施し、画像信号処理した画像データをＳＬＡＭ処理部２７０に供給する。
撮影画像取得部２１２は、ＨＭＤ１００のＳＬＡＭ処理用のフルカラー画像を取得し、画像信号処理部２６８に供給する。画像信号処理部２６８は、画像データにノイズ低減や光学補正（シェーディング補正）などの画像信号処理を施し、画像信号処理した画像データをＳＬＡＭ処理部２７０に供給する。
【0045】
センサデータ取得部２１４は、ＨＭＤ１００から送信されるセンサデータを取得し、ＳＬＡＭ処理部２７０に供給する。ＳＬＡＭ処理部２７０は、撮影画像取得部２１２から供給される画像データと、センサデータ取得部２１４から供給されるセンサデータにもとづいて、ＨＭＤ１００の自己位置推定および環境地図作成を同時実行する。
【0046】
（撮影画像を用いる第１推定機能）
撮影画像取得部２１２は、入力デバイス１６のトラッキング処理用のグレースケール画像を取得し、画像信号処理部２２２に供給する。画像信号処理部２２２は、画像データにノイズ低減や光学補正（シェーディング補正）などの画像信号処理を施し、画像信号処理した画像データを第１推定処理部２４０に供給する。
撮影画像取得部２１２は、入力デバイス１６のトラッキング処理用のグレースケール画像を取得し、画像信号処理部２２２に供給する。画像信号処理部２２２は、画像データにノイズ低減や光学補正（シェーディング補正）などの画像信号処理を施し、画像信号処理した画像データを第１推定処理部２４０に供給する。
【0047】
第１推定処理部２４０は、マーカ像座標特定部２４２、位置姿勢導出部２４４、部位位置推定部２４６およびノイズ導出部２４８を備え、入力デバイス１６を撮影した画像にもとづいて入力デバイス１６の位置および姿勢を推定する第１推定機能を実現する。第１推定処理部２４０は、撮影画像から入力デバイス１６の複数のマーカ３０を撮影したマーカ像を抽出し、抽出した複数のマーカ像の配置から、入力デバイス１６の位置および姿勢を推定する。第１推定処理部２４０は、推定した入力デバイス１６の位置および姿勢を、そのノイズ（誤差）の分散とともに、第３推定処理部２６０に出力する。
【0048】
（センサデータを用いる第２推定機能）
センサデータ取得部２１４は、入力デバイス１６から送信されるセンサデータを取得し、第２推定処理部２５０に供給する。第２推定処理部２５０は、入力デバイス１６の加速度および角速度を示すセンサデータにもとづいて、入力デバイス１６の位置および姿勢を推定する第２推定機能を実現する。実施例において、第２推定機能はカルマンフィルタにおける状態予測ステップを実施する機能であり、第２推定処理部２５０は、前回の時刻における状態ベクトル（位置、速度、姿勢）に、供給されたセンサデータを積分演算することで得られる状態ベクトルの変化量を加算することで、今回の時刻における状態ベクトルを推定する。第２推定処理部２５０は、推定した状態ベクトルを、そのノイズの分散とともに、第３推定処理部２６０に出力する。なお積分演算により得られる変化量は、時間経過とともにノイズが蓄積するため、第２推定処理部２５０により推定される状態ベクトル（位置、速度、姿勢）は、実際の状態ベクトル（位置、速度、姿勢）から離れていく傾向がある。
センサデータ取得部２１４は、入力デバイス１６から送信されるセンサデータを取得し、第２推定処理部２５０に供給する。第２推定処理部２５０は、入力デバイス１６の加速度および角速度を示すセンサデータにもとづいて、入力デバイス１６の位置および姿勢を推定する第２推定機能を実現する。実施例において、第２推定機能はカルマンフィルタにおける状態予測ステップを実施する機能であり、第２推定処理部２５０は、前回の時刻における状態ベクトル（位置、速度、姿勢）に、供給されたセンサデータを積分演算することで得られる状態ベクトルの変化量を加算することで、今回の時刻における状態ベクトルを推定する。第２推定処理部２５０は、推定した状態ベクトルを、そのノイズの分散とともに、第３推定処理部２６０に出力する。なお積分演算により得られる変化量は、時間経過とともにノイズが蓄積するため、第２推定処理部２５０により推定される状態ベクトル（位置、速度、姿勢）は、実際の状態ベクトル（位置、速度、姿勢）から離れていく傾向がある。
【0049】
（推定結果の統合機能）
第３推定処理部２６０は、第１推定処理部２４０が推定した入力デバイス１６の位置および姿勢と、第２推定処理部２５０が推定した入力デバイス１６の状態ベクトル（位置、速度、姿勢）から、入力デバイス１６の位置および姿勢を高精度に導出する。第３推定処理部２６０は、ＵＫＦ（無香料カルマンフィルタ）のフィルタリングステップ（補正ステップ）を実施してよい。第３推定処理部２６０は、第２推定処理部２５０が推定した状態ベクトルを「事前推定値」として取得し、第１推定処理部２４０が推定した位置および姿勢を「観測値」として取得して、カルマンゲインを算出し、カルマンゲインを用いて「事前推定値」を補正した「事後推定値」を求める。「事後推定値」は、入力デバイス１６の位置および姿勢を高精度に表現し、ゲーム実行部２２０に提供されるとともに、状態保持部２２６に記録されて、第２推定処理部２５０における次の時刻の状態ベクトルの推定に利用される。
第３推定処理部２６０は、第１推定処理部２４０が推定した入力デバイス１６の位置および姿勢と、第２推定処理部２５０が推定した入力デバイス１６の状態ベクトル（位置、速度、姿勢）から、入力デバイス１６の位置および姿勢を高精度に導出する。第３推定処理部２６０は、ＵＫＦ（無香料カルマンフィルタ）のフィルタリングステップ（補正ステップ）を実施してよい。第３推定処理部２６０は、第２推定処理部２５０が推定した状態ベクトルを「事前推定値」として取得し、第１推定処理部２４０が推定した位置および姿勢を「観測値」として取得して、カルマンゲインを算出し、カルマンゲインを用いて「事前推定値」を補正した「事後推定値」を求める。「事後推定値」は、入力デバイス１６の位置および姿勢を高精度に表現し、ゲーム実行部２２０に提供されるとともに、状態保持部２２６に記録されて、第２推定処理部２５０における次の時刻の状態ベクトルの推定に利用される。
【0050】
撮像装置１４やＩＭＵ３２など複数のセンサを用いた解析結果を統合して精度を高める手法はセンサフュージョンとして知られている。センサフュージョンにおいては、各センサによりデータが取得された時刻を共通の時間軸で表現する必要がある。情報処理システム１においては、撮像装置１４の撮像周期とＩＭＵ３２のサンプリング周期が異なり、また非同期であるため、画像の撮影時刻と、加速度および角速度の検出時刻とを正確に管理することで、第３推定処理部２６０は、入力デバイス１６の位置および姿勢を高精度に推定することが可能となる。
【0051】
操作情報取得部２１６は、入力デバイス１６から送信される操作情報を取得し、ゲーム実行部２２０に供給する。ゲーム実行部２２０は、操作情報と、推定処理部２３０により推定された入力デバイス１６の位置姿勢情報にもとづいて、ゲームを進行する。
【0052】
図９は、第１推定処理部２４０による位置姿勢推定処理を示すフローチャートである。撮影画像取得部２１２は、入力デバイス１６を撮影した画像データを取得して（Ｓ１０）、画像信号処理部２２２に供給する。画像信号処理部２２２は、画像データにノイズ低減や光学補正などの画像信号処理を施し（Ｓ１２）、画像信号処理した画像データをマーカ像座標特定部２４２に供給する。
【0053】
マーカ像座標特定部２４２は、撮影画像に含まれる複数のマーカ像の代表座標を特定する（Ｓ１４）。グレースケール画像の各画素の輝度が８ビットで表現されて、０～２５５の輝度値をとる場合、マーカ像は、図６に示すように高輝度をもつ像として撮影される。マーカ像座標特定部２４２は、撮影画像から、所定値以上の輝度値（たとえば１２８輝度値）をもつ画素が連続する領域を特定し、その連続画素領域の重心座標を算出して、マーカ像の代表座標を特定してよい。
【0054】
なお撮影画像には、マーカ像だけでなく、電灯などの照明機器の像も含まれている。そこでマーカ像座標特定部２４２は、いくつかの所定の基準に照らし合わせて、所定値以上の輝度値をもつ連続画素領域がマーカ像に対応するか調査する。たとえば連続画素領域が大きすぎる場合や、長尺形状である場合には、当該連続画素領域はマーカ像に対応しないことが確実であるため、マーカ像座標特定部２４２は、そのような連続画素領域がマーカ像ではないことを判断してよい。マーカ像座標特定部２４２は、所定の基準を満たす連続画素領域の重心座標を算出して、マーカ像の代表座標（マーカ像座標）として特定し、特定した代表座標をメモリ（図示せず）に記憶する。
【0055】
マーカ情報保持部２２４は、基準位置および基準姿勢にある入力デバイス１６の３次元モデルにおける各マーカの３次元座標を保持している。３次元の形状および大きさが既知である物体の撮影画像から、それを撮影した撮像装置の位置および姿勢を推定する手法として、ＰＮＰ（Perspective n-Point）問題を解く方法が知られている。
【0056】
実施例において位置姿勢導出部２４４は、Ｎ（Ｎは３以上の整数）個のマーカ像座標をメモリ（図示せず）から読み出し、読み出したＮ個のマーカ像座標と、入力デバイス１６の３次元モデルにおけるＮ個のマーカの３次元座標から、入力デバイス１６の位置および姿勢を推定する。位置姿勢導出部２４４は、以下の（式１）を用いて撮像装置１４の位置および姿勢を推定し、その推定結果をもとに入力デバイス１６の３次元空間の位置および姿勢を導出する。
【数1】
【0057】
ここで（ｕ，ｖ）は撮影画像におけるマーカ像座標であり、（Ｘ，Ｙ，Ｚ）は、入力デバイス１６の３次元モデルが基準位置および基準姿勢にあるときのマーカ３０の３次元空間での位置座標である。なお３次元モデルは、入力デバイス１６と完全に同一の形状および大きさをもち、マーカを同一位置に配置したモデルであり、マーカ情報保持部２２４は、基準位置および基準姿勢にある３次元モデルにおける各マーカの３次元座標を保持している。位置姿勢導出部２４４は、マーカ情報保持部２２４から各マーカの３次元座標を読み出して、（Ｘ，Ｙ，Ｚ）を取得する。
【0058】
（ｆｘ、ｆｙ）は撮像装置１４の焦点距離、（ｃｘ、ｃｙ）は画像主点であり、いずれも撮像装置１４の内部パラメータである。ｒ１１～ｒ３３、ｔ１～ｔ３を要素とする行列は、回転・並進行列である。（式１）において（ｕ，ｖ）、（ｆｘ、ｆｙ）、（ｃｘ、ｃｙ）、（Ｘ，Ｙ，Ｚ）は既知であり、位置姿勢導出部２４４は、Ｎ個のマーカ３０について方程式を解くことにより、それらに共通の回転・並進行列を求める。実施例では、入力デバイス１６の位置姿勢を推定する処理をＰ３Ｐ問題を解くことで実施する。
【0059】
具体的に位置姿勢導出部２４４は、マーカ像座標特定部２４２により特定された複数のマーカ像座標の中から、任意の３個のマーカ像座標を抽出する。位置姿勢導出部２４４は、マーカ情報保持部２２４から３次元モデルにおけるマーカの３次元座標を読み出し、（式１）を用いてＰ３Ｐ問題を解く。位置姿勢導出部２４４は、抽出された３個のマーカ像座標に共通する回転・並進行列を特定すると、抽出した３個のマーカ像座標以外の入力デバイス１６のマーカ像座標を用いて再投影誤差を算出する。
【0060】
位置姿勢導出部２４４は、３個のマーカ像座標の組合せを所定数抽出する。位置姿勢導出部２４４は、抽出された３個のマーカ像座標のそれぞれの組合せに対して回転・並進行列を特定し、それぞれの再投影誤差を算出する。それから位置姿勢導出部２４４は、所定数の再投影誤差の中から最小の再投影誤差となる回転・並進行列を特定して、入力デバイス１６の位置および姿勢を導出する（Ｓ１６）。
【0061】
ノイズ導出部２４８は、推定した位置および姿勢のそれぞれのノイズ（誤差）の分散を導出する（Ｓ１８）。ノイズの分散値は、推定した位置および姿勢の信頼度に対応し、信頼度が高ければ分散値は小さく、信頼度が低ければ分散値は大きくなる。ノイズ導出部２４８は、撮像装置１４と入力デバイス１６の間の距離や、画角内におけるマーカ像の位置にもとづいて、ノイズの分散を導出してよい。たとえば撮像装置１４と入力デバイス１６とが遠く離れていたり、または極端に近い場合や、マーカ像が撮影画像の端に位置するような場合は、正確なマーカ像の重心座標を導出することが難しくなるため、ノイズ分散は大きく導出される傾向がある。
【0062】
なおトラッキング処理中（第１推定機能の実施中）に推定する位置および姿勢の信頼度が高いことは確実であるため、ノイズ導出部２４８は、推定位置および推定姿勢のそれぞれのノイズの分散を、小さい固定値に設定してもよい。たとえばノイズ導出部２４８は、トラッキング処理中の位置ノイズの分散を固定値である「０．５ｍｍ」に設定して、第３推定処理部２６０に供給してもよい。トラッキング処理中、第１推定処理部２４０は、推定した位置および姿勢の情報とともに、位置ノイズおよび姿勢ノイズの分散を第３推定処理部２６０に出力してよいが、位置ノイズおよび姿勢ノイズの分散が固定値である場合には、トラッキング処理の開始時にノイズの分散を第３推定処理部２６０に一回出力して、第３推定処理部２６０がノイズの分散を記憶して使用してもよい。
【0063】
第１推定処理部２４０による位置姿勢推定処理は、入力デバイス１６のトラッキング用画像の撮像周期（６０フレーム／秒）で実施される（Ｓ２０のＮ）。ゲーム実行部２２０がゲームを終了すると、第１推定処理部２４０による位置姿勢推定処理は終了する（Ｓ２０のＹ）。
【0064】
図１０は、推定処理部２３０の内部構成を示す。時刻ｋにおいて、第１推定処理部２４０は、推定した位置および姿勢を「観測値ｎｋ」、位置ノイズおよび姿勢ノイズの分散を「観測ノイズＲｋ」として、第３推定処理部２６０に出力する。
・ 観測値ｎｋ ： 時刻ｋの観測ベクトル
・ 観測ノイズＲｋ ： 時刻ｋの観測値の誤差共分散行列
・ 観測値ｎｋ ： 時刻ｋの観測ベクトル
・ 観測ノイズＲｋ ： 時刻ｋの観測値の誤差共分散行列
【0065】
第２推定処理部２５０は、１時刻前（時刻ｋ－１）の「状態ベクトルｍｋ－１｜ｋ－１」および「推定誤差Ｐｋ－１｜ｋ－１」を状態保持部２２６から読み出し、「状態ベクトルｍｋ－１｜ｋ－１」および「推定誤差Ｐｋ－１｜ｋ－１」を予測部に入力する。実施例の状態変数ｍは、入力デバイス１６の位置、速度、姿勢を含むが、さらに加速度バイアス、角速度バイアスを含んでもよい。
・ 状態ベクトルｍｋ－１｜ｋ－１ ： 時刻ｋ－１までの情報で推定した時刻ｋ－１の状態ベクトル
・ 推定誤差Ｐｋ－１｜ｋ－１ ： 時刻ｋ－１までの情報で推定した時刻ｋ－１の状態の推定誤差共分散行列
・ 状態ベクトルｍｋ－１｜ｋ－１ ： 時刻ｋ－１までの情報で推定した時刻ｋ－１の状態ベクトル
・ 推定誤差Ｐｋ－１｜ｋ－１ ： 時刻ｋ－１までの情報で推定した時刻ｋ－１の状態の推定誤差共分散行列
【0066】
また第２推定処理部２５０は、センサデータ取得部２１４から、入力デバイス１６の加速度ａｋと角速度ωｋを取得し、加速度ａｋと角速度ωｋを「プロセス入力ｌｋ」として、予測部に入力する。
・ 加速度ａｋ ： 時刻ｋの加速度
・ 角速度ωｋ ： 時刻ｋの角速度
・ プロセス入力ｌｋ ： 時刻ｋのプロセス入力ベクトル
・ 加速度ａｋ ： 時刻ｋの加速度
・ 角速度ωｋ ： 時刻ｋの角速度
・ プロセス入力ｌｋ ： 時刻ｋのプロセス入力ベクトル
【0067】
第２推定処理部２５０は、加速度ａｋと角速度ωｋと、固定のノイズパラメータ（軸ずれ、スケールずれ、値ずれ、バイアスずれを含む）から、加速度ノイズの分散および角速度ノイズの分散を計算し、「プロセスノイズＱｋ」として、予測部に入力する。
・ プロセスノイズＱｋ ： 時刻ｋのプロセス入力の誤差共分散行列
・ プロセスノイズＱｋ ： 時刻ｋのプロセス入力の誤差共分散行列
【0068】
予測部は、加速度ａｋおよび角速度ωｋをそれぞれ積分演算して、「状態ベクトルｍｋ－１｜ｋ－１」からの変化量（つまり、位置変化量、速度変化量、姿勢変化量）を算出し、「状態ベクトルｍｋ－１｜ｋ－１」に加算する演算を行う。予測部は、加速度ａｋを積分して速度変化量を算出し、速度変化量を用いて推定される速度を積分して位置変化量を算出し、角速度ωｋを積分して姿勢変化量を算出する。予測部は、「状態ベクトルｍｋ｜ｋ－１」および「推定誤差Ｐｋ｜ｋ－１」を、第３推定処理部２６０に出力する。
・ 状態ベクトルｍｋ｜ｋ－１ ： 時刻ｋ－１までの情報で推定した時刻ｋの状態ベクトル
・ 推定誤差Ｐｋ｜ｋ－１ ： 時刻ｋ－１までの情報で推定した時刻ｋの状態の推定誤差共分散行列
・ 状態ベクトルｍｋ｜ｋ－１ ： 時刻ｋ－１までの情報で推定した時刻ｋの状態ベクトル
・ 推定誤差Ｐｋ｜ｋ－１ ： 時刻ｋ－１までの情報で推定した時刻ｋの状態の推定誤差共分散行列
【0069】
第３推定処理部２６０は、第１推定処理部２４０から「観測値ｎｋ」および「観測ノイズＲｋ」を取得し、第２推定処理部２５０から「状態ベクトルｍｋ｜ｋ－１」および「推定誤差Ｐｋ｜ｋ－１」を取得して、「状態ベクトルｍｋ｜ｋ－１」を補正するためのカルマンゲインを算出する。第３推定処理部２６０は、カルマンゲインを用いて「状態ベクトルｍｋ｜ｋ－１」を補正し、「状態ベクトルｍｋ｜ｋ」および「推定誤差Ｐｋ｜ｋ」を出力する。
・ 状態ベクトルｍｋ｜ｋ ： 時刻ｋまでの情報で推定した時刻ｋの状態ベクトル
・ 推定誤差Ｐｋ｜ｋ ： 時刻ｋまでの情報で推定した時刻ｋの状態の推定誤差共分散行列
・ 状態ベクトルｍｋ｜ｋ ： 時刻ｋまでの情報で推定した時刻ｋの状態ベクトル
・ 推定誤差Ｐｋ｜ｋ ： 時刻ｋまでの情報で推定した時刻ｋの状態の推定誤差共分散行列
【0070】
「状態ベクトルｍｋ｜ｋ」は、高精度に推定された位置、速度、姿勢を示し、ゲーム実行部２２０に提供されて、ゲーム操作に利用されてよい。「状態ベクトルｍｋ｜ｋ」および「推定誤差Ｐｋ｜ｋ」は状態保持部２２６に一時的に保持されて、第２推定処理部２５０における時刻ｋ＋１の推定処理の際に読み出される。
【0071】
推定処理部２３０において、第１推定処理部２４０による推定処理は６０Ｈｚの周期で実施される一方で、第２推定処理部２５０による推定処理は８００Ｈｚの周期で実施される。そのため第１推定処理部２４０が観測値を出力してから、次の観測値を出力するまでの間に、第２推定処理部２５０は状態ベクトルを順次更新し、この間、状態ベクトルは補正されない。実施例の推定処理部２３０は、観測時刻ｋの直前の時刻ｋ－１の状態を基準に補正ステップを行っており、つまり観測値を、過去の状態を修正するために利用している。
【0072】
以上のように、入力デバイス１６のトラッキング処理が実施されている間は、推定処理部２３０が、入力デバイス１６の位置および姿勢を高精度に推定する。しかしながら入力デバイス１６のマーカ３０が撮像装置１４により撮影されなくなると、第１推定処理部２４０は、図９に示す位置姿勢推定処理を実行できない。
【0073】
図１１は、ＨＭＤ１００に搭載した撮像装置１４の撮影可能な範囲を模式的に示す。撮像装置１４はＨＭＤ１００の前面側に取り付けられているため、ＨＭＤ１００の前方側の空間は撮影できるが、後方側の空間を撮影できない。そのためユーザが入力デバイス１６を顔の後方に動かすと、入力デバイス１６が撮像装置１４の画角から外れることで、図９に示した位置姿勢推定処理が実行できなくなる。
【0074】
このような場合に備えて、部位位置推定部２４６は、トラッキング処理の実施中に、入力デバイス１６の推定位置にもとづいて、ユーザの体における所定の部位の位置を推定しておく。入力デバイス１６の推定位置は、位置姿勢導出部２４４が推定した位置を利用しよいが、第３推定処理部２６０が出力する状態ベクトルに含まれる推定位置を利用してもよい。
【0075】
図１２（ａ）は、実空間のワールド座標系におけるＨＭＤ１００と入力デバイス１６の推定位置の例を示す。実施例の情報処理装置１０は、ＨＭＤ１００のＳＬＡＭ処理および入力デバイス１６ａ、１６ｂのトラッキング処理を実施することで、ＨＭＤ１００および入力デバイス１６ａ、１６ｂのワールド座標系における位置および姿勢を推定している。
【0076】
図１２（ｂ）は、ユーザの体における所定の部位の位置を推定する手法を示す。部位位置推定部２４６は、ＨＭＤ１００の位置と入力デバイス１６の位置から、体の部位である肘の位置を推定する。
【0077】
まず部位位置推定部２４６は、ＨＭＤ１００の位置および姿勢から、ユーザの右肩の位置Ｈ１と左肩の位置Ｈ２を推定する。ＨＭＤ１００が傾斜していない場合、部位位置推定部２４６は、ＨＭＤ１００の中心位置から距離ｄ１だけ下方にある点Ｉを特定し、点Ｉから距離ｄ２だけ右方にある位置Ｈ１を右肩位置、点Ｉから距離ｄ２だけ左方にある位置Ｈ２を左肩位置と特定してよい。この距離ｄ１、ｄ２は固定値であってよいが、ユーザの体の大きさに合わせて設定されてもよい。
【0078】
続いて部位位置推定部２４６は、右肩位置Ｈ１と右手用の入力デバイス１６ｂの位置にもとづいて、右肘の位置Ｊ１を推定する。このとき部位位置推定部２４６は、右肩から肘までの上腕長ｌ１と、肘から手までの前腕長ｌ２から、インバースキネマティクスにより右肘の位置Ｊ１を推定してよい。なお上腕長ｌ１と、前腕長ｌ２は固定値であってよいが、ユーザの体の大きさに合わせて設定されてもよい。
【0079】
なおインバースキネマティクスにより推定される右肘位置Ｊ１の候補は無数にあるため、部位位置推定部２４６は、これまでの入力デバイス１６ｂの挙動や、入力デバイス１６ｂとＨＭＤ１００との間の距離などのパラメータにもとづいて、最も確からしい右肘位置Ｊ１を導出することが好ましい。なおＨＭＤ１００と入力デバイス１６ｂの相対的な位置関係および相対的な姿勢関係に応じて右肘位置Ｊ１を一意に導き出す関数またはマップを予め用意しておき、部位位置推定部２４６は、当該関数またはマップを用いて、右肘位置Ｊ１を導出してもよい。
【0080】
同様に部位位置推定部２４６は、左肩位置Ｈ２と左手用の入力デバイス１６ａの位置にもとづいて、左肘の位置Ｊ２を推定する。なお部位位置推定部２４６が、フルカラー撮影画像に含まれるユーザの肘位置を画像解析により特定して、ワールド座標空間における肘位置の座標を導出する機能を有していれば、当該肘位置を利用してもよい。
【0081】
図１３は、入力デバイス１６が撮像装置１４の撮影可能範囲から外れた状態を示す。入力デバイス１６が撮像装置１４の画角から外れると、撮影画像にマーカ像が含まれなくなる。このときマーカ像座標特定部２４２は、撮影画像からマーカ像を抽出できないことを判定し、その判定結果を位置姿勢導出部２４４に通知する。位置姿勢導出部２４４は、判定結果を受けてトラッキング処理を実施不能であることを認識すると、推定モードを切り替えて、部位位置推定部２４６で推定された肘位置にもとづいた入力デバイス１６の位置推定処理を開始する。
【0082】
位置姿勢導出部２４４は、部位位置推定部２４６から、撮影画像にマーカ像が含まれなくなる直前に（つまりトラッキングがロスト状態となる直前に）推定された肘位置を取得する。位置姿勢導出部２４４は、取得した肘位置を回転中心としてセンサデータに対応する回転量で回転した位置を、入力デバイス１６の位置として導出する。
【0083】
図１４は、肘位置を基点としてデバイス位置を推定する処理を説明するための図である。図中、×印で示す位置は、マーカ３０が最後に撮影されたときに推定された入力デバイス１６の位置を示し、肘位置Ｊは、そのときに推定された肘の位置を示す。位置姿勢導出部２４４は、肘位置Ｊを回転中心として、入力デバイス１６の角速度に対応する回転量および回転方向で所定長の仮想的な前腕を回転させて、入力デバイス１６の位置を導出する。図１２に示したように、肘位置Ｊと入力デバイス１６の間の前腕の長さはｌ２であり、したがって位置姿勢導出部２４４は、トラッキングロスト状態が継続する間、肘位置Ｊを回転中心とした半径ｌ２の球面上の位置を、入力デバイス１６の位置として導出する。このように導出された位置は、必ずしも正確とは言えないが、トラッキングロストが生じる直前の肘位置を基点として推定されるため、ゲームを継続するには十分な精度であると言える。
【0084】
トラッキングロスト状態が継続する間、部位位置推定部２４６は、肘位置Ｊを、ＨＭＤ１００の動きに追従して動かして、ＨＭＤ１００の位置と肘位置Ｊとの相対的位置関係を固定することが好ましい。
【0085】
ノイズ導出部２４８は、トラッキングロスト中の位置ノイズの分散を導出する。ノイズ導出部２４８は、トラッキング処理中（撮影画像にマーカ像が含まれているとき）の位置ノイズの分散よりも、トラッキングロスト中（撮影画像にマーカ像が含まれていないとき）の位置ノイズの分散を大きく設定する。上記した例で、ノイズ導出部２４８は、トラッキング処理中の位置ノイズの分散を０．５ｍｍに設定しているが、トラッキングロスト中は５ｍｍ以上の位置ノイズの分散を導出してよい。肘位置Ｊを回転中心とした回転量（回転角度）が大きくなるほど、推定位置の信頼度は低くなるため、ノイズ導出部２４８は、回転量が大きくなると、回転量が小さいときよりも大きな位置ノイズの分散を導出してもよい。たとえばトラッキングロストする直前のデバイス位置からの回転量が２０度未満である場合、位置ノイズの分散を５ｍｍに設定し、回転量が２０度以上となる場合、位置ノイズの分散を５０ｍｍに設定してもよい。ノイズ導出部２４８は、位置ノイズの分散を、回転量の増加に応じて線形的または非線形的に大きくなるように導出してもよい。
【0086】
なお入力デバイス１６が撮像装置１４の画角内に移動して、撮影画像にマーカ像が含まれるようになると、マーカ像座標特定部２４２は、撮影画像からマーカ像を抽出し、位置姿勢導出部２４４は、推定モードを元に戻して、マーカ像にもとづいた位置姿勢推定処理を再開する。
【0087】
以上、本発明を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では推定処理を情報処理装置１０が実施したが、情報処理装置１０の機能がＨＭＤ１００に設けられて、ＨＭＤ１００が推定処理を実施してもよい。つまりＨＭＤ１００が、情報処理装置１０であってもよい。
【0088】
実施例では、操作部材２２を備えた入力デバイス１６における複数マーカ３０の配置について説明したが、トラッキングの対象となるデバイスは、必ずしも操作部材２２を備えていなくてよい。実施例では撮像装置１４がＨＭＤ１００に取り付けられているが、撮像装置１４は、マーカ像を撮影できればよく、ＨＭＤ１００以外の別の位置に取り付けられてもよい。
【符号の説明】
【0089】
１・・・情報処理システム、１０・・・情報処理装置、１４・・・撮像装置、１６，１６ａ，１６ｂ・・・入力デバイス、２０・・・ケース体、２１・・・把持部、２２・・・操作部材、２３・・・湾曲部、２４・・・タッチセンサ、３０・・・マーカ、３２・・・ＩＭＵ、３４・・・加速度センサ、３６・・・角速度センサ、５０・・・制御部、５４・・・通信制御部、５８・・・光源、１００・・・ＨＭＤ、１０２・・・出力機構部、１０４・・・装着機構部、１０６・・・装着バンド、１０８・・・筐体、１２０・・・制御部、１２２・・・記憶部、１２４・・・ＩＭＵ、１２６・・・マイク、１２８・・・通信制御部、１３０・・・表示パネル、１３０ａ・・・左目用表示パネル、１３０ｂ・・・右目用表示パネル、１３２・・・音声出力部、２００・・・処理部、２０２・・・通信部、２１０・・・取得部、２１２・・・撮影画像取得部、２１４・・・センサデータ取得部、２１６・・・操作情報取得部、２２０・・・ゲーム実行部、２２２・・・画像信号処理部、２２４・・・マーカ情報保持部、２２６・・・状態保持部、２３０・・・推定処理部、２４０・・・第１推定処理部、２４２・・・マーカ像座標特定部、２４４・・・位置姿勢導出部、２４６・・・部位位置推定部、２４８・・・ノイズ導出部、２５０・・・第２推定処理部、２６０・・・第３推定処理部、２６８・・・画像信号処理部、２７０・・・ＳＬＡＭ処理部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】