▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
特許7102618スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-08
(45)【発行日】2022-07-19
(54)【発明の名称】スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラム
(51)【国際特許分類】
G01B 21/00 20060101AFI20220711BHJP
【ＦＩ】
G01B21/00 E
【請求項の数】
6
(21)【出願番号】P 2021530395
(86)(22)【出願日】2019-07-09
(86)【国際出願番号】 JP2019027120
(87)【国際公開番号】W WO2021005708
(87)【国際公開日】2021-01-14
【審査請求日】2021-08-12
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】110000154
【氏名又は名称】特許業務法人はるか国際特許事務所
(72)【発明者】
【氏名】大橋 良徳
【審査官】九鬼 一慶
(56)【参考文献】
【文献】特開２００８－０５２７２６（ＪＰ，Ａ）
【文献】特開２０１４－１５７６０８（ＪＰ，Ａ）
【文献】国際公開第２０１７／１７０２６４（ＷＯ，Ａ１）
【文献】金子徳秀，ほか２名，骨格の類似度を考慮したモーションパペトリー，映像情報メディア学会技術報告，日本，2015年03月，Vol.39, No.14，43-46
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ ２１／００
Ａ６１Ｂ ５／１１
Ａ６３Ｆ １３／６５５
Ｇ０６Ｔ １３／４０
(57)【特許請求の範囲】
【請求項1】
既知の基本姿勢ではない姿勢のスケルトンモデルに含まれる複数のノードのうちから複数のターゲットノードを特定するターゲットノード特定部と、前記複数のターゲットノードのいずれにも１又は複数のボーンを介して接続されているノードのうち最も当該複数のターゲットノード側にある基準ノードを特定する基準ノード特定部と、
前記基準ノードの位置を基準とした前記複数のターゲットノードの相対的な位置が所定の位置となるよう、前記複数のターゲットノード又は前記基準ノードの位置を決定する位置決定部と、
決定される前記複数のターゲットノードの位置に基づいて、前記スケルトンモデルの姿勢を前記基本姿勢に更新する姿勢更新部と、
を含むことを特徴とするスケルトンモデル更新装置。
【請求項2】
前記ターゲットノード特定部は、左手に相当するノード、及び、右手に相当するノードを前記ターゲットノードに特定する、ことを特徴とする請求項１に記載のスケルトンモデル更新装置。
【請求項3】
前記ターゲットノード特定部は、左手に相当するノード、右手に相当するノード、及び頭部に相当するノードを前記ターゲットノードに特定する、ことを特徴とする請求項１に記載のスケルトンモデル更新装置。
【請求項4】
前記ターゲットノード特定部は、左足に相当するノード、及び、右足に相当するノードを前記ターゲットノードに特定する、ことを特徴とする請求項１から３のいずれか一項に記載のスケルトンモデル更新装置。
【請求項5】
既知の基本姿勢ではない姿勢のスケルトンモデルに含まれる複数のノードのうちから複数のターゲットノードを特定するステップと、前記複数のターゲットノードのいずれにも１又は複数のボーンを介して接続されているノードのうち最も当該複数のターゲットノード側にある基準ノードを特定するステップと、
前記基準ノードの位置を基準とした前記複数のターゲットノードの相対的な位置が所定の位置となるよう、前記複数のターゲットノード又は前記基準ノードの位置を決定するステップと、
決定される前記複数のターゲットノードの位置に基づいて、前記スケルトンモデルの姿勢を前記基本姿勢に更新するステップと、
を含むことを特徴とするスケルトンモデル更新方法。
【請求項6】
既知の基本姿勢ではない姿勢のスケルトンモデルに含まれる複数のノードのうちから複数のターゲットノードを特定する手順、前記複数のターゲットノードのいずれにも１又は複数のボーンを介して接続されているノードのうち最も当該複数のターゲットノード側にある基準ノードを特定する手順、
前記基準ノードの位置を基準とした前記複数のターゲットノードの相対的な位置が所定の位置となるよう、前記複数のターゲットノード又は前記基準ノードの位置を決定する手順、
決定される前記複数のターゲットノードの位置に基づいて、前記スケルトンモデルの姿勢を前記基本姿勢に更新する手順、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラムに関する。
【背景技術】
【0002】
ユーザが装着する複数のトラッカーの姿勢を示すデータに基づいて、当該ユーザに対応付けられるスケルトンモデルの姿勢を更新するボディトラッキング技術が知られている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
例えば、犬、龍、たこなどといった、人間ではないスケルトンモデル（図１７参照）を用いたボディトラッキングを行いたい場面がある。このようなボディトラッキングの前提として、スケルトンモデルのデフォルトの姿勢がどのようなものであっても、その姿勢をＴポーズやＡポーズなどといった既知の基本姿勢に変形したものを用意する必要がある。
【0004】
従来は、このようなスケルトンモデルの基本姿勢への変形を手作業で行う必要があったため、作業者の手間がかかっていた。
【0005】
本発明は上記課題に鑑みてなされたものであって、その目的の１つは、スケルトンモデルを既知の基本姿勢に変形する手間を軽減できるスケルトンモデル更新装置、スケルトンモデル更新方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明に係るスケルトンモデル更新装置は、既知の基本姿勢ではない姿勢のスケルトンモデルに含まれる複数のノードのうちから複数のターゲットノードを特定するターゲットノード特定部と、前記複数のターゲットノードのいずれにも１又は複数のボーンを介して接続されているノードのうち最も当該複数のターゲットノード側にある基準ノードを特定する基準ノード特定部と、前記基準ノードの位置を基準とした前記複数のターゲットノードの相対的な位置が所定の位置となるよう、前記複数のターゲットノード又は前記基準ノードの位置を決定する位置決定部と、決定される前記複数のターゲットノードの位置に基づいて、前記スケルトンモデルの姿勢を前記基本姿勢に更新する姿勢更新部と、を含む。
【0007】
本発明の一態様では、前記ターゲットノード特定部は、左手に相当するノード、及び、右手に相当するノードを前記ターゲットノードに特定する。
【0008】
また、本発明の一態様では、前記ターゲットノード特定部は、左手に相当するノード、右手に相当するノード、及び頭部に相当するノードを前記ターゲットノードに特定する。
【0009】
また、本発明の一態様では、前記ターゲットノード特定部は、左足に相当するノード、及び、右足に相当するノードを前記ターゲットノードに特定する。
【0010】
また、本発明に係るスケルトンモデル更新方法は、既知の基本姿勢ではない姿勢のスケルトンモデルに含まれる複数のノードのうちから複数のターゲットノードを特定するステップと、前記複数のターゲットノードのいずれにも１又は複数のボーンを介して接続されているノードのうち最も当該複数のターゲットノード側にある基準ノードを特定するステップと、前記基準ノードの位置を基準とした前記複数のターゲットノードの相対的な位置が所定の位置となるよう、前記複数のターゲットノード又は前記基準ノードの位置を決定するステップと、決定される前記複数のターゲットノードの位置に基づいて、前記スケルトンモデルの姿勢を前記基本姿勢に更新するステップと、を含む。
【0011】
また、本発明に係るプログラムは、既知の基本姿勢ではない姿勢のスケルトンモデルに含まれる複数のノードのうちから複数のターゲットノードを特定する手順、前記複数のターゲットノードのいずれにも１又は複数のボーンを介して接続されているノードのうち最も当該複数のターゲットノード側にある基準ノードを特定する手順、前記基準ノードの位置を基準とした前記複数のターゲットノードの相対的な位置が所定の位置となるよう、前記複数のターゲットノード又は前記基準ノードの位置を決定する手順、決定される前記複数のターゲットノードの位置に基づいて、前記スケルトンモデルの姿勢を前記基本姿勢に更新する手順、をコンピュータに実行させる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係るエンタテインメントシステムの一例を示す構成図である。
【図2】本発明の一実施形態に係るエンタテインメント装置の一例を示す構成図である。
【図3】スケルトンモデルの一例を示す図である。
【図4】ＦＡＢＲＩＫ計算における前方到達フェーズの一例を模式的に示す図である。
【図5】ＦＡＢＲＩＫ計算における後方到達フェーズの一例を模式的に示す図である。
【図6】本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。
【図7】本発明の一実施形態に係るエンタテインメント装置で行われる処理の流れの一例を示すフロー図である。
【図8】ノードの初期位置の決定の一例を説明する図である。
【図9】ノードの初期位置の決定の一例を説明する図である。
【図10】本発明の一実施形態に係るエンタテインメント装置で行われる処理の流れの一例を示すフロー図である。
【図11】本発明の一実施形態に係るエンタテインメント装置で行われる処理の流れの一例を示すフロー図である。
【図12】ノードの回転の決定の一例を説明する図である。
【図13】ユーザが着座姿勢にあるか立ち姿勢にあるかの推定に用いられる機械学習モデルの学習の一例を示す図である。
【図15】本発明の一実施形態に係るエンタテインメント装置で行われる処理の流れの一例を示すフロー図である。
【図16】ユーザがゲームをプレイしている様子の一例を示す模式図である。
【図17】スケルトンモデルのデフォルトの姿勢の一例を示す図である。
【図18】Ｔポーズに変形されたスケルトンモデルの一例を示す図である。
【図19】本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。
【図20】本発明の一実施形態に係るエンタテインメント装置で行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【0013】
【0014】
図１に示すように、本実施形態に係るエンタテインメントシステム１０は、複数のトラッカー１２（図１の例ではトラッカー１２ａ～１２ｅ）とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とを含んでいる。
【0015】
本実施形態に係るトラッカー１２は、例えば、当該トラッカー１２の位置や向きを追跡するためのデバイスである。ここでトラッカー１２が、例えばカメラ、慣性センサ（ＩＭＵ）、地磁気センサ（方位センサ）、加速度センサ、モーションセンサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールなどといった各種センサを備えていてもよい。そしてトラッカー１２は、当該トラッカー１２が備えるセンサによる計測結果であるセンシングデータに基づいて、当該トラッカー１２の姿勢を特定してもよい。
【0016】
また例えば、後述するカメラマイクユニット２０に含まれるカメラ２０ａが撮影する、トラッカー１２の像が含まれる画像に基づいて、当該トラッカー１２の姿勢が特定されてもよい。
【0017】
本実施形態ではトラッカー１２ａ、トラッカー１２ｂ、トラッカー１２ｃ、トラッカー１２ｄ、トラッカー１２ｅは、それぞれ、ユーザの頭部、左手、右手、左足、右足に装着される。ここで図１に示すようにトラッカー１２ｂやトラッカー１２ｃはユーザによって手で把持されるものであってもよい。本実施形態ではトラッカー１２ａ、トラッカー１２ｂ、トラッカー１２ｃ、トラッカー１２ｄ、トラッカー１２ｅによって特定される姿勢は、それぞれ、ユーザの頭部、左手、右手、左足、右足の姿勢に相当する。このように本実施形態では複数のトラッカー１２によって、ユーザの体に含まれる複数の部位の姿勢が特定されることとなる。
【0018】
本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ－ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されている、あるいは、光ディスクに記録された、ゲームプログラムの実行やコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由してディスプレイ１８に出力する。
【0019】
本実施形態に係るエンタテインメント装置１４には、例えば図２に示すように、プロセッサ３０、記憶部３２、通信部３４、入出力部３６が含まれる。
【0020】
プロセッサ３０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ３０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）も含まれている。
【0021】
記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部３２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
【0022】
通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースなどである。
【0023】
入出力部３６は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート、ＵＳＢポートなどの入出力ポートである。
【0024】
本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してディスプレイ１８に出力するコンピュータである。
【0025】
本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
【0026】
本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
【0027】
トラッカー１２と中継装置１６とは、例えば、無線によるデータの送受信が互いに可能になっている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されており、データの送受信が互いに可能になっている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
【0028】
本実施形態では例えば、エンタテインメント装置１４によってゲームプログラムが実行されている際に、図３に示すスケルトンモデル４０における、ユーザの体に含まれる複数の部位の姿勢に応じたゲーム処理等の各種の処理が実行される。そして当該処理の結果に応じた映像が例えばディスプレイ１８に表示される。例えばスケルトンモデル４０の姿勢に応じたプレイヤオブジェクトのポリゴンモデルの映像がディスプレイ１８に表示される。
【0029】
図３に示すように、本実施形態に係るスケルトンモデル４０には、頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、右足ノード４２ｅが含まれている。頭部ノード４２ａは、トラッカー１２ａが装着されるユーザの頭部に相当する。左手ノード４２ｂは、トラッカー１２ｂが装着されるユーザの左手に相当する。右手ノード４２ｃは、トラッカー１２ｃが装着されるユーザの右手に相当する。左足ノード４２ｄは、トラッカー１２ｄが装着されるユーザの左足に相当する。右足ノード４２ｅは、トラッカー１２ｅが装着されるユーザの右足に相当する。
【0030】
またスケルトンモデル４０には、上記のノード４２の他に、骨盤ノード４２ｆ、第１脊柱ノード４２ｇ、第２脊柱ノード４２ｈ、第３脊柱ノード４２ｉ、首ノード４２ｊが含まれる。本実施形態では例えば、骨盤ノード４２ｆが、スケルトンモデル４０全体におけるルートノードの役割を担う。また本実施形態では例えば、骨盤ノード４２ｆが、腰部のノードに相当する。
【0031】
またスケルトンモデル４０には、さらに、左鎖骨ノード４２ｋ、左上腕ノード４２ｌ、左前腕ノード４２ｍ、右鎖骨ノード４２ｎ、右上腕ノード４２ｏ、右前腕ノード４２ｐが含まれている。
【0032】
またスケルトンモデル４０には、さらに、左大腿部ノード４２ｑ、左ふくらはぎノード４２ｒ、左母指球ノード４２ｓ、右大腿部ノード４２ｔ、右ふくらはぎノード４２ｕ、右母指球ノード４２ｖが含まれている。
【0033】
ここで図３に示すように、骨盤ノード４２ｆと第１脊柱ノード４２ｇとの間はボーン４４ａで接続されている。また第１脊柱ノード４２ｇと第２脊柱ノード４２ｈとの間はボーン４４ｂで接続されている。また第２脊柱ノード４２ｈと第３脊柱ノード４２ｉとの間はボーン４４ｃで接続されている。また第３脊柱ノード４２ｉと首ノード４２ｊとの間はボーン４４ｄで接続されている。また首ノード４２ｊと頭部ノード４２ａとの間はボーン４４ｅで接続されている。
【0034】
そして第３脊柱ノード４２ｉと左鎖骨ノード４２ｋとの間はボーン４４ｆで接続されている。また左鎖骨ノード４２ｋと左上腕ノード４２ｌとの間はボーン４４ｇで接続されている。また左上腕ノード４２ｌと左前腕ノード４２ｍとの間はボーン４４ｈで接続されている。また左前腕ノード４２ｍと左手ノード４２ｂとの間はボーン４４ｉで接続されている。
【0035】
そして第３脊柱ノード４２ｉと右鎖骨ノード４２ｎとの間はボーン４４ｊで接続されている。また右鎖骨ノード４２ｎと右上腕ノード４２ｏとの間はボーン４４ｋで接続されている。また右上腕ノード４２ｏと右前腕ノード４２ｐとの間はボーン４４ｌで接続されている。また右前腕ノード４２ｐと右手ノード４２ｃとの間はボーン４４ｍで接続されている。
【0036】
そして骨盤ノード４２ｆと左大腿部ノード４２ｑとの間はボーン４４ｎで接続されている。また左大腿部ノード４２ｑと左ふくらはぎノード４２ｒとの間はボーン４４ｏで接続されている。また左ふくらはぎノード４２ｒと左足ノード４２ｄとの間はボーン４４ｐで接続されている。また左足ノード４２ｄと左母指球ノード４２ｓとの間はボーン４４ｑで接続されている。
【0037】
そして骨盤ノード４２ｆと右大腿部ノード４２ｔとの間はボーン４４ｒで接続されている。また右大腿部ノード４２ｔと右ふくらはぎノード４２ｕとの間はボーン４４ｓで接続されている。また右ふくらはぎノード４２ｕと右足ノード４２ｅとの間はボーン４４ｔで接続されている。また右足ノード４２ｅと右母指球ノード４２ｖとの間はボーン４４ｕで接続されている。
【0038】
図３には、初期状態におけるスケルトンモデル４０である、基本姿勢の（ここでは例えば、脚を開き腕を斜め下に下した、いわゆるＡポーズの）スケルトンモデル４０が示されている。
【0039】
そして本実施形態では例えば、複数のトラッカー１２について特定される姿勢に基づくボディトラッキングが行える。ここでは例えば、スケルトンモデル４０に含まれる複数のノード４２のそれぞれについての、初期状態における基準の位置に対する位置及び初期状態における基準の向きに対する向きの決定が実行される。またスケルトンモデル４０に含まれる複数のボーン４４のそれぞれについての、初期状態における基準の向きに対する向きの決定が実行される。
【0040】
ここで例えば、トラッカー１２ａについて特定される姿勢を示すデータに基づいて、頭部ノード４２ａの姿勢は決定できる。同様に、トラッカー１２ｂについて特定される姿勢を示すデータに基づいて、左手ノード４２ｂの姿勢は決定できる。また、トラッカー１２ｃについて特定される姿勢を示すデータに基づいて、右手ノード４２ｃの姿勢は決定できる。また、トラッカー１２ｄについて特定される姿勢を示すデータに基づいて、左足ノード４２ｄの姿勢は決定できる。また、トラッカー１２ｅについて特定される姿勢を示すデータに基づいて、右足ノード４２ｅの姿勢は決定できる。
【0041】
また、骨盤ノード４２ｆの姿勢の決定も、例えば決定される頭部ノード４２ａの姿勢に基づいて可能である。ここで例えば、トラッカー１２ａ～トラッカー１２ｅについて特定される姿勢に基づいて、学習済の機械学習モデルを用いた骨盤ノード４２ｆの姿勢の推定が実行されてもよい。また同様に、第３脊柱ノード４２ｉの姿勢の決定も可能である。
【0042】
そして以上の決定結果や推定結果に基づいて、前方後方到達逆運動学（ＦＡＢＲＩＫ）計算によって、残りのノード４２の位置及び向きやボーン４４の向きを決定することが考えられる。ここでは例えば、頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、及び、右足ノード４２ｅが、ＦＡＢＲＩＫにおけるエフェクタに相当することとなる。そしてエフェクタの運動に応じて、スケルトンモデル４０に含まれるノード４２の位置及び向きやボーン４４の向きが決定される。
【0043】
図４、及び、図５は、ＦＡＢＲＩＫ計算の一例を模式的に示す図である。図４、及び、図５では、一例として、右手ノード４２ｃ、右鎖骨ノード４２ｎ、右上腕ノード４２ｏ、及び、右前腕ノード４２ｐについて実行されるＦＡＢＲＩＫ計算が示されている。
【0044】
図４では、スケルトンモデル４０における右手ノード４２ｃ、右鎖骨ノード４２ｎ、右上腕ノード４２ｏ、及び、右前腕ノード４２ｐの現在の位置がそれぞれＰ（ｃ１）、Ｐ（ｎ１）、Ｐ（ｏ１）、Ｐ（ｐ１）と示されている。またボーン４４ｍ、ボーン４４ｌ、ボーン４４ｋ、ボーン４４ｊの長さは、それぞれｄ１、ｄ２、ｄ３であることとする。
【0045】
この状況でトラッカー１２ｃの計測結果に基づいて、右手ノード４２ｃが移動すべき位置Ｔ１が特定されたとする。
【0046】
以下、ＦＡＢＲＩＫ計算における前方到達フェーズについて図４を参照しながら説明する。
【0047】
前方到達フェーズでは、まず、右手ノード４２ｃが位置Ｔ１に移動する。図４では移動後の右手ノード４２ｃの位置がＰ（ｃ２）と示されている。そして右前腕ノード４２ｐが、位置Ｐ（ｃ２）から位置Ｐ（ｐ１）に向かう方向に、位置Ｐ（ｃ２）から長さｄ１だけ離れた位置Ｐ（ｐ２）に移動する。そして右上腕ノード４２ｏが、位置Ｐ（ｐ２）から位置Ｐ（ｏ１）に向かう方向に、位置Ｐ（ｐ２）から長さｄ２だけ離れた位置Ｐ（ｏ２）に移動する。そして右鎖骨ノード４２ｎが、位置Ｐ（ｏ２）から位置Ｐ（ｎ１）に向かう方向に、位置Ｐ（ｏ２）から長さｄ３だけ離れた位置Ｐ（ｎ２）に移動する。
【0048】
このように、ＦＡＢＲＩＫ計算における前方到達フェーズの処理には、トラッカー１２に対応付けられるノード４２が移動すべき位置と当該ノード４２の親のノード４２の現在の位置とに基づく当該親のノード４２の新たな位置の決定が含まれている。また当該決定は、トラッカー１２に対応付けられるノード４２と当該親のノード４２との間の長さを一定に保つという条件で実行される。以下、トラッカー１２に対応付けられるノード４２をターゲットノードと呼ぶこととする。
【0049】
以下、ＦＡＢＲＩＫ計算における後方到達フェーズについて図５を参照しながら説明する。
【0050】
まず、右鎖骨ノード４２ｎが、位置Ｐ（ｎ２）から位置Ｐ（ｎ３）に移動する。ここで図５に示す位置Ｐ（ｎ３）は、ＦＡＢＲＩＫ計算の開始時における右鎖骨ノード４２ｎの位置Ｐ（ｎ１）と同じ位置である。そして右上腕ノード４２ｏが、位置Ｐ（ｎ３）から位置Ｐ（ｏ２）に向かう方向に、位置Ｐ（ｎ３）から長さｄ３だけ離れた位置Ｐ（ｏ３）に移動する。そして右前腕ノード４２ｐが、位置Ｐ（ｏ３）から位置Ｐ（ｐ２）に向かう方向に、位置Ｐ（ｏ３）から長さｄ２だけ離れた位置Ｐ（ｐ３）に移動する。そして右手ノード４２ｃが、位置Ｐ（ｐ３）から位置Ｐ（ｃ２）に向かう方向に、位置Ｐ（ｐ３）から長さｄ１だけ離れた位置Ｐ（ｃ３）に移動する。
【0051】
そして右手ノード４２ｃの位置と位置Ｔ１との間の長さが所定の閾値以下になるまで、前方到達フェーズと後方到達フェーズとが繰り返し実行される。なお右手ノード４２ｃの位置と位置Ｔ１との間の長さが所定の閾値以下にならなくても、前方到達フェーズと後方到達フェーズとが所定回数（例えば１０回）繰り返し実行されるとＦＡＢＲＩＫ計算は終了される。
【0052】
このように、ＦＡＢＲＩＫ計算では簡易なアルゴリズムによってスケルトンモデル４０の姿勢が決定される。しかしその結果、関節が自然な方向に曲がらず、人体ではありえないようなスケルトンモデル４０の姿勢が決定されることがある。
【0053】
またＦＡＢＲＩＫ計算による姿勢の決定では、トラッカー１２ｂやトラッカー１２ｃから腕方向を軸とした手の回転の情報を取得できるにも関わらず、この情報が腕方向を軸とした肘の回転に反映されない。
【0054】
また木構造のスケルトンモデル４０に対するＦＡＢＲＩＫ計算では、複数のターゲットノードのそれぞれを起点とした、当該ターゲットノードを含むノード群に対して独立した前方到達フェーズの処理を実行する必要がある。そのため例えば胸から肩までのような、全体としての姿勢が大きくゆがむべきではない、木構造のスケルトンモデル４０の結節点の近傍の複数のノード４２の全体としての姿勢が、前方到達フェーズの処理により大きくゆがむことがある。
【0055】
以上のように、ＦＡＢＲＩＫ計算を用いたスケルトンモデル４０の姿勢の決定において、妥当性が低い結果が得られることがあった。
【0056】
このことを踏まえ本実施形態では以下のようにして、ＦＡＢＲＩＫ計算を用いたスケルトンモデル４０の姿勢の決定結果の妥当性を向上できるようにした。
【0057】
以下、本実施形態に係るエンタテインメント装置１４の機能、及び、本実施形態に係るエンタテインメント装置１４で実行される処理についてさらに説明する。
【0058】
図６は、本実施形態に係るエンタテインメント装置１４の機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図６に示す機能のすべてが実装される必要はなく、また、図６に示す機能以外の機能が実装されていても構わない。
【0059】
図６に示すように、本実施形態に係るエンタテインメント装置１４には、機能的には例えば、スケルトンモデルデータ記憶部５０、姿勢データ取得部５２、初期位置決定部５４、姿勢更新部５６、が含まれる。
【0060】
スケルトンモデルデータ記憶部５０は、記憶部３２を主として実装される。姿勢データ取得部５２は、プロセッサ３０及び入出力部３６を主として実装される。初期位置決定部５４、姿勢更新部５６は、プロセッサ３０を主として実装される。
【0061】
以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給されてもよい。
【0062】
スケルトンモデルデータ記憶部５０は、本実施形態では例えば、スケルトンモデル４０の姿勢を示すスケルトンモデルデータを記憶する。スケルトンモデルデータには、例えば、複数のノード４２のそれぞれの位置を示すデータが含まれていてもよい。またスケルトンモデルデータにはノード４２の向きを示すデータが含まれていてもよい。ここで向きを示すデータは例えば三軸方向それぞれについての回転量を示すデータであってもよい。またスケルトンモデルデータには、ボーン４４の位置及び向きを示すデータが含まれていてもよい。ボーン４４の位置及び向きは、当該ボーン４４の両端のノード４２の位置に基づいて一意に定まる。
【0063】
また本実施形態では、スケルトンモデルデータ記憶部５０には、最新のスケルトンモデル４０の姿勢を示すスケルトンモデルデータが記憶されていることとする。またスケルトンモデルデータ記憶部５０には、Ａポーズなどの基本姿勢をとる初期状態のスケルトンモデル４０の姿勢を示すスケルトンモデルデータも記憶されていることとする。
【0064】
姿勢データ取得部５２は、本実施形態では例えば、所定のサンプリングレートで特定されるトラッカー１２ａ～１２ｅの位置及び向きを示す姿勢データを取得する。ここで例えば、所定のサンプリングレートでトラッカー１２が、当該トラッカー１２の位置及び向きを示す姿勢データを生成してもよい。そして生成に応じてトラッカー１２が、当該トラッカー１２が生成した姿勢データを、中継装置１６経由でエンタテインメント装置１４に送信してもよい。また例えば、カメラマイクユニット２０が、所定のサンプリングレートでトラッカー１２ａ～１２ｅの位置及び向きを示す姿勢データを生成してもよい。そして生成に応じてカメラマイクユニット２０が、当該カメラマイクユニット２０が生成した姿勢データを、エンタテインメント装置１４に送信してもよい。
【0065】
初期位置決定部５４は、本実施形態では例えば、姿勢データ取得部５２が取得する姿勢データに基づいて、いくつかのノード４２の初期位置を決定する。
【0066】
姿勢更新部５６は、本実施形態では例えば、スケルトンモデル４０の姿勢を更新する。ここでは例えば、スケルトンモデルデータ記憶部５０に記憶されているスケルトンモデルデータが更新される。姿勢更新部５６は、姿勢データ取得部５２が取得する姿勢データ、及び、初期位置決定部５４が決定する初期位置に基づいて、前方後方到達逆運動学（ＦＡＢＲＩＫ）計算によりスケルトンモデル４０の姿勢を更新してもよい。
【0067】
ここで、本実施形態に係るエンタテインメント装置１４で行われる処理の流れの一例を、図７に例示するフロー図を参照しながら説明する。
【0068】
まず、姿勢データ取得部５２が、トラッカー１２によって生成される最新の特定タイミングにおける当該トラッカー１２の位置及び向きを示す姿勢データを取得する（Ｓ１０１）。ここでは例えば、姿勢データ取得部５２は、トラッカー１２ａ～１２ｅのそれぞれについての、当該トラッカー１２の位置及び向きを示す姿勢データを取得する。
【0069】
そして、姿勢更新部５６が、Ｓ１０１に示す処理で取得された姿勢データに基づいて、骨盤ノード４２ｆの位置及び向きを推定する（Ｓ１０２）。ここで例えば骨盤ノード４２ｆの代わりに、第３脊柱ノード４２ｉの位置及び向きが推定されてもよい。また例えば、骨盤ノード４２ｆ及び第３脊柱ノード４２ｉの位置及び向きが推定されてもよい。
【0070】
そして姿勢更新部５６が、Ｓ１０２に示す処理の推定結果に基づいて、スケルトンモデルデータを更新する（Ｓ１０３）。Ｓ１０３に示す処理では例えば、最新のスケルトンモデル４０及び初期状態のスケルトンモデル４０を回転させる処理が実行される。
【0071】
そして初期位置決定部５４が、スケルトンモデル４０に含まれる一部のノード４２の初期位置を決定する（Ｓ１０４）。
【0072】
ここでは例えば図８に示すように、Ｓ１０１に示す処理で取得された姿勢データが示すトラッカー１２ｃの位置に基づいて、ターゲットノードである右手ノード４２ｃが移動すべき位置Ｔ２及び右手ノード４２ｃが向くべき向きＡ２が特定される。そして、向きＡ２に沿った、向きＡ２とは逆の向きに、位置Ｔ２から長さｄ１だけ離れた位置Ｐ２が、右手ノード４２ｃの親のノード４２である右前腕ノード４２ｐの初期位置として決定される。ここで長さｄ１は、上述のようにボーン４４ｍの長さである。
【0073】
なおここで右前腕ノード４２ｐの現在の位置と位置Ｐ２とを所定の重みにより補間した位置が右前腕ノード４２ｐの初期位置として決定されてもよい。
【0074】
また当該重みが、トラッカー１２ｃの速度に対応付けられる、右手ノード４２ｃの現在の位置と位置Ｔ２との間の長さに基づいて、決定されてもよい。例えば右手ノード４２ｃの現在の位置と位置Ｔ２との間の長さが短いほど、右前腕ノード４２ｐの現在の位置に近い位置が右前腕ノード４２ｐの初期位置として決定されるようにしてもよい。このようにすれば例えばプレイヤが手首だけを回転させた場合にプレイヤオブジェクトの肘が大きく動いてしまう事態を避けることができる。
【0075】
また図９に示すように、例えば、Ｓ１０１に示す処理で取得された姿勢データが示すトラッカー１２ｅの位置に基づいて、ターゲットノードである右足ノード４２ｅが移動すべき位置Ｔ３及び右足ノード４２ｅが向くべき向きＡ３が特定される。そして向きＡ３を基準の向きとした際の左右方向を軸として所定の角度（例えば９０度）回転させた方向に、位置Ｔ３から長さｄ４だけ離れた位置Ｐ３が、右足ノード４２ｅの親のノード４２である右ふくらはぎノード４２ｕの初期位置として決定される。ここで長さｄ４は、ボーン４４ｔの長さである。
【0076】
なお上述の例と同様に右ふくらはぎノード４２ｕの現在の位置と位置Ｐ３とを補間した位置が右ふくらはぎノード４２ｕの初期位置として決定されてもよい。
【0077】
同様にして例えば、Ｓ１０１に示す処理で取得された姿勢データが示すトラッカー１２ｂの位置に基づいて、ターゲットノードである左手ノード４２ｂが移動すべき位置及び左手ノード４２ｂが向くべき向きが特定される。また、同様にして例えば、Ｓ１０１に示す処理で取得された姿勢データが示すトラッカー１２ｄの位置に基づいて、ターゲットノードである左足ノード４２ｄが移動すべき位置及び左足ノード４２ｄが向くべき向きが特定される。そして、同様にして例えば、左前腕ノード４２ｍ、左ふくらはぎノード４２ｒ、などといった他のノード４２の初期位置が決定される。
【0078】
そして姿勢更新部５６が、頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、右足ノード４２ｅのリストを引数ＴＮｓとする、図１０のＳ２０１～Ｓ２０８に示す処理を実行する（Ｓ１０５）。
【0079】
ノード４２のリストＴＮｓを引数とするＳ１０５に示す処理では、ＴＮｓに含まれるすべての要素ｎｉに対して、以下で説明するＳ２０１～Ｓ２０６に示す処理が繰り返し実行される。
【0080】
まず、姿勢更新部５６が、ｎｉがルートノード（骨盤ノード４２ｆ）であるか否かを確認する（Ｓ２０１）。ｎｉがルートノードである場合は（Ｓ２０１：Ｙ）、Ｓ２０１～Ｓ２０６に示す処理のループから抜ける。
【0081】
ｎｉがルートノードでない場合は（Ｓ２０１：Ｎ）、姿勢更新部５６が、Ｓ２０１～Ｓ２０６に示す処理の今回のループにおける、前方到達ノード群を表すリストＦＮｓにｎｉを追加する（Ｓ２０２）。
【0082】
そして姿勢更新部５６が、ｎｉを、ｎｉの親のノード４２に更新する（Ｓ２０３）。
【0083】
そして姿勢更新部５６が、ｎｉが子のノード４２の数が２以上であるノード４２、又は、ルートノードである骨盤ノード４２ｆであるか否かを確認する（Ｓ２０４）。
【0084】
ｎｉが子のノード４２の数が２以上であるノード４２でもルートノードでもない場合は（Ｓ２０４：Ｎ）、Ｓ２０２に示す処理に戻る。
【0085】
ｎｉが子のノード４２の数が２以上であるノード４２、又は、ルートノードである場合は（Ｓ２０５：Ｙ）、姿勢更新部５６が、サブルートノード群を表すリストＲＮｓにｎｉを追加する（Ｓ２０５）。
【0086】
そして姿勢更新部５６が、ＦＮｓに含まれるノード４２に対して、図４を参照して説明したＦＡＢＲＩＫの前方到達フェーズの処理を実行する（Ｓ２０６）。
【0087】
ＴＮｓに含まれるすべての要素ｎｉに対して、Ｓ２０１～Ｓ２０６に示す処理が実行されると、姿勢更新部５６が、リストＲＮｓに含まれるノード４２があるか否かを確認する（Ｓ２０７）。
【0088】
リストＲＮｓに含まれるノード４２がある場合は（Ｓ２０７：Ｙ）、姿勢更新部５６が、リストＲＮｓを次のループにおけるリストＴＮｓに設定して（Ｓ２０８）、Ｓ２０１に示す処理に戻る。この場合、次にＳ２０２に示す処理が実行される際には、新たなリストＦＮｓにｎｉが追加されることとなる。
【0089】
Ｓ２０７に示す処理でリストＲＮｓに含まれるノード４２がないことが確認された場合は（Ｓ２０７：Ｎ）、Ｓ１０５に示す処理は終了となる。
【0090】
以上の処理により図３に示すスケルトンモデル４０については、Ｓ２０１～Ｓ２０８に示す処理の初回のループにおいて、前方到達ノード群を表すリストＦＮｓが５個生成される。１番目のＦＮｓには例えば、頭部ノード４２ａ、及び、首ノード４２ｊが含まれることとなる。２番目のＦＮｓには例えば、左手ノード４２ｂ、左前腕ノード４２ｍ、左上腕ノード４２ｌ、及び、左鎖骨ノード４２ｋが含まれることとなる。３番目のＦＮｓには例えば、右手ノード４２ｃ、右前腕ノード４２ｐ、右上腕ノード４２ｏ、及び、右鎖骨ノード４２ｎが含まれることとなる。４番目のＦＮｓには例えば、左足ノード４２ｄ、左ふくらはぎノード４２ｒ、及び、左大腿部ノード４２ｑが含まれることとなる。５番目のＦＮｓには例えば、右足ノード４２ｅ、右ふくらはぎノード４２ｕ、及び、右大腿部ノード４２ｔが含まれることとなる。
【0091】
そしてＳ２０１～Ｓ２０８に示す処理の初回のループにおけるサブルートノード群のリストＲＮｓには、ルートノードである骨盤ノード４２ｆ、及び、第３脊柱ノード４２ｉが含まれる。これらのノード４２は、スケルトンモデル４０における結節点のノード４２である。
【0092】
そしてＳ２０１～Ｓ２０８に示す処理の２回目のループでは前方到達ノード群のリストＦＮｓが１個生成される。当該リストＦＮｓには、骨盤ノード４２ｆ、第１脊柱ノード４２ｇ、第２脊柱ノード４２ｈ、及び、第３脊柱ノード４２ｉが含まれる。そしてＳ２０１～Ｓ２０８に示す処理の２回目のループではサブルートノード群のリストＲＮｓは空となる。
【0093】
Ｓ１０５に示す処理が終了すると、姿勢更新部５６が、図１１のＳ３０１～Ｓ３０９に示す処理を実行する（Ｓ１０６）。
【0094】
Ｓ１０６に示す処理では、Ｓ２０１～Ｓ２０８に示す処理の初回のループにおけるリストＲＮｓに含まれるすべてのノード４２（サブルートノード）のそれぞれを引数とする、Ｓ３０１～Ｓ３０９に示す処理が実行される。ここで上述のようにＲＮｓに含まれるノード４２の数が２である場合は、Ｓ３０１～Ｓ３０９に示す処理は２回実行されることとなる。なおＳ３０１～Ｓ３０９に示す処理は、Ｓ１０５に示す処理が実行されたノード４２に対して実行される。そのため例えば、左母指球ノード４２ｓ、及び、右母指球ノード４２ｖについてはスケルトンモデル４０に含まれないこととして、Ｓ３０１～Ｓ３０９に示す処理は実行される。
【0095】
まず、姿勢更新部５６が、引数であるサブルートノードを要素ｎに設定する（Ｓ３０１）。
【0096】
そして、姿勢更新部５６が、後方到達ノード群を表すリストＢＮｓにｎを追加する（Ｓ３０２）。
【0097】
そして、姿勢更新部５６が、ｎが子のノード４２の数が１であるノード４２であるか否かを確認する（Ｓ３０３）。
【0098】
ｎが子のノード４２の数が１であるノード４２である場合は（Ｓ３０３：Ｙ）、姿勢更新部５６が、ｎを、ｎの子のノード４２に更新して（Ｓ３０４）、Ｓ３０２に示す処理に戻る。
【0099】
ｎが子のノード４２の数が１であるノード４２でない場合は（Ｓ３０３：Ｎ）、姿勢更新部５６が、ＢＮｓに含まれるノード４２に対して、図５を参照して説明したＦＡＢＲＩＫの後方到達フェーズの処理を実行する（Ｓ３０５）。なおここでＢＮｓに含まれるノード４２の数が１である場合は、後方到達フェーズの処理は実行されない。
【0100】
そして、姿勢更新部５６が、ｎが子のノード４２の数が２以上であるノード４２であるか否かを確認する（Ｓ３０６）。
【0101】
ｎが子のノード４２の数が２以上であるノード４２である場合は（Ｓ３０６：Ｙ）、姿勢更新部５６が、ルートトランスフォームの処理を実行する（Ｓ３０７）。
【0102】
Ｓ３０７に示すルートトランスフォームの処理とは、例えば、スケルトンモデル４０に含まれる一部のノード４２の姿勢を更新する処理を指す。ｎが子のノード４２の数が２以上であるノード４２である場合は、ｎはスケルトンモデル４０に含まれる結節点のノード４２であることとなる。ここで例えば、当該結節点のノード４２を含む複数のノード４２の位置及び向きが、基本姿勢における相対的な位置及び向きと合致するよう更新されてもよい。
【0103】
ここで例えば第３脊柱ノード４２ｉを基準にして、第３脊柱ノード４２ｉ、左鎖骨ノード４２ｋ、及び、右鎖骨ノード４２ｎの姿勢が更新されるようにしてもよい。ここで例えば、左上腕ノード４２ｌの位置に基づいて、第３脊柱ノード４２ｉと第２脊柱ノード４２ｈとを接続するボーン４４ｃを軸とした、基本姿勢を基準とした左上腕ノード４２ｌの回転が特定されてもよい。また例えば、右上腕ノード４２ｏの位置に基づいて、ボーン４４ｃを軸とした、基本姿勢を基準とした右上腕ノード４２ｏの回転が特定されてもよい。そしてこのようにして特定される２つの回転に基づいて、クォータニオンの球面線形補間を実行することで、第３脊柱ノード４２ｉ、左鎖骨ノード４２ｋ、及び、右鎖骨ノード４２ｎの姿勢が更新されるようにしてもよい。また同様に、骨盤ノード４２ｆを基準にして、骨盤ノード４２ｆ、左大腿部ノード４２ｑ、及び、右大腿部ノード４２ｔの姿勢が更新されるようにしてもよい。
【0104】
そして、初期位置決定部５４が、スケルトンモデル４０に含まれるいくつかのノード４２についての初期位置を決定する（Ｓ３０８）。例えば、Ｓ３０７に示す処理で第３脊柱ノード４２ｉ、左鎖骨ノード４２ｋ、及び、右鎖骨ノード４２ｎの姿勢が更新されたとする。この場合、更新後のこれらのノード４２の姿勢、及び、スケルトンモデル４０の基本姿勢に基づいて、右上腕ノード４２ｏ、左上腕ノード４２ｌ、首ノード４２ｊ、及び、第２脊柱ノード４２ｈの初期位置が決定される。ここで例えば基本姿勢におけるサブルートノードである第３脊柱ノード４２ｉを基準とする位置や向きとなるよう、これらのノード４２の初期位置が決定されてもよい。また例えば、Ｓ３０７に示す処理で骨盤ノード４２ｆ、左大腿部ノード４２ｑ、及び、右大腿部ノード４２ｔの姿勢が更新されたとする。この場合、更新後のこれらのノード４２の姿勢、及び、スケルトンモデル４０の基本姿勢に基づいて、第１脊柱ノード４２ｇの初期位置が決定されてもよい。例えば基本姿勢におけるサブルートノードである骨盤ノード４２ｆを基準とする位置や向きとなるよう、第１脊柱ノード４２ｇの初期位置が決定されてもよい。
【0105】
そして、ｎの子のノード４２である要素ｎｃｉのすべてについて、ｎｃｉを次のサブルートノードとした、Ｓ３０１以降の処理が再帰的に繰り返し実行される（Ｓ３０９）。
【0106】
Ｓ３０６に示す処理でｎが子のノード４２の数が２以上であるノード４２でないことが確認された場合は（Ｓ３０６：Ｎ）、当該サブルートノードにおけるＳ３０９に示す処理が終了される。すなわちｎが、Ｓ３０１～Ｓ３０９に示す処理が実行されるスケルトンモデル４０における末端のノード４２である場合は、当該サブルートノードにおけるＳ３０９に示す処理が終了される。
【0107】
そして、Ｓ３０９に示す処理が実行される要素ｎｃｉがなくなった際に、Ｓ１０６に示す処理は終了される。
【0108】
Ｓ１０６に示す処理では例えば、骨盤ノード４２ｆ、左大腿部ノード４２ｑ、左ふくらはぎノード４２ｒ、及び、左足ノード４２ｄに対して後方到達フェーズの処理が実行される。
【0109】
また、骨盤ノード４２ｆ、右大腿部ノード４２ｔ、右ふくらはぎノード４２ｕ、及び、右足ノード４２ｅに対して後方到達フェーズの処理が実行される。
【0110】
また、骨盤ノード４２ｆ、第１脊柱ノード４２ｇ、第２脊柱ノード４２ｈ、及び、第３脊柱ノード４２ｉに対して後方到達フェーズの処理が実行される。
【0111】
また、第３脊柱ノード４２ｉ、首ノード４２ｊ、及び、頭部ノード４２ａに対して後方到達フェーズの処理が実行される。
【0112】
また、第３脊柱ノード４２ｉ、左鎖骨ノード４２ｋ、左上腕ノード４２ｌ、左前腕ノード４２ｍ、及び、左手ノード４２ｂに対して後方到達フェーズの処理が実行される。
【0113】
また、第３脊柱ノード４２ｉ、右鎖骨ノード４２ｎ、右上腕ノード４２ｏ、右前腕ノード４２ｐ、及び、右手ノード４２ｃに対して後方到達フェーズの処理が実行される。
【0114】
Ｓ１０６に示す処理が終了すると、姿勢更新部５６が、ターゲットノードにおける位置の誤差が所定の閾値以下であるか否かを確認する（Ｓ１０７）。ここでは例えば、ノード４２の位置と、トラッカー１２の計測結果に基づいて特定される当該ノード４２が移動すべき位置と、の間の長さの合計が所定の閾値以下であるか否かが確認される。
【0115】
ターゲットノードにおける位置の誤差が所定の閾値以下でない場合は（Ｓ１０７：Ｎ）、姿勢更新部５６が、Ｓ１０５に示す処理と同様の処理を実行する（Ｓ１０８）。そして、姿勢更新部５６が、Ｓ１０６に示す処理と同様の処理を実行する（Ｓ１０９）。そして、Ｓ１０７に示す処理に戻る。Ｓ１０８及びＳ１０９に示す処理では、上述のリストが再利用されるようにしてもよい。
【0116】
Ｓ１０７に示す処理において、ターゲットノードにおける位置の誤差が所定の閾値以下であることが確認された場合は（Ｓ１０７：Ｙ）、姿勢更新部５６は、姿勢が未決定であるノード４２の姿勢を更新する（Ｓ１１０）。なお、Ｓ１０８に示す処理、及び、Ｓ１０９に示す処理が、所定回数実行された場合に、ターゲットノードにおける位置の誤差が所定の閾値以下でなくてもＳ１１０に示す処理が実行されるようにしてもよい。
【0117】
Ｓ１１０に示す処理では例えば、左母指球ノード４２ｓ、及び、右母指球ノード４２ｖの姿勢が更新される。この場合、左母指球ノード４２ｓの姿勢は、左足ノード４２ｄの姿勢を基準とした相対的な姿勢が基本姿勢における当該相対的な姿勢となるよう更新されてもよい。また右母指球ノード４２ｖの姿勢は、右足ノード４２ｅの姿勢を基準とした相対的な姿勢が基本姿勢における当該相対的な姿勢となるよう更新されてもよい。
【0118】
そして、姿勢更新部５６が、ボーン４４の向き、及び、ノード４２の回転を更新して（Ｓ１１１）、Ｓ１０１に示す処理に戻る。そして新たに取得される最新の特定タイミングにおけるトラッカー１２の位置及び向きを示す姿勢データに基づく、Ｓ１０１～Ｓ１１１に示す処理が実行される。このようにしてＳ１０１～Ｓ１１１に示す処理は繰り返し実行されることとなる。
【0119】
ここでは例えば、ボーン４４の向きは、当該ボーン４４の両端のノード４２の位置に基づいて一意に特定可能である。ところが、ボーン４４を軸とした回転については、ボーン４４の両端のノード４２の位置からはわからない。
【0120】
そこでＳ１１１に示す処理では例えば、姿勢更新部５６が、姿勢データが示すトラッカー１２ｂやトラッカー１２ｃの回転を、腕に対する手首の曲がりの成分、基本姿勢に対する腕の回転の成分、及び、腕の方向を軸とした回転の成分に分離する。図１２には、右手ノード４２ｃにおけるボーン４４ｍに沿った方向を軸とした回転の成分がＱｒｏｌｌ１として示されている。
【0121】
そして姿勢更新部５６が、腕の方向を軸とした回転に基づいて、上腕や前腕の回転を決定する。ここでは例えば、右手ノード４２ｃについてのボーン４４ｍを軸とした回転の成分が、右前腕ノード４２ｐの腕の方向を軸とした回転Ｑｒｏｌｌ２、及び、右上腕ノード４２ｏの腕の方向を軸とした回転Ｑｒｏｌｌ３として決定される。同様に、左手ノード４２ｂについてのボーン４４ｉを軸とした回転の成分が、左前腕ノード４２ｍ、及び、左上腕ノード４２ｌの腕の方向を軸とした回転として決定される。
【0122】
ここで例えば、Ｑｒｏｌｌ１とＱｒｏｌｌ２との差や、Ｑｒｏｌｌ２とＱｒｏｌｌ３の差に、例えば６０度などの上限が予め設定されていてもよい。またＱｒｏｌｌ２の値として、Ｑｒｏｌｌ１の値に１以下の所定の係数を乗じた値が設定されてもよい。またＱｒｏｌｌ３の値として、Ｑｒｏｌｌ２の値に１以下の所定の係数を乗じた値が設定されてもよい。
【0123】
以上のように、本実施形態では例えば、Ｓ１０１に示す処理において姿勢データ取得部５２が、木構造のスケルトンモデル４０に含まれるターゲットノードの姿勢を示す姿勢データを取得する。そしてＳ１０４に示す処理において、初期位置決定部５４が、姿勢データに基づいてターゲットノードが移動すべき位置を決定する。そしてＳ１０４に示す処理において、初期位置決定部５４が、ＦＡＢＲＩＫ計算における当該ターゲットノードの親のノード４２の初期位置を、当該ターゲットノードが移動すべき位置と、スケルトンモデル４０の所与の姿勢に基づいて決定する。またＳ３０８に示す処理において、初期位置決定部５４が、いくつかのノード４２の初期位置を、ターゲットノードが移動すべき位置と、スケルトンモデル４０の所与の姿勢に基づいて決定する。
【0124】
上述の例では例えば、向きＡ２に沿った向きＡ２とは逆の向きに、右手ノード４２ｃが移動すべき位置Ｔ２から長さｄ１だけ離れた位置が、右前腕ノード４２ｐの初期位置についての所与の姿勢に相当する。また例えば、向きＡ３を基準の向きとした際の左右方向を軸として所定の角度（例えば９０度）回転させた方向に、位置Ｔ３から長さｄ４だけ離れた位置が、右ふくらはぎノード４２ｕの初期位置についての所与の姿勢に相当する。
【0125】
また基本姿勢におけるルートノードを基準とする所与の位置や向きが、右上腕ノード４２ｏ、左上腕ノード４２ｌ、首ノード４２ｊ、第２脊柱ノード４２ｈ、及び、第１脊柱ノード４２ｇの初期位置についての所与の姿勢に相当する。
【0126】
また、Ｓ１０５～Ｓ１１１に示す処理において、姿勢更新部５６が、ターゲットノードが移動すべき位置と当該ターゲットノードの親のノード４２の初期位置とに基づいて、当該親のノード４２の新たな位置の決定を含むＦＡＢＲＩＫ計算を実行する。その結果、スケルトンモデル４０の姿勢が更新される。
【0127】
このようにして本実施形態によれば、ＦＡＢＲＩＫ計算を用いた姿勢の決定においても、関節が自然な方向に曲がらず、人体ではありえないような妥当性を欠く姿勢が決定されるおそれが下がる。その結果、スケルトンモデル４０の姿勢の決定結果の妥当性を向上できることとなる。
【0128】
また本実施形態では例えば、Ｓ１０１に示す処理において、姿勢データ取得部５２が、木構造のスケルトンモデル４０に含まれるターゲットノードの姿勢を示す姿勢データを取得する。そしてＳ１０２～Ｓ１０９に示す処理において、姿勢更新部５６が、当該ターゲットノードの親のノード４２の新たな位置の決定を含むＦＡＢＲＩＫ計算を実行することで、スケルトンモデル４０の姿勢を更新する。そしてＳ１１１に示す処理において、姿勢更新部５６が、姿勢データに基づいて、ターゲットノードと当該ターゲットノードの親のノード４２とを接続するボーン４４を軸とした当該ターゲットノードの回転を特定する。そしてＳ１１１に示す処理において、姿勢更新部５６が、ターゲットノードの回転に基づいて、当該ターゲットノードの親のノード４２の回転を決定する。
【0129】
このようにして本実施形態によれば、トラッカー１２による計測結果に基づく腕方向を軸とした回転の決定が行えることとなる。その結果、スケルトンモデル４０の姿勢の決定結果の妥当性を向上できることとなる。
【0130】
また本実施形態では例えば、Ｓ１０１に示す処理において、姿勢データ取得部５２が、木構造のスケルトンモデル４０に含まれる第１のターゲットノードの姿勢、及び、第２のターゲットノードを含む複数のノード４２の姿勢を示す姿勢データを取得する。
【0131】
そしてＳ２０７に示す処理において、姿勢更新部５６が、姿勢データに基づいて、第１のターゲットノードを含む互いに接続された第１のノード群に対して、ＦＡＢＲＩＫ計算における前方到達フェーズの処理により当該第１のノード群の姿勢を更新する。また同じくＳ２０７に示す処理において、姿勢更新部５６が、第２のターゲットノードを含む互いに接続された第２のノード群に対して、ＦＡＢＲＩＫ計算における前方到達フェーズの処理により当該第２のノード群の姿勢を更新する。
【0132】
そしてＳ３０７に示す処理において、姿勢更新部５６が、第１のノード群及び第２のノード群の更新の後に、複数のノード４２の姿勢を更新する。ここでは例えば、当該複数のノード４２には、第１のノード群に含まれる、スケルトンモデル４０に含まれる結節点に最も近いノード４２と、第２のノード群に含まれる、スケルトンモデル４０に含まれる結節点に最も近いノード４２と、が含まれる。
【0133】
またＳ３０４に示す処理において、姿勢更新部５６が、ＦＡＢＲＩＫ計算における後方到達フェーズの処理によりスケルトンモデル４０の姿勢を更新する。
【0134】
本実施形態ではこのようにして、例えば胸から肩までのような、全体としての姿勢が大きくゆがむべきではない、木構造のスケルトンモデル４０の結節点の近傍の複数のノード４２の全体としての姿勢が大きくゆがむことを防ぐことができる。その結果、スケルトンモデル４０の姿勢の決定結果の妥当性を向上できることとなる。
【0135】
また、本実施形態のＳ１０２に示す処理において、姿勢更新部４６が、Ｓ１０１に示す処理で取得される姿勢データに基づいて、軸足を推定してもよい。
【0136】
以下の説明では、姿勢データが示す位置について、水平面上の座標値をＸＹ座標値と呼び、高さ方向の座標値をＺ座標値と呼ぶこととする。なお、Ｚ座標値は位置が上にあるほど大きな値であることとする。
【0137】
例えば、姿勢更新部４６が、Ｓ１０１に示す処理で取得された姿勢データが示す、左足に相当するトラッカー１２ｄのＺ座標値と、右足に相当するトラッカー１２ｅのＺ座標値と、を比較してもよい。
【0138】
そして、姿勢更新部４６が、Ｚ座標値の差が所定値よりも大きい場合に、下の方にある足、すなわち、Ｚ座標値が小さな方に対応する足を軸足と推定してもよい。例えば、Ｚ座標値の差が所定値よりも大きく、トラッカー１２ｄのＺ座標値の方がトラッカー１２ｅのＺ座標値よりも小さい場合は、左足が軸足と推定されてもよい。逆に、Ｚ座標値の差が所定値よりも大きく、トラッカー１２ｅのＺ座標値の方がトラッカー１２ｄのＺ座標値よりも小さい場合は、右足が軸足と推定されてもよい。
【0139】
そして姿勢更新部４６は、軸足の位置に基づいて、ＦＡＢＲＩＫ計算における骨盤ノード４２ｆ（腰部のノード）の初期位置を決定してもよい。
【0140】
例えば姿勢更新部４６は、軸足のＸＹ座標値と同じＸＹ座標値を、Ｓ１０２に示す処理における骨盤ノード４２ｆのＦＡＢＲＩＫ計算の初期位置におけるＸＹ座標値と決定してもよい。
【0141】
また例えば、Ｚ座標値の差が所定値より小さい場合などには、姿勢更新部４６は、いずれの足も軸足と推定しなくてもよい。この場合、姿勢更新部４６は、例えば、トラッカー１２ｄの位置とトラッカー１２ｅの位置を通る楕円上の位置のうち、Ｓ１０１に示す処理で取得された姿勢データが示すトラッカー１２ａの位置を通る鉛直線に最も近い位置のＸＹ座標値を特定してもよい。そして特定されるＸＹ座標値が、Ｓ１０２に示す処理における骨盤ノード４２ｆのＦＡＢＲＩＫ計算の初期位置におけるＸＹ座標値と決定されてもよい。ここで当該楕円は、長軸方向の長さがトラッカー１２ｄの位置とトラッカー１２ｅの位置との間の長さであり、短軸方向の長さが所定の長さである楕円であってもよい。
【0142】
また、軸足のＸＹ座標値と同じＸＹ座標値と、トラッカー１２ｄの位置とトラッカー１２ｅの位置を通る楕円上の上述の位置のＸＹ座標値と、を線形補間したＸＹ座標値が、骨盤ノード４２ｆの初期位置におけるＸＹ座標値と決定されてもよい。
【0143】
線形補間における重みは、例えば、トラッカー１２ｄのＺ座標値と、トラッカー１２ｅのＺ座標値と、の差に基づいて決定されてもよい。例えば、当該Ｚ座標値の差が小さいほど、上述の楕円上の位置のＸＹ座標値に近いＸＹ座標値が、骨盤ノード４２ｆの初期位置におけるＸＹ座標値と決定されてもよい。そして、当該Ｚ座標値の差が大きいほど、軸足のＸＹ座標値と同じＸＹ座標値に近いＸＹ座標値が、骨盤ノード４２ｆの初期位置におけるＸＹ座標値と決定されてもよい。
【0144】
また、姿勢更新部４６は、以上のようにして決定される骨盤ノード４２ｆの初期位置におけるＸＹ座標値を、Ｓ１０１に示す処理で取得された姿勢データが示すトラッカー１２ａの位置に基づいて補正してもよい。例えば、軸足あるいは両足の中心の位置からトラッカー１２ａの位置に向かう向きとは逆の向きに、骨盤ノード４２ｆの初期位置が水平面に沿って移動するよう、骨盤ノード４２ｆの初期位置におけるＸＹ座標値が補正されてもよい。例えば、軸足あるいは両足の中心の位置よりもトラッカー１２ａの位置が前にある場合は、骨盤ノード４２ｆの初期位置が後ろに移動するよう、骨盤ノード４２ｆの初期位置におけるＸＹ座標値が補正されてもよい。また、軸足あるいは両足の中心の位置よりもトラッカー１２ａの位置が後ろにある場合は、骨盤ノード４２ｆの初期位置が前に移動するよう、骨盤ノード４２ｆの初期位置におけるＸＹ座標値が補正されてもよい。
【0145】
そして、トラッカー１２ａの位置及び向きに基づいて、ボーン４４ｅ、ボーン４４ｄ、ボーン４４ｃ、ボーン４４ｂ、ボーン４４ａの初期位置、及び、骨盤ノード４２ｆのＦＡＢＲＩＫ計算の初期位置におけるＺ座標値が決定されてもよい。
【0146】
また、本実施形態において、姿勢更新部４６が、以下のようにして、学習済の機械学習モデルを用いてユーザが着座姿勢にあるか立ち姿勢にあるかを推定してもよい。そして、ユーザが立ち姿勢であると推定される場合に、上述のようにして軸足の推定処理、及び、軸足の推定結果に基づくＦＡＢＲＩＫ計算における骨盤ノード４２ｆ（腰部のノード）の初期位置の決定が行われるようにしてもよい。
【0147】
図１３は、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定に用いられる機械学習モデルの学習の一例を示す図である。図１３に示すように、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定に用いられる機械学習モデルには、入力層６０と、中間ブロック６２と、第１中間層６４と、第２中間層６６と、出力層６８と、が含まれている。
【0148】
本実施形態では例えば、図１３に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、腰部（骨盤ノード４２ｆ）の回転によりオフセットされた（腰部の向きを基準とした）、頭部の向き、右足の位置を基準とした頭の位置、左足の位置を基準とした頭の位置を示す部位データを複数含む学習データが取得される。
【0149】
ここで例えば、例えば、頭部、右足、左足、腰部のそれぞれにトラッカー１２を装着したユーザが着座姿勢で様々な動きをした際の、これらのトラッカー１２から出力されるセンシングデータに基づいて、着座姿勢に対応する一連の部位データが生成されてもよい。また例えば、着座姿勢で様々な動きをするユーザを外部のカメラから撮影した動画像に基づいて、着座姿勢に対応する一連の部位データが生成されてもよい。また、このような動画像を見ているオペレータによる操作に基づいて、着座姿勢に対応する一連の部位データが生成されてもよい。
【0150】
そして例えば、上述の着座姿勢に対応する一連の部位データと、値に１が設定された教師データと、を含む学習データが生成されてもよい。
【0151】
また例えば、頭部、右足、左足、腰部のそれぞれにトラッカー１２を装着したユーザが立ち姿勢で様々な動きをした際の、これらのトラッカー１２から出力されるセンシングデータに基づいて、立ち姿勢に対応する一連の部位データが生成されてもよい。また例えば、立ち姿勢で様々な動きをするユーザを外部のカメラから撮影した、ｔ個のフレームを含む動画像に基づいて、立ち姿勢に対応する一連の部位データが生成されてもよい。また、このような動画像を見ているオペレータによる操作に基づいて、立ち姿勢に対応する一連の部位データが生成されてもよい。
【0152】
そして例えば、上述の立ち姿勢に対応する一連の部位データと、値に０が設定された教師データと、を含む学習データが生成されてもよい。
【0153】
そして、入力層６０に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、腰部の回転によりオフセットされた、頭部の向きを示す頭部向きデータＤ１、腰部の回転によりオフセットされた、右足の位置を基準とした頭部の位置を示す右足基準頭部位置データＤ２、及び、腰部の回転によりオフセットされた、左足の位置を基準とした頭部の位置を示す左足基準頭部位置データＤ３が含まれていることとする。
【0154】
ここでは例えば、対応付けられるタイミングがｓ番目に古い頭部向きデータがＤ１（ｓ）と表現されている。また、対応付けられるタイミングがｓ番目に古い右足基準頭部位置データがＤ２（ｓ）と表現されている。また、対応付けられるタイミングがｓ番目に古い左足基準頭部位置データがＤ３（ｓ）と表現されている。ここで値ｓは、１以上ｔ以下の整数である。
【0155】
また本実施形態では図１３に示すように、頭部向きデータＤ１（ｓ）には、それぞれ、ｘ、ｙ、ｚといった、３個の要素が含まれている。当該３個の要素は、それぞれ、胸部の回転によりオフセットされた、頭部の向きを表すベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。ここで胸部の回転によりオフセットされた、頭部の向きを表すベクトルは、例えば、胸部の回転によりオフセットされた、頭部（頭部ノード４２ａ）の向き（例えば頭部における視線方向）を表す単位ベクトルであってもよい。なお、胸部の回転によりオフセットされた、頭部の向きを表すベクトルが、首（首ノード４２ｊ）の位置を基準とした頭部（頭部ノード４２ａ）の位置を表すベクトルであってもよい。この場合、学習データに含まれる部位データは、頭部、右足、左足、腰部、首のそれぞれにトラッカー１２を装着したユーザが様々な動きをした際の、これらのトラッカー１２から出力されるセンシングデータに基づいて、生成されてもよい。
【0156】
また本実施形態では図１３に示すように、右足基準頭部位置データＤ２（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部の回転によりオフセットされた、右足の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
【0157】
また本実施形態では図１３に示すように、左足基準頭部位置データＤ３（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部の回転によりオフセットされた、左足の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
【0158】
本実施形態では、入力層６０に、９個（３×３）の要素を含む部位データが入力されることとなる。
【0159】
そして入力層６０に入力された部位データが直前の入力に応じた中間ブロック６２の出力と結合された入力データが、中間ブロック６２に入力される。中間ブロック６２は、本実施形態では例えば、ＬＳＴＭ（Long short-term memory）が実装されたＲＮＮ（Recurrent Neural Network）（ＬＳＴＭブロック）である。
【0160】
ここで中間ブロック６２の出力は、部位データが位置、姿勢、又は動きを示す体の部位についての位置、姿勢、又は動きの時系列推移の特徴を示すデータである。以下、中間ブロック６２が出力するデータを特徴データと呼ぶこととする。例えばＬＳＴＭの状態変数が当該特徴データに相当する。
【0161】
ここで例えば、中間ブロック６２に、あるタイミングに対応付けられる部位データと、当該タイミングよりも前における上述の時系列推移の特徴を示す特徴データと、を含む入力データが入力されるとする。この場合、中間ブロック６２は、当該タイミングまでの上述の時系列推移の特徴を示す特徴データを出力する。例えば中間ブロック６２に、ｓ番目の部位データと、（ｓ－１）番目の部位データに対応するタイミングまでの上述の時系列推移の特徴を示す特徴データと、を含む入力データが入力されるとする。この場合、中間ブロック６２は、ｓ番目の部位データに対応するタイミングまでの上述の時系列推移の特徴を示す特徴データを出力する。以下、ｓ番目の部位データに対応するタイミングまでの上述の時系列推移の特徴を示す特徴データをｓ番目の特徴データと呼ぶこととする。
【0162】
そして最後の部位データ（ｔ番目の部位データ）を含む入力データの入力に対する中間ブロック６２の出力であるｔ番目の特徴データが、第１中間層６４に入力される。そして第１中間層６４からの出力が第２中間層６６に入力される。第１中間層６４及び第２中間層６６は、例えば正規化線形関数（ＲｅＬＵ）を活性化関数とする全結合層である。
【0163】
そして第２中間層６６からの出力が出力層６８に入力される。出力層６８は、例えば線形関数を活性化関数とする層である。そして出力層６８からは、最新のタイミング（ｔ番目のタイミング）における、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定結果に相当する着座確率データＤ４（ｔ）が出力７０として出力される。着座確率データは、例えば０以上１以下の実数で表現されるデータである。着座確率データの値が大きいほど、ユーザが着座姿勢にある可能性が高く、着座確率データの値が小さいほど、ユーザが着座姿勢にある可能性が低い。
【0164】
そして本実施形態では例えば、推定結果を示す着座確率データＤ４（ｔ）に基づいて、中間ブロック６２、第１中間層６４、第２中間層６６、出力層６８の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す着座確率データＤ４（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック６２、第１中間層６４、第２中間層６６、及び、出力層６８のパラメータの値が更新される教師あり学習が実行されてもよい。
【0165】
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、当該ｔ個の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば着座姿勢に対応する互いに異なる複数の学習データ、及び、立ち姿勢に対応する互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定が実行される。
【0166】
図１４は、学習済の機械学習モデルを用いた、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定の一例を示す図である。
【0167】
上述のように本実施形態では例えば、所定のサンプリングレートでトラッカー１２ａ～１２ｅのそれぞれについて、当該トラッカー１２の位置及び向きの特定が行われる。そしてトラッカー１２の位置及び向きの特定に応じて、当該トラッカー１２の位置及び向きを示すデータが、エンタテインメント装置１４に送信される。
【0168】
そしてこのようにして送信されるトラッカー１２の位置及び向きを示すデータに基づいて、上述の部位データが生成されることとする。このようにして本実施形態では例えば、部位データが繰り返し生成されることとなる。
【0169】
ここでは上述のように、部位データには、腰部の回転によりオフセットされた、頭部の向きを示す頭部向きデータＤ１、腰部の回転によりオフセットされた、右足の位置を基準とした頭部の位置を示す右足基準頭部位置データＤ２、及び、腰部の回転によりオフセットされた、左足の位置を基準とした頭部の位置を示す左足基準頭部位置データＤ３が含まれていることとする。なお、頭部向きデータＤ１が、首（首ノード４２ｊ）の位置を基準とした頭部（頭部ノード４２ａ）の位置を表すベクトルである場合は、首ノード４２ｊ及び頭部ノード４２ａの最新の位置に基づいて、頭部向きデータＤ１が生成されてもよい。
【0170】
そして本実施形態では例えば、入力層６０に、最新の部位データ（最後に生成された部位データ）が入力される。図１４には、最新の部位データに含まれる頭部向きデータがＤ１（ｕ）と表現されている。また、最新の部位データに含まれる右足基準頭部位置データがＤ２（ｕ）と表現されている。また、最新の部位データに含まれる左足基準頭部位置データがＤ３（ｕ）と表現されている。
【0171】
上述のように、頭部向きデータＤ１（ｕ）には、ｘ、ｙ、ｚといった、３個の要素が含まれている。また、右足基準頭部位置データＤ２（ｕ）には、ｘ、ｙ、ｚといった３個の要素が含まれている。また、左足基準頭部位置データＤ３（ｕ）には、ｘ、ｙ、ｚといった３個の要素が含まれている。
【0172】
そして入力層６０に入力された９個（３×３）の要素を含む部位データが直前の入力に応じた中間ブロック６２の出力である特徴データと結合された入力データが、中間ブロック６２に入力される。
【0173】
そして中間ブロック６２の出力である特徴データが、第１中間層６４に入力される。そして第１中間層６４からの出力が第２中間層６６に入力される。
【0174】
そして第２中間層６６からの出力が出力層６８に入力される。そして出力層６８からは、当該タイミングにおける、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定結果に相当する着座確率データＤ４（ｕ）が出力７０として出力される。
【0175】
ここで例えば、着座確率データＤ４（ｕ）の値が０．５以上である場合に、ユーザが着座姿勢であると推定し、そうでない場合に、ユーザが立ち姿勢であると推定されてもよい。
【0176】
そして、ユーザが立ち姿勢であると推定された場合に、上述のようにして軸足の推定処理、及び、軸足の推定結果に基づく骨盤ノード４２ｆの初期位置の決定が行われるようにしてもよい。
【0177】
なお、機械学習モデルを用いて、ユーザが着座姿勢であるか立ち姿勢であるかが推定される必要はない。例えば、作成された所与のロジックを用いてユーザが着座姿勢であるか立ち姿勢であるかが推定されてもよい。
【0178】
また、右足基準頭部位置データＤ２の値、及び、左足基準頭部位置データＤ３の値として、身体サイズを基準とした相対値、すなわち、足の位置を基準とした頭の位置の座標値を身体サイズで割った値が用いられてもよい。
【0179】
ここで身体サイズは、ユーザにより予め入力されたものであってもよいし、例えば、以下のようにして、ユーザが着座姿勢であるか立ち姿勢であるかの推定が行われる度に、トラッカー１２の位置に基づいて逐次推定されるものであってもよい。
【0180】
ここで、本実施形態に係るエンタテインメント装置１４で行われる身体サイズ推定処理の流れの一例を、図１５に例示するフロー図、及び、図１６に示す模式図を参照しながら説明する。図１６は、ユーザがゲームをプレイしている様子の一例を示す模式図である。本処理例では、以下のＳ４０１～Ｓ４１３に示す処理が所定のサンプリングレートで繰り返し実行される。本処理例に示す処理は、例えば、上述の軸足の推定処理が実行される直前に実行されるようにしてもよい。また以下の説明では、ユーザの前後方向がＸ軸方向であり、左右方向がＹ軸方向であり、高さ方向がＺ軸方向であることとする。
【0181】
また、以下の説明では、図１６に示すように、Ｓ１０１に示す処理で取得された姿勢データが示すトラッカー１２ａ、トラッカー１２ｂ、トラッカー１２ｃ、トラッカー１２ｄ、トラッカー１２ｅの位置をそれぞれＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５と表現する。
【0182】
また、以下の説明では、スケルトンモデルデータ記憶部５０に、ユーザの身体サイズを示す身体サイズデータが記憶されていることとする。ここで例えば身体サイズデータの初期値として所定値が設定されるようにしてもよい。あるいは、身体サイズデータの初期値としてユーザの年齢に応じた値が設定されるようにしてもよい。後述のように身体サイズデータが示す身体サイズは次第に大きくなるよう当該身体サイズデータは更新されていくので、身体サイズデータの初期値としては、ユーザの一般的な身体サイズを示す値よりも少し小さな値が設定されるようにすることが望ましい。
【0183】
なお、スケルトンモデルデータ記憶部５０は、ユーザの身長を示す身長データを記憶してもよい。また、スケルトンモデルデータ記憶部５０は、ユーザの腕の長さを示す腕長さデータを記憶してもよい。また、スケルトンモデルデータ記憶部５０は、ユーザの左右方向の身体サイズを示す左右身体サイズデータを記憶してもよい。
【0184】
まず、姿勢更新部５６は、位置Ｔ１のＺ座標値ｈ１に所定のオフセット値ｌｏを加えた値を頭頂部のＺ座標値ｈｔとして算出する（Ｓ４０１）。
【0185】
そして姿勢更新部５６は、位置Ｔ４のＺ座標値と位置Ｔ５のＺ座標値との差が所定の閾値ｔ１以下であるか否かを確認する（Ｓ４０２）。
【0186】
位置Ｔ４のＺ座標値と位置Ｔ５のＺ座標値との差が閾値ｔ１以下であることが確認された場合は（Ｓ４０２：Ｙ）、姿勢更新部５６は、位置Ｔ４のＺ座標値と位置Ｔ５のＺ座標値の平均値であるＺ座標値ｈ４を算出する（Ｓ４０３）。
【0187】
そして姿勢更新部５６は、Ｓ４０１に示す処理で算出された頭頂部のＺ座標値ｈｔとＳ４０３に示す処理で算出されたＺ座標値ｈ４との差を、身長の推定値ｌｔとして算出する（Ｓ４０４）。
【0188】
そして姿勢更新部５６は、Ｓ４０４に示す処理で算出された身体サイズの推定値ｌｔが、スケルトンモデルデータ記憶部５０に記憶されている身長データが示す身長の値よりも大きいか否かを確認する（Ｓ４０５）。
【0189】
値ｌｔがスケルトンモデルデータ記憶部５０に記憶されている身長データが示す身長の値よりも大きいことが確認されたとする（Ｓ４０５：Ｙ）。この場合は、姿勢更新部５６は、Ｓ４０４に示す処理で算出された身体サイズの推定値ｌｔを示すようスケルトンモデルデータ記憶部５０に記憶されている身長データを更新する（Ｓ４０６）。
【0190】
そして姿勢更新部５６は、ユーザの肩の位置を推定する（Ｓ４０７）。ここでは例えば、位置Ｔ１を示す値に所定のオフセット値ｐｓｒｏを加えることで右肩の位置ｐｓｒを示す値が推定されるようにしてもよい。また例えば、位置Ｔ１を示す値に別の所定のオフセット値ｐｓｌｏを加えることで左肩の位置ｐｓｌを示す値が推定されるようにしてもよい。なお、Ｓ４０３に示す処理で位置Ｔ４のＺ座標値と位置Ｔ５のＺ座標値との差が閾値ｔ１以下でないことが確認された場合も（Ｓ４０２：Ｎ）、Ｓ４０７に示す処理が実行される。この場合は、位置Ｔ４を示す値や位置Ｔ５を示す値がエラーに基づく異常値である可能性が高いため、Ｓ４０３～Ｓ４０６に示す処理がスキップされる。また、Ｓ４０５に示す処理で値ｌｔがスケルトンモデルデータ記憶部５０に記憶されている身長データが示す身長の値よりも大きくないことが確認された場合も（Ｓ４０５：Ｎ）、Ｓ４０７に示す処理が実行される。
【0191】
そして姿勢更新部５６は、Ｓ４０７に示す処理で推定された右肩の位置ｐｓｒと左肩の位置ｐｓｌとの間の長さを肩幅ｌｓとして算出する（Ｓ４０８）。
【0192】
そして姿勢更新部５６は、位置Ｔ２と位置ｐｓｌとの間の長さと、位置Ｔ３と位置ｐｓｒとの間の長さと、の差が所定の閾値ｔ２以下であるか否かを確認する（Ｓ４０９）。
【0193】
位置Ｔ２と位置ｐｓｌとの間の長さｌａ１と、位置Ｔ３と位置ｐｓｒとの間の長さｌａ２と、の差が所定の閾値ｔ２以下であることが確認されたとする（Ｓ４０９：Ｙ）。この場合は、姿勢更新部５６が、位置Ｔ２と位置ｐｓｒとの間の長さｌａ１を示す値と位置Ｔ３と位置ｐｓｌとの間の長さｌａ２を示す値との平均値を腕の長さの推定値ｌａとして算出する（Ｓ４１０）。
【0194】
そして姿勢更新部５６が、Ｓ４１０に示す処理で算出された推定値ｌａが、スケルトンモデルデータ記憶部５０に記憶されている腕長さデータが示す腕の長さの値よりも大きいか否かを確認する（Ｓ４１１）。
【0195】
値ｌａがスケルトンモデルデータ記憶部５０に記憶されている腕長さデータの値よりも大きいことが確認されたとする（Ｓ４１１：Ｙ）。この場合は、姿勢更新部５６は、Ｓ４１０に示す処理で算出された腕の長さの推定値ｌａを示すようスケルトンモデルデータ記憶部５０に記憶されている腕長さデータを更新する（Ｓ４１２）。
【0196】
そして姿勢更新部５６が、腕長さデータの値の２倍と上述の肩幅ｌｓの値との和を示すようスケルトンモデルデータ記憶部５０に記憶されている左右身体サイズデータを更新する（Ｓ４１３）。そして、Ｓ４０１に示す処理に戻る。
【0197】
なお、Ｓ４０９に示す処理で、位置Ｔ２と位置ｐｓｌとの間の長さと、位置Ｔ３と位置ｐｓｒとの間の長さと、の差が所定の閾値ｔ２以下でないことが確認された場合も（Ｓ４０９：Ｎ）、Ｓ４０１に示す処理に戻る。この場合は、位置Ｔ２を示す値や位置Ｔ３を示す値がエラーに基づく異常値である可能性が高いため、Ｓ４１０～Ｓ４１３に示す処理がスキップされる。また、Ｓ４１１に示す処理で値ｌａが、スケルトンモデルデータ記憶部５０に記憶されている腕長さデータが示す腕の長さの値よりも大きくないことが確認された場合も（Ｓ４１１：Ｎ）、Ｓ４０１に示す処理に戻る。
【0198】
例えば、右足基準頭部位置データＤ２の値、及び、左足基準頭部位置データＤ３の値として、足の位置を基準とした頭の位置の座標値を、スケルトンモデルデータ記憶部５０に記憶されている、身長サイズデータの値、腕長さデータの値、又は、左右身体サイズデータの値のいずれかで割った値が用いられてもよい。
【0199】
また、図１３に示す機械学習モデルの学習においても、上述のＳ４０１～Ｓ４１３に示す処理が実行されるようにしてもよい。そして、右足基準頭部位置データＤ２の値、及び、左足基準頭部位置データＤ３の値として、足の位置を基準とした頭の位置の座標値を、上述の身長サイズデータの値、腕長さデータの値、又は、左右身体サイズデータの値のいずれかで割った値が用いられてもよい。
【0200】
なお、以上の説明において、基本姿勢のスケルトンモデル４０として、Ａポーズのスケルトンモデル４０の代わりに、足を開き腕を横方向に伸ばした、いわゆるＴポーズのスケルトンモデル４０が用いられてもよい。
【0201】
本実施形態において、例えば、犬、龍、たこ、などの、人間ではないスケルトンモデル４０を用いたボディトラッキングを行いたい場面がある。
【0202】
図１７には、人間ではないスケルトンモデル４０の一例として、四つ足の犬のスケルトンモデル４０が示されている。
【0203】
図１７に示すように、スケルトンモデル４０のなかには、デフォルトの姿勢がＴポーズやＡポーズなどといった既知の基本姿勢ではないものがある。このようなスケルトンモデル４０を用いて本実施形態に係るボディトラッキングを行う場合は、上述のように、その姿勢を既知の基本姿勢に変形したものを用意する必要がある。
【0204】
【0205】
ここで、図１７に示すスケルトンモデル４０の図１８に示すような基本姿勢への変形を手作業で行うことは、作業者の手間である。そこで本実施形態では以下のようにして、スケルトンモデル４０を既知の基本姿勢に変形する手間を低減できるようにした。
【0206】
以下、Ｔポーズのスケルトンモデル４０への変形に関する、本実施形態に係るエンタテインメント装置１４の機能、及び、本実施形態に係るエンタテインメント装置１４で実行される処理についてさらに説明する。
【0207】
図１９は、Ｔポーズのスケルトンモデル４０への変形に関する、本実施形態に係るエンタテインメント装置１４の機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図１９に示す機能のすべてが実装される必要はなく、また、図１９に示す機能以外の機能が実装されていても構わない。
【0208】
図１９に示すように、本実施形態に係るエンタテインメント装置１４には、機能的には例えば、スケルトンモデルデータ記憶部５０、姿勢更新部５６、ターゲットノード特定部８０、基準ノード特定部８２、位置決定部８４、が含まれる。
【0209】
スケルトンモデルデータ記憶部５０は、記憶部３２を主として実装される。姿勢更新部５６、ターゲットノード特定部８０、基準ノード特定部８２、位置決定部８４は、プロセッサ３０を主として実装される。
【0210】
以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給されてもよい。
【0211】
スケルトンモデルデータ記憶部５０は、本実施形態では例えば、上述のように、スケルトンモデル４０の姿勢を示すスケルトンモデルデータを記憶する。ここでは例えば、図１７に示すような、既知の基本姿勢ではない姿勢のスケルトンモデル４０の姿勢を示すスケルトンデータが、スケルトンモデルデータ記憶部５０に予め記憶されていることとする。
【0212】
ターゲットノード特定部８０は、本実施形態では例えば、既知の基本姿勢ではない姿勢のスケルトンモデル４０に含まれる複数のノードのうちから複数のターゲットノードを特定する。ここで例えば、ユーザが、エンタテインメント装置１４と通信可能なコントローラを介してエンタテインメント装置１４に対する操作入力を行えてもよい。そして、ユーザによるターゲットノードの選択操作に応じて、ターゲットノード特定部８０が、ユーザによって選択されたノードをターゲットノードと特定してもよい。
【0213】
ここでは例えば、ボディトラッキングにおけるトラッカー１２に対応付けられるノード（頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、及び、右足ノード４２ｅ）がターゲットノードに特定されることとする。なおここで、末端のノードがターゲットノードに特定されてもよい。また、各ノード４２に名前が関連付けられている場合は、ターゲットノード特定部８０は、ノード４２の名前に基づいて、ターゲットノードを特定してもよい。
【0214】
また、３つに分岐しているノードにおける先端のノードで、分岐点のノードから先端のノードまでのノード数が同じであるもののそれぞれが、右手に相当するターゲットノード、及び、左手に相当するターゲットノードに特定されてもよい。そして、残りの１つの先端のノードが頭部に相当するターゲットノードに特定されてもよい。
【0215】
また、２つに分岐しているノードにおける先端のノードのそれぞれが、右足に相当するターゲットノード、及び、左足に相当するターゲットノードに特定されてもよい。
【0216】
また、スケルトンモデル４０にしっぽのノードが含まれている場合には、３つに分岐しているノードが２組存在する可能性がある。この場合は、それぞれの先端のノードの相対的な位置（上下、左右、前後）に基づいて、頭部、左手、右手、右足、左足、しっぽのそれぞれに相当するノードが特定されてもよい。
【0217】
基準ノード特定部８２は、本実施形態では例えば、複数のターゲットノードのいずれにも１又は複数のボーンを介して接続されているノードのうち最も当該複数のターゲットノード側にある基準ノードを特定する。ここでは例えば、骨盤ノード４２ｆが、左足ノード４２ｄ、及び、右足ノード４２ｅに対応する基準ノードと特定される。また、第３脊柱ノード４２ｉが、頭部ノード４２ａ、左手ノード４２ｂ、及び、右手ノード４２ｃに対応する基準ノードと特定される。
【0218】
位置決定部８４は、本実施形態では例えば、基準ノード及びターゲットノードの位置を決定する。ここで位置決定部８４は、基準ノードの位置を基準とした複数のターゲットノードの相対的な位置が所定の位置となるよう、複数のターゲットノード又は基準ノードの位置を決定する。
【0219】
姿勢更新部５６は、本実施形態では例えば、位置決定部８４により決定される複数のターゲットノードの位置に基づいて、スケルトンモデル４０の姿勢を既知の基本姿勢に更新する。姿勢更新部５６は、例えば、上述のＳ１０５～Ｓ１１１に示す処理を実行することで、スケルトンモデル４０の姿勢を既知の基本姿勢に更新する。ここでは例えば、スケルトンモデル４０の姿勢が図１８に示すようなＴポーズに更新される。
【0220】
ここで、本実施形態に係るエンタテインメント装置１４で行われる処理の流れの一例を、図２０に例示するフロー図を参照しながら説明する。
【0221】
本処理例においては、スケルトンモデルデータ記憶部５０に、予め、図１７に示す、既知の基本姿勢ではない姿勢のスケルトンモデル４０が記憶されていることとする。また、エンタテインメント装置１４と通信可能なコントローラを介して、ユーザがエンタテインメント装置１４に対する操作入力を行えることとする。
【0222】
まず、ターゲットノード特定部８０が、ユーザによる選択操作による選択されるターゲットノードを特定する（Ｓ５０１）。ここでは例えば、頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、及び、右足ノード４２ｅがターゲットノードと特定されることとする。
【0223】
そして、姿勢更新部５６が、左足ノード４２ｄから右足ノード４２ｅに向かう向きが座標系の右手軸と一致するよう、スケルトンモデル４０の全体を回転させる（Ｓ５０２）。なお、以下の説明では、左足ノード４２ｄと右足ノード４２ｅとをつなぐ直線に対して、頭部ノード４２ａがあるべき所与の方向が上方向であることとする。
【0224】
そして、基準ノード特定部８２が、基準ノードを特定する（Ｓ５０３）。ここでは例えば、上述のように、骨盤ノード４２ｆ、及び、第３脊柱ノード４２ｉが基準ノードと特定される。
【0225】
そして、位置決定部８４が、基準ノード及びターゲットノードの位置を決定する（Ｓ５０４）。
【0226】
ここでは例えば、基準ノードである骨盤ノード４２ｆの位置を基準とした、ターゲットノードである左足ノード４２ｄ及び右足ノード４２ｅの相対的な位置が所定の位置となるよう、骨盤ノード４２ｆの位置が決定される。具体的には例えば、左足ノード４２ｄの位置と右足ノード４２ｅの位置との間の中央の位置ｘ１が特定される。そして、位置ｘ１の真上であって、位置ｘ１からの距離がボーン４４ｔ、ボーン４４ｓ、及び、ボーン４４ｒの長さの和Ｌ１となる位置が、骨盤ノード４２ｆの位置ｘ２と決定される。なお、位置ｘ１の真上であって、位置ｘ１からの距離がボーン４４ｐ、ボーン４４ｏ、及び、ボーン４４ｎの長さの和Ｌ２となる位置が、骨盤ノード４２ｆの位置ｘ２と決定されてもよい。あるいは、位置ｘ１の真上であって、位置ｘ１からの距離が、長さの和Ｌ１と長さの和Ｌ２の平均の長さである位置が、骨盤ノード４２ｆの位置ｘ２と決定されてもよい。
【0227】
そして、位置ｘ２の真上であって、位置ｘ２からの距離がボーン４４ａの長さとなる位置が、第１脊柱ノード４２ｇの位置ｘ３と決定されてもよい。そして、位置ｘ３の真上であって、位置ｘ３からの距離がボーン４４ｂの長さとなる位置が、第２脊柱ノード４２ｈの位置ｘ４と決定されてもよい。そして、位置ｘ４の真上であって、位置ｘ４からの距離がボーン４４ｃの長さとなる位置が、第３脊柱ノード４２ｉの位置ｘ５と決定されてもよい。そして、位置ｘ５の真上であって、位置ｘ５からの距離がボーン４４ｄの長さとなる位置が、首ノード４２ｊの位置ｘ６と決定されてもよい。そして、そして、位置ｘ６の真上であって、位置ｘ６からの距離がボーン４４ｅの長さとなる位置が、ターゲットノードである頭部ノード４２ａの位置ｘ７と決定されてもよい。
【0228】
そして例えば、基準ノードである第３脊柱ノード４２ｉの位置を基準とした、ターゲットノードである左手ノード４２ｂ及び右手ノード４２ｃの相対的な位置が所定の位置となるよう、左手ノード４２ｂ及び右手ノード４２ｃの位置が決定される。
【0229】
ここでは例えば、基準ノードである第３脊柱ノード４２ｉの位置を基準とした、左手ノード４２ｂ及び右手ノード４２ｃの相対的な位置が所定の位置となるよう、左手ノード４２ｂ及び右手ノード４２ｃの位置が決定される。
【0230】
具体的には、例えば、第３脊柱ノード４２ｉの位置ｘ５の真上であって、位置ｘ５から所定長Ｌ３だけ離れた位置ｘ８が特定されてもよい。そして位置ｘ８から、座標系の右手軸に沿って正方向に、ボーン４４ｊ、ボーン４４ｋ、ボーン４４ｌ、ボーン４４ｍの長さの和Ｌ４だけ離れた位置が、右手ノード４２ｃの位置ｘ９と決定されてもよい。そして、位置ｘ９から、座標系の右手軸に沿って負方向に、ボーン４４ｆ、ボーン４４ｇ、ボーン４４ｈ、ボーン４４ｉの長さの和Ｌ５だけ離れた位置が、左手ノード４２ｂの位置ｘ１０と決定されてもよい。
【0231】
なお、ここで、第３脊柱ノード４２ｉの位置を基準とした右鎖骨ノード４２ｎの相対的な位置がデフォルトの姿勢と同じになるような、右鎖骨ノード４２ｎの位置が特定されてもよい。そして右鎖骨ノード４２ｎの位置から、座標系の右手軸に沿って正方向に、ボーン４４ｋ、ボーン４４ｌ、ボーン４４ｍの長さの和Ｌ６だけ離れた位置が、右手ノード４２ｃの位置ｘ９と決定されてもよい。また、第３脊柱ノード４２ｉの位置を基準とした左鎖骨ノード４２ｋの相対的な位置がデフォルトの姿勢と同じになるような、左鎖骨ノード４２ｋの位置が特定されてもよい。そして左鎖骨ノード４２ｋの位置から、座標系の右手軸に沿って負方向に、ボーン４４ｇ、ボーン４４ｈ、ボーン４４ｉの長さの和Ｌ７だけ離れた位置が、左手ノード４２ｂの位置ｘ１０と決定されてもよい。
【0232】
そして、姿勢更新部５６が、上述のＳ１０５～Ｓ１１１に示す処理を実行して（Ｓ５０５）、本処理例に示す処理は終了される。
【0233】
本実施形態では以上のようにして、スケルトンモデル４０を既知の基本姿勢に変形する際の手作業の量が低減される。そのため、本実施形態によれば、スケルトンモデル４０を既知の基本姿勢に変形する手間を軽減できることとなる。
【0234】
以上の例では、既知の基本姿勢としてＴポーズを採用したが、既知の基本姿勢としてＡポーズなどの他の姿勢を採用してもよい。
【0235】
この場合、例えば、Ｓ５０４に示す処理で、第３脊柱ノード４２ｉの位置ｘ５の真下であって、位置ｘ５から所定長Ｌ８だけ離れた位置ｘ１１が特定されてもよい。そして位置ｘ１１から、座標系の右手軸に沿って正方向に、ボーン４４ｊ、ボーン４４ｋ、ボーン４４ｌ、ボーン４４ｍの長さの和Ｌ４だけ離れた位置が、右手ノード４２ｃの位置ｘ９と決定されてもよい。そして、位置ｘ１１から、座標系の右手軸に沿って負方向に、ボーン４４ｆ、ボーン４４ｇ、ボーン４４ｈ、ボーン４４ｉの長さの和Ｌ５だけ離れた位置が、左手ノード４２ｂの位置ｘ１０と決定されてもよい。
【0236】
また、本処理例では、図３に示すスケルトンモデル４０と同じ構造のスケルトンモデル４０を例に説明したが、本実施形態は、図３に示すスケルトンモデル４０と構造が異なるスケルトンモデル４０にも適用可能である。例えば、羽の生えた龍のスケルトンモデル４０に対しても本実施形態が適用可能である。この場合、例えば、龍の手のノードがターゲットノードと特定されると、龍の手の動きがユーザの手の動きに連動したボディトラッキングが可能となる。また例えば、龍の羽のノードがターゲットノードと特定されると、龍の羽の動きがユーザの手の動きに連動したボディトラッキングが可能となる。このように本実施形態によれば、ボディトラッキングにおいてトラッカー１２の動きに連動させるターゲットノードを自由に設定できることとなる。
【0237】
また、スケルトンモデル４０に、さらに、左手首に相当する左手首ノードが含まれるとする。ここで、左手首ノードは、例えば、左手ノード４２ｂと左前腕ノード４２ｍの間にあり、左手ノード４２ｂ及び左前腕ノード４２ｍとボーンを介して接続されたノードであってもよい。この場合に、姿勢更新部５６は、Ｓ５０５に示す処理の終了後に、デフォルトの姿勢における左手首ノードを基準としたＳ５０１～Ｓ５０５に示す処理の終了後における左手首ノードの回転を、左手ノード４２ｂの回転に適用してもよい。
【0238】
同様に、スケルトンモデル４０に、さらに、右手首に相当する右手首ノードが含まれる場合に、デフォルトの姿勢における右手首ノードを基準としたＳ５０１～Ｓ５０５に示す処理の終了後における右手首ノードの回転が、右手ノード４２ｃの回転に適用されてもよい。ここで、右手首ノードは、例えば、右手ノード４２ｃと右前腕ノード４２ｐの間にあり、右手ノード４２ｃ及び右前腕ノード４２ｐとボーンを介して接続されたノードであってもよい。
【0239】
また、スケルトンモデル４０に、さらに、右手の指のノードが含まれていてもよい。これらの指のノードは、例えば、右手ノード４２ｃとボーンを介して接続される。この場合、姿勢更新部５６は、Ｓ５０５に示す処理の終了後に、右手ノード４２ｃの位置から右手の中指のノードの位置に向かう向きが座標系の右手軸の正方向の向きに一致し、右手の小指のノードの位置から右手の親指のノードの位置に向かう向きが座標系の正面軸に一致するよう、少なくとも１つのボーンを回転させてもよい。
【0240】
同様に、スケルトンモデル４０に、さらに、左手の指のノードが含まれていてもよい。これらの指のノードは、例えば、左手ノード４２ｂとボーンを介して接続される。この場合、姿勢更新部５６は、Ｓ５０５に示す処理の終了後に、左手ノード４２ｂの位置から左手の中指のノードの位置に向かう向きが座標系の右手軸の負方向の向きに一致し、左手の小指のノードの位置から左手の親指のノードの位置に向かう向きが座標系の正面軸に一致するよう、少なくとも１つのボーンを回転させてもよい。
【0241】
本実施形態では以上のようにして、スケルトンモデル４０を既知の基本姿勢に変形する手間を低減できることとなる。
【0242】
また、本実施形態では、スケルトンモデル４０の向き、姿勢、関節数、形態がどのようなものであっても、スケルトンモデル４０を既知の基本姿勢に変形させることができる。例えば、正面を向いていないもの、手が水平に広げられていないもの、四つ這いであるもの、寝た姿勢のもの、足の関節数が多いもの、羽や尻尾があるもの、形態がイカ、タコ、木であるものなど、あらゆる種類のスケルトンモデル４０に本実施形態は適用可能である。
【0243】
また、本実施形態は、既存のアニメーションを別のモデルに適用するリターゲティングの用途に活用することができる。本実施形態によれば、様々なモデルに対してリターゲティングできるため、既存のアニメーションが簡単に流用可能となる。
【0244】
既存技術のリターゲティングでは、スケルトンモデル４０がある程度近いもの同士でないとうまく機能しない。例えば人体アニメーションでは、スケルトンモデル４０が人体モデルである必要がある。しかし、本実施形態によれば、より汎用的、かつ動的に、リターゲティングを行うことができ、新たなモデルを入手した途端に、当該モデルに本実施形態を適用して、動作させることが可能となる。
【0245】
なお、本発明は上述の実施形態に限定されるものではない。
【0246】
例えば本発明の適用範囲は、トラッカー１２の実際の動きに応じたリアルタイムでのスケルトンモデル４０の姿勢の更新には限定されない。例えば本発明が、エンタテインメント装置１４に予め記録された、一連の姿勢データの時系列に基づいて、スケルトンモデル４０や当該スケルトンモデル４０に応じたプレイヤオブジェクトが動く様子を再生する場面に適用されてもよい。
【0247】
また例えばトラッカー１２ａは、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。この場合に、ユーザに含まれる複数の部位の位置又は向きに応じたゲーム処理等の各種の処理の結果に応じた映像が例えばＨＭＤの表示部に表示されるようにしてもよい。
【0248】
また例えば、図６に示す機能の一部又は全部がトラッカー１２によって実装されてもよい。
【0249】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】