特開 2024-103791 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024103791

(43)【公開日】2024-08-01

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240725BHJP

   G06T 13/40 20110101ALI20240725BHJP

【ＦＩ】

G06T19/00 A

G06T13/40

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024092499

(22)【出願日】2024-06-06

(62)【分割の表示】P 2021567205の分割

【原出願日】2020-12-10

(31)【優先権主張番号】P 2019239053

(32)【優先日】2019-12-27

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】田原 大資

(57)【要約】

【課題】立体感のある骨格モデルを生成することを課題とする。
【解決手段】情報処理装置の一例に対応するサーバ装置１０は、複数の視点の撮像画像に基づいて３次元の骨格を推定する推定部１５Ｂと、３次元の骨格がモデル化された骨格モデルを生成する生成部１５Ｃと、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の視点の撮像画像に基づいて３次元の骨格を推定する推定部と、
前記３次元の骨格がモデル化された骨格モデルを生成する生成部と、
を備える情報処理装置。

【請求項2】

前記生成部は、前記３次元の骨格のうち関節を球状にモデル化すると共に骨を円柱状にモデル化する、
請求項１に記載の情報処理装置。

【請求項3】

前記生成部は、前記複数の視点のうちいずれかの視点または仮想視点と、前記関節または前記骨との距離に基づいて前記関節の球の半径または前記骨の円柱の半径を設定する、
請求項２に記載の情報処理装置。

【請求項4】

前記生成部は、前記距離が小さくなるに連れて前記関節の球の半径または前記骨の円柱の半径を大きく設定するか、あるいは前記距離が大きくなるに連れて前記関節の球の半径または前記骨の円柱の半径を小さく設定する、
請求項３に記載の情報処理装置。

【請求項5】

前記骨格モデルは、前記複数の視点または仮想視点の撮像画像に関連付けて表示される、
請求項１に記載の情報処理装置。

【請求項6】

前記骨格モデルは、前記骨格モデルと同一のフレームの撮像画像と左右または上下に並べて表示される、
請求項５に記載の情報処理装置。

【請求項7】

前記骨格モデルは、前記骨格モデルと同一のフレームの撮像画像に重畳して表示される、
請求項５に記載の情報処理装置。

【請求項8】

前記撮像画像は、輝度または彩度を減少させるか、あるいは透明度を増加して表示される、
請求項７に記載の情報処理装置。

【請求項9】

前記骨格モデルにエフェクトを設定する設定部をさらに備える、
請求項２に記載の情報処理装置。

【請求項10】

前記設定部は、前記関節または前記骨を覆うヒートマップのエフェクトを設定する、
請求項９に記載の情報処理装置。

【請求項11】

前記設定部は、前記関節または前記骨の位置に応じて異なる色または異なる面積のヒートマップを設定する、
請求項１０に記載の情報処理装置。

【請求項12】

前記設定部は、前記関節または前記骨の骨格部位の移動量、速度または加速度に応じて異なる色または異なる面積のヒートマップを設定する、
請求項１０に記載の情報処理装置。

【請求項13】

前記設定部は、前記関節または前記骨の骨格部位における３次元の骨格の推定結果の確信度に応じて異なる色または異なる面積のヒートマップを設定する、
請求項１０に記載の情報処理装置。

【請求項14】

前記設定部は、前記関節または前記骨の骨格部位を強調表示するエフェクトを設定する、
請求項９に記載の情報処理装置。

【請求項15】

前記設定部は、前記関節または前記骨の骨格部位の移動量、速度または加速度に応じて異なる表示色を設定する、
請求項１４に記載の情報処理装置。

【請求項16】

前記設定部は、前記関節または前記骨の骨格部位のうち移動量、速度または加速度が所定の閾値以上である骨格部位を強調表示するエフェクトを設定する、
請求項１４に記載の情報処理装置。

【請求項17】

前記設定部は、前記関節または前記骨の骨格部位の移動量から前記骨格モデルの重心の移動量が減算された減算値が所定の閾値以上である骨格部位を強調表示するエフェクトを設定する、
請求項１６に記載の情報処理装置。

【請求項18】

前記生成部は、前記撮像画像が取得された最新のフレームから過去の所定数のフレームに跨がって前記関節または前記骨の骨格部位の位置の軌跡をモデル化する、
請求項２に記載の情報処理装置。

【請求項19】

複数の視点の撮像画像に基づいて３次元の骨格を推定し、
前記３次元の骨格がモデル化された骨格モデルを生成する、
処理をコンピュータが実行する情報処理方法。

【請求項20】

複数の視点の撮像画像に基づいて３次元の骨格を推定し、
前記３次元の骨格がモデル化された骨格モデルを生成する、
処理をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

スポーツやゲームなどのコンピュータグラフィクスの制作や解析、編集といった様々な場面でモーションキャプチャが活用されている。

【0003】

例えば、３次元の骨格推定に慣性航法を用いるモーションキャプチャが知られている。慣性航法を用いるモーションキャプチャでは、関節に装着されたモーションセンサにより取得されるセンサデータから各関節の位置が測定される。このようにモーションキャプチャに慣性航法が用いられる場合、モーションセンサの装着が避けられない。このため、モーションセンサの装着により、スポーツやゲームなどの競技における動作の妨げとなったり、実写映像の臨場感等の視覚的価値が損なわれたりする。

【0004】

また、マーカレスなモーションキャプチャの１つとして、単眼カメラの画像から２次元の姿勢検出を行うＯｐｅｎＰｏｓｅと呼ばれる手法が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１９／０１６１５２号公報

【非特許文献】

【0006】

【非特許文献1】Zhe Cao， Tomas Simon， Shih-EnWei， Yaser Sheikh “Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、上記のＯｐｅｎＰｏｓｅでは、２次元の姿勢検出が行われるに過ぎないので、オクルージョンにより隠される骨格部位を正確に検出するのが困難である。それ故、立体感に欠ける骨格モデルしか生成できない。

【0008】

そこで、本開示では、立体感のある骨格モデルを生成できる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の課題を解決するために、本開示に係る一形態の情報処理装置は、複数の視点の撮像画像に基づいて３次元の骨格を推定する推定部と、前記３次元の骨格がモデル化された骨格モデルを生成する生成部と、を備える。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態に係るシステムの構成例を示す図である。

【図2】スケルトン画像の一例を示す図である。

【図3】３次元骨格モデルの一例を示す図である。

【図4】スケルトン画像及び撮像画像の関連付け方法の一例を示す図である。

【図5】第１の実施形態に係る画像生成処理の手順を示すフローチャートである。

【図6】第２の実施形態に係るシステムの構成例を示す図である。

【図7】ヒートマップのエフェクトの一例を示す図である。

【図8】強調表示のエフェクトの一例を示す図である。

【図9】第２の実施形態に係る画像生成処理の手順を示すフローチャートである。

【図10】ＣＧキャラクタモデルの一例を示す図である。

【図11】骨格部位の位置の軌跡の一例を示す図である。

【図12】骨格部位の位置の軌跡の一例を示す図である。

【図13】コンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0011】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0012】

また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１－１．システム構成例
１－１－１．サーバ装置
１－１－２．カメラ
１－１－３．クライアント端末
１－２．課題解決のアプローチの一側面
１－３．サーバ装置の機能構成例
１－３－１．通信インターフェイス
１－３－２．記憶部
１－３－２－１．カメラパラメータ
１－３－２－２．３次元骨格データ
１－３－３．制御部
１－３－３－１．取得部
１－３－３－２．推定部
１－３－３－３．生成部
１－４．サーバ装置の処理手順
１－５．効果の一面
２．第２の実施形態
２－１．サーバ装置の機能構成例
２－１－１．設定部
２－２．サーバ装置の処理手順
２－３．効果の一面
３．応用例
３－１．ＣＧ（Computer Graphics）キャラクタモデル
３－２．個人識別との連動
３－３．骨格推定精度の可視化
３－４．骨格部位の軌跡
４．変形例
５．ハードウェア構成

【0013】

＜＜１．第１の実施形態＞＞
＜１－１．システム構成例＞
図１は、第１の実施形態に係るシステム１の構成例を示す図である。図１に示すシステム１は、マーカレスなモーションキャプチャにより得られる３次元の骨格がモデル化された３次元骨格モデルをコンピュータグラフィクスとして生成する画像生成サービスを提供するものである。

【0014】

このような画像生成サービスは、１つの側面として、スポーツやゲームなどのコンピュータグラフィクスの制作や解析、編集といった様々なユースケースで活用され得る。

【0015】

以下、コンピュータグラフィクスである３次元骨格モデルを含むスケルトン画像との間でカメラ３０が撮像する画像、すなわち実写映像のラベルを区別する側面から、カメラ３０が撮像する画像のことを「撮像画像」と記載する場合がある。

【0016】

図１に示すように、システム１には、サーバ装置１０と、カメラ３０Ａ～３０Ｎと、クライアント端末５０とが含まれ得る。以下、カメラ３０Ａ～３０Ｎの各々の個体を区別せずともよい場合、「カメラ３０」と記載する場合がある。なお、図１には、システム１に１つクライアント端末５０が含まれる例を挙げたが、複数のクライアント端末５０が含まれることとしてもかまわない。

【0017】

これらサーバ装置１０、カメラ３０及びクライアント端末５０の間は、任意のネットワークＮＷを介して接続され得る。例えば、ネットワークＮＷは、有線または無線を問わず、インターネットやＬＡＮ（Local Area Network）などの任意の種類の通信網であってかまわない。

【0018】

なお、図１には、サーバ装置１０がネットワークＮＷを介して３次元骨格モデルを含むスケルトン画像をクライアント端末５０へ提供する場合を例示するが、サーバ装置１０及びクライアント端末５０の間で必ずしも双方向に通信が行われずともかまわない。例えば、スケルトン画像は、必ずしもネットワークＮＷを経由させずともよく、放送波を介してサーバ装置１０からクライアント端末５０へ提供されることとしてもかまわない。

【0019】

＜１－１－１．サーバ装置＞
サーバ装置１０は、上記の画像生成サービスを提供するコンピュータである。このサーバ装置１０は、情報処理装置の一例に対応し得る。

【0020】

一実施形態として、サーバ装置１０は、パッケージソフトウェア又はオンラインソフトウェアとして、上記の画像生成サービスに対応する機能を実現する画像生成プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置１０は、上記の画像生成サービスに関する機能をオンプレミスに提供するサーバ、例えばＷｅｂサーバとして実装することができる。これに限定されず、サーバ装置１０は、ＳａａＳ（Software as a Service）型のアプリケーションとして実装することで、上記の画像生成サービスをクラウドサービスとして提供することとしてもかまわない。

【0021】

＜１－１－２．カメラ＞
カメラ３０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置の一例である。

【0022】

例えば、複数のカメラ３０の撮影範囲が組み合わさることにより、コンピュータグラフィクスの生成対象とするスポーツやゲーム等の競技が行われる３次元空間の全域が複数のカメラ３０の撮影範囲に収まる配置で各カメラ３０が設置される。さらに、２つ以上のカメラ３０により撮像された撮像画像から３次元空間上に存在する被写体の３次元骨格を推定する側面から、各カメラ３０は、他のカメラ３０との間で撮影範囲の一部が重複する状態で配置することができる。このような配置の下、複数のカメラ３０がフレームごとに同期して撮像することにより、異なる視点ごとに同一のタイミングで撮像された複数の画像、すなわち多視点の撮像画像がフレーム単位で得られる。なお、当然のことながら、各カメラ３０が画像を撮像するフレームレートも同一のフレームレートに統一される。

【0023】

＜１－１－３．クライアント端末＞
クライアント端末５０は、上記の画像生成サービスに対応する機能の提供を受けるコンピュータの一例に対応する。例えば、クライアント端末５０には、パーソナルコンピュータなどのデスクトップ型のコンピュータなどが対応し得る。これはあくまで一例に過ぎず、クライアント端末５０は、ラップトップ型のコンピュータや携帯端末装置、ウェアラブル端末などの任意のコンピュータであってかまわない。

【0024】

なお、図１には、システム１がサーバ装置１０及びクライアント端末５０を含むクライアントサーバシステムとして構築される例を挙げたが、システム１の構成例はこれに限定されない。例えば、上記の画像生成サービスに対応する機能は、スタンドアローンで動作するコンピュータにより実現されてもかまわない。

【0025】

＜１－２．課題解決のアプローチの一側面＞
上記の背景技術の欄で説明した通り、慣性航法を用いるモーションキャプチャでは、モーションセンサの装着が避けられない。このため、モーションセンサの装着により、スポーツやゲームなどの競技における動作の妨げとなったり、実写映像の臨場感等の視覚的価値が損なわれたりする。このように、慣性航法を用いるモーションキャプチャでは、マーカレスなモーションキャプチャを実現できない。

【0026】

そうであるからと言って、ＯｐｅｎＰｏｓｅでは、２次元の姿勢検出が行われるに過ぎないので、オクルージョンにより隠される骨格部位の姿勢は正確に検出することができない。それ故、ＯｐｅｎＰｏｓｅでは、立体感に欠ける骨格モデルしか生成できない。

【0027】

また、Ｋｉｎｅｃｔのようなデプスセンサを併用しても、依然として、上記のオクルージョンの課題は解決し得ない。さらに、単眼３次元姿勢推定と呼ばれる関節の奥行情報を機械学習で推定する技術も出てきているが、不定問題に対する機械学習による予想であるので、関節の奥行情報を正確に推定するのは困難である。

【0028】

そこで、本開示のサーバ装置１０は、上記の画像生成サービスの一環として、多視点の撮像画像から３次元の骨格を推定する。これによって、オクルージョンにより隠される骨格部位の推定を実現すると共に、３次元の骨格推定をマーカレスなモーションキャプチャにより実現できる。その上で、本開示のサーバ装置１０は、このようにして推定された３次元の骨格がモデル化された３次元骨格モデルを生成する。したがって、本開示のサーバ装置１０によれば、立体感のある骨格モデルを生成することが可能になる。

【0029】

＜１－３．サーバ装置の機能構成例＞
次に、本開示のサーバ装置１０の機能構成例について説明する。図１には、システム１に含まれる装置のうち、サーバ装置１０が備える機能に対応するブロックが模式化されている。図１に示すように、サーバ装置１０は、通信インターフェイス１１と、記憶部１３と、制御部１５とを有する。

【0030】

なお、図１には、上記の画像生成サービスに関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部がサーバ装置１０に備わることを妨げない。

【0031】

＜１－３－１．通信インターフェイス＞
通信インターフェイス１１は、他の装置、例えばカメラ３０やクライアント端末５０との間で通信制御を行う通信制御部の一例に対応する。

【0032】

あくまで一例として、通信インターフェイス１１には、ＬＡＮカードなどのネットワークインターフェイスカードを採用することができる。例えば、通信インターフェイス１１は、各カメラ３０へ撮像画像の撮像開始指示や撮像終了指示を通知したり、カメラ３０から撮像画像を受信したりする。また、通信インターフェイス１１は、クライアント端末５０からスケルトン画像の視聴に関する各種の設定操作、例えば仮想視点を含むカメラの視点の設定操作を受け付けたり、スケルトン画像を出力したりする。

【0033】

＜１－３－２．記憶部＞
記憶部１３は、制御部１５で実行されるＯＳ（Operating System）を始め、上記の画像生成プログラムなどの各種プログラムに用いられるデータを記憶するハードウェアに対応し得る。

【0034】

一実施形態として、記憶部１３は、サーバ装置１０における補助記憶装置に対応し得る。例えば、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などが補助記憶装置に対応する。この他、ＥＰＲＯＭ（Erasable Programmable Read Only Memory)などのフラッシュメモリも補助記憶装置に対応し得る。

【0035】

記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、カメラパラメータ１３Ａと、３次元骨格データ１３Ｂとを記憶する。これらカメラパラメータ１３Ａ及び３次元骨格データ１３Ｂ以外にも、記憶部１３は、各視点の撮像画像の他、クライアント端末５０のユーザのアカウント情報などの各種のデータを記憶することができる。

【0036】

＜１－３－２－１．カメラパラメータ＞
カメラパラメータ１３Ａは、カメラパラメータに関するデータである。あくまで一例として、カメラパラメータ１３Ａには、各カメラ３０の位置や向きなどの外部パラメータ及び各カメラ３０の画角やレンズの歪みなどの内部パラメータなどが含まれ得る。

【0037】

＜１－３－２－２．３次元骨格データ＞
３次元骨格データ１３Ｂは、３次元の骨格の推定結果に関するデータである。あくまで一例として、３次元骨格データ１３Ｂは、カメラ３０により撮像される撮像画像のフレームごとに被写体が有する関節の３次元空間上の位置が後述の推定部１５Ｂにより推定される。このように、３次元骨格データ１３Ｂには、一例として、各関節の３次元空間上の位置の時系列データが含まれ得る。さらに、３次元骨格データ１３Ｂには、３次元空間上の位置以外にも、各関節の３次元空間上の姿勢、例えば逆運動学に基づいて計算される関節角が含まれ得る。

【0038】

＜１－３－３．制御部＞
制御部１５は、サーバ装置１０の全体制御を行う処理部である。

【0039】

一実施形態として、制御部１５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのハードウェアプロセッサにより実装することができる。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。

【0040】

制御部１５は、図示しない主記憶装置として実装されるＲＡＭ（Random Access Memory）のワークエリア上に、上記の画像生成プログラムを展開することにより、下記の処理部を仮想的に実現する。なお、図１には、上記の画像生成プログラムに対応する機能部を図示したが、上記の画像生成プログラムに対応するプログラムモジュールが他の機能とパッケージ化されたパッケージソフトウェアに対応する機能部が含まれてもかまわない。

【0041】

制御部１５は、図１に示すように、取得部１５Ａと、推定部１５Ｂと、生成部１５Ｃとを有する。

【0042】

＜１－３－３－１．取得部＞
取得部１５Ａは、各視点の撮像画像を取得する処理部である。

【0043】

一実施形態として、取得部１５Ａは、カメラ３０Ａ～カメラ３０Ｎから伝送される各視点の撮像画像をフレーム単位で取得することができる。ここで、取得部１５Ａが撮像画像を取得する情報ソースは、任意の情報ソースであってよく、カメラ３０に限定されない。例えば、取得部１５Ａは、各視点の撮像画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから多視点の撮像画像を取得することもできる。この他、取得部１５Ａは、カメラ５以外の外部装置からネットワークＮＷを介して各視点の撮像画像を取得することもできる。

【0044】

＜１－３－３－２．推定部＞
推定部１５Ｂは、各視点の撮像画像に基づいて３次元骨格を推定する処理部である。

【0045】

一実施形態として、推定部１５Ｂは、カメラ３０の視点ごとにディープラーニング等の機械学習により得られたモデルへ撮像画像を入力することにより、関節ごとに撮像画像上の位置の確信度のマップ等の出力を得る。その上で、推定部１５Ｂは、撮像画像ごとに得られた関節の位置に基づいて撮像画像間の三角測量を行うことにより、各関節の３次元空間上の位置を推定する。さらに、推定部１５Ｂは、各関節の３次元空間上の位置を用いて、逆運動学に基づく関節角の計算を行うことにより、各関節の３次元空間上の姿勢を算出することもできる。このように撮像画像のフレームごとに得られる各関節の３次元空間上の位置および姿勢が３次元骨格データとして記憶部１３に保存される。

【0046】

なお、ここでは、被写体のあくまで一例として、人物を例に挙げて各関節の３次元空間上の位置および姿勢を推定する場合を説明したが、人物以外の環境の３次元モデルを生成することもできる。

【0047】

＜１－３－３－３．生成部＞
生成部１５Ｃは、３次元の骨格がモデル化された骨格モデルを生成する処理部である。

【0048】

１つの側面として、生成部１５Ｃは、カメラ３０Ａ～カメラ３０Ｎの視点、あるいは３次元空間上の任意の仮想視点におけるスケルトン画像をレンダリングする。例えば、生成部１５Ｃは、クライアント端末５０等によるユーザ設定、あるいはシステム設定が行われた視点の位置と、３次元骨格データ１３Ｂに含まれる関節の位置とに基づいて、被写体ごとに当該被写体の３次元の骨格モデルをレンダリングする。

【0049】

図２は、スケルトン画像の一例を示す図である。あくまで一例として、図２には、卓球の試合が撮影された撮像画像から生成されたスケルトン画像２００が示されている。さらに、図２には、卓球台の長手方向の中央正面の位置が仮想視点Ｖｃに設定された場合におけるスケルトン画像２００が示されている。図２に示すように、スケルトン画像２００には、卓球の試合を行う２人の選手に対応する３次元骨格モデルＭ１及びＭ２がレンダリングされている。さらに、スケルトン画像２００には、人物以外の環境の３次元モデルの一例として、卓球台に対応する３次元モデルＭ３がレンダリングされている。ここで、卓球台の３次元モデルＭ３は、必ずしも撮像画像から生成したモデリングデータでなくともかまわない。例えば、３次元モデルＭ３等のように３次元空間上で位置や姿勢に変化がない環境物は、予め作成されていたモデリングデータであって良い。スケルトン画像２００にはこのようなモデリングデータを追加可能である。このように、スケルトン画像２００には、３次元骨格モデルがレンダリングされるので、オクルージョンにより隠される骨格部位の表現能力も向上する。

【0050】

図３は、３次元骨格モデルの一例を示す図である。図３には、図２に示された３次元骨格モデルＭ２が拡大して示されている。図３に示すように、３次元骨格モデルＭ２には、目や鼻等の特徴点を含む頭部、さらには、鎖骨、左右の肩、肘、手首、肩、肘、手首、腰、膝、足首、つま先等といった部位に対応し得る関節Ｊ１～関節Ｊ２０と、各関節を接続する骨Ｂ１～骨Ｂ１７とが含まれる。このように３次元骨格モデルＭ２が生成される際、関節Ｊ１～関節Ｊ２０は、球状にモデル化される一方で、骨Ｂ１～骨Ｂ１７は、線状または円柱状にモデル化される。

【0051】

ここで、関節Ｊ１～Ｊ２０の球のサイズは、仮想視点Ｖｃおよび関節Ｊ１～Ｊ２０の間の距離に応じて設定される。例えば、仮想視点Ｖｃからの距離が小さくなるに連れて、言い換えれば関節がより手前側に位置するに連れて関節の球の半径が大きく設定される。その一方で、仮想視点Ｖｃからの距離が大きくなるに連れて、言い換えれば関節がより奥側に位置するに連れて関節の球の半径が小さく設定される。あくまで１つの側面として、関節Ｊ４、関節Ｊ７及び関節Ｊ８を例に挙げれば、仮想視点Ｖｃからの距離が小さい順に、関節Ｊ８、関節Ｊ７、関節Ｊ４となる。この場合、図３に示された通り、関節Ｊ４、関節Ｊ７及び関節Ｊ８の球の半径は、Ｊ８＞Ｊ７＞Ｊ４となるように設定される。

【0052】

また、骨Ｂ１～骨Ｂ１７の円柱の太さは、仮想視点Ｖｃおよび骨Ｂ１～骨Ｂ１７の間の距離に応じて設定される。例えば、仮想視点Ｖｃからの距離が小さくなるに連れて、言い換えれば骨がより手前側に位置するに連れて骨の円柱の半径が大きく設定される。その一方で、仮想視点Ｖｃからの距離が大きくなるに連れて、言い換えれば骨がより奥側に位置するに連れて骨の円柱の半径が小さく設定される。あくまで１つの側面として、骨Ｂ５及び骨Ｂ６を例に挙げれば、仮想視点Ｖｃからの距離が小さい順に、骨Ｂ６、骨Ｂ５となる。この場合、図３に示された通り、骨Ｂ５及び骨Ｂ６の円柱の半径は、Ｂ６＞Ｂ５となるように設定される。

【0053】

このような関節Ｊ１～Ｊ２０及び骨Ｂ１～骨Ｂ１７を含む３次元骨格モデルＭ２をモデル化することにより、関節および骨の前後方向、すなわち奥行き方向の表現能力が向上する。

【0054】

なお、スケルトン画像の視点は、必ずしも仮想カメラに与えられる仮想視点に限らず、カメラ３０Ａ～カメラ３０Ｎのいずれかの視点であってもかまわない。さらに、スケルトン画像の視点は、必ずしも固定でなくともよく、クライアント端末５０等によるユーザ設定あるいはＧＵＩ操作が行われた軌跡にしたがって移動させることもできる。

【0055】

他の側面として、生成部１５Ｃは、３次元骨格モデルを各視点の撮像画像の他、複数の撮像画像を用いて生成される仮想視点の撮像画像に関連付けて表示させることもできる。例えば、生成部１５Ｃは、同一のフレームに対応するスケルトン画像および撮像画像を左右または上下に並べて表示したり、あるいは３次元骨格モデルを撮像画像に投影することにより撮像画像にスケルトン画像を重畳して表示したりすることができる。このように３次元骨格モデルを撮像画像に投影する際、各関節の位置に加えて関節角を用いることで、関節のねじれの表現能力を向上させることができる。

【0056】

図４は、スケルトン画像及び撮像画像の関連付け方法の一例を示す図である。図４に示すように、カメラ３０Ａ～３０Ｃの３つの視点の撮像画像４０Ａ～４０Ｃが表示されている。これら撮像画像４０Ａ～４０Ｃの右側に並べて、各視点に対応する３次元骨格モデルＭ１及びＭ２を撮像画像４０Ａ～４０Ｃに投影することにより各視点のスケルトン画像が撮像画像４０Ａ～４０Ｃに重畳された重畳画像４０α～４０γが表示されている。このようにスケルトン画像が撮像画像に重畳される場合、撮像画像に比べてスケルトン画像のコントラストを上げる側面から、撮像画像のコントラスト比を減少させる画像処理、例えば輝度や彩度の減少、透明度の増加などを行った上で重畳画像４０α～４０γを生成することができる。

【0057】

このような重畳画像４０α～４０γの表示、ひいては、撮像画像４０Ａ～４０Ｃ及び重畳画像４０α～４０γの整列表示により、実写映像および骨格モデルの比較を容易化することができる。

【0058】

なお、３次元骨格モデルが環境の３次元モデルによりオクルージョンが発生する場合、３次元骨格モデルのうち環境の３次元モデルにより隠れる部分を描画するか否かを制御することもできる。例えば、重畳画像４０γのように、３次元骨格モデルＭ２の脚部が卓球台に隠れる場合、３次元骨格モデルＭ２の脚部を描画することにより透視効果を与えたり、３次元骨格モデルＭ２の脚部の描画を抑制することにより違和感の発生を抑えたりすることができる。

【0059】

＜１－４．サーバ装置の処理手順＞
図５は、第１の実施形態に係る画像生成処理の手順を示すフローチャートである。この処理は、あくまで一例として、カメラ３０から撮像画像の取得が終了するまで継続して行うことができる。

【0060】

図５に示すように、取得部１５Ａにより各視点の撮像画像が取得されるまで（ステップＳ１０１Ｎｏ）、ステップＳ１０２の処理を待機する。そして、取得部１５Ａにより各視点の撮像画像が取得された場合（ステップＳ１０１Ｙｅｓ）、推定部１５Ｂは、各視点の撮像画像に基づいて３次元骨格を推定する（ステップＳ１０２）。

【0061】

その上、生成部１５Ｃは、ステップＳ１０２で推定された３次元の骨格がモデル化された３次元骨格モデルを生成する（ステップＳ１０３）。このようにステップＳ１０３の処理が行われた後、ステップＳ１０１の処理へ移行する。

【0062】

＜１－５．効果の一面＞
上述してきたように、本開示のサーバ装置１０は、上記の画像生成サービスの一環として、多視点の撮像画像から３次元の骨格を推定する。これによって、オクルージョンにより隠される骨格部位の推定を実現すると共に、３次元の骨格推定をマーカレスなモーションキャプチャにより実現できる。その上で、本開示のサーバ装置１０は、このようにして推定された３次元の骨格がモデル化された３次元骨格モデルを生成する。したがって、本開示のサーバ装置１０によれば、立体感のある骨格モデルを生成することが可能である。

【0063】

＜＜２．第２の実施形態＞＞
上記の第１の実施形態で説明してきた３次元骨格モデルには、各種のエフェクトを付加することができる。以下、第２の実施形態として、各種のエフェクトの内容およびその設定方法について例示する。

【0064】

＜２－１．サーバ装置の機能構成例＞
図６は、第２の実施形態に係るシステムの構成例を示す図である。図６に示すように、システム２は、図１に示されたシステム１に比べて、上記のエフェクトに関する機能のアドオンが行われたサーバ装置２０を有する点が異なる。さらに、サーバ装置２０は、図１に示すサーバ装置１０に比べて、設定部２５Ａを制御部２５がさらに有する点で異なる。

【0065】

＜２－１－１．設定部＞
設定部２５Ａは、３次元骨格モデルにエフェクトを設定する処理部である。

【0066】

１つの側面として、設定部２５Ａは、３次元骨格モデルの関節や骨などの骨格部位にヒートマップのエフェクトを設定できる。図７は、ヒートマップのエフェクトの一例を示す図である。図７には、図３に示された３次元骨格モデルＭ２にヒートマップのエフェクトが付加される例が示されている。図７に示すように、３次元骨格モデルＭ２に含まれる関節には、骨格部位によって異なる色のヒートマップが付加されている。より具体的には、右腕、左腕、右脚および左脚の骨格部位の違いによって関節を覆うヒートマップの色が区別して設定される。例えば、右腕に含まれる関節Ｊ３、関節Ｊ５及び関節Ｊ６には、第１の色、例えば図中の格子模様のハッチングに対応するヒートマップが付加されている。また、左腕に含まれる関節Ｊ４、関節Ｊ７及び関節Ｊ８には、第２の色、すなわち図中の点のハッチングに対応するヒートマップが付加されている。さらに、右脚に含まれる関節Ｊ１３～関節Ｊ１６には、第３の色、すなわち図中の斜線のハッチングに対応するヒートマップが付加されている。さらに、左脚に含まれる関節Ｊ１７～関節Ｊ２０には、第４の色、すなわち図中の縦線のハッチングに対応するヒートマップが付加されている。

【0067】

このように、骨格部位の位置に応じて異なる色のヒートマップを設定することで、関節の部位の識別を容易化できる。なお、図７には、関節にヒートマップのエフェクトが付加される例を挙げたが、同様のエフェクトを骨に付加することができるのも言うまでもない。また、図７には、骨格部位の位置に応じて異なる色のヒートマップを設定する例を挙げたが、骨格部位の位置に応じて異なる面積のヒートマップを設定することとしてもよい。

【0068】

他の側面として、設定部２５Ａは、３次元骨格モデルの関節や骨などの骨格部位の表示色を強調表示するエフェクトを設定できる。あくまで一例として、設定部２５Ａは、関節や骨などの骨格部位の動きに応じて色変化のエフェクトを設定できる。

【0069】

このようにエフェクトの付加の基準に用いる骨格部位の動きの指標の一例として、設定部２５Ａは、骨格部位の移動量を用いることができる。例えば、設定部２５Ａは、スケルトン画像が表示中であるフレームにおける骨格部位の位置と、当該フレームよりも前のフレームにおける骨格部位の位置とから求まる骨格部位の移動量を算出できる。例えば、Ｎフレーム目のスケルトン画像が表示中であるとしたとき、Ｎ－１フレーム目からＮフレーム目までの骨格部位の移動量を算出できる。その上で、設定部２５Ａは、移動量が大きくなるに連れて骨格部位の彩度を高く設定する一方で、移動量が小さくなるに連れて骨格部位の彩度を低く設定する。また、設定部２５Ａは、移動量のレンジごとに割り当てられた色のうち骨格部位の移動量が対応するレンジの色を当該骨格部位の表示色として設定することもできる。これによって、移動量の大きさによって表示色を区別するエフェクトを実現できる。なお、ここでは、隣接フレーム間の骨格部位の移動量を算出する例を挙げたが、移動量の算出に用いるフレームの間隔は必ずしも隣接せずともかまわない。例えば、所定数のフレーム間で骨格部位の移動量を算出するもできる。

【0070】

この他、設定部２５Ａは、３次元骨格モデルに含まれる骨格部位のうち移動量の大きさが所定の閾値以上である骨格部位を強調表示するエフェクトを設定することもできる。このとき、各骨格部位の間で動きの相対差が大きい骨格部位を強調する側面から、設定部２５Ａは、各骨格部位の移動量から３次元骨格モデル全体の重心の移動量を減算した上で移動量の減算値が所定の閾値以上である骨格部位を強調表示するエフェクト、例えば表示色の変更やブリンク表示を設定することができる。

【0071】

図８は、強調表示のエフェクトの一例を示す図である。図８には、関節Ｊ１～関節Ｊ２０および骨Ｂ１～骨Ｂ１７の骨格部位の移動量から３次元骨格モデルＭ２全体の重心の移動量が減算された減算値が閾値以上である骨格部位に強調表示のエフェクトが付加されている。図８に示すように、関節Ｊ１～関節Ｊ２０のうち、移動量の減算値が閾値以上である関節Ｊ５、関節Ｊ６、関節Ｊ１８、関節Ｊ１９及び関節Ｊ２０の表示色が他の関節の表示色とは異なる表示色に設定されている。さらに、骨Ｂ１～骨Ｂ１７のうち、移動量の減算値が閾値以上である骨Ｂ３、骨Ｂ４、骨Ｂ１６および骨Ｂ１７の表示色が他の骨の表示色とは異なる表示色に設定されている。

【0072】

このように、骨格部位の移動量から３次元骨格モデルＭ２全体の重心の移動量が減算された減算値が閾値以上である骨格部位に強調表示のエフェクトを設定することで、他の部位に比べて移動量が相対的に大きい骨格部位の識別を容易化できる。例えば、卓球の例で言えば、ラケットをスイングする場面等で動きが激しい骨格部位を識別することで、フォームの評価や解析などを支援することができる。

【0073】

なお、ここでは、動きの指標のあくまで一例として、骨格部位の移動量を例に挙げたが、これに限定されない。例えば、所定数のフレームにおける移動量から単位時間、例えば１フレームあたりの移動量の変化を計算することにより骨格部位ごとに速度を算出することができる。また、所定数のフレームにおける速度から単位時間、例えば１フレームあたりの速度の変化を計算することにより骨格部位ごとに加速度を算出することができる。これら速度や加速度を上記の強調表示のエフェクトの設定に用いることができる。

【0074】

また、ここでは、骨格部位の動きの変化に応じて強調表示のエフェクトを設定する例を挙げたが、骨格部位の動きの変化に応じて異なる色または異なる面積のヒートマップのエフェクトを設定することもできる。また、逆に、骨格部位の位置に応じて強調表示のエフェクトを設定することもできる。

【0075】

さらに、ここでは、関節や骨の表示色を変更する例を挙げたが、関節の球のサイズや骨の円柱の太さ、あるいはヒートマップの面積を変更するエフェクトを設定してもよい。例えば、移動量が大きくなるに連れて骨格部位に対応する関節の球のサイズ、骨の円柱の太さまたはヒートマップの面積を大きく設定したり、移動量が小さくなるに連れて骨格部位に対応する関節の球のサイズ、骨の円柱の太さまたはヒートマップの面積を小さく設定したりすることができる。

【0076】

＜２－２．サーバ装置の処理手順＞
図９は、第２の実施形態に係る画像生成処理の手順を示すフローチャートである。この処理は、あくまで一例として、カメラ３０から撮像画像の取得が終了するまで継続して行うことができる。

【0077】

図９に示すように、取得部１５Ａにより各視点の撮像画像が取得されるまで（ステップＳ１０１Ｎｏ）、ステップＳ１０２の処理を待機する。そして、取得部１５Ａにより各視点の撮像画像が取得された場合（ステップＳ１０１Ｙｅｓ）、推定部１５Ｂは、各視点の撮像画像に基づいて３次元骨格を推定する（ステップＳ１０２）。

【0078】

そして、設定部２５Ａは、ステップＳ１０２で推定された３次元の骨格の部位や移動量に基づいてヒートマップのエフェクトや強調表示のエフェクトを設定する（ステップＳ２０１）。

【0079】

その後、生成部１５Ｃは、ステップＳ１０２で推定された３次元の骨格がモデル化された３次元骨格モデルを生成する（ステップＳ１０３）。その上で、生成部１５Ｃは、ステップＳ２０１で設定されたエフェクトをステップＳ１０３で生成された３次元骨格モデルに付加する（ステップＳ２０２）。このようにステップＳ２０２の処理が行われた後、ステップＳ１０１の処理へ移行する。

【0080】

＜２－３．効果の一面＞
上述してきたように、本開示のサーバ装置２０は、上記の画像生成サービスの一環として、３次元の骨格の部位や移動量に基づいてヒートマップのエフェクトや強調表示のエフェクトを設定する。したがって、本開示のサーバ装置２０によれば、映像の評価や解析等の目的に応じて骨格部位の視認性を高めることが可能である。

【0081】

＜＜３．応用例＞＞
以下、第１の実施形態および第２の実施形態の応用例について例示する。

【0082】

＜３－１．ＣＧキャラクタモデル＞
第１の実施形態および第２の実施形態では、３次元骨格モデルを生成してクライアント端末５０に表示させる例を挙げたが、３次元骨格モデルの代わりに、ＣＧキャラクタモデルを生成することもできる。図１０は、ＣＧキャラクタモデルの一例を示す図である。図１０に示すように、ＣＧ画像２１０には、３次元骨格モデルＭ１に対応するＣＧキャラクタモデルＣＧ１と、３次元骨格モデルＭ２に対応するＣＧキャラクタモデルＣＧ２とがレンダリングされる。これらＣＧキャラクタモデルＣＧ１及びＣＧキャラクタモデルＣＧ２の表示により、状況理解や視聴効果を向上させることができる。

【0083】

また、３次元骨格モデルとＣＧキャラクタモデルとを並列して表示し、視点移動も連動させることもできる。これにより、状況理解（骨格モデルが分かりやすい）と仕上りの確認（ＣＧキャラ）を両立させることもができる。この他、実写のカメラ視点、例えばカメラ３０Ａ～３０Ｎのいずれかの視点でＣＧキャラクタモデルを描画することで、実写と比較を容易化し、もって状況理解の効果が向上させることができる。

【0084】

＜３－２．個人識別との連動＞
例えば、サーバ装置１０やサーバ装置２０は、撮像画像に含まれる人物に顔認証や虹彩認証などの認証処理を実行することにより個人を識別する。その上で、サーバ装置１０やサーバ装置２０は、ＣＧキャラクタモデルやエフェクトの個人設定を参照して、認証処理の結果として識別された個人に対応する個人設定にしたがってＣＧキャラクタモデルやエフェクトを選択することができる。

【0085】

＜３－３．骨格推定精度の可視化＞
第２の実施形態では、骨格部位の識別にヒートマップの表示を用いる例を挙げたが、骨格部位における３次元骨格の推定結果の確信度に応じてヒートマップの色または大きさを変更することができる。例えば、推定結果の確信度が高いほど、骨格部位のヒートマップの色の彩度を上げたり、骨格部位のヒートマップの面積を大きくしたりすることができる。また、推定結果の確信度が低いほど、骨格部位のヒートマップの色の彩度を下げたり、骨格部位のヒートマップの面積を小さくしたりすることができる。これにより、３次元骨格モデル上で３次元骨格の推定精度を可視化できる。

【0086】

＜３－４．骨格部位の軌跡＞
第１の実施形態および第２の実施形態では、取得部１５Ａにより最新の撮像画像が取得されたフレームに絞って骨格部位をモデル化する例を挙げたが、過去の所定数のフレームに跨がって骨格部位の位置をモデル化することもできる。

【0087】

図１１及び図１２は、骨格部位の位置の軌跡の一例を示す図である。図１１には、取得部１５Ａにより最新の撮像画像が取得されたｔ番目のフレームからＮフレーム前のｔ－Ｎ番目のフレームにおけるカメラ３０Ａ～３０Ｃの３つの撮像画像にｔ－Ｎ番目のフレームにおける骨格部位の位置が重畳された重畳画像６０Ａ～６０Ｃが示されている。これら重畳画像６０Ａ～６０Ｃの右側に並べて、ｔ番目のフレームにおけるカメラ３０Ａ～３０Ｃの３つの撮像画像にｔ－Ｎ番目からｔ番目までのＮ個のフレームにおける骨格部位の位置の軌跡が重畳された重畳画像８０Ａ～８０Ｃが示されている。また、図１２には、ｔ番目のフレームにおける俯瞰視点（仮想視点）の撮像画像にｔ－Ｎ番目からｔ番目までのＮ個のフレームにおける骨格部位の位置の軌跡が重畳された重畳画像８０Ｖが示されている。さらに、図１１に示す重畳画像８０Ａ～８０Ｃ及び図１２に示す重畳画像８０Ｖでは、ｔ番目のフレームにおける３次元骨格モデル全体の重心の移動量が減算された減算値が閾値以上である関節に絞ってＮ個のフレームにおける関節の位置の軌跡が重畳されており、他の骨格部位についてはｔ番目のフレームにおける骨格部位の位置のみが重畳されている。

【0088】

ここで、重畳画像８０Ａ～８０Ｃや重畳画像８０ＶでＮ個のフレームにおける関節の位置の軌跡が重畳される場合、ｔ番目のフレーム以外の過去のフレームにおける関節の球はｔ番目のフレームにおける関節の球の半径よりも小さい半径が設定される。すなわち、同一の関節については、ｔ番目のフレームにおける関節の球の半径を最大値とし、ｔ番目のフレームから過去のフレームに遡るに連れてｔ番目のフレームにおける関節の球の半径を単調減少させることによりＮ個のフレームの関節の球の半径を設定する。この他、ｔ番目のフレームから過去のフレームに遡るに連れてｔ番目のフレームにおける関節よりも輝度や彩度を単調減少させたり、透明度を単調増加させたりすることもできる。

【0089】

このようにして生成される重畳画像８０Ａ～８０Ｃや重畳画像８０Ｖによれば、骨格部位の位置の軌跡を可視化できる。さらに、ｔ番目のフレームから過去のフレームに遡るに連れてｔ番目のフレームにおける関節の球の半径を単調減少させるので、骨格部位の位置の時系列変化がより識別しやすくなる。なお、ここでは、関節の位置の軌跡を生成する例を挙げたが、同様の方法で骨の位置の軌跡やヒートマップの位置の軌跡を生成することができるのは言うまでもない。

【0090】

＜＜４．変形例＞＞
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0091】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【0092】

また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

【0093】

＜＜５．ハードウェア構成＞＞
上述してきた各実施形態に係るサーバ装置１０は、例えば図１３に示すような構成のコンピュータ１０００によって実現される。以下、上述の実施形態に係るサーバ装置１０またはサーバ装置２０を例に挙げて説明する。図１３は、コンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

【0094】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

【0095】

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0096】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る開発支援プログラムを記録する記録媒体である。

【0097】

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

【0098】

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0099】

例えば、コンピュータ１０００が上述の実施形態に係るサーバ装置１０またはサーバ装置２０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像生成プログラムを実行することにより、制御部１５に含まれる各機能部を実現する。また、ＨＤＤ１４００には、本開示に係る画像生成プログラムや、コンテンツ記憶部１２１内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

【0100】

なお、本技術は以下のような構成も取ることができる。
（１）
複数の視点の撮像画像に基づいて３次元の骨格を推定する推定部と、
前記３次元の骨格がモデル化された骨格モデルを生成する生成部と、
を備える情報処理装置。
（２）
前記生成部は、前記３次元の骨格のうち関節を球状にモデル化すると共に骨を円柱状にモデル化する、
前記（１）に記載の情報処理装置。
（３）
前記生成部は、前記複数の視点のうちいずれかの視点または仮想視点と、前記関節または前記骨との距離に基づいて前記関節の球の半径または前記骨の円柱の半径を設定する、
前記（２）に記載の情報処理装置。
（４）
前記生成部は、前記距離が小さくなるに連れて前記関節の球の半径または前記骨の円柱の半径を大きく設定するか、あるいは前記距離が大きくなるに連れて前記関節の球の半径または前記骨の円柱の半径を小さく設定する、
前記（３）に記載の情報処理装置。
（５）
前記骨格モデルは、前記複数の視点または仮想視点の撮像画像に関連付けて表示される、
前記（１）に記載の情報処理装置。
（６）
前記骨格モデルは、前記骨格モデルと同一のフレームの撮像画像と左右または上下に並べて表示される、
前記（５）に記載の情報処理装置。
（７）
前記骨格モデルは、前記骨格モデルと同一のフレームの撮像画像に重畳して表示される、
前記（５）に記載の情報処理装置。
（８）
前記撮像画像は、輝度または彩度を減少させるか、あるいは透明度を増加して表示される、
前記（７）に記載の情報処理装置。
（９）
前記骨格モデルにエフェクトを設定する設定部をさらに備える、
前記（２）に記載の情報処理装置。
（１０）
前記設定部は、前記関節または前記骨を覆うヒートマップのエフェクトを設定する、
前記（９）に記載の情報処理装置。
（１１）
前記設定部は、前記関節または前記骨の位置に応じて異なる色または異なる面積のヒートマップを設定する、
前記（１０）に記載の情報処理装置。
（１２）
前記設定部は、前記関節または前記骨の骨格部位の移動量、速度または加速度に応じて異なる色または異なる面積のヒートマップを設定する、
前記（１０）に記載の情報処理装置。
（１３）
前記設定部は、前記関節または前記骨の骨格部位における３次元の骨格の推定結果の確信度に応じて異なる色または異なる面積のヒートマップを設定する、
前記（１０）に記載の情報処理装置。
（１４）
前記設定部は、前記関節または前記骨の骨格部位を強調表示するエフェクトを設定する、
前記（９）に記載の情報処理装置。
（１５）
前記設定部は、前記関節または前記骨の骨格部位の移動量、速度または加速度に応じて異なる表示色を設定する、
前記（１４）に記載の情報処理装置。
（１６）
前記設定部は、前記関節または前記骨の骨格部位のうち移動量、速度または加速度が所定の閾値以上である骨格部位を強調表示するエフェクトを設定する、
前記（１４）に記載の情報処理装置。
（１７）
前記設定部は、前記関節または前記骨の骨格部位の移動量から前記骨格モデルの重心の移動量が減算された減算値が所定の閾値以上である骨格部位を強調表示するエフェクトを設定する、
前記（１６）に記載の情報処理装置。
（１８）
前記生成部は、前記撮像画像が取得された最新のフレームから過去の所定数のフレームに跨がって前記関節または前記骨の骨格部位の位置の軌跡をモデル化する、
前記（２）に記載の情報処理装置。
（１９）
前記生成部は、前記最新のフレーム以外の過去のフレームにおける関節の球の半径または骨の円柱の半径を前記最新のフレームにおける関節の球の半径または骨の円柱の半径よりも小さい半径を設定する、
前記（１８）に記載の情報処理装置。
（２０）
前記生成部は、前記最新のフレームにおける関節の球の半径または骨の円柱の半径を最大値とし、前記最新のフレームから過去のフレームに遡るに連れて前記最新のフレームにおける関節の球の半径または骨の円柱の半径を単調減少させることにより過去のフレームの関節の球の半径または骨の円柱の半径を設定する、
前記（１９）に記載の情報処理装置。
（２１）
複数の視点の撮像画像に基づいて３次元の骨格を推定し、
前記３次元の骨格がモデル化された骨格モデルを生成する、
処理をコンピュータが実行する情報処理方法。
（２２）
複数の視点の撮像画像に基づいて３次元の骨格を推定し、
前記３次元の骨格がモデル化された骨格モデルを生成する、
処理をコンピュータに実行させる情報処理プログラム。

【符号の説明】

【0101】

１ システム
１０ サーバ装置
１１ 通信インターフェイス
１３ 記憶部
１３Ａ カメラパラメータ
１３Ｂ ３次元骨格データ
１５ 制御部
１５Ａ 取得部
１５Ｂ 推定部
１５Ｃ 生成部
３０Ａ，３０Ｂ，３０Ｎ カメラ
５０ クライアント端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】