ホーム > 特許ランキング > ｍｉｒｒｏｒＸ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024136478
(43)【公開日】2024-10-04
(54)【発明の名称】プログラム、情報処理装置及び方法
(51)【国際特許分類】
G06F 3/0482 20130101AFI20240927BHJP
G06F 3/04817 20220101ALI20240927BHJP
G06F 3/01 20060101ALI20240927BHJP
【ＦＩ】
G06F3/0482
G06F3/04817
G06F3/01 570
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023047607
(22)【出願日】2023-03-24
(11)【特許番号】
(45)【特許公報発行日】2023-11-27
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ウェブサイトによる発表（１）２０２２年１２月１４日＿ｈｔｔｐｓ：／／ｗｗｗ．ｘｒｋａｉｇｉ．ｃｏｍ／ｐａｇｅｓ／ｆｕｔｕｒｅ＿ｐｉｔｃｈ（２）２０２２年１２月１６日＿ｈｔｔｐｓ：／／ｍｉｒｏｘ．ｊｉｍｄｏｓｉｔｅ．ｃｏｍ／％Ｅ３％８１％８Ａ％Ｅ７％９Ｆ％Ａ５％Ｅ３％８２％８９％Ｅ３％８１％９Ｂ／（３）２０２３年１月５日＿ｈｔｐｐｓ：／／ａｐｐｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／ｍｉｒｒｏｘ／ｉｄｌ６２１９６８７２２（４）２０２３年１月５日＿ｈｔｔｐｓ：／／ｐｒｔｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００００１．０００１１４４２５．ｈｔｍｌ（５）２０２３年１月４日＿ｈｔｔｐｓ：／／ｙｏｕｔｕ．ｂｅ／２ｏＴｗＸＡ＿ｋｓＺＩ
(71)【出願人】
【識別番号】521239026
【氏名又は名称】ｍｉｒｒｏｒＸ株式会社
(74)【代理人】
【識別番号】110002815
【氏名又は名称】ＩＰＴｅｃｈ弁理士法人
(72)【発明者】
【氏名】川▲崎▼ 剛
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA11
5E555AA27
5E555AA76
5E555BA04
5E555BB04
5E555BE17
5E555CA42
5E555CB34
5E555CB66
5E555CC01
5E555CC03
5E555DB06
5E555DB14
5E555DB18
5E555DC19
5E555EA22
5E555FA00
(57)【要約】 （修正有）
【課題】仮想空間上で各種サービスの提供を受けるための操作を容易にするプログラム、情報処理装置及び方法を提供する。
【解決手段】アバターサービス提供システムにおいて、端末装置１０による方法は、人物をカメラで撮影した撮影画像を取得し、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定し、特定した骨格情報から、人物の動作を検出し、画面上に、人物の手に対応し、画面上における位置を示すポインタを表示させるポインタ制御処理と、検出した人物の第１の動作に応じて、画面上に複数の所定のアイコンを表示させＳ３１１、検出した人物の、第２の動作に応じて、複数のアイコンを画面上で移動させＳ３１２、人物の手の動作に応じて、手の動作に合わせてポインタを動かしＳ３１３、複数のアイコンのうちの１のアイコンとの位置に応じて、アイコンに関連付けられた機能を実行させるＳ３１４アイコン制御処理と、を行う。
【選択図】図７
【解決手段】アバターサービス提供システムにおいて、端末装置１０による方法は、人物をカメラで撮影した撮影画像を取得し、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定し、特定した骨格情報から、人物の動作を検出し、画面上に、人物の手に対応し、画面上における位置を示すポインタを表示させるポインタ制御処理と、検出した人物の第１の動作に応じて、画面上に複数の所定のアイコンを表示させＳ３１１、検出した人物の、第２の動作に応じて、複数のアイコンを画面上で移動させＳ３１２、人物の手の動作に応じて、手の動作に合わせてポインタを動かしＳ３１３、複数のアイコンのうちの１のアイコンとの位置に応じて、アイコンに関連付けられた機能を実行させるＳ３１４アイコン制御処理と、を行う。
【選択図】図７
【特許請求の範囲】
【請求項1】
プロセッサと、メモリとを備えるコンピュータに実行させ、画面上に表示させる画像を生成するためのプログラムであって、
前記プログラムは、前記プロセッサに、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行させる、プログラム。
前記プログラムは、前記プロセッサに、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行させる、プログラム。
【請求項2】
前記画面上に複数のアイコンを表示させるステップにおいて、前記画面上に、前記複数のアイコンのうちの１のアイコンのみを選択可能に表示させ、
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを移動させて選択可能な前記１のアイコンを変更する、請求項１に記載のプログラム。
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを移動させて選択可能な前記１のアイコンを変更する、請求項１に記載のプログラム。
【請求項3】
前記画面上に複数のアイコンを表示させるステップにおいて、前記画面上に、前記人物を含む仮想空間を表示させ、前記仮想空間に前記複数のアイコンが存在するように表示させ、
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記仮想空間における前記複数のアイコンを前記仮想空間上で移動させる、請求項２に記載のプログラム。
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記仮想空間における前記複数のアイコンを前記仮想空間上で移動させる、請求項２に記載のプログラム。
【請求項4】
前記画面上に複数のアイコンを表示させるステップにおいて、前記仮想空間において、前記人物を中心として環状に前記複数のアイコンが存在するように表示させ、
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記仮想空間における前記複数のアイコンを前記環状に沿って移動させ、選択可能な前記１のアイコンを変更する、請求項３に記載のプログラム。
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記仮想空間における前記複数のアイコンを前記環状に沿って移動させ、選択可能な前記１のアイコンを変更する、請求項３に記載のプログラム。
【請求項5】
前記第１の動作は、前記人物による両手を上げる動作、及び手を叩く動作を含む、請求項１から請求項４のいずれか１項に記載のプログラム。
【請求項6】
前記第２の動作は、前記人物による上半身を捻る動作、及び両手を同時に所定の方向に動かす動作を含む、請求項１から請求項４のいずれか１項に記載のプログラム。
【請求項7】
制御部と、記憶部とを備え、画面上に表示させる画像を生成する情報処理装置であって、
前記制御部は、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行する、情報処理装置。
前記制御部は、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行する、情報処理装置。
【請求項8】
プロセッサと、メモリとを備えるコンピュータに実行され、画面上に表示させる画像を生成するための方法であって、
前記方法は、前記プロセッサが、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行する、方法。
前記方法は、前記プロセッサが、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、情報処理装置及び方法に関する。
【背景技術】
【0002】
昨今、スマートフォン等の携帯端末が備えるカメラを利用して人物を撮影し、仮想空間において撮影された人物に関連付けられたキャラクタであるアバターを表示し、仮想空間上で各種サービスを提供することが行われている。このようなサービスは、実際の人物の外観を表示させずに各種サービスを提供するため、当該人物の外観を不特定のユーザに晒すことなく各種サービスの提供を受けることが可能であるため、一定のユーザにより利用されている。
【0003】
特許文献１には、ユーザーアカウントに関連したアバター情報および骨格情報に基づいて人物オブジェクトがアバターに代替された合成画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－１５７８００号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、仮想空間において、携帯端末で撮影された人物のアバターをリアルタイムで表示し、仮想空間上で各種サービスの提供を受ける場合、他の者により携帯端末を操作して当該各種サービスの提供を開始する、終了する等の操作をするか、当該人物が自身で携帯端末またはコントローラ等を操作する必要があった。そのため、このようなサービスの提供を受けるために煩わしい操作が必要となり、没入感やアバターとの一体感を喪失させていた。
【0006】
そこで、本開示では、仮想空間上で各種サービスの提供を受けるための操作を容易にする技術について説明する。
【課題を解決するための手段】
【0007】
本開示の一実施の形態によると、プロセッサと、メモリとを備えるコンピュータに実行させ、画面上に表示させる画像を生成するためのプログラムが提供される。プログラムは、プロセッサに、動いている人物をカメラで撮影した撮影画像を取得するステップと、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップと、特定した骨格情報から、人物の動作を検出するステップと、画面上に、人物の手に対応し、画面上における位置を示すポインタを表示させるステップと、検出した人物の第１の動作に応じて、画面上に複数の所定のアイコン（例えば、アイコンボタン）を表示させるステップと、検出した人物の、第１の動作とは異なる第２の動作に応じて、画面上に表示されている複数のアイコンを画面上で移動させるステップと、検出した人物の動作から抽出した人物の手の動作に応じて、人物の手の動作に合わせてポインタを動かすように制御するステップと、ポインタの動作を検出し、ポインタと、複数のアイコンのうちの１のアイコンとの位置に応じて、１のアイコンに関連付けられた機能を実行させるステップと、を実行させる。
【発明の効果】
【0008】
本開示によれば、撮影した人物の動作に応じて複数の所定のアイコンを表示させ、画面上で移動させる。人物の手の動作に合わせてポインタを動かすように制御し、ポインタと１のアイコンとの位置に応じて当該アイコンに関連付けられた機能を実行させる。これにより、仮想空間上で各種サービスの提供を受けるための操作を容易にし、没入感やアバターとの一体感を喪失することなく各種サービスの提供を受けることが可能になる。
【図面の簡単な説明】
【0009】
【図1】本開示に係るアバターサービス提供システムの概略を示す構成図である。
【図2】実施の形態のアバターサービス提供システム１の全体の構成を示す構成図である。
【図3】本実施の形態のアバターサービス提供システム１を構成する端末装置１０の機能的な構成を示すブロック図である。
【図4】本実施の形態のアバターサービス提供システム１を構成するサーバ２０の機能的な構成を示すブロック図である。
【図5】本実施の形態のアバターサービス提供システム１によるユーザ認証処理を行う流れの一例を示すフローチャートである。
【図6】本実施の形態のアバターサービス提供システム１によるポインタ制御処理を行う流れの一例を示すフローチャートである。
【図7】本実施の形態のアバターサービス提供システム１によるアイコン制御処理を行う流れの一例を示すフローチャートである。
【図8】表示画面３０にポインタ３１Ｌ，３１Ｒが表示された画面例を示す図である。
【図9】表示画面３０にアイコン３２Ａ，３２Ｂ，３２Ｃが表示された画面例を示す図である。
【図10】仮想空間ＶＲにおける人物Ｈとアイコン３２Ａ～３２Ｆとの仮想的な位置関係を示す図である。
【図11】表示画面３０に表示されたアイコン３２Ｂが選択された画面例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。従って、それらについての詳細な説明は繰り返さない。
【0011】
＜概要＞
以下、本開示に係るアバターサービス提供システムについて説明する。このアバターサービス提供システムは、スマートフォン等の携帯端末が備えるカメラを利用して人物を撮影し、仮想空間において撮影された人物に関連付けられたキャラクタであるアバターを表示し、仮想空間上で各種サービスを提供するするためのシステムである。仮想空間上で提供される各種サービスとは、例えば、アバターをユーザの動きにより操作して行うゲームのようなエンターテインメント、複数のアバターをそれぞれのユーザの動きにより表示させて行うオンラインフィットネスサービス、複数のアバターによるコミュニケーションサービス等が挙げられる。本開示に係るアバターサービス提供システムは、このようなユーザを投影したアバターを介して行う各種サービスを、例えばＷｅｂサービスとして提供するシステムであり、クラウドサーバ等によりＷｅｂサービスとして、いわゆるＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）によって提供されるシステムである。また、アバターサービス提供システムは、このようなユーザを投影したアバターを介して行う各種サービスを、例えばスマートフォン等の携帯端末によって（Ｗｅｂサーバを介してもよく、介さなくてもよい）提供されるシステムである。
以下、本開示に係るアバターサービス提供システムについて説明する。このアバターサービス提供システムは、スマートフォン等の携帯端末が備えるカメラを利用して人物を撮影し、仮想空間において撮影された人物に関連付けられたキャラクタであるアバターを表示し、仮想空間上で各種サービスを提供するするためのシステムである。仮想空間上で提供される各種サービスとは、例えば、アバターをユーザの動きにより操作して行うゲームのようなエンターテインメント、複数のアバターをそれぞれのユーザの動きにより表示させて行うオンラインフィットネスサービス、複数のアバターによるコミュニケーションサービス等が挙げられる。本開示に係るアバターサービス提供システムは、このようなユーザを投影したアバターを介して行う各種サービスを、例えばＷｅｂサービスとして提供するシステムであり、クラウドサーバ等によりＷｅｂサービスとして、いわゆるＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）によって提供されるシステムである。また、アバターサービス提供システムは、このようなユーザを投影したアバターを介して行う各種サービスを、例えばスマートフォン等の携帯端末によって（Ｗｅｂサーバを介してもよく、介さなくてもよい）提供されるシステムである。
【0012】
図１は、本開示に係るアバターサービス提供システムの概略を示す構成図である。図１に示すように、アバターサービス提供システムは、スマートフォン等の端末装置１０と、表示画面３０とを含む。端末装置１０は、スマートフォン、タブレット等の携帯端末である。表示画面３０は、ディスプレイ、テレビジョン、プロジェクタ等の画像表示装置であり、一定の離れた位置で見ることが可能な大きさに構成されている。端末装置１０のディスプレイ１３２には仮想空間が表示されており、端末装置１０で人物Ｈを撮影すると、端末装置１０のディスプレイ１３２に表示されている仮想空間上に、人物Ｈに関連付けられたキャラクタであるアバターＡが表示される。また、表示画面３０にも、仮想空間とアバターＡが表示される。アバターＡは、人物Ｈの身体の動きに対応して動くように構成されており、アバターＡの動きにより各種サービスが提供される。さらに、アバターＡの情報はＷｅｂサーバ等により共有されてもよく、共有されている複数のアバターＡが表示画面３０に表示されて各種サービスが提供されてもよい。
【0013】
ここで、端末装置１０で人物Ｈの身体の動きを撮影しようとすると、人物Ｈから一定の離隔した距離で撮影する必要がある。その状態で、各種サービスの提供を開始するためには端末装置１０を操作する必要があり、人物Ｈが１人で行っている場合、人物Ｈが端末装置１０の位置まで移動して端末装置１０を操作し、各種サービスの提供を開始させ、さらに端末装置１０から離隔した位置に戻る必要があり、人物Ｈにとって煩わしい操作が必要となっていた。
【0014】
そのため、本開示に係るアバターサービス提供システムでは、各種サービスの提供開始前の状態で、手の形状を模したポインタを表示させて人物Ｈの手の動作に合わせてポインタを動かすように制御し、ポインタの動作により各種サービスの提供を開始できるようにしている。例えば、表示画面３０に各種サービスの提供を開始させるためのアイコンを表示させ、ポインタの動作によりアイコンを選択し、実行させることが可能になるように構成している。そのため、人物Ｈは端末装置１０の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。これにより、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。
【0015】
また、本開示に係るアバターサービス提供システムでは、人物Ｈの所定の動作（第１の動作）に応じて複数の所定のアイコンを表示させ、人物Ｈの所定の動作（第２の動作）に応じて複数の所定のアイコンを画面上で移動させる。そして、複数のアイコンのうちの１のアイコンを選択可能とし、そのアイコンがポインタにより選択されると、アイコンに関連付けられた機能を実行させるようにしている。具体的には、表示画面３０に各種サービスの提供を開始するためのアイコンが複数表示され、人物Ｈの所定の動作（第２の動作）に応じて複数のアイコン全体をスクロールさせる。それらのアイコンのうちの１のアイコンが人物Ｈの正面に表示されたときに当該アイコンを選択可能としている。これにより、煩わしい操作を不要にし、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。
【0016】
＜実施の形態＞
以下、アバターサービス提供システム１について説明する。以下の説明では、例えば、端末装置１０がサーバ２０へアクセスすることにより、サーバ２０が、端末装置１０で画面を生成するための情報を応答する。端末装置１０は、サーバ２０から受信した情報に基づいて画面を生成し表示する。
以下、アバターサービス提供システム１について説明する。以下の説明では、例えば、端末装置１０がサーバ２０へアクセスすることにより、サーバ２０が、端末装置１０で画面を生成するための情報を応答する。端末装置１０は、サーバ２０から受信した情報に基づいて画面を生成し表示する。
【0017】
＜１ アバターサービス提供システム１の全体構成＞
図２は、アバターサービス提供システム１の全体の構成を示す構成図である。図２に示すように、アバターサービス提供システム１は、複数の端末装置（図２では、端末装置１０Ａ及び端末装置１０Ｂを示している。以下、総称して「端末装置１０」ということもある）と、サーバ２０とを含む。端末装置１０とサーバ２０とは、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、有線または無線ネットワークにより構成される。
図２は、アバターサービス提供システム１の全体の構成を示す構成図である。図２に示すように、アバターサービス提供システム１は、複数の端末装置（図２では、端末装置１０Ａ及び端末装置１０Ｂを示している。以下、総称して「端末装置１０」ということもある）と、サーバ２０とを含む。端末装置１０とサーバ２０とは、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、有線または無線ネットワークにより構成される。
【0018】
端末装置１０は、各ユーザが操作する装置である。端末装置１０は、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末等により実現される。この他、端末装置１０は、例えば持ち運び可能なノートＰＣ（Personal Computer）、ラップトップＰＣであるとしてもよい。端末装置１０を操作するユーザとは、アバターサービス提供システム１において仮想空間上にアバターを表示させて各種サービスの提供を受ける者であり、例えば、アバターサービス提供システム１に会員登録している者である。
【0019】
端末装置１０は、ネットワーク８０を介してサーバ２０と通信可能に接続される。端末装置１０は、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等の通信規格に対応した無線基地局８１、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１等の無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ８２等の通信機器と通信することにより、ネットワーク８０に接続される。図２に端末装置１０Ｂとして示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、記憶部１６と、プロセッサ１９とを備える。
【0020】
通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、タッチパネルや、タッチパッド、キーボード、マウス等のポインティングデバイス等）である。出力装置１４は、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）である。メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。記憶部１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
【0021】
サーバ２０は、ユーザから各種サービスの提供を受けるための入力を受け付け、仮想空間上にアバターを表示して仮想空間上で各種サービスを提供するサービスをＷｅｂサービスとして配信して提供する装置である。なお、アバターサービス提供システム１は、端末装置１０のみで各種サービスを提供してもよく、この場合、サーバ２０は必須の構成ではない。
【0022】
サーバ２０は、ネットワーク８０に接続されたコンピュータである。サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。
【0023】
通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
【0024】
＜１．１ 端末装置１０の構成＞
図３は、本実施の形態のアバターサービス提供システム１を構成する端末装置１０の機能的な構成を示すブロック図である。図３に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０（タッチ・センシティブ・デバイス１３１及びディスプレイ１３２を含む）と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、位置情報センサ１５０と、カメラ１６０と、記憶部１７０と、制御部１８０とを含む。端末装置１０は、図３では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路等）も有している。図３に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。
図３は、本実施の形態のアバターサービス提供システム１を構成する端末装置１０の機能的な構成を示すブロック図である。図３に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０（タッチ・センシティブ・デバイス１３１及びディスプレイ１３２を含む）と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、位置情報センサ１５０と、カメラ１６０と、記憶部１７０と、制御部１８０とを含む。端末装置１０は、図３では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路等）も有している。図３に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。
【0025】
アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。
【0026】
アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。
【0027】
第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理等を行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理等を行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路等を含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１８０へ与える。
【0028】
操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、タッチスクリーンとして構成され、タッチ・センシティブ・デバイス１３１と、ディスプレイ（画面）１３２とを含む。なお、操作受付部１３０は、例えばキーボードやマウス等により構成してもよい。
【0029】
タッチ・センシティブ・デバイス１３１は、端末装置１０のユーザの入力操作を受け付ける。タッチ・センシティブ・デバイス１３１は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する。タッチ・センシティブ・デバイス１３１は、タッチパネルにより検出したユーザの接触位置を示す信号を入力操作として制御部１８０へ出力する。
【0030】
ディスプレイ１３２は、制御部１８０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１３２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。
【0031】
音声処理部１４０は、音声信号の変復調を行う。音声処理部１４０は、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１８０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。
【0032】
位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。
【0033】
カメラ１６０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ１６０は、例えば、カメラ１６０から撮影対象までの距離を検出できる深度カメラである。
【0034】
記憶部１７０は、例えばフラッシュメモリ等により構成され、端末装置１０が使用するデータ及びプログラムを記憶する。ある局面において、記憶部１７０は、ユーザ情報１７１を記憶する。
【0035】
ユーザ情報１７１は、端末装置１０を使用してアバターサービス提供システム１の機能である、仮想空間上にアバターを表示させて各種サービスの提供を受けるユーザの情報である。ユーザの情報としては、ユーザを識別する情報（ユーザＩＤ）やパスワード、ユーザの氏名や名称、仮称等の情報、アバターの画像情報等が含まれる。
【0036】
制御部１８０は、記憶部１７０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１８０は、例えば予め端末装置１０にインストールされているアプリケーションである。制御部１８０は、プログラムに従って動作することにより、入力操作受付部１８１と、送受信部１８２と、通知制御部１８３と、データ処理部１８４としての機能を発揮する。
【0037】
入力操作受付部１８１は、タッチ・センシティブ・デバイス１３１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。入力操作受付部１８１は、タッチ・センシティブ・デバイス１３１に対してユーザが自己の指等を接触させた座標の情報に基づき、ユーザの操作がフリック操作であるか、タップ操作であるか、ドラッグ（スワイプ）操作であるか等の操作の種別を判定する。また、入力操作受付部１８１は、マイク１４１からのユーザの音声を受け付ける処理を行う。
【0038】
送受信部１８２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。
【0039】
通知制御部１８３は、ユーザに対し情報を提示する処理を行う。通知制御部１８３は、表示画像をディスプレイ１３２に表示させる処理、音声をスピーカ１４２に出力させる処理、振動をカメラ１６０に発生させる処理等を行う。
【0040】
データ処理部１８４は、端末装置１０が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。
【0041】
また、データ処理部１８４は、端末装置１０のプロセッサ１９がプログラムに従って処理を行うことにより、各種モジュールとして、動いている人物をカメラで撮影した撮影画像を取得し、取得した撮影画像を解析して解析結果に基づき人物の骨格情報を特定し、特定した骨格情報から人物の動作を検出し、ディスプレイ１３２の画面上に、人物の手に対応して画面上における位置を示すポインタを表示させ、検出した人物の第１の動作に応じて画面上に複数の所定のアイコンを表示させ、検出した人物の第２の動作に応じて画面上に表示されている複数のアイコンを画面上で移動させ、検出した人物の動作から抽出した人物の手の動作に応じて人物の手の動作に合わせてポインタを動かすように制御し、ポインタの動作を検出し、ポインタと、複数のアイコンのうちの１のアイコンとの位置に応じて、１のアイコンに関連付けられた機能を実行させる機能を発揮する。さらに、データ処理部１８４は、複数のアイコンのうちの１のアイコンのみを選択可能に表示させ、第２の動作に応じて画面上に表示されている複数のアイコンを移動させることで選択可能なアイコンを変更するように構成してもよい。
【0042】
＜１．２ サーバ２０の機能的な構成＞
図４は、本実施の形態のアバターサービス提供システム１を構成するサーバ２０の機能的な構成を示すブロック図である。図４に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。
図４は、本実施の形態のアバターサービス提供システム１を構成するサーバ２０の機能的な構成を示すブロック図である。図４に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。
【0043】
通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。
【0044】
記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、ユーザデータベース２０２１等を記憶する。
【0045】
ユーザデータベース２０２１は、アバターサービス提供システム１において、仮想空間上にアバターを表示させて各種サービスの提供を受けるユーザに関する情報を保持するためのデータベースである。ユーザに関する情報としては、ユーザを識別する情報（ユーザＩＤ）やパスワード、ユーザの氏名や名称、仮称等の情報、アバターの画像情報等が含まれる。
【0046】
制御部２０３は、サーバ２０のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして受信制御モジュール２０３１、送信制御モジュール２０３２、ユーザ認証モジュール２０３３に示す機能を発揮する。
【0047】
受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
【0048】
送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
【0049】
ユーザ認証モジュール２０３３は、サーバ２０にアクセスするユーザが正当なユーザであることを認証する処理を制御する。ユーザ認証モジュール２０３３によるユーザの認証は、例えば、ユーザＩＤが登録されていること、当該ユーザＩＤのパスワードとして登録されているパスワードと同一のパスワードが入力されたこと、等により行われる。
【0050】
＜２ 動作＞
以下、図５ないし図７を参照しながら、第１の実施の形態におけるアバターサービス提供システム１により実行させるプログラム、及び方法であるユーザ認証処理、ポインタ移動処理、及びアイコン制御処理について説明する。
以下、図５ないし図７を参照しながら、第１の実施の形態におけるアバターサービス提供システム１により実行させるプログラム、及び方法であるユーザ認証処理、ポインタ移動処理、及びアイコン制御処理について説明する。
【0051】
図５は、本実施の形態のアバターサービス提供システム１によるユーザ認証処理を行う流れの一例を示すフローチャートである。なお、アバターサービス提供システム１は、端末装置１０のみで各種サービスを提供してもよく、この場合、図５に示すユーザ認証処理は行わなくてもよい。
【0052】
ステップＳ１１１において、端末装置１０の入力操作受付部１８１は、ユーザの操作によりアバターサービス提供システム１の専用アプリケーションを起動する。送受信部１８２は、ユーザＩＤ、パスワード等のユーザの情報を、サーバ２０へ送信する。送受信部１８２は、サーバ２０から送信された、仮想空間上にアバターを表示させて各種サービスの提供を受けるための各種情報を受け付ける。通知制御部１８３は、受け付けた各種情報を、ディスプレイ１３２に表示させる。
【0053】
ステップＳ１２１において、サーバ２０のユーザ認証モジュール２０３３は、端末装置１０から送信されたユーザの情報を、通信部２０１を介して受け付ける。サーバ２０のユーザ認証モジュール２０３３は、受け付けたユーザの情報が正当なユーザからのものであることを認証する。サーバ２０は、受け付けたユーザの情報が正当なものであると判定した場合、仮想空間上にアバターを表示させて各種サービスを提供するための各種情報を当該ユーザの端末装置１０のディスプレイ１３２に表示させるため、端末装置１０へ通信部２０１を介して送信する。
【0054】
図６は、本実施の形態のアバターサービス提供システム１によるポインタ制御処理を行う流れの一例を示すフローチャートである。
【0055】
ステップＳ２１１において、端末装置１０のデータ処理部１８４は、ユーザの操作により、動いている人物をカメラ１６０で撮影した撮影画像を取得する。例えば、データ処理部１８４は、図１に示すように、端末装置１０がカメラ１６０のレンズ部分が人物Ｈの方向に向けられた状態で固定された状態で、アバターサービス提供システム１の専用アプリケーションにより人物Ｈを撮影した撮影画像、例えば動画を取得する。なお、このとき、人物Ｈを撮影する装置は端末装置１０のカメラ１６０に限られず、外部装置としてのカメラであってもよく、例えば、ＬＩＤＡＲ（Light Detection and Ranging）カメラ（センサ）、光学式または機械式（Inertial Measurement Unit）のモーションキャプチャシステム等であってもよい。端末装置１０のデータ処理部１８４は、撮影画像を画像データとして記憶部１７０に記憶させる。
【0056】
ステップＳ２１２において、端末装置１０のデータ処理部１８４は、ステップＳ２１１で取得した撮影画像に基づく画像データを解析し、解析結果に基づき、撮影された人物の骨格情報を特定する。例えば、データ処理部１８４は、画像データの解析により、撮影画像の人物を、既知の画像認識技術を用いて身体の部位を特定し、それぞれの身体の部位を示す点の間を直線で結び、点と線で得られた情報を骨格情報とする。データ処理部１８４は、撮影画像における点の位置を撮影画像における座標の情報とする。この点は、例えば身体の関節部分に配置され、身体の動きに合わせて直線部分との角度を変更するように構成される。このような構成により、身体の動きを点と直線とで表現することを可能にしている。端末装置１０のデータ処理部１８４は、特定した骨格情報を記憶部１７０に記憶させる。
【0057】
ステップＳ２１３において、端末装置１０のデータ処理部１８４は、ステップＳ２１２で特定した骨格情報から、撮影された人物の動作を検出する。例えば、データ処理部１８４は、画像データの解析により、撮影画像の人物の身体の部位を特定し、特定された身体の部位に配置された点の情報、例えば点の座標の情報を抽出し、人物の動作を検出する。このとき、データ処理部１８４は、人物の動作を、身体の部位に配置された点（座標）の移動情報として人物の動作を検出してもよく、例えば機械学習モデル等のアノテーションにより、当該人物の身体の移動情報から解釈される、当該人物の動作の情報（例えば、手を叩く、上半身を捻る、片手または両手を上げる、等）として人物の動作を検出してもよい。
【0058】
ステップＳ２１４において、端末装置１０のデータ処理部１８４は、端末装置１０のディスプレイ１３２上に、人物の手に対応し、ディスプレイ１３２上における位置を示すポインタを表示させる。ポインタは、例えば人間の手の形状を模した画像であるが、ディスプレイ１３２上のどこを指し示しているかを認識できるような形状であればよく、矢印のような形状であってもよい。表示させるポインタは、両手のものでもよく、左右どちらか一方の片手のものでもよい。ポインタの画像データは、記憶部１７０に記憶されたものである。また、端末装置１０のデータ処理部１８４は、ポインタを、ディスプレイ１３２に表示させると共に、図１に示すような表示画面３０に表示させる。
【0059】
ステップＳ２１５において、端末装置１０のデータ処理部１８４は、ステップＳ２１２で特定した骨格情報から、ステップＳ２１３で検出した人物の動作から抽出した人物の手の動作に応じて、人物の手の動作に合わせて、ステップＳ２１４で表示させたポインタを動かすように制御する。
【0060】
以上のように、アバターサービス提供システム１では、画面上に手を模したポインタを表示させ、人物の手の動作に合わせてポインタを動かすように制御する。
【0061】
図７は、本実施の形態のアバターサービス提供システム１によるアイコン制御処理を行う流れの例を示すフローチャートである。
【0062】
ステップＳ３１１において、端末装置１０のデータ処理部１８４は、ステップＳ２１３で検出した人物の所定の動作（第１の動作）に応じて、端末装置１０のディスプレイ１３２上に、複数の所定のアイコンを表示させる。このアイコンは、画面上でアバターサービス提供システム１が提供する各種サービスの提供を開始するためのアイコンであり、ポインタにより選択され、アイコンに関連付けられた機能（各種サービス）を実行させるものである。アイコンに関連付けられた機能とは、例えば上記のように、アバターを人物の動きにより操作して行うゲーム等において、ゲームのプレイデータをセーブする、スタート地点に戻る、ユーザ自身のアバターを表示する（三人称ビュー）／表示しない（一人称ビュー）、アバターの装備や服装を変更する、仮想空間の各種設定条件を変更する、等の機能を含む。ここで、人物の所定の動作（第１の動作）とは、例えば人物による両手を上げる動作、手を叩く動作、片手を上げる動作、人物による音声（例えば、「メニュー」と発話）を含む。
【0063】
また、ステップＳ３１１において、端末装置１０のデータ処理部１８４は、ディスプレイ１３２上に複数の所定のアイコンを表示させる際、複数のアイコンのうちの１のアイコンのみを選択可能に表示させるように構成してもよい。例えば、データ処理部１８４は、ディスプレイ１３２上に表示されている複数のアイコンのうち、ディスプレイ１３２上の所定の位置にあるアイコン（例えば、人物の正面に位置するアイコン）のみをユーザが選択可能とし、後述するステップＳ３１２において、所定の位置にあるアイコンを移動させるように構成してもよい。さらに、データ処理部１８４は、ユーザが選択可能なアイコンのみをディスプレイ１３２上に表示させるように構成してもよい。
【0064】
また、ステップＳ３１１において、端末装置１０のデータ処理部１８４は、ディスプレイ１３２上に複数の所定のアイコンを表示させ、人物による所定の動作に応じて複数のアイコンのうちの１のアイコンを選択可能に表示させるように構成してもよい。例えば、データ処理部１８４は、ディスプレイ１３２上に複数のアイコンが表示されている状態で、ユーザが右手を上げた場合には右方向に配置されているアイコンを選択されたものと判定し、ユーザが左手を上げた場合には左方向に配置されているアイコンを選択されたものと判定してもよい。
【0065】
さらに、ステップＳ３１１において、端末装置１０のデータ処理部１８４は、人物を含む仮想空間をディスプレイ１３２上に表示させ、この仮想空間に複数のアイコンが存在するように表示させるように構成してもよい。例えば、データ処理部１８４は、ディスプレイ１３２上に当該人物に関連付けられたキャラクタであるアバターを表示し、アバターを含む仮想空間上に複数のアイコンが存在（例えば、仮想空間上に浮遊するように配置してもよい）し、当該アバターがそのアイコンを選択可能に構成してもよい。
【0066】
ステップＳ３１２において、端末装置１０のデータ処理部１８４は、ステップＳ２１３で検出した人物の所定の動作（第２の動作）に応じて、端末装置１０のディスプレイ１３２上に表示されている複数の所定のアイコンをディスプレイ１３２上で移動させる。例えば、データ処理部１８４は、人物の所定の動作（第２の動作）であるジェスチャに応じて当該ジェスチャが示す方向へ、複数の所定のアイコンをディスプレイ１３２上で移動させる。このとき、データ処理部１８４は、複数のアイコンすべてを同一の態様（例えば、同一方向）で移動させてもよく、一部のアイコンのみを移動させてもよい。さらに、データ処理部１８４は、ディスプレイ１３２上に表示されている複数の所定のアイコンについて一部のアイコンをディスプレイ１３２上で非表示にしてもよく、一部のアイコンをディスプレイ１３２上に再度表示させてもよい。このような動作は、ディスプレイ１３２上でアイコンがスクロールすることで表示／非表示にしてもよく、ディスプレイ１３２上でアイコンを出現／削除等させることで表示／非表示にしてもよい。ここで、人物の所定の動作（第２の動作）とは、例えば人物による両手を合わせる動作、上半身を捻る動作、両手を同時に所定の方向に動かす動作、手を叩く動作、両手を上げる動作、片手を上げる動作、人物による音声を含むが、前出の第１の動作とは異なる動作である。
【0067】
また、ステップＳ３１２において、端末装置１０のデータ処理部１８４は、ディスプレイ１３２上に表示されている複数の所定のアイコンを移動させる際、複数のアイコンを移動させて、選択可能な１のアイコンを変更するように構成してもよい。例えば、データ処理部１８４は、ディスプレイ１３２上に表示されている複数のアイコンのうち、ディスプレイ１３２上の所定の位置にあるアイコン（例えば、人物の正面に位置するアイコン）のみをユーザが選択可能とし、所定の位置にあるアイコンを移動させるように構成してもよい。
【0068】
さらに、ステップＳ３１２において、端末装置１０のデータ処理部１８４は、ディスプレイ１３２上に表示されている、当該人物を含む仮想空間において、ステップＳ３１１で表示された仮想空間上の複数のアイコンを仮想空上で移動させるように構成してもよい。例えば、データ処理部１８４は、ディスプレイ１３２上に当該人物に関連付けられたキャラクタであるアバターを表示した状態で、当該人物の所定の動作（第２の動作）に基づくアバターの動作に応じて、仮想空間上の複数のアイコンを移動させてもよい。
【0069】
ステップＳ３１３において、端末装置１０のデータ処理部１８４は、画面上におけるポインタの位置と、アイコンの位置とを検出する。例えば、データ処理部１８４は、画面上におけるポインタの位置を、画面上における座標位置の情報として、人物の手の動きに合わせて随時検出する。また、データ処理部１８４は、画面上におけるアイコンの位置を、画面上における座標位置の情報として検出し、ステップＳ３１２にて移動したアイコンの位置を、アイコンの移動に応じてその都度検出する。
【0070】
ステップＳ３１４において、端末装置１０のデータ処理部１８４は、ディスプレイ１３２上におけるポインタの位置とアイコンの位置とが一致したことを検出すると、アイコンを選択状態にし、またはアイコンに関連付けられた機能を実行する。このとき、データ処理部１８４は例えば、画面上における両手のポインタのうち、片手のポインタの位置がアイコンの位置と一致したことを検出すると、アイコンを選択状態（選択だけされた状態であり、機能は実行されない状態）にし、画面上における両手のポインタの両方のポインタの位置がアイコンの位置と一致したことを検出すると、アイコンを実行状態（アイコンに関連付けられた機能を実行させる状態）にしてもよい。
【0071】
以上のように、アバターサービス提供システム１では、人物の所定の動作（第１の動作）に応じて複数の所定のアイコンを表示させ、人物の所定の動作（第２の動作）に応じて複数の所定のアイコンを画面上で移動させる。そして、複数のアイコンのうちの１のアイコンを選択可能とし、そのアイコンがポインタにより選択されると、アイコンに関連付けられた機能を実行させるようにしている。これにより、ユーザは端末装置１０の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。
【0072】
【0073】
図８は、表示画面３０にポインタ３１Ｌ，３１Ｒが表示された画面例を示す図である。図８の画面例は、図１に示す表示画面３０に、人物Ｈの手の動作に合わせて移動させるポインタが表示された画面例を示す。図６のステップＳ２１４に相当する。
【0074】
図８に示すように、端末装置１０のディスプレイ１３２には、人物Ｈに関連付けられたキャラクタであるアバターＡが表示されている。また、表示画面３０には、人物Ｈの手の動作に合わせて移動させるポインタ３１Ｌ，３１Ｒが表示されている。ポインタ３１Ｌ，３１Ｒは、それぞれ人物Ｈの左手の動作に合わせて移動させるもの、人物Ｈの右手の動作に合わせて移動させるものである。
【0075】
人物Ｈが右手を動かすと、その動きに合わせてポインタ３１Ｒが表示画面３０上で上下左右に移動する。同様に、人物Ｈが左手を動かすと、その動きに合わせてポインタ３１Ｌが表示画面３０上で上下左右に移動する。これにより、人物Ｈの手の動きに合わせてポインタを動かすことが可能である。
【0076】
図９は、表示画面３０にアイコン３２Ａ，３２Ｂ，３２Ｃが表示された画面例を示す図である。図９の画面例は、ユーザが所定の動作（第１の動作）をしたことに応じて、図１に示す表示画面３０に、複数の所定のアイコン３２Ａ，３２Ｂ，３２Ｃが表示された状態の画面例を示す。図７のステップＳ３１１に相当する。
【0077】
図９に示すように、表示画面３０には、アイコン３２Ａ，３２Ｂ，３２Ｃが表示画面３０の横方向に沿って表示されている。このアイコン３２Ａ，３２Ｂ，３２Ｃは、例えば図８に示す表示画面３０のように、ポインタ３１Ｌ，３１Ｒのみが表示されている状態で、ユーザが所定の動作（第１の動作）、例えばユーザが両手を上げる動作をすると、データ処理部１８４がその動作を検知して、図７のステップＳ３１１にてアイコン３２Ａ，３２Ｂ，３２Ｃを表示させる。
【0078】
また、図９に示す状態で、ユーザが所定の動作（第２の動作）、例えばユーザが両手を合わせる動作をすると、データ処理部１８４がその動作を検知して、図７のステップＳ３１２にてアイコン３２Ａ，３２Ｂ，３２Ｃを移動させる。このときのアイコン３２Ａ，３２Ｂ，３２Ｃの移動方向は、例えば、ユーザが両手を合わせて動かした方向である。この移動により、例えばユーザが示した動きが表示画面３０に向かって左方向であった場合、アイコン３２Ａ，３２Ｂ，３２Ｃはそれぞれ左方向へ１つずつ移動し、アイコン３２Ａがアイコン３２Ｂの位置へ、アイコン３２Ｂがアイコン３２Ｃの位置へ、アイコン３２Ｃが表示画面３０の表示範囲外へそれぞれ移動する。また、アイコン３２Ａの位置には、新たなアイコンが表示されてもよい。なお、このとき、あるアイコン（例えば、アイコン３２Ｂ）が選択されると、アイコン３２Ｂにより実行される機能が変化するように構成してもよく、他のアイコン（例えば、アイコン３２Ａ，３２Ｃ）も含めて実行される機能が変化するように構成してもよい。
【0079】
図１０は、仮想空間ＶＲにおける人物Ｈとアイコン３２Ａ～３２Ｆとの仮想的な位置関係を示す図である。図１０に示す仮想空間ＶＲは、データ処理部１８４がユーザを含む仮想空間ＶＲをディスプレイ１３２上に表示させた場合の例であり、仮想空間ＶＲに、図９に示すアイコン３２Ａ，３２Ｂ，３２Ｃを含むアイコン３２Ａ～３２Ｆが存在している場合の例を模式的に示す図である。図７のステップＳ３１１に相当する。
【0080】
図１０に示すように、仮想空間ＶＲには、アイコン３２Ａ，３２Ｂ，３２Ｃ，３２Ｄ，３２Ｅ，３２Ｆが、仮想空間ＶＲ上の人物Ｈを中心として環状に存在するように配置されている。図１０に示すアイコン３２Ａ，３２Ｂ，３２Ｃ，３２Ｄ，３２Ｅ，３２Ｆは、ユーザが所定の動作（第１の動作）をすると表示画面３０に表示されるが、表示画面３０には、人物Ｈの正面方向に存在しているアイコン、図１０に示す状態ではアイコン３２Ａ，３２Ｂ，３２Ｃのみが表示されることになる。
【0081】
また、図１０に示す状態で、ユーザが所定の動作（第２の動作）をすると、アイコン３２Ａ，３２Ｂ，３２Ｃ，３２Ｄ，３２Ｅ，３２Ｆは、ユーザの動作の方向（例えば、図１０に示す矢印方向）へ１つずつ、環状に沿って移動する。これにより、ユーザは端末装置１０の位置まで戻ることなく、アイコン３２を選択することが可能である。
【0082】
図１１は、表示画面３０に表示されたアイコン３２Ｂが選択された画面例を示す図である。図１１の画面例は、図１に示す表示画面３０に、ポインタ３１Ｌ，３１Ｒの位置と、アイコン３２Ｂの位置とが一致した状態の画面例を示す。図７のステップＳ３１４に相当する。
【0083】
図１１に示すように、表示画面３０には、人物Ｈの手の動作に合わせて移動させるポインタ３１Ｌ，３１Ｒが表示されている。また、表示画面３０には、アイコン３２Ａ，３２Ｂ，３２Ｃが表示されている。
【0084】
人物Ｈの手の動きに合わせてポインタ３１Ｌ，３１Ｒが動き、その画面上の位置が検出される。そして、図１１に示す状態では、画面上におけるポインタ３１Ｌ，３１Ｒの位置と、アイコン３２Ｂの位置とが一致したことを検出する。このとき、アイコン３２Ｂは、選択状態、または実行状態になる。これにより、ユーザは端末装置１０の位置まで戻ることなく、アイコン３２Ｂを選択し、アイコン３２Ｂによる機能を実行させることが可能である。
【0085】
なお、アイコン３２Ｂを選択し、アイコン３２による機能を実行させる操作は、図１１に示す連とは限られない。例えば、ポインタ３１Ｌ，３１Ｒのいずれか一方の位置が一定時間以上アイコン３２Ｂの位置と一致した場合、アイコン３２Ｂを選択状態にし、ポインタ３１Ｌ，３１Ｒのいずれか一方の位置が一定時間以内に２回アイコン３２Ｂの位置と一致した場合（いわゆるダブルクリック）、アイコン３２Ｂによる機能を実行させるように構成してもよい。
【0086】
＜小括＞
以上のように、本実施の形態によると、ポインタを表示させてユーザの手の動作に合わせてポインタを動かすように制御し、ポインタの動作により、ポインタが各種サービスの提供を開始させるためのアイコンを選択し、実行させることが可能になるように構成している。そのため、ユーザは端末装置の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にし、没入感やアバターとの一体感を喪失することなく各種サービスの提供を受けることを可能にしている。これにより、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。
以上のように、本実施の形態によると、ポインタを表示させてユーザの手の動作に合わせてポインタを動かすように制御し、ポインタの動作により、ポインタが各種サービスの提供を開始させるためのアイコンを選択し、実行させることが可能になるように構成している。そのため、ユーザは端末装置の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にし、没入感やアバターとの一体感を喪失することなく各種サービスの提供を受けることを可能にしている。これにより、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。
【0087】
また、本実施の形態によると、人物の所定の動作（第１の動作）に応じて複数の所定のアイコンを表示させ、人物の所定の動作（第２の動作）に応じて複数の所定のアイコンを画面上で移動させる。そして、複数のアイコンのうちの１のアイコンを選択可能とし、そのアイコンがポインタにより選択されると、アイコンに関連付けられた機能を実行させるようにしている。そのため、ユーザは端末装置の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。これにより、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。
【0088】
以上、開示に係る実施の形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換及び変更を行なって実施することができる。これらの実施の形態及び変形例ならびに省略、置換及び変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。
【0089】
＜付記＞
以上の各実施の形態で説明した事項を、以下に付記する。
以上の各実施の形態で説明した事項を、以下に付記する。
【0090】
（付記１）プロセッサ２９と、メモリ２５とを備えるコンピュータに実行させ、画面上に表示させる画像を生成するためのプログラムであって、プログラムは、プロセッサ２９に、動いている人物をカメラで撮影した撮影画像を取得するステップ（Ｓ２１１）と、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップ（Ｓ２１２）と、特定した骨格情報から、人物の動作を検出するステップ（Ｓ２１３）と、画面上に、人物の手に対応し、画面上における位置を示すポインタを表示させるステップ（Ｓ２１４）と、検出した人物の第１の動作に応じて、画面上に複数の所定のアイコンを表示させるステップ（Ｓ３１１）と、検出した人物の、第１の動作とは異なる第２の動作に応じて、画面上に表示されている複数のアイコンを画面上で移動させるステップ（Ｓ３１２）と、検出した人物の動作から抽出した人物の手の動作に応じて、人物の手の動作に合わせてポインタを動かすように制御するステップ（Ｓ２１５）と、ポインタの動作を検出し、ポインタと、複数のアイコンのうちの１のアイコンとの位置に応じて、１のアイコンに関連付けられた機能を実行させるステップ（Ｓ３１４）と、を実行させる、プログラム。
【0091】
（付記２）画面上に複数のアイコンを表示させるステップにおいて、画面上に、複数のアイコンのうちの１のアイコンのみを選択可能に表示させ、複数のアイコンを移動させるステップにおいて、第２の動作に応じて、画面上に表示されている複数のアイコンを移動させて選択可能な１のアイコンを変更する、（付記１）に記載のプログラム。
【0092】
（付記３）画面上に複数のアイコンを表示させるステップにおいて、画面上に、人物を含む仮想空間を表示させ、仮想空間に複数のアイコンが存在するように表示させ、複数のアイコンを移動させるステップにおいて、第２の動作に応じて、仮想空間における複数のアイコンを仮想空間上で移動させる、（付記２）に記載のプログラム。
【0093】
（付記４）画面上に複数のアイコンを表示させるステップにおいて、仮想空間において、人物を中心として環状に複数のアイコンが存在するように表示させ、複数のアイコンを移動させるステップにおいて、第２の動作に応じて、仮想空間における複数のアイコンを環状に沿って移動させ、選択可能な前記１のアイコンを変更する、（付記３）に記載のプログラム。
【0094】
（付記５）第１の動作は、人物による両手を上げる動作、及び手を叩く動作を含む、（付記１）から（付記４）のいずれかに記載のプログラム。
【0095】
（付記６）第２の動作は、人物による上半身を捻る動作、及び両手を同時に所定の方向に動かす動作を含む、（付記１）から（付記４）のいずれかに記載のプログラム。
【0096】
（付記７）制御部１８０と、記憶部１７０とを備え、画面上に表示させる画像を生成する情報処理装置であって、制御部１８０は、動いている人物をカメラで撮影した撮影画像を取得するステップ（Ｓ２１１）と、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップ（Ｓ２１２）と、特定した骨格情報から、人物の動作を検出するステップ（Ｓ２１３）と、画面上に、人物の手に対応し、画面上における位置を示すポインタを表示させるステップ（Ｓ２１４）と、検出した人物の第１の動作に応じて、画面上に複数の所定のアイコンを表示させるステップ（Ｓ３１１）と、検出した人物の、第１の動作とは異なる第２の動作に応じて、画面上に表示されている複数のアイコンを画面上で移動させるステップ（Ｓ３１２）と、検出した人物の動作から抽出した人物の手の動作に応じて、人物の手の動作に合わせてポインタを動かすように制御するステップ（Ｓ２１５）と、ポインタの動作を検出し、ポインタと、複数のアイコンのうちの１のアイコンとの位置に応じて、１のアイコンに関連付けられた機能を実行させるステップ（Ｓ３１４）と、を実行する、情報処理装置。
【0097】
（付記７）プロセッサ２９と、メモリ２５とを備えるコンピュータにより実行され、画面上に表示させる画像を生成するための方法であって、方法は、プロセッサ２９が、動いている人物をカメラで撮影した撮影画像を取得するステップ（Ｓ２１１）と、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップ（Ｓ２１２）と、特定した骨格情報から、人物の動作を検出するステップ（Ｓ２１３）と、画面上に、人物の手に対応し、画面上における位置を示すポインタを表示させるステップ（Ｓ２１４）と、検出した人物の第１の動作に応じて、画面上に複数の所定のアイコンを表示させるステップ（Ｓ３１１）と、検出した人物の、第１の動作とは異なる第２の動作に応じて、画面上に表示されている複数のアイコンを画面上で移動させるステップ（Ｓ３１２）と、検出した人物の動作から抽出した人物の手の動作に応じて、人物の手の動作に合わせてポインタを動かすように制御するステップ（Ｓ２１５）と、ポインタの動作を検出し、ポインタと、複数のアイコンのうちの１のアイコンとの位置に応じて、１のアイコンに関連付けられた機能を実行させるステップ（Ｓ３１４）と、を実行する、方法。
【符号の説明】
【0098】
１ ：アバターサービス提供システム
１０ ：端末装置
１０Ａ ：端末装置
１０Ｂ ：端末装置
１３ ：入力装置
１４ ：出力装置
１５ ：メモリ
１６ ：記憶部
１９ ：プロセッサ
２０ ：サーバ
２５ ：メモリ
２６ ：ストレージ
２９ ：プロセッサ
３０ ：表示画面
３１Ｌ ：ポインタ
３１Ｒ ：ポインタ
３２ ：アイコン
８０ ：ネットワーク
８１ ：無線基地局
８２ ：無線ＬＡＮルータ
１１１ ：アンテナ
１１２ ：アンテナ
１２１ ：第１無線通信部
１２２ ：第２無線通信部
１３０ ：操作受付部
１３１ ：デバイス
１３２ ：ディスプレイ
１４０ ：音声処理部
１４１ ：マイク
１４２ ：スピーカ
１５０ ：位置情報センサ
１６０ ：カメラ
１７０ ：記憶部
１７１ ：ユーザ情報
１８０ ：制御部
１８１ ：入力操作受付部
１８２ ：送受信部
１８３ ：通知制御部
１８４ ：データ処理部
２０１ ：通信部
２０２ ：記憶部
２０３ ：制御部
２０２１ ：ユーザデータベース
２０３１ ：受信制御モジュール
２０３２ ：送信制御モジュール
２０３３ ：ユーザ認証モジュール
１０ ：端末装置
１０Ａ ：端末装置
１０Ｂ ：端末装置
１３ ：入力装置
１４ ：出力装置
１５ ：メモリ
１６ ：記憶部
１９ ：プロセッサ
２０ ：サーバ
２５ ：メモリ
２６ ：ストレージ
２９ ：プロセッサ
３０ ：表示画面
３１Ｌ ：ポインタ
３１Ｒ ：ポインタ
３２ ：アイコン
８０ ：ネットワーク
８１ ：無線基地局
８２ ：無線ＬＡＮルータ
１１１ ：アンテナ
１１２ ：アンテナ
１２１ ：第１無線通信部
１２２ ：第２無線通信部
１３０ ：操作受付部
１３１ ：デバイス
１３２ ：ディスプレイ
１４０ ：音声処理部
１４１ ：マイク
１４２ ：スピーカ
１５０ ：位置情報センサ
１６０ ：カメラ
１７０ ：記憶部
１７１ ：ユーザ情報
１８０ ：制御部
１８１ ：入力操作受付部
１８２ ：送受信部
１８３ ：通知制御部
１８４ ：データ処理部
２０１ ：通信部
２０２ ：記憶部
２０３ ：制御部
２０２１ ：ユーザデータベース
２０３１ ：受信制御モジュール
２０３２ ：送信制御モジュール
２０３３ ：ユーザ認証モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2023-08-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
プロセッサと、メモリとを備えるコンピュータに実行させ、画面上に表示させる画像を生成するためのプログラムであって、
前記プログラムは、前記プロセッサに、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行させ、
前記第１の動作及び前記第２の動作は、前記人物による両手を用いた動作、及び前記人物による上半身を用いた動作を含み、
前記人物の骨格情報を特定するステップにおいて、前記人物の全身が撮像された前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定し、
前記人物の動作を検出するステップにおいて、前記人物の両手を用いた動作、及び前記人物による上半身を用いた動作を検出する、プログラム。
前記プログラムは、前記プロセッサに、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行させ、
前記第１の動作及び前記第２の動作は、前記人物による両手を用いた動作、及び前記人物による上半身を用いた動作を含み、
前記人物の骨格情報を特定するステップにおいて、前記人物の全身が撮像された前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定し、
前記人物の動作を検出するステップにおいて、前記人物の両手を用いた動作、及び前記人物による上半身を用いた動作を検出する、プログラム。
【請求項2】
前記画面上に複数のアイコンを表示させるステップにおいて、前記画面上に、前記複数のアイコンのうちの１のアイコンのみを選択可能に表示させ、
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを移動させて選択可能な前記１のアイコンを変更する、請求項１に記載のプログラム。
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを移動させて選択可能な前記１のアイコンを変更する、請求項１に記載のプログラム。
【請求項3】
前記画面上に複数のアイコンを表示させるステップにおいて、前記画面上に、前記人物を含む仮想空間を表示させ、前記仮想空間に前記複数のアイコンが存在するように表示させ、
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記仮想空間における前記複数のアイコンを前記仮想空間上で移動させる、請求項２に記載のプログラム。
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記仮想空間における前記複数のアイコンを前記仮想空間上で移動させる、請求項２に記載のプログラム。
【請求項4】
前記画面上に複数のアイコンを表示させるステップにおいて、前記仮想空間において、前記人物を中心として環状に前記複数のアイコンが存在するように表示させ、
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記仮想空間における前記複数のアイコンを前記環状に沿って移動させ、選択可能な前記１のアイコンを変更する、請求項３に記載のプログラム。
前記複数のアイコンを移動させるステップにおいて、前記第２の動作に応じて、前記仮想空間における前記複数のアイコンを前記環状に沿って移動させ、選択可能な前記１のアイコンを変更する、請求項３に記載のプログラム。
【請求項5】
前記第１の動作は、前記人物による両手を上げる動作、及び手を叩く動作を含む、請求項１から請求項４のいずれか１項に記載のプログラム。
【請求項6】
前記第２の動作は、前記人物による上半身を捻る動作、及び両手を同時に所定の方向に動かす動作を含む、請求項１から請求項４のいずれか１項に記載のプログラム。
【請求項7】
制御部と、記憶部とを備え、画面上に表示させる画像を生成する情報処理装置であって、
前記制御部は、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行し、
前記第１の動作及び前記第２の動作は、前記人物による両手を用いた動作、及び前記人物による上半身を用いた動作を含み、
前記人物の骨格情報を特定するステップにおいて、前記人物の全身が撮像された前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定し、
前記人物の動作を検出するステップにおいて、前記人物の両手を用いた動作、及び前記人物による上半身を用いた動作を検出する、情報処理装置。
前記制御部は、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行し、
前記第１の動作及び前記第２の動作は、前記人物による両手を用いた動作、及び前記人物による上半身を用いた動作を含み、
前記人物の骨格情報を特定するステップにおいて、前記人物の全身が撮像された前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定し、
前記人物の動作を検出するステップにおいて、前記人物の両手を用いた動作、及び前記人物による上半身を用いた動作を検出する、情報処理装置。
【請求項8】
プロセッサと、メモリとを備えるコンピュータに実行され、画面上に表示させる画像を生成するための方法であって、
前記方法は、前記プロセッサが、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行し、
前記第１の動作及び前記第２の動作は、前記人物による両手を用いた動作、及び前記人物による上半身を用いた動作を含み、
前記人物の骨格情報を特定するステップにおいて、前記人物の全身が撮像された前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定し、
前記人物の動作を検出するステップにおいて、前記人物の両手を用いた動作、及び前記人物による上半身を用いた動作を検出する、方法。
前記方法は、前記プロセッサが、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から、前記人物の動作を検出するステップと、
前記画面上に、前記人物の手に対応し、前記画面上における位置を示すポインタを表示させるステップと、
検出した前記人物の第１の動作に応じて、前記画面上に複数の所定のアイコンを表示させるステップと、
検出した前記人物の、前記第１の動作とは異なる第２の動作に応じて、前記画面上に表示されている前記複数のアイコンを前記画面上で移動させるステップと、
検出した前記人物の動作から抽出した前記人物の手の動作に応じて、前記人物の手の動作に合わせて前記ポインタを動かすように制御するステップと、
前記ポインタの動作を検出し、前記ポインタと、前記複数のアイコンのうちの１のアイコンとの位置に応じて、前記１のアイコンに関連付けられた機能を実行させるステップと、を実行し、
前記第１の動作及び前記第２の動作は、前記人物による両手を用いた動作、及び前記人物による上半身を用いた動作を含み、
前記人物の骨格情報を特定するステップにおいて、前記人物の全身が撮像された前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定し、
前記人物の動作を検出するステップにおいて、前記人物の両手を用いた動作、及び前記人物による上半身を用いた動作を検出する、方法。