特許 6999538 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-24

(45)【発行日】2022-01-18

(54)【発明の名称】情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220111BHJP

【ＦＩ】

G06T19/00 300B

【請求項の数】 13

(21)【出願番号】P 2018242474

(22)【出願日】2018-12-26

(62)【分割の表示】P 2017137146の分割

【原出願日】2017-07-13

(65)【公開番号】P2019083029

(43)【公開日】2019-05-30

【審査請求日】2020-06-29

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】110001416

【氏名又は名称】特許業務法人 信栄特許事務所

(72)【発明者】

【氏名】澤木 一晃

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１７－０６８８５１（ＪＰ，Ａ）

【文献】特開２０１７－０４０９７０（ＪＰ，Ａ）

【文献】特開２００９－１２９３９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００ － １９／２０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９

Ａ６３Ｆ １３／００ － １３／９８

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントデバイスを備えたシステムにおける情報処理方法であって、
仮想空間を定義する仮想空間データを生成するステップと、
前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
前記ヘッドマウントデバイスを装着したユーザの行動を特定するステップと、
特定された前記行動が予め定められた第一条件を満たした場合には、前記ヘッドマウントデバイスの向きに応じた前記仮想空間における第一領域の評価値を更新するステップと、
前記評価値に基づいて、前記第一領域に関する映像を生成するステップと、
を含み、
前記ユーザの行動を特定するステップにおいて、少なくとも前記ユーザの表情が特定され、
前記評価値を更新するステップは、前記表情に関する情報の評価を含んで行われる、情報処理方法。

【請求項2】

前記行動が第二条件を満たした場合には、前記評価値をさらに更新するステップを、さらに含む、請求項１に記載の情報処理方法。

【請求項3】

前記第二条件は、前記仮想空間内において複数のユーザ間で会話およびジェスチャの少なくとも一方がなされたことを含む、請求項２に記載の情報処理方法。

【請求項4】

前記会話は、前記第一領域を指す言語的表現を含む、請求項３に記載の情報処理方法。

【請求項5】

前記会話は、前記第一条件を満たした時刻を指す時制的表現を含む、請求項３または４に記載の情報処理方法。

【請求項6】

前記第二条件は、前記ユーザが前記仮想空間において前記第一領域を写真撮影することを含む、請求項２から５のいずれか一項に記載の情報処理方法。

【請求項7】

前記第二条件は、前記ユーザが前記仮想空間において前記第一領域を撮影した写真をソーシャルネットワーキングサイトへ投稿する行動を含む、請求項６に記載の情報処理方法。

【請求項8】

前記評価値が第三条件を満たした場合には、前記第一条件を満たした時刻における前記第一領域を注目領域として指定するステップと、
前記時刻を含む第一時間幅に亘って、前記注目領域に関する映像を生成するステップと、
をさらに含む、請求項１から７のいずれか一項に記載の情報処理方法。

【請求項9】

前記映像は、前記注目領域の前記仮想空間における位置と、前記ヘッドマウントデバイスの動きに基づいて前記視野画像を定義するために前記仮想空間に配置された仮想カメラとに基づいて生成される、請求項８に記載の情報処理方法。

【請求項10】

ヘッドマウントデバイスを備えたシステムにおける情報処理方法であって、
仮想空間を定義する仮想空間データを生成するステップと、
前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
前記ヘッドマウントデバイスを装着したユーザの感情を特定するステップと、
特定された前記感情が予め定められた第二条件を満たした場合には、前記ヘッドマウントデバイスの向きに応じた前記仮想空間における第一領域の評価値を更新するステップと、
前記評価値に基づいて、前記第一領域に関する映像を生成するステップと、
を含む、情報処理方法。

【請求項11】

請求項１から１０のいずれか一項に記載の情報処理方法をコンピュータに実行させるための情報処理プログラム。

【請求項12】

ヘッドマウントデバイスと、前記ヘッドマウントデバイスと通信可能に接続されて、請求項１から１０のうちいずれか一項に記載の情報処理方法を実行する情報処理装置と、を備えた、情報処理システム。

【請求項13】

プロセッサと、
コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は請求項１から１０のうちいずれか一項に記載の情報処理方法を実行する、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、複数ユーザの視野範囲の重複に基づいて、ビデオコンテンツの注目範囲を決定することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開２０１６／００９８６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、ユーザの視覚情報に基づいてビデオコンテンツの注目範囲を決定しているが、ユーザがコンテンツを注目する行動は視覚情報にのみ反映されるものではないため、コンテンツにおける注目範囲の特定には改善の余地がある。

【0005】

本開示は、コンテンツの注目範囲を適切に特定可能な情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示が示す一態様によれば、ヘッドマウントデバイスを備えたシステムにおける情報処理方法は、
（ａ）仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｃ）前記ヘッドマウントデバイスを装着したユーザの感情を特定するステップと、
（ｄ）特定された前記感情が予め定められた第一条件を満たした場合には、前記第一条件を満たした時刻における前記ヘッドマウントデバイスの向きに応じた前記仮想空間における第一領域の評価値を更新するステップと、
を含む。

【発明の効果】

【0007】

本開示によれば、コンテンツの注目範囲を適切に特定可能な情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態（以下、単に本実施形態という。）に係る仮想体験コンテンツ配信システムを示す概略図である。

【図2】ユーザ端末である携帯端末を示す概略図である。

【図3】携帯端末のハードウェア構成を示す図である。

【図4】ヘッドマウントデバイス（ＨＭＤ）を含むユーザ端末の構成を示す概略図である。

【図5】ＨＭＤを装着したユーザの頭部を示す図である。

【図6】制御装置のハードウェア構成を示す図である。

【図7】視野画像をＨＭＤに表示する処理を示すフローチャートである。

【図8】仮想空間の一例を示すｘｙｚ空間図である。

【図9】（ａ）は、図８に示す仮想空間のｙｘ平面図である。（ｂ）は、図８に示す仮想空間のｚｘ平面図である。

【図10】ＨＭＤに表示された視野画像の一例を示す図である。

【図11】図１に示すサーバのハードウェア構成を示す図である。

【図12】本実施形態に係る仮想体験コンテンツ配信システムの動作を説明するためのフローチャートである。

【図13】本実施形態に係る仮想体験コンテンツ配信システムの動作を説明するためのフローチャートである。

【図14】図１３のステップ１２０（各部分領域の評価値データを更新するステップ）における各ステップを示すフローチャートである。

【図15】仮想体験コンテンツを構成する仮想空間を示す図である。

【図16】仮想体験コンテンツを構成する仮想空間の別の例を示す図である。

【図17】ダイジェスト映像を生成するための仮想空間内での仮想カメラの配置構成を示す模式図である。

【発明を実施するための形態】

【0009】

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）本開示の実施形態に係る、ヘッドマウントデバイスを備えたシステムにおける情報処理方法は、
（ａ）仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｃ）前記ヘッドマウントデバイスを装着したユーザの感情を特定するステップと、
（ｄ）特定された前記感情が予め定められた第一条件を満たした場合には、前記第一条件を満たした時刻における前記ヘッドマウントデバイスの向きに応じた前記仮想空間における第一領域の評価値を更新するステップと、
を含む。

【0010】

この方法によれば、仮想空間におけるコンテンツの注目領域（注目範囲）を適切に特定することができる。すなわち、ユーザの特定の感情が検知された時をコンテンツの盛り上がり時点として特定し、その時点でのＨＭＤの向き（視野）に応じて注目領域の評価点を更新するため、当該コンテンツの真の盛り上がりポイントを見逃すことがない。

【0011】

（２）（ｅ）前記第一条件を満たした後に前記ユーザの行動が第二条件を満たした場合には、前記評価値をさらに更新するステップを、さらに含んでもよい。

【0012】

特定の感情が検知された後のユーザの行動をさらに加味して、注目領域の重要度（注目度）を調整することで、注目範囲の特性の適格性を高めることができる。

【0013】

（３）前記第二条件は、前記仮想空間内において複数のユーザ間で会話がなされたことを含んでもよい。

【0014】

注目領域の重要度を調整するために、複数のユーザ間でのコミュニケーション行動を用いることができる。

【0015】

（４）前記会話は、前記第一領域を指す言語的表現を含んでもよい。

【0016】

（５）前記会話は、前記時刻を指す時制的表現を含んでもよい。

【0017】

注目領域に対するユーザ間のコミュニケーション行動を用いることで、容易に注目領域の重要度の調整を行うことができる。

【0018】

（６）前記第二条件は、前記ユーザが前記仮想空間において前記第一領域を写真撮影することを含んでもよい。

【0019】

注目領域に対する撮影行動を用いることで、容易に注目領域の重要度の調整を行うことができる。

【0020】

（７）前記第二条件は、前記ユーザが前記仮想空間において前記第一領域を撮影した写真をソーシャルネットワーキングサイトへ投稿する行動を含んでもよい。

【0021】

注目領域の重要度を調整するために、ＳＮＳへの投稿行動を用いることができる。

【0022】

（８）（ｆ）前記評価値が第三条件を満たした場合には、前記時刻における前記第一領域を注目領域として指定するステップと、
（ｇ）前記時刻を含む第一時間幅に亘って、前記注目領域に関する映像を生成するステップと、
をさらに含んでもよい。

【0023】

この方法によれば、注目領域を用いて広告映像等を生成することができる。

【0024】

（９）前記映像は、前記注目領域の前記仮想空間における位置と、前記ヘッドマウントデバイスの動きに基づいて前記視野画像を定義するために前記仮想空間に配置された仮想カメラとに基づいて生成されてもよい。

【0025】

この方法によれば、広告映像等を容易かつ適切に生成することができる。

【0026】

（１０）本開示の実施形態に係る、ヘッドマウントデバイスを備えたシステムにおける情報処理方法は、
（ａ´）仮想空間を定義する仮想空間データを生成するステップと、
（ｂ´）前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｃ´）前記ヘッドマウントデバイスを装着したユーザの行動を特定するステップと、
（ｄ´）特定された前記行動が予め定められた第二条件を満たした場合には、前記第二条件を満たした時刻における前記ヘッドマウントデバイスの向きに応じた前記仮想空間における第一領域の評価値を更新するステップと、
を含む。

【0027】

この方法によれば、コンテンツの真の盛り上がりポイントを見逃すことがなく、コンテンツの注目領域を適切に特定することができる。

【0028】

（１１）本開示の一実施形態に係る情報処理プログラムは、（１）から（１０）のいずれかに記載の情報処理方法をコンピュータに実行させるための情報処理プログラムである。

【0029】

上記によれば、コンテンツの注目範囲を適切に特定可能な情報処理プログラムを提供することができる。

【0030】

（１２）本開示の一実施形態に係る、ヘッドマウントデバイスを用いた情報処理システムは、（１）から（１０）のいずれかに記載の情報処理方法を実行するように構成された情報処理システムである。

【0031】

上記によれば、コンテンツの注目範囲を適切に特定可能な情報処理システムを提供することができる。

【0032】

（１３）本開示の一実施形態に係る情報処理装置は、
プロセッサと、
コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は（１）から（１０）のいずれか一項に記載の情報処理方法を実行する、情報処理装置である。

【0033】

上記によれば、コンテンツの注目範囲を適切に特定可能な情報処理装置を提供することができる。情報処理装置は、ユーザ端末またはサーバのいずれか一方である点に留意されたい。

【0034】

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。本実施形態の説明において既に説明された要素と同一の参照番号を有する要素については、説明の便宜上、その説明は繰り返さない。

【0035】

最初に、仮想空間配信システム１００（情報処理システム）の構成の概略について図１を参照して説明する。図１は、仮想空間配信システム１００（以下、単に配信システム１００という。）の概略図である。図１に示すように、配信システム１００は、ヘッドマウントデバイス（ＨＭＤ）１１０を装着したユーザＡによって操作されるユーザ端末１Ａ（第一ユーザ端末）と、ＨＭＤ１１０を装着したユーザＢによって操作されるユーザ端末１Ｂと、仮想体験コンテンツを配信するサーバ２とを備える。ユーザ端末１Ａ，１Ｂは、インターネット等の通信ネットワーク３を介してサーバ２に通信可能に接続されている。以降では、説明の便宜上、各ユーザ端末１Ａ，１Ｂを単にユーザ端末１と総称する場合がある。各ユーザＡ，Ｂを単にユーザＵと総称する場合がある。本実施形態では、ユーザ端末１Ａ，１Ｂは、同一の構成を備えているものとする。仮想体験コンテンツとは、ユーザ端末１Ａ，１Ｂのユーザに仮想体験を提供するための映像コンテンツ等であって、複数のオブジェクトを含む仮想空間または全天球画像等の３６０度空間画像を含む仮想空間として提供されてもよい。３６０度空間画像を含む仮想空間では、仮想空間の表面上に３６０度空間画像が表示される。仮想空間とは、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間と、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間と、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）空間を含む。

【0036】

次に、図２を参照してユーザ端末１の構成について説明する。図２は、ユーザ端末１を示す概略図である。図２に示すように、ユーザ端末１は、ユーザＵの頭部に装着されたヘッドマウントデバイス（ＨＭＤ）１１０と、ヘッドフォン１１６と、フェイスカメラ１１７と、マイク１１８と、位置センサ１３０と、外部コントローラ３２０と、制御装置１２０とを備える。

【0037】

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０と、フェイスカメラ１１３とを備える。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を完全に覆うように構成された非透過型の表示装置を備える。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。尚、表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用表示部と、ユーザＵの右目に画像を提供するように構成された右目用表示部とから構成されてもよい。また、ＨＭＤ１１０は、透過型の表示装置を備えてもよい。この場合、透過型の表示装置は、その透過率を調整することで、一時的に非透過型の表示装置として構成されてもよい。

【0038】

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動き（傾き等）を検出することができる。

【0039】

注視センサ１４０は、ユーザＵの視線を検出するアイトラッキング機能を有する。注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。注視センサ１４０によって取得された検出データの取得レートは、アバター制御情報（後述する）の送信レート及びＨＭＤ１１０に表示される視野画像のフレームレートより大きい。例えば、検出データの取得レートは、２００Ｈｚである。

【0040】

フェイスカメラ１１３は、ＨＭＤ１１０がユーザＵに装着された状態でユーザＵの目（左目と右目）とまゆげ（左まゆげと右まゆげ）が表示された画像（特に、動画像）を取得するように構成されている。フェイスカメラ１１３は、ユーザＵの目とまゆげを撮像可能なようにＨＭＤ１１０の内側の所定箇所に配置されている。フェイスカメラ１１３によって取得された動画像のフレームレートは、アバター制御情報の送信レート及びＨＭＤ１１０に表示される視野画像のフレームレートより大きい。例えば、当該取得された動画像のフレームレートは、２００ｆｐｓである。

【0041】

ヘッドフォン１１６（音声出力部）は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドフォン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。マイク１１８（音声入力部）は、ユーザＵから発声された音声を収集し、当該収集された音声に基づいて音声データ（電気信号）を生成するように構成されている。さらに、マイク１１８は、音声データを制御装置１２０に送信するように構成されている。

【0042】

フェイスカメラ１１７は、ユーザＵの口及びその周辺が表示された画像（特に、動画像）を取得するように構成されている。フェイスカメラ１１７は、ユーザＵの口及びその周辺を撮像可能なようにユーザＵの口に対向する位置に配置されてもよい。また、フェイスカメラ１１７は、ＨＭＤ１１０に連結されていてもよい。フェイスカメラ１１７によって取得される動画像のフレームレートは、ＨＭＤ１１０に表示される視野画像のフレームレートよりも大きくてもよい。

【0043】

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線又は有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾き又は発光強度に関する情報を検出するように構成されている。さらに、位置センサ１３０は、外部コントローラ３２０に設けられた図示しない複数の検知点の位置、傾き及び／又は発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

【0044】

外部コントローラ３２０は、ユーザＵの手の動きを検知することにより、仮想空間内に表示されるアバターの手の動作を制御するために使用される。外部コントローラ３２０は、ユーザＵの右手によって操作される右手用外部コントローラ３２０Ｒ（以下、単にコントローラ３２０Ｒという。）と、ユーザＵの左手によって操作される左手用外部コントローラ３２０Ｌ（以下、単にコントローラ３２０Ｌという。）と、を有する。コントローラ３２０Ｒは、ユーザＵの右手の位置や右手の手指の動きを示す装置である。また、コントローラ３２０Ｒの動きに応じて仮想空間内に存在するアバターの右手が動く。コントローラ３２０Ｌは、ユーザＵの左手の位置や左手の手指の動きを示す装置である。また、コントローラ３２０Ｌの動きに応じて仮想空間内に存在するアバターの左手が動く。

【0045】

制御装置１２０は、ＨＭＤ１１０を制御するように構成されたコンピュータである。制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を特定し、当該特定された位置情報に基づいて、仮想空間における仮想カメラの位置（アバターの位置）と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。さらに、制御装置１２０は、位置センサ１３０及び／又は外部コントローラ３２０に内蔵されたセンサから取得された情報に基づいて、外部コントローラ３２０の動作を特定し、当該特定された外部コントローラ３２０の動作に基づいて、仮想空間内に表示されるアバターの手の動作と現実空間における外部コントローラ３２０の動作を正確に対応付けることができる。特に、制御装置１２０は、位置センサ１３０及び／又はコントローラ３２０Ｌに内蔵されたセンサから取得された情報に基づいて、コントローラ３２０Ｌの動作を特定し、当該特定されたコントローラ３２０Ｌの動作に基づいて、仮想空間内に表示されるアバターの左手の動作と現実空間におけるコントローラ３２０Ｌの動作（ユーザＵの左手の動作）を正確に対応付けることができる。同様に、制御装置１２０は、位置センサ及び／コントローラ３２０Ｒに内蔵されたセンサから取得された情報に基づいて、コントローラ３２０Ｒの動作を特定し、当該特定されたコントローラ３２０Ｒの動作に基づいて、仮想空間内に表示されるアバターの右手の動作と現実空間におけるコントローラ３２０Ｒの動作（ユーザＵの右手の動作）を正確に対応付けることができる。

【0046】

また、制御装置１２０は、フェイスカメラ１１３，１１７によって取得された動画像に基づいて、ユーザＵの顔の表情（状態）とユーザＵのアバターの顔の表情（状態）を対応付けることができる。ユーザＵの顔の表情とアバターの顔の表情を互いに対応づける処理の詳細については後述する。

【0047】

また、制御装置１２０は、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。さらに、制御装置１２０は、特定された注視点に基づいて、ユーザＵの両目の視線（ユーザＵの視線）を特定することができる。ここで、ユーザＵの視線は、ユーザＵの両目の視線であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。また、制御装置１２０は、注視センサ１４０（左目用注視センサと右目用注視センサ）から送信された検出データ（アイトラッキングデータ）に基づいて、ユーザＵの右目の黒目の中心位置とユーザＵの左目の黒目の中心位置とをそれぞれ特定することができる。

【0048】

次に、図３を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について以下に説明する。図３は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０および／またはＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０および／またはＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。

【0049】

次に、図４を参照することで、制御装置１２０のハードウェア構成について説明する。図４は、制御装置１２０のハードウェア構成を示す図である。図４に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。

【0050】

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、スマートフォン、ファブレット、タブレットまたはウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

【0051】

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

【0052】

特に、プロセッサが制御プログラムをＲＡＭ上に展開し、ＲＡＭとの協働で制御プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、視野画像データに基づいてＨＭＤ１１０の表示部１１２に視野画像を表示する。これにより、ユーザＵは、仮想空間に没入することができる。

【0053】

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現するための制御プログラムを格納してもよい。また、記憶部１２３には、ユーザＵの認証プログラムや各種画像やオブジェクト（例えば、アバター等）に関するデータが格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

【0054】

Ｉ／Ｏインターフェース１２４は、ＨＭＤ１１０と、位置センサ１３０と、外部コントローラ３２０と、ヘッドフォン１１６と、フェイスカメラ１１７と、マイク１１８とをそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。尚、制御装置１２０は、ＨＭＤ１１０と、位置センサ１３０と、外部コントローラ３２０と、ヘッドフォン１１６と、フェイスカメラ１１７と、マイク１１８とのそれぞれと無線接続されていてもよい。

【0055】

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介してサーバ２等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。

【0056】

次に、図５を参照して外部コントローラ３２０の具体的構成の一例について説明する。外部コントローラ３２０は、ユーザＵの身体の一部（頭部以外の部位であり、本実施形態においてはユーザＵの手）の動きを検知することにより、仮想空間内に表示される手オブジェクトの動作を制御するために使用される。外部コントローラ３２０は、ユーザＵの右手によって操作される右手用外部コントローラ３２０Ｒ（以下、単にコントローラ３２０Ｒという。）と、ユーザＵの左手によって操作される左手用外部コントローラ３２０Ｌ（以下、単にコントローラ３２０Ｌという。）と、を有する。コントローラ３２０Ｒは、ユーザＵの右手の位置や右手の手指の動きを示す装置である。また、コントローラ３２０Ｒの動きに応じて仮想空間内に存在する右手オブジェクト４００Ｒ（図１６参照）が移動する。コントローラ３２０Ｌは、ユーザＵの左手の位置や左手の手指の動きを示す装置である。また、コントローラ３２０Ｌの動きに応じて仮想空間内に存在する左手オブジェクト４００Ｌ（図１６参照）が移動する。コントローラ３２０Ｒとコントローラ３２０Ｌは略同一の構成を有するので、以下では、図５を参照してコントローラ３２０Ｒの具体的構成についてのみ説明する。以降の説明では、便宜上、コントローラ３２０Ｌ，３２０Ｒを単にコントローラ３２０と総称する場合がある。

【0057】

図５に示すように、コントローラ３２０Ｒは、操作ボタン３０２と、複数の検知点３０４と、図示しないセンサと、図示しないトランシーバとを備える。検知点３０４とセンサは、どちらか一方のみが設けられていてもよい。操作ボタン３０２は、ユーザＵからの操作入力を受付けるように構成された複数のボタン群により構成されている。操作ボタン３０２は、プッシュ式ボタン、トリガー式ボタン及びアナログスティックを含む。プッシュ式ボタンは、親指による押下する動作によって操作されるボタンである。例えば、天面３２２上に２つのプッシュ式ボタン３０２ａ，３０２ｂが設けられている。トリガー式ボタンは、人差し指や中指で引き金を引くような動作によって操作されるボタンである。例えば、グリップ３２４の前面部分にトリガー式ボタン３０２ｅが設けられると共に、グリップ３２４の側面部分にトリガー式ボタン３０２ｆが設けられる。トリガー式ボタン３０２ｅ，３０２ｆは、人差し指と中指によってそれぞれ操作されることが想定されている。アナログスティックは、所定のニュートラル位置から３６０度任意の方向へ傾けて操作されうるスティック型のボタンである。例えば、天面３２２上にアナログスティック３２０ｉが設けられており、親指を用いて操作されることが想定されている。

【0058】

コントローラ３２０Ｒは、グリップ３２４の両側面から天面３２２とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６を備える。フレーム３２６の外側面には、複数の検知点３０４が埋め込まれている。複数の検知点３０４は、例えば、フレーム３２６の円周方向に沿って一列に並んだ複数の赤外線ＬＥＤである。位置センサ１３０は、複数の検知点３０４の位置、傾きまたは発光強度に関する情報を検出した後に、制御装置１２０は、位置センサ１３０によって検出された情報に基づいて、コントローラ３２０Ｒの位置や姿勢（傾き・向き）に関する情報を取得する。

【0059】

コントローラ３２０Ｒのセンサは、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせであってもよい。センサは、ユーザＵがコントローラ３２０Ｒを動かしたときに、コントローラ３２０Ｒの向きや動きに応じた信号（例えば、磁気、角速度、又は加速度に関する情報を示す信号）を出力する。制御装置１２０は、センサから出力された信号に基づいて、コントローラ３２０Ｒの位置や姿勢に関する情報を取得する。

【0060】

コントローラ３２０Ｒのトランシーバは、コントローラ３２０Ｒと制御装置１２０との間でデータを送受信するように構成されている。例えば、トランシーバは、ユーザＵの操作入力に対応する操作信号を制御装置１２０に送信してもよい。また、トランシーバは、検知点３０４の発光をコントローラ３２０Ｒに指示する指示信号を制御装置１２０から受信してもよい。さらに、トランシーバは、センサによって検出された値を示す信号を制御装置１２０に送信してもよい。

【0061】

次に、図６から図９を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図６は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図７は、仮想空間２００の一例を示すｘｙｚ空間図である。図８の状態（ａ）は、図７に示す仮想空間２００のｙｘ平面図である。図８の状態（ｂ）は、図７に示す仮想空間２００のｚｘ平面図である。図９は、ＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。

【0062】

図６に示すように、ステップＳ１において、制御部１２１（図４参照）は、仮想カメラ３００と、各種オブジェクトとを含む仮想空間２００を示す仮想空間データを生成する。図７に示すように、仮想空間２００は、中心位置２１０を中心とした全天球として規定される（図７では、上半分の天球のみが図示されている）。仮想空間２００では、中心位置２１０を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｖ（図９参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、制御部１２１は、仮想カメラ３００を仮想空間２００内で移動させてもよい。

【0063】

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図８参照）を特定する。具体的には、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する（換言すれば、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する）。視野ＣＶは、図８の状態（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第一領域ＣＶａと、図８の状態（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第二領域ＣＶｂとを有する。制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいてユーザＵの視線を特定し、特定されたユーザＵの視線とＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想カメラ３００の向き（仮想カメラの視軸Ｌ）を決定してもよい。また、後述するように、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、ユーザＵのアバターの顔の向きを決定してもよい。

【0064】

このように、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを更新することができる。同様に、ユーザＵの視線が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新してもよい。つまり、制御部１２１は、ユーザＵの視線の変化に応じて、視野ＣＶを変化させてもよい。

【0065】

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。

【0066】

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｖを表示する（図９参照）。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。

【0067】

仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データに基づいて、左目用表示部に左目用の視野画像を表示すると共に、右目用視野画像データに基づいて、右目用表示部に右目用の視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像との間の視差により、視野画像を３次元的に視認することができる。仮想カメラは、ユーザによって操作されるアバターの目の位置に配置されてもよい。例えば、左目用仮想カメラは、アバターの左目に配置される一方で、右目用仮想カメラは、アバターの右目に配置されてもよい。

【0068】

図６に示すステップＳ１～Ｓ４の処理は１フレーム毎に実行されてもよい。例えば、動画のフレームレートが９０ｆｐｓである場合、ステップＳ１～Ｓ４の処理はΔＴ＝１／９０（秒）間隔で繰り返し実行されてもよい。このように、ステップＳ１～Ｓ４の処理が所定間隔ごとに繰り返し実行されるため、ＨＭＤ１１０の動作に応じて仮想カメラ３００の視野が更新されると共に、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが更新される。

【0069】

次に、図１に示すサーバ２のハードウェア構成について図１０を参照して説明する。図１０は、サーバ２のハードウェア構成を示す図である。図１０に示すように、サーバ２は、制御部２３と、記憶部２２と、通信インターフェース２１と、バス２４とを備える。制御部２３と、記憶部２２と、通信インターフェース２１は、バス２４を介して互いに通信可能に接続されている。制御部２３は、メモリとプロセッサを備えており、メモリは、例えば、ＲＯＭおよびＲＡＭ等から構成されると共に、プロセッサは、例えば、ＣＰＵ、ＭＰＵおよび／またはＧＰＵにより構成される。

【0070】

記憶部（ストレージ）２２は、例えば、大容量のＨＤＤ等である。記憶部２２は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現させるための制御プログラムを格納してもよい。また、記憶部２２は、各ユーザを管理するためのユーザ管理情報や各種画像やオブジェクト（例えば、手オブジェクト等）に関するデータを格納してもよい。通信インターフェース２１は、サーバ２を通信ネットワーク３に接続させるように構成されている。

【0071】

サーバ２は、ユーザ端末１Ａ，１Ｂ、またはユーザ端末１Ａ，１Ｂ以外の端末（例えば、パーソナルコンピュータやタブレット端末）に対して、ウェブブラウザ上で実行されるアプリケーションを介して動画配信サービスを提供し得る。記憶部２２には、動画配信サービスを提供するためのアプリケーションも記憶され得る。記憶部２２に記憶されたアプリケーションは、配信要求に応じて端末機器に配信される。なお、端末機器は、アプリケーションを、サーバ２以外の他のサーバ（アプリマーケットを提供するサーバ等）等からダウンロードすることもできる。

【0072】

このように、サーバ２は、動画配信サービスを提供するためのウェブサイトを管理し、当該ウェブサイトを構成するウェブページ（ＨＴＭＬデータ）を端末機器からの要求に応答して配信することができる。サーバ２は、動画配信サービスの提供に必要な各種データ（画面表示に必要なデータを含む）を端末機器との間で送受信することができる。また、サーバ２は、各ユーザを識別する識別情報（例えば、ユーザＩＤ）毎に各種データを記憶し、ユーザ毎に動画配信サービスの提供状況を管理することができる。詳細な説明は省略するが、サーバ２は、ユーザの認証処理や課金処理等を行う機能を有することもできる。

【0073】

［アバター間の動作制御に関する説明］
次に、図１，図１１および図１２を参照してユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期制御する処理の一例について説明する。図１１の状態（ａ）は、ユーザＡに提供される仮想空間２００Ａを示す図である。図１１の状態（ｂ）は、ユーザＢに提供される仮想空間２００Ｂを示す図である。図１２は、ユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期させる処理の一例を説明するためのフローチャートである。本説明では、前提条件として、図１１に示すように、ユーザ端末１Ａ（ユーザＡ）に関連付けられたアバター４Ａと、ユーザ端末１Ｂ（ユーザＢ）に関連付けられたアバター４Ｂが同一の仮想空間を共有しているものとする。つまり、通信ネットワーク３を介してユーザＡとユーザＢが一つの仮想空間を共有するものとする。

【0074】

図１１の状態（ａ）に示すように、ユーザＡの仮想空間２００Ａは、アバター４Ａと、アバター４Ｂとを含む。アバター４Ａは、ユーザＡによって操作されるとともに、ユーザＡの動作に連動する。アバター４Ａは、ユーザ端末１Ａのコントローラ３２０Ｌの動作（ユーザＡの左手の動作）に連動する左手と、ユーザ端末１Ａのコントローラ３２０Ｒの動作に連動する右手と、表情がユーザＡの顔の表情に連動する顔を有する。アバター４Ａの顔は、複数の顔パーツ（例えば、目、まゆげ、口等）を有する。アバター４Ｂは、ユーザＢによって操作されると共に、ユーザＢの動作に連動する。アバター４Ｂは、ユーザＢの左手の動作を示すユーザ端末１Ｂのコントローラ３２０Ｌの動作に連動する左手と、ユーザＢの右手の動作を示すユーザ端末１Ｂのコントローラ３２０Ｒの動作に連動する右手と、表情がユーザＢの顔の表情と連動する顔を有する。アバター４Ｂの顔は、複数の顔パーツ（例えば、目、まゆげ、口等）を有する。

【0075】

また、ユーザ端末１Ａ，１ＢのＨＭＤ１１０の位置に応じてアバター４Ａ，４Ｂの位置が特定されてもよい。同様に、ユーザ端末１Ａ，１ＢのＨＭＤ１１０の傾きに応じてアバター４Ａ，４Ｂの顔の向きが特定されてもよい。さらに、ユーザ端末１Ａ，１Ｂの外部コントローラ３２０の動作に応じてアバター４Ａ，４Ｂの手の動作が特定されてもよい。また、ユーザＡ，Ｂの顔の表情（状態）に応じてアバター４Ａ，４Ｂの顔の表情が特定されてもよい。特に、ユーザＡ，Ｂの白目に対する黒目の位置に応じてアバター４Ａ，４Ｂの白目に対する黒目の位置が特定されてもよい。

【0076】

図１１の状態（ｂ）に示すように、ユーザＢの仮想空間２００Ｂは、アバター４Ａと、アバター４Ｂとを含む。仮想空間２００Ａ内におけるアバター４Ａ，４Ｂの位置は、仮想空間２００Ｂ内におけるアバター４Ａ，４Ｂの位置に対応してもよい。

【0077】

次に、図１２を参照すると、ステップＳ１０において、ユーザ端末１Ａの制御部１２１は、ユーザＡの音声データを生成する。例えば、ユーザＡがユーザ端末１Ａのマイク１１８（音声入力部）に音声を入力したときに、マイク１１８は、入力された音声を示す音声データを生成する。その後、マイク１１８は生成された音声データをＩ／Ｏインターフェース１２４を介して制御部１２１に送信する。

【0078】

次に、ステップＳ１１において、ユーザ端末１Ａの制御部１２１は、アバター４Ａの制御情報を生成した上で、当該生成したアバター４Ａの制御情報とユーザＡの音声を示す音声データ（ユーザＡの音声データ）をサーバ２に送信する。その後、サーバ２の制御部２３は、ユーザ端末１Ａからアバター４Ａの制御情報とユーザＡの音声データを受信する（ステップＳ１２）。

【0079】

ここで、アバター４Ａの制御情報は、アバター４Ａの動作を制御するために必要な情報である。アバター４Ａの制御情報は、アバター４Ａの位置に関する情報（位置情報）と、アバター４Ａの顔の向きに関する情報（顔向き情報）と、アバター４Ａの手（左手と右手）の状態に関する情報（手情報）と、アバター４Ａの顔の表情に関する情報（顔情報）とを含んでもよい。

【0080】

アバター４Ａの顔情報は、複数の顔パーツの状態を示す情報を有する。複数の顔パーツの状態を示す情報は、アバター４Ａの目の状態（白目の形状及び白目に対する黒目の位置等）を示す情報（目情報）と、アバター４Ａのまゆげの情報（まゆげの位置及び形状等）を示す情報（まゆげ情報）と、アバター４Ａの口の状態（口の位置及び形状等）を示す情報（口情報）を有する。

【0081】

詳細には、アバター４Ａの目情報は、アバター４Ａの左目の状態を示す情報と、アバター４Ａの右目の状態を示す情報を有する。アバター４Ａのまゆげ情報は、アバター４Ａの左まゆげの状態を示す情報と、アバター４Ａの右まゆげの状態を示す情報を有する。

【0082】

ユーザ端末１Ａの制御部１２１は、ＨＭＤ１１０に搭載されたフェイスカメラ１１３からユーザＡの目（左目と右目）とまゆげ（左まゆげと右まゆげ）を示す画像を取得した上で、当該取得された画像と所定の画像処理アルゴリズムに基づいてユーザＡの目（左目と右目）とまゆげ（左まゆげと右まゆげ）の状態を特定する。次に、制御部１２１は、特定されたユーザＡの目とまゆげの状態に基づいて、アバター４Ａの目（左目と右目）の状態を示す情報とアバター４Ａのまゆげ（左まゆげと右まゆげ）の状態を示す情報をそれぞれ生成する。尚、ユーザＡの目の状態を示す情報のうち、ユーザＡの黒目の位置（中心位置）を示す情報は、フェイスカメラ１１３の代わりに注視センサ１４０によって取得されてもよい。

【0083】

同様に、ユーザ端末１Ａの制御部１２１は、フェイスカメラ１１７からユーザＡの口及びその周辺を示す画像を取得した上で、当該取得された画像と所定の画像処理アルゴリズムに基づいてユーザＡの口の状態を特定する。次に、制御部１２１は、特定されたユーザＡの口の状態に基づいて、アバター４Ａの口の状態を示す情報を生成する。

【0084】

このように、ユーザ端末１Ａの制御部１２１は、ユーザＡの目に対応するアバター４Ａの目情報と、ユーザＡのまゆげに対応するアバター４Ａのまゆげ情報と、ユーザＡの口に対応するアバター４Ａの口情報を生成することが可能となる。

【0085】

また、制御部１２１は、フェイスカメラ１１３によって撮像された画像と、フェイスカメラ１１７によって撮像された画像と、所定の画像処理アルゴリズムに基づいて、記憶部１２３又はメモリに記憶された複数の種類の顔の表情（例えば、笑顔、悲しい表情、無表情、怒りの表情、驚いた表情、困った表情等）の中からユーザＡの顔の表情（例えば、笑顔）を特定してもよい。その後、制御部１２１は、特定されたユーザＡの顔の表情に基づいて、アバター４Ａの顔の表情（例えば、笑顔）を示す顔情報を生成することが可能となる。この場合、アバター４Ａの複数の種類の顔の表情と、各々が当該複数の種類の顔の表情の一つに関連付けられた複数のアバター４Ａの顔情報を含む表情データベースが記憶部１２３に保存されてもよい。

【0086】

例えば、制御部１２１は、アバター４Ａの顔の表情が笑顔であると特定した場合、笑顔を示す顔情報を取得する。ここで、アバター４Ａの笑顔を示す顔情報は、アバター４Ａの顔の表情が笑顔のときのアバター４Ａの目情報、まゆげ情報及び口情報を含む。

【0087】

次に、ステップＳ１３において、ユーザ端末１Ｂの制御部１２１は、アバター４Ｂの制御情報を生成した上で、当該生成したアバター４Ｂの制御情報をサーバ２に送信する。その後、サーバ２の制御部２３は、ユーザ端末１Ｂからアバター４Ｂの制御情報を受信する（ステップＳ１４）。

【0088】

ここで、アバター４Ｂの制御情報は、アバター４Ｂの動作を制御するために必要な情報である。アバター４Ｂの制御情報は、アバター４Ｂの位置に関する情報（位置情報）と、アバター４Ｂの顔の向きに関する情報（顔向き情報）と、アバター４Ｂの手（左手と右手）の状態に関する情報（手情報）と、アバター４Ｂの顔の表情に関する情報（顔情報）とを含んでもよい。

【0089】

アバター４Ｂの顔情報は、複数の顔パーツの状態を示す情報を有する。複数の顔パーツの状態を示す情報は、アバター４Ｂの目の状態（白目の形状及び白目に対する黒目の位置等）を示す情報（目情報）と、アバター４Ｂのまゆげの情報（まゆげの位置及び形状等）を示す情報（まゆげ情報）と、アバター４Ｂの口の状態（口の位置及び形状等）を示す情報（口情報）を有する。アバター４Ｂの顔情報の取得方法は、アバター４Ａの顔情報の取得方法と同様である。

【0090】

次に、サーバ２は、アバター４Ｂの制御情報をユーザ端末１Ａに送信する一方（ステップＳ１５）、アバター４Ａの制御情報とユーザＡの音声データをユーザ端末１Ｂに送信する（ステップＳ１９）。その後、ユーザ端末１Ａの制御部１２１は、ステップＳ１６においてアバター４Ｂの制御情報を受信した後に、アバター４Ａ，４Ｂの制御情報に基づいて、アバター４Ａ，４Ｂの状態を更新した上で、仮想空間２００Ａ（図１１の状態（ａ）参照）を示す仮想空間データを更新する（ステップＳ１７）。

【0091】

詳細には、ユーザ端末１Ａの制御部１２１は、アバター４Ａ，４Ｂの位置情報に基づいて、アバター４Ａ，４Ｂの位置を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔向き情報に基づいて、アバター４Ａ，４Ｂの顔の向きを更新する。制御部１２１は、アバター４Ａ，４Ｂの手情報に基づいて、アバター４Ａ，４Ｂの手を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔情報に基づいて、アバター４Ａ，４Ｂの顔の表情を更新する。このように、更新されたアバター４Ａ，４Ｂを含む仮想空間２００Ａを示す仮想空間データが更新される。

【0092】

その後、ユーザ端末１Ａの制御部１２１は、ＨＭＤ１１０の位置や傾きに応じてアバター４Ａ（仮想カメラ３００）の視野ＣＶを特定した上で、更新された仮想空間データと、アバター４Ａの視野ＣＶとに基づいて、ＨＭＤ１１０に表示される視野画像を更新する（ステップＳ１８）。

【0093】

一方、ユーザ端末１Ｂの制御部１２１は、ステップＳ２０においてアバター４Ａの制御情報とユーザＡの音声データを受信した後に、アバター４Ａ，４Ｂの制御情報に基づいて、アバター４Ａ，４Ｂの状態を更新した上で、仮想空間２００Ｂ（図１１の状態（ｂ）参照）を示す仮想空間データを更新する（ステップＳ２１）。

【0094】

詳細には、ユーザ端末１Ｂの制御部１２１は、アバター４Ａ，４Ｂの位置情報に基づいて、アバター４Ａ，４Ｂの位置を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔向き情報に基づいて、アバター４Ａ，４Ｂの顔の向きを更新する。制御部１２１は、アバター４Ａ，４Ｂの手情報に基づいて、アバター４Ａ，４Ｂの手を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔情報に基づいて、アバター４Ａ，４Ｂの顔の表情を更新する。このように、更新されたアバター４Ａ，４Ｂを含む仮想空間を示す仮想空間データが更新される。

【0095】

その後、ユーザ端末１Ｂの制御部１２１は、ＨＭＤ１１０の位置や傾きに応じてアバター４Ｂ（仮想カメラ３００）の視野ＣＶを特定した上で、更新された仮想空間データと、アバター４Ｂの視野ＣＶとに基づいて、ＨＭＤ１１０に表示される視野画像を更新する（ステップＳ２２）。

【0096】

次に、ユーザ端末１Ｂの制御部１２１は、受信したユーザＡの音声データと、アバター４Ａの制御情報に含まれるアバター４Ａの位置に関する情報と、アバター４Ｂの位置に関する情報と、所定の音声処理アルゴリズムに基づいてユーザＡの音声データを加工する。その後、制御部１２１は、加工された音声データをヘッドフォン１１６（音声出力部）に送信した上で、ヘッドフォン１１６は、加工された音声データに基づいてユーザＡの音声を出力する（ステップＳ２３）。このように、仮想空間上においてユーザ間（アバター間）の音声チャット（ＶＲチャット）を実現することができる。

【0097】

本実施形態では、ユーザ端末１Ａ，１Ｂがサーバ２にアバター４Ａの制御情報とアバター４Ｂの制御情報をそれぞれ送信した後に、サーバ２がアバター４Ａの制御情報をユーザ端末１Ｂに送信する一方、アバター４Ｂの制御情報をユーザ端末１Ａに送信する。このように、ユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期させることが可能となる。

【0098】

［第１実施形態に係る情報処理方法についての説明］
次に、図７、図１３～図１６を参照することで、本実施形態に係る情報処理方法を説明する。図１３、図１４は、本実施形態に係る情報処理方法を説明するためのフローチャートである。図１５は、仮想空間２００の各部分領域の評価値を更新する方法を示す模式図である。本実施形態では、図１５に示すように、ユーザ端末１Ａ（ユーザＡ）に関連付けられたアバター４Ａと、ユーザ端末１Ｂ（ユーザＢ）に関連付けられたアバター４Ｂと、ユーザ端末１Ｃ（ユーザＣ）に関連付けられたアバター４Ｃとが同一の仮想空間２００を共有しているものとする。つまり、通信ネットワーク３を介して、ユーザＡとユーザＢとユーザＣとが一つの仮想空間２００を共有するものとする。また、図示は省略するが、ユーザ端末１ＡのＨＭＤ１１０に対応する仮想カメラ３００は、仮想空間２００内のアバター４Ａに対応付けて配置され、ユーザ端末１ＢのＨＭＤ１１０に対応する仮想カメラ３００は、仮想空間２００内のアバター４Ｂに対応付けて配置され、ユーザ端末１ＣのＨＭＤ１１０に対応する仮想カメラ３００は、仮想空間２００内のアバター４Ｃに対応付けて配置されるものとする。すなわち、各ユーザ端末１Ａ，１Ｂ，１ＣのＨＭＤ１１０の移動に基づいて、各アバター４Ａ，４Ｂ，４Ｃの位置および／または向きが変更される。

【0099】

なお、図７では、説明の便宜上、仮想空間２００の表面Ｓのうち手前側（－ｚ側）において複数の緯線ｌｏと経線ｌａの図示を省略する一方、仮想空間２００の表面Ｓのうち奥側（＋Ｚ側）において複数の緯線ｌｏと経線ｌａ、および複数の部分領域Ｒを図示する。図１５では、仮想空間２００の表面の緯線ｌｏ、経線ｌａ、および複数の部分領域Ｒの図示を省略している。

【0100】

図１３に示すように、ステップＳ１００において、サーバ２の制御部２３（図１０参照）は、仮想空間２００を示す仮想空間データを生成する。具体的には、制御部２３は、ユーザ端末１Ａ，１Ｂ，１Ｃからの入力信号に応じて、記憶部２２に記憶された仮想体験コンテンツ（３６０度コンテンツ）を読出し、仮想空間または全天球画像等の３６０度空間画像を含む仮想空間データを生成する。３６０度コンテンツとしては、３６０度動画を含んでもよい。３６０度コンテンツは、例えば、３６０度空間映像の複数の領域においてそれぞれ異なるコンテンツを含むものであってもよい。これにより、仮想空間２００を共有する各ユーザＡ，Ｂ，Ｃは、仮想空間２００内の様々な領域を観賞して、他のユーザに注目ポイントを薦めるなどして、アバター４Ａ，４Ｂ，４Ｃ間でのコミュニケーションを楽しむことができる。

【0101】

次に、ステップＳ１０２において、制御部２３は、所定の角度間隔で配置された複数の緯線ｌｏと所定の角度間隔で配置された複数の経線ｌａを用いることで仮想空間２００の表面Ｓを複数の部分領域Ｒに区分する。換言すれば、制御部２３は、緯線ｌｏと経線ｌａから構成されるグリッドを半球状の仮想空間２００の表面Ｓに設けることで、表面Ｓに複数の部分領域Ｒを設定する（図７参照）。

【0102】

緯線ｌｏの本数は、隣接する緯線ｌｏの角度間隔に応じて設定される。例えば、隣接する緯線ｌｏの角度間隔が１５度の場合には、（９０度÷１５度）－１＝５となり、緯線ｌｏの本数は５本となる。同様に、経線ｌａの本数は、隣接する経線ｌａの角度間隔に応じて設定される。例えば、隣接する経線ｌａの角度間隔が１５度の場合には、３６０度÷１５度＝２４となり、経線ｌａの本数は２４本となる。制御部１２１は、仮想空間データの種類に応じて、適宜、緯線ｌｏと経線ｌａの本数を設定することができる。

【0103】

部分領域Ｒの数は、経線ｌａの本数と緯線ｌｏの本数に応じて決定される。例えば、経線ｌａの本数がｎ本で、緯線ｌｏの本数がｍ本である場合、部分領域Ｒの総数Ｎは、Ｎ＝ｎ×（ｍ＋1）となる（但し、ｎ≧２）。

【0104】

次に、ステップＳ１０４において、サーバ２の制御部２３は、仮想空間２００の表面Ｓに複数の部分領域Ｒが設定された状態の仮想空間データを、各ユーザ端末１Ａ，１Ｂ，１Ｃに送信する。次に、ステップＳ１０６において、各ユーザ端末１Ａ，１Ｂ，１Ｃの制御部１２１（図４参照）は、サーバ２の制御部２３から配信された仮想空間データを表示部１１２に表示する。

【0105】

次に、ステップＳ１０８において、各ユーザ端末１Ａ，１Ｂ，１Ｃの制御部１２１は、ＨＭＤ１１０の位置および向きを特定する。具体的には、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４からＨＭＤ１１０の状態を示すデータを受信することで、ＨＭＤ１１０の位置および向きを特定してもよい。または、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得してもよい。

【0106】

次に、ステップＳ１１０において、各ユーザ端末１Ａ，１Ｂ，１Ｃの制御部１２１は、ＨＭＤ１１０の位置および向きに基づいて、仮想空間２００内における各アバター４Ａ，４Ｂ，４Ｃ（仮想カメラ３００）の位置や向きを更新するとともに、各アバター４Ａ，４Ｂ，４Ｃの視線方向（視軸Ｌ）と仮想空間２００の表面Ｓとが交差する交差点Ｃの位置を決定する。例えば、交差点Ｃは、仮想空間２００の半径ｒと、図７に示す視軸Ｌの緯度θ，経度φに基づいて決定される。ここで、仮想空間２００の半径ｒは既知の値であるため、制御部１２１は、視軸Ｌの緯度θと経度φとに基づいて、交差点Ｃを決定する。視軸Ｌは、各アバター４Ａ，４Ｂ，４Ｃの位置と、各アバター４Ａ，４Ｂ，４Ｃの視線の向きとに基づいて決定される。

【0107】

本ステップＳ１１０において、各ユーザ端末１Ａ，１Ｂ，１Ｃの制御部１２１は、ＨＭＤ１１０の位置および向きに基づいて各アバター４Ａ，４Ｂ，４Ｃの視線方向を特定しているが、これに代わり、各ユーザＡ，Ｂ，Ｃの視線に基づいて各アバター４Ａ，４Ｂ，４Ｃの視線方向を特定してもよい。この場合、制御部１２１は、注視センサ１４０から情報を受信することで、各ユーザＡ，Ｂ，Ｃの視線が変化したと判定してもよい。または、制御部１２１は、注視センサ１４０から送信された情報に基づいて、各ユーザＡ，Ｂ，Ｃの視線に関する情報を取得し、当該取得された情報に基づいて、各ユーザＡ，Ｂ，Ｃの視線が変化したかどうかを判定してもよい。

【0108】

次に、ステップＳ１１２において、各ユーザ端末１Ａ，１Ｂ，１Ｃの制御部１２１は、仮想空間２００の表面Ｓを区分する複数の部分領域Ｒのうち、交差点Ｃが含まれている部分領域を特定する。ここで、部分領域Ｒは、複数の緯線ｌｏと複数の経線ｌａによって設定されるので、各部分領域Ｒは、緯度θと経度φの角度範囲を有する。また、上述したように、交差点Ｃは、視軸Ｌの緯度θと経度φとに基づいて決定される。このように、制御部１２１は、移動後の視軸Ｌの緯度θと経度φを決定することで、複雑な演算を行うことなく交差点Ｃがどの部分領域Ｒに含まれるかを決定することができる。

【0109】

なお、各アバター４Ａ，４Ｂ，４Ｃの視線方向（視軸Ｌ）は時々刻々変わり得るため、本ステップＳ１１２では、各時刻において交差点Ｃが含まれている部分領域Ｒを示す視野情報（各アバター４Ａ，４Ｂ，４Ｃの視線方向が指し示す部分領域を示す情報）は、時刻を定義する時刻情報と関連付けられて特定される。時刻情報は、現実の時刻に対応して規定してもよく、仮想空間データとして各ユーザ端末１Ａ，１Ｂ，１Ｃに送信される３６０度コンテンツの再生開始時間からの経過時間として規定してもよい。

【0110】

例えば、ユーザ端末１Ａの制御部１２１は、アバター４Ａの視線方向ＬＡと仮想空間２００の表面Ｓとが交差する交差点ＣＡを含む部分領域Ｒ（図１５では部分領域Ｒ１）を時刻情報と関連付けて特定する。同様に、ユーザ端末１Ｂの各制御部１２１は、アバター４Ｂの視線方向ＬＢと仮想空間２００の表面Ｓとが交差する交差点ＣＢを含む部分領域Ｒ（図１５では部分領域Ｒ１）を時刻情報と関連付けて特定する。同様に、ユーザ端末１Ｃの各制御部１２１は、アバター４Ｃの視線方向ＬＣと仮想空間２００の表面Ｓとが交差する交差点ＣＣを含む部分領域Ｒ（図１５では部分領域Ｒ３）を時刻情報と関連付けて特定する。

【0111】

次に、ステップＳ１１４において、各ユーザ端末１Ａ，１Ｂ，１Ｃの制御部１２１は、各時刻における各アバター４Ａ，４Ｂ，４Ｃの顔情報と、各時刻における各アバター４Ａ，４Ｂ，４Ｃの音声情報とを取得する。上述の通り、制御部１２１は、フェイスカメラ１１３やフェイスカメラ１１７によって撮像された画像に基づいて、各アバター４Ａ，４Ｂ，４Ｃの顔の表情を特定し、特定された表情に基づいて顔情報を取得する。また、制御部１２１は、各ユーザＡ，Ｂ，Ｃから発声された音声に基づいて生成された音声データをマイク１１８から受信し、受信した音声データに基づいて音声情報を取得する。

【0112】

次に、ステップＳ１１６において、各ユーザ端末１Ａ，１Ｂ，１Ｃの制御部１２１は、取得した時刻情報と、視野情報と、顔情報と、音声情報とをサーバ２へ送信する。次に、ステップＳ１１８において、サーバ２は、記憶部２２に保存された視野情報データを更新する。視野情報データの一例を以下に示す。

【0113】

（表１）

【0114】

ここで、表１に示す視野情報データは、時刻情報と、各時刻における各アバター４Ａ，４Ｂ，４Ｃの視野情報、感情情報、および感情評価値を含む。感情情報は、各アバター４Ａ，４Ｂ，４Ｃの顔情報と音声情報とに基づいて特定される。感情情報は、顔情報と音声情報との少なくとも一方のみに基づいて特定されてもよい。感情評価値は、各アバター４Ａ，４Ｂ，４Ｃの感情情報と、３６０度コンテンツの属性とに基づいて決定される。例えば、仮想空間２００に配信されている３６０度コンテンツが娯楽番組（お笑い番組、クイズ番組等）や娯楽映画である場合には、感情情報が笑顔や驚き顔である場合にプラスの感情評価値がつき、感情情報が無表情や怒り顔の場合にはマイナスの感情評価値がついてもよい。一方、３６０度コンテンツがシリアスなドラマや社会派映画である場合には、感情情報が悲しい表情や驚き顔である場合にプラスの感情評価値がついてもよい。また、特定の感情情報（例えば、無表情）の場合に感情評価値がつかなくてもよい。なお、本例では、感情情報が笑顔の場合には感情評価値を「＋１」とし、感情情報が驚き顔の場合には感情評価値を「＋２」とし、感情情報が無表情の場合には感情評価値を「－１」とする。

【0115】

図１５に示すように、例えば、アバター４Ａが時刻Ｔ１～Ｔ５の間に部分領域Ｒ１を注視し（交差点ＣＡが時刻Ｔ１～Ｔ５において部分領域Ｒ１に含まれている）、時刻Ｔ１～Ｔ５間のアバター４Ａの顔情報が無表情であるとする。また、時刻Ｔ１～Ｔ５間の所定の時刻（例えば、時刻Ｔ２）に、ユーザＡから「そうでもないな。」という音声が発声されたとする。この場合、ユーザ端末１Ａの制御部１２１から時刻情報および視野情報を受信したサーバ２の制御部２３は、各時刻Ｔ１～Ｔ５のアバター４Ａの視野情報を部分領域Ｒ１と特定して、表１に示す視野情報データの時刻Ｔ１～Ｔ５におけるアバター４Ａの視野情報を更新する。さらに、制御部２３は、ユーザ端末１Ａの制御部１２１から受信した各時刻Ｔ１～Ｔ５におけるアバター４Ａの顔情報と、時刻Ｔ２におけるユーザＡの音声情報とに基づいて、表１のアバター４Ａの感情情報を特定する。このとき、制御部２３は、受信した音声情報を言語解析して、音声情報の解析結果に基づいて感情情報を調整することができる。本例の場合は、例えば、「そうでもないな。」という音声情報はプラス評価でもマイナス評価でもないと判断される。そのため、時刻Ｔ１～Ｔ５間のアバター４Ａの顔情報（無表情）と、ゼロ評価である音声情報とに基づいて、制御部１２１は、時刻Ｔ１～Ｔ５におけるアバター４Ａの感情情報を「無表情」と特定する（表１参照）。そして、制御部２３は、特定された感情情報と、仮想空間２００に配信されている３６０度コンテンツの属性とに基づいて、アバター４Ａの感情評価値を更新する。例えば、仮想空間２００に配信されている３６０度コンテンツが娯楽番組である場合、制御部２３は、アバター４Ａの感情情報が無表情であることに基づいて、時刻Ｔ１～Ｔ５におけるアバター４Ａの感情評価値を「－１」と更新する。

【0116】

図１５に示すように、例えば、アバター４Ｂが、時刻Ｔ１，Ｔ２では部分領域Ｒ１を注視し、続いて、図１６に示すように、時刻Ｔ３，Ｔ４ではアバター４Ｃの方（部分領域Ｒ２）を向く、続いて、時刻Ｔ５において部分領域Ｒ１を再び注視するとする。時刻Ｔ１～Ｔ５を通じて、アバター４Ｂの顔情報は笑顔であるとする。また、時刻Ｔ１～Ｔ５間の所定の時刻（例えば、時刻Ｔ２）に、ユーザＢから「イイネ。」という音声が発声されたとする。この場合、ユーザ端末１Ｂの制御部１２１から時刻情報および視野情報を受信したサーバ２の制御部２３は、各時刻Ｔ１，Ｔ２，Ｔ５でのアバター４Ｂの視野情報を部分領域Ｒ１と特定するとともに、Ｔ３，Ｔ４でのアバター４Ｂの視野情報を部分領域Ｒ２と特定し、表１に示す視野情報データの時刻Ｔ１～Ｔ５におけるアバター４Ｂの視野情報を更新する。さらに、制御部２３は、ユーザ端末１Ｂの制御部１２１から受信した各時刻Ｔ１～Ｔ５におけるアバター４Ｂの顔情報と、時刻Ｔ２におけるユーザＢの音声情報とに基づいて、表１のアバター４Ｂの感情情報を特定する。本例の場合は、例えば、「イイネ。」という音声情報はプラス評価であると判断される。そのため、時刻Ｔ１～Ｔ５間のアバター４Ｂの顔情報（笑顔）と、プラス評価である音声情報とに基づいて、制御部１２１は、時刻Ｔ１～Ｔ５におけるアバター４Ｂの感情情報を「笑顔」と特定する（表１参照）。そして、制御部２３は、特定された感情情報と、仮想空間２００に配信されている３６０度コンテンツの属性とに基づいて、アバター４Ｂの感情評価値を更新する。仮想空間２００に配信されている３６０度コンテンツが娯楽番組であるため、制御部２３は、アバター４Ｂの感情情報が笑顔であることに基づいて、時刻Ｔ１～Ｔ５におけるアバター４Ｂの感情評価値を「＋１」と更新する。

【0117】

なお、アバター４Ｂが笑いながら特定のジェスチャ（例えば、手オブジェクトでアバターの口を覆うようなジェスチャや手オブジェクトを叩くようなジェスチャ）をしている場合には、笑いの度合いが高いと判断して、感情評価値をさらにアップさせてもよい。すなわち、アバターの顔情報や音声情報だけでなく、手オブジェクトによるジェスチャを加味して、感情を特定してもよい。また、ジェスチャの種類に応じて、笑顔の度合いに差をつけてもよい。例えば、アバターの顔情報が笑顔であるとした場合に、制御部２３は、例えば、特定のジェスチャがなければ笑いの度合いが軽度（小笑い）であると判断し、感情評価値をさらにプラスすることはしない。手オブジェクトでアバターの口を覆うようなジェスチャをした場合には、制御部２３は、笑いの度合いが中度（中笑い）であると判断し、感情評価値をさらにプラスする。手オブジェクトを叩くようなジェスチャをした場合には、制御部２３は、笑いの度合いが高度（大笑い）であると判断し、感情評価値を、中笑いの場合よりもさらに多くプラスする。

【0118】

図１５に示すように、例えば、アバター４Ｃが、時刻Ｔ１～Ｔ５の間に部分領域Ｒ１や部分領域Ｒ２とは異なる部分領域Ｒ３を注視しているとする。時刻Ｔ１～Ｔ５のアバター４Ｃの顔情報は驚き顔であるとする。また、時刻Ｔ１～Ｔ５間の所定の時刻（例えば、時刻Ｔ２）に、ユーザＣから「おお！」という音声が発声されたとする。この場合、ユーザ端末１Ｃの制御部１２１から時刻情報および視野情報を受信したサーバ２の制御部２３は、各時刻Ｔ１～Ｔ５でのアバター４Ｃの視野情報を部分領域Ｒ３と特定し、表１に示す視野情報データの時刻Ｔ１～Ｔ５におけるアバター４Ｃの視野情報を更新する。さらに、制御部２３は、ユーザ端末１Ｃの制御部１２１から受信した各時刻Ｔ１～Ｔ５におけるアバター４Ｃの顔情報と、時刻Ｔ２におけるユーザＣの音声情報とに基づいて、表１のアバター４Ｃの感情情報を特定する。本例の場合は、例えば、「おお！」という音声情報はプラス評価であると判断される。そのため、時刻Ｔ１～Ｔ５間のアバター４Ｃの顔情報（驚き顔）と、プラス評価である音声情報とに基づいて、時刻Ｔ１～Ｔ５におけるアバター４Ｃの感情情報を「驚き顔」と特定する（表１参照）。そして、制御部２３は、特定された感情情報と、仮想空間２００に配信されている３６０度コンテンツの属性とに基づいて、アバター４Ｃの感情評価値を更新する。仮想空間２００に配信されている３６０度コンテンツが娯楽番組であるため、制御部２３は、時刻Ｔ１～Ｔ５でのアバター４Ｃの感情情報が驚き顔であることに基づいて、時刻Ｔ１～Ｔ５におけるアバター４Ｃの感情評価値を「＋２」と更新する。なお、アバター４Ｃが驚きながら特定のジェスチャ（例えば、両手オブジェクトを広げるようなジェスチャ）をしている場合には、驚きの度合いが強いと判断して、プラスの感情評価値をさらにつけてもよい。

【0119】

次に、ステップＳ１２０において、サーバ２は、各部分領域の評価値データを更新する。表２に評価値データの一例を示す。

【0120】

（表２）

【0121】

評価値データは、各時刻（例えば時刻Ｔ１～Ｔ５）における各部分領域（例えば、部分領域Ｒ１，Ｒ３）の評価値を示すデータである。各部分領域の評価値は、感情合計評価値と、コミュニケーション評価値と、感情合計評価値とコミュニケーション評価値とを合算した総合評価値とを含む。感情合計評価値とは、各時刻（時刻Ｔ１～Ｔ５）における複数のアバター４Ａ，４Ｂ，４Ｃの感情評価値を合算した評価値である。コミュニケーション評価値とは、例えば、仮想空間２００内におけるアバター４Ａ，４Ｂ，４Ｃ間でなされたコミュニケーション行動に関連付けられた評価値である。コミュニケーション行動とは、例えば、アバター４Ａ，４Ｂ，４Ｃ間でなされた会話や、各アバター４Ａ，４Ｂ，４Ｃの動作（ジェスチャなど）を含んでもよい。本例では、特に、アバターから他のアバターに対して３６０度コンテンツの特定エリアを注視するように促すような会話や特定のジェスチャがなされた場合には、当該特定エリアに該当する部分領域に対する評価値を加算する。

【0122】

図１４は、各部分領域の評価値データを更新するステップＳ１２０における各ステップを示すフローチャートである。
図１４に示すように、まず、ステップＳ１２０－１において、サーバ２の制御部２３は、各時刻（時刻Ｔ１～Ｔ５）での複数のアバター４Ａ，４Ｂ，４Ｃの感情評価値を合算して、部分領域ごとの感情合計評価値を更新する。続いて、制御部２３は、ステップＳ１２０－２において、アバター４Ａ，４Ｂ，４Ｃ間でコミュニケーション行動がなされたか否かを判定する。アバター４Ａ，４Ｂ，４Ｃ間でコミュニケーション行動がなされたと判定された場合には（ステップＳ１２０－２のＹｅｓ）、ステップＳ１２０－３において、制御部２３は、当該コミュニケーション行動に関する情報（以下、行動情報と称する）を各ユーザ端末１Ａ，１Ｂ，１Ｃから受信する。そして、ステップＳ１２０－４において、制御部２３は、行動情報に基づいてコミュニケーション評価値を更新する。

【0123】

アバター４Ａ，４Ｂ，４Ｃ間でのコミュニケーション行動について、図１６を参照して、以下説明する。
図１６に示すように、例えば、アバター４Ｂが、時刻Ｔ３～Ｔ４の間に、右手オブジェクト４００Ｒにより部分領域Ｒ１を指差しながら、アバター４Ｃの方を向いて「あの部分が良かったよ。」と話しかけたとする。このとき、ユーザ端末１Ｂの制御部１２１は、「あの部分が良かったよ。」という会話情報と、右手オブジェクト４００Ｒによる指差しのジェスチャ（ジェスチャ情報）を、時刻情報とともに、サーバ２へ送信する。サーバ２の制御部２３は、ユーザ端末１Ｂより受信した会話情報を言語解析し、会話情報の解析結果とジェスチャ情報とに基づいて、コミュニケーション行動がなされたか否かを判定する。ここで、制御部２３は、アバター４Ａの会話情報に含まれる各種表現、例えば、特定領域を指す言語的表現（指示語）や時制的表現を抽出して、当該会話情報を解析する。例えば、「あの部分が良かったよ。」という会話情報である場合には、制御部２３は、アバター４Ｂのジェスチャ情報に基づいて、「あの部分」という指示語が部分領域Ｒ１を示すものと判断する。そして、「良かったよ」という文言に過去形の時制的表現が含まれるため、制御部２３は、アバター４Ｂからアバター４Ｃに対して部分領域Ｒ１に関連付けられたコミュニケーション行動がなされたと判定する。そして、制御部２３は、アバター４Ｂからアバター４Ｃに対してコミュニケーション行動がなされた時刻（例えば、発話がなされている間の時刻Ｔ３～Ｔ４）について、部分領域Ｒ１のコミュニケーション評価値を、例えば「＋２」とする。なお、会話情報に現在形や未来形の時制的表現が含まれている場合には、会話情報に含まれる指示語（例えば、「あの部分」）が部分領域Ｒ１を示すものとは必ずしも言えないため、部分領域Ｒにプラスのコミュニケーション評価値をつけないこととしてもよい。

【0124】

また、図１６に示すように、アバター４Ｂから「あの部分が良かったよ。」と話しかけられたアバター４Ｃが、アバター４Ｂに対して「そうなんだ。」と返答したとする。この場合、ユーザ端末１Ｃの制御部１２１は、アバター４Ｃの視野情報とともに「そうなんだ。」という会話情報をサーバ２へ送信する。サーバ２の制御部２３は、ユーザ端末１Ｃから受信した会話情報を言語解析し、その解析結果と視野情報に基づいて、アバター４Ｃがアバター４Ｂの発話に対して同意する旨の発話をしたと判断する。このアバター４Ｃの発話については、特定の部分領域を示す指示語が含まれておらず、また、時制が現在形であるため、部分領域のコミュニケーション評価値をアップさせる発話ではないと判断される。そのため、制御部２３は、このアバター４Ｃの「そうなんだ。」という返答については、コミュニケーション評価値をつけない。なお、仮に、アバター４Ｃの発話に特定の部分領域を示す指示語が含まれており、且つ、時制が過去形である場合には、当該特定の部分領域のコミュニケーション評価値をアップさせる発話であると評価することができる。

【0125】

次に、ステップＳ１２０－５において、サーバ２の制御部２３は、上記のように特定された感情合計評価値とコミュニケーション評価値とを合算して、総合評価値を更新する。例えば、表２に示すように、部分領域Ｒ１の時刻Ｔ１，Ｔ２における総合評価値は「０」となり、部分領域Ｒ１の時刻Ｔ３，Ｔ４における総合評価値は「＋１」となり、部分領域Ｒ１の時刻Ｔ５における総合評価値は「＋３」となる。

【0126】

図１３に戻り、次に、ステップＳ１２２において、サーバ２の制御部２３は、総合評価値が閾値（例えば、「＋３」）以上となった部分領域があるか否かを判定する。総合評価値が閾値以上となった部分領域がないと判定された場合には（ステップＳ１２２のＮｏ）、ステップＳ１０８以降の処理が繰り返される。一方、総合評価値が閾値以上となった部分領域があると判定された場合には（ステップＳ１２２のＹｅｓ）、ステップＳ１２４において、制御部２３は、総合評価値が閾値以上となった部分領域を注目領域として指定する。例えば、表２に示す例では、時刻Ｔ５における部分領域Ｒ１の総合評価値が「＋４」であるため、制御部２３は、時刻Ｔ５における部分領域Ｒ１を注目領域として指定する。

【0127】

次に、ステップＳ１２６において、サーバ２の制御部２３は、総合評価値が閾値以上となった時刻を含む所定の時間幅（第一時間幅の一例）において、注目領域に関する映像（以下、注目映像と称す）を生成する。注目映像としては、例えば、部分領域Ｒ１について、総合評価値が「＋３」である時刻Ｔ５を含む前後５秒ずつの映像を生成することができる。この注目映像は、図１７に示すように、仮想空間２００内の注目領域Ｒ１を、例えば、仮想空間２００を構成する天球の中心に配置された注目映像生成用の仮想カメラ３００Ａで撮像することにより生成されてもよい。アバター４Ａ，４Ｂ，４Ｃやこれらのアバター４Ａ，４Ｂ，４Ｃに関連付けられた仮想カメラ３００は、必ずしも仮想空間２００を構成する天球の中心に位置しているわけではないが、仮想空間２００の中心に配置された仮想カメラ３００により注目領域を撮像して注目映像を生成することで、見やすいアングルから適切な注目映像を生成することができる。注目映像は、３次元映像として生成されてもよく、２次元映像として生成されてもよい。なお、ステップＳ１２６で複数の注目映像が生成された場合には、制御部２３は、当該複数の注目映像を繋ぎ合わせることによって、ダイジェスト映像コンテンツを生成してもよい。

【0128】

次に、ステップＳ１２８において、サーバ２の制御部２３は、ネットワーク３を通じて、生成したダイジェスト映像コンテンツ（または注目映像）を、ウェブブラウザ上の動画配信サービスに配信する。このとき、制御部２３は、多数のユーザの動画視聴情報を収集し、各ユーザの視聴履歴情報を参照して、注目領域（例えば部分領域Ｒ１）に関する履歴データが、対象のダイジェスト映像コンテンツの属性に似ているユーザ端末（ユーザＩＤ）を特定し、当該ユーザ端末に対して、当該ダイジェスト映像コンテンツを配信するようにしてもよい。例えば、制御部２３は、収集した視聴履歴情報から、各ユーザのユーザ属性を推定し、そのユーザ属性が対象のダイジェスト映像コンテンツの属性と近いユーザに対して、当該ダイジェスト映像コンテンツを提供する。ダイジェスト映像コンテンツは、例えば、各ユーザ端末が登録しているソーシャルネットワーキングサービス（例えば、ライン（ＬＩＮＥ（登録商標））、フェイスブック（ＦＡＣＥＢＯＯＫ（登録商標））、ツイッター（ＴＷＩＴＴＥＲ（登録商標）））のタイムラインに配信される。また、このように、サーバ２の制御部２３は、多数のユーザから対象のダイジェスト映像コンテンツに興味を持つであろうユーザをピックアップし、当該ユーザに対して当該ダイジェスト映像コンテンツをリコメンドすることで、３６０度コンテンツの広告効果を高めることができる。また、ＨＭＤ１１０を装着して３６０度コンテンツの視聴を完了したユーザＡ，Ｂ，Ｃが、ＨＭＤ１１０を外した後に再びＨＭＤ１１０を装着して、別の３６０度コンテンツの視聴を開始しようとする場合に、サーバ２の制御部２３は、各ユーザＡ，Ｂ，Ｃの注目領域の履歴情報に基づいて、各ユーザＡ，Ｂ，Ｃの興味に応じた各種の３６０度コンテンツのダイジェスト映像をおすすめ映像として、各ユーザＡ，Ｂ，Ｃが装着するＨＭＤ１１０の表示部１１２に表示させるようにしてもよい。

【0129】

以上説明したように、本実施形態によれば、サーバ２の制御部２３は、ＨＭＤ１１０を装着したユーザＡ，Ｂ，Ｃの感情を特定し、特定された感情が予め定められた条件（第一条件の一例）を満たした場合には、当該条件を満たした時刻におけるＨＭＤ１１０の向きに応じた仮想空間２００における領域（第一領域の一例）の評価値を更新する。これにより、ユーザＡ，Ｂ，Ｃの特定の感情が検知された時を３６０度コンテンツの盛り上がり時点として特定し、その時点での各ユーザＡ，Ｂ，Ｃが装着するＨＭＤ１１０の向き（視野）に応じて注目領域の評価値を更新することができる。そのため、３６０度コンテンツの真の盛り上がりポイントを見逃すことがなく、仮想空間２００における３６０度コンテンツの注目領域（注目範囲）を適切に特定することができる。

【0130】

また、制御部２３は、ユーザＡ，Ｂ，Ｃの感情が第一条件を満たした後にユーザＡ，Ｂ，Ｃのコミュニケーション行動が所定の条件（第二条件の一例）を満たした場合には、評価値をさらに更新するようにしてもよい。ユーザＡ，Ｂ，Ｃの感情に加え、ユーザＡ，Ｂ，Ｃのコミュニケーション行動にも基づいて、注目領域の重要度（注目度）を調整することで、注目範囲の特定の精度を高めることができる。

【0131】

ユーザＡ，Ｂ，Ｃのコミュニケーション行動に関する条件は、仮想空間２００内において複数のアバター４Ａ，４Ｂ，４Ｃ間で会話がなされたことを含んでもよい。注目領域の重要度を調整するために、複数のアバター４Ａ，４Ｂ，４Ｃ間でなされた会話を用いることが好ましい。なお、仮想空間２００に配置されたアバター４Ａ，４Ｂ，４Ｃを介さずに、ユーザＡ，Ｂ，Ｃ同士が直接会話をすることもでき、この場合のユーザＡ，Ｂ，Ｃ間のコミュニケーション行動を評価値の更新に用いてもよい。あるいは、ＶＲ空間である仮想空間２００から現実空間に電話をかける等して、ユーザＡ，Ｂ，Ｃ同士が直接会話をすることもできる。

【0132】

アバター４Ａ，４Ｂ，４Ｃ間あるいはユーザＡ，Ｂ，Ｃ間でなされる会話に、特定の部分領域を指す言語的表現が含まれている場合に、評価点をさらに更新してもよい。また、アバター４Ａ，４Ｂ，４Ｃ間あるいはユーザＡ，Ｂ，Ｃ間でなされる会話に、時刻を指す時制的表現が含まれている場合に、評価点をさらに更新してもよい。このように会話内の各種表現を用いることで、容易に注目領域の重要度の調整を行うことができる。

【0133】

なお、評価値を更新するために用いられるユーザＡ，Ｂ，Ｃのコミュニケーション行動は、アバター４Ａ，４Ｂ，４Ｃ間あるいはユーザＡ，Ｂ，Ｃ間でなされた会話に限られない。例えば、ユーザＡ，Ｂ，Ｃが仮想空間２００において特定の部分領域を写真（動画）撮影した場合に、その撮影された領域の評価値を更新するようにしてもよい。さらに、ユーザＡ，Ｂ，Ｃが仮想空間２００において特定の領域（例えば、部分領域Ｒ１）を写真撮影して、その写真をソーシャルネットワーキングサイト（ＳＮＳ）へ投稿した場合に、その領域（部分領域Ｒ１）の評価値を更新するようにしてもよい。このように、注目領域の重要度を調整するためのコミュニケーション行動として、仮想空間２００内での写真撮影やＳＮＳへの投稿行動を用いることも可能である。

【0134】

なお、上記の実施形態では、アバター４Ａ，４Ｂ，４Ｃの視野情報および顔情報に基づいて特定の部分領域の評価値を更新し、それに加えて、アバター４Ａ，４Ｂ，４Ｃ間、あるいはユーザＡ，Ｂ，Ｃ間のコミュニケーション行動に基づいて各部分領域Ｒの評価値をさらに更新しているが、この例に限られない。例えば、アバター４Ａ，４Ｂ，４Ｃの顔情報に基づいて各部分領域Ｒの評価値を更新することなく、アバター４Ａ，４Ｂ，４Ｃ間、あるいはユーザＡ，Ｂ，Ｃ間のコミュニケーション行動のみに基づいて、各部分領域Ｒの評価値を更新してもよい。

【0135】

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

【0136】

制御部１２１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ（プロセッサ）に実行させるための表示制御プログラムが記憶部１２３又はＲＯＭに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ－ＲＯＭ，ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は本実施形態に係る表示制御方法を実行する。

【0137】

表示制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１２３に組み込まれる。

【0138】

本実施形態の説明では、仮想空間２００を示す仮想空間データがユーザ端末１側で更新されていることを前提としているが、仮想空間データはサーバ２側で更新されてもよい。さらに、視野画像に対応する視野画像データがユーザ端末１側で更新されていることを前提としているが、視野画像データはサーバ２側で更新されてもよい。この場合、ユーザ端末１は、サーバ２から送信された視野画像データに基づいて、ＨＭＤ１１０に視野画像を表示する。

【0139】

また、ユーザ端末１の制御部１２１によって実行される各種処理をソフトウェアによって実現するために、各種処理をコンピュータ（プロセッサ）に実行させるための制御プログラムが記憶部１２３またはメモリに予め組み込まれていてもよい。または、制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ－ＲＯＭ，ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）ディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納された制御プログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は各種処理を実行する。

【0140】

また、制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該制御プログラムが記憶部１２３に組み込まれる。

【0141】

本実施形態において、仮想空間は、ユーザにＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）およびＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）といった、仮想体験を提供するために用いられる。仮想空間がＶＲを提供する場合、仮想空間の背景にはメモリに保存された背景データが使用される。仮想空間がＡＲまたはＭＲを提供する場合、背景には現実空間が使用される。この場合、ＨＭＤ１１０が透過型の表示装置（光学シースルーまたはビデオシースルー型の表示装置）を備えることにより、現実空間が背景として使用され得る。仮想空間がＭＲに適用される場合、オブジェクトは、現実空間によって影響を与えられてもよい。このように、仮想空間が背景や仮想オブジェクトといった仮想シーンを少なくとも一部に含むことにより、ユーザには当該仮想シーンとの相互作用が可能な仮想体験が提供され得る。また、仮想空間がＡＲまたはＭＲに適用される場合、手オブジェクトの代わりにユーザの手が用いられてもよい。この場合、図１６に示す左手オブジェクト４００Ｌの代わりにユーザの左手が仮想空間２００に配置されるとともに、右手オブジェクト４００Ｒの代わりにユーザの右手が仮想空間２００に配置される。そして、サーバ２は、ユーザの手によるジェスチャに基づいてコミュニケーション行動がなされたか否かを判定し得る。

【符号の説明】

【0142】

１（１Ａ～１Ｃ）：ユーザ端末（端末機器の一例）
２：サーバ
３：通信ネットワーク
４Ａ～４Ｃ：アバター
１１０：ヘッドマウントデバイス（ＨＭＤ）
１１２：表示部
１１４：センサ
１１６：ヘッドフォン
１１８：マイク
１２０：制御装置
１２１：制御部
１２３：記憶部（ストレージ）
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１３０：位置センサ
１４０：注視センサ
２００，２００Ａ：仮想空間
３００：仮想カメラ
３２０：外部コントローラ
４００Ｌ：左手オブジェクト
４００Ｒ：右手オブジェクト
Ｃ：交差点
Ｒ（Ｒ１～Ｒ３）：部分領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】