特許 6836379 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6836379

(24)【登録日】2021年2月9日

(45)【発行日】2021年3月3日

(54)【発明の名称】情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム

(51)【国際特許分類】

   G06F 13/00 20060101AFI20210222BHJP

   A63F 13/25 20140101ALI20210222BHJP

   A63F 13/55 20140101ALI20210222BHJP

   A63F 13/87 20140101ALI20210222BHJP

   A63F 13/79 20140101ALI20210222BHJP

【ＦＩ】

   G06F13/00 650R

   A63F13/25

   A63F13/55

   A63F13/87

   A63F13/79

【請求項の数】7

【全頁数】26

(21)【出願番号】特願2016-235872(P2016-235872)

(22)【出願日】2016年12月5日

(65)【公開番号】特開2018-92416(P2018-92416A)

(43)【公開日】2018年6月14日

【審査請求日】2019年9月9日

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100154759

【弁理士】

【氏名又は名称】高木 貴子

(72)【発明者】

【氏名】津留 大介

【審査官】 安藤 一道

(56)【参考文献】

【文献】 特表２０１１−５０２３０７（ＪＰ，Ａ）

【文献】 特開２００９−０４８３０２（ＪＰ，Ａ）

【文献】 特開２００９−２３３１７４（ＪＰ，Ａ）

【文献】 特開２００９−０４８３０３（ＪＰ，Ａ）

【文献】 特表２０１６−５２６９５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １３／００

Ａ６３Ｆ １３／２５

Ａ６３Ｆ １３／５５

Ａ６３Ｆ １３／７９

Ａ６３Ｆ １３／８７

(57)【特許請求の範囲】

【請求項1】

一のユーザが使用するヘッドマウントディスプレイを含むユーザ端末に対して、他のユーザのアバターを含んだ仮想空間を提供する情報処理装置の情報処理方法において、
前記仮想空間における複数のユーザ端末のそれぞれに対して視界画像を提供可能な情報を前記ヘッドマウントディスプレイを介して取得し、前記複数のユーザ端末のそれぞれに出力する出力ステップと、
前記複数のユーザ端末のうち一のユーザ端末において前記ヘッドマウントディスプレイを介した視界画像の撮影操作が行われると、前記一のユーザ端末を使用している前記一のユーザに対して通報操作を許可するステップと、
前記一のユーザ端末において通報操作が行われると、前記一のユーザの識別情報、当該撮影操作の時刻、通報対象となるアバターを操作する対象ユーザの識別情報および前記視界画像を含んだ通報データを取得する取得ステップと、
前記通報データに基づいて、通報対象となるアバターを操作する対象ユーザを特定する特定ステップと、
を備える情報処理方法。

【請求項2】

前記取得ステップでは、
前記一のユーザ端末における視界画像の撮影操作時に送信された前記一のユーザの識別情報、当該撮影操作の時刻、および視線情報を取得し、
前記特定ステップでは、前記視線情報に基づいて前記視界画像における前記一のユーザの視点の位置を特定し、前記視点の位置に基づいて前記対象ユーザを特定する、
請求項１に記載の情報処理方法。

【請求項3】

前記取得ステップでは、
前記対象ユーザの仮想空間における位置に基づいて定められた所定範囲にいる他のユーザの識別情報を含んだ通報データを取得し、
前記特定ステップでは、
前記他のユーザからの通報データを用いて前記対象ユーザを特定する、
請求項１または２に記載の情報処理方法。

【請求項4】

前記仮想空間における複数のユーザにより行われたプレイ内容と当該プレイ内容が行われた時刻とを含んだプレイ履歴データを記憶する履歴データ記憶ステップを備え、
前記特定ステップでは、前記プレイ履歴データと前記通報データとに基づいて、前記対象ユーザを特定する、
請求項１〜３のいずれか一項に記載の情報処理方法。

【請求項5】

前記取得ステップでは、複数のユーザによる通報データを取得し、
前記特定ステップでは、前記複数のユーザによる通報データに基づいて、前記対象ユーザを特定する、
請求項１〜４のいずれか一項に記載の情報処理方法。

【請求項6】

請求項１〜５のいずれか一項に記載の方法をコンピュータに実行させる、プログラム。

【請求項7】

請求項６に記載のプログラムを格納したメモリと、
前記メモリに結合され、前記プログラムを実行するためのプロセッサとを備える、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想空間におけるユーザを管理するための技術に関する。

【背景技術】

【0002】

近年、非特許文献１に記載されているような、仮想空間内でチャットを楽しむことができるサービスが考えられている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】“Facebook Mark Zuckerberg Social VR Demo OC3 Oculus Connect 3 Keynote”、［online］、平成２８年１０月６日、VRvibe、［平成２８年１２月５日検索］、インターネット＜https://www.youtube.com/watch?v=NCpNKLXovtE＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

仮想空間内での会話やチャットを健全に運営するためには、不正ユーザ、迷惑行為ユーザを早期に発見することが望まれる。

【0005】

そこで、本発明は、不正ユーザ、迷惑行為ユーザなどの特定の行為を行ったユーザを早期に発見することができる情報処理方法、装置およびその方法をコンピュータに実行させるプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示が示す一態様によれば、一のユーザが使用するヘッドマウントディスプレイを含むユーザ端末に対して、他のユーザのアバターを含んだ仮想空間を提供する情報処理装置の情報処理方法において、前記仮想空間における前記複数のユーザ端末のそれぞれに対して視界画像を提供可能な情報を、前記ヘッドマウントディスプレイを介して取得し、前記複数のユーザ端末のそれぞれに出力する出力ステップと、前記複数のユーザ端末のうちの一のユーザ端末において前記ヘッドマウントディスプレイを介した視界画像の撮影操作が行われると、当該一のユーザ端末を使用しているユーザの識別情報、当該撮影操作の時刻、通報対象となる対象ユーザの識別情報および前記視界画像を含んだ通報データを取得する取得ステップと、前記通報データに基づいて、通報対象となる対象ユーザを特定する特定ステップと、を含む。

【発明の効果】

【0007】

本開示によれば、ユーザによる簡単な操作で、通報対象となる対象ユーザを容易に特定することができる。

【図面の簡単な説明】

【0008】

【図1】ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。

【図2】一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。

【図3】ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。

【図4】ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。

【図5】ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。

【図6】仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。

【図7】仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。

【図8】ある実施の形態に従うコントローラ１６０の概略構成を表す図である。

【図9】ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。

【図10】ＨＭＤシステム１００が実行する処理を表すフローチャートである。

【図11】サーバ１５０の機能構成を示すブロック図である。

【図12】プレイ履歴データベース１５４ａの具体例を示す図である。

【図13】視界画像を生成のためのパラメータを示す説明図である。

【図14】通報データベース１５４ｂの具体例を示す図である。

【図15】ブラックリストデータ１５４ｃの具体的な例を示す図である。

【図16】サーバ１５０を用いたブラックリストデータの生成処理を示すシーケンス図である。

【図17】仮想空間２にアバターが存在していることを示す模式図である。

【図18】通報者となるユーザの視界画像を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
［ＨＭＤシステムの構成］

【0010】

図１を参照して、ＨＭＤ（Head Mount Display：ヘッドマウントディスプレイ）システム１００の構成について説明する。図１は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

【0011】

ＨＭＤシステム１００は、ＨＭＤ装置１１０と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ装置１１０は、モニタ１１２と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含み得る。

【0012】

ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータと通信可能である。別の局面において、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。

【0013】

ＨＭＤ装置１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ装置１１０は、右目用の画像および左目用の画像をモニタ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。

【0014】

モニタ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１１２は、ユーザの両目の前方に位置するようにＨＭＤ装置１１０の本体に配置されている。したがって、ユーザは、モニタ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、モニタ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。

【0015】

ある局面において、モニタ１１２は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

【0016】

ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。

【0017】

なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ装置１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ装置１１０の位置および傾きを検出することができる。

【0018】

別の局面において、ＨＭＤ装置１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ装置１１０は、センサ１１４を用いて、ＨＭＤ装置１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ装置１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ装置１１０は、各角速度に基づいて、ＨＭＤ装置１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ装置１１０の傾きを算出する。また、ＨＭＤ装置１１０は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ装置１１０に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。

【0019】

注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検出することができる。

【0020】

サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤ装置に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームやチャットを楽しむことを可能にする。

【0021】

コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ１６０は、コンピュータ２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、仮想現実を提供する空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ１９０によって与えられる操作を受け付ける。

【0022】

モーションセンサ１３０は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ１３０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。例えば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表す信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
［ハードウェア構成］

【0023】

図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェース１３と、通信インターフェース１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。

【0024】

プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

【0025】

メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。メモリ１１に保存されるデータは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random Access Memory）その他の揮発性メモリとして実現される。

【0026】

ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ２００との通信を実現するためのプログラム等を含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

【0027】

なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。

【0028】

ある実施の形態において、入出力インターフェース１３は、ＨＭＤ装置１１０、ＨＭＤセンサ１２０またはモーションセンサ１３０との間で信号を通信する。ある局面において、入出力インターフェース１３は、ＵＳＢ（Universal Serial Bus）インターフェース、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。なお、入出力インターフェース１３は上述のものに限られない。

【0029】

ある実施の形態において、入出力インターフェース１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェース１３は、モーションセンサ１３０から出力された信号の入力を受ける。別の局面において、入出力インターフェース１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

【0030】

通信インターフェース１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェース１４は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェース、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェースとして実現される。なお、通信インターフェース１４は上述のものに限られない。

【0031】

ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェース１３を介して、仮想空間を提供するための信号をＨＭＤ装置１１０に送る。ＨＭＤ装置１１０は、その信号に基づいてモニタ１１２に映像を表示する。

【0032】

なお、図２に示される例では、コンピュータ２００がＨＭＤ装置１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ装置１１０に内蔵されてもよい。一例として、モニタ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

【0033】

また、コンピュータ２００は、複数のＨＭＤ装置１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。

【0034】

ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

【0035】

ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ装置１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ装置１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ装置１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ装置１１０の位置および傾きの時間的変化を検出できる。

【0036】

グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ装置１１０の各傾きは、グローバル座標系におけるＨＭＤ装置１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ装置１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ装置１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。
［ｕｖｗ視野座標系］

【0037】

図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の起動時に、グローバル座標系におけるＨＭＤ装置１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。

【0038】

図３に示されるように、ＨＭＤ装置１１０は、ＨＭＤ装置１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ装置１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ装置１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

【0039】

ある局面において、ＨＭＤ装置１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

【0040】

ｕｖｗ視野座標系がＨＭＤ装置１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ装置１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ装置１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ装置１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ装置１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ装置１１０の傾き角度を表す。

【0041】

ＨＭＤセンサ１２０は、検出されたＨＭＤ装置１１０の傾き角度に基づいて、ＨＭＤ装置１１０が動いた後のＨＭＤ装置１１０におけるｕｖｗ視野座標系を、ＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０と、ＨＭＤ装置１１０のｕｖｗ視野座標系との関係は、ＨＭＤ装置１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ装置１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ装置１１０のｕｖｗ視野座標系の位置および傾きが変化する。

【0042】

ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ装置１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系の原点を決定してもよい。
［仮想空間］

【0043】

図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

【0044】

ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

【0045】

ＨＭＤ装置１１０の起動時、すなわちＨＭＤ装置１１０の初期状態において、仮想カメラ１が、仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ装置１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ装置１１０の位置および向きの変化が、仮想空間２において同様に再現される。

【0046】

仮想カメラ１には、ＨＭＤ装置１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ装置１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ装置１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

【0047】

仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。コンピュータ２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視界領域２３を規定する。視界領域２３は、仮想空間２のうち、ＨＭＤ装置１１０を装着したユーザの視界に対応する。

【0048】

注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ装置１１０のｕｖｗ視野座標系は、ユーザ１９０がモニタ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ装置１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。
［ユーザの視線］

【0049】

図５を参照して、ユーザの視線方向の決定について説明する。図５は、ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。

【0050】

ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

【0051】

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視界領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。

【0052】

別の局面において、ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間２に対して、音声による指示を与えることができる。

【0053】

また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。

【0054】

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
［視界領域］

【0055】

図６および図７を参照して、視界領域２３について説明する。図６は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。

【0056】

図６に示されるように、ＹＺ断面における視界領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心として極角αを含む範囲を、領域２４として規定する。

【0057】

図７に示されるように、ＸＺ断面における視界領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。

【0058】

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像をモニタ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像は、仮想空間画像２２のうち視界領域２３に重畳する部分に相当する。ユーザ１９０が、頭に装着したＨＭＤ装置１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視界領域２３の位置が変化する。これにより、モニタ１１２に表示される視界画像は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視界領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。

【0059】

ユーザ１９０は、ＨＭＤ装置１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。

【0060】

ある局面において、プロセッサ１０は、ＨＭＤ装置１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および向きに基づいて、ＨＭＤ装置１１０のモニタ１１２に投影される画像領域（すなわち、仮想空間２における視界領域２３）を特定する。すなわち、仮想カメラ１によって、仮想空間２におけるユーザ１９０の視野が定義される。

【0061】

ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ装置１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
［コントローラ］

【0062】

図８を参照して、コントローラ１６０の一例について説明する。図８は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。

【0063】

図８の状態（Ａ）に示されるように、ある局面において、コントローラ１６０は、右コントローラ１６０Ｒと左コントローラとを含み得る。右コントローラ１６０Ｒは、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ１６０Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ１６０Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ１６０Ｒについて説明する。

【0064】

右コントローラ１６０Ｒは、グリップ３０と、フレーム３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

【0065】

グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。

【0066】

フレーム３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ１６０Ｒと左コントローラとの各位置および姿勢（傾き、向き）等を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。

【0067】

天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動させるための操作を含む。

【0068】

ある局面において、右コントローラ１６０Ｒおよび左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ１６０Ｒおよび左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ１６０Ｒおよび左コントローラは、電池を必要としない。

【0069】

図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ１９０の右手８１０に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ１９０が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
［ＨＭＤ装置の制御装置］

【0070】

図９を参照して、ＨＭＤ装置１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図９は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。

【0071】

図９に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト制御モジュール２３２と、操作オブジェクト制御モジュール２３３とを含む。

【0072】

ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェース１４によって実現される。

【0073】

ある局面において、表示制御モジュール２２０は、ＨＭＤ装置１１０のモニタ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の移動、挙動、傾き等を制御する。視界領域決定モジュール２２２は、ＨＭＤ装置１１０を装着したユーザの頭の傾きや、ユーザ操作に基づいた移動に応じて、視界領域２３を規定する。視界画像生成モジュール２２３は、決定された視界領域２３に基づいて、モニタ１１２に表示される視界画像を生成する。基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。

【0074】

仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。

【0075】

仮想オブジェクト制御モジュール２３２は、仮想空間２に配置される対象オブジェクトを生成する。また、仮想オブジェクト制御モジュール２３２は、仮想空間２における対象オブジェクトおよびキャラクタオブジェクトの動作（移動および状態変化等）を制御する。対象オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。また、チャットを行うために定義された仮想空間にしたがって配置されるテーブル、椅子などであってもよい。キャラクタオブジェクトは、例えば、他のユーザのアバターなどである。アバターは複数種類用意されており、仮想オブジェクト制御モジュール２３２は、他のユーザのユーザＩＤに対応付けられたアバターを表現することができる。

【0076】

操作オブジェクト制御モジュール２３３は、仮想空間２に配置されるオブジェクトを操作するための操作オブジェクトを仮想空間２に配置する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ装置１１０を装着したユーザの手に相当する手オブジェクト、ユーザの指に相当する指オブジェクト、ユーザが使用するスティックに相当するスティックオブジェクト等を含み得る。操作オブジェクトが指オブジェクトの場合、特に、操作オブジェクトは、当該指が指し示す方向（軸方向）の軸の部分に対応している。

【0077】

チャット制御モジュール２３４は、同じ仮想空間２に滞在する他のユーザのアバターとチャットや会話をするための制御を行う。例えば、チャット制御モジュール２３４は、ユーザのアバターの位置・向きなどの情報や、ユーザ操作により入力された音声データをサーバ１５０に送信する制御を行う。なお、チャットのための音声データは、図示しないマイクから入力可能にし、図示しないスピーカから出力することで、音声によるチャット可能にする。なお、音声に限定するものではなく、テキストデータに基づいてチャットを可能にしてもよい。

【0078】

通報処理モジュール２３０ａは、ユーザ操作により視界画像の撮影処理（スクリーンショット）を行うとともに、通報データの取得処理を行い、視界画像データ（スクリーンショットデータ）と通報データをサーバ１５０に送信する制御を行う。

【0079】

メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、空間情報２４１と、オブジェクト情報２４２と、ユーザ情報２４３とを保持している。空間情報２４１には、例えば、仮想空間２を提供するために規定された１つ以上のテンプレートが含まれている。オブジェクト情報２４２には、例えば、仮想空間２において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツやユーザごとに設定されたアバターの情報等を含み得る。ユーザ情報２４３には、例えば、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報２４２に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。

【0080】

メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ装置１１０のユーザによって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。

【0081】

通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。

【0082】

ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

【0083】

コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、メモリモジュール２４０に一旦格納される。そのソフトウェアは、プロセッサ１０によってメモリモジュール２４０から読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。

【0084】

図９に示されるコンピュータ２００を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ２００に格納されたプログラムであるともいえる。なお、コンピュータ２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

【0085】

なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。

【0086】

ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
［制御構造］

【0087】

図１０を参照して、本実施の形態に係るコンピュータ２００の制御構造について説明する。図１０は、ＨＭＤシステム１００が実行するプログラムの処理を表すフローチャートである。

【0088】

ステップＳ１において、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間画像データを特定し、仮想空間を定義する。

【0089】

ステップＳ２において、プロセッサ１０は、仮想カメラ制御モジュール２２１として、仮想カメラ１を初期化する。例えば、プロセッサ１０は、メモリのワーク領域において、仮想カメラ１を仮想空間２において予め規定された中心点に配置し、仮想カメラ１の視線をユーザ１９０が向いている方向に向ける。

【0090】

ステップＳ３において、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ装置１１０に送られる。

【0091】

ステップＳ４において、ＨＭＤ装置１１０のモニタ１１２は、コンピュータ２００から受信した信号に基づいて、視界画像を表示する。ＨＭＤ装置１１０を装着したユーザ１９０は、視界画像を視認すると仮想空間２を認識し得る。

【0092】

ステップＳ５において、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の向きを検出する。検出結果は、動き検出データとして、コンピュータ２００に送られる。

【0093】

ステップＳ６において、プロセッサ１０は、視界領域決定モジュール２２２および視界画像生成モジュール２２３として、仮想カメラ１の位置および向きに応じた視界画像を生成・出力する。その際、他のユーザのパラメータに基づいてアバターを生成して、出力する。例えば、ユーザＩＤごとにアバターの種類等がコンピュータ２００（オブジェクト情報２４２）に登録されており、サーバ１５０から出力されたユーザのパラメータに基づいてアバターの生成を行うことができる。

【0094】

ステップＳ８において、ＨＭＤ装置１１０のモニタ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。

【0095】

上述の通り、ＨＭＤセンサ１２０の動きに応じて、コンピュータ２００は、視界画像を生成して、ＨＭＤ装置１１０に出力することで、ユーザに対して仮想空間に滞在しているかのような体験を提供することができる。さらに、本実施形態のシステム１００は、このユーザと同じ仮想空間に他のユーザのアバターを滞在させ、互いにチャットをさせることができる。例えば、図２において、このシステム１００に通信可能なサーバ１５０が記載されている。このサーバ１５０は、他のユーザが使用するコンピュータ２００から、各ユーザのアバターの位置・向きおよび発言・行動を収集し、仮想空間を構成するパラ-メータとして各コンピュータ２００に送信する。各コンピュータ２００（仮想空間制御モジュール２３０）は、送信されたパラメータに基づいて他のユーザのアバターを含んだ仮想空間を生成することができる。以下、発言・行動をプレイ内容と称する場合があるが、これに限るものではなく、ユーザにより行われるあらゆる行為を含めてもよいし、いずれか一方のみをプレイ内容としてもよい。

【0096】

つぎに、このように仮想空間において音声によるチャットを実現するためのパラメータを各コンピュータ２００に送信するためのサーバ１５０について説明する。図１１は、サーバ１５０の機能構成を示すブロック図である。図１１に示されるとおり、サーバ１５０は、通信制御モジュール１５１、パラメータ制御モジュール１５２、通報処理モジュール１５３、およびメモリモジュール１５４を含んで構成されている。メモリモジュール１５４は、プレイ履歴データベース１５４ａ、通報データベース１５４ｂ、ブラックリストデータベース１５４ｃを含んでいる。このサーバ１５０は、コンピュータ２００と同様に図２に示されるようにプロセッサおよびメモリ等のハードウェアにより構成されている。

【0097】

パラメータ制御モジュール１５２は、通信制御モジュール１５１を介して送受信した他のユーザのＨＭＤ装置１１０の仮想空間における位置・向きおよび発言・行動を示すパラメータを用いて視界画像生成のための制御を行う部分である。

【0098】

通報処理モジュール１５３は、通信制御モジュール１５１を介して受信した通報データに基づいてブラックリストを生成する部分である。

【0099】

プレイ履歴データベース１５４ａは、各ＨＭＤ装置１１０から送信されたパラメータを記憶する部分であり、各ユーザのプレイ履歴データを記憶する部分である。図１２は、プレイ履歴データベース１５４ａの具体例を示す図である。図１２に示されるとおり、プレイ履歴データベース１５４ａは、ルームＩＤ、時間、ユーザＩＤ、ユーザの位置、向き、発言、行動を対応付けて記述している。

【0100】

ここでルームＩＤとは、チャットをするための仮想空間のＩＤを示す。通常、複数の仮想空間が用意されており、ユーザは任意の仮想空間または事業者から指定された仮想空間にログインすることができる。時間は、他のユーザが発言し行動をした時間である。ユーザＩＤは、発言・行動を行ったユーザのＩＤ、位置・向きは、仮想空間におけるユーザのアバターの位置およびその向き、発言は、チャットで発言した内容、行動は、ユーザがしている行為であって、走り回っている、歩いているなどである。

【0101】

なお、発言として、音声によるチャットを想定している。この場合、図示しない音声処理部が、音声データのファイルを、プレイ履歴データベース１５４ａの発言欄に登録する。また、図示しない音声認識部が、入力された音声を音声認識処理によりテキストデータに変換して当該プレイ履歴データベース１５４ａに登録するようにしてもよい。

【0102】

通報データベース１５４ｂは、通報者と通報対象者とを対応付けた通報データを記述する部分である。通報者とは、悪質なユーザがいた場合、その旨を通報したユーザであり、通報対象者とは、悪質なユーザである。図１４は、通報データベース１５４ｂの具体例を示す図である。図１４に示されるとおり、通報データベース１５４ｂは、通報者、ルームＩＤ、時間、通報対象者、近隣のユーザを対応付けて記述している。通報者は、通報したユーザのユーザＩＤを示し、ルームＩＤは、複数ある仮想空間のうち一の仮想空間を特定するためのＩＤを示す。時間は、通報者が通報した時間である、通報対象者は、通報対象となるユーザのＩＤである。近隣のユーザは、通報対象者の近隣にいるユーザである。近隣ユーザの判定は、通報対象者の位置から所定範囲にいるか否かにより行われる。

【0103】

ブラックリストデータベース１５４ｃは、通報データベース１５４ｂに基づいて決定されたブラックリストの対象となったユーザを示すリストを記述する部分である。図１５は、ブラックリストデータ１５４ｃの具体的な例を示す図である。図１５に示されるとおり、対象者、ルームＩＤ、時間、発言、行動、および判定を対応付けて記述している。対象者は通報対象者である。ほか、ルームＩＤから行動については、上述プレイ履歴データベース１５４ａと同じである。判定は、ブラックリストとして登録されたユーザの悪質の度合いを示す。図１５においては、“警告”が記述されており、そのユーザに対してメール等により警告を行うことを要することを意味している。そのほか、仮想空間の利用を不可とする除名などがあり得る。

【0104】

つぎに、このように構成されたサーバ１５０およびコンピュータ２００（ＨＭＤ装置１１０を含む）の処理について説明する。図１６は、サーバ１５０を用いたブラックリストデータの生成処理を示すシーケンス図である。

【0105】

ステップＳ１０１ａにおいて、コンピュータ２００は、サーバ１５０に対して、ユーザのパラメータ（位置、向き、発言、行動）を出力する。また、ステップＳ１０１ｂにおいて、同様に他のユーザのコンピュータ２００は、サーバ１５０に対して、ユーザのパラメータ（位置、向き、発言、行動）を出力する。

【0106】

ステップＳ１０２において、サーバ１５０は、通信制御モジュール１５１を用いて、各ユーザのコンピュータ２００から送信された各ユーザのパラメータを受信し、パラメータ制御モジュール１５２を用いて、プレイ履歴データベース１５４ａにプレイ履歴データを記憶する。

【0107】

ステップＳ１０３において、サーバ１５０は、パラメータ制御モジュール１５２を用いて、各ユーザのパラメータを、各ユーザが使用するコンピュータ２００に対して送信する。

【0108】

ステップＳ１０４ａにおいて、コンピュータ２００は、通信制御モジュール２５０を用いてサーバ１５０から送信された各ユーザのパラメータを受信し、視界画像生成モジュール２２３を用いてパラメータに基づいた視界画像を生成する。ステップＳ１０４ｂにおいても、同様に、他のユーザのコンピュータ２００は、パラメータの受信および視界画像の生成処理を行う。

【0109】

この視界画像を生成のためのパラメータは、図１３に示される情報からなるものである。例えば、パラメータは、ユーザを示すユーザＩＤ、そのユーザの位置、向き、発言および行動を示す情報からなる。コンピュータ２００の視界画像生成モジュール２２３は、このパラメータを用いて、ユーザＩＤで特定されるアバターがどの位置にいて、どの向きに向いているか、またどのような発言をしているか、どのような行動をしているかを示す視界画像を生成することができる。また、チャット制御モジュール２３４は、その視界画像にどのユーザが含んでいるかということを把握することができる。

【0110】

ステップＳ１０５において、コンピュータ２００のユーザはスクリーンショットの操作を行うと、コンピュータ２００の通報処理モジュール２３０ａは、視界画像の撮影処理を行う。ステップＳ１０６において、コンピュータ２００の通報処理モジュール２３０ａは、視界画像を生成しているパラメータに基づいて、通報対象などの通報データを抽出して、スクリーンショットデータとともにサーバ１５０に送信する。なお、通報処理モジュール２３０ａは、ユーザの視線に基づいてアバターを特定することで、通報対象となる対象ユーザを特定することができるが、これに限定するものではない。対象ユーザの特定はあらゆる方法が考えられ、例えば、視界画像の中央にいるアバターを特定することで、ユーザを対象ユーザとして特定してもよい。また、コントローラ１６０を用いてポインタ・カーソルなどを操作して、アバターを特定することで、対象ユーザを特定してもよい。

【0111】

ステップＳ１０７において、サーバ１５０の通信制御モジュール１５１は、スクリーンショットデータおよび通報データを、コンピュータ２００から受信し、通報データベース１５４ｂに記憶する。

【0112】

ステップＳ１０８において、サーバ１５０の通報処理モジュール１５３は、通報データベース１５４ｂおよびプレイ履歴データベース１５４ａに基づいて、ブラックリストユーザを特定する。すなわち、通報処理モジュール１５３は、プレイ履歴データベース１５４ａを参照して、通報データベース１５４ｂに記述されている通報対象者となるユーザの発言および行動を抽出し、予め定められた発言や行動をしていた場合、当該通報対象者となるユーザをブラックリストユーザとして特定する。そして、通報処理モジュール１５３は、ブラックリストデータベース１５４ｃに、該当するユーザの通報データを記憶する。ここで、通報処理モジュール１５３は、ブラックリストユーザの悪質度の度合いを判定して、ブラックリストデータベース１５４ｃに記憶する。図１５では、対象者であるユーザＩＤ：ｘｘｘ１は、警告レベルとして判定されている。チャットの運営者は、この判定結果に基づいて電子メール等により警告を行う。なお、悪質度の度合いは、発言内容や行動が、予め定められた基準に達しているか否かに基づいて判定される。また、通報数や通報した人数（通報者数）に基づいて悪質度の度合いは判定されてもよい。

【0113】

つぎに、仮想空間２におけるアバターを用いたチャットの具体例および通報方法について視界画像を用いて説明する。図１７は、仮想空間２にアバターが存在していることを示す模式図である。図１７において、アバターＡ_１、アバターＡ_２、およびアバターＡ_３が示されている。例えばアバターＡ_１は通報者であるユーザであり、アバターＡ_２およびアバターＡ_３は他のユーザである。これらアバターＡ_１、アバターＡ_２およびアバターＡ_３は、サーバ１５０において収集されたユーザのパラメータに基づいて、各コンピュータ２００の仮想オブジェクト制御モジュール２３２は、そのパラメータにしたがって、どのようなアバターが仮想空間２内のどの位置に、どの向きに向いているかを決定し、視界画像において表現することができる。

【0114】

図１８は、通報者となるユーザの視界画像を示す。図１８に示されるとおり、視界画像には、他のユーザのアバターＡ_２およびアバターＡ_３が表示されている。また、操作アイコンＯが画面左上に表示されており、コントローラ１６０などを用いて操作可能にしている。また、視点Ｐは、ユーザの視線に基づいて特定された部分であり、通報対象となる対象ユーザを特定するための情報である。メッセージＱは、ここではアバターＡ_３のユーザにより入力されたチャットのための音声を示す。説明の便宜上、吹き出しにより表現しているが、図示しないスピーカから音声を出力することで、チャットを可能にする。オブジェクトＲは、アバターＡ_２のユーザにより入力された感情を表すものである。一のユーザはコンピュータ２００またはＨＭＤ装置１１０を操作することによって、チャット制御モジュール２３４は、一のユーザが他のユーザのアバターＡ_２およびＡ_３とチャットを行うための制御を行う。

【0115】

ここで、通報者となるユーザは、コンピュータ２００を操作することにより視界画像の撮影操作（いあゆるスクリーンショット）を行うことができる。例えば、ユーザが、図１８に示されるような視界画像に対して撮影操作を行うと、通報処理モジュール２３０ａは、操作アイコンＯを視界画像に重畳表示する。そして、コンピュータ２００の通報処理モジュール２３０ａは、その操作に応じて視界画像の撮影処理を行うとともに、サーバ１５０から送信された視界画像を生成するための各種パラメータに基づいてアバターＡ_２およびＡ_３のユーザＩＤを抽出する。また、コンピュータ２００の通報処理モジュール２３０ａは、撮影した視界画像と、抽出したユーザＩＤに加えて、仮想空間２を識別するためのルームＩＤ、撮影した時間を抽出する。

【0116】

そして、ユーザは、コントローラ１６０などを用いて、このアイコンＯを払うような操作をすることで、通報指示を行う。通報指示を行うと、通報処理モジュール１５３は、これら情報を通報データとしてサーバ１５０に送信する。図１８においては、視点Ｐが視線により特定された箇所を示す。したがって、コンピュータ２００の通報処理モジュール２３０ａは、その視線により特定されたアバターＡ_３のユーザＩＤを抽出することができる。また、通報処理モジュール２３０ａは、通報対象者から所定範囲にいる近隣のユーザも同様にして、そのユーザＩＤを抽出することができる。

【0117】

上述の例示においては、サーバ１５０は、ユーザのパラメータ（位置や向きなど）のみを送信して、コンピュータ２００は、それらパラメータに基づいて視界画像を生成しているが、これに限るものではない。サーバ１５０において、一のユーザおよび他のユーザの位置・向き等に基づいて視界画像を生成し、その視界画像を各コンピュータ２００に送信するようにしてもよい。

【0118】

本発明に開示された主題は、例えば以下のような項目として示される。
（項目１）
一のユーザが使用するユーザ端末であるコンピュータ２００（ＨＭＤ装置１１０を含む）に対して、他のユーザのアバターを含んだ仮想空間２を提供する情報処理装置であるサーバ１５０の情報処理方法において、
仮想空間２における複数のコンピュータ２００（ＨＭＤ装置１１０）のそれぞれに対して視界画像を提供可能な情報を、複数のコンピュータ２００（ＨＭＤ装置１１０）のそれぞれに出力する出力ステップ（図１６のステップＳ１０３）と、
複数のコンピュータ２００（ＨＭＤ装置１１０）のうちの一のコンピュータ２００において視界画像の撮影操作が行われると、当該一のコンピュータ２００を使用しているユーザのユーザＩＤ（識別情報）、当該撮影操作の時刻、通報対象となるアバターを操作する対象ユーザのユーザＩＤ（識別情報）および視界画像を含んだ通報データを取得する取得ステップ（図１６のステップＳ１０７）と、
通報データに基づいて、通報対象となるアバターを操作する対象ユーザを特定する特定ステップ（図１６のステップＳ１０８）と、
を備える情報処理方法。
この開示によれば、ユーザによる簡単な操作で、仮想空間内において迷惑行為を行うようなユーザを容易に特定することができる。なお、迷惑行為を行うユーザを特定することに限定するものではなく、通報対象となるアバターを操作するユーザであれば何でもよい。例えば、仮想空間２内で人気投票のようなものを行いたい場合には、一のユーザが好みと思われるユーザを通報対象のユーザとして一意に特定することにも適用することができる。なお、コンピュータ２００は、視界画像の撮影操作に基づいて通報データを抽出して、送信しているが、視界画像操作や視界画像自体は必須の要件ではない。ただし、サーバ１５０側で通報対象となる対象者を含んだ視界画像を得ることで、仮想空間の運営者が視覚により確認することができ、その判断を確実にすることができる。
（項目２）
取得ステップでは、
コンピュータ２００における視界画像の撮影操作時に送信された一のユーザの識別情報、当該撮影操作の時刻、および視線情報を取得し、
特定ステップでは、
当該視線情報に基づいて通報対象となるアバターを操作する対象ユーザを特定する、
項目１に記載の情報処理方法。
この開示によれば、視線情報に基づいて通報対象となる対象ユーザを特定することができ、簡単な操作で迷惑行為を行うなどの所定のユーザを一意に特定することができる。
（項目３）
取得ステップでは、
対象ユーザの仮想空間２における位置の所定範囲にいる他のユーザである近隣ユーザのユーザＩＤ（識別情報）を含んだ通報データを取得し、
特定ステップでは、
近隣のユーザからの通報データを用いて通報対象となるアバターを操作する対象ユーザを特定する、
項目１または２に記載の情報処理方法。
この開示によれば、通報対象となる対象ユーザの仮想空間における位置の近隣の他のユーザからの通報データを使って所定のユーザを一意に特定することができる。すなわち、近隣のユーザからの通報データにより対象ユーザが特定された場合には、その対象ユーザは、迷惑行為を行ったなど、所定条件を満たしたユーザである可能性が高い。
（項目４）
仮想空間２における複数のユーザにより行われたプレイ内容と当該プレイ内容が行われた時刻とを含んだプレイ履歴データを記憶する履歴データ記憶ステップ（ステップＳ１０２）を備え、
特定ステップでは、プレイ履歴データと通報データとに基づいて、通報対象となるアバターを操作する対象ユーザを特定する、
項目１から３のいずれか一項に記載の情報処理方法。
この開示によれば、プレイ履歴データと通報データとから所定条件を満たしたユーザを特定することができる。すなわち、迷惑行為や迷惑な行動や発言など、特定のプレイをしたことをプレイ履歴データでチェックすることができ、迷惑行為などをしていないユーザを、通報データのみから通報対象である対象ユーザとすることを防止することができる。すなわち、あるユーザがいたずらで通報データを送信したとしても、そのような通報データに基づいて迷惑行為を行ったなどの特定の行為をしたユーザとして特定することを防止することができる。
（項目５）
取得ステップでは、複数のユーザによる通報データを取得し、
特定ステップでは、複数のユーザによる通報データに基づいて、通報対象となるアバターを操作する対象ユーザを特定する、
項目１から４のいずれか一項に記載の情報処理方法。
この開示によれば、複数のユーザからの通報データに基づいて所定条件を満たしたユーザを特定することができ、対象ユーザを正確に決定することができる。
（項目６）
項目１〜６のいずれか一項に記載の方法をコンピュータに実行させる、プログラム。
（項目７）
項目６に記載のプログラムを格納したメモリと、
前記メモリに結合され、前記プログラムを実行するためのプロセッサとを備える、装置。

【符号の説明】

【0119】

１…仮想カメラ、２…仮想空間、５…基準視線、１０…プロセッサ、１１…メモリ、１２…ストレージ、１３…入出力インターフェース、１４…通信インターフェース、１５…バス、２２…仮想空間画像、２３…視界領域、２４…領域、２５…領域、１００…ＨＭＤシステム、１１０…ＨＭＤ装置、１１２…モニタ、１２０…ＨＭＤセンサ、１３０…モーションセンサ、１４０…注視センサ、１５０…サーバ、１５１…通信制御モジュール、１５２…パラメータ制御モジュール、１５３…通報処理モジュール、１５４…メモリモジュール、１５４ａ…プレイ履歴データベース、１５４ｂ…通報データベース、１５４ｃ…ブラックリストデータベース、１６０…コントローラ、２００…コンピュータ、２２０…表示制御モジュール、２３０…仮想空間制御モジュール、２３０ａ…通報処理モジュール、２４０…メモリモジュール、２５０…通信制御モジュール、２２１…仮想カメラ制御モジュール、２２２…視界領域決定モジュール、２２３…視界画像生成モジュール、２２４…基準視線特定モジュール、２３１…仮想空間定義モジュール、２３２…仮想オブジェクト制御モジュール、２３３…操作オブジェクト制御モジュール、２３４…チャット制御モジュール、２４１…空間情報、２４２…オブジェクト情報、２４３…ユーザ情報。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】