(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024108601
(43)【公開日】2024-08-13
(54)【発明の名称】プログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240805BHJP
G06F 3/01 20060101ALI20240805BHJP
G06F 3/0485 20220101ALI20240805BHJP
【ＦＩ】
G06T19/00 300A
G06F3/01 510
G06F3/0485
【審査請求】有
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023013041
(22)【出願日】2023-01-31
(11)【特許番号】
(45)【特許公報発行日】2023-08-23
(71)【出願人】
【識別番号】509070463
【氏名又は名称】株式会社コロプラ
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】梶山 万悠子
(72)【発明者】
【氏名】山崎 聡士
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA03
5B050BA06
5B050BA09
5B050BA12
5B050BA20
5B050CA07
5B050CA08
5B050DA01
5B050EA04
5B050EA19
5B050EA26
5B050FA02
5B050FA14
5E555AA27
5E555BA01
5E555BA87
5E555BB01
5E555BC07
5E555BC08
5E555BE17
5E555DA08
5E555DB53
5E555DC05
5E555DC09
5E555FA00
(57)【要約】
【課題】仮想空間内での疑似体験をしているユーザに、現実空間に実際に行くモチベーションを与えることができるプログラムを提供する。
【解決手段】プログラムは、コンピュータを、現実空間に対応する仮想空間を定義する仮想空間定義手段と、現実空間に設置された検知装置の検知結果に基づく数のオブジェクトを、仮想空間内に配置する配置手段と、第１ユーザ端末に対して実行された移動操作に基づいて、仮想空間内で仮想カメラを移動させるカメラ移動手段と、仮想カメラで仮想空間内を撮像した仮想空間画像を生成する画像生成手段と、仮想空間画像を第１ユーザ端末に表示させる画像表示手段として機能させる。
【選択図】図１０
【解決手段】プログラムは、コンピュータを、現実空間に対応する仮想空間を定義する仮想空間定義手段と、現実空間に設置された検知装置の検知結果に基づく数のオブジェクトを、仮想空間内に配置する配置手段と、第１ユーザ端末に対して実行された移動操作に基づいて、仮想空間内で仮想カメラを移動させるカメラ移動手段と、仮想カメラで仮想空間内を撮像した仮想空間画像を生成する画像生成手段と、仮想空間画像を第１ユーザ端末に表示させる画像表示手段として機能させる。
【選択図】図１０
【特許請求の範囲】
【請求項1】
コンピュータを、
現実空間に対応する仮想空間を定義する仮想空間定義手段と、
前記現実空間に設置された検知装置の検知結果に基づく数のオブジェクトを、前記仮想空間内に配置する配置手段と、
第１ユーザ端末に対して実行された移動操作に基づいて、前記仮想空間内で仮想カメラを移動させるカメラ移動手段と、
前記仮想カメラで前記仮想空間内を撮像した仮想空間画像を生成する画像生成手段と、
前記仮想空間画像を前記第１ユーザ端末に表示させる画像表示手段として機能させる、プログラム。
現実空間に対応する仮想空間を定義する仮想空間定義手段と、
前記現実空間に設置された検知装置の検知結果に基づく数のオブジェクトを、前記仮想空間内に配置する配置手段と、
第１ユーザ端末に対して実行された移動操作に基づいて、前記仮想空間内で仮想カメラを移動させるカメラ移動手段と、
前記仮想カメラで前記仮想空間内を撮像した仮想空間画像を生成する画像生成手段と、
前記仮想空間画像を前記第１ユーザ端末に表示させる画像表示手段として機能させる、プログラム。
【請求項2】
請求項１に記載のプログラムにおいて、
前記配置手段は、前記検知装置によって検知された属性に対応する態様の前記オブジェクトを、前記仮想空間内に配置する、プログラム。
前記配置手段は、前記検知装置によって検知された属性に対応する態様の前記オブジェクトを、前記仮想空間内に配置する、プログラム。
【請求項3】
請求項２に記載のプログラムにおいて、
前記画像生成手段は、前記第１ユーザ端末に対して実行された前記オブジェクトの選択操作に基づいて、選択された前記オブジェクトの属性に対応付けて予め登録されたメッセージを出力する、プログラム。
前記画像生成手段は、前記第１ユーザ端末に対して実行された前記オブジェクトの選択操作に基づいて、選択された前記オブジェクトの属性に対応付けて予め登録されたメッセージを出力する、プログラム。
【請求項4】
請求項１に記載のプログラムにおいて、
前記配置手段は、前記検知装置によって検知された人に対応する非ユーザキャラクタを、前記オブジェクトとして前記仮想空間内に配置する、プログラム。
前記配置手段は、前記検知装置によって検知された人に対応する非ユーザキャラクタを、前記オブジェクトとして前記仮想空間内に配置する、プログラム。
【請求項5】
請求項４に記載のプログラムにおいて、
前記配置手段は、第２ユーザ端末を通じて操作されるユーザキャラクタを前記仮想空間内に配置し、
前記画像生成手段は、前記仮想カメラの画角に含まれる前記ユーザキャラクタ及び前記非ユーザキャラクタを、異なる表示態様で前記仮想空間画像に含める、プログラム。
前記配置手段は、第２ユーザ端末を通じて操作されるユーザキャラクタを前記仮想空間内に配置し、
前記画像生成手段は、前記仮想カメラの画角に含まれる前記ユーザキャラクタ及び前記非ユーザキャラクタを、異なる表示態様で前記仮想空間画像に含める、プログラム。
【請求項6】
請求項５に記載のプログラムにおいて、
前記画像生成手段は、
前記仮想カメラからの距離が閾値距離未満の前記ユーザキャラクタ及び前記非ユーザキャラクタを、異なる表示態様で前記仮想空間画像に含め、
前記仮想カメラからの距離が前記閾値距離以上の前記ユーザキャラクタ及び前記非ユーザキャラクタを、共通の表示態様で前記仮想空間画像に含める、プログラム。
前記画像生成手段は、
前記仮想カメラからの距離が閾値距離未満の前記ユーザキャラクタ及び前記非ユーザキャラクタを、異なる表示態様で前記仮想空間画像に含め、
前記仮想カメラからの距離が前記閾値距離以上の前記ユーザキャラクタ及び前記非ユーザキャラクタを、共通の表示態様で前記仮想空間画像に含める、プログラム。
【請求項7】
請求項１に記載のプログラムにおいて、
前記画像生成手段は、前記仮想カメラの画角に含まれる前記オブジェクトの数が閾値以上の場合に、前記オブジェクトの数を削減して前記仮想空間画像を生成する、プログラム。
前記画像生成手段は、前記仮想カメラの画角に含まれる前記オブジェクトの数が閾値以上の場合に、前記オブジェクトの数を削減して前記仮想空間画像を生成する、プログラム。
【請求項8】
請求項４に記載のプログラムにおいて、
前記画像生成手段は、
前記第１ユーザ端末に対して実行された表示操作に基づいて、前記仮想カメラの画角に含まれる前記非ユーザキャラクタを含む前記仮想空間画像を生成し、
前記第１ユーザ端末に対して実行された非表示操作に基づいて、前記仮想カメラの画角に含まれる前記非ユーザキャラクタを含まない前記仮想空間画像を生成する、プログラム。
前記画像生成手段は、
前記第１ユーザ端末に対して実行された表示操作に基づいて、前記仮想カメラの画角に含まれる前記非ユーザキャラクタを含む前記仮想空間画像を生成し、
前記第１ユーザ端末に対して実行された非表示操作に基づいて、前記仮想カメラの画角に含まれる前記非ユーザキャラクタを含まない前記仮想空間画像を生成する、プログラム。
【請求項9】
請求項１に記載のプログラムにおいて、
前記配置手段は、第２ユーザ端末を通じて操作されるユーザキャラクタを前記仮想空間内に配置し、
前記画像生成手段は、前記ユーザキャラクタの操作が可能な操作可能状態、前記ユーザキャラクタの操作が不能な操作不能状態のいずれかを選択する選択操作が前記第２ユーザ端末に対して実行される度に、前記仮想空間画像に含める前記ユーザキャラクタの表示態様を切り替える、プログラム。
前記配置手段は、第２ユーザ端末を通じて操作されるユーザキャラクタを前記仮想空間内に配置し、
前記画像生成手段は、前記ユーザキャラクタの操作が可能な操作可能状態、前記ユーザキャラクタの操作が不能な操作不能状態のいずれかを選択する選択操作が前記第２ユーザ端末に対して実行される度に、前記仮想空間画像に含める前記ユーザキャラクタの表示態様を切り替える、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラムに関する。
【背景技術】
【0002】
従来より、現実世界における所定の場所（例えば、街、商業施設、商店、イベント会場、テーマパーク、公園など）に対応するコンテンツを、当該場所（以下、「現実空間」と表記する。）にいないユーザに提供する、所謂ＶＲ技術が知られている（例えば、特許文献１）。
【0003】
より詳細には、現実空間に対応する仮想空間から切り取った画像をユーザ端末に表示させ、ユーザ端末に対する移動操作に基づいて表示される画像の視点を移動する。これにより、ユーザ端末を操作するユーザは、現実空間に実際に行かなくても、現実空間に行ったかのような体験をすることができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－１２２８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、仮想空間内での疑似体験をしたユーザに、現実空間に実際に行くモチベーションを与えるのが難しいという課題がある。そして、ＶＲ技術の発達に伴って仮想空間への没入感が高まるほど、前述の課題も顕著になる。
【0006】
本発明は、上記の事情に鑑みてなされたものであり、その目的は、仮想空間内での疑似体験をしているユーザに、現実空間に実際に行くモチベーションを与えることができるプログラムを提供することにある。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明に係るプログラムは、コンピュータを、現実空間に対応する仮想空間を定義する仮想空間定義手段と、前記現実空間に設置された検知装置の検知結果に基づく数のオブジェクトを、前記仮想空間内に配置する配置手段と、第１ユーザ端末に対して実行された移動操作に基づいて、前記仮想空間内で仮想カメラを移動させるカメラ移動手段と、前記仮想カメラで前記仮想空間内を撮像した仮想空間画像を生成する画像生成手段と、前記仮想空間画像を前記第１ユーザ端末に表示させる画像表示手段として機能させる。
【発明の効果】
【0008】
本発明によれば、仮想空間内での疑似体験をしているユーザに、現実空間に実際に行くモチベーションを与えることができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係るシステムの概要を示す図である。
【図2】サーバのハードウェア構成図である。
【図3】ユーザ端末の一例であるＨＭＤセットのハードウェア構成図である。
【図4】ユーザ端末の他の例であるタブレット端末のハードウェア構成図である。
【図5】仮想空間の一態様を概念的に表す図である。
【図6】仮想空間において視界領域をＸ方向から見たＹＺ断面を表す図である。
【図7】仮想空間において視界領域をＹ方向から見たＸＺ断面を表す図である。
【図8】サーバ及びユーザ端末の機能ブロック図である。
【図9】実施例１に係るサーバの処理を示すフローチャートである。
【図10】実施例１に係る第１ユーザ端末の処理を示すフローチャートである。
【図11】仮想空間画像生成＆表示処理のフローチャートである。
【図12】ステップＳ２１、Ｓ２２に対応する仮想空間の概念図である。
【図13】ステップＳ４７に対応する仮想空間の概念図及び仮想空間画像を示す図である。
【図14】ステップＳ４８に対応する仮想空間の概念図及び仮想空間画像を示す図である。
【図15】ステップＳ４５に対応する仮想空間の概念図及び仮想空間画像を示す図である。
【図16】ステップＳ４３でＮｏの場合に対応する仮想空間の概念図及び仮想空間画像を示す図である。
【図17】人の属性とメッセージとを対応付けて保持するメッセージテーブルの例である。
【図18】実施例２に係る第２ユーザ端末の処理を示すフローチャートである。
【図19】ステータス設定画面を示す図である。
【図20】実施例２に係る第１ユーザ端末の処理を示すフローチャートである。
【図21】操作可能状態の他人アバターを選択した際の仮想空間画像を示す図である。
【図22】操作不能状態の他人アバター及びモブキャラを選択した際の仮想空間画像を示す図である。
【発明を実施するための形態】
【0010】
以下、実施形態に係るシステム１を図面に基づいて説明する。なお、以下に記載する本発明の実施形態は、本発明を具体化する際の一例を示すものであって、本発明の範囲を実施形態の記載の範囲に限定するものではない。従って、本発明は、実施形態に種々の変更を加えて実施することができる。
【0011】
［システム１の概要］
図１は、本実施形態に係るシステム１の概要を示す図である。図１に示すように、システム１は、サーバ１０と、ユーザ端末２０Ａ、２０Ｂ、２０Ｃ（以下、これらを総称して、「ユーザ端末２０」と表記することがある。）とを主に備える。なお、図１には３つのユーザ端末２０が図示されているが、システム１に含まれるユーザ端末２０の例はこれに限定されない。サーバ１０及びユーザ端末２０は、通信ネットワーク２を介して相互通信可能に接続されている。通信ネットワーク２の具体例は特に限定されないが、例えば、インターネット、移動体通信システム（例えば、４Ｇ、５Ｇなど）、Ｗｉ－Ｆｉ（登録商標）などの無線ネットワーク、またはこれらの組み合わせで構成される。
図１は、本実施形態に係るシステム１の概要を示す図である。図１に示すように、システム１は、サーバ１０と、ユーザ端末２０Ａ、２０Ｂ、２０Ｃ（以下、これらを総称して、「ユーザ端末２０」と表記することがある。）とを主に備える。なお、図１には３つのユーザ端末２０が図示されているが、システム１に含まれるユーザ端末２０の例はこれに限定されない。サーバ１０及びユーザ端末２０は、通信ネットワーク２を介して相互通信可能に接続されている。通信ネットワーク２の具体例は特に限定されないが、例えば、インターネット、移動体通信システム（例えば、４Ｇ、５Ｇなど）、Ｗｉ－Ｆｉ（登録商標）などの無線ネットワーク、またはこれらの組み合わせで構成される。
【0012】
本実施形態に係るシステム１は、サーバ１０が提供する共通の仮想空間を、複数のユーザ端末２０Ａ～２０Ｃそれぞれのユーザに体験させるためのシステムである。より詳細には、ユーザ端末２０は、ユーザに関連付けられたユーザキャラクタ（以下、「アバター」と表記することがある。）を仮想空間に配置し、予め設定された視点から仮想空間を見た画像をユーザ端末２０に表示させる。
【0013】
また、ユーザ端末２０は、操作装置に対するユーザの操作に連動して、仮想空間内でアバターを動作させる。アバターの動作とは、例えば、仮想空間内で移動すること、身体の各部を動かすこと、姿勢を変えること、顔の表情を変化させること、発話すること、仮想空間内に配置されたオブジェクトを動かすことなどを含む。
【0014】
さらに、ユーザ端末２０は、アバターの動作やステータスの変化を示すアバターデータを、通信ネットワーク２を通じてサーバ１０に送信する。サーバ１０は、ユーザ端末２０から受信したアバターデータを、通信ネットワーク２を通じて他のユーザ端末２０に送信する。そして、ユーザ端末２０は、サーバ１０から受信したアバターデータに基づいて、仮想空間内の対応するアバターの動作やステータスを更新する。
【0015】
また、本実施形態に係るシステム１では、現実空間に対応する仮想空間を提供する。すなわち、本実施形態に係る仮想空間は、現実空間を模した空間である。但し、システム１で提供される仮想空間は、現実空間と完全に一致している必要はなく、適宜デフォルメされていてもよい。現実空間とは、例えば、現実に存在する街、商業施設、商店、テーマパーク、イベント会場、公園、駅などを指す。
【0016】
さらに、本実施形態に係るシステム１（サーバ１０）は、現実空間に設置された検知装置３と通信ネットワーク２を通じて通信可能に構成されている。検知装置３は、現実空間内の人を検知する装置である。そして、検知装置３は、検知結果を示す検知データを、通信ネットワーク２を通じてサーバ１０に送信する。なお、システム１に接続される検知装置３の種類は１種類に限定されず、複数種類が組み合わせられてもよい。
【0017】
一例として、検知装置３は、現実空間を上方から俯瞰して撮像するカメラ（定点カメラ）でもよい。この場合の検知装置３は、現実空間の俯瞰映像を検知データとしてサーバ１０に送信する。他の例として、検知装置３は、商業施設、商店、テーマパーク、イベント会場に入場する人の顔を撮像するカメラ（例えば、表面温度を測定する装置）でもよい。この場合の検知装置３は、人の顔の画像を検知データとしてサーバ１０に送信する。さらに他の例として、検知装置３は、テーマパーク、イベント会場、駅に入場する改札機でもよい。この場合の検知装置３は、改札機に挿入されたチケットの購入情報（例えば、大人または子供の区別、チケットの種類、購入金額など）及び改札機に挿入された時刻などを検知データとしてサーバ１０に送信する。但し、検知データの具体例は、これらに限定されない。
【0018】
そして、本実施形態に係るサーバ１０は、検知装置３から受信した検知データを分析して、現実空間に存在する人の数、位置、及び属性を特定する。人の属性とは、例えば、性別、年齢（大人または子供の区別）、姿勢（例えば、立っている、歩いている、走っている）などを指す。そして、サーバ１０は、特定した人に対応する非ユーザキャラクタ（以下、「モブキャラ」と表記する。）を仮想空間に配置する。より詳細には、サーバ１０は、モブキャラの形状や配置を示すモブキャラデータを、通信ネットワーク２を通じてユーザ端末２０に送信する。そして、ユーザ端末２０は、サーバ１０から受信したモブキャラデータに基づいて、仮想区間内にモブキャラを配置する。これにより、ユーザ端末２０にモブキャラが表示される。
【0019】
前述したように、本実施形態に係る仮想空間には、アバターと、モブキャラとが配置される。アバター及びモブキャラは、人の形をしている点で共通する。アバターは、ユーザ端末２０のユーザによって外観（例えば、顔の形、髪型、服装など）が決定される。また、アバターは、ユーザ端末２０を通じたユーザの操作に連動して、仮想空間内で動作する。これに対して、モブキャラは、サーバ１０によって外観が決定される。一例として、サーバ１０は、予め登録されたモブキャラの候補の中から、検知装置３で検知した属性に合致するモブキャラを選択してもよい。他の例として、サーバ１０は、過去に仮想空間にいたアバターのログから、検知装置３で検知した属性に合致するモブキャラを選択してもよい。また、モブキャラは、サーバ１０によって決定された方法で動作してもよいし、停止していてもよい。
【0020】
［サーバ１０の構成］
図２は、サーバ１０のハードウェア構成図である。サーバ１０は、例えば、ワークステーション、またはパーソナルコンピュータなどの汎用コンピュータで実現される。図２に示すように、サーバ１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、入出力インタフェース１４と、通信インタフェース１５とを主に備える。サーバ１０の各構成要素は、通信バス１９に接続されている。
図２は、サーバ１０のハードウェア構成図である。サーバ１０は、例えば、ワークステーション、またはパーソナルコンピュータなどの汎用コンピュータで実現される。図２に示すように、サーバ１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、入出力インタフェース１４と、通信インタフェース１５とを主に備える。サーバ１０の各構成要素は、通信バス１９に接続されている。
【0021】
プロセッサ１１は、メモリ１２またはストレージ１３に格納されているサーバプログラム１３Ｐに含まれる一連の命令を実行することによって、後述する処理を実現する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、その他のデバイスとして実現される。
【0022】
メモリ１２は、サーバプログラム１３Ｐ及びデータを一時的に保持する。サーバプログラム１３Ｐは、例えば、ストレージ１３からロードされる。データは、サーバ１０に入力されたデータと、プロセッサ１１によって生成されたデータとを含む。例えば、メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他の揮発メモリとして実現される。
【0023】
ストレージ１３は、サーバプログラム１３Ｐ及びデータを永続的に保持する。ストレージ１３は、例えば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。また、ストレージ１３は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに他の例として、ストレージ１３は、サーバ１０に内蔵されることに代えて、外部記憶装置としてサーバ１０に接続されていてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のユーザ端末２０が使用される場面において、サーバプログラム１３Ｐやデータの更新を一括して行うことが可能になる。
【0024】
入出力インタフェース１４は、モニタ、入力装置（例えば、キーボード、ポインティングデバイス）、外部記憶装置、スピーカ、カメラ、マイク、センサ等の外部装置をサーバ１０に接続するためのインタフェースである。プロセッサ１１は、入出力インタフェース１４を通じて外部装置と通信する。入出力インタフェース１４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、登録商標）、その他の端子で用いて実現される。
【0025】
通信インタフェース１５は、通信ネットワーク２に接続されている他の装置（例えば、検知装置３、ユーザ端末２０）と通信する。通信インタフェース１５は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）など有線通信インタフェース、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などの無線通信インタフェースとして実現される。
【0026】
［ユーザ端末２０の構成］
図３は、ユーザ端末２０の一例であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）セットのハードウェア構成図である。図４は、ユーザ端末２０の他の例であるタブレット端末のハードウェア構成図である。ユーザ端末２０は、例えば、図３に示すＨＭＤセット、図４に示すタブレット端末の他、スマートフォン、フィーチャーフォン、ラップトップ型コンピュータ、デスクトップコンピュータなどとして実現される。
図３は、ユーザ端末２０の一例であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）セットのハードウェア構成図である。図４は、ユーザ端末２０の他の例であるタブレット端末のハードウェア構成図である。ユーザ端末２０は、例えば、図３に示すＨＭＤセット、図４に示すタブレット端末の他、スマートフォン、フィーチャーフォン、ラップトップ型コンピュータ、デスクトップコンピュータなどとして実現される。
【0027】
図３に示すように、ＨＭＤセットとして実現されるユーザ端末２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、入出力インタフェース２４と、通信インタフェース２５とを有するコンピュータ２６を備える。コンピュータ２６の各構成要素は、通信バス２９に接続されている。プロセッサ２１、メモリ２２、ストレージ２３、入出力インタフェース２４、通信インタフェース２５、通信バス２９の基本的な構成は、図２に示すプロセッサ１１、メモリ１２、ストレージ１３、入出力インタフェース１４、通信インタフェース１５、通信バス１９と共通する。また、ストレージ２３は、端末プログラム２３Ｐを保持する。
【0028】
また、ＨＭＤセットとして実現されるユーザ端末２０は、コンピュータ２６の外部装置として、ＨＭＤ３０と、動きセンサ４１と、操作装置４２とを備える。ＨＭＤ３０、動きセンサ４１、及び操作装置４２は、入出力インタフェース２４を通じてプロセッサ２１に接続されている。
【0029】
ＨＭＤ３０は、ユーザの頭部に装着されて、仮想空間をユーザに提供する。より詳細には、ＨＭＤ３０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。ＨＭＤ３０は、モニタ３１（表示装置）と、注視センサ３２と、カメラ３３、３４と、マイク３５と、スピーカ３６とを主に備える。
【0030】
一例として、モニタ３１は、非透過型の表示装置として実現される。モニタ３１は、例えば、ユーザの両目の前方に位置するようにＨＭＤ３０の本体に配置されている。非透過型のモニタ３１は、例えば、液晶モニタ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）モニタとして実現される。
【0031】
他の例として、モニタ３１は、透過型の表示装置として実現される。この場合のＨＭＤ３０は、ユーザの目を覆う密閉型ではなく、メガネ型のような開放型となる。モニタ３１は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。一例として、透過型のモニタ３１は、ＨＭＤ３０に搭載されたカメラで撮像した現実空間の画像を表示してもよい。他の例として、透過型のモニタ３１は、透過率を調整可能に構成されていてもよい。そして、透過型のモニタ３１は、表示領域の一部の透過率を高く設定して、現実空間を直接視認できるようにしてもよい。
【0032】
また、モニタ３１は、ユーザに３次元画像を視認させるために、以下の構成を採用してもよい。一例として、モニタ３１は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含んでもよい。他の例として、モニタ３１は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合のモニタ３１は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
【0033】
注視センサ３２は、ユーザの右目及び左目の視線が向けられる方向を検知する。つまり、注視センサ３２は、ユーザの視線を検知する。注視センサ３２は、例えば、アイトラッキング機能を有するセンサにより実現される。注視センサ３２は、右目用のセンサ及び左目用のセンサを含むことが好ましい。注視センサ３２は、ユーザの右目及び左目に赤外光を照射するとともに、照射光に対する角膜及び虹彩からの反射光を受けることにより各眼球の回転角を検知する。そして、注視センサ３２は、検知した各回転角に基づいて、ユーザの視線を特定する。
【0034】
カメラ３３は、ＨＭＤ３０を装着したユーザの顔の上部（より詳細には、ユーザの目、眉など）を撮像する。カメラ３４は、ＨＭＤ３０を装着したユーザの顔の下部（より詳細には、ユーザの鼻、口など）を撮像する。例えば、ＨＭＤ３０の筐体のうち、ユーザに対面する側にカメラ３３が取り付けられ、ユーザと対面する側と反対側にカメラ３４が取り付けられる。なお、ＨＭＤ３０は、２台のカメラ３３、３４に代えて、ユーザの顔全体を撮像する１台のカメラを備えてもよい。
【0035】
マイク３５は、ユーザの発話を音声信号（電気信号）に変換してコンピュータ２６に出力する。スピーカ３６は、コンピュータ２６から出力された音声信号を音声に変換してユーザに出力する。なお、ＨＭＤ３０は、スピーカ３６に替えてイヤホンを含み得る。
【0036】
動きセンサ４１は、ＨＭＤ３０の動きを検出するためのポジショントラッキング機能を有する。一例として、動きセンサ４１は、ＨＭＤ３０が発する複数の赤外線を読み取って、現実空間内におけるＨＭＤ３０の位置及び傾きを検出してもよい。他の例として、動きセンサ４１は、カメラで実現されてもよい。この場合の動きセンサ４１は、カメラから出力されるＨＭＤ３０の画像情報を解析して、ＨＭＤ３０の位置及び傾きを検出する。さらに他の例として、動きセンサ４１は、角速度センサ、地磁気センサ、あるいは加速度センサで実現されてもよい。
【0037】
操作装置４２は、有線または無線によりコンピュータ２６に接続されている。操作装置４２は、ユーザによるコンピュータ２６に対する命令の入力（操作）を受け付ける。一例として、操作装置４２は、ユーザが把持した状態で操作する、所謂コントローラでもよい。他の例として、操作装置４２は、ユーザの身体あるいは衣類の一部に装着可能に構成され、モーションセンサによってユーザの動きを検知するものでもよい。但し、操作装置４２の具体例はこれらに限定されず、キーボード、ポインティングデバイス、タッチパネルなどでもよい。
【0038】
図４に示すように、タブレット端末として実現されるユーザ端末２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信インタフェース２５と、モニタ３１と、カメラ３３、３４と、マイク３５と、スピーカ３６と、動きセンサ４１と、操作装置４２とを主に備える。タブレット端末の各構成要素は、通信バス２９に接続されている。プロセッサ２１、メモリ２２、ストレージ２３、通信インタフェース２５、モニタ３１、カメラ３３、３４、マイク３５、スピーカ３６、動きセンサ４１、操作装置４２の基本的な構成は、ＨＭＤセットの場合と共通するので、以下、タブレット端末に特有の構成を説明する。
【0039】
モニタ３１は、平板状の筐体の表面に設けられている。カメラ３３は、平板状の筐体の表面に取り付けられて、モニタ３１を視認するユーザの顔を撮像する、所謂インカメラである。カメラ３４は、平板状の筐体の裏面（モニタ３１と反対側の面）に取り付けられて、周囲を撮像する、所謂アウトカメラである。動きセンサ４１は、筐体の動き（例えば、互いに直交する３軸周りの回転）を検知する。タブレット端末に好適な操作装置４２としては、例えば、モニタ３１に重畳されて、ユーザによる各種タッチ操作（例えば、タップ、スライド、フリック、ピンチイン、ピンチアウトなど）を受け付けるタッチパネルである。
【0040】
［仮想空間９０の概要］
図５は、仮想空間９０の一態様を概念的に表す図である。図６は、仮想空間９０において視界領域９４をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間９０において視界領域９４をＹ方向から見たＸＺ断面を表す図である。
図５は、仮想空間９０の一態様を概念的に表す図である。図６は、仮想空間９０において視界領域９４をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間９０において視界領域９４をＹ方向から見たＸＺ断面を表す図である。
【0041】
図５に示すように、仮想空間９０は、中心Ｃの３６０度方向の全体を覆う全天球状の構造を有する。図５では説明を複雑にしないために、仮想空間９０の上半分の天球が例示されている。仮想空間９０では各メッシュが規定される。各メッシュの位置は、仮想空間９０に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。仮想空間９０に展開可能なパノラマ画像９１（静止画、動画等）を構成する各部分画像は、仮想空間９０において対応する各メッシュにそれぞれ対応付けられる。
【0042】
例えば、仮想空間９０では、中心Ｃを原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、及び前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。
【0043】
仮想空間９０には、ユーザ端末２０に対応付けられた仮想カメラ９２が配置される。仮想空間９０内における仮想カメラ９２の位置は、仮想空間９０内におけるユーザの視点に相当する。また、仮想カメラ９２の向きは、仮想空間９０におけるユーザの視線（基準視線９３）に相当する。そして、プロセッサ２１は、仮想カメラ９２の位置と向きとに基づいて、仮想空間９０における視界領域９４（仮想カメラ９２の画角）を規定する。
【0044】
図６に示すように、視界領域９４は、ＹＺ断面において領域９５を含む。領域９５は、仮想空間９０内で基準視線９３を含む鉛直断面（ＹＺ断面）において、基準視線９３を中心とする極角αの範囲である。図７に示すように、視界領域９４は、ＸＺ断面において領域９６を含む。領域９６は、仮想空間９０内で基準視線９３を含む水平断面（ＸＺ断面）において、基準視線９３を中心とする方位角βの範囲である。
【0045】
プロセッサ２１は、仮想空間９０に展開されたパノラマ画像９１のうち、視界領域９４に含まれる部分画像を、仮想カメラ９２が撮像した仮想空間画像９７として生成（抽出）する。そして、プロセッサ２１は、生成した仮想空間画像９７をモニタ３１に表示させる。すなわち、視界領域９４は、仮想空間９０内におけるユーザの視界に相当する。さらに、仮想空間９０内で仮想カメラ９２の位置及び向きの変化に追従して視界領域９４が移動し、モニタ３１に表示される仮想空間画像９７が更新される。すなわち、ユーザの視界が移動する。
【0046】
例えば、プロセッサ２１は、操作装置４２で受け付けたユーザの操作に連動して、仮想空間９０内で仮想カメラ９２を移動させる。また、プロセッサ２１は、動きセンサ４１で検知されたユーザ端末２０の動き（例えば、互いに直交する３軸周りの回転）に連動して、仮想カメラ９２の向き（すなわち、基準視線９３）を変化させる。さらに、プロセッサ２１は、位置及び向きが変化した後の仮想カメラ９２で撮像した仮想空間画像９７をモニタ３１に表示させる。
【0047】
［サーバ１０及びユーザ端末２０の機能ブロック図］
図８は、サーバ１０及びユーザ端末２０の機能ブロック図である。図８に示すように、メモリ１２にロードされたサーバプログラム１３Ｐは、サーバ１０を、アバター同期手段１１０、人抽出手段１２０、モブキャラ生成手段１３０として機能させる。また、メモリ２２にロードされた端末プログラム２３Ｐは、ユーザ端末２０（コンピュータ２６）を、仮想空間定義手段２１０、配置手段２２０、カメラ移動手段２３０、画像生成手段２４０、画像表示手段２５０として機能させる。
図８は、サーバ１０及びユーザ端末２０の機能ブロック図である。図８に示すように、メモリ１２にロードされたサーバプログラム１３Ｐは、サーバ１０を、アバター同期手段１１０、人抽出手段１２０、モブキャラ生成手段１３０として機能させる。また、メモリ２２にロードされた端末プログラム２３Ｐは、ユーザ端末２０（コンピュータ２６）を、仮想空間定義手段２１０、配置手段２２０、カメラ移動手段２３０、画像生成手段２４０、画像表示手段２５０として機能させる。
【0048】
アバター同期手段１１０は、ユーザ端末２０の１つから通信ネットワーク２を通じて受信したアバターデータを、他のユーザ端末２０に送信（中継）する。これにより、全てのユーザ端末２０Ａ～２０Ｃは、同一のアバターデータを保持する。その結果、全てのユーザ端末２０Ａ～２０Ｃそれぞれで定義される仮想空間９０において、同一の位置に同一のアバターが配置される。すなわち、全てのユーザ端末２０Ａ～２０Ｃにおいて、アバターが同期される。
【0049】
人抽出手段１２０は、通信ネットワーク２を通じて検知装置３から検知データを受信する。次に、人抽出手段１２０は、検知装置３から受信した検知データから現実空間にいる人を抽出する。また、人抽出手段１２０は、検知装置３から受信した検知データから現実空間にいる人の属性を抽出してもよい。一例として、検知装置３がカメラの場合に、人抽出手段１２０は、周知の人認識技術を用いて、画像データまたは映像データから現実空間内の人の数及び位置、人の性別、年齢、姿勢などを抽出する。他の例として、検知装置３が改札機の場合に、人抽出手段１２０は、改札機に挿入されたチケットにから現実空間内の人の数及び年齢を抽出する。但し、人抽出手段１２０が人及び属性を抽出する具体的な方法は、前述の例に限定されず、周知の他の方法を採用することができる。
【0050】
モブキャラ生成手段１３０は、人抽出手段１２０で抽出した人に対応するモブキャラを示すモブキャラデータを生成する。モブキャラデータは、モブキャラの外観（例えば、体形、表情、髪型、服装など）、仮想空間９０内のモブキャラの位置、モブキャラの姿勢などを示す。但し、現実空間内の人の位置と、仮想空間９０内のモブキャラの位置とは、厳密に一致していなくてもよい。そして、モブキャラ生成手段１３０は、生成したモブキャラデータを全てのユーザ端末２０Ａ～２０Ｃに送信する。より詳細には、モブキャラ生成手段１３０は、人抽出手段１２０によって抽出された人の数だけモブキャラを生成する。また、モブキャラ生成手段１３０は、人抽出手段１２０によって抽出された人の属性に対応する態様のモブキャラを生成する。例えば、抽出した性別が女性の場合に女性のモブキャラが生成され、抽出した年齢が子供の場合に子供のモブキャラが生成され、抽出した姿勢が座っている場合に座った状態のモブキャラが生成される。
【0051】
仮想空間定義手段２１０は、現実空間に対応する仮想空間９０を定義する。より詳細には、仮想空間定義手段２１０は、仮想空間９０を示す仮想空間データをメモリ２２に展開する。仮想空間データは、例えば、パノラマ画像９１と、仮想空間９０内に配置されるオブジェクト（例えば、建物、植物）の形状及び位置とを示す。なお、仮想空間データは、予めサーバ１０からダウンロードしてストレージ２３に保持されていてもよいし、仮想空間９０を定義する際にサーバ１０からダウンロードされてもよい。また、仮想空間定義手段２１０は、複数の仮想空間９０のうちから操作装置４２を通じて選択された仮想空間９０を定義してもよい。仮想空間９０を定義する具体的な処理は既に周知なので、詳細な説明は省略する。
【0052】
配置手段２２０は、仮想空間定義手段２１０で定義された仮想空間９０にキャラクタを配置する。ここでは、ユーザ端末２０Ａで端末プログラム２３Ｐが実行される場合を説明する。配置手段２２０が仮想空間９０に配置するキャラクタは、ユーザ端末２０Ａ（第１ユーザ端末）のユーザのアバター（以下、「本人アバター」と表記する。）と、他のユーザ端末２０Ｂ、２０Ｃ（第２ユーザ端末）のユーザのアバター（以下、「他人アバター」と表記する。）と、モブキャラとを含む。
【0053】
まず、配置手段２２０は、ストレージ２３に予め記憶されているアバターデータに基づいて、本人アバターを仮想空間９０に配置する。そして、配置手段２２０は、本人アバターのアバターデータを、通信ネットワーク２を通じてサーバ１０に送信する。また、配置手段２２０は、本人アバターの動作を指示するユーザの操作を操作装置４２を通じて受け付けた場合に、当該操作に従って仮想空間９０内で本人アバターを動作させる。そして、配置手段２２０は、本人アバターの動作後の状態を示すようにアバターデータを更新し、更新したアバターデータを通信ネットワーク２を通じてサーバ１０に送信する。
【0054】
また、配置手段２２０は、他人アバターのアバターデータを、通信ネットワーク２を通じてサーバ１０から受信する。そして、配置手段２２０は、サーバ１０から受信したアバターデータに基づいて、他人アバターを仮想空間９０に配置する。さらに、配置手段２２０は、アバターデータが更新される度に他人アバターを配置し直すことによって、仮想空間９０内で他人アバターが動作する。
【0055】
さらに、配置手段２２０は、モブキャラ生成手段１３０が生成したモブキャラデータを、通信ネットワーク２を通じてサーバ１０から受信する。そして、配置手段２２０は、サーバ１０から受信したモブキャラデータに基づいて、モブキャラを仮想空間９０に配置する。さらに、配置手段２２０は、モブキャラデータが更新される度にモブキャラを配置し直すことによって、仮想空間９０内でモブキャラが動作する。
【0056】
カメラ移動手段２３０は、動きセンサ４１で検知されたユーザ端末２０の動きまたは操作装置４２を通じたアバターの動作指示に基づいて、仮想空間９０内で仮想カメラ９２を移動させる。ユーザ端末２０を動かすこと及び操作装置４２を通じてアバターの動作を指示することは、移動操作の一例である。仮想カメラ９２と本人アバターとの相対位置が変化しない設定の場合、カメラ移動手段２３０は、配置手段２２０が移動させた本人アバターに追従して、仮想カメラ９２を移動させる。また、カメラ移動手段２３０は、動きセンサ４１または操作装置４２を通じた指示に従って、本人アバターとは独立して仮想カメラ９２を移動させてもよい。
【0057】
画像生成手段２４０は、仮想カメラ９２で仮想空間９０内を撮像した仮想空間画像９７を生成する。より詳細には、画像生成手段２４０は、パノラマ画像９１のうちの視界領域９４に相当する画像を仮想空間画像９７として抽出して、仮想空間画像９７を示す仮想空間画像データをメモリ２２に記憶させる。また、画像生成手段２４０は、仮想空間画像９７に対するキャラクタの含め方を制御する。
【0058】
一例として、画像生成手段２４０は、視界領域９４（すなわち、仮想カメラ９２の画角）に含まれるモブキャラの数が閾値以上の場合に、モブキャラの数を削減して（すなわち、間引いて）仮想空間画像９７を生成してもよい。他の例として、画像生成手段２４０は、視界領域９４に含まれるアバター及びモブキャラを、異なる表示態様で仮想空間画像に含めてもよい。他の例として、画像生成手段２４０は、操作装置４２に対して実行されたモブキャラの選択操作に基づいて、モブキャラに対応付けて予め登録されたメッセージを出力してもよい。他の例として、画像生成手段２４０は、操作装置４２に対して実行された操作に基づいて、仮想空間画像９７にモブキャラを含めるか否かを切り替えてもよい。さらに他の例として、画像生成手段２４０は、操作装置４２に対して実行された操作に基づいて、アバターの表示態様を切り替えてもよい。
【0059】
画像表示手段２５０は、仮想空間画像９７をモニタ３１に表示させる。より詳細には、画像表示手段２５０は、画像生成手段２４０によって生成された仮想空間画像データを、モニタ３１のグラフィックメモリに展開する。そして、仮想空間９０内のキャラクタが更新される度に、画像生成手段２４０が仮想空間画像９７を新たに生成し、新たに生成された仮想空間画像９７を画像表示手段２５０がモニタ３１に表示させる。これにより、ユーザ端末２０のユーザは、仮想空間９０内で動作するキャラクタの視界を示す映像を、モニタ３１を通じて視聴することができる。
【0060】
［実施例１］
図９～図１６を参照して、実施例１に係るシステム１の動作を説明する。実施例１では、ユーザ端末２０Ａのユーザのアバターが、現実の街に対応する仮想空間９０にいることを想定している。そして、実施例１に係るシステム１は、ユーザ端末２０Ａのユーザに、仮想空間９０での体験を提供すると共に、仮想空間９０を通じて対応する現実空間の状況を報知する。
図９～図１６を参照して、実施例１に係るシステム１の動作を説明する。実施例１では、ユーザ端末２０Ａのユーザのアバターが、現実の街に対応する仮想空間９０にいることを想定している。そして、実施例１に係るシステム１は、ユーザ端末２０Ａのユーザに、仮想空間９０での体験を提供すると共に、仮想空間９０を通じて対応する現実空間の状況を報知する。
【0061】
図９は、実施例１に係るサーバ１０の処理を示すフローチャートである。図１０は、実施例１に係るユーザ端末２０Ａの処理を示すフローチャートである。図１１は、仮想空間画像生成＆表示処理のフローチャートである。図１２は、ステップＳ２１、Ｓ２２に対応する仮想空間９０の概念図である。図１３は、ステップＳ４７に対応する仮想空間９０の概念図及び仮想空間画像９７を示す図である。図１４は、ステップＳ４８に対応する仮想空間９０の概念図及び仮想空間画像９７を示す図である。図１５は、ステップＳ４５に対応する仮想空間９０の概念図及び仮想空間画像９７を示す図である。図１６は、ステップＳ４３でＮｏの場合に対応する仮想空間９０の概念図及び仮想空間画像９７を示す図である。サーバ１０による図９の処理と、ユーザ端末２０Ａによる図１０の処理とは、並行して実行される。
【0062】
サーバ１０は、図９に示す処理を所定の時間間隔毎に繰り返し実行する。まず、サーバ１０は、ユーザ端末２０Ａ～２０Ｃからアバターデータを受信するか（Ｓ１１）、検知装置３から検知データを受信するまで（Ｓ１２）、ステップＳ１３以降の処理の実行を待機する。なお、ユーザ端末２０Ａ～２０Ｃそれぞれからは、アバターデータが不定期に送信される。また、検知装置３からは、所定の時間間隔毎に検知データが送信される。すなわち、ステップＳ１３の処理と、ステップＳ１４～Ｓ１６の処理とは、任意のタイミング及び頻度で実行される。
【0063】
サーバ１０（アバター同期手段１１０）は、ユーザ端末２０Ａ～２０Ｃの１つから通信ネットワーク２を通じてアバターデータを受信した場合に（Ｓ１１：Ｙｅｓ）、他の全てのユーザ端末２０Ａ～２０Ｃに通信ネットワーク２を通じて受信したアバターデータを送信（中継）する（Ｓ１３）。これにより、全てのユーザ端末２０Ａ～２０Ｃが同一のアバターデータを保持する。換言すれば、全てのユーザ端末２０Ａ～２０Ｃの仮想空間９０に同一のアバターが配置される。
【0064】
また、サーバ１０（人抽出手段１２０）は、通信ネットワーク２を通じて検知装置３から検知データを受信した場合に（Ｓ１２：Ｙｅｓ）、受信した検知データから人及び属性を抽出する（Ｓ１４）。次に、サーバ１０（モブキャラ生成手段１３０）は、ステップＳ１４で抽出した人及び属性に対応するモブキャラを生成する（Ｓ１５）。さらに、サーバ１０（モブキャラ生成手段１３０）は、ステップＳ１５で生成したモブキャラを示すモブキャラデータを、通信ネットワーク２を通じて全てのユーザ端末２０Ａ～２０Ｃに送信する（Ｓ１６）。
【0065】
図１０に示すように、ユーザ端末２０Ａ（仮想空間定義手段２１０）は、ストレージ２３に記憶された仮想空間データをメモリ１２に展開することによって、仮想空間９０を定義する（Ｓ２１）。次に、ユーザ端末２０Ａ（配置手段２２０及びカメラ移動手段２３０）は、図１２（Ａ）に示すように、ステップＳ２１で定義された仮想空間９０に本人アバター５０及び仮想カメラ９２を配置すると共に、通信ネットワーク２を通じてサーバ１０にアバターデータを送信する（Ｓ２２）。本人アバター５０の初期位置は、例えば、仮想空間９０の中心Ｃである。また、仮想カメラ９２の位置は、例えば、本人アバター５０の頭の位置でもよいし、本人アバター５０の後方でもよい。
【0066】
次に、ユーザ端末２０Ａ（配置手段２２０）は、通信ネットワーク２を通じてサーバ１０からアバターデータを受信した場合に（Ｓ２３：Ｙｅｓ）、例えば図１２（Ｂ）に示すように、受信したアバターデータに従って仮想空間９０に他人アバター５１Ｂ、５１Ｃを配置する（Ｓ２４）。なお、他人アバター５１Ｂはユーザ端末２０Ｂから送信されたアバターデータに対応し、他人アバター５１Ｃはユーザ端末２０Ｃから送信されたアバターデータに対応する。次に、ユーザ端末２０Ａ（画像生成手段２４０及び画像表示手段２５０）は、仮想空間９０に配置した他人アバター５１Ｂ、５１Ｃを仮想空間画像９７に反映させるために、図１１に示す仮想空間画像生成＆表示処理を実行する（Ｓ２９）。
【0067】
図１１に示すように、ユーザ端末２０Ａ（画像生成手段２４０）は、視界領域９４を特定する（Ｓ４１）。次に、ユーザ端末２０Ａ（画像生成手段２４０）は、仮想カメラ９２の画角（視界領域９４）にモブキャラが含まれるか否かを判定する（Ｓ４２）。図１２（Ｂ）の状態ではモブキャラが含まれないので（Ｓ４２：Ｎｏ）、ユーザ端末２０Ａ（画像生成手段２４０）は、アバター及びモブキャラのうちのアバターのみを含む仮想空間画像９７を生成する（Ｓ５０）。次に、ユーザ端末２０Ａ（画像表示手段２５０）は、生成した仮想空間画像９７をモニタ３１に表示させる（Ｓ５１）。
【0068】
図１２（Ｂ）の状態では他人アバター５１Ｂ、５１Ｃのうちの他人アバター５１Ｂのみが仮想カメラ９２の画角に含まれるので、図１６（Ｂ）に示すような仮想空間画像９７がモニタ３１に表示される。また、仮想空間画像９７を表示するモニタ３１には、トグルスイッチ９８が表示されてもよい。トグルスイッチ９８は、仮想空間画像９７にモブキャラを含めるか否かを指示するユーザの操作を受け付ける画面オブジェクトである。トグルスイッチ９８をＯＮ側に切り替える操作は、仮想カメラ９２の画角に含まれるモブキャラを含む仮想空間画像９７の生成することを指示する表示操作の一例である。トグルスイッチ９８をＯＦＦ側に切り替える操作は、仮想カメラ９２の画角に含まれるモブキャラを含まない仮想空間画像９７の生成することを指示する非表示操作の一例である。
【0069】
また、ユーザ端末２０Ａ（配置手段２２０）は、通信ネットワーク２を通じてサーバ１０からモブキャラデータを受信した場合に（Ｓ２５：Ｙｅｓ）、例えば図１３（Ａ）に示すように、受信したモブキャラデータに従って、仮想空間９０にモブキャラ５２Ａ、５２Ｂ、５２Ｃ、５２Ｄを配置する（Ｓ２６）。次に、ユーザ端末２０Ａ（画像生成手段２４０及び画像表示手段２５０）は、仮想空間９０に配置したモブキャラ５２Ａ～５２Ｄを仮想空間画像９７に反映させるために、仮想空間画像生成＆表示処理を実行する（Ｓ２９）。
【0070】
ユーザ端末２０Ａ（画像生成手段２４０）は、仮想カメラ９２の画角にモブキャラ５２Ａ、５２Ｂが含まれると判定し（Ｓ４２：Ｙｅｓ）、トグルスイッチ９８がＯＮ側だと判定した場合に（Ｓ４３：Ｙｅｓ）、仮想カメラ９２の画角に含まれるモブキャラ５２Ａ、５２Ｂの数と、予め定められた閾値とを比較する（Ｓ４４）。そして、ユーザ端末２０Ａ（画像生成手段２４０）は、仮想カメラ９２の画角に含まれるモブキャラ５２Ａ、５２Ｂの数が閾値未満の場合に（Ｓ４４：Ｎｏ）、ステップＳ４５の処理をスキップして、ステップＳ４６以降の処理を実行する。すなわち、ユーザ端末２０Ａ（画像生成手段２４０）は、仮想カメラ９２の画角に含まれる全てのモブキャラ５２Ａ、５２Ｂを仮想空間画像９７に含める。
【0071】
次に、ユーザ端末２０Ａ（画像生成手段２４０）は、仮想空間画像９７に含める他人アバター５１Ｂ及びモブキャラ５２Ａから仮想カメラ９２までの距離と、予め定められた閾値距離とを比較する（Ｓ４６）。そして、ユーザ端末２０Ａ（画像生成手段２４０）は、例えば図１３（Ａ）に示すように、他人アバター５１Ｂ及びモブキャラ５２Ａ、５２Ｂから仮想カメラ９２までの距離が一点鎖線で示す閾値距離以上の場合に（Ｓ４６：Ｙｅｓ）、図１３（Ｂ）に示すように、他人アバター５１Ｂ及びモブキャラ５２Ａ、５２Ｂを共通の表示態様で仮想空間画像９７に含める（Ｓ４７）。一方、ユーザ端末２０Ａ（画像生成手段２４０）は、例えば図１４（Ａ）に示すように、他人アバター５１Ｂ及びモブキャラ５２Ａ、５２Ｂから仮想カメラ９２までの距離が一点鎖線で示す閾値距離未満の場合に（Ｓ４６：Ｎｏ）、図１４（Ｂ）に示すように、他人アバター５１Ｂ及びモブキャラ５２Ａ、５２Ｂを異なる表示態様で仮想空間画像９７に含める（Ｓ４８）。
【0072】
ここで、他人アバター５１Ｂ及びモブキャラ５２Ａ、５２Ｂは、外観がそれぞれ異なる。そのため、「共通の表示態様」とは、各キャラクタの外観を完全に一致させることを意味しない。「共通の表示態様」とは、例えば、アバターとモブキャラとを区別するための情報（アイコン）を付加しないことを意味してもよい。一方、「異なる表示態様」とは、アバターとモブキャラとを区別するための情報（アイコン）を付加することを意味してもよい。例えば、図１４（Ｂ）の例では、他人アバター５１Ｂの頭上にユーザ端末２０Ｂのユーザが設定したユーザ名“ＵＳＥＲ－Ｂ”が付加されているのに対して、モブキャラ５２Ａ、５２Ｂの頭上には“ＭＯＢ”の文字列が付加されている。一方、図１３（Ｂ）では、他人アバター５１Ｂ及びモブキャラ５２Ａ、５２Ｂの頭上の文字列が省略されている。但し、共通の表示態様、異なる表示態様の具体例は、前述の例に限定されない。
【0073】
また、ユーザ端末２０Ａ（画像生成手段２４０）は、図１５（Ａ）に示すように、仮想カメラ９２の画角に含まれるモブキャラ５２Ａ、５２Ｂ、５２Ｅ、５２Ｆ、５２Ｇ、５２Ｈ、５２Ｉ、５２Ｊの数が閾値以上の場合に（Ｓ４４：Ｙｅｓ）、仮想空間画像９７に含めるモブキャラ５２Ａ、５２Ｂ、５２Ｅ～５２Ｊの数を削減する（Ｓ４５）。ユーザ端末２０Ａ（画像生成手段２４０）は、例えば、５２Ａ、５２Ｂ、５２Ｅ～５２Ｊの数が第１閾値（例えば、５）以上で第２閾値（例えば、１０）未満の場合に、第１閾値のモブキャラを仮想空間画像９７に含めてもよい。また、ユーザ端末２０Ａ（画像生成手段２４０）は、モブキャラの数が第２閾値以上の場合に、第２閾値のモブキャラを仮想空間画像９７に含めてもよい。なお、第１閾値＜第２閾値である。但し、モブキャラの数を削減する方法は、前述の例に限定されない。また、ユーザ端末２０Ａ（画像生成手段２４０）は、例えば、モブキャラの密度が高い領域から優先してモブキャラの数を削減してもよい。但し、どのモブキャラを削減するかは、前述の例に限定されない。
【0074】
次に、ユーザ端末２０Ａ（画像生成手段２４０）は、他人アバター５１Ｂ及びステップＳ４５で削減されなかったモブキャラ５２Ａ、５２Ｅ、５２Ｇ、５２Ｈ、５２Ｊに対して、ステップＳ４６～Ｓ４８の処理を実行する。すなわち、ユーザ端末２０Ａ（画像生成手段２４０）は、仮想カメラ９２からの距離が閾値未満のモブキャラ５２Ｈ、５２Ｊの頭上に文字列“ＭＯＢ”を付加し（Ｓ４７）、仮想カメラ９２からの距離が閾値以上の他人アバター５１Ｂ及びモブキャラ５２Ａ、５２Ｅ、５２Ｇの頭上に文字列を付加しない（Ｓ４８）。
【0075】
次に、ユーザ端末２０Ａ（画像生成手段２４０）は、図１３（Ａ）、図１４（Ａ）、または図１４（Ａ）の例において、他人アバター５１Ｂ及びモブキャラ５２を含む仮想空間画像９７を生成する（Ｓ４９）。次に、ユーザ端末２０Ａ（画像表示手段２５０）は、図１３（Ｂ）、図１４（Ｂ）、または図１５（Ｂ）に示すように、生成した仮想空間画像９７をモニタ３１に表示させる（Ｓ５１）。
【0076】
一方、ユーザ端末２０Ａ（画像生成手段２４０）は、図１６（Ａ）に示すように、トグルスイッチ９８がＯＦＦ側だと判定した場合に（Ｓ４３：Ｎｏ）、ステップＳ４４～Ｓ４９の処理を実行せずに、ステップＳ５０の処理を実行する。すなわち、ユーザ端末２０Ａ（画像生成手段２４０）は、仮想カメラ９２の画角に含まれる他人アバター５１Ｂを含み、仮想カメラ９２の画角に含まれるモブキャラ５２Ａ、５２Ｂ、５２Ｅ～５２Ｊを含まない仮想空間画像９７を生成する。次に、ユーザ端末２０Ａ（画像表示手段２５０）は、図１６（Ｂ）に示すように、生成した仮想空間画像９７をモニタ３１に表示させる（Ｓ５１）。
【0077】
図１０に戻って、ユーザ端末２０Ａ（配置手段２２０及びカメラ移動手段２３０）は、本人アバター５０の動作を指示する操作を操作装置４２を通じて受け付けた場合に（Ｓ２７：Ｙｅｓ）、操作装置４２に対するユーザの操作に従って本人アバター５０を動作させ、本人アバター５０に追従して仮想カメラ９２を移動させ、動作後の本人アバター５０を示すアバターデータを、通信ネットワーク２を通じてサーバ１０に送信する（Ｓ２８）。また、ユーザ端末２０Ａ（カメラ移動手段２３０）は、動きセンサ４１で検知されたユーザ端末２０Ａの動きに追従して、仮想カメラ９２を移動させる。そして、ユーザ端末２０Ａ（画像生成手段２４０及び画像表示手段２５０）は、仮想カメラ９２の移動後の画角に対応する仮想空間画像９７を生成するために、仮想空間画像生成＆表示処理を実行する（Ｓ２９）。
【0078】
ユーザ端末２０Ａは、端末プログラム２３Ｐの終了を指示する操作（例えば、ログアウト）を操作装置４２を通じて受け付けるまで（Ｓ３０：Ｎｏ）、ステップＳ２３～Ｓ２９の処理を繰り返し実行する。なお、ユーザ端末２０Ａは、アバターデータ及びモブキャラデータを不定期に受信し、ユーザ操作を不定期に受け付ける。すなわち、ステップＳ２４、Ｓ２６、Ｓ２８の処理は、任意のタイミング及び頻度で実行される。そして、ユーザ端末２０Ａは、端末プログラム２３Ｐの終了を指示する操作を操作装置４２を通じて受け付けた場合に（Ｓ３０：Ｙｅｓ）、図１０の処理を終了する。
【0079】
［実施例１の作用効果］
実施例１によれば、現実空間の人に対応するモブキャラ５２を仮想空間９０に配置することによって、仮想空間９０内で本人アバター５０を操作するユーザ端末２０Ａのユーザに、現実空間の状況（例えば、街に出かけている人の混み具合）を報せることができる。その結果、仮想空間９０内での疑似体験をしているユーザに、現実空間に実際に行くモチベーションを与えることができる。
実施例１によれば、現実空間の人に対応するモブキャラ５２を仮想空間９０に配置することによって、仮想空間９０内で本人アバター５０を操作するユーザ端末２０Ａのユーザに、現実空間の状況（例えば、街に出かけている人の混み具合）を報せることができる。その結果、仮想空間９０内での疑似体験をしているユーザに、現実空間に実際に行くモチベーションを与えることができる。
【0080】
また、実施例１によれば、現実空間の人の属性を反映したモブキャラ５２を仮想空間９０に配置することによって、現実空間の状況をより詳細に報せることができる。その結果、仮想空間９０内での疑似体験をしているユーザ現実空間に実際に行くモチベーションがさらに高まる。
【0081】
また、実施例１によれば、仮想カメラ９２からの距離が閾値未満の他人アバター５１Ｂ及びモブキャラ５２Ａ、５２Ｂの表示態様を異ならせることによって（図１４）、他人アバター５１Ｂとモブキャラ５２Ａ、５２Ｂとを、ユーザ端末２０Ａのユーザが区別できるようになる。これにより、現実空間の状況を知りたいユーザと、仮想空間９０内で過ごしたい（換言すれば、他人アバター５１Ｂと交流したい）ユーザとの両方に、適切な仮想空間画像９７を提供することができる。
【0082】
また、実施例１によれば、仮想カメラ９２からの距離が閾値以上の他人アバター５１Ｂ及びモブキャラ５２Ａ、５２Ｂの表示態様を共通にすることによって（図１３）、仮想空間画像９７に含まれる情報が多くなり過ぎるのを防止できる。但し、仮想カメラ９２からの距離に拘わらず、視界領域９４に含まれる全ての他人アバター及びモブキャラの表示態様を異ならせてもよい。
【0083】
また、実施例１によれば、現実空間にいる人の数が多い場合に、モブキャラ５２の数を削減して仮想空間画像９７に含めるので、仮想空間画像９７内のモブキャラ５２が多くなり過ぎるのを防止できる。これにより、仮想空間９０内で楽しみたいユーザの視界がモブキャラ５２で遮られるのを防止することができる。
【0084】
さらに、実施例１によれば、トグルスイッチ９８の操作によってモブキャラ５２の表示及び非表示を切り替えることができるので、仮想空間９０内で楽しみたいユーザの視界がモブキャラ５２で遮られるのを、さらに効果的に防止することができる。
【0085】
［実施例２］
次に、図１７～図２２を参照して、実施例２に係るシステム１の動作を説明する。なお、実施例１との共通点の詳細な説明は省略し、実施例２に特有の処理を中心に説明する。また、実施例１、２は、その一部または全部を組み合わせることが可能である。
次に、図１７～図２２を参照して、実施例２に係るシステム１の動作を説明する。なお、実施例１との共通点の詳細な説明は省略し、実施例２に特有の処理を中心に説明する。また、実施例１、２は、その一部または全部を組み合わせることが可能である。
【0086】
実施例２では、ユーザ端末２０Ａ（第１ユーザ端末）のユーザのアバターが客として、ユーザ端末２０Ｃ（第２ユーザ端末）のユーザのアバターがスタッフとして、現実の商店に対応する仮想空間９０にいることを想定している。そして、実施例２に係るシステム１は、ユーザ端末２０Ａのユーザに、仮想空間９０を通じて対応する現実空間の状況を報知すると共に、仮想空間９０を通じて現実の商店にいるスタッフとのコミュニケーションを提供する。
【0087】
図１７は、人の属性とメッセージとを対応付けて保持するメッセージテーブルの例である。図１８は、実施例２に係るユーザ端末２０Ｃの処理を示すフローチャートである。図１９は、ステータス設定画面を示す図である。図２０は、実施例２に係るユーザ端末２０Ａの処理を示すフローチャートである。図２１は、操作可能状態の他人アバター５３を選択した際の仮想空間画像９７を示す図である。図２２は、操作不能状態の他人アバター５３及びモブキャラ５４を選択した際の仮想空間画像９７を示す図である。
【0088】
実施例２に係るサーバ１０のストレージ１３は、図１７に示すメッセージテーブルを保持している。メッセージテーブルは、ステップＳ１４で人抽出手段１２０が抽出し得る人の属性と、メッセージとが対応付けて登録されている。メッセージテーブルは、例えば、商店の管理者またはユーザ端末２０Ｃのユーザによって、予めサーバ１０に登録されている。メッセージテーブルに登録されるメッセージは、テキスト形式でもよいし、音声形式でもよい。
【0089】
そして、サーバ１０（モブキャラ生成手段１３０）は、生成したモブキャラの属性に対応するメッセージをメッセージテーブルから抽出し、抽出したメッセージをモブキャラデータに付加する（Ｓ１５）。さらに、サーバ１０（モブキャラ生成手段１３０）は、メッセージが付加されたモブキャラデータを、通信ネットワーク２を通じて全てのユーザ端末２０Ａ～２０Ｃに送信する（Ｓ１６）。
【0090】
図１８に示すように、ユーザ端末２０Ｃ（配置手段２２０）は、図１９に示すステータス設定画面をモニタ３１に表示させる（Ｓ６１）。ステータス設定画面は、ユーザ端末２０Ｃのユーザのアバターのステータスを設定するための画面である。より詳細には、ステータス設定画面は、操作可能フラグの値を選択すると共に、操作可能フラグの値に対応するアバターの外観（例えば、表情、しぐさ）及び定型メッセージを設定する操作を受け付ける。操作可能フラグには、アバターの操作が可能な操作可能状態であることを示す第１値“ＯＮ”、またはアバターの操作が不能な操作不能状態であることを示す第２値“ＯＦＦ”を設定することができる。
【0091】
そして、ユーザ端末２０Ｃ（配置手段２２０）は、操作可能フラグの値を選択する操作、アバターの外観を設定する操作、及び定型メッセージを入力する操作を、操作装置４２を通じて受け付けるまで、以降の処理の実行を待機する。操作可能フラグの値を選択する操作は、操作可能状態及び操作不能状態のいずれかを選択する選択操作の一例である。なお、操作可能フラグの値の選択、アバターの外観の設定、及び定型メッセージの入力を受け付けるインタフェースは、図１８の例に限定されない。
【0092】
ユーザ端末２０Ｃ（配置手段２２０）は、操作可能フラグの設定値として第１値“ＯＮ”を選択する操作を操作装置４２を通じて受け付けた場合に（Ｓ６２：Ｙｅｓ）、操作可能フラグ“ＯＮ”、操作可能フラグ“ＯＮ”に対応付けて設定されたアバターの外観、操作可能フラグ“ＯＮ”に対応付けて入力された定型メッセージを含むアバターデータを、通信ネットワーク２を通じてサーバ１０に送信する（Ｓ６３）。また、ユーザ端末２０Ｃ（配置手段２２０）は、操作可能フラグの設定値として第２値“ＯＦＦ”を選択する操作を操作装置４２を通じて受け付けた場合に（Ｓ６４：Ｙｅｓ）、操作可能フラグ“ＯＦＦ”、操作可能フラグ“ＯＦＦ”に対応付けて設定されたアバターの外観、操作可能フラグ“ＯＦＦ”に対応付けて入力された定型メッセージを含むアバターデータを、通信ネットワーク２を通じてサーバ１０に送信する（Ｓ６５）。
【0093】
ユーザ端末２０Ｃのユーザは、ステータス設定画面を通じて任意のタイミングで、操作可能フラグの設定値を切り替えることができる。そして、ユーザ端末２０Ｃ（配置手段２２０）は、操作可能フラグの設定値（すなわち、アバターの操作可能状態及び操作不能状態）が切り替えられる度に、操作可能フラグを含むアバターデータをサーバ１０に送信する。
【0094】
サーバ１０（アバター同期手段１１０）は、ユーザ端末２０Ｃから受信したアバターデータを、通信ネットワーク２を通じて他の全てのユーザ端末２０Ａ、２０Ｂに送信する（Ｓ１３）。また、ユーザ端末２０Ａ、２０Ｂ（配置手段２２０）は、サーバ１０から受信したアバターデータに従って、仮想空間９０に他人アバターを配置する（Ｓ２４）。さらに、ユーザ端末２０Ａ、２０Ｂ（画像生成手段２４０）は、他人アバターが視界領域９４に含まれる場合に（Ｓ４２：Ｙｅｓ）、当該他人アバターを含む仮想空間画像９７を生成する（Ｓ４９、Ｓ５０）。
【0095】
【0096】
一例として、ユーザ端末２０Ｃから送信されたアバターデータの操作可能フラグに第１値“ＯＮ”が設定されている場合、ユーザ端末２０Ａ（画像生成手段２４０）は、図２１（Ａ）に示す仮想空間画像９７を生成する（Ｓ４９）。他の例として、ユーザ端末２０Ｃから送信されたアバターデータの操作可能フラグに第２値“ＯＦＦ”が設定されている場合、ユーザ端末２０Ａ（画像生成手段２４０）は、図２２（Ａ）に示す仮想空間画像９７（但し、この時点では、定型メッセージを含む吹き出しは表示されない。）を生成する（Ｓ４９）。そして、ユーザ端末２０Ａ（画像表示手段２５０）は、ステップＳ４９で生成した仮想空間画像９７をモニタ３１に表示させる（Ｓ５１）。
【0097】
図２１（Ａ）及び図２２（Ａ）に示す仮想空間画像９７は、ユーザ端末２０Ａから送信されたアバターデータに基づく他人アバター５３と、サーバ１０から送信されたモブキャラデータに基づくモブキャラ５４とを含む点で共通する。一方、図２１（Ａ）及び図２２（Ａ）に示す他人アバター５３は、その外観（例えば、表情、しぐさ）が異なる。また、図２１（Ａ）及び図２２（Ａ）では、他人アバター５３に付加されるユーザ名“ＵＳＥＲ－Ｃ”の表示態様が異なる（図２２（Ａ）ではグレーアウトされている）。
【0098】
すなわち、ユーザ端末２０Ａ（画像生成手段２４０）は、操作可能フラグの設定値（すなわち、他人アバター５３の操作可能状態及び操作不能状態）を選択する選択操作がユーザ端末２０Ｃに対して実行される度に、他人アバター５３に表示態様を切り替える。操作可能フラグの設定値に応じて切り替えられる他人アバター５３の表示態様は、図２１（Ａ）及び図２２（Ａ）の例に限定されず、ユーザ端末２０Ａのユーザが区別できる態様であれば、どのような態様でもよい。
【0099】
次に、ユーザ端末２０Ａ（画像表示手段２５０）は、図２１（Ａ）または図２２（Ａ）に示す他人アバター５３を選択する操作を操作装置４２を通じて受け付けた場合に（Ｓ７１：Ｙｅｓ）、図２１（Ｂ）または図２２（Ａ）に示すように、アバターデータに含まれる定型メッセージを出力する（Ｓ７２）。図２１（Ｂ）及び図２２（Ａ）の例では、他人アバター５３から出た吹き出しにテキスト形式の定型メッセージを表示している。他の例として、ユーザ端末２０Ａは、音声形式の定型メッセージをスピーカ３６から出力してもよい。また、図２１（Ａ）の例では、ポインタ５５を用いて他人アバター５３を選択しているが、キャラクタを選択する具体的な方法はこれに限定されない。
【0100】
次に、ユーザ端末２０Ａ（画像表示手段２５０）は、アバターデータに含まれる操作可能フラグの設定値を判定する（Ｓ７３）。そして、ユーザ端末２０Ａ（画像表示手段２５０）は、操作可能フラグに第１値“ＯＮ”が設定されていると判定した場合に（Ｓ７３：Ｙｅｓ）、図２１（Ｂ）に示すように、メッセージの入力を受け付けるテキストボックス５６と、［送信］ボタン５７とをモニタ３１に表示させる。なお、ユーザ端末２０Ａは、テキストボックス５６を通じたテキスト形式のメッセージの入力に限定されず、マイク３５を通じた音声形式のメッセージの入力を受け付けてもよい。
【0101】
次に、ユーザ端末２０Ａ（配置手段２２０）は、テキストボックス５６にメッセージを入力して、［送信］ボタン５７を押下する操作を操作装置４２を通じて受け付けるまで（Ｓ７４：Ｎｏ）、ステップＳ７５の処理の実行を待機する。そして、ユーザ端末２０Ａ（配置手段２２０）は、［送信］ボタン５７を押下する操作を受け付けた場合に（Ｓ７４：Ｙｅｓ）、テキストボックス５６に入力されたメッセージ“お薦め商品を教えて下さい。”と、他人アバター５３に対応するユーザ端末２０Ｃの端末ＩＤ“ＴＥＲＭ－Ｃ”とを含むアバターデータを、通信ネットワーク２を通じてサーバ１０に送信する（Ｓ７５）。また、サーバ１０（アバター同期手段１１０）は、端末ＩＤを含むアバターデータを受信した場合に、当該端末ＩＤ“ＴＥＲＭ－Ｃ”で識別されるユーザ端末２０Ｃのみに、当該アバターデータを送信（中継）する。
【0102】
一方、ユーザ端末２０Ａ（画像表示手段２５０）は、操作可能フラグに第２値“ＯＦＦ”が設定されていると判定した場合に（Ｓ７３：Ｎｏ）、ステップＳ７４－Ｓ７５の処理をスキップする。すなわち、図２２（Ａ）に示すように、テキストボックス５６及び［送信］ボタン５７がモニタ３１に表示されず、ユーザ端末２０Ｃにメッセージを送信することができない。
【0103】
図１８に戻って、ユーザ端末２０Ｃ（画像表示手段２５０）は、メッセージを含むアバターデータをサーバ１０から受信した場合に（Ｓ６６：Ｙｅｓ）、ユーザ端末２０Ａのアバターに対応付けてメッセージを出力する（Ｓ６７）。そして、ユーザ端末２０Ｃ（配置手段２２０）は、返信メッセージを入力する操作を操作装置４２を通じて受け付けるまで（Ｓ６８：Ｎｏ）、ステップＳ６９の処理の実行を待機する。次に、ユーザ端末２０Ｃ（配置手段２２０）は、返信メッセージが入力された場合に（Ｓ６８：Ｙｅｓ）、当該返信メッセージ及びユーザ端末２０Ａの端末ＩＤ“ＴＥＲＭ－Ａ”を含むアバターデータを、通信ネットワーク２を通じてサーバ１０に送信する（Ｓ６９）。ステップＳ６７－Ｓ６９の処理は、ステップＳ７２、Ｓ７４－Ｓ７５と共通する。
【0104】
そして、ユーザ端末２０Ａで実行されるステップＳ７２、Ｓ７４－Ｓ７５の処理と、ユーザ端末２０Ｃで実行されるステップＳ６７－Ｓ６９の処理とが繰り返されることによって、ユーザ端末２０Ａのユーザと、ユーザ端末２０Ｃのユーザ（すなわち、商店のスタッフ）との間に、仮想空間９０を通じたコミュニケーションが成立する。
【0105】
図２０に戻って、ユーザ端末２０Ａ（画像表示手段２５０）は、図２１（Ａ）に示すモブキャラ５４を選択する操作を操作装置４２を通じて受け付けた場合に（Ｓ７６：Ｙｅｓ）、図２２（Ｂ）に示すように、モブキャラデータに含まれるメッセージ“子供連れでも入りやすいお店です。”を出力する（Ｓ７７）。図２２（Ｂ）の例では、モブキャラ５４から出た吹き出しにテキスト形式のメッセージを表示している。他の例として、ユーザ端末２０Ａは、音声形式のメッセージをスピーカ３６から出力してもよい。
【0106】
［実施例２の作用効果］
実施例２によれば、他人アバター５３が商店のスタッフによって操作可能か否かを、他人アバター５３の表示態様によってユーザ端末２０Ａのユーザに報せることができる。これにより、他人アバター５３にメッセージを送っても（他人アバター５３に話しかけても）返信がないことによるユーザ端末２０Ａのユーザのストレスを軽減することができる。換言すれば、商店において、他人アバター５３を常に操作可能な状態にするために、ユーザ端末２０Ｃの傍にスタッフを常駐させておく必要がない。
実施例２によれば、他人アバター５３が商店のスタッフによって操作可能か否かを、他人アバター５３の表示態様によってユーザ端末２０Ａのユーザに報せることができる。これにより、他人アバター５３にメッセージを送っても（他人アバター５３に話しかけても）返信がないことによるユーザ端末２０Ａのユーザのストレスを軽減することができる。換言すれば、商店において、他人アバター５３を常に操作可能な状態にするために、ユーザ端末２０Ｃの傍にスタッフを常駐させておく必要がない。
【0107】
また、実施例２によれば、属性に対応付けて予め登録されたメッセージを、モブキャラ５４を通じてユーザ端末２０Ａのユーザに報せることができる。これにより、例えば、商店をアピールするメッセージを登録しておけば、ユーザ端末２０Ａのユーザに、現実の商店に行くモチベーションを与えることができる。なお、モブキャラ５４に対応付けるメッセージは、サーバ１０のストレージ１３に予め記憶されていることに限定されず、ＡＩ機能を用いて自動で作成されてもよいし、インターネット上の口コミサイトの評価の高い口コミを引用してもよい。
【0108】
［その他の実施形態］
なお、本発明では、仮想空間９０内に配置するモブキャラの数によって、現実空間にいる人の混み具合をユーザ端末２０Ａのユーザに推測させることができれば、検知装置３で検知された人と、仮想空間９０内に配置するモブキャラとを一対一で対応させる必要はない。より詳細には、検知装置３によって検知された人の数と、仮想空間９０内に配置されるモブキャラの数とは、正の相関があれば同一でなくてもよい。すなわち、配置手段２２０は、検知装置３の検知結果（例えば、人の数、密度など）に基づく数のモブキャラを仮想空間９０に配置すればよい。より詳細には、配置手段２２０は、検知装置３によって検知された人に対応するモブキャラを仮想空間９０に配置すればよい。
なお、本発明では、仮想空間９０内に配置するモブキャラの数によって、現実空間にいる人の混み具合をユーザ端末２０Ａのユーザに推測させることができれば、検知装置３で検知された人と、仮想空間９０内に配置するモブキャラとを一対一で対応させる必要はない。より詳細には、検知装置３によって検知された人の数と、仮想空間９０内に配置されるモブキャラの数とは、正の相関があれば同一でなくてもよい。すなわち、配置手段２２０は、検知装置３の検知結果（例えば、人の数、密度など）に基づく数のモブキャラを仮想空間９０に配置すればよい。より詳細には、配置手段２２０は、検知装置３によって検知された人に対応するモブキャラを仮想空間９０に配置すればよい。
【0109】
また、配置手段２２０が仮想空間９０に配置するオブジェクトは、現実空間に出入りする人に対応するモブキャラ（非ユーザキャラクタ）に限定されない。オブジェクトの他の例として、乗り物（自動車、船舶、航空機）、動物、植物、商品、展示物など、現実空間に対して出入りする可能性のある物に対応するものでもよい。さらに、仮想空間９０に配置されるオブジェクトは、１種類に限定されず、複数種類でもよい。
【0110】
一例として、道路や駐車場を含む仮想空間９０に、現実空間の車に対応するオブジェクトを配置することによって、ユーザ端末２０Ａのユーザは、仮想空間９０を通じて渋滞状況や駐車場の空き状況を認識できる。他の例として、動物園や公園を含む仮想空間９０に、現実空間の動物に対応するオブジェクト及び入園者に対応するモブキャラを配置することによって、ユーザ端末２０Ａのユーザは、仮想空間９０を通じて動物がよく見える場所を認識できる。
【0111】
また、本発明に係るプログラムは、単一のプログラムに限定されず、複数のプログラムの集合体でもよい。また、本発明に係るプログラムは、単一の装置で実行されるものに限定されず、複数の装置で分担して実行されてもよい。さらに、サーバ１０及びユーザ端末２０の役割分担は、前述の例に限定されない。すなわち、サーバ１０の処理の一部がユーザ端末２０によって実行されてもよいし、ユーザ端末２０の処理の一部がサーバ１０によって実行されてもよい。
【0112】
さらに、プログラムによって実現される各手段の一部または全部は、集積回路などのハードウェアで実現することもできる。さらに、プログラムは、コンピュータによって読み出し可能な非一過性の記録媒体に記録されて提供されてもよい。記録媒体とは、例えば、ハードディスク、ＳＤカード、ＤＶＤの他、インターネット上のサーバ等を指す。
【符号の説明】
【0113】
１…システム、２…通信ネットワーク、３…検知装置、１０…サーバ、１１，２１…プロセッサ、１２，２２…メモリ、１３，２３…ストレージ、１３Ｐ…サーバプログラム、１４，２４…入出力インタフェース、１５，２５…通信インタフェース、１９，２９…通信バス、２０…ユーザ端末、２３Ｐ…端末プログラム、２６…コンピュータ、３０…ＨＭＤ、３１…モニタ、３２…注視センサ、３３，３４…カメラ、３５…マイク、３６…スピーカ、４１…動きセンサ、４２…操作装置、５０…本人アバター、５１，５３…他人アバター、５２，５４…モブキャラ、５５…ポインタ、５６…テキストボックス、５７…［送信］ボタン、９０…仮想空間、９１…パノラマ画像、９２…仮想カメラ、９３…基準視線、９４…視界領域、９５，９６…領域、９７…仮想空間画像、９８…トグルスイッチ、１１０…アバター同期手段、１２０…人抽出手段、１３０…モブキャラ生成手段、２１０…仮想空間定義手段、２２０…配置手段、２３０…カメラ移動手段、２４０…画像生成手段、２５０…画像表示手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【手続補正書】
【提出日】2023-06-27
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
前記課題を解決するため、本発明に係るプログラムは、コンピュータを、現実空間に対応する仮想空間を定義する仮想空間定義手段と、前記現実空間に設置された検知装置の検知結果に基づく数のオブジェクトを、前記仮想空間内に配置する配置手段と、仮想カメラで前記仮想空間内を撮像した仮想空間画像を生成する画像生成手段と、前記仮想空間画像を第１ユーザ端末に表示させる画像表示手段として機能させ、前記画像生成手段は、前記第１ユーザ端末に対して実行された前記オブジェクトの選択操作に基づいて、前記検知装置によって検知された属性に対応付けて予め登録されたメッセージを、選択された前記オブジェクトを通じて出力する。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを、
現実空間に対応する仮想空間を定義する仮想空間定義手段と、
前記現実空間に設置された検知装置の検知結果に基づく数のオブジェクトを、前記仮想空間内に配置する配置手段と、
仮想カメラで前記仮想空間内を撮像した仮想空間画像を生成する画像生成手段と、
前記仮想空間画像を第１ユーザ端末に表示させる画像表示手段として機能させ、
前記画像生成手段は、前記第１ユーザ端末に対して実行された前記オブジェクトの選択操作に基づいて、前記検知装置によって検知された属性に対応付けて予め登録されたメッセージを、選択された前記オブジェクトを通じて出力する、プログラム。
現実空間に対応する仮想空間を定義する仮想空間定義手段と、
前記現実空間に設置された検知装置の検知結果に基づく数のオブジェクトを、前記仮想空間内に配置する配置手段と、
仮想カメラで前記仮想空間内を撮像した仮想空間画像を生成する画像生成手段と、
前記仮想空間画像を第１ユーザ端末に表示させる画像表示手段として機能させ、
前記画像生成手段は、前記第１ユーザ端末に対して実行された前記オブジェクトの選択操作に基づいて、前記検知装置によって検知された属性に対応付けて予め登録されたメッセージを、選択された前記オブジェクトを通じて出力する、プログラム。
【請求項2】
請求項１に記載のプログラムにおいて、
前記配置手段は、前記検知装置によって検知された属性に対応する態様の前記オブジェクトを、前記仮想空間内に配置する、プログラム。
前記配置手段は、前記検知装置によって検知された属性に対応する態様の前記オブジェクトを、前記仮想空間内に配置する、プログラム。
【請求項3】
請求項１に記載のプログラムにおいて、
前記配置手段は、前記検知装置によって検知された人に対応する非ユーザキャラクタを、前記オブジェクトとして前記仮想空間内に配置する、プログラム。
前記配置手段は、前記検知装置によって検知された人に対応する非ユーザキャラクタを、前記オブジェクトとして前記仮想空間内に配置する、プログラム。
【請求項4】
請求項３に記載のプログラムにおいて、
前記画像生成手段は、
前記第１ユーザ端末に対して実行された表示操作に基づいて、前記仮想カメラの画角に含まれる前記非ユーザキャラクタを含む前記仮想空間画像を生成し、
前記第１ユーザ端末に対して実行された非表示操作に基づいて、前記仮想カメラの画角に含まれる前記非ユーザキャラクタを含まない前記仮想空間画像を生成する、プログラム。
前記画像生成手段は、
前記第１ユーザ端末に対して実行された表示操作に基づいて、前記仮想カメラの画角に含まれる前記非ユーザキャラクタを含む前記仮想空間画像を生成し、
前記第１ユーザ端末に対して実行された非表示操作に基づいて、前記仮想カメラの画角に含まれる前記非ユーザキャラクタを含まない前記仮想空間画像を生成する、プログラム。
【請求項5】
コンピュータを、
現実空間に対応する仮想空間を定義する仮想空間定義手段と、
前記現実空間に設置された検知装置の検知結果に基づく数のオブジェクトを、前記仮想空間内に配置する配置手段と、
第１ユーザ端末に対して実行された移動操作に基づいて、前記仮想空間内で仮想カメラを移動させるカメラ移動手段と、
前記仮想カメラで前記仮想空間内を撮像した仮想空間画像を生成する画像生成手段と、
前記仮想空間画像を前記第１ユーザ端末に表示させる画像表示手段として機能させ、
前記配置手段は、
前記検知装置によって検知された人に対応する非ユーザキャラクタを、前記オブジェクトとして前記仮想空間内に配置し、
第２ユーザ端末を通じて操作されるユーザキャラクタを前記仮想空間内に配置し、
前記画像生成手段は、
前記仮想カメラの画角に含まれる前記ユーザキャラクタ及び前記非ユーザキャラクタのうち、前記仮想カメラからの距離が閾値距離未満の前記ユーザキャラクタ及び前記非ユーザキャラクタを、異なる表示態様で前記仮想空間画像に含め、
前記仮想カメラからの距離が前記閾値距離以上の前記ユーザキャラクタ及び前記非ユーザキャラクタを、共通の表示態様で前記仮想空間画像に含める、プログラム。
現実空間に対応する仮想空間を定義する仮想空間定義手段と、
前記現実空間に設置された検知装置の検知結果に基づく数のオブジェクトを、前記仮想空間内に配置する配置手段と、
第１ユーザ端末に対して実行された移動操作に基づいて、前記仮想空間内で仮想カメラを移動させるカメラ移動手段と、
前記仮想カメラで前記仮想空間内を撮像した仮想空間画像を生成する画像生成手段と、
前記仮想空間画像を前記第１ユーザ端末に表示させる画像表示手段として機能させ、
前記配置手段は、
前記検知装置によって検知された人に対応する非ユーザキャラクタを、前記オブジェクトとして前記仮想空間内に配置し、
第２ユーザ端末を通じて操作されるユーザキャラクタを前記仮想空間内に配置し、
前記画像生成手段は、
前記仮想カメラの画角に含まれる前記ユーザキャラクタ及び前記非ユーザキャラクタのうち、前記仮想カメラからの距離が閾値距離未満の前記ユーザキャラクタ及び前記非ユーザキャラクタを、異なる表示態様で前記仮想空間画像に含め、
前記仮想カメラからの距離が前記閾値距離以上の前記ユーザキャラクタ及び前記非ユーザキャラクタを、共通の表示態様で前記仮想空間画像に含める、プログラム。