(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-20
(45)【発行日】2024-10-01
(54)【発明の名称】仮想空間提供システム、仮想空間提供方法及びプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240924BHJP
G06F 3/01 20060101ALI20240924BHJP
【FI】
G06T19/00 300B
G06F3/01 510
(21)【出願番号】P 2022166101
(22)【出願日】2022-10-17
(62)【分割の表示】P 2018246652の分割
【原出願日】2018-12-28
【審査請求日】2022-11-10
(73)【特許権者】
【識別番号】000139780
【氏名又は名称】株式会社イトーキ
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】福山 春夫
(72)【発明者】
【氏名】新居 貴志
(72)【発明者】
【氏名】小笠原 豊
(72)【発明者】
【氏名】古田 裕介
(72)【発明者】
【氏名】伊藤 武仙
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開2002-305758(JP,A)
【文献】国際公開第2015/159561(WO,A1)
【文献】特開2005-031745(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06T 17/00 -19/20
G06F 3/01
G06F 3/048- 3/04895
(57)【特許請求の範囲】
【請求項1】
1又は複数のユーザが
頭部に装着して使用する機器の映像出力部において映像出力される仮想空間を提供する仮想空間提供システムであって、
前記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部と、
仮想空間に前記キャラクタを配置するキャラクタ配置部と、
を備え、
前記キャラクタ配置部は、
前記ユーザが頭部に装着して使用する機器に設けられたカメラによって、現実空間の所定の範囲に含まれる特定対象物を撮像することにより取得された画像情報に基づいて、前記現実空間における前記特定対象物の配置位置に対応する前記仮想空間の位置に、前記特定対象物に関連付けられた前記キャラクタを配置し、
前記ユーザは、人間であり、
前記キャラクタは、前記キャラクタに関連付けられたユーザを撮像することにより取得した画像情報、及び、前記キャラクタに関連付けられたユーザを模したアバターの少なくとも一つを含む、
仮想空間提供システム。
【請求項2】
前記キャラクタごとに、当該キャラクタの前記仮想空間における配置位置に関する配置位置情報を記録する記録部を更に備え、
前記キャラクタ配置部は、前記配置位置情報に基づいて、前記キャラクタを前記仮想空間における前記配置位置に配置する、
請求項1に記載の仮想空間提供システム。
【請求項3】
前記仮想空間は、会議室オブジェクトを含み、
前記キャラクタ配置部は、前記会議室オブジェクトを前記キャラクタ間で共有するように当該キャラクタを前記仮想空間に配置する、
請求項1又は2に記載の仮想空間提供システム。
【請求項4】
1又は複数のユーザが
頭部に装着して使用する機器の映像出力部において映像出力される仮想空間を提供するコンピュータが実行する仮想空間提供であって、
前記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付けるステップと、
仮想空間に前記キャラクタを配置するステップと、
を含み、
前記キャラクタを配置するステップは、
前記ユーザが頭部に装着して使用する機器に設けられたカメラによって、現実空間の所定の範囲に含まれる特定対象物を撮像することにより取得された画像情報に基づいて、前記現実空間における前記特定対象物の配置位置に対応する前記仮想空間の位置に、前記特定対象物に関連付けられた前記キャラクタを配置し、
前記ユーザは、人間であり、
前記キャラクタは、前記キャラクタに関連付けられたユーザを撮像することにより取得した画像情報、及び、前記キャラクタに関連付けられたユーザを模したアバターの少なくとも一つを含む、
仮想空間提供方法。
【請求項5】
1又は複数のユーザが
頭部に装着して使用する機器の映像出力部において映像出力される仮想空間を提供するコンピュータを、
前記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部と、
仮想空間に前記キャラクタを配置するキャラクタ配置部と、
として機能させ、
前記キャラクタ配置部は、
前記ユーザが頭部に装着して使用する機器に設けられたカメラによって、現実空間の所定の範囲に含まれる特定対象物を撮像することにより取得された画像情報に基づいて、前記現実空間における前記特定対象物の配置位置に対応する前記仮想空間の位置に、前記特定対象物に関連付けられた前記キャラクタを配置し、
前記ユーザは、人間であり、
前記キャラクタは、前記キャラクタに関連付けられたユーザを撮像することにより取得した画像情報、及び、前記キャラクタに関連付けられたユーザを模したアバターの少なくとも一つを含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、1又は複数のユーザに対して仮想空間を提供する仮想空間提供システム、仮
想空間提供方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、端末のディスプレイにおいて、仮想空間内に設けられた擬似的なプロ
ジェクタと、仮想空間内を探索するユーザAのキャラクタとユーザBのキャラクタが表示
される技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、仮想空間において、ユーザに関連付けられたキャラクタを適切に所定の位置に
配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタに正確に反
映させたいという要請がある。しかしながら、特許文献1に記載された従来技術では、こ
のような要請に対して十分に応えることができなかった。
【0005】
そこで、本開示は、仮想空間において、ユーザに関連付けられたキャラクタを適切に所
定の位置に配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタ
に正確に反映することが可能な仮想空間提供技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る仮想空間提供システムは、1又は複数のユーザに対して仮想空間
を提供する仮想空間提供システムであって、ユーザのうち少なくとも一のユーザに対して
キャラクタを関連付ける関連付け部と、仮想空間にキャラクタを配置するキャラクタ配置
部と、ユーザの表現に関する表現情報を取得する取得部と、取得した表現情報に基づいて
、仮想空間に配置されたキャラクタであって、表現情報に対応付けられたユーザに関連付
けられたキャラクタに表現情報に基づく表現を反映する反映部と、を備える。
【0007】
本発明の一態様に係る仮想空間提供方法は、1又は複数のユーザに対して仮想空間を提
供するコンピュータが実行する仮想空間提供であって、ユーザのうち少なくとも一のユー
ザに対してキャラクタを関連付けるステップと、仮想空間にキャラクタを配置するステッ
プと、ユーザの表現に関する表現情報を取得するステップと、取得した表現情報に基づい
て、仮想空間に配置されたキャラクタであって、表現情報に対応付けられたユーザに関連
付けられたキャラクタに表現情報に基づく表現を反映するステップと、を含む。
【0008】
本発明の一態様に係るプログラムは、1又は複数のユーザに対して仮想空間を提供する
コンピュータを、記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける
関連付け部と、仮想空間にキャラクタを配置するキャラクタ配置部と、ユーザの表現に関
する表現情報を取得する取得部と、取得した表現情報に基づいて、仮想空間に配置された
キャラクタであって、表現情報に対応付けられたユーザに関連付けられたキャラクタに表
現情報に基づく表現を反映する反映部と、して機能させる。
【0009】
なお、本発明において、「部」、「装置」とは、単に物理的手段を意味するものではな
く、その「部」、「装置」」が有する機能をソフトウェアによって実現する場合も含む。
また、1つの「部」、「装置」が有する機能が2つ以上の物理的手段や装置により実現さ
れても、2つ以上の「部」、「装置」の機能が1つの物理的手段や装置により実現されて
もよい。
【発明の効果】
【0010】
本発明の上記態様によれば、ユーザに関連付けられたキャラクタを適切に所定の位置に
配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタに正確に反
映することができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施形態に係る仮想空間提供システムの概略構成図である。
【
図2】本発明の実施形態に係るコンピュータ及び管理サーバの概略構成図である。
【
図3】本発明の実施形態に係るコンピュータの機能的構成の一例を示す概略構成図である。
【
図4】本発明の実施形態に係る仮想空間の一例を示す概念的に示した図である。
【
図5】本発明の実施形態に係る仮想空間提供処理の一例を示すフローチャートである。
【
図6】本発明の実施形態に係る会議室の一例を示す図である。
【
図7】本発明の実施形態に係るHMDで表示される視界画像の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形
態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図
はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形(各実施例を組み合わせ
る等)して実施することができる。また、以下の図面の記載において、同一又は類似の部
分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実
際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異な
る部分が含まれていることがある。
【0013】
図1は、本発明の実施形態に係る仮想空間提供システム100の全体構成を示すブロッ
ク図である。
図1に示すように、仮想空間提供システム100は、例示的に、コンピュー
タ1a,1b,1cと、ユーザUaが用いるHMD(
Head-
Mounted
Dev
ice)3と、ユーザUb,Ucが用いるカメラ5b,5cと、管理サーバ7と、を備え
る。
【0014】
なお、
図1中には、3台のコンピュータとして、コンピュータ1a~1cを図示してい
る。ただし、以下の説明において、これら3台のコンピュータを区別することなく説明す
る場合には、符号を一部省略して、単に「コンピュータ1」と呼ぶ。さらに、2台のカメ
ラとして、カメラ5b及び5cを図示している。ただし、以下の説明において、これら2
台のカメラを区別することなく説明する場合には、符号を一部省略して、単に「カメラ5
」と呼ぶ。さらにまた、3人のユーザとして、ユーザUa~Ucを図示している。ただし
、以下の説明において、これら3人のユーザを区別することなく説明する場合には、符号
を一部省略して、単に「ユーザU」と呼ぶ。またさらに、コンピュータ1、HMD3、カ
メラ5、及び管理サーバ7の各構成の台数には特に制限はない。
【0015】
コンピュータ1は、1又は複数のユーザUに対して仮想空間を提供する。コンピュータ
1は、ネットワークNを介して互いに通信可能に接続される。コンピュータ1は、ネット
ワークNを介して管理サーバ7と通信可能に接続されている。なお、ネットワークNは、
例えば、インターネット、携帯電話網といったネットワーク、LAN(
Local
Ar
ea
Network)、あるいはこれらを組み合わせたネットワークにより実現される
。また、
図1に示す例において、コンピュータ1aは、HMD3の外部に配置されている
が、この構成に限られず、コンピュータ1aは、HMD3に内蔵されてもよい。同様に、
コンピュータ1bは、カメラ5bに内蔵されてもよいし、コンピュータ1cは、カメラ5
cに内蔵されてもよい。
【0016】
HMD3は、例えば、ユーザUaの頭部に装着され、ユーザUaの頭部の動きに応じて
仮想空間と、仮想空間に基づく視界画像9aと、を提供する。HMD3は、ディスプレイ
(不図示)を備え、ディスプレイは、コンピュータ1aから送信される画像情報又はテキス
ト情報等をモニタに表示可能である。ディスプレイは、ユーザUaの目の前方に位置する
ように配置される。ディスプレイは、例えば、非透過型の表示装置であり、仮想空間を視
界画像9a(例えば3次元画像)として表示可能である。なお、ディスプレイは、液晶デ
ィスプレイ又は有機EL(Electro Luminescence)ディスプレイを
含む。また、ディスプレイは、透過型又は半透過型の表示装置を含んでもよい。ディスプ
レイは、仮想空間を示す画像の少なくとも一部、及び、HMD3に備えられたカメラで撮
像した現実空間の所定範囲を同時に表示してもよい。
【0017】
HMD3は、コンピュータ1aから送信される音声情報をスピーカ(不図示)から音声と
して出力可能である。また、HMD3は、ユーザUaの音声を取得し、コンピュータ1a
に出力するマイク(不図示)を備えてもよい。
【0018】
カメラ5は、現実空間の所定の範囲を撮像する。例えば、カメラ5bは、ユーザUbを
含む所定の範囲を撮像し、カメラ5cは、ユーザUcを含む所定の範囲を撮像する。カメ
ラ5b,5cは、撮像することにより取得される3D情報をコンピュータ1b,1cに送
信する。また、カメラ5は、ユーザUb,Ucの音声を取得するマイク(不図示)の機能
を更に備える。さらに、カメラ5は、コンピュータ1aから送信されるユーザUaに対応
する音声情報に基づいて音声を出力するスピーカ(不図示)を備えてもよい。
【0019】
管理サーバ7は、例えば、コンピュータ1に1又は複数のユーザUに対して仮想空間を
提供するためのプログラムを送信する。例えば、ユーザUaが滞在する所定のエリアA1
において、複数のユーザが参加する会議を行なう場合、各コンピュータ1は、ユーザUの
それぞれの表現に関する表現情報を、管理サーバ7を介して他のコンピュータ1と通信し
て、共通の仮想空間において複数のユーザUが同一の会議を行うことを可能にする。
【0020】
「表現情報」とは、ユーザUの感情や思想を態度や言語等で示す情報を含む。表現情報
は、例えば、ユーザUの動作(動き)又は音声の少なくとも一方を含む。表現情報は、ユ
ーザUが用いる不図示の入力装置に入力した画像情報、テキスト情報、又は音声情報を含
んでもよい。また、表現情報は、ユーザUの近傍にある不図示のホワイトボード又は紙に
記述した内容をカメラ等で取得した画像情報等を含んでもよい。
【0021】
なお、各コンピュータ1は、各ユーザUの表現に関する表現情報を、管理サーバ600
を介すことなく他のコンピュータ200と通信するようにしてもよい。なお、管理サーバ
7は、例えば、1つ又は複数のサーバ装置により実現される。
【0022】
ここで、本実施形態における仮想空間提供システム100の概要を説明する。
図1に示
すHMD3がユーザUaに仮想空間と当該仮想空間に基づく視界画像9aを提供する。視
界画像9aは、HMD3のディスプレイ(不図示)に表示される画像である。視界画像9
aは、コンピュータ1aにより生成された画像である。コンピュータ1aは、コンピュー
タ1bからユーザUbの表現情報を取得し、また、コンピュータ1cからユーザUcの表
現情報を取得する。コンピュータ1aは、仮想空間を定義し、仮想空間に配置される、ユ
ーザUbに関連付けられたキャラクタCb及びユーザUcに関連付けられたキャラクタC
cを当該仮想空間に配置する。「キャラクタ」は、例えば、人物や動物などを含む。キャ
ラクタは、例えば、ユーザUb,Ucを模した、又は、ユーザUb,Ucに対応した人型
の物体を示す画像であってもよい。
【0023】
コンピュータ1aは、取得した表現情報を踏まえて、ユーザUb,Ucの表現が反映さ
れた視界画像9aを生成する。つまり、ユーザUb,Ucの表現が変化するたびに視界画
像を生成する。なお、コンピュータ1aは、表現情報が音声情報を含む場合は、当該音声
情報を踏まえて、HMD3から、ユーザUb,Ucに対応する音声を出力するための音声
出力情報を生成してもよい。
【0024】
ユーザUaは仮想空間において、キャラクタCb,Ccと対話による通信(コミュニケ
ーション)を図ることができる。例えば、カメラ5bのマイクで取得されたユーザUbの
音声は、コンピュータ1bを介して、HMD3が備えるスピーカから出力される。カメラ
5cのマイクで取得されたユーザUcの音声は、コンピュータ1cを介して、HMD3が
備えるスピーカから出力される。また、HMD3に備えられたマイクは、ユーザUaの音
声を取得し、音声情報としてコンピュータ1bに送信し、カメラ5bに備えられたスピー
カによりユーザUaの音声が出力されてもよい。これにより、ユーザUbは、ユーザUa
の音声を聞くことができる。さらに、HMD3に備えられたマイクは、ユーザUaの音声
を取得し、音声情報としてコンピュータ1cに送信し、カメラ5cに備えられたスピーカ
によりユーザUaの音声が出力されてもよい。これにより、ユーザUcは、ユーザUaの
音声を聞くことができる。
【0025】
図2は、本発明の実施形態に係るコンピュータ1のハードウェアの構成と、管理サーバ
7のハードウェアの構成とを示すブロック図である。なお、図中では、コンピュータ1の
ハードウェアに対応する符号には括弧を付すことなく記載し、管理サーバ7のハードウェ
アに対応する符号には括弧を付して記載する。
【0026】
コンピュータ1は、例示的に、CPU(Central Processing Un
it)11と、ROM(Read Only Memory)及びRAM(Random
Access Memory)等からなるメモリ12と、入力部13と、出力部14と
、記録部15と、通信部16と、バス17と、を備えている。
【0027】
CPU11は、メモリ12に記録されているプログラム、又は、記録部15からメモリ
12にロードされたプログラムにしたがって各種の処理を実行する。
【0028】
メモリ12には、CPU11が各種の処理を実行する上において必要なデータ等も適宜
記憶される。CPU11及びメモリ12は、バス17を介して相互に接続されている。ま
た、このバス17には、入力部13と、出力部14と、記録部15と、通信部16と、が
接続されている。
【0029】
入力部13は、コンピュータ1を操作する者(例えば、ユーザUa)の指示操作に応じ
て各種情報を入力する。入力部13は、例えば、各種ボタン、タッチパネルあるいはマイ
ク等で構成される。なお、入力部13は、コンピュータ1の他の各部を収容する本体とは
独立した、キーボードやマウス等の入力装置により実現してもよい。
【0030】
出力部14は、画像データや音声データを出力する。出力部14は、例えば、ディスプ
レイやスピーカ等で構成される。出力部14が出力した画像データや音声データは、ディ
スプレイやスピーカ等から、画像や音楽としてプレイヤが認識可能に出力される。
【0031】
記録部15は、各種データを記憶する。記録部15は、例えば、DRAM(Dynam
ic Random Access Memory)等の半導体メモリで構成される。
【0032】
通信部16は、他の装置との間で行う通信を実現する。例えば、通信部16は、ネット
ワークNを介して、他のコンピュータ1b,1cや管理サーバ7との間で相互に通信を行
う。
【0033】
なお、コンピュータ1には、不図示であるがドライブを必要に応じて適宜設けられる。
ドライブには、例えば、磁気ディスク、光ディスク、光磁気ディスク等から構成されるリ
ムーバブルメディアが適宜装着されてもよい。ドライブによってリムーバブルメディアか
ら読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記録部15
にインストールされる。
【0034】
管理サーバ7のハードウェアの構成について説明をする。管理サーバ7は、
図2に示す
ように、例示的に、CPU71と、メモリ72と、入力部73と、出力部74と、記録部
75と、通信部76と、バス77と、を備えている。これら各部は、上述のコンピュータ
1が備える、符号のみが異なる同名の各部と同等の機能を有している。
【0035】
図3は、本発明の実施形態に係るコンピュータ1の機能的構成の一例を示すブロック図
である。コンピュータ1は、例示的に、1又は複数のユーザUに対して仮想空間を提供す
るための処理を実行する情報処理部111と、当該処理を実行するために必要な各種情報
及び当該処理の結果に関する情報を記録するデータベース(DB)112と、を備えて構
成される。なお、情報処理部111は、例えば、
図2に示すメモリ12や記録部15に格
納されているプログラムをCPU11が実行したりすることにより実現することができる
。データベース112は、例えば、
図2に示す記録部15に対応する。
【0036】
情報処理部111は、機能的に、ユーザのうち少なくとも一のユーザに対してキャラク
タを関連付ける関連付け部113と、仮想空間にキャラクタを配置するキャラクタ配置部
114と、ユーザの表現に関する表現情報を取得する取得部115と、取得した表現情報
に基づいて、仮想空間に配置されたキャラクタであって、当該表現情報に対応付けられた
ユーザに関連付けられたキャラクタに当該表現情報に基づく表現を反映する反映部116
と、を備える。上記各機能の詳細については、後述する。
【0037】
情報処理部111は、視界画像生成部16を更に備える。視界画像生成部16は、仮想
空間データに基づいて、仮想空間を定義する。
【0038】
図4は、本発明の実施形態に係る仮想空間の一例を示す概念的に示した図である。
図4
に示すように、視界画像生成部16が定義する仮想空間50は、例えば、中心点CPを基
準とする半球を含む。仮想空間50においては、中心点CPを原点とするXYZ座標系が
定義される。例えば、
図1に示すHMD3の起動時において、仮想カメラ60(例えば、
HMDが備えるカメラに相当する)が、仮想空間50の中心点CPに配置される。この仮
想カメラ60が撮像することによって取得される画像情報に基づいて画像をHMD3のデ
ィスプレイに表示する。仮想カメラ60は、
図1に示すように、現実空間においてユーザ
Uaの頭部に装着されたHMD3の動き(位置及び傾きの変化)に応じて移動可能である
。つまり、現実空間におけるHMD3の動きに対応するように、仮想空間50における仮
想カメラ60が動く。
【0039】
ここで、仮想カメラ60の位置は、仮想空間50におけるユーザの視点に対応する。視
界画像生成部16は、仮想カメラ60に基づく基準視線SGに基づいて、仮想空間50に
おける視界領域80を規定する。例えば、視界領域80は、仮想空間50のうち、HMD
3を装着したユーザUaが視認する領域に対応する。
【0040】
このように、視界画像生成部16は、例えば、仮想カメラ60を仮想空間50において
中心点CPに配置し、仮想カメラ60の視線(基準視線SG)をユーザが向いている方向
に設定する。よって、視界画像生成部16は、視界画像9を生成するための視界画像デー
タを生成する。その後、視界画像生成部16は、HMD3の動きが変化すると、その変化
に応じた新たな視界画像を生成するための視界画像データを生成する。
【0041】
図3に戻り、DB112は、例示的に、空間情報SIと、キャラクタ情報CIと、表現
情報EIと、オブジェクト情報OIと、特定画像情報GIと、を記録する。DB112に
おいては、ユーザに関する情報に基づいて、ユーザごとに上記各種情報を関連づけて記録
してもよい。
【0042】
空間情報SIは、
図4に示す仮想空間50を定義するための1つ以上の仮想空間データ
テンプレートを含む。
【0043】
キャラクタ情報CIは、仮想空間に配置されるキャラクタに関する情報である。キャラ
クタ情報CIは、キャラクタに関連付けられたユーザを撮像することにより取得した画像
情報、又は、キャラクタに関連付けられたユーザに基づくアバターの少なくとも一方を含
む。アバターは、1又は複数の種類のアバター(例えば、動物を模した画像や、デフォル
メされた人の画像)であってもよい。また、キャラクタ情報CIは、キャラクタを仮想空
間に配置するための情報(例えば、位置情報等)を含む。
【0044】
オブジェクト情報OIは、仮想空間に配置されるオブジェクトに関する情報である。オ
ブジェクト情報OIは、室内又は室外の風景を示す情報である。オブジェクト情報OIは
、例えば、会議室等の室内風景を含む。また、オブジェクト情報OIは、例えば森、山そ
の他を含む風景、街並み、動物等を含む。また、オブジェクト情報OIは、仮想空間に配
置するための情報(例えば、位置情報等)を含む。
【0045】
特定画像情報は、例えば、椅子やテーブル等の什器に付されたマーカを示す画像情報を
含む。マーカは、マトリックス型2次元コードであるQR(Quick Respons
e)コード(登録商標)コードを含む。しかしながら、マーカは、QRコードに限定され
ず、1次元コードや任意のマーカを用いてもよい。なお、任意のマーカは、特定形状のマ
ーカ、例えば、星型形状のような多角形状のマーカを含んでもよい。また、人物の顔の形
状または大きさの少なくとも一方をマーカとして利用してもよい。
【0046】
また、特定画像は、什器自体を撮像することにより取得される画像を含んでもよい。
【0047】
<仮想空間提供処理>
図5~
図7を参照して本発明の実施形態に係る仮想空間提供処理の一例を説明する。図
5は、本発明の実施形態に係る仮想空間提供処理の一例を示すフローチャートである。
【0048】
(ステップS1)
図3に示すコンピュータ1の関連付け部113は、1又は複数のユーザのうち少なくと
も一のユーザに対してキャラクタを関連付ける。
図1の例を参照すると、関連付け部11
3は、
図3に示すキャラクタ情報CIに基づいて、例えば、ユーザUbに対してキャラク
タCbを、ユーザUcに対してキャラクタCcを関連付ける。
【0049】
(ステップS3)
図3に示すコンピュータ1のキャラクタ配置部114は、仮想空間にキャラクタを配置
する。
【0050】
図6は、本発明の実施形態に係る現実空間における会議室の一例を示す図である。
図6
に示すように、各椅子C1,C3には、マーカMb,Mcが付されている。例えば、HM
D3が備えるカメラ(不図示)が、現実空間の所定の範囲に含まれるマーカMb,Mc(
特定対象物)を撮像することによって画像情報を取得する。HMD3は、画像情報を
図1
に示すコンピュータ1に送信する。そして、キャラクタ配置部114は、取得した画像情
報に基づいて、現実空間における特定対象物の配置位置に対応する仮想空間の位置に、特
定対象物に関連付けられたキャラクタを配置する。キャラクタ配置部114は、マーカに
対応する特定画像情報を取得すると、例えば、
図3に示すDB112に格納されたキャラ
クタ情報CI(例えば、予め、マーカごとにキャラクタ情報が関連付けられた情報テーブ
ル等)を参照することにより、現実空間に配置された各椅子C1,C3の位置に対応する
仮想空間の位置にキャラクタを配置する。
【0051】
また、HMD3が備えるカメラが、現実空間の所定の範囲に含まれる椅子C1,C3(
特定対象物)を撮像することによって画像情報を取得する。HMD3は、画像情報を
図1
に示すコンピュータ1に送信する。そして、キャラクタ配置部114は、取得した画像情
報に基づいて、現実空間における特定対象物の配置位置に対応する仮想空間の位置に、特
定対象物に関連付けられたキャラクタを配置する。キャラクタ配置部114は、椅子C1
,C3に対応する特定画像情報を取得すると、例えば、
図3に示すDB112に格納され
たキャラクタ情報CI(例えば、予め、椅子C1は社員Aに対応するキャラクタ情報が関
連付けられ、椅子C3には、社員Bに対応するキャラクタ情報が関連づけられた情報テー
ブル等)を参照することにより、現実空間に配置された椅子C1の位置に対応する仮想空
間の位置に社員Aキャラクタを配置し、椅子C3の位置に対応する仮想空間の位置に社員
Bキャラクタを配置する。
【0052】
上記構成によれば、取得した特定画像情報に基づいて、現実空間における特定対象物の
配置位置に対応する仮想空間の位置に、特定対象物に関連付けられたキャラクタを配置す
る。このように、予め記録された情報テーブルを参照することで、キャラクタを、仮想空
間上における所定の位置に、正確に、且つ、容易に配置できる。
【0053】
さらに、キャラクタ配置部114は、DB112に格納されている、キャラクタごとに
、当該キャラクタの仮想空間における配置位置に関する配置位置情報を参照することによ
り、キャラクタを仮想空間における配置位置に配置してもよい。
【0054】
この構成によれば、予め記録された、仮想空間におけるキャラクタの配置位置情報を参
照すればよいので、キャラクタを、仮想空間上における所定の位置により正確に、且つ、
容易に配置できる。
【0055】
(ステップS5)
図3に示すコンピュータ1aの取得部115は、
図1に示すユーザUb,Ucの表現に
関する表現情報を取得する。まず、
図1に示すカメラ5bは、ユーザUbを含む所定の範
囲を撮像することにより、ユーザUbの表現情報を含む3D画像情報を生成する。また、
カメラ5cは、ユーザUcを含む所定の範囲を撮像することにより、ユーザUcの表現情
報を含む3D画像情報を生成する。なお、表現情報と3D画像情報とは別個の情報であっ
てもよい。
カメラ5b,5cは、撮像することにより取得される3D画像情報をコンピュータ1b,
1cに送信する。また、カメラ5b,5cは、ユーザUb,Ucの音声を取得するマイク
の機能を更に備える。よって、カメラ5b,5cのそれぞれは、取得した音声を音声情報
としてコンピュータ1b,1cに送信する。そして、コンピュータ1aの取得部115は
、ネットワークNを介して、コンピュータ1b,1cからユーザUb,Ucの表現情報と
3D画像情報と音声情報とを取得し得る。取得部115は、上記各種情報を、定期的に、
又は、任意のタイミングで取得してもよい。例えば、カメラ5b,5cは、ユーザUb,
Ucの表現に変化が起きた場合に、情報を取得し、コンピュータ1b,1cに送信しても
よい。
【0056】
(ステップS7)
図3に示すコンピュータ1の反映部116は、表現情報に基づいて、仮想空間に配置さ
れたキャラクタであって、表現情報に対応付けられたユーザに関連付けられたキャラクタ
に表現情報に基づく表現を反映する。
【0057】
図7は、本発明の実施形態に係るヘッドマウントディスプレイで表示される視界画像の
一例を示す図である。
図7に示すように、仮想空間50は、会議室オブジェクトОを含み
、キャラクタ配置部114は、会議室オブジェクトОを、ユーザUbに関連付けられたキ
ャラクタCbとユーザUcに関連付けられたキャラクタCcとの間で共有するように当該
キャラクタを仮想空間50に配置する。反映部116は、取得した表現情報を踏まえて、
ユーザUb,Ucに対応づけられたキャラクタCb,Ccに表現情報に基づく表現を反映
する。視界画像生成部117は、ユーザUb,Ucの表現が反映されたキャラクタCb,
Ccを含む視界画像9aを生成する。なお、コンピュータ1aは、表現情報が音声情報を
含む場合は、当該音声情報を踏まえて、HMD3から、ユーザUb,Ucに対応する音声
を出力するための音声出力情報を生成してもよい。
【0058】
また、HMD3に備えられたマイクは、ユーザUaの音声を取得し、音声情報としてコ
ンピュータ1bに送信し、カメラ5bに備えられたスピーカによりユーザUaの音声が出
力されてもよい。これにより、ユーザUbは、ユーザUaの音声を聞くことができる。さ
らに、HMD3に備えられたマイクは、ユーザUaの音声を取得し、音声情報としてコン
ピュータ1cに送信し、カメラ5cに備えられたスピーカによりユーザUaの音声が出力
されてもよい。これにより、ユーザUcは、ユーザUaの音声を聞くことができる。
【0059】
このように、ユーザUaは、HMD3のディスプレイに表示される、ユーザUb,Uc
のそれぞれの表現の変化に応じてリアルタイムに生成又は更新される視界画像9bを視認
しながら、ユーザUa,Ub,Ucの3者が参加する仮想会議を実施することができる。
よって、当該仮想空間50は三者で共有される共有仮想空間と言える。なお、
図7の例で
は、仮想空間50においては、ユーザUaに対応するキャラクタは配置されていないが、
ユーザUaに対応するキャラクタを仮想空間50に配置してもよい。
【0060】
以上説明した実施形態によれば、取得したユーザの表現情報に基づいて、仮想空間に配
置されたキャラクタであって、当該表現情報に対応付けられたユーザに関連付けられたキ
ャラクタに当該表現情報に基づく表現を反映する。よって、ユーザに関連付けられたキャ
ラクタを適切に所定の位置に配置させ、且つ、ユーザによる表現を当該ユーザに関連付け
られたキャラクタに正確に反映することが可能である。
【0061】
(他の実施形態)
上記各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解
釈するものではない。本発明はその趣旨を逸脱することなく、変更/改良(例えば、各実
施形態を組み合わせること、各実施形態の一部の構成を省略すること)され得るとともに
、本発明にはその等価物も含まれる。
【0062】
上述の実施形態でコンピュータ1a,1b,1cが実行している各処理の少なくとも一
部を、代わりに管理サーバ7に実装されている仮想空間提供アプリケーションが実行する
ようにしてもよい。この構成によれば、コンピュータ1a,1b,1cのそれぞれの機能
を管理サーバ7が統合的に管理、実行できる。
【0063】
また、一のコンピュータ1又は一の管理サーバ7は、複数のHMD3に共通して用いら
れてもよい。つまり、
図1の例では、ユーザUaのみHMD3を装着しているが、ユーザ
Ub,UcにもHMDを装着させる。この場合、複数のユーザUa,Ub,Ucに同一の
仮想空間を提供することができるので、各ユーザは同一の仮想空間で他のユーザと同一の
アプリケーションを楽しむことができる。なお、上記に限られず、ユーザUa,Ub,U
cのそれぞれにHMDを装着させつつも、ユーザUa,Ub,Ucのそれぞれに対応した
別個の仮想空間を定義してもよい。例えば、ユーザUaに対応付けられた仮想空間には、
少なくともユーザUb,Ucに対応づけられたキャラクタが配置され、ユーザUbに対応
付けられた仮想空間には、少なくともユーザUa,Ucに対応づけられたキャラクタが配
置され、ユーザUcに対応付けられた仮想空間には、少なくともユーザUa,Ubに対応
づけられたキャラクタが配置されてもよい。
【符号の説明】
【0064】
1a,1b,1c…コンピュータ、3…HMD、5b,5c…カメラ、7…管理サーバ、
11(71)…CPU、12(72)…メモリ、13(73)…入力部、14(74)…
出力部、15(75)…記録部、16(76)…通信部、17(77)…バス、100…
仮想空間提供システム、111…情報処理部、112…データベース(DB)、113…
関連付け部、114…キャラクタ配置部、115…取得部、116…反映部、117…視
界画像生成部