特許 7571950 仮想空間用映像提供プログラムおよび情報端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】仮想空間用映像提供プログラムおよび情報端末装置

(51)【国際特許分類】

   H04N 21/234 20110101AFI20241016BHJP

   H04N 21/258 20110101ALI20241016BHJP

   G06T 19/00 20110101ALI20241016BHJP

【ＦＩ】

H04N21/234

H04N21/258

G06T19/00 300B

【請求項の数】 7

(21)【出願番号】P 2020177429

(22)【出願日】2020-10-22

(65)【公開番号】P2022068642

(43)【公開日】2022-05-10

【審査請求日】2023-09-13

(73)【特許権者】

【識別番号】520413047

【氏名又は名称】株式会社ヨコヅナゲームズ

(74)【代理人】

【識別番号】100123984

【弁理士】

【氏名又は名称】須藤 晃伸

(74)【代理人】

【識別番号】100102314

【弁理士】

【氏名又は名称】須藤 阿佐子

(74)【代理人】

【識別番号】100159178

【弁理士】

【氏名又は名称】榛葉 貴宏

(72)【発明者】

【氏名】山本 雅之

【審査官】富樫 明

(56)【参考文献】

【文献】特開２０００－２３２６６０（ＪＰ，Ａ）

【文献】国際公開第２０１７／１１０５２４（ＷＯ，Ａ１）

【文献】特開２０１９－０５０５７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

実空間において撮影した映像を仮想空間において提供するために、コンピューターで実行される仮想空間用映像提供プログラムであって、
コンピューターに、
仮想空間上に、複数のスクリーンオブジェクトがそれぞれ異なる方位に向くように、当該複数のスクリーンオブジェクトを配置する仮想空間構築ステップと、
実空間において複数の方位から撮影した映像を、前記方位にそれぞれ対応する複数のスクリーンオブジェクトにそれぞれ表示する映像表示ステップと、
ユーザが操作するアバターの位置情報を取得する位置情報取得ステップと、
前記アバターの位置情報に基づいて、前記アバターが位置する方位から撮影した映像を表示するスクリーンオブジェクトのみがユーザに表示されるように、前記複数のスクリーンオブジェクトの表示を制御する表示制御ステップと、を実行させる、プログラム。

【請求項2】

前記映像表示ステップにおいて、前記異なる複数の方位に配置された複数のカメラにより実空間の被写体を同時に撮影した映像を、前記複数のスクリーンオブジェクトにそれぞれ表示する、請求項１に記載のプログラム。

【請求項3】

前記複数のスクリーンオブジェクトには、所定の対象視野角がそれぞれ設定されている、請求項１または２に記載のプログラム。

【請求項4】

前記映像表示ステップにおいて、前記スクリーンオブジェクトの前記対象視野角内の方位から当該スクリーンオブジェクトに向けて被写体を撮影したカメラの映像を、当該スクリーンオブジェクトに表示する、請求項３に記載のプログラム。

【請求項5】

前記表示制御ステップにおいて、前記アバターの位置情報に基づいて、前記複数のスクリーンオブジェクトのうち、前記アバターが前記対象視野角内に位置するスクリーンオブジェクトのみを表示し、残りのスクリーンオブジェクトを非表示とする、請求項３または４に記載のプログラム。

【請求項6】

前記複数のスクリーンオブジェクトは、前方に湾曲した曲面形状を有する、請求項１ないし５のいずれかに記載のプログラム。

【請求項7】

実空間において撮影した映像を仮想空間において提供するための情報端末装置であって、
仮想空間上に、複数のスクリーンオブジェクトがそれぞれ異なる方位に向くように、当該複数のスクリーンオブジェクトを配置する仮想空間構築手段と、
実空間において異なる複数の方位から撮影した映像を、前記方位にそれぞれ対応する複数のスクリーンオブジェクトにそれぞれ表示する表示手段と、
ユーザが操作するアバターの位置情報を取得する位置情報取得手段と、
前記アバターの位置情報に基づいて、前記アバターが位置する方位から撮影した映像を表示するスクリーンオブジェクトのみがユーザに表示されるように、前記複数のスクリーンオブジェクトの表示を制御する制御手段と、を有する、情報端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、実空間において撮影した映像を仮想空間において提供するための仮想空間用映像提供プログラムおよび情報端末装置に関する。

【背景技術】

【0002】

従来、アバターが自在に動き回れる仮想空間上にスクリーンオブジェクトを配置し、仮想空間上のスクリーンオブジェクトにライブ、スポーツ、舞台などの映像を表示させることで、ユーザがアバターの視点において、スクリーンオブジェクトに表示された映像を視聴することができるシステム（たとえば、特許文献１）が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０５０５７６公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、アバターが仮想空間上のどの位置に移動した場合でも、同じ位置の定点カメラから撮影した映像をスクリーンオブジェクトに表示するため、ユーザは、映画のように単にスクリーンに映し出された映像を見ている感覚が強く、ライブの臨場感が得られにくいという問題があった。

【0005】

本発明は、仮想空間上のアバターの位置に応じて、ユーザが視聴する映像を、アバター位置に対応する方位から撮影された映像が表示されるように表示制御を行うことで、仮想空間上において臨場感の高い映像を提供することができる、仮想空間用映像提供プログラムおよび情報端末装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る仮想空間用映像提供プログラムは、実空間において撮影した映像を仮想空間において提供するために、コンピューターで実行される仮想空間用映像提供プログラムであって、コンピューターに、仮想空間上に、複数のスクリーンオブジェクトがそれぞれ異なる方位に向くように、当該複数のスクリーンオブジェクトを配置する仮想空間構築ステップと、実空間において複数の方位から撮影した映像を、前記方位にそれぞれ対応する複数のスクリーンオブジェクトにそれぞれ表示する映像表示ステップと、ユーザが操作するアバターの位置情報を取得する位置情報取得ステップと、前記アバターの位置情報に基づいて、前記アバターに位置に対応するスクリーンオブジェクトのみがユーザに表示されるように、前記複数のスクリーンオブジェクトの表示を制御する表示制御ステップと、を実行させる。
上記プログラムにおいて、前記映像表示ステップにおいて、前記異なる複数の方位に配置された複数のカメラにより実空間の被写体を同時に撮影した映像を、前記複数のスクリーンオブジェクトにそれぞれ表示する構成とすることができる。
上記プログラムにおいて、前記複数のスクリーンオブジェクトには、所定の対象視野角がそれぞれ設定されている構成とすることができる。
上記プログラムにおいて、前記映像表示ステップにおいて、前記スクリーンオブジェクトの前記対象視野角内の方位から当該スクリーンオブジェクトに向けて被写体を撮影したカメラの映像を、当該スクリーンオブジェクトに表示する構成とすることができる。
上記プログラムにおいて、前記表示制御ステップにおいて、前記アバターの位置情報に基づいて、前記複数のスクリーンオブジェクトのうち、前記アバターが前記対象視野角内に位置するスクリーンオブジェクトのみを表示し、残りのスクリーンオブジェクトを非表示とする構成とすることができる。
上記プログラムにおいて、前記複数のスクリーンオブジェクトは、前方に湾曲した曲面形状を有する構成とすることができる。
本発明に係る情報端末処理装置は、実空間において撮影した映像を仮想空間において提供するための情報端末装置であって、仮想空間上に、複数のスクリーンオブジェクトがそれぞれ異なる方位に向くように、当該複数のスクリーンオブジェクトを配置する仮想空間構築手段と、実空間において異なる複数の方位から撮影した映像を、前記方位にそれぞれ対応する複数のスクリーンオブジェクトにそれぞれ表示する表示手段と、ユーザが操作するアバターの位置情報を取得する位置情報取得手段と、前記アバターの位置情報に基づいて、前記アバターが位置する方位から撮影した映像を表示するスクリーンオブジェクトのみがユーザに表示されるように、前記複数のスクリーンオブジェクトの表示を制御する制御手段と、を有する。

【発明の効果】

【0007】

本発明によれば、仮想空間上において、実空間で撮影した映像を、高い臨場感で提供することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態にかかる情報処理システムの構成図である。

【図2】本実施形態において構築される仮想空間の一例を示す図である。

【図3】スクリーンオブジェクトの配置方法を説明するための図である。

【図4】スクリーンオブジェクトの形状を説明するための図である。

【図5】スクリーンオブジェクトに表示する映像を説明するための図である。

【図6】定点カメラとスクリーンオブジェクトとの関係を説明するための図であり、実空間における定点カメラの位置を仮想空間に重ね合わせた図である。

【図7】アバターの位置に基づくスクリーンオブジェクトの表示制御を説明するための図である。

【図8】ユーザに提供されるスクリーンオブジェクトの映像情報および仮想空間の描画情報の一例である。

【図9】本実施形態に係る仮想空間における映像提供処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

《第１実施形態》
本実施形態に係る情報処理システム１は、仮想空間において、ユーザがアバターを操作することで、実空間において撮影されたライブ、スポーツ、舞台などの映像をアバターの視点を通じてユーザに提供するためのシステムである。図１は、本実施形態に係る情報処理システム１を示す構成図である。本実施形態に係る情報処理システム１は、図１に示すように、本実施形態に係る仮想空間用映像提供プログラムを実施する複数の情報端末装置１０と、サーバー２０とを有し、情報端末装置１０およびサーバー２０はインターネット回線網３０を介して互いに情報の授受が可能となっている。

【0010】

情報端末装置１０は、スマートフォン、パーソナルコンピューター、家庭用ゲーム機、携帯型ゲーム機、タブレットなどの情報端末装置であり、本実施形態に係る仮想空間用映像提供プログラムを実施する。情報端末装置１０は、図１に示すように、演算装置１１と、記憶装置１２と、通信装置１３と、入力装置１４と、表示装置１５とを有する。なお、表示装置１５は、情報端末装置１０が備えるディスプレイであってもよいが、ヘッドマウントデバイスとしてもよい。以下に、情報端末装置１０の演算装置１１の機能について説明する。

【0011】

演算装置１１は、記憶装置１２に記憶されている仮想空間用映像提供プログラムを実行することで、仮想空間を構築する仮想空間構築機能と、ユーザが操作するアバターを作成するアバター作成機能と、ユーザの指示に基づいてアバターを動作させるアバター操作機能と、アバターの位置情報を取得する位置情報取得機能と、スクリーンオブジェクトに映像を表示する映像表示機能と、スクリーンオブジェクトの表示を制御する表示制御機能とを有する。以下に、各機能について説明する。

【0012】

仮想空間構築機能は、ユーザが操作するアバターが動き回ることが可能な仮想空間を構築する。仮想空間構築機能が構築する仮想空間のデザインは、予め仮想空間用映像提供プログラムに定義されており、たとえば、ライブ映像を提供する場合はライブ会場、スポーツ映像を提供する場合はスタジアム、舞台の映像を提供する場合は劇場などを模した空間を構築することができる。また、仮想空間構築機能は、映像を提供するためのステージＳＴを仮想空間上に設置する。たとえば、ライブ映像を提供する場合、仮想空間構築機能は、図２に示すように、半円状の仮想空間を構築するとともに、仮想空間の中央にステージＳＴを設置することができる。なお、本実施形態では、ステージＳＴはアバターが侵入できないエリアとされる。図２は、本実施形態に係る仮想空間の一例を示す図である。

【0013】

また、仮想空間構築機能は、図２および図３に示すように、ステージＳＴに相当するエリアに、複数のスクリーンオブジェクトＳＯを配置する。ここで、図３は、本実施形態に係るスクリーンオブジェクトＳＯの配置方法を説明するための図である。本実施形態では、たとえば、図２および図３に示すように、仮想空間構築機能により、５枚のスクリーンオブジェクトＳＯ１～ＳＯ５が配置される。また、図２および図３に示すように、本実施形態では、それぞれのスクリーンオブジェクトＳＯ１～ＳＯ５が、各スクリーンオブジェクトＳＯ１～ＳＯ５の中心点Ｏにおいて交差するとともに、スクリーンオブジェクトＳＯ～ＳＯ５がそれぞれ一定角度（本実施形態例では３０°）ずつ異なる方位を向くように配置される。

【0014】

たとえば、図２に示す例において、仮想空間構築機能は、半円状の仮想空間のうち、円弧の弦ＡＢ（直線ＡＢ）に沿う位置にスクリーンオブジェクトＳＯ１を配置する。また、仮想空間構築機能は、スクリーンオブジェクトＳＯ１と中心点Ｏにおいて交差するとともに、スクリーンオブジェクトＳＯ１に対して反時計回りに３０°回転させた位置にスクリーンオブジェクトＳＯ２を配置する。同様に、仮想空間構築機能は、スクリーンオブジェクトＳＯ１，ＳＯ２と中心点Ｏにおいて交差するとともに、スクリーンオブジェクトＳＯ２に対して反時計回りに３０°回転させた位置にスクリーンオブジェクトＳＯ３を配置する。また、仮想空間構築機能は、スクリーンオブジェクトＳＯ１～ＳＯ３と中心点Ｏにおいて交差するとともに、スクリーンオブジェクトＳＯ１に対して時計回りに３０°回転させた位置にスクリーンオブジェクトＳＯ４を配置し、スクリーンオブジェクトＳＯ１～ＳＯ４と中心点Ｏにおいて交差するとともに、スクリーンオブジェクトＳＯ４に対して時計回りに３０°回転させた位置にスクリーンオブジェクトＳＯ５を配置する。

【0015】

また、本実施形態において、仮想空間構築機能は、図４に示すように、スクリーンオブジェクトＳＯを、前方側に湾曲した形状で形成することもできる。この場合、アバターがスクリーンオブジェクトＳＯの真正面に位置しない場合でも、ユーザに、スクリーンオブジェクトＳＯに表示された映像を、ある程度立体的に視聴させることが可能となる。なお、スクリーンオブジェクトＳＯを前方側に湾曲した形状で形成する場合でも、スクリーンオブジェクトＳＯ１～ＳＯ５は、ディスプレイ面が平面である場合と同様に配置されることとなる。たとえば、スクリーンオブジェクトＳＯ１は、ディスプレイ面が曲面である場合でも、ディスプレイ面を平面とした場合において、スクリーンオブジェクトＳＯ２～ＳＯ５と中心点Ｏで交差し、かつ、円弧の弦ＡＢに沿う位置に配置されることとなる。

【0016】

アバター作成機能は、ユーザが操作するアバターを作成する。アバター作成機能は、ユーザにアバターの作成を要求し、ユーザの指示に基づいて、ユーザの仮想空間上の分身であるアバターを作成することができる。たとえば、ユーザが、予め用意されている顔や体、服装などのパーツを選択することで、アバター作成機能は、ユーザが選択したパーツを組み合わせたアバターを作成することができる。なお、ユーザが作成したアバターの情報は、記憶装置１２に記憶され、ユーザが次回ログインした場合に、ユーザに当該アバターを使用させることができる。

【0017】

アバター操作機能は、ユーザが入力装置１４を用いて入力したアバターの操作情報に基づいて、アバターを、仮想空間上において動作させる。たとえば、本実施形態において、アバター操作機能は、アバターの操作情報に基づいて、仮想空間のうちステージＳＴを除く移動領域ＭＡにおいて、アバターを自由に移動させることができる。また、アバター操作機能は、アバターの操作情報に基づいて、アバターに手を振るなどの特定の動作を行わせることもできる。これにより、ユーザは、アバターを移動させて様々な角度からステージＳＴ上のライブ映像などを視聴することができるとともに、ライブに合わせて手を振るなどの動作を行うことができ、ライブの臨場感をより高めることができる。

【0018】

位置情報取得機能は、アバター操作機能により移動されたアバターの位置情報を取得する。本実施形態において、アバターの位置情報は、仮想空間内の二次元座標で表され、位置情報取得機能は、アバターの位置情報を座標情報として周期的に取得する。なお、位置情報取得機能は、取得したアバターの位置情報を、アバターの外観情報や、アバターの動作情報などとともに、通信装置１３を介して、サーバー２０に送信する。これにより、後述するように、サーバー２０を介して、情報端末装置１０間で同期を取ることができ、同一のアバターを、複数の情報端末装置１０の複数の仮想空間内で、同時に、同一の動作を行わせることができる。

【0019】

映像表示機能は、複数のスクリーンオブジェクトＳＯ１～ＳＯ５に映像を表示する。特に、本実施形態では、異なる方位に配置された定点カメラＣ１～Ｃ５において同一の被写体を同時に撮影しており、映像表示機能は、定点カメラＣ１～Ｃ５で撮影した映像を、定点カメラＣ１～Ｃ５が配置された方位にそれぞれ対応するスクリーンオブジェクトＳＯ１～ＳＯ５に表示する。ここで、図５は、各スクリーンオブジェクトＳＯに表示する映像を説明するための図である。以下においては、図５を参照して、スクリーンオブジェクトＳＯ１～ＳＯ５に表示する映像について説明する。なお、本実施形態では、実空間において定点カメラＣ１～Ｃ５で撮影した映像を、リアルタイムで、仮想空間のスクリーンオブジェクトＳＯ１～ＳＯ５において表示する場面を例示するが、この構成に限定されず、過去に実空間で撮影した映像を、仮想空間のスクリーンオブジェクトＳＯ１～ＳＯ５において表示する構成としてもよい。

【0020】

図５に示すように、本実施形態では、実空間上において、異なる方位から被写体を撮影することができるように、定点カメラＣ１～Ｃ５が配置され、同一の被写体（あるいは被写体群）を同時に撮影する。具体的には、図５に示すように、半円状のステージの正面となる位置に定点カメラＣ１が配置され、ステージＳＴの中心点を中心として、定点カメラＣ１から反時計回りに３０°回転させた位置に定点カメラＣ２が配置され、定点カメラＣ２からさらに反時計回りに３０°回転させた位置に定点カメラＣ３が配置される。同様に、ステージＳＴの中心点を中心として、定点カメラＣ１から時計回りに３０°回転させた位置に定点カメラＣ４が配置され、定点カメラＣ４からさらに時計回りに３０°回転させた位置に定点カメラＣ５が配置される。そして、それぞれの方位から、定点カメラＣ１～Ｃ５により被写体が撮影され、撮影された映像データがサーバー２０へと送信され、サーバー２０から各情報端末装置１０へと送信される。

【0021】

情報端末装置１０が、通信装置１３を介して、サーバー２０から送信される映像データを受信すると、映像表示機能は、受信した映像データを、スクリーンオブジェクトＳＯに表示する。具体的には、映像表示機能は、実空間において定点カメラＣ１で撮影された映像をスクリーンオブジェクトＳＯ１に表示し、定点カメラＣ２で撮影された映像をスクリーンオブジェクトＳＯ２に表示し、定点カメラＣ３で撮影された映像をスクリーンオブジェクトＳＯ３に表示し、定点カメラＣ４で撮影された映像をスクリーンオブジェクトＳＯ４に表示し、定点カメラＣ５で撮影された映像をスクリーンオブジェクトＳＯ５に表示する。

【0022】

ここで、図６は、定点カメラＣ１～Ｃ５とスクリーンオブジェクトＳＯ１～ＳＯ５との関係を説明するための図であり、実空間における定点カメラＣ１～Ｃ５の位置を仮想空間に重ね合わせた図である。図６に示すように、定点カメラＣ１～Ｃ５の位置を仮想空間上に重ね合わせると、スクリーンオブジェクトＳＯ１に対して正面となる位置に定点カメラＣ１が配置され、スクリーンオブジェクトＳＯ１の正面の位置からスクリーンオブジェクトＳＯ１に向けて被写体が撮影されている。そのため、映像表示機能により、定点カメラＣ１で撮影した映像を、スクリーンオブジェクトＳＯ１に表示することで、スクリーンオブジェクトＳＯ１に表示された映像を視聴するユーザは、スクリーンオブジェクトＳＯ１の正面の位置からスクリーンオブジェクトＳＯ１に向けて撮影された被写体の映像を視聴することが可能となる。同様に、映像表示機能により、定点カメラＣ２で撮影した映像がスクリーンオブジェクトＳＯ２に表示され、定点カメラＣ３で撮影した映像がスクリーンオブジェクトＳＯ３に表示され、定点カメラＣ４で撮影した映像がスクリーンオブジェクトＳＯ４に表示され、定点カメラＣ５で撮影した映像がスクリーンオブジェクトＳＯ５に表示される。これにより、スクリーンオブジェクトＳＯ２～ＳＯ５に表示された映像を視聴するユーザは、スクリーンオブジェクトＳＯ２～ＳＯ５の正面の位置からスクリーンオブジェクトＳＯ２～ＳＯ５に向けて撮影された被写体の映像をそれぞれ視聴することが可能となる。

【0023】

表示制御機能は、位置情報取得機能により取得されたアバターの位置情報に基づいて、各ユーザに表示するスクリーンオブジェクトＳＯの表示を制御する。ここで、図７は、本実施形態において、スクリーンオブジェクトの表示制御方法を説明するための図である。図７に示すように、表示制御機能は、複数のスクリーンオブジェクトＳＯ１～ＳＯ５のうち、アバターの正面に位置するスクリーンオブジェクトＳＯ１～ＳＯ５だけを表示し、その他のスクリーンオブジェクトＳＯ１～ＳＯ５を非表示とする。

【0024】

具体的には、表示制御機能は、アバターが対象視野角内に位置するスクリーンオブジェクトのみを表示し、残りのスクリーンオブジェクトを非表示とする。たとえば、図７に示す例において、各スクリーンオブジェクトＳＯ１～ＳＯ５の対象視野角は３０°に設定されている。この場合、たとえば、スクリーンオブジェクトＳＯ１の視野角の中心線Ｌ１に対して、左右に１５°の視野角内のエリアが対象視野角内のエリアとなり、移動領域ＭＡのうち、スクリーンオブジェクトＳＯ１の対象視野角内のエリアをＭＡ１とする。同様に、移動領域ＭＡのうち、スクリーンオブジェクトＳＯ２の対象視野角内のエリアをＭＡ２とし、スクリーンオブジェクトＳＯ３の対象視野角内のエリアをＭＡ３とし、スクリーンオブジェクトＳＯ４の対象視野角内のエリアをＭＡ４とし、スクリーンオブジェクトＳＯ５の対象視野角内のエリアをＭＡ５とする。なお、本実施形態において、表示制御機能は、スクリーンオブジェクトＳＯ３の対象視野角となるエリアに加えて、他のエリア（ＭＡ１，ＭＡ２，ＭＡ４，ＭＡ５）と重複しない、スクリーンオブジェクトＳＯ３の対象視野角よりも外側（円弧の弦に近い側）のエリアもＭＡ３として設定する。同様に、表示制御機能は、スクリーンオブジェクトＳＯ５の対象視野角となるエリアに加えて、他のエリア（ＭＡ１～ＭＡ４）と重複しない、スクリーンオブジェクトＳＯ５の対象視野角よりも外側（円弧の弦に近い側）のエリアもＭＡ５として設定する。

【0025】

そして、表示制御機能は、アバターがＭＡ１内に存在する場合は、スクリーンオブジェクトＳＯ１を表示させ、スクリーンオブジェクトＳＯ２～ＳＯ５を非表示とする。スクリーンオブジェクトＳＯ１では、定点カメラＣ１により撮影された映像が表示されるため、ユーザは、アバターがＭＡ１に位置する場合には、アバターが位置する方位から撮影された映像を、アバターを介して視聴させることが可能となる。同様に、表示制御機能は、アバターがＭＡ２内に位置する場合は、スクリーンオブジェクトＳＯ２を表示させ、スクリーンオブジェクトＳＯ１，ＳＯ３～ＳＯ５を非表示とする。また、表示制御機能は、アバターがＭＡ３内に位置する場合は、スクリーンオブジェクトＳＯ３を表示させ、スクリーンオブジェクトＳＯ１，ＳＯ２，ＳＯ４，ＳＯ５を非表示とし、アバターがＭＡ４内に位置する場合は、スクリーンオブジェクトＳＯ４を表示させ、スクリーンオブジェクトＳＯ１～ＳＯ３，ＳＯ５を非表示とし、アバターがＭＡ５内に位置する場合は、スクリーンオブジェクトＳＯ５を表示させ、スクリーンオブジェクトＳＯ１～ＳＯ４を非表示とする。これにより、表示制御機能は、アバターがどの位置に移動した場合でも、アバターが位置する方位から撮影した映像を、アバターを介してユーザに視聴させることが可能となる。

【0026】

たとえば、図７に示す例において、アバターがＭＡ１に位置する場合、スクリーンオブジェクトＳＯ１のみが表示される。これにより、ＭＡ１に位置するアバターの視点で見ることができる、スクリーンオブジェクトＳＯ１に表示された映像の情報および仮想空間の描画情報が、表示装置１５を介してユーザに表示されることとなる。これにより、ユーザは、図８に示すように、表示装置１５を介して、ＭＡ１に位置するアバターの視点における、スクリーンオブジェクトＳＯ１に表示された映像情報および仮想空間の描画情報を視聴することができる。なお、図８は、本実施形態において、ユーザに提供されるスクリーンオブジェクトＳＯ１の映像情報および仮想空間の描画情報の一例である。

【0027】

次に、サーバー２０について説明する。サーバー２０は、図１に示すように、処理装置２１、記憶装置２２、および通信装置２３を有し、各情報端末装置１０で作成される仮想空間を同期する機能を有する。具体的には、サーバー２０は、記憶装置２２に記憶された所定のプログラムを処理装置２１により実行することで、たとえば、ユーザＢの情報端末装置１０で作成されたアバター情報（アバターの外観、位置、操作情報など）を、通信装置２３を介して、ユーザＡの情報端末装置１０に送信する。これにより、たとえば、ユーザＡの情報端末装置１０で作成された仮想空間内において、ユーザＢのアバターを、ユーザＢの情報端末装置１０の仮想空間とほぼ同じタイミングで同じ動作をさせることが可能となる。なお、情報端末装置１０の演算装置１１は、仮想空間用映像提供プログラムを実行することで、上記同期を行うための同期機能を有している。また、サーバー２０は、上述したように、定点カメラＣ１～Ｃ５が撮影した映像データを定点カメラＣ１～Ｃ５から取得し、通信装置２３を介して、各情報端末装置１０に配信する機能も有している。

【0028】

このように、サーバー２０は、複数の情報端末装置１０の仮想空間を同期させることで、仮想空間上に複数のユーザのアバターを共存させることができ、ユーザの臨場感をより高めることができる。なお、情報端末装置１０の同期は、公知の方法および技術を用いて行うことができる。

【0029】

次に、本実施形態に係る仮想空間における映像提供処理について説明する。図９は、本実施形態に係る仮想空間における映像提供処理を示すフローチャートである。なお、以下に説明する映像提供処理は、情報端末装置１０の演算装置１１により実行される。

【0030】

ステップＳ１では、演算装置１１の仮想空間構築機能により、仮想空間の構築が行われる。本実施形態において、仮想空間構築機能は、たとえば図２に示すように、移動領域ＭＡ、ステージＳＴ、スクリーンオブジェクトＳＯ１～ＳＯ５を含む仮想空間を構築することができる。

【0031】

ステップＳ２では、演算装置１１のアバター作成機能により、ユーザがアバターを既に作成済みであるか否かの判断が行われる。ユーザが初めて仮想空間用映像提供プログラムを実行する場合、あるいは、ユーザがアバターの新規作成を希望する場合は、ステップＳ３に進み、アバター作成機能により、アバターの作成が行われる。アバターが既に作成されている場合、または、ユーザがステップＳ３でアバターを作成した場合には、ステップＳ４に進む。

【0032】

ステップＳ４では、演算装置１１の映像表示機能により、ステップＳ１で構成したスクリーンオブジェクトＳＯ１～ＳＯ５に、実空間において異なる方位から撮影した映像が表示される。たとえば、本実施形態において、映像表示機能は、スクリーンオブジェクトＳＯ１の正面に相当する位置に設置された定点カメラＣ１で撮影した映像をスクリーンオブジェクトＳＯ１に表示する。これにより、スクリーンオブジェクトＳＯ１の正面に対応する位置から見た被写体の映像が、スクリーンオブジェクトＳＯ１に表示されることとなる。

【0033】

ステップＳ５では、演算装置１１のアバター操作機能により、ユーザがアバターを操作するために入力した操作情報に基づいて、アバターを動作させる処理が行われる。また、ステップＳ６では、演算装置１１の位置情報取得機能により、仮想空間上におけるアバターの位置情報が取得される。

【0034】

ステップＳ７では、演算装置１１の表示制御機能により、ステップＳ６で取得したアバターの位置情報に基づいて、スクリーンオブジェクトＳＯの表示制御が行われる。たとえば、図７に示すように、アバターがＭＡ１内に位置する場合は、アバターが位置する方位と同じ方位から撮影した定点カメラＣ１の映像をユーザに提供するため、スクリーンオブジェクトＳＯ１のみが表示され、スクリーンオブジェクトＳＯ２～ＳＯ５が非表示とされる。

【0035】

ステップＳ８では、演算装置１１の同期機能により、他の情報端末装置１０との同期が行われる。具体的には、同期機能は、他の情報端末装置１０で作成されたユーザのアバターの情報(アバターの外観や位置情報)をサーバー２０から受信し、受信した他のユーザのアバター情報に基づいて、ステップＳ１で作成した仮想空間上において、他のユーザのアバターを作成し、動作させることで、ユーザが他のユーザと同じ仮想空間に存在しているかのように、ユーザに認識させることができる。

【0036】

そして、ステップＳ９では、演算装置１１により、本実施形態に係る仮想空間における映像提供処理を終了するか否かの判断が行われる。ユーザが入力装置１４を介して映像提供処理の終了を指示するまでは、ステップＳ４に戻り、ステップＳ４～Ｓ８の処理が繰り返され、ユーザが終了を指示した場合に、図９に示す仮想空間における映像提供処理が終了する。

【0037】

以上のように、本実施形態に係る情報処理システム１では、情報端末装置１０が、実空間において異なる複数の方位から撮影した映像を、当該方位にそれぞれ対応する複数のスクリーンオブジェクトＳＯにそれぞれ表示し、ユーザが操作するアバターの位置情報に基づいて、アバターの位置に対応するスクリーンオブジェクトＳＯのみがユーザに表示されるように、複数のスクリーンオブジェクトＳＯの表示を制御する。これにより、ユーザは、情報端末装置１０の表示装置１５を介して、アバターの位置から見た被写体の映像を視聴することができ、仮想空間においても、ライブ映像などの映像を高い臨場感でユーザに提供することができる。

【0038】

《第２実施形態》
次に、本発明の第２実施形態について説明する。第２実施形態においては、情報端末装置１０（ユーザのスマートフォン、パーソナルコンピューター、家庭用ゲーム機、携帯型ゲーム機など）だけで処理が実行される点で、情報端末装置１０とサーバー２０との間で情報の授受が行われ処理が実行される第１実施形態と異なる構成を有する。以下、第１実施形態との相違点を中心に、第２実施形態について説明する。

【0039】

第２実施形態においては、スクリーンオブジェクトＳＯに表示するための映像が定点カメラＣ１～Ｃ５により予め撮影され、撮影された映像データが仮想空間用映像提供プログラムに予め組み込まれている。これにより、第２実施形態では、サーバー２０から映像データを受信することなく、定点カメラＣ１～Ｃ５により撮影された映像データをスクリーンオブジェクトＳＯに表示することができるようになっている。

【0040】

また、第２実施形態に係る演算装置１１は、サーバー２０と通信を行わないため、他の情報端末装置１０と同期する同期機能を備えない構成とすることができる。また、演算装置１１は、仮想空間内に予め所定のキャラクターをオブジェクトとして作成し配置する機能を有する構成とすることもできる。

【0041】

このように、第２実施形態においては、情報端末装置１０が、スクリーンオブジェクトＳＯに表示する映像データを予め組み込んだ仮想空間用映像提供プログラムを記憶しており、情報端末装置１０が当該仮想空間用映像提供プログラムを実行することで、オフライン環境下においても、ユーザに、仮想空間上のアバターの位置から見た被写体の映像を視聴させることができ、仮想空間においても実空間で撮影した映像を、高い臨場感でユーザに提供することができる。

【0042】

以上、本発明の好ましい実施形態例について説明したが、本発明の技術的範囲は上記実施形態の記載に限定されるものではない。上記実施形態例には様々な変更・改良を加えることが可能であり、そのような変更または改良を加えた形態のものも本発明の技術的範囲に含まれる。

【0043】

たとえば、上述した実施形態では、５台の定点カメラＣ１～Ｃ５を用いて撮影した映像を、５つのスクリーンオブジェクトＳＯ１～ＳＯ５にそれぞれ表示する構成を例示したが、この構成に限定されず、たとえば２～４台、あるいは６台以上の定点カメラで撮影した映像を、２～４あるいは６以上のスクリーンオブジェクトＳＯに表示する構成としてもよい。

【0044】

また、上述した実施形態においては、情報端末装置１０に仮想空間用映像提供プログラムをプレインストールスする構成としてもよいし、ユーザが情報端末装置１０を介してサーバー２０にアクセスしサーバー２０から仮想空間用映像提供プログラムをダウンロードして情報端末装置１０にインストールする構成としてもよい。あるいは、ユーザに仮想空間用映像提供プログラムが記録されたメディアを提供することで情報端末装置１０がメディアに記録された仮想空間用映像提供プログラムを読み込み実行する構成としてもよい。

【符号の説明】

【0045】

１…情報処理システム
１０…情報端末装置
１１…演算装置
１２…記憶装置
１３…通信装置
１４…入力装置
１５…表示装置
２０…サーバー
２１…処理装置
２２…記憶装置
２３…通信装置
３０…インターネット回線網

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】