特許 7634856 仮想空間生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-02-14

(45)【発行日】2025-02-25

(54)【発明の名称】仮想空間生成装置

(51)【国際特許分類】

   A63F 13/52 20140101AFI20250217BHJP

   A63F 13/53 20140101ALI20250217BHJP

   A63F 13/40 20140101ALI20250217BHJP

【ＦＩ】

A63F13/52

A63F13/53

A63F13/40

【請求項の数】 6

(21)【出願番号】P 2024168141

(22)【出願日】2024-09-27

【審査請求日】2024-10-01

【早期審査対象出願】

(73)【特許権者】

【識別番号】520490174

【氏名又は名称】榊原 正啓

(73)【特許権者】

【識別番号】520490185

【氏名又は名称】菰下 将司

(73)【特許権者】

【識別番号】521239750

【氏名又は名称】株式会社Ｒｅｄｅｆｉｎｅ Ａｒｔｓ

(74)【代理人】

【識別番号】110001069

【氏名又は名称】弁理士法人京都国際特許事務所

(72)【発明者】

【氏名】榊原 正啓

(72)【発明者】

【氏名】菰下 将司

【審査官】安田 明央

(56)【参考文献】

【文献】特開２０２２－１６５３０６（ＪＰ，Ａ）

【文献】特開２０１９－０２４７４８（ＪＰ，Ａ）

【文献】特許第７５６５４１９（ＪＰ，Ｂ１）

【文献】特開２０２４－０９２７２７（ＪＰ，Ａ）

【文献】特開２０２４－０７５５６３（ＪＰ，Ａ）

【文献】[生成AI]LLM・画像生成・コード生成・動画生成など主要な無料・有料ツール44選の特徴・活用例を徹底解説！，[online]，2024年08月18日，<URL:http://web.archive.org/web/20240818163109/https://ai-market.jp/services/generative-ai-tools/>，2024年11月1日検索

【文献】物体検出をわかりやすく解説！違い・活用範囲・手法までを詳しく紹介，[online]，2022年10月07日，<URL:http://web.archive.org/web/20221007152446/https://www.scorer.jp/blog/object-detection>，2024年11月1日検索

【文献】StrongSORT: DeepSORTが強くなって帰ってきた！アップグレードされた追尾モデル！，[online]，2022年12月31日，<URL:https://ai-scholar.tech/articles/object-tracking/strongsort>，2024年11月1日検索

【文献】博報堂ＤＹメディアパートナーズのAaaS Tech Lab、生成AIを活用し、画像中の任意の物体を自然言語によって高精度に検出する技術を開発，[onilne]，2024年05月14日，<URL:https://prtimes.jp/main/html/rd/p/000000186.000038657.html>，2024年11月1日検索

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｆ １３／００－１３／９８

Ａ６３Ｆ ９／２４

(57)【特許請求の範囲】

【請求項1】

仮想空間の表示データ、及び該仮想空間において動作するプレイヤーキャラクターの表示データが保存された表示データ記憶部と、
前記表示データ記憶部に保存された前記仮想空間の表示データを用いて仮想空間を生成する仮想空間生成部と、
前記表示データ記憶部に保存された前記プレイヤーキャラクターの表示データを用い、外部からの入力操作に応じて前記仮想空間でプレイヤーキャラクターを動作させるプレイヤーキャラクター動作処理部と、
ターゲット領域を含む画像のデータに基づいて該画像を前記仮想空間内に生成する画像表示処理部と、
前記プレイヤーキャラクターにより、前記画像に対する所定の動作が行われたときに、該動作が前記ターゲット領域に対して行われたものであるか否かを判定する判定部と、
前記判定部による判定結果を出力する判定結果出力部と
を備え、
前記画像表示処理部が、前記仮想空間にスクリーンオブジェクトを配置し、該スクリーンオブジェクトに前記画像を表示する
ことを特徴とする仮想空間生成装置。

【請求項2】

前記スクリーンオブジェクトは透明なオブジェクトであり、
前記判定部は、前記スクリーンオブジェクトの背面に判定パネルを配置し、該判定パネル上での、前記プレイヤーキャラクターによる、前記画像に対して行われた動作の範囲と、前記ターゲット領域の重なりに基づいて前記判定を行う
ことを特徴とする、請求項１に記載の仮想空間生成装置。

【請求項3】

さらに、
単語又は文章に基づいて画像を生成する画像生成器が保存された画像生成器記憶部と、
前記画像に関する単語又は文章の入力を受け付ける画像情報入力受付部と
を備え、
前記画像表示処理部は、前記画像情報入力受付部に入力された単語又は文章を前記画像生成器に入力することによって前記画像のデータを生成する
ことを特徴とする、請求項１に記載の仮想空間生成装置。

【請求項4】

前記画像生成器が大規模言語モデルを含む
ことを特徴とする、請求項３に記載の仮想空間生成装置。

【請求項5】

さらに、
ゲーム画像と、該ゲーム画像に含まれるターゲット領域の組から成る学習データを用いた機械学習によって作成された学習済モデルで構成された、画像に含まれる物体を識別する画像識別器が保存された画像識別器記憶部
を備え、
前記判定部は、前記画像識別器によって前記画像に含まれるターゲット領域を特定する
ことを特徴とする、請求項１に記載の仮想空間生成装置。

【請求項6】

前記画像識別器が物体検出アルゴリズム、該物体検出アルゴリズムにより検出された移動物体の軌道推定を行うアルゴリズム、及び大規模言語モデルのうちの少なくとも1つを含む
ことを特徴とする、請求項５に記載の仮想空間生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間生成装置に関する。

【背景技術】

【0002】

近年、ユーザが仮想空間においてプレイヤーキャラクターを操作することによりイベントやゲームなどを行う技術が広く用いられている。ヘッドマウントディスプレイ（HMD）などの端末をユーザに装着させ、その表示部にプレイヤーキャラクターの視点で仮想空間を捉えた画像を表示する仮想現実（VR）技術を利用すると、ユーザに没入感を与えつつイベントやゲームなどを楽しませることができる。

【0003】

特許文献１には、仮想空間に設けたステージ上にスクリーンオブジェクトを配置し、そこに実空間で撮影したライブ、スポーツ、舞台などの映像を表示するシステムが記載されている。このシステムでは、仮想空間において動作するプレイヤーキャラクターをユーザが操作し、ユーザが装着するヘッドマウントディスプレイにプレイヤーキャラクターの視点で捉えた仮想空間の映像を表示する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２２－６８６４３号公報

【非特許文献】

【0005】

【文献】"［生成AI］LLM・画像生成・コード生成・動画生成など主要な無料・有料ツール44選の特徴・活用例を徹底解説！",[online],2024年9月12日,AI Market 編集部,[2024年9月27日検索],インターネット<URL:https://ai-market.jp/services/generative-ai-tools/>

【文献】"YOLOとは？他の手法との違いやメリット・デメリットについて解説",[online],2024年2月7日,AIsmiley編集部,[2024年9月27日検索],インターネット<URL:https://aismiley.co.jp/ai_news/yolo/>

【文献】"物体検出（物体検知）をわかりやすく解説！違い・活用範囲・手法までを詳しく紹介",[online],株式会社フューチャースタンダード,[2024年9月27日検索],インターネット<URL:https://www.scorer.jp/blog/object-detection>

【文献】宮澤理佑也,"StrongSORT: DeepSORTが強くなって帰ってきた！アップグレードされた追尾モデル！",[online],2022年12月31日,株式会社wevnal,[2024年9月27日検索],インターネット<URL:https://ai-scholar.tech/articles/object-tracking/strongsort>

【文献】"博報堂ＤＹメディアパートナーズのAaaS Tech Lab、生成AIを活用し、画像中の任意の物体を自然言語によって高精度に検出する技術を開発～ルームクリップ社のサービスやメディアビジネス領域に活用～",[online],2024年5月14日,株式会社 博報堂ＤＹメディアパートナーズ,[2024年9月27日検索],インターネット<URL:https://www.hakuhodody-media.co.jp/newsrelease/service/20240514_34939.html>

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載のシステムでは、ユーザはスクリーンオブジェクトに表示される映像を受動的に楽しむだけで、プレイヤーキャラクターを動作させることにより何らかの変化を生じるものではないため、ゲーム性に乏しい。

【0007】

本発明が解決しようとする課題は、従来にないゲーム性を有する仮想空間生成装置を提供することである。

【課題を解決するための手段】

【0008】

上記課題を解決するために成された本発明に係る仮想空間生成装置は、
仮想空間の表示データ、及び該仮想空間において動作するプレイヤーキャラクターの表示データが保存された表示データ記憶部と、
前記表示データ記憶部に保存された前記仮想空間の表示データを用いて仮想空間を生成する仮想空間生成部と、
前記表示データ記憶部に保存された前記プレイヤーキャラクターの表示データを用い、外部からの入力操作に応じて前記仮想空間でプレイヤーキャラクターを動作させるプレイヤーキャラクター動作処理部と、
ターゲット領域を含む画像のデータに基づいて該画像を前記仮想空間内に生成する画像表示処理部と、
前記プレイヤーキャラクターにより、前記画像に対する所定の動作が行われたときに、該動作が前記ターゲット領域に対して行われたものであるか否かを判定する判定部と、
前記判定部による判定結果を出力する判定結果出力部と
を備える。

【0009】

本発明に係る仮想空間生成装置では、画像表示処理部が、ターゲット領域を含む画像を仮想空間内に生成する。ユーザが、外部入力装置を用いてこの仮想空間生成装置に対してプレイヤーキャラクターを動作させる入力操作を行うと、プレイヤーキャラクター動作処理部はその入力操作に応じて仮想空間でプレイヤーキャラクターを動作させる。外部入力装置は、例えばヘッドマウントディスプレイ（HMD）であり、その表示部には、プレイヤーキャラクターの視点で捉えた仮想空間の画像が表示される。

【0010】

仮想空間内に生成される画像のデータは外部から入力される。画像におけるターゲット領域の位置を特定する情報は、外部から入力される画像のデータに含まれていてもよく、含まれていなくてもよい（即ち、画像表示処理部が画像を生成する時点で、当該画像に含まれるターゲット領域が不定であってもよい）。後者の場合には、上記判定部として、様々な種類のゲームについて、ゲーム画像とターゲット領域の組からなる学習用データを予め機械学習させた学習済モデルを用いた識別器を含むものを用いてターゲット領域を特定するとよい。また、この画像データは、予め用意されたものであってもよく、あるいはユーザが入力したキーワードに基づいて大規模言語モデル（LLM: Large Language Models）等によって生成されたものであってもよい。後者の場合には、上記判定部として同じくLLMを用いた識別器を含むものを用いるとよい。

【0011】

ユーザにより操作されるプレイヤーキャラクターが、仮想空間内に生成された画像に対する所定の動作を行うと、判定部は、その動作がターゲット領域に対して行われたものであるか否かを判定し、判定結果出力部はその判定結果を出力する。例えば生成される画像がシューティングゲームに関するものである場合には、所定の動作はプレイヤーキャラクターによる射撃動作であり、判定部は、プレイヤーキャラクターの動作によって発射された銃弾が該画像に含まれるターゲット領域（敵キャラクター、飛行機、動物など）に命中したか否かを判定する。あるいは、例えば、仮想空間内に生成される画像がダンスゲームに関するものである場合には、所定の動作はプレイヤーキャラクターのダンス動作であり、判定部は、プレイヤーキャラクターの身体の動きと該画像に含まれるターゲット領域（ダンサーの身体）の一致度を判定する。これにより、ユーザは、仮想空間内に生成される画像に応じてプレイヤーキャラクターを動作させるという、従来にないゲームを楽しむことができる。

【発明の効果】

【0012】

本発明に係る仮想空間生成装置を用いることにより、仮想空間にスクリーンオブジェクトを配置してそこに映像を表示する仮想空間生成装置にゲーム性を付与することができる。

【図面の簡単な説明】

【0013】

【図1】本発明に係る仮想空間生成装置の一実施形態を含む、ゲームシステムの要部構成図。

【図2】本実施形態の仮想空間生成装置用いたシューティングゲームにおいてプレイヤーキャラクターによる、スクリーンオブジェクトに表示された画像に対するアクションが行われた状態を説明する図。

【図3】本実施形態の仮想空間生成装置において、スクリーンオブジェクトの画像に基づいて仮想空間を生成する一例。

【図4】本実施形態の仮想空間生成装置を用いたシューティングゲームにおける判定パネルを用いた判定について説明する図。

【図5】本実施形態の仮想空間生成装置用いたダンスゲームにおいてプレイヤーキャラクターによる、スクリーンオブジェクトに表示された画像に対するアクションが行われた状態を説明する図。

【図6】本実施形態の仮想空間生成装置を用いたダンスゲームにおける判定パネルを用いた判定について説明する図。

【発明を実施するための形態】

【0014】

本発明に係る仮想空間生成装置の一実施形態について、以下、図面を参照して説明する。

【0015】

図１は、本実施形態の仮想空間生成装置１０を含むゲームシステム１の要部構成図である。ゲームシステム１は、仮想空間生成装置１０と、ユーザ端末４０を含む。図１にはユーザ端末４０を1つのみ示しているが、ユーザ端末４０は複数であってもよい。また、ゲームシステム１とユーザ端末４０は、インターネットなどの無線による通信ネットワーク、あるいは有線による通信ネットワークを介して相互に接続されている。

【0016】

仮想空間生成装置１０は、記憶部１１を備えている。記憶部１１は、ユーザ情報記憶部１１１、仮想空間表示データ記憶部１１２、キャラクターデータ記憶部１１３、エフェクトデータ記憶部１１４、画像生成器記憶部１１５、画像識別器記憶部１１６、及び画像データ記憶部１１７を有している。なお、本願明細書における画像の概念には、静止画だけでなく動画（例えば、60フレーム／秒の静止画で構成される動画）が含まれる。

【0017】

ユーザ情報記憶部１１１には、ユーザ端末４０を使用するユーザを識別するユーザIDとパスワード、当該ユーザが操作するプレイヤーキャラクターの種類、ユーザ端末４０を識別する端末IDなどの情報が保存されている。仮想空間表示データ記憶部１１２には、仮想空間の表示データが保存されている。キャラクターデータ記憶部１１３には、仮想空間で動作するプレイヤーキャラクター及びノンプレイヤーキャラクターの表示データが保存されている。エフェクトデータ記憶部１１４には、仮想空間において生じさせる各種のエフェクト（音声、画像など）のデータが保存されている。

【0018】

画像生成器記憶部１１５には、外部から入力される単語や文章に基づいて画像を生成する画像生成器が保存されている。画像生成器には、例えば、大規模言語モデル（LLM: Large Language Models。例えば非特許文献１）などの生成AIを好適に用いることができる。画像識別器記憶部１１６には、外部から入力される画像や画像生成器によって生成された画像に含まれるターゲット領域と非ターゲット領域の識別や、画像に含まれる背景を所定の基準で識別する画像識別器が保存されている。画像識別器には、例えば、YOLO（You Only Look Onece。例えば非特許文献２、３）、SSD（Single Shot MlutiiBox Detector。例えば非特許文献３）といった物体検出アルゴリズムに基づく識別器や、該識別器によって識別された物体が移動物体である場合にその軌道推定を行うDeepSORT、StrongSORT（例えば非特許文献４）といった軌道推定アルゴリズムを用いることができる。また、画像生成器がLLMなどの生成AIである場合には、画像識別器にも同様にLLM（例えば非特許文献５）などの生成AIを用いることができる。その他、動画に含まれる移動物体（時間的に連続する画像間で位置が変化する物体）をターゲット領域として特定するアルゴリズムなどを用いることもできる。

【0019】

画像データ記憶部１１７には、ユーザにゲームをプレイさせる際に使用可能な画像データが保存されている。画像データ記憶部１１７に保存されている画像のデータには、当該画像に含まれるターゲット領域の位置を特定する情報が対応付けられたものと、該情報が対応付けられていないものの両方が含まれ得る。ターゲット領域は、ユーザがゲームをプレイする際の対象領域を意味し、例えばシューティングゲームにおいては射撃対象物の表示領域、ダンスゲームにおいては模範ダンサーの表示領域をいう。また、画像データ記憶部１１７に保存されている画像のデータには、仮想空間表示データ記憶部１１２に保存されているデータと関連付けられたものと、関連付けられていないものの両方が含まれ得る。

【0020】

仮想空間生成装置１０は、機能ブロックとして、ユーザ認証部２１、仮想空間生成部２２、プレイヤーキャラクター動作処理部２３、画像情報入力受付部２４、画像生成部２５、画像識別部２６、画像表示処理部２７、判定部２８、及びエフェクト生成部２９を備えている。これらの機能ブロックの詳細は後記する。

【0021】

仮想空間生成装置１０は、例えば、クラウドサーバや一般的なパーソナルコンピュータで構成され、予めインストールされた専用のソフトウェア（仮想空間生成プログラム）をプロセッサで実行することにより上記の各機能ブロックが具現化される。

【0022】

ユーザ端末４０は、記憶部４１を備えている。記憶部４１には、ユーザ端末４０を特定するための端末ID情報や、ユーザ端末４０を使用するユーザの情報（ユーザIDの情報等）が保存されている。

【0023】

また、ユーザ端末４０は、ハードウェアとして、姿勢取得部４２、音声入力部４３、音声出力部４４、入力部４５、及び表示部４６を備えている。ユーザ端末４０は、例えばヘッドマウントディスプレイ（HMD）であり、姿勢取得部４２は、各種のセンサ類と、該センサ類の出力信号に基づいてユーザの位置及び姿勢を決定する演算処理部を有している。姿勢取得部４２、音声入力部４３、及び音声出力部４４は所定の頻度（例えば、60回／秒）で仮想空間生成装置１０との間で信号の送受信を行う。これにより、姿勢取得部４２が取得したユーザの位置や姿勢の情報、及び音声入力部４３に入力された音声の情報が仮想空間生成装置１０に送信され、仮想空間におけるプレイヤーキャラクターの位置、姿勢、及び音声に反映される。また、仮想空間において発生した音声の情報等が、音声出力部４４から出力される。表示部４６は、ユーザがユーザ端末４０を頭部に装着した状態でユーザの眼前に位置するように配置されている。その他、ユーザ端末４０は、機能ブロックとしてデータ処理部４８を備えている。

【0024】

次に、本実施形態のゲームシステム１の動作を説明する。

【0025】

ユーザがユーザ端末４０において所定の操作を行うことにより仮想空間生成装置１０にアクセスすると、ユーザ認証部２１は、ユーザIDとパスワードを入力する画面を生成し、そのデータをユーザ端末４０に送信する。ユーザ端末４０では、受信したデータをデータ処理部４８で処理し、上記画面を表示部４６に表示する。使用者がユーザIDとパスワードを入力すると、ユーザ認証部２１は、入力されたユーザIDとパスワードに基づいてユーザを特定する。ここではユーザIDとパスワードを入力する構成としたが、ユーザ端末４０の記憶部４１に保存されたユーザIDとパスワード、又は端末IDを自動的に送信するようにしてもよい。なお、以下の説明においても、仮想空間生成装置１０の各部によって生成される画面の表示データをユーザ端末４０に送信し、その表示データをデータ処理部４８が処理して表示部４６に表示させる処理を行うが、これら一連の処理については繰り返し記載せず、単に「画面を表示部４６に表示する」などと記載する。

【0026】

ユーザ認証部２１によりユーザが特定されると、仮想空間生成部２２は、仮想空間表示データ記憶部１１２から、初期状態として予め決められた仮想空間の表示データを読み出して仮想空間を生成する。また、プレイヤーキャラクター動作処理部２３は、ユーザ情報記憶部１１１に保存されたデータに基づいて当該ユーザが操作するプレイヤーキャラクターの種類を特定する。当該ユーザに対して複数種類のプレイヤーキャラクターが対応付けられている場合には、そのいずれかをユーザに選択させる。そして、キャラクターデータ記憶部１１３に保存されたデータに基づいて仮想空間にプレイヤーキャラクターを登場させる。これと併せて、予め設定されたノンプレイヤーキャラクターを登場させてもよい。

【0027】

ここでは、ユーザがユーザIDとパスワードを入力してログインする形態としたが、ログイン操作を省略してもよい。また、ユーザが操作するプレイヤーキャラクターの種類の情報を予めユーザ情報記憶部１１１に保存しておく形態としたが、ユーザ情報と対応付けることなく、キャラクターデータ記憶部１１３に保存されている複数種類のプレイヤーキャラクターの情報をユーザに提示し、都度、操作対象とするプレイヤーキャラクターをユーザに選択させてもよい。また、ユーザ端末４０の記憶部４１にプレイヤーキャラクターの種類の情報を保存しておき、プレイヤーキャラクター動作処理部２３がその情報を読み出すようにしてもよい。

【0028】

続いて、画像情報入力受付部２４は、ゲームに使用する画像として、既に画像データ記憶部１１７に保存された画像と、新たに生成する画像のいずれを使用するかをユーザに選択させる画面を表示部４６に表示する。

【0029】

ユーザが既存の画像を使用することを選択した場合には、画像情報入力受付部２４は、画像データ記憶部１１７に保存されている画像（ゲーム映像）を表示部４６に一覧表示し、ユーザにそのうちのいずれかを選択させる。

【0030】

ユーザがいずれかの画像を選択すると、画像識別部２６は、選択された画像のデータに、当該画像に含まれるターゲット領域の位置を特定する情報が対応付けられているか否かを確認する。ターゲット領域の位置を特定する情報が対応付けられている場合には、それを併せて読み込む。一方、ターゲット領域の位置を特定する情報が対応付けられていない場合には、画像識別器記憶部１１６に保存されている画像識別器を読み込んで動作させる。

【0031】

また、画像識別部２６は、選択された画像のデータが、仮想空間表示データ記憶部１１２に保存されている仮想空間の表示データと関連付けられているか否かを確認する。仮想空間表示データ記憶部１１２に保存されているデータと対応付けられている場合には、仮想空間生成部２２がそのデータを読み込む。仮想空間表示データ記憶部１１２に保存されているデータと対応付けられていない場合には、画像識別器記憶部１１６に保存されている画像識別器を読み込んで動作させる。なお、画像のデータに対応付けられた仮想空間の表示データとは、後記するスクリーンオブジェクト５に表示される当該画像（ゲーム映像）と同期して表示される仮想空間の表示データである。

【0032】

上記の選択画面においてユーザが新たに生成する画像を使用することを選択した場合には、画像生成部２５は、画像生成器記憶部１１５から画像生成器を読み出すとともに、どのような画像（ゲーム映像）を表示させるかをユーザに問い合わせる。これに対してユーザがユーザ端末４０から音声又はテキストで単語（例えば、シューティングゲーム、森、狩り）又は文章（例えば、森で狩猟を行うシューティングゲーム）を入力すると、画像生成器は入力された音声又はテキストに基づいて画像データを生成する。

【0033】

例えば、ここで作成する画像がダンスゲームの映像である場合、ユーザがダンスゲームをプレイする際には、模範動作を確認した後に、その動作を真似るダンスゲームを生成することができる。その場合には、ユーザがユーザ端末４０から、例えば、「模範フェーズ（模範動作を表示してユーザが確認するフェーズ）とプレイフェーズ（ユーザが確認した模範動作をユーザが真似るフェーズ。このフェーズでは、模範動作を表示してもよく表示しなくてもよい）の2フェーズを1組として構成されるダンスゲーム」といった情報を入力すればよい。また、ダンスゲームでは、模範動作を行うモデルの体格とプレイヤーキャラクターの体格が一致していないと、動作の一致度の判定結果が悪くなることがある。そこで、上記の情報と併せてプレイヤーキャラクターの性別や体格に関する情報を入力するとよい。こうした情報を入力することで、画像生成部２５に、プレイヤーキャラクターの体格と近似したモデルが模範動作を行うダンスゲームの画像を生成させることができる。ここでユーザ端末４０から入力された情報は記憶部１１（例えば画像データ記憶部１１７）に保存される。

【0034】

ゲームに使用する画像の選択又は生成が終了すると、画像表示処理部２７は、仮想空間８の所定位置（例えば、予め決められた距離Lだけ離れてプレイヤーキャラクター９と正対する位置。図２参照。）に透明なスクリーンオブジェクト５を仮想的に表示し、選択又は生成されたデータに基づいて画像を表示（映像の再生を開始）する。スクリーンオブジェクト５が透明であることによって、プレイヤーキャラクター９の視点でスクリーンオブジェクト５を捉えた時に、スクリーンオブジェクト５の裏側に位置する仮想空間も同時に視認することができる。上記のようにスクリーンオブジェクト５は仮想空間に仮想的に表示されるものであり、例えば、他のユーザが操作するプレイヤーキャラクターやノンプレイヤーキャラクターはスクリーンオブジェクト５を自由に通過する（通り抜ける）ことができる。また、その画像に仮想空間表示データ記憶部１１２に保存されているデータと対応付けられている場合には、画像の表示（映像の再生。以下同様。）と並行し、仮想空間生成部２２が、その画像に対応付けられた仮想空間の表示データに基づいて仮想空間を生成する。

【0035】

上記選択又は生成された画像に、仮想空間表示データ記憶部１１２に保存されている仮想空間の表示データと対応付けられていない場合には、画像識別部２６が、画像の表示と並行して画像識別器によりその画像に含まれる要素を識別し、スクリーンオブジェクト５に表示されている画像を拡張した仮想空間８を生成する。例えば、図３に示すように、画像が、空６と地面７を背景とし、空６の領域に太陽６１や雲６２が含まれ、地面７の領域に家７１や道路７２が含まれるものである場合には、仮想空間における、空６と地面７の境界よりも上方の空間に空６０を、該境界よりも下方の空間に地面７０を有する仮想空間８を生成する。また、画像に含まれるものと同様に、空６０に雲６２１を配置したり、地面７０に家７１１を配置したり、スクリーンオブジェクト５から拡張した道路７２１を表示したりする。

【0036】

また、上記選択又は生成された画像のデータにターゲット領域の位置を特定する情報が含まれていない場合には、画像識別部２６が、画像の表示と並行して画像識別器によりその画像に含まれるターゲット領域５２を特定する（図２参照）。

【0037】

スクリーンオブジェクト５に映像を表示する場合、ターゲット領域５２を特定する処理は、該映像のフレームレート（例えば60フレーム／秒）と同じ頻度（例えば60回／秒）で行ってもよいが、仮想空間生成装置１０を構成する装置の性能や、画像識別器の種類によってはそのような高速処理を行うことが難しい場合がある。

【0038】

そこで、画像識別器として、YOLO（You Only Look Onece）、SSD（Single Shot MlutiiBox Detector）といった物体検出アルゴリズムに加えて、これらの物体検出アルゴリズムによって検出された物体の軌道を推定し追跡するDeepSORT、StrongSORTといった軌道推定アルゴリズムを併用するとよい。こうした構成を採ることにより、映像のフレームレートよりも低い頻度（例えば1回／秒）で物体検出を行うのみで、1秒毎に検出された物体の位置と当該物体の推定軌道によってターゲット領域５２を特定すればよくなり、一般的なパーソナルコンピュータで仮想空間生成装置１０を構成することが可能になる。

【0039】

仮想空間に表示される映像によるVR酔いを回避するには、最低60フレーム／秒のフレームレートが要求されるが、こうした技術を用いることにより、高フレームレートの映像を用いたゲームを実現することができる。また、画像識別器として選択可能なアルゴリズムの種類がより多くなる。あるいは、映像に含まれる移動物が全てターゲットである場合には、移動物体を検出してターゲット領域５２として特定する、より単純なアルゴリズムを用いてもよい。

【0040】

スクリーンオブジェクト５に画像が表示（映像が再生）された状態で、ユーザがユーザ端末４０を通じてプレイヤーキャラクター９を操作すると、プレイヤーキャラクター動作処理部２３は、その入力操作に応じて仮想空間８でプレイヤーキャラクター９を動作させる。例えば、ユーザの移動に合わせてプレイヤーキャラクター９が仮想空間で移動し、ユーザが姿勢を変更するとプレイヤーキャラクター９もそれと同じ姿勢に変更される。

【0041】

プレイヤーキャラクター９（又はユーザ）によって第１の所定の動作がなされると、判定部２８が起動する。そして、プレイヤーキャラクター９（又はユーザ）が第２の所定の動作を行うと、判定部２８は、その動作がスクリーンオブジェクト５に表示された画像に対して行われたものであると認識する。所定の動作の具体的な内容はゲームの種類及び内容に応じて異なるため、判定部２８は、ターゲット領域５２の内容に応じて上記第１の所定の動作及び第２の所定の動作の内容を決定する。あるいは、特定の種類のゲームのみを実行する場合には、上記第１の所定の動作及び第２の所定の動作の内容を予め決めておいてもよい。

【0042】

シューティングゲームの場合、第１の所定の動作は、例えばプレイヤーキャラクター９が銃を構える動作であり、第２の所定の動作は、例えばトリガーを操作する動作（銃から弾を発射する動作）である。あるいは、ダンスゲームの場合、第１の所定の動作は、プレイヤーキャラクター９がスクリーンオブジェクト５に正対する動作であり、第２の所定の動作は、スクリーンオブジェクト５に正対した状態から姿勢を変化させる任意の動作である。なお、模範フェーズとプレイフェーズの2フェーズで構成されるダンスゲームの場合、判定部２８は、プレイフェーズにおいてのみ、第１の所定の動作及び第２の所定の動作を検知する。あるいは、プレイヤーキャラクター９が上記画像に対して所定の動作を行うタイミング（該動作を開始するタイミング）を、ユーザがユーザ端末４０における所定の入力操作によって仮想空間生成装置１０に通知し、これを受けて判定部２８が所定時間（例えば10秒間）動作するようにしてもよい。

【0043】

判定部２８は、プレイヤーキャラクター９の動作がスクリーンオブジェクト５に表示された画像に対して行われたものであると認識すると、その動作がターゲット領域５２に対して行われたものであるか否かを判定する。例えば、シューティングゲームでは、プレイヤーキャラクター９が構えた銃から発射される銃弾がターゲット領域５２を通過するか否かを判定する。シューティングゲームのように、プレイヤーキャラクター９からスクリーンオブジェクト５に対して何らかの物体が発せられるゲームの場合、エフェクト生成部２９は、プレイヤーキャラクター９が構えた銃の銃口から、銃身が延びる方向に銃弾の軌跡９１を示す光線を発射する。

【0044】

このとき、判定部２８は、例えば、スクリーンオブジェクト５の背面（プレイヤーキャラクター９と反対側の面）に透明な判定パネル５１を仮想的に配置し、該スクリーンオブジェクト５を通過した光線の、判定パネル５１における入射位置５１２と、スクリーンオブジェクト５におけるターゲット領域５２に対応する判定パネル５１上のターゲット領域５１１の重なりの有無に基づいて、その銃弾がターゲット領域５２に的中したか否かを判定する（図４参照）。これは、判定部２８による的中判定の一例であって、的中判定の方法は適宜に変更可能である。

【0045】

また、例えば、ダンスゲームの場合には、図５に示すように、判定部２８は、プレイヤーキャラクター９の背面（スクリーンオブジェクト５と反対側）に光源５４を仮想的に配置し、またスクリーンオブジェクト５の背面に透明な判定パネル５１を仮想的に配置して、光源５４からプレイヤーキャラクター９に光を照射することで判定パネル５１上に投影されたプレイヤーキャラクター９のシルエット領域５１３と、スクリーンオブジェクト５におけるターゲット領域５２に対応する判定パネル５１上のターゲット領域５１１の重なり度合に基づいてプレイヤーキャラクター９が行ったダンスを採点するように構成することもできる（図６参照）。光源５４を用いることは必須でなく、プレイヤーキャラクター９のシルエット領域５１３を判定パネル５１に映し出すことができるものであれば任意の構成を採ることができる。例えば、スクリーンオブジェクト５の側からプレイヤーキャラクター９を捉えるカメラを仮想的に配置し、該カメラで捉えたシルエットを判定パネル５１に投影するなどしてもよい。上記のとおり、ダンスゲームにおいて模範動作を行うモデルと、プレイヤーキャラクターの体格が一致していないと、動作の一致度の判定結果が悪くなる可能性がある。そこで、ダンスゲームの画像データが、プレイヤーキャラクターの性別や体格に関する情報の入力を受けて生成されたものでない場合には、プレイヤーキャラクター９のシルエットを判定パネル５１に映し出す際に、両者の体格（身長や身体の幅）を揃えるなどの処理を行うとよい。

【0046】

ここでは、スクリーンオブジェクト５におけるターゲット領域５２に対応する判定パネル５１上のターゲット領域５１１の重なり度合に基づいてプレイヤーキャラクター９が行ったダンスを採点する形態としたが、これ以外にも様々な方法を採ることができる。例えば、ユーザ端末４２の姿勢取得部４２として、検出したユーザの姿勢からユーザのボーンデータを抽出可能なものを用い、また、プレイヤーキャラクター動作処理部２３がユーザのボーンデータに基づいてプレイヤーキャラクター９を動作させるように構成し、さらに、判定部２８がターゲット領域５２から模範動作を行うモデルのボーンデータを抽出してユーザのボーンデータとの一致度からダンスを採点するようにしてもよい。なお、判定部２８がダンスゲームのプレイ中にリアルタイムでターゲット領域５２からモデルのボーンデータを抽出し、かつユーザのボーンデータとの一致度を判定すると、判定部２８による処理の負荷が過大になることがあり得る。そこで、判定部２８がユーザとモデルのボーンデータの一致度に基づく判定を行う場合には、画像データが選択又は生成された後、その画像データを用いたゲームのプレイが開始される前の時点で、事前に画像データからモデルのボーンデータを抽出する処理を行っておくとよい。あるいは、模範フェーズとプレイフェーズの2フェーズで構成されるダンスゲームの場合には、模範フェーズの画像データを再生している間にモデルのボーンデータを抽出しておいてもよい。

【0047】

あるいは、姿勢取得部４２として、ユーザが手に所持したコントローラや足に装着した特定の物体の位置の変化の情報を抽出し、また、プレイヤーキャラクター動作処理部２３がそれらの位置の情報をプレイヤーキャラクター９の動作（手足の位置の変化）に反映させるように構成し、さらに、判定部２８がターゲット領域５２からモデルの手足の位置の変化を抽出してユーザの手足の位置の変化との一致度からダンスを採点するようにしてもよい（即ち、ユーザの特定の部位の位置と、ターゲット領域５２に含まれるモデルの該特定の部位の位置の変化の一致度からダンスを採点するようにしてもよい）。

【0048】

判定部２８による判定結果は、エフェクト生成部２９によるスクリーンオブジェクト５に画像（又は映像）として表示される。例えば、シューティングゲームの場合には、図２に示すように、エフェクト生成部２９がターゲット領域内の着弾位置を中心として破裂や爆風を表すエフェクト５３を表示したり、着弾位置から血しぶきを発するエフェクトを表示したりするように構成することができる。また、ターゲット領域５２に銃弾が的中したことを示す効果音をエフェクトとして発生させてもよい。あるいは、ターゲット領域５２内の着弾位置の近傍に”HIT！”という文字を表示することによりターゲット領域への的中したことを示すこともできる。また、ダンスゲームの場合には、図５に示すように、エフェクト生成部２９が、判定部２８による判定結果を点数としてスクリーンオブジェクト５に表示したり、各時点での判定部２８による判定結果に応じて”Excellent！”、”Good！”、”Bad”などの文字を表示したりするように構成することができる。これらのエフェクトのデータは、想定されるゲームの種類に応じたものを予めエフェクトデータ記憶部１１４に保存しておく。

【0049】

上記のゲームにおいて用いられた画像（ゲーム映像）が画像生成器によって新たに生成されたものである場合には、ゲーム終了後、その画像（ゲーム映像）のデータは、該ゲーム映像から画像識別器が識別したターゲット領域５２の情報とともに画像データ記憶部１１７に保存される。また、画像識別器によって生成された仮想空間８の表示データが、ゲーム映像のデータと対応付けられて仮想空間表示データ記憶部１１２に保存される。さらに、ゲームにおいて用いられたゲーム映像が予め画像データ記憶部１１７に保存されたものである場合にも、ゲーム終了後、画像識別器によって識別されたターゲット領域５２の情報が画像データ記憶部１１７に保存され、画像識別器によって生成された仮想空間８の表示データが仮想空間表示データ記憶部１１２に保存される。

【0050】

本実施形態のゲームシステム１では、上記のような仮想空間生成装置１０に外部から入力された画像をスクリーンオブジェクト５に表示し、その画像を用いてゲームを楽しむことができる。従来、スクリーンオブジェクトを用いることは提案されていたが、そこに表示された画像を受動的に楽しむものに留まっていた。これに対し、本実施形態の仮想空間生成装置１０及び該仮想空間生成装置１０を含むゲームシステム１を用いることにより、スクリーンオブジェクトに表示された画像を用いた、従来にないゲームを楽しむことができる。

【0051】

また、上記実施形態では、ユーザが単語や文章を音声やテキストで入力することにより、自らの趣向に応じた画像（ゲーム映像）を生成させてそれを楽しむことができる。

【0052】

上記実施形態は一例であって、本発明の趣旨に沿って適宜に変更することができる。

【0053】

上記実施形態ではゲームシステム１として説明したが、本発明に係る仮想空間生成装置はゲーム以外にも使用可能である。例えば、ヨガやトレーニングなどの訓練を行うためにも上記実施形態と同様の構成のシステムを好適に用いることができる。また、上記実施形態では、仮想空間生成装置１０とユーザ端末４０によりゲームシステム１を構成したが、仮想空間生成装置１０の記憶部や機能ブロックの一部又は全部をユーザ端末４０の記憶部
や機能ブロックとしてもよい。

【0054】

上記実施形態では、ターゲット領域を含む画像をスクリーンオブジェクトに表示したが、他の方法を採ることもできる。例えば、スクリーンオブジェクトを用いることなく、ターゲット領域に相当する画像のホログラムを仮想空間に生成してもよい。また、上記実施形態では、矩形状のスクリーンオブジェクト５を配置し、ターゲット領域と非ターゲット領域を含む画像を表示したが、ターゲット領域と同じ外形を有するスクリーンオブジェクトにターゲット領域のみを表示してもよい。スクリーンオブジェクト自体が仮想的に配置されるものであるため、その形状は瞬時に、かつ任意に変更可能である。上記実施形態では、判定部２８が判定パネル５１を用いる例を説明したが、判定パネル５１を用いることなく判定を行ってもよい。

【0055】

上記実施形態では画像生成器によってゲーム映像を作成し、そのゲーム映像に含まれるターゲット領域を画像識別器が検出する例を説明したが、画像形成器が、ターゲット領域を含む初期画像を生成し、画像生成器がそのターゲット領域に予め決められた動きを与えることによってゲーム映像を生成することもできる。例えば、動物の場合には、プレイヤーキャラクター９に向かって突進する軌道、飛行機の場合には、プレイヤーキャラクター９に向かいつつ旋回する軌道などを予め設定しておけばよい。この場合には、画像生成器によって与えられた動きのデータを用いて画像識別器が容易にゲーム画像に含まれるターゲット領域を追跡することができる。また、ターゲット領域の特性（飛行機、動物など）に応じてターゲット領域からプレイヤーキャラクターに向かって予め決められた攻撃を発するように構成することもできる。

【0056】

上記実施形態では一人のユーザがゲームを楽しむ例を説明したが、複数のユーザがそれぞれのユーザ端末４０を使用し、1つの仮想空間で同時にゲームを楽しむこともできる。

【0057】

［態様］
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。

【0058】

（第１項）
本発明の一態様に係る仮想空間生成装置は、
仮想空間の表示データ、及び該仮想空間において動作するプレイヤーキャラクターの表示データが保存された表示データ記憶部と、
前記表示データ記憶部に保存された前記仮想空間の表示データを用いて仮想空間を生成する仮想空間生成部と、
前記表示データ記憶部に保存された前記プレイヤーキャラクターの表示データを用い、外部からの入力操作に応じて前記仮想空間でプレイヤーキャラクターを動作させるプレイヤーキャラクター動作処理部と、
ターゲット領域を含む画像のデータに基づいて該画像を前記仮想空間内に生成する画像表示処理部と、
前記プレイヤーキャラクターにより、前記画像に対する所定の動作が行われたときに、該動作が前記ターゲット領域に対して行われたものであるか否かを判定する判定部と、
前記判定部による判定結果を出力する判定結果出力部と
を備える。

【0059】

第１項に係る仮想空間生成装置では、画像表示処理部が、ターゲット領域を含む画像を仮想空間内に生成する。ユーザが、外部入力装置を用いてこの仮想空間生成装置に対してプレイヤーキャラクターを動作させる入力操作を行うと、プレイヤーキャラクター動作処理部はその入力操作に応じて仮想空間でプレイヤーキャラクターを動作させる。外部入力装置は、例えばヘッドマウントディスプレイ（HMD）であり、その表示部には、プレイヤーキャラクターの視点で捉えた仮想空間の画像が表示される。

【0060】

仮想空間内に生成される画像のデータは外部から入力される。画像におけるターゲット領域の位置を特定する情報は、外部から入力される画像のデータに含まれていてもよく、含まれていなくてもよい（即ち、画像表示処理部が画像を生成する時点で、当該画像に含まれるターゲット領域が不定であってもよい）。後者の場合には、上記判定部として、様々な種類のゲームについて、そのゲーム画像に含まれるターゲット領域を予め機械学習させた学習済モデルを用いた識別器を含むものを用いてターゲット領域を特定するとよい。また、この画像データは、予め用意されたものであってもよく、あるいはユーザが入力したキーワードに基づいて大規模言語モデル（LLM: Large Language Models）等によって生成されたものであってもよい。後者の場合には、上記判定部として同じくLLMを用いた識別器を含むものを用いるとよい。

【0061】

ユーザにより操作されるプレイヤーキャラクターが、仮想空間内に生成された画像に対する所定の動作を行うと、判定部は、その動作がターゲット領域に対して行われたものであるか否かを判定し、判定結果出力部はその判定結果を出力する。例えば生成される画像がシューティングゲームに関するものである場合には、所定の動作はプレイヤーキャラクターによる射撃動作であり、判定部は、プレイヤーキャラクターの動作によって発射された銃弾が該画像に含まれるターゲット領域（敵キャラクター、飛行機、動物など）に命中したか否かを判定する。あるいは、例えば、仮想空間内に生成される画像がダンスゲームに関するものである場合には、所定の動作はプレイヤーキャラクターのダンス動作であり、判定部は、プレイヤーキャラクターの身体の動きと該画像に含まれるターゲット領域（ダンサーの身体）の一致度を判定する。これにより、ユーザは、仮想空間内に生成される画像に対してプレイヤーキャラクターを動作させるという、従来にないゲームを楽しむことができる。

【0062】

（第２項）
第２項に係る仮想空間生成装置は、第１項に係る仮想空間生成装置において、
前記画像表示処理部が、前記仮想空間にスクリーンオブジェクトを配置し、該スクリーンオブジェクトに前記画像を表示する
ものである。

【0063】

（第３項）
第３項に係る仮想空間生成装置は、第２項に係る仮想空間生成装置において、
前記スクリーンオブジェクトは透明なオブジェクトであり、
前記判定部は、前記スクリーンオブジェクトの背面に判定パネルを配置し、該判定パネル上での、前記プレイヤーキャラクターによる、前記画像に対して行われた動作の範囲と、前記ターゲット領域の重なりに基づいて前記判定を行う
ものである。

【0064】

第１項に係る仮想空間生成装置において、仮想空間に画像を生成する方法の1つとして、第２項に記載のように、仮想空間に配置したスクリーンオブジェクトに画像を表示させることが考えられる。また、第２項に記載の仮想空間生成装置では、第３項に記載のように、スクリーンオブジェクトの背面に配置した判定パネルを用いてプレイヤーキャラクターの動作がターゲット領域に対して行われたものであるか否かを判定することができる。

【0065】

（第４項）
第４項に係る仮想空間生成装置は、第１項から第３項のいずれかに係る仮想空間生成装置において、さらに、
単語又は文章に基づいて画像を生成する画像生成器が保存された画像生成器記憶部と、
前記画像に関する単語又は文章の入力を受け付ける画像情報入力受付部と
を備え、
前記画像表示処理部は、前記画像情報入力受付部に入力された単語又は文章を前記画像生成器に入力することによって前記画像のデータを生成する
ものである。

【0066】

第４項に係る仮想空間生成装置では、ユーザが、自らの趣向に応じて任意の画像を生成させ、その画像を用いたゲームを楽しむことできる。

【0067】

（第５項）
第５項に係る仮想空間生成装置は、第４項に係る仮想空間生成装置において、
前記画像生成器が大規模言語モデルを含む。

【0068】

第４項に係る仮想空間生成装置における画像生成器として、第５項に記載の大規模言語モデル（LLM: Large Language Models）を好適に用いることができる。

【0069】

（第６項）
第６項に係る仮想空間生成装置は、第１項から第５項のいずれかに係る仮想空間生成装置において、さらに、
ゲーム画像と、該ゲーム画像に含まれるターゲット領域の組から成る学習データを用いた機械学習によって作成された学習済モデルで構成された、画像に含まれる物体を識別する画像識別器が保存された画像識別器記憶部
を備え、
前記判定部は、前記画像識別器によって前記画像に含まれるターゲット領域を特定する
ものである。

【0070】

第６項に係る仮想空間生成装置では、ターゲット領域が事前に特定されていない、任意の画像を用いてゲームを楽しむことができる。

【0071】

（第７項）
第７項に係る仮想空間生成装置は、第６項に係る仮想空間生成装置において、
前記画像識別器が物体検出アルゴリズム、該物体検出アルゴリズムにより検出された移動物体の軌道推定を行うアルゴリズム、及び大規模言語モデルのうちの少なくとも1つを含む。

【0072】

第６項に係る仮想空間生成装置における画像識別器として、第７項に記載の物体検出アルゴリズム（例えば、YOLO（You Only Look Onece）、SSD（Single Shot MlutiiBox Detector））、該物体検出アルゴリズムにより検出された移動物体の軌道推定を行うアルゴリズム（例えば、DeepSORT、StrongSORT）、及び／又は大規模言語モデル（LLM: Large Language Models）を好適に用いることができる。

【符号の説明】

【0073】

１…ゲームシステム
１０…仮想空間生成装置
１１…記憶部
１１１…ユーザ情報記憶部
１１２…仮想空間表示データ記憶部
１１３…キャラクターデータ記憶部
１１４…エフェクトデータ記憶部
１１５…画像生成器記憶部
１１６…画像識別器記憶部
１１７…画像データ記憶部
２１…ユーザ認証部
２２…仮想空間生成部
２３…プレイヤーキャラクター動作処理部
２４…画像情報入力受付部
２５…画像生成部
２６…画像識別部
２７…画像表示処理部
２８…判定部
２９…エフェクト生成部
４０…ユーザ端末
４１…記憶部
４２…姿勢取得部
４３…音声入力部
４４…音声出力部
４５…入力部
４６…表示部
４８…データ処理部
５…スクリーンオブジェクト
５１…判定パネル
５１１…判定パネル上のターゲット領域
５１２…入射位置
５１３…プレイヤーキャラクターのシルエット領域
５２…ターゲット領域
５３…エフェクト
５４…光源
６、６０…空
６１…太陽
６２、６２１…雲
７、７０…地面
７１、７１１…家
７２、７２１…道路
８…仮想空間
９…プレイヤーキャラクター
９１…軌跡

【要約】

【課題】従来にないゲーム性を有する仮想空間生成装置を提供する。
【解決手段】仮想空間の表示データ及びプレイヤーキャラクターの表示データが保存された表示データ記憶部（１１２、１１３）と、仮想空間の表示データを用いて仮想空間を生成する仮想空間生成部（２２）と、プレイヤーキャラクターの表示データを用い外部からの入力操作に応じて仮想空間でプレイヤーキャラクターを動作させるプレイヤーキャラクター動作処理部（２３）と、外部から入力されるターゲット領域を含む画像のデータに基づいて該画像を仮想空間内に生成する画像表示処理部（２７）と、プレイヤーキャラクターによる所定の動作がターゲット領域に対して行われたものであるか否かを判定する判定部（２８）と、判定部による判定結果を出力する判定結果出力部（２９）とを備える仮想空間生成装置（１０）。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】