(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024107935
(43)【公開日】2024-08-09
(54)【発明の名称】プログラム
(51)【国際特許分類】
G06T 13/40 20110101AFI20240802BHJP
H04N 21/854 20110101ALI20240802BHJP
【ＦＩ】
G06T13/40
H04N21/854
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023012137
(22)【出願日】2023-01-30
(71)【出願人】
【識別番号】509070463
【氏名又は名称】株式会社コロプラ
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】梶山 万悠子
【テーマコード（参考）】
5B050
5C164
【Ｆターム（参考）】
5B050AA08
5B050BA08
5B050BA09
5B050BA12
5B050CA07
5B050EA07
5B050EA12
5B050EA27
5C164FA29
5C164MA03S
5C164MC05P
5C164SB41S
5C164YA27
(57)【要約】
【課題】簡単な操作で、魅力ある映像コンテンツの素材を得ることができるプログラム及びシステムを提供する。
【解決手段】プログラムは、コンピュータを、仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、複数の仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させる。
【選択図】図１１
【解決手段】プログラムは、コンピュータを、仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、複数の仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させる。
【選択図】図１１
【特許請求の範囲】
【請求項1】
コンピュータを、
仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させる、プログラム。
仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させる、プログラム。
【請求項2】
請求項１に記載のプログラムにおいて、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を設定し、
前記コンピュータを、設定された前記撮像条件を満たすように、前記対象オブジェクトの動作に追従して複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させる、プログラム。
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を設定し、
前記コンピュータを、設定された前記撮像条件を満たすように、前記対象オブジェクトの動作に追従して複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させる、プログラム。
【請求項3】
請求項１に記載のプログラムにおいて、
前記対象オブジェクトは、ユーザ端末を通じて操作されるユーザキャラクタであり、
前記映像生成手段は、さらに、前記ユーザキャラクタの自己視点から前記仮想空間内を撮像した自己視点映像を生成すると共に、複数の前記仮想カメラそれぞれを前記自己視点映像に含めるか否かを切り替え、
前記コンピュータを、前記ユーザキャラクタを操作する前記ユーザ端末に前記自己視点映像を表示させる映像表示手段として機能させる、プログラム。
前記対象オブジェクトは、ユーザ端末を通じて操作されるユーザキャラクタであり、
前記映像生成手段は、さらに、前記ユーザキャラクタの自己視点から前記仮想空間内を撮像した自己視点映像を生成すると共に、複数の前記仮想カメラそれぞれを前記自己視点映像に含めるか否かを切り替え、
前記コンピュータを、前記ユーザキャラクタを操作する前記ユーザ端末に前記自己視点映像を表示させる映像表示手段として機能させる、プログラム。
【請求項4】
請求項１に記載のプログラムにおいて、
前記映像生成手段は、複数の前記仮想カメラそれぞれについて、前記対象オブジェクトと異なる周辺オブジェクトのうち、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトを、前記設定視点映像に含めるか否かを切り替える、プログラム。
前記映像生成手段は、複数の前記仮想カメラそれぞれについて、前記対象オブジェクトと異なる周辺オブジェクトのうち、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトを、前記設定視点映像に含めるか否かを切り替える、プログラム。
【請求項5】
請求項４に記載のプログラムにおいて、
前記映像生成手段は、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトのうち、前記仮想カメラとの距離が閾値距離以上の前記周辺オブジェクトのみを前記設定視点映像に含める、プログラム。
前記映像生成手段は、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトのうち、前記仮想カメラとの距離が閾値距離以上の前記周辺オブジェクトのみを前記設定視点映像に含める、プログラム。
【請求項6】
請求項１に記載のプログラムにおいて、
前記コンピュータを、複数の前記設定視点映像を編集して視聴映像を生成する編集手段として機能させる、プログラム。
前記コンピュータを、複数の前記設定視点映像を編集して視聴映像を生成する編集手段として機能させる、プログラム。
【請求項7】
請求項６に記載のプログラムにおいて、
前記編集手段は、複数の前記対象オブジェクトそれぞれを撮像した複数セットの前記設定視点映像を用いて、前記視聴映像を生成する、プログラム。
前記編集手段は、複数の前記対象オブジェクトそれぞれを撮像した複数セットの前記設定視点映像を用いて、前記視聴映像を生成する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラムに関する。
【背景技術】
【0002】
従来より、ユーザの動きをキャプチャしてＶＲ空間内のキャラクタを動作させる技術が知られている。そして、この技術を利用して、ＶＲ空間内のキャラクタにパフォーマンス（例えば、歌唱、楽器演奏、ダンス等）をさせた様子が、映像コンテンツとして配信されている。
【0003】
このような映像コンテンツの魅力を高める方法の一つとして、様々な方向（例えば、正面、側面、上半身のアップなど）から撮影したキャラクタの映像を組み合わせることが考えられる。そこで、仮想空間内に配置された仮想カメラの位置を切り替える技術が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－０９９８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、キャラクタを操作しながら仮想カメラの位置を切り替えようとすると、作業が煩雑になるばかりでなく、キャラクタの動きの連続性が失われて、映像コンテンツとしての魅力が損なわれる。
【0006】
本発明は、上記の事情に鑑みてなされたものであり、その目的は、簡単な操作で、魅力ある映像コンテンツの素材を得ることができるプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明は、前記課題を解決するため、本発明に係るプログラムは、コンピュータを、仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させる。
【発明の効果】
【0008】
本発明によれば、簡単な操作で、魅力ある映像コンテンツの素材を得ることができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係るシステムの概要を示す図である。
【図2】サーバのハードウェア構成図である。
【図3】ユーザ端末の一例であるＨＭＤセットのハードウェア構成図である。
【図4】ユーザ端末の他の例であるタブレット端末のハードウェア構成図である。
【図5】仮想空間の一態様を概念的に表す図である。
【図6】仮想空間において視界領域をＸ方向から見たＹＺ断面を表す図である。
【図7】仮想空間において視界領域をＹ方向から見たＸＺ断面を表す図である。
【図8】サーバ及びユーザ端末の機能ブロック図である。
【図9】撮像条件設定画面の画面例である。
【図10】ユーザ端末の処理を示すフローチャートである。
【図11】ステップＳ１１、Ｓ１２に対応する仮想空間の概念図である。
【図12】自己視点映像生成＆表示処理のフローチャートである。
【図13】設定視点カメラの表示／非表示を切り替えた場合の自己視点映像の例を示す図である。
【図14】設定視点映像生成＆保存処理のフローチャートである。
【図15】設定視点カメラで他人アバターの表示／非表示を切り替えた場合の設定視点映像の例を示す図である。
【図16】設定視点カメラで閾値距離を変更した場合の設定視点映像の例を示す図である。
【図17】設定視点映像を編集する処理のフローチャートである。
【図18】編集画面及び視聴映像の例である。
【発明を実施するための形態】
【0010】
以下、実施形態に係るシステム１を図面に基づいて説明する。なお、以下に記載する本発明の実施形態は、本発明を具体化する際の一例を示すものであって、本発明の範囲を実施形態の記載の範囲に限定するものではない。従って、本発明は、実施形態に種々の変更を加えて実施することができる。
【0011】
［システム１の概要］
図１は、本実施形態に係るシステム１の概要を示す図である。図１に示すように、システム１は、サーバ１０と、ユーザ端末２０Ａ、２０Ｂ、２０Ｃ（以下、これらを総称して、「ユーザ端末２０」と表記することがある。）とを主に備える。なお、図１には３つのユーザ端末２０が図示されているが、システム１に含まれるユーザ端末２０の例はこれに限定されない。サーバ１０及びユーザ端末２０は、通信ネットワーク２を介して相互通信可能に接続されている。通信ネットワーク２の具体例は特に限定されないが、例えば、インターネット、移動体通信システム（例えば、４Ｇ、５Ｇなど）、Ｗｉ－Ｆｉ（登録商標）などの無線ネットワーク、またはこれらの組み合わせで構成される。
図１は、本実施形態に係るシステム１の概要を示す図である。図１に示すように、システム１は、サーバ１０と、ユーザ端末２０Ａ、２０Ｂ、２０Ｃ（以下、これらを総称して、「ユーザ端末２０」と表記することがある。）とを主に備える。なお、図１には３つのユーザ端末２０が図示されているが、システム１に含まれるユーザ端末２０の例はこれに限定されない。サーバ１０及びユーザ端末２０は、通信ネットワーク２を介して相互通信可能に接続されている。通信ネットワーク２の具体例は特に限定されないが、例えば、インターネット、移動体通信システム（例えば、４Ｇ、５Ｇなど）、Ｗｉ－Ｆｉ（登録商標）などの無線ネットワーク、またはこれらの組み合わせで構成される。
【0012】
本実施形態に係るシステム１は、サーバ１０が提供する共通の仮想空間を、複数のユーザ端末２０Ａ～２０Ｃそれぞれのユーザに体験させるためのシステムである。より詳細には、ユーザ端末２０は、ユーザに関連付けられたユーザキャラクタ（以下、「アバター」と表記することがある。）を仮想空間に配置し、予め設定された視点から仮想空間を見た画像をユーザ端末２０に表示させる。
【0013】
また、ユーザ端末２０は、操作装置に対するユーザの操作に連動して、仮想空間内でアバターを動作させる。アバターの動作とは、例えば、仮想空間内で移動すること、身体の各部を動かすこと、姿勢を変えること、顔の表情を変化させること、発話すること、仮想空間内に配置されたオブジェクトを動かすことなどを含む。
【0014】
また、ユーザ端末２０は、アバターの動作やステータスの変化を示すアバターデータを、通信ネットワーク２を通じてサーバ１０に送信する。サーバ１０は、ユーザ端末２０から受信したアバターデータを、通信ネットワーク２を通じて他のユーザ端末２０に送信する。そして、ユーザ端末２０は、サーバ１０から受信したアバターデータに基づいて、仮想空間内の対応するアバターの動作やステータスを更新する。
【0015】
また、ユーザ端末２０は、仮想空間内のアバターを予め設定した設定視点から撮像して、設定視点映像を生成する。また、ユーザ端末２０は、生成した設定視点映像を編集して視聴映像を生成し、生成した視聴映像をサーバ１０にアップロードする。さらに、ユーザ端末２０は、サーバ１０から視聴映像をダウンロードしてユーザに視聴させる。
【0016】
以下、アバターを動作させるためのユーザ端末２０を「プレイ端末」と表記し、設定視点映像を編集するためのユーザ端末２０を「編集端末」と表記し、視聴映像を視聴するためのユーザ端末２０を「視聴端末」と表記することがある。プレイ端末、編集端末、視聴端末は、同一の端末でもよいし、異なる端末でもよい。例えば、プレイ端末としてはＨＭＤセットが好適であり、編集端末としてはラップトップ型コンピュータまたはデスクトップコンピュータが好適であり、視聴端末としてはタブレット端末またはスマートフォンが好適である。但し、各端末の具体的な形態は、前述の例に限定されない。
【0017】
［サーバ１０の構成］
図２は、サーバ１０のハードウェア構成図である。サーバ１０は、例えば、ワークステーション、またはパーソナルコンピュータなどの汎用コンピュータで実現される。図２に示すように、サーバ１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、入出力インタフェース１４と、通信インタフェース１５とを主に備える。サーバ１０の各構成要素は、通信バス１９に接続されている。
図２は、サーバ１０のハードウェア構成図である。サーバ１０は、例えば、ワークステーション、またはパーソナルコンピュータなどの汎用コンピュータで実現される。図２に示すように、サーバ１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、入出力インタフェース１４と、通信インタフェース１５とを主に備える。サーバ１０の各構成要素は、通信バス１９に接続されている。
【0018】
プロセッサ１１は、メモリ１２またはストレージ１３に格納されているサーバプログラム１３Ｐに含まれる一連の命令を実行することによって、後述する処理を実現する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、その他のデバイスとして実現される。
【0019】
メモリ１２は、サーバプログラム１３Ｐ及びデータを一時的に保持する。サーバプログラム１３Ｐは、例えば、ストレージ１３からロードされる。データは、サーバ１０に入力されたデータと、プロセッサ１１によって生成されたデータとを含む。例えば、メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他の揮発メモリとして実現される。
【0020】
ストレージ１３は、サーバプログラム１３Ｐ及びデータを永続的に保持する。ストレージ１３は、例えば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。また、ストレージ１３は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに他の例として、ストレージ１３は、サーバ１０に内蔵されることに代えて、外部記憶装置としてサーバ１０に接続されていてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のユーザ端末２０が使用される場面において、サーバプログラム１３Ｐやデータの更新を一括して行うことが可能になる。
【0021】
入出力インタフェース１４は、モニタ、入力装置（例えば、キーボード、ポインティングデバイス）、外部記憶装置、スピーカ、カメラ、マイク、センサ等の外部装置をサーバ１０に接続するためのインタフェースである。プロセッサ１１は、入出力インタフェース１４を通じて外部装置と通信する。入出力インタフェース１４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、登録商標）、その他の端子で用いて実現される。
【0022】
通信インタフェース１５は、通信ネットワーク２に接続されている他の装置（例えば、ユーザ端末２０）と通信する。通信インタフェース１５は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）など有線通信インタフェース、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などの無線通信インタフェースとして実現される。
【0023】
［ユーザ端末２０の構成］
図３は、ユーザ端末２０の一例であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）セットのハードウェア構成図である。図４は、ユーザ端末２０の他の例であるタブレット端末のハードウェア構成図である。ユーザ端末２０は、例えば、図３に示すＨＭＤセット、図４に示すタブレット端末の他、スマートフォン、フィーチャーフォン、ラップトップ型コンピュータ、デスクトップコンピュータなどとして実現される。
図３は、ユーザ端末２０の一例であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）セットのハードウェア構成図である。図４は、ユーザ端末２０の他の例であるタブレット端末のハードウェア構成図である。ユーザ端末２０は、例えば、図３に示すＨＭＤセット、図４に示すタブレット端末の他、スマートフォン、フィーチャーフォン、ラップトップ型コンピュータ、デスクトップコンピュータなどとして実現される。
【0024】
図３に示すように、ＨＭＤセットとして実現されるユーザ端末２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、入出力インタフェース２４と、通信インタフェース２５とを有するコンピュータ２６を備える。コンピュータ２６の各構成要素は、通信バス２９に接続されている。プロセッサ２１、メモリ２２、ストレージ２３、入出力インタフェース２４、通信インタフェース２５、通信バス２９の基本的な構成は、図２に示すプロセッサ１１、メモリ１２、ストレージ１３、入出力インタフェース１４、通信インタフェース１５、通信バス１９と共通する。また、ストレージ２３は、端末プログラム２３Ｐを保持する。
【0025】
また、ＨＭＤセットとして実現されるユーザ端末２０は、コンピュータ２６の外部装置として、ＨＭＤ３０と、動きセンサ４１と、操作装置４２とを備える。ＨＭＤ３０、動きセンサ４１、及び操作装置４２は、入出力インタフェース２４を通じてプロセッサ２１に接続されている。
【0026】
ＨＭＤ３０は、ユーザの頭部に装着されて、仮想空間をユーザに提供する。より詳細には、ＨＭＤ３０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。ＨＭＤ３０は、モニタ３１（表示装置）と、注視センサ３２と、カメラ３３、３４と、マイク３５と、スピーカ３６とを主に備える。
【0027】
一例として、モニタ３１は、非透過型の表示装置として実現される。モニタ３１は、例えば、ユーザの両目の前方に位置するようにＨＭＤ３０の本体に配置されている。非透過型のモニタ３１は、例えば、液晶モニタ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）モニタとして実現される。
【0028】
他の例として、モニタ３１は、透過型の表示装置として実現される。この場合のＨＭＤ３０は、ユーザの目を覆う密閉型ではなく、メガネ型のような開放型となる。モニタ３１は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。一例として、透過型のモニタ３１は、ＨＭＤ３０に搭載されたカメラで撮像した現実空間の画像を表示してもよい。他の例として、透過型のモニタ３１は、透過率を調整可能に構成されていてもよい。そして、透過型のモニタ３１は、表示領域の一部の透過率を高く設定して、現実空間を直接視認できるようにしてもよい。
【0029】
また、モニタ３１は、ユーザに３次元画像を視認させるために、以下の構成を採用してもよい。一例として、モニタ３１は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含んでもよい。他の例として、モニタ３１は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合のモニタ３１は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
【0030】
注視センサ３２は、ユーザの右目及び左目の視線が向けられる方向を検知する。つまり、注視センサ３２は、ユーザの視線を検知する。注視センサ３２は、例えば、アイトラッキング機能を有するセンサにより実現される。注視センサ３２は、右目用のセンサ及び左目用のセンサを含むことが好ましい。注視センサ３２は、ユーザの右目及び左目に赤外光を照射するとともに、照射光に対する角膜及び虹彩からの反射光を受けることにより各眼球の回転角を検知する。そして、注視センサ３２は、検知した各回転角に基づいて、ユーザの視線を特定する。
【0031】
カメラ３３は、ＨＭＤ３０を装着したユーザの顔の上部（より詳細には、ユーザの目、眉など）を撮像する。カメラ３４は、ＨＭＤ３０を装着したユーザの顔の下部（より詳細には、ユーザの鼻、口など）を撮像する。例えば、ＨＭＤ３０の筐体のうち、ユーザに対面する側にカメラ３３が取り付けられ、ユーザと対面する側と反対側にカメラ３４が取り付けられる。なお、ＨＭＤ３０は、２台のカメラ３３、３４に代えて、ユーザの顔全体を撮像する１台のカメラを備えてもよい。
【0032】
マイク３５は、ユーザの発話を音声信号（電気信号）に変換してコンピュータ２６に出力する。スピーカ３６は、コンピュータ２６から出力された音声信号を音声に変換してユーザに出力する。なお、ＨＭＤ３０は、スピーカ３６に替えてイヤホンを含み得る。
【0033】
動きセンサ４１は、ＨＭＤ３０の動きを検出するためのポジショントラッキング機能を有する。一例として、動きセンサ４１は、ＨＭＤ３０が発する複数の赤外線を読み取って、現実空間内におけるＨＭＤ３０の位置及び傾きを検出してもよい。他の例として、動きセンサ４１は、カメラで実現されてもよい。この場合の動きセンサ４１は、カメラから出力されるＨＭＤ３０の画像情報を解析して、ＨＭＤ３０の位置及び傾きを検出する。さらに他の例として、動きセンサ４１は、角速度センサ、地磁気センサ、あるいは加速度センサで実現されてもよい。
【0034】
操作装置４２は、有線または無線によりコンピュータ２６に接続されている。操作装置４２は、ユーザによるコンピュータ２６に対する命令の入力（操作）を受け付ける。一例として、操作装置４２は、ユーザが把持した状態で操作する、所謂コントローラでもよい。他の例として、操作装置４２は、ユーザの身体あるいは衣類の一部に装着可能に構成され、モーションセンサによってユーザの動きを検知するものでもよい。但し、操作装置４２の具体例はこれらに限定されず、キーボード、ポインティングデバイス、タッチパネルなどでもよい。
【0035】
図４に示すように、タブレット端末として実現されるユーザ端末２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信インタフェース２５と、モニタ３１と、カメラ３３、３４と、マイク３５と、スピーカ３６と、動きセンサ４１と、操作装置４２とを主に備える。タブレット端末の各構成要素は、通信バス２９に接続されている。プロセッサ２１、メモリ２２、ストレージ２３、通信インタフェース２５、モニタ３１、カメラ３３、３４、マイク３５、スピーカ３６、動きセンサ４１、操作装置４２の基本的な構成は、ＨＭＤセットの場合と共通するので、以下、タブレット端末に特有の構成を説明する。
【0036】
モニタ３１は、平板状の筐体の表面に設けられている。カメラ３３は、平板状の筐体の表面に取り付けられて、モニタ３１を視認するユーザの顔を撮像する、所謂インカメラである。カメラ３４は、平板状の筐体の裏面（モニタ３１と反対側の面）に取り付けられて、周囲を撮像する、所謂アウトカメラである。動きセンサ４１は、筐体の動き（例えば、互いに直交する３軸周りの回転）を検知する。タブレット端末に好適な操作装置４２としては、例えば、モニタ３１に重畳されて、ユーザによる各種タッチ操作（例えば、タップ、スライド、フリック、ピンチイン、ピンチアウトなど）を受け付けるタッチパネルである。
【0037】
［仮想空間９０の概要］
図５は、仮想空間９０の一態様を概念的に表す図である。図６は、仮想空間９０において視界領域９４をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間９０において視界領域９４をＹ方向から見たＸＺ断面を表す図である。
図５は、仮想空間９０の一態様を概念的に表す図である。図６は、仮想空間９０において視界領域９４をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間９０において視界領域９４をＹ方向から見たＸＺ断面を表す図である。
【0038】
図５に示すように、仮想空間９０は、中心Ｃの３６０度方向の全体を覆う全天球状の構造を有する。図５では説明を複雑にしないために、仮想空間９０の上半分の天球が例示されている。仮想空間９０では各メッシュが規定される。各メッシュの位置は、仮想空間９０に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。仮想空間９０に展開可能なパノラマ画像９１（静止画、動画等）を構成する各部分画像は、仮想空間９０において対応する各メッシュにそれぞれ対応付けられる。
【0039】
例えば、仮想空間９０では、中心Ｃを原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、及び前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。
【0040】
仮想空間９０には、ユーザ端末２０に対応付けられた仮想カメラ９２が配置される。仮想空間９０内における仮想カメラ９２の位置は、仮想空間９０内におけるユーザの視点に相当する。また、仮想カメラ９２の向きは、仮想空間９０におけるユーザの視線（基準視線９３）に相当する。そして、プロセッサ２１は、仮想カメラ９２の位置と向きとに基づいて、仮想空間９０における視界領域９４（仮想カメラ９２の画角）を規定する。
【0041】
図６に示すように、視界領域９４は、ＹＺ断面において領域９５を含む。領域９５は、仮想空間９０内で基準視線９３を含む鉛直断面（ＹＺ断面）において、基準視線９３を中心とする極角αの範囲である。図７に示すように、視界領域９４は、ＸＺ断面において領域９６を含む。領域９６は、仮想空間９０内で基準視線９３を含む水平断面（ＸＺ断面）において、基準視線９３を中心とする方位角βの範囲である。
【0042】
プロセッサ２１は、仮想空間９０に展開されたパノラマ画像９１のうち、視界領域９４に含まれる部分画像を、仮想カメラ９２が撮像した仮想空間画像９７として生成（抽出）する。そして、プロセッサ２１は、生成した仮想空間画像９７をモニタ３１に表示させる。すなわち、視界領域９４は、仮想空間９０内におけるユーザの視界に相当する。さらに、仮想空間９０内で仮想カメラ９２の位置及び向きの変化に追従して視界領域９４が移動し、モニタ３１に表示される仮想空間画像９７が更新される。すなわち、ユーザの視界が移動する。
【0043】
例えば、プロセッサ２１は、操作装置４２で受け付けたユーザの操作に連動して、仮想空間９０内で仮想カメラ９２を移動させる。また、プロセッサ２１は、動きセンサ４１で検知されたユーザ端末２０の動き（例えば、互いに直交する３軸周りの回転）に連動して、仮想カメラ９２の向き（すなわち、基準視線９３）を変化させる。さらに、プロセッサ２１は、位置及び向きが変化した後の仮想カメラ９２で撮像した仮想空間画像９７をモニタ３１に表示させる。
【0044】
［サーバ１０及びユーザ端末２０の機能ブロック図］
図８は、サーバ１０及びユーザ端末２０の機能ブロック図である。図８に示すように、メモリ１２にロードされたサーバプログラム１３Ｐは、サーバ１０を、アバター同期手段１１０、編集補助手段１２０、視聴補助手段１３０として機能させる。また、メモリ２２にロードされた端末プログラム２３Ｐは、ユーザ端末２０（コンピュータ２６）を、仮想空間定義手段２１０、配置手段２２０、カメラ設定手段２３０、カメラ移動手段２４０、映像生成手段２５０、映像表示手段２６０、編集手段２７０として機能させる。
図８は、サーバ１０及びユーザ端末２０の機能ブロック図である。図８に示すように、メモリ１２にロードされたサーバプログラム１３Ｐは、サーバ１０を、アバター同期手段１１０、編集補助手段１２０、視聴補助手段１３０として機能させる。また、メモリ２２にロードされた端末プログラム２３Ｐは、ユーザ端末２０（コンピュータ２６）を、仮想空間定義手段２１０、配置手段２２０、カメラ設定手段２３０、カメラ移動手段２４０、映像生成手段２５０、映像表示手段２６０、編集手段２７０として機能させる。
【0045】
アバター同期手段１１０は、ユーザ端末２０の１つから通信ネットワーク２を通じて受信したアバターデータを、他のユーザ端末２０に送信（中継）する。これにより、全てのユーザ端末２０Ａ～２０Ｃは、同一のアバターデータを保持する。その結果、全てのユーザ端末２０Ａ～２０Ｃそれぞれで定義される仮想空間９０において、同一の位置に同一のアバターが配置される。すなわち、全てのユーザ端末２０Ａ～２０Ｃにおいて、アバターが同期される。
【0046】
編集補助手段１２０は、例えば、プレイ端末（ユーザ端末２０Ａ）で生成された設定視点映像を、編集端末（ユーザ端末２０Ｂ）で編集するのを補助する。より詳細には、編集補助手段１２０は、通信ネットワーク２を通じてプレイ端末から受信した設定視点映像データを、ストレージ１３に保存する。また、編集補助手段１２０は、編集端末の要求に応じて、ストレージ１３に保存された設定視点映像データを、通信ネットワーク２を通じて編集端末に送信する。さらに、編集補助手段１２０は、通信ネットワーク２を通じて編集端末から受信した視聴映像データを、ストレージ１３に保存する。視聴補助手段１３０は、視聴端末（ユーザ端末２０Ｃ）の要求に応じて、ストレージ１３に保存された視聴映像データを、通信ネットワーク２を通じて視聴端末に送信する。
【0047】
なお、編集補助手段１２０及び視聴補助手段１３０の機能の一部または全部は、サーバ１０と独立したコンピュータ上で実現されてもよい。一例として、編集補助手段１２０は、クラウド上で記憶領域を提供するストレージサーバによって実現可能である。他の例として、視聴補助手段１３０は、映像視聴サービス（ストリーミングサービス）を提供するサーバによって実現可能である。
【0048】
仮想空間定義手段２１０は、現実空間に対応する仮想空間９０を定義する。より詳細には、仮想空間定義手段２１０は、仮想空間９０を示す仮想空間データをメモリ２２に展開する。仮想空間データは、例えば、パノラマ画像９１と、仮想空間９０内に配置されるオブジェクト（例えば、建物、植物）の形状及び位置とを示す。なお、仮想空間データは、予めサーバ１０からダウンロードしてストレージ２３に保持されていてもよいし、仮想空間９０を定義する際にサーバ１０からダウンロードされてもよい。また、仮想空間定義手段２１０は、複数の仮想空間９０のうちから操作装置４２を通じて選択された仮想空間９０を定義してもよい。仮想空間９０を定義する具体的な処理は既に周知なので、詳細な説明は省略する。
【0049】
配置手段２２０は、仮想空間定義手段２１０で定義された仮想空間９０にキャラクタを配置する。ここでは、ユーザ端末２０Ａで端末プログラム２３Ｐが実行される場合を説明する。配置手段２２０が仮想空間９０に配置するキャラクタは、ユーザ端末２０Ａのユーザのアバター（以下、「本人アバター」と表記する。）と、他のユーザ端末２０Ｂ、２０Ｃのユーザのアバター（以下、「他人アバター」と表記する。）とを含む。
【0050】
まず、配置手段２２０は、ストレージ２３に予め記憶されているアバターデータに基づいて、本人アバターを仮想空間９０に配置する。そして、配置手段２２０は、本人アバターのアバターデータを、通信ネットワーク２を通じてサーバ１０に送信する。また、配置手段２２０は、本人アバターの動作を指示するユーザの操作を操作装置４２を通じて受け付けた場合に、当該操作に従って仮想空間９０内で本人アバターを動作させる。そして、配置手段２２０は、本人アバターの動作後の状態を示すようにアバターデータを更新し、更新したアバターデータを通信ネットワーク２を通じてサーバ１０に送信する。
【0051】
また、配置手段２２０は、他人アバターのアバターデータを、通信ネットワーク２を通じてサーバ１０から受信する。そして、配置手段２２０は、サーバ１０から受信したアバターデータに基づいて、他人アバターを仮想空間９０に配置する。さらに、配置手段２２０は、アバターデータが更新される度に他人アバターを配置し直すことによって、仮想空間９０内で他人アバターが動作する。
【0052】
カメラ設定手段２３０は、操作装置４２を通じたユーザの操作に従って、仮想カメラ９２（より詳細には、設定視点カメラ９２Ｂ～９２Ｄ）の撮像条件を設定する。図９は、撮像条件設定画面の画面例である。図９に示すように、撮像条件設定画面は、撮像条件として、設定距離、設定角度、撮像部位、設定視点カメラの表示／非表示、他人アバターの表示／非表示、閾値距離の設定を受け付ける。但し、撮像条件の具体例は、これらに限定されない。また、撮像条件を設定するインタフェースは、図９の例に限定されない。そして、カメラ設定手段２３０は、操作装置４２を通じてユーザに指定された撮像条件を満たすように、仮想空間９０内に仮想カメラ９２を配置する。
【0053】
なお、図１１に示すように、本実施形態に係る仮想カメラ９２は、自己視点カメラ９２Ａと、複数の設定視点カメラ９２Ｂ、９２Ｃ、９２Ｄとを含む。以下、自己視点カメラ９２Ａによって撮像された映像を「自己視点映像」と表記し、設定視点カメラ９２Ｂ～９２Ｄによって撮像された映像を「設定視点映像」と表記する。自己視点映像及び設定視点映像は、複数の仮想空間画像９７を時系列に並べて構成される。
【0054】
自己視点カメラ９２Ａは、本人アバターの自己視点から基準視線９３に向かって仮想空間９０を撮像する仮想カメラである。すなわち、自己視点カメラ９２Ａの撮像範囲は、本人アバターの視界に一致する。但し、自己視点カメラ９２Ａは、本人アバターの後方から基準視線９３に向かって仮想空間９０を撮像してもよい。設定視点カメラ９２Ｂ、９２Ｃ、９２Ｄは、本人アバターと異なる位置に予め設定された設定視点から本人アバターを撮像する仮想カメラである。なお、設定視点カメラ９２Ｂ、９２Ｃ、９２Ｄの数は３つに限定されず、２つ以上であればよい。以下、設定視点カメラ９２Ｂの撮像条件について説明する。
【0055】
「設定距離」は、本人アバターと設定視点カメラ９２Ｂとの距離を示す。「設定角度」は、本人アバターの基準視線９３と、本人アバター及び設定視点カメラ９２Ｂを結ぶ直線とのなす角を示す。すなわち、本人アバターの正面を撮像する場合の設定角度は０°であり、本人アバターの右側面を撮像する場合の設定角度は９０°である。「撮像部位」は、設定視点カメラ９２Ｂが撮像する本人アバターの部位（例えば、全身、上半身、顔など）を示す。「設定視点カメラの表示／非表示」は、自己視点映像に設定視点カメラ９２Ｂを含めるか否かを示す。
【0056】
「他人アバターの表示／非表示」は、本人アバターと設定視点カメラ９２Ｂとの間に位置する他人アバターを、設定視点映像に含めるか否かを示す。「閾値距離」は、他人アバターの非表示が選択された場合において、他人アバターを非表示にする設定視点カメラ９２Ｂからの距離を示す。一例として、閾値距離を５ｍに設定すると、本人アバターと設定視点カメラ９２Ｂとの間に位置する他人アバターのうち、設定視点カメラ９２Ｂからの距離が５ｍ未満の他人アバターが設定視点映像から除かれ、設定視点カメラ９２Ｂからの距離が５ｍ以上の他人アバターが設定視点映像に含められる。他の例として、設定距離＝閾値距離に設定すると、本人アバターと設定視点カメラ９２Ｂとの間に位置する全ての他人アバターが設定視点映像から除外される。
【0057】
カメラ移動手段２４０は、動きセンサ４１で検知されたユーザ端末２０の動きまたは操作装置４２を通じたアバターの動作指示に基づいて、仮想空間９０内で仮想カメラ９２を移動させる。ユーザ端末２０を動かすこと及び操作装置４２を通じてアバターの動作を指示することは、移動操作の一例である。そして、カメラ移動手段２４０は、配置手段２２０が移動させた本人アバターに追従して、カメラ設定手段２３０によって設定された撮像条件を満たすように仮想カメラ９２を移動させる。
【0058】
映像生成手段２５０は、仮想カメラ９２で仮想空間９０内を撮像した映像を生成する。より詳細には、映像生成手段２５０は、パノラマ画像９１のうちの視界領域９４に相当する画像を仮想空間画像９７として抽出する。また、映像生成手段２５０は、所定の時間間隔（例えば、１／６０秒間隔）で抽出した仮想空間画像９７を時系列に並べて映像を生成する。
【0059】
なお、映像生成手段２５０は、自己視点カメラ９２Ａで仮想空間９０内を撮像した自己視点映像と、設定視点カメラ９２Ｂ～９２Ｄそれぞれで仮想空間９０内を撮像した複数の設定視点映像とを生成する。そして、映像生成手段２５０は、自己視点映像を示す自己視点映像データをメモリ２２に記憶させる。また、映像生成手段２５０は、設定視点映像を示す設定視点映像データをストレージ２３に記憶させる。
【0060】
映像表示手段２６０は、自己視点映像をモニタ３１に表示させる。より詳細には、映像表示手段２６０は、映像生成手段２５０によって生成された自己視点映像データを、モニタ３１のグラフィックメモリに展開する。そして、仮想空間９０内のキャラクタが更新される度に、映像生成手段２５０が仮想空間画像９７を新たに生成し、新たに生成された仮想空間画像９７を映像表示手段２６０がモニタ３１に表示させる。これにより、ユーザ端末２０のユーザは、仮想空間９０内で動作するキャラクタの視界を示す自己視点映像を、モニタ３１を通じて視聴することができる。
【0061】
編集手段２７０は、操作装置４２を通じたユーザの操作に従って、映像生成手段２５０によって生成された複数の設定視点映像を編集して、視聴映像を生成する。編集とは、例えば、複数の設定視点映像それぞれから抽出した静止画像を時系列に並べることを指す。なお、図８の例では、編集手段２７０と他の手段２１０～２７０とが異なるユーザ端末２０Ａ、２０Ｂに実装されているが、同一のユーザ端末２０に実装されてもよい。また、編集手段２７０は、周知の映像編集プログラムで代替することができる。
【0062】
図１０～図１６を参照して、設定視点映像を生成する際のシステム１の動作を説明する。本実施形態では、２人のアバター５０、５１が仮想空間９０内で行うパフォーマンス（例えば、歌唱、楽器演奏、ダンスなど）を、ユーザ端末２０のユーザがアバター５２、５３を通じて視聴することを想定する。以下、アバター５０に関連付けられたユーザ端末２０Ａの処理を中心に説明する。そして、ユーザ端末２０Ａのアバター５０を「本人アバター５０」と表記し、他のユーザ端末２０のアバター５１、５２、５３を「他人アバター５１、５２、５３」と表記する。
【0063】
また、本実施形態では、本人アバター５０のパフォーマンスを、３台の設定視点カメラ９２Ｂ～９２Ｄで撮像して、３つの設定視点映像を生成する。そして、本実施形態では、設定視点カメラ９２Ｂの撮像条件を、設定距離＝１５ｍ、設定角度＝０°、撮像部位＝全身、設定視点カメラ＝表示、他人アバター＝非表示、閾値距離＝５ｍとする。また、設定視点カメラ９２Ｃの撮像条件を、設定距離＝１０ｍ、設定角度＝０°、撮像部位＝上半身、設定視点カメラ＝非表示、他人アバター＝非表示、閾値距離＝１０ｍとする。さらに、設定視点カメラ９２Ｄの撮像条件を、設定距離＝１０ｍ、設定角度＝９０°、撮像部位＝全身、設定視点カメラ＝非表示、他人アバター＝非表示、閾値距離＝３ｍとする。
【0064】
図１０は、ユーザ端末２０Ａの処理を示すフローチャートである。図１１は、ステップＳ１１、Ｓ１２に対応する仮想空間９０の概念図である。図１２は、自己視点映像生成＆表示処理のフローチャートである。図１３は、設定視点カメラ９２Ｂの表示／非表示を切り替えた場合の自己視点映像の例を示す図である。図１４は、設定視点映像生成＆保存処理のフローチャートである。図１５は、設定視点カメラ９２Ｃで他人アバターの表示／非表示を切り替えた場合の設定視点映像の例を示す図である。図１６は、設定視点カメラ９２Ｄで閾値距離を変更した場合の設定視点映像の例を示す図である。
【0065】
図１０に示すように、ユーザ端末２０Ａ（仮想空間定義手段２１０）は、ストレージ２３に記憶された仮想空間データをメモリ１２に展開することによって、仮想空間９０を定義する（Ｓ１１）。次に、ユーザ端末２０Ａ（配置手段２２０及びカメラ設定手段２３０）は、図１１に示すように、ステップＳ１１で定義された仮想空間９０に本人アバター５０及び仮想カメラ９２を配置すると共に、通信ネットワーク２を通じてサーバ１０にアバターデータを送信する（Ｓ１２）。本人アバター５０の初期位置は、例えば、仮想空間９０の中心Ｃである。また、自己視点カメラ９２Ａの初期位置は、本人アバター５０の頭の位置である。さらに、設定視点カメラ９２Ｂ～９２Ｄの初期位置は、撮像条件設定画面で設定された撮像条件で示される位置である。
【0066】
次に、ユーザ端末２０Ａ（配置手段２２０）は、通信ネットワーク２を通じてサーバ１０からアバターデータを受信した場合に（Ｓ１３：Ｙｅｓ）、例えば図１１に示すように、受信したアバターデータに従って仮想空間９０に他人アバター５１、５２、５３を配置する（Ｓ１４）。なお、他人アバター５１、５２、５３は、ユーザ端末２０Ａと異なるユーザ端末２０から送信されたアバターデータに対応する。
【0067】
次に、ユーザ端末２０Ａ（映像生成手段２５０及び映像表示手段２６０）は、自己視点映像の一部を構成する仮想空間画像９７に他人アバター５１、５２、５３を反映させるために、図１２に示す自己視点映像生成＆表示処理を実行する（Ｓ１７）。これにより、自己視点映像の一部を構成する仮想空間画像９７が生成され、ユーザ端末２０Ａのユーザがモニタ３１を通じて視認する。
【0068】
また、ユーザ端末２０Ａ（映像生成手段２５０）は、設定視点映像の一部を構成する仮想空間画像９７に他人アバター５１、５２、５３を反映させるために、設定視点カメラ９２Ｂ～９２Ｄそれぞれに対して、図１４に示す設定視点映像生成＆保存処理を実行する（Ｓ１８）。これにより、設定視点映像の一部を構成する仮想空間画像９７が生成され、設定視点映像データの一部としてストレージ２３に記憶される。
【0069】
また、ユーザ端末２０Ａ（配置手段２２０及びカメラ移動手段２４０）は、本人アバター５０の動作を指示する操作を操作装置４２を通じて受け付けた場合に（Ｓ１５：Ｙｅｓ）、操作装置４２に対するユーザの操作に従って本人アバター５０を動作させ、本人アバター５０に追従して仮想カメラ９２を移動させ、動作後の本人アバター５０を示すアバターデータを、通信ネットワーク２を通じてサーバ１０に送信する（Ｓ１６）。また、ユーザ端末２０Ａ（カメラ移動手段２４０）は、動きセンサ４１で検知されたユーザ端末２０Ａの動きに追従して、仮想カメラ９２を移動させる。
【0070】
次に、ユーザ端末２０Ａ（映像生成手段２５０及び映像表示手段２６０）は、自己視点カメラ９２Ａの移動後の画角に対応する仮想空間画像９７を生成するために、自己視点映像生成＆表示処理を実行する（Ｓ１７）。モニタ３１に表示される自己視点映像が更新される。また、ユーザ端末２０Ａ（映像生成手段２５０）は、設定視点カメラ９２Ｂ～９２Ｄそれぞれの移動後の画角に対応する仮想空間画像９７を生成するために、設定視点映像生成＆保存処理を実行する（Ｓ１８）。これにより、設定視点映像に新たな仮想空間画像９７が追加される。
【0071】
ユーザ端末２０Ａは、端末プログラム２３Ｐの終了を指示する操作（例えば、ログアウト）を操作装置４２を通じて受け付けるまで（Ｓ１９：Ｎｏ）、ステップＳ１３～Ｓ１８の処理を繰り返し実行する。なお、ユーザ端末２０Ａは、アバターデータを不定期に受信し、ユーザ操作を不定期に受け付ける。すなわち、ステップＳ１４、Ｓ１６の処理は、任意のタイミング及び頻度で実行される。そして、ユーザ端末２０Ａは、端末プログラム２３Ｐの終了を指示する操作を操作装置４２を通じて受け付けた場合に（Ｓ１９：Ｙｅｓ）、図１０の処理を終了する。
【0072】
また、図１２に示すように、ユーザ端末２０Ａ（映像生成手段２５０）は、自己視点カメラ９２Ａの視界領域９４を特定する（Ｓ２１）。次に、ユーザ端末２０Ａ（映像生成手段２５０）は、撮像条件に基づいて、視界領域９４に含まれる設定視点カメラ９２Ｂ、９２Ｃの表示または非表示を判定する（Ｓ２２）。そして、ユーザ端末２０Ａ（映像生成手段２５０）は、「設定視点カメラ＝表示」が設定された設定視点カメラ９２Ｂを仮想空間画像９７に含め（Ｓ２２：Ｙｅｓ→Ｓ２３）、「設定視点カメラ＝非表示」が設定された設定視点カメラ９２Ｃを仮想空間画像９７から除く（Ｓ２２：Ｎｏ→Ｓ２４）。
【0073】
次に、ユーザ端末２０Ａ（映像生成手段２５０）は、図１１の視界領域９４に含まれる他人アバター５２、５３及び設定視点カメラ９２Ｂ、９２Ｃのうち、他人アバター５２、５３及び設定視点カメラ９２Ｂを含む仮想空間画像９７を、自己視点映像の一部として生成する（Ｓ２５）。次に、ユーザ端末２０Ａ（映像表示手段２６０）は、ステップＳ２５で生成した仮想空間画像９７をモニタ３１に表示させる（Ｓ２６）。
【0074】
これにより、図１３（Ａ）に示すように、ユーザ端末２０Ａのユーザは、設定視点カメラ９２Ｂの位置を意識しながら、本人アバター５０にパフォーマンスさせることができる。一方、設定視点カメラ９２Ｂが邪魔な場合は、撮像条件を「設定視点カメラ＝非表示」とすることによって、図１３（Ｂ）に示すように、設定視点カメラ９２Ｂが含まれない仮想空間画像９７が生成される。
【0075】
さらに、図１４に示すように、ユーザ端末２０Ａ（映像生成手段２５０）は、設定視点カメラ９２Ｂ～９２Ｄそれぞれの視界領域９４を特定する（Ｓ３１）。次に、ユーザ端末２０Ａ（映像生成手段２５０）は、撮像条件に基づいて、視界領域９４に含まれる他人アバター５１～５３の表示または非表示を判定する（Ｓ３２）。次に、ユーザ端末２０Ａ（映像生成手段２５０）は、設定視点カメラ９２Ｂ～９２Ｄの撮像条件に「他人アバター＝非表示」が設定されていると判定した場合に（Ｓ３２：Ｎｏ）、視界領域９４に含まれる他人アバター５１～５３が、本人アバター５０と設定視点カメラ９２Ｂ～９２Ｄそれぞれとの間に位置しているか否かを判定する（Ｓ３３）。次に、ユーザ端末２０Ａ（映像生成手段２５０）は、視界領域９４の他人アバター５１～５３が本人アバター５０と設定視点カメラ９２Ｂ～９２Ｄそれぞれとの間に位置すると判定した場合に（Ｓ３３：Ｙｅｓ）、設定視点カメラ９２Ｂ～９２Ｄから当該他人アバター５１～５３までの距離と閾値距離とを比較する（Ｓ３４）。
【0076】
仮に、設定視点カメラ９２Ｂの撮像条件に「他人アバター＝表示」が設定されている場合（Ｓ３２：Ｙｅｓ）、ユーザ端末２０Ａ（映像生成手段２５０）は、ステップＳ３３～Ｓ３４の判定処理をスキップして、設定視点カメラ９２Ｂの視界領域９４に含まれる全ての他人アバター５１、５２を仮想空間画像９７に含める（Ｓ３５）。これにより、図１５（Ａ）に示すように、聴衆として設定視点カメラ９２Ｂの近くにいる他人アバター５２が仮想空間画像９７に大きく映り込んで、本人アバター５０の大部分を覆い隠してしまう。
【0077】
そこで、前述したように、設定視点カメラ９２Ｂの撮像条件に「他人アバター＝非表示、閾値距離＝５ｍ」を設定するのが望ましい。これにより、ユーザ端末２０Ａ（映像生成手段２５０）は、設定視点カメラ９２Ｂの視界領域９４に含まれる他人アバター５１、５２のうち、本人アバター５０に重ならない他人アバター５１を仮想空間画像９７に含め（Ｓ３３：Ｎｏ→Ｓ３５）、本人アバター５０に重なり且つ設定視点カメラ９２Ｂからの距離が閾値距離未満の他人アバター５２を仮想空間画像９７から除く（Ｓ３３：Ｙｅｓ＆Ｓ３４：Ｎｏ→Ｓ３６）。これにより、図１５（Ｂ）に示すように、聴衆として設定視点カメラ９２Ｂの近くにいる他人アバター５２に邪魔されずに、本人アバター５０を適切に撮像することができる。
【0078】
また、設定視点カメラ９２Ｄの撮像条件に「他人アバター＝非表示、閾値距離＝３ｍ」を設定することによって、ユーザ端末２０Ａ（映像生成手段２５０）は、本人アバター５０に重なり且つ設定視点カメラ９２Ｂからの距離が閾値距離以上の他人アバター５１を仮想空間画像９７に含める（Ｓ３３：Ｙｅｓ＆Ｓ３４：Ｙｅｓ→Ｓ３５）。これにより、図１６（Ａ）に示すように、本人アバター５０の近くで一緒にパフォーマンスする他人アバター５１を、本人アバター５０と共に設定視点映像に含めることができる。
【0079】
一方、設定視点カメラ９２Ｄの撮像条件に「設定距離＝１０ｍ、他人アバター＝非表示、閾値距離＝１０ｍ」を設定することによって、ユーザ端末２０Ａ（映像生成手段２５０）は、本人アバター５０に重なる全ての他人アバター５１を仮想空間画像９７から除く（Ｓ３３：Ｙｅｓ＆Ｓ３４：Ｎｏ→Ｓ３６）。その結果、図１６（Ｂ）に示すように、設定視点カメラ９２Ｄからの距離に関係なく、本人アバター５０に重なる全ての他人アバター５１を非表示にできる。
【0080】
次に、ユーザ端末２０Ａ（映像生成手段２５０）は、例えば図１５～図１６に示す仮想空間画像９７を、設定視点映像の一部として生成する（Ｓ３７）。次に、ユーザ端末２０Ａ（映像生成手段２５０）は、ステップＳ３７で生成した仮想空間画像９７をストレージ２３に保存（すなわち、設定視点映像データに追加）する（Ｓ３８）。そして、設定視点映像生成＆保存処理を繰り返し実行することによって、設定視点映像がストレージ２３に蓄積される。
【0081】
【0082】
まず、プレイ端末であるユーザ端末２０Ａ（映像生成手段２５０）は、生成した複数の設定視点映像を通信ネットワーク２を通じてサーバ１０に送信する（Ｓ４１）。次に、サーバ１０（編集補助手段１２０）は、通信ネットワーク２を通じてユーザ端末２０Ａから受信した複数の設定視点映像を、ストレージ１３に保存する（Ｓ４２）。
【0083】
次に、編集端末であるユーザ端末２０Ｂ（編集手段２７０）は、設定視点映像の編集を開始する際に、通信ネットワーク２を通じてサーバ１０に編集要求を送信する（Ｓ４３）。サーバ１０（編集補助手段１２０）は、通信ネットワーク２を通じてユーザ端末２０Ｂから受信した編集要求の返信として、ストレージ１３に保存した複数の設定視点映像を、通信ネットワーク２を通じてユーザ端末２０Ｂに送信する（Ｓ４４）。
【0084】
次に、ユーザ端末２０Ｂ（編集手段２７０）は、操作装置４２を通じたユーザの操作に従って、通信ネットワーク２を通じてサーバ１０から受信した複数の設定視点映像を編集して、視聴映像を生成する（Ｓ４５）。ユーザ端末２０Ｂ（編集手段２７０）は、例えば、図１８（Ａ）に示す編集画面をモニタ３１に表示させて、設定視点映像を編集するユーザの操作を操作装置４２を通じて受け付ける。
【0085】
図１８（Ａ）に示す編集画面は、複数の設定視点映像それぞれを構成する複数の静止画像を時系列に並べて表示する。次に、ユーザ端末２０Ｂ（編集手段２７０）は、時刻ｔ１～ｔ４それぞれについて、同一時刻の複数の静止画像の１つを選択するユーザの操作を、操作装置４２を通じて受け付ける。そして、ユーザ端末２０Ｂ（編集手段２７０）は、図１８（Ｂ）に示すように、操作装置４２を通じて選択された静止画像（図１８（Ａ）において、太枠で囲った静止画像）を抽出し、抽出した複数の静止画像を時系列に並べて視聴映像を生成する。
【0086】
次に、ユーザ端末２０Ｂ（編集手段２７０）は、ステップＳ４５で生成した視聴映像を、通信ネットワーク２を通じてサーバ１０に送信する（Ｓ４６）。次に、サーバ１０（編集補助手段１２０）は、通信ネットワーク２を通じてユーザ端末２０Ａから受信した視聴映像を、ストレージ１３に保存する（Ｓ４７）。さらに、サーバ１０（視聴補助手段１３０）は、視聴端末であるユーザ端末２０Ｃの要求に応じて、ストレージ１３に保存した視聴映像を、通信ネットワーク２を通じて視聴端末に送信する。そして、ユーザ端末２０Ｃは、通信ネットワーク２を通じてサーバ１０から受信した視聴映像を、モニタ３１に表示させる。
【0087】
一例として、図１７に示す処理は、図１０に示す処理が終了した後に開始されてもよい。すなわち、図１７に示す処理は、設定視点映像が完成した後に、図１０に示す処理とは非同期に実行されてもよい。他の例として、図１０に示す処理と、図１７に示す処理とは、並行して実行されてもよい。すなわち、ユーザ端末２０Ａ（映像生成手段２５０）は、設定視点映像の一部を構成する仮想空間画像９７を生成する度に、ステップＳ４１の処理を実行してもよい。また、ユーザ端末２０Ｂ（編集手段２７０）は、サーバ１０がユーザ端末２０Ａから仮想空間画像９７を受信する度に、ステップＳ４３～Ｓ４６の処理を実行してもよい。これにより、本人アバター５０のパフォーマンスと同時に（厳密には、僅かに遅れて）視聴端末が生成される。
【0088】
また、ユーザ端末２０Ｂ（編集手段２７０）は、複数セットの設定視点映像をサーバ１０から取得して、これらから抽出した仮想空間画像９７を時系列に並べて視聴映像を生成してもよい。例えば、ユーザ端末２０Ｂ（編集手段２７０）は、アバター５０を本人アバターとする複数の設定視点映像と、アバター５１を本人アバターとする複数の設定視点映像とを用いて、視聴映像を生成してもよい。
【0089】
［本実施形態の作用効果］
上記の実施形態によれば、複数の設定視点カメラ９２Ｂ～９２Ｄを予め設定した状態で、本人アバター５０にパフォーマンスさせることによって、視聴映像の素材となる複数の設定視点映像が生成される。すなわち、設定視点カメラ９２Ｂ～９２Ｄの設定と、本人アバター５０をパフォーマンスさせる操作とを別々のタイミングで実行することによって、本にアバター５０の動作の連続性が損なわれることがない。その結果、簡単な操作で、魅力ある視聴映像の素材を得ることができる。
上記の実施形態によれば、複数の設定視点カメラ９２Ｂ～９２Ｄを予め設定した状態で、本人アバター５０にパフォーマンスさせることによって、視聴映像の素材となる複数の設定視点映像が生成される。すなわち、設定視点カメラ９２Ｂ～９２Ｄの設定と、本人アバター５０をパフォーマンスさせる操作とを別々のタイミングで実行することによって、本にアバター５０の動作の連続性が損なわれることがない。その結果、簡単な操作で、魅力ある視聴映像の素材を得ることができる。
【0090】
また、上記の実施形態によれば、設定視点カメラ９２Ｂ～９２Ｄの撮像条件を予め設定しておくことによって、所望の設定視点映像を得ることができる。なお、撮像条件の具体例は、図９の例に限定されない。他の例として、水平線と、本人アバター５０及び設定視点カメラ９２Ｂを結ぶ直線とのなす角（すなわち、仰角または俯角）を、撮像条件に加えてもよい。
【0091】
また、上記の実施形態によれば、設定視点カメラ９２Ｂ～９２Ｄを自己視点映像に含めるか否かを切り替えることによって、本人アバター５０を操作するユーザの好み（すなわち、設定視点カメラ９２Ｂ～９２Ｄを意識するか否か）に合わせて、適切な自己視点映像をモニタ３１に表示させることができる。
【0092】
また、上記の実施形態によれば、本人アバター５０と設定視点カメラ９２Ｂ～９２Ｄとの間に位置する他人アバター５１～５３の表示及び非表示を切り替えることによって、さらに魅力ある視聴映像の素材を得ることができる。例えば、本人アバター５０のパフォーマンスの魅力を向上させる他人アバター５１を表示させ、本人アバター５０のパフォーマンスの邪魔になる他人アバター５２を非表示とすればよい。
【0093】
例えば、本人アバター５０の近くにいる他人アバター５１はパフォーマンスの魅力を向上させる可能性が高く、設定視点カメラ９２Ｂ～９２Ｄの近くにいる他人アバター５２、５３はパフォーマンスの邪魔になる可能性が高い。そこで、上記の実施形態によれば、設定視点カメラ９２Ｂ～９２Ｄからの距離に応じて、他人アバター５１～５３の表示及び非表示を切り替えることによって、簡単な設定で魅力ある視聴映像の素材を得ることができる。但し、他人アバター５１～５３の表示及び非表示を切り替えるパラメータは、前述の例に限定されない。他の例として、ユーザ端末２０Ａ（映像生成手段２５０）は、仮想空間９０内に予め設定された表示領域に位置する他人アバターを設定視点映像に含め、仮想空間９０内に予め設定された非表示領域に位置する他人アバターを設定視点映像から除いてもよい。
【0094】
さらに、上記の実施形態によれば、複数セットの設定視点映像を用いて視聴映像を生成することによって、例えば、複数のアバター５０、５１がグループとしてパフォーマンスする場合に、さらに魅力的な視聴映像を生成することができる。
【0095】
なお、本実施形態において、本人アバター５０は「対象オブジェクト」の一例であり、他人アバター５１～５３は「周辺オブジェクト」の一例である。但し、オブジェクト（対象オブジェクト、周辺オブジェクト）は、仮想空間９０内に配置されて移動したり、形を変えるものであれば、人の形をした「キャラクタ」に限定されない。他の例として、オブジェクトは、自動車、船舶、航空機、建設中の建物、動物などでもよい。また、設定視点カメラ９２Ｂ～９２Ｄで撮像するのは、本人アバター５０（対象オブジェクト）のパフォーマンスに限定されず、仮想空間９０内での任意の動作であってよい。
【0096】
また、本発明に係るプログラムは、単一のプログラムに限定されず、複数のプログラムの集合体でもよい。また、本発明に係るプログラムは、単一の装置で実行されるものに限定されず、複数の装置で分担して実行されてもよい。さらに、サーバ１０及びユーザ端末２０の役割分担は、前述の例に限定されない。すなわち、サーバ１０の処理の一部がユーザ端末２０によって実行されてもよいし、ユーザ端末２０の処理の一部がサーバ１０によって実行されてもよい。
【0097】
さらに、プログラムによって実現される各手段の一部または全部は、集積回路などのハードウェアで実現することもできる。さらに、プログラムは、コンピュータによって読み出し可能な非一過性の記録媒体に記録されて提供されてもよい。記録媒体とは、例えば、ハードディスク、ＳＤカード、ＤＶＤの他、インターネット上のサーバ等を指す。
【符号の説明】
【0098】
１…システム、２…通信ネットワーク、３…検知装置、１０…サーバ、１１，２１…プロセッサ、１２，２２…メモリ、１３，２３…ストレージ、１３Ｐ…サーバプログラム、１４，２４…入出力インタフェース、１５，２５…通信インタフェース、１９，２９…通信バス、２０…ユーザ端末、２３Ｐ…端末プログラム、２６…コンピュータ、３０…ＨＭＤ、３１…モニタ、３２…注視センサ、３３，３４…カメラ、３５…マイク、３６…スピーカ、４１…動きセンサ、４２…操作装置、５０…本人アバター、５１，５２，５３…他人アバター、９０…仮想空間、９１…パノラマ画像、９２…仮想カメラ、９２Ａ…自己視点カメラ、９２Ｂ，９２Ｂ，９２Ｃ，９２Ｄ…設定視点カメラ、９３…基準視線、９４…視界領域、９５，９６…領域、９７…仮想空間画像、１１０…アバター同期手段、１２０…編集補助手段、１３０…視聴補助手段、２１０…仮想空間定義手段、２２０…配置手段、２３０…カメラ設定手段、２４０…カメラ移動手段、２５０…映像生成手段、２６０…映像表示手段、２７０…編集手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【手続補正書】
【提出日】2023-07-06
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
本発明は、前記課題を解決するため、本発明に係るプログラムは、操作装置を備えるコンピュータを、仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させ、前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を、前記操作装置を通じたユーザの操作に従って設定し、前記コンピュータを、前記操作装置を通じたユーザの操作に従った前記対象オブジェクトの動作に追従して、設定された前記撮像条件を満たすように複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させる。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
操作装置を備えるコンピュータを、
仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させ、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を、前記操作装置を通じたユーザの操作に従って設定し、
前記コンピュータを、前記操作装置を通じたユーザの操作に従った前記対象オブジェクトの動作に追従して、設定された前記撮像条件を満たすように複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させる、プログラム。
仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させ、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を、前記操作装置を通じたユーザの操作に従って設定し、
前記コンピュータを、前記操作装置を通じたユーザの操作に従った前記対象オブジェクトの動作に追従して、設定された前記撮像条件を満たすように複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させる、プログラム。
【請求項2】
コンピュータを、
仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段して機能させ、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を設定し、
前記コンピュータを、設定された前記撮像条件を満たすように、前記対象オブジェクトの動作に追従して複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させ、
前記撮像条件は、複数の前記仮想カメラそれぞれについて、前記対象オブジェクトと異なる周辺オブジェクトのうち、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトを、前記設定視点映像に含めるか否か含み、
前記映像生成手段は、前記撮像条件に従って、複数の前記仮想カメラそれぞれの前記設定視点映像に前記周辺オブジェクトを含めるか否かを切り替える、プログラム。
仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段して機能させ、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を設定し、
前記コンピュータを、設定された前記撮像条件を満たすように、前記対象オブジェクトの動作に追従して複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させ、
前記撮像条件は、複数の前記仮想カメラそれぞれについて、前記対象オブジェクトと異なる周辺オブジェクトのうち、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトを、前記設定視点映像に含めるか否か含み、
前記映像生成手段は、前記撮像条件に従って、複数の前記仮想カメラそれぞれの前記設定視点映像に前記周辺オブジェクトを含めるか否かを切り替える、プログラム。
【請求項3】
請求項２に記載のプログラムにおいて、
前記映像生成手段は、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトのうち、前記仮想カメラとの距離が閾値距離以上の前記周辺オブジェクトのみを前記設定視点映像に含める、プログラム。
前記映像生成手段は、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトのうち、前記仮想カメラとの距離が閾値距離以上の前記周辺オブジェクトのみを前記設定視点映像に含める、プログラム。
【請求項4】
コンピュータを、
仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段して機能させ、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を設定し、
前記コンピュータを、設定された前記撮像条件を満たすように、前記対象オブジェクトの動作に追従して複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させ、
前記対象オブジェクトは、ユーザ端末を通じて操作されるユーザキャラクタであり、
前記映像生成手段は、さらに、前記ユーザキャラクタの自己視点から前記仮想空間内を撮像した自己視点映像を生成し、
前記撮像条件は、複数の前記仮想カメラそれぞれを前記自己視点映像に含めるか否かを含み、
前記コンピュータを、前記撮像条件に従って複数の前記仮想カメラそれぞれを含めるか否かが切り替えられた前記自己視点映像を、前記ユーザキャラクタを操作する前記ユーザ端末に表示させる映像表示手段として機能させる、プログラム。
仮想空間内に配置される対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段して機能させ、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を設定し、
前記コンピュータを、設定された前記撮像条件を満たすように、前記対象オブジェクトの動作に追従して複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させ、
前記対象オブジェクトは、ユーザ端末を通じて操作されるユーザキャラクタであり、
前記映像生成手段は、さらに、前記ユーザキャラクタの自己視点から前記仮想空間内を撮像した自己視点映像を生成し、
前記撮像条件は、複数の前記仮想カメラそれぞれを前記自己視点映像に含めるか否かを含み、
前記コンピュータを、前記撮像条件に従って複数の前記仮想カメラそれぞれを含めるか否かが切り替えられた前記自己視点映像を、前記ユーザキャラクタを操作する前記ユーザ端末に表示させる映像表示手段として機能させる、プログラム。
【請求項5】
請求項１に記載のプログラムにおいて、
前記コンピュータを、複数の前記設定視点映像を編集して視聴映像を生成する編集手段として機能させる、プログラム。
前記コンピュータを、複数の前記設定視点映像を編集して視聴映像を生成する編集手段として機能させる、プログラム。
【請求項6】
請求項５に記載のプログラムにおいて、
前記編集手段は、複数の前記対象オブジェクトそれぞれを撮像した複数セットの前記設定視点映像を用いて、前記視聴映像を生成する、プログラム。
前記編集手段は、複数の前記対象オブジェクトそれぞれを撮像した複数セットの前記設定視点映像を用いて、前記視聴映像を生成する、プログラム。
【手続補正書】
【提出日】2023-11-17
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
本発明は、前記課題を解決するため、本発明に係るプログラムは、操作装置を備えるコンピュータを、仮想空間内に配置される一の対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させ、前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を、前記操作装置を通じたユーザの操作に従って設定し、前記コンピュータを、前記操作装置を通じたユーザの操作に従った前記対象オブジェクトの動作に追従して、設定された前記撮像条件を満たすように複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させる。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
操作装置を備えるコンピュータを、
仮想空間内に配置される一の対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させ、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を、前記操作装置を通じたユーザの操作に従って設定し、
前記コンピュータを、前記操作装置を通じたユーザの操作に従った前記対象オブジェクトの動作に追従して、設定された前記撮像条件を満たすように複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させる、プログラム。
仮想空間内に配置される一の対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させ、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を、前記操作装置を通じたユーザの操作に従って設定し、
前記コンピュータを、前記操作装置を通じたユーザの操作に従った前記対象オブジェクトの動作に追従して、設定された前記撮像条件を満たすように複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させる、プログラム。
【請求項2】
請求項１に記載のプログラムにおいて、
前記撮像条件は、複数の前記仮想カメラそれぞれについて、前記対象オブジェクトと異なる周辺オブジェクトのうち、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトを、前記設定視点映像に含めるか否か含み、
前記映像生成手段は、前記撮像条件に従って、複数の前記仮想カメラそれぞれの前記設定視点映像に前記周辺オブジェクトを含めるか否かを切り替える、プログラム。
前記撮像条件は、複数の前記仮想カメラそれぞれについて、前記対象オブジェクトと異なる周辺オブジェクトのうち、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトを、前記設定視点映像に含めるか否か含み、
前記映像生成手段は、前記撮像条件に従って、複数の前記仮想カメラそれぞれの前記設定視点映像に前記周辺オブジェクトを含めるか否かを切り替える、プログラム。
【請求項3】
請求項２に記載のプログラムにおいて、
前記映像生成手段は、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトのうち、前記仮想カメラとの距離が閾値距離以上の前記周辺オブジェクトのみを前記設定視点映像に含める、プログラム。
前記映像生成手段は、前記対象オブジェクトと前記仮想カメラとの間に位置する前記周辺オブジェクトのうち、前記仮想カメラとの距離が閾値距離以上の前記周辺オブジェクトのみを前記設定視点映像に含める、プログラム。
【請求項4】
請求項１に記載のプログラムにおいて、
前記対象オブジェクトは、ユーザ端末を通じて操作されるユーザキャラクタであり、
前記映像生成手段は、さらに、前記ユーザキャラクタの自己視点から前記仮想空間内を撮像した自己視点映像を生成し、
前記撮像条件は、複数の前記仮想カメラそれぞれを前記自己視点映像に含めるか否かを含み、
前記コンピュータを、前記撮像条件に従って複数の前記仮想カメラそれぞれを含めるか否かが切り替えられた前記自己視点映像を、前記ユーザキャラクタを操作する前記ユーザ端末に表示させる映像表示手段として機能させる、プログラム。
前記対象オブジェクトは、ユーザ端末を通じて操作されるユーザキャラクタであり、
前記映像生成手段は、さらに、前記ユーザキャラクタの自己視点から前記仮想空間内を撮像した自己視点映像を生成し、
前記撮像条件は、複数の前記仮想カメラそれぞれを前記自己視点映像に含めるか否かを含み、
前記コンピュータを、前記撮像条件に従って複数の前記仮想カメラそれぞれを含めるか否かが切り替えられた前記自己視点映像を、前記ユーザキャラクタを操作する前記ユーザ端末に表示させる映像表示手段として機能させる、プログラム。
【請求項5】
請求項１に記載のプログラムにおいて、
前記コンピュータを、複数の前記設定視点映像を編集して視聴映像を生成する編集手段として機能させる、プログラム。
前記コンピュータを、複数の前記設定視点映像を編集して視聴映像を生成する編集手段として機能させる、プログラム。
【請求項6】
請求項５に記載のプログラムにおいて、
前記編集手段は、複数の前記対象オブジェクトそれぞれを撮像した複数セットの前記設定視点映像を用いて、前記視聴映像を生成する、プログラム。
前記編集手段は、複数の前記対象オブジェクトそれぞれを撮像した複数セットの前記設定視点映像を用いて、前記視聴映像を生成する、プログラム。
【手続補正書】
【提出日】2024-07-19
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
本発明は、前記課題を解決するため、本発明に係るプログラムは、操作装置を備えるコンピュータを、仮想空間内に配置される一の対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させ、前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を、前記操作装置を通じたユーザの操作に従って設定し、前記コンピュータを、前記操作装置を通じたユーザの操作に従った前記対象オブジェクトの動作に追従して、設定された前記撮像条件を満たすように複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させ、前記撮像条件は、複数の前記仮想カメラそれぞれについて、前記対象オブジェクトと異なる周辺オブジェクトのうち、前記仮想カメラから見て前記対象オブジェクトに重なる前記周辺オブジェクトを、前記設定視点映像に含めるか否かを含み、前記映像生成手段は、前記撮像条件に従って、複数の前記仮想カメラそれぞれの前記設定視点映像に前記周辺オブジェクトを含めるか否かを切り替える。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
操作装置を備えるコンピュータを、
仮想空間内に配置される一の対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させ、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を、前記操作装置を通じたユーザの操作に従って設定し、
前記コンピュータを、前記操作装置を通じたユーザの操作に従った前記対象オブジェクトの動作に追従して、設定された前記撮像条件を満たすように複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させ、
前記撮像条件は、複数の前記仮想カメラそれぞれについて、前記対象オブジェクトと異なる周辺オブジェクトのうち、前記仮想カメラから見て前記対象オブジェクトに重なる前記周辺オブジェクトを、前記設定視点映像に含めるか否かを含み、
前記映像生成手段は、前記撮像条件に従って、複数の前記仮想カメラそれぞれの前記設定視点映像に前記周辺オブジェクトを含めるか否かを切り替える、プログラム。
仮想空間内に配置される一の対象オブジェクトを、互いに異なる設定視点から撮像する複数の仮想カメラを設定するカメラ設定手段と、
複数の前記仮想カメラそれぞれで撮像された複数の設定視点映像を生成する映像生成手段として機能させ、
前記カメラ設定手段は、複数の前記仮想カメラそれぞれに対して、前記対象オブジェクトからの距離、前記対象オブジェクトに対する角度、前記対象オブジェクトの撮像部位の少なくとも１つを含む撮像条件を、前記操作装置を通じたユーザの操作に従って設定し、
前記コンピュータを、前記操作装置を通じたユーザの操作に従った前記対象オブジェクトの動作に追従して、設定された前記撮像条件を満たすように複数の前記仮想カメラそれぞれを移動させるカメラ移動手段として機能させ、
前記撮像条件は、複数の前記仮想カメラそれぞれについて、前記対象オブジェクトと異なる周辺オブジェクトのうち、前記仮想カメラから見て前記対象オブジェクトに重なる前記周辺オブジェクトを、前記設定視点映像に含めるか否かを含み、
前記映像生成手段は、前記撮像条件に従って、複数の前記仮想カメラそれぞれの前記設定視点映像に前記周辺オブジェクトを含めるか否かを切り替える、プログラム。
【請求項2】
請求項１に記載のプログラムにおいて、
前記映像生成手段は、
前記仮想カメラから見て前記対象オブジェクトに重なる前記周辺オブジェクトのうち、前記仮想カメラとの距離が閾値距離以上の前記周辺オブジェクトのみを前記設定視点映像に含め、
前記仮想カメラから見て前記対象オブジェクトに重ならない前記周辺オブジェクトを、前記仮想カメラからの距離に拘わらず前記設定視点映像に含める、プログラム。
前記映像生成手段は、
前記仮想カメラから見て前記対象オブジェクトに重なる前記周辺オブジェクトのうち、前記仮想カメラとの距離が閾値距離以上の前記周辺オブジェクトのみを前記設定視点映像に含め、
前記仮想カメラから見て前記対象オブジェクトに重ならない前記周辺オブジェクトを、前記仮想カメラからの距離に拘わらず前記設定視点映像に含める、プログラム。
【請求項3】
請求項１に記載のプログラムにおいて、
前記対象オブジェクトは、ユーザ端末を通じて操作されるユーザキャラクタであり、
前記映像生成手段は、さらに、前記ユーザキャラクタの自己視点から前記仮想空間内を撮像した自己視点映像を生成し、
前記撮像条件は、複数の前記仮想カメラそれぞれを前記自己視点映像に含めるか否かを含み、
前記コンピュータを、前記撮像条件に従って複数の前記仮想カメラそれぞれを含めるか否かが切り替えられた前記自己視点映像を、前記ユーザキャラクタを操作する前記ユーザ端末に表示させる映像表示手段として機能させる、プログラム。
前記対象オブジェクトは、ユーザ端末を通じて操作されるユーザキャラクタであり、
前記映像生成手段は、さらに、前記ユーザキャラクタの自己視点から前記仮想空間内を撮像した自己視点映像を生成し、
前記撮像条件は、複数の前記仮想カメラそれぞれを前記自己視点映像に含めるか否かを含み、
前記コンピュータを、前記撮像条件に従って複数の前記仮想カメラそれぞれを含めるか否かが切り替えられた前記自己視点映像を、前記ユーザキャラクタを操作する前記ユーザ端末に表示させる映像表示手段として機能させる、プログラム。
【請求項4】
請求項１に記載のプログラムにおいて、
前記コンピュータを、複数の前記設定視点映像を編集して視聴映像を生成する編集手段として機能させる、プログラム。
前記コンピュータを、複数の前記設定視点映像を編集して視聴映像を生成する編集手段として機能させる、プログラム。
【請求項5】
請求項４に記載のプログラムにおいて、
前記編集手段は、複数の前記対象オブジェクトそれぞれを撮像した複数セットの前記設定視点映像を用いて、前記視聴映像を生成する、プログラム。
前記編集手段は、複数の前記対象オブジェクトそれぞれを撮像した複数セットの前記設定視点映像を用いて、前記視聴映像を生成する、プログラム。