特許 7492833 拡張現実技術を用いたコンテンツを提供するためのプログラム、システム、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-22

(45)【発行日】2024-05-30

(54)【発明の名称】拡張現実技術を用いたコンテンツを提供するためのプログラム、システム、及び方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240523BHJP

   A63F 13/655 20140101ALI20240523BHJP

   A63F 13/525 20140101ALI20240523BHJP

【ＦＩ】

G06T19/00 600

A63F13/655

A63F13/525

【請求項の数】 6

(21)【出願番号】P 2020018837

(22)【出願日】2020-02-06

(65)【公開番号】P2021125030

(43)【公開日】2021-08-30

【審査請求日】2022-12-16

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和１年１２月２３日、ｈｔｔｐｓ：／／ａｐｐｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／ｉｄ１４８１５３６３９１ 令和２年１月１７日、ｈｔｔｐｓ：／／ｐｌａｙ．ｇｏｏｇｌｅ．ｃｏｍ／ｓｔｏｒｅ／ａｐｐｓ／ｄｅｔａｉｌｓ？ｉｄ＝ｃｏｍ．ｓｈｏｗｒｏｏｍ．ｓｈｏｗｓｔａｇｅ

(73)【特許権者】

【識別番号】599115217

【氏名又は名称】株式会社 ディー・エヌ・エー

(74)【代理人】

【識別番号】100125195

【弁理士】

【氏名又は名称】尾畑 雄一

(72)【発明者】

【氏名】杉山 敦

【審査官】岡本 俊威

(56)【参考文献】

【文献】特表２０１９－５３５２１０（ＪＰ，Ａ）

【文献】特開２０１８－１７１４５５（ＪＰ，Ａ）

【文献】特開平１０－１９８８２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ａ６３Ｆ １３／００－１３／９８

(57)【特許請求の範囲】

【請求項1】

拡張現実技術を用いたコンテンツを提供するためのプログラムであって、１又は複数のコンピュータに、
現実カメラを介した現実空間の画像を取得する処理と、
前記現実カメラに連動するように、仮想空間に含まれる仮想カメラを制御する処理と、
前記現実空間の画像に対して前記仮想カメラを介した前記仮想空間の画像を重ねた拡張現実画像を生成及び表示する処理と、を実行させ、
前記仮想カメラを制御する処理は、前記仮想空間に含まれる所定オブジェクトに基づく所定領域外に前記仮想カメラが位置するように、前記現実カメラに対する前記仮想カメラの相対的な位置を調整することを含み、
前記所定領域は、前記所定オブジェクトを囲う第１領域、及び、前記所定オブジェクトの所定位置よりも下側の第２領域を含み、
前記所定位置は、キャラクタとして構成される前記所定オブジェクトの腰の位置であり、
前記仮想カメラを制御する処理は、
前記現実カメラに連動する前記仮想カメラの前記第２領域内への進入に応じて、前記現実カメラに対する前記仮想カメラの相対的な位置を、上方向に移動させること、及び、
前記仮想カメラの前記第２領域内への進入に応じた前記現実カメラに対する前記仮想カメラの相対的な位置の上方向への移動に伴って前記仮想カメラが前記第１領域内に進入する場合に、前記現実カメラに対する前記仮想カメラの相対的な位置を水平方向に移動させること、を含む、
プログラム。

【請求項2】

前記仮想カメラを制御する処理は、前記現実カメラに連動する前記仮想カメラの前記所定領域内への進入に応じて、前記所定領域外に前記仮想カメラが位置するように、前記現実カメラに対する前記仮想カメラの相対的な位置を調整することを含む、
請求項１のプログラム。

【請求項3】

前記仮想カメラを制御する処理は、前記所定領域外に前記仮想カメラが位置するように前記現実カメラに対する前記仮想カメラの相対的な位置を調整した後に、前記所定領域外に前記仮想カメラが位置する限りにおいて、前記現実カメラに対する前記仮想カメラの相対的な位置を調整前の位置に戻すことを含む、
請求項１又は２のプログラム。

【請求項4】

前記仮想カメラを制御する処理は、前記所定オブジェクトが第１の種類のオブジェクトである場合に、前記第２領域外に前記仮想カメラが位置するように前記仮想カメラの相対的な位置を調整する一方、前記所定オブジェクトが第２の種類のオブジェクトである場合に、前記第２領域外に前記仮想カメラが位置するように前記仮想カメラの相対的な位置を調整しないことを含む、
請求項１ないし３のプログラム。

【請求項5】

１又は複数のコンピュータプロセッサを備え、拡張現実技術を用いたコンテンツを提供するためのシステムであって、
前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、
現実カメラを介した現実空間の画像を取得する処理と、
前記現実カメラに連動するように、仮想空間に含まれる仮想カメラを制御する処理と、
前記現実空間の画像に対して前記仮想カメラを介した前記仮想空間の画像を重ねた拡張現実画像を生成及び表示する処理と、を実行し、
前記仮想カメラを制御する処理は、前記仮想空間に含まれる所定オブジェクトに基づく所定領域外に前記仮想カメラが位置するように、前記現実カメラに対する前記仮想カメラの相対的な位置を調整することを含み、
前記所定領域は、前記所定オブジェクトを囲う第１領域、及び、前記所定オブジェクトの所定位置よりも下側の第２領域を含み、
前記所定位置は、キャラクタとして構成される前記所定オブジェクトの腰の位置であり、
前記仮想カメラを制御する処理は、
前記現実カメラに連動する前記仮想カメラの前記第２領域内への進入に応じて、前記現実カメラに対する前記仮想カメラの相対的な位置を、上方向に移動させること、及び、
前記仮想カメラの前記第２領域内への進入に応じた前記現実カメラに対する前記仮想カメラの相対的な位置の上方向への移動に伴って前記仮想カメラが前記第１領域内に進入する場合に、前記現実カメラに対する前記仮想カメラの相対的な位置を水平方向に移動させること、を含む、
システム。

【請求項6】

１又は複数のコンピュータによって実行され、拡張現実技術を用いたコンテンツを提供するための方法であって、
現実カメラを介した現実空間の画像を取得する工程と、
前記現実カメラに連動するように、仮想空間に含まれる仮想カメラを制御する工程と、
前記現実空間の画像に対して前記仮想カメラを介した前記仮想空間の画像を重ねた拡張現実画像を生成及び表示する工程と、を備え、
前記仮想カメラを制御する工程は、前記仮想空間に含まれる所定オブジェクトに基づく所定領域外に前記仮想カメラが位置するように、前記現実カメラに対する前記仮想カメラの相対的な位置を調整することを含み、
前記所定領域は、前記所定オブジェクトを囲う第１領域、及び、前記所定オブジェクトの所定位置よりも下側の第２領域を含み、
前記所定位置は、キャラクタとして構成される前記所定オブジェクトの腰の位置であり、
前記仮想カメラを制御する工程は、
前記現実カメラに連動する前記仮想カメラの前記第２領域内への進入に応じて、前記現実カメラに対する前記仮想カメラの相対的な位置を、上方向に移動させること、及び、
前記仮想カメラの前記第２領域内への進入に応じた前記現実カメラに対する前記仮想カメラの相対的な位置の上方向への移動に伴って前記仮想カメラが前記第１領域内に進入する場合に、前記現実カメラに対する前記仮想カメラの相対的な位置を水平方向に移動させること、を含む、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術を用いたコンテンツを提供するためのプログラム、システム、及び方法に関するものである。

【背景技術】

【0002】

従来、拡張現実技術を適用した様々なデジタルコンテンツ（以下、ＡＲコンテンツと言うことがある。）が提供されている（例えば、下記特許文献１を参照）。こうしたコンテンツでは、スマートフォン等の装置が有するカメラによって撮影される撮影画像（現実空間の画像）に対して仮想空間の画像が重ねられた拡張現実画像が生成及び表示される。また、典型的には、仮想空間における視点に対応する仮想カメラは、現実のカメラに連動するように（現実のカメラの動きを追従するように）制御される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１９７４９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来のＡＲコンテンツにおいて、現実のカメラに連動するように仮想カメラを制御するだけでは、適切な拡張現実画像が生成されない場合が考えられる。例えば、仮想空間における仮想カメラの位置によっては、当該仮想空間に含まれるキャラクタ等のオブジェクトが適切に表示されない場合が考えられる。

【0005】

本発明の実施形態は、適切な拡張現実画像の生成及び表示を支援することを目的の一つとする。本発明の実施形態の他の目的は、本明細書全体を参照することにより明らかとなる。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係るプログラムは、拡張現実技術を用いたコンテンツを提供するためのプログラムであって、１又は複数のコンピュータに、現実カメラを介した現実空間の画像を取得する処理と、前記現実カメラに連動するように、仮想空間に含まれる仮想カメラを制御する処理と、前記現実空間の画像に対して前記仮想カメラを介した前記仮想空間の画像を重ねた拡張現実画像を生成及び表示する処理と、を実行させ、前記仮想カメラを制御する処理は、前記仮想空間に含まれる所定オブジェクトに基づく所定領域外に前記仮想カメラが位置するように、前記現実カメラに対する前記仮想カメラの相対的な位置を調整することを含む。

【0007】

本発明の一実施形態に係るシステムは、１又は複数のコンピュータプロセッサを備え、拡張現実技術を用いたコンテンツを提供するためのシステムであって、前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、現実カメラを介した現実空間の画像を取得する処理と、前記現実カメラに連動するように、仮想空間に含まれる仮想カメラを制御する処理と、前記現実空間の画像に対して前記仮想カメラを介した前記仮想空間の画像を重ねた拡張現実画像を生成及び表示する処理と、を実行し、前記仮想カメラを制御する処理は、前記仮想空間に含まれる所定オブジェクトに基づく所定領域外に前記仮想カメラが位置するように、前記現実カメラに対する前記仮想カメラの相対的な位置を調整することを含む。

【0008】

本発明の一実施形態に係る方法は、１又は複数のコンピュータによって実行され、拡張現実技術を用いたコンテンツを提供するための方法であって、現実カメラを介した現実空間の画像を取得する工程と、前記現実カメラに連動するように、仮想空間に含まれる仮想カメラを制御する工程と、前記現実空間の画像に対して前記仮想カメラを介した前記仮想空間の画像を重ねた拡張現実画像を生成及び表示する工程と、を備え、前記仮想カメラを制御する工程は、前記仮想空間に含まれる所定オブジェクトに基づく所定領域外に前記仮想カメラが位置するように、前記現実カメラに対する前記仮想カメラの相対的な位置を調整することを含む。

【発明の効果】

【0009】

本発明の様々な実施形態は、適切な拡張現実画像の生成及び表示を支援する。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係るコンテンツ提供端末１０を含むネットワークの構成を概略的に示す構成図。

【図2】ライブ空間動画を再生する際に、コンテンツ提供端末１０によって実行される処理を例示するフロー図。

【図3】仮想空間（オブジェクト）が配置される様子を説明するための図。

【図4】仮想空間を説明するための図。

【図5】ライブ空間動画の再生中において、コンテンツ提供端末１０によって実行される処理を例示するフロー図。

【図6】キャラクタを構成する各メッシュの境界ボックスを例示する図。

【図7】仮想カメラがローアングル領域に位置する場合の仮想カメラの制御を説明するための図。

【図8】仮想カメラＶＰがキャラクタＣＨの腰の高さｈよりも高い位置にある状態の拡張現実画像５０を例示する図。

【図9】仮想カメラＶＰが、カメラ１３１の位置に対応する基準点ＲＰから上方向に移動してキャラクタＣＨの腰の高さｈよりも高い位置にある状態の拡張現実画像５０を例示する図。

【図10】仮想カメラがめり込み領域に位置しており、且つ、ローアングル領域への進入に応じた仮想カメラの上方向への移動の直後でない場合の仮想カメラの制御を説明するための図。

【図11】仮想カメラＶＰが境界ボックスＢＢの外側に位置する状態の拡張現実画像５０を例示する図。

【図12】仮想カメラＶＰが、カメラ１３１の位置に対応する基準点ＲＰから視線方向の反対方向に移動して境界ボックスＢＢの外側の位置にある状態の拡張現実画像５０を例示する図。

【図13】仮想カメラがめり込み領域に位置しており、且つ、ローアングル領域への進入に応じた仮想カメラの上方向への移動の直後である場合の仮想カメラの制御を説明するための図。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、本発明の実施形態について説明する。各図面において、同一の又は類似する構成要素に対しては同一の参照符号が付され得る。

【0012】

図１は、本発明の一実施形態に係るコンテンツ提供端末１０を含むネットワークの構成を概略的に示す構成図である。端末１０は、図示するように、インターネット等の通信ネットワーク２０を介してコンテンツ管理サーバ３０と通信可能に接続されている。コンテンツ提供端末１０は、拡張現実（ＡＲ）の技術を用いたＡＲコンテンツを提供するための機能を有し、本発明のシステムの全部又は一部を実装する装置の一例である。

【0013】

コンテンツ提供端末１０は、一般的なコンピュータとして構成されており、図１に示すように、ＣＰＵ及びＧＰＵ等を含むコンピュータプロセッサ１１と、メインメモリ１２と、入出力Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、ストレージ（記憶装置）１５と、各種センサ１６とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。

【0014】

コンピュータプロセッサ１１は、ストレージ１５等に記憶されている様々なプログラムをメインメモリ１２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ１２は、例えば、ＤＲＡＭ等によって構成される。

【0015】

入出力Ｉ／Ｆ１３は、例えば、タッチパネル、コントローラ等の情報入力装置、マイクロフォン等の音声入力装置、カメラ１３１等の画像入力装置を含む。また、入出力Ｉ／Ｆ１３は、ディスプレイ等の画像出力装置（表示装置）、スピーカー等の音声出力装置を含む。

【0016】

通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、有線又は無線の通信を実現できるように構成されている。

【0017】

ストレージ１５は、例えば磁気ディスク又はフラッシュメモリ等によって構成される。ストレージ１５は、オペレーティングシステムを含む様々なプログラム及び各種データ等を記憶する。ストレージ１５が記憶するプログラムは、アプリケーションマーケット等からダウンロードされてインストールされ得る。本実施形態において、ストレージ１５が記憶するプログラムは、本発明の一実施形態に係るコンテンツ提供用プログラム４０を含む。コンテンツ提供用プログラム４０は、コンテンツ提供端末１０を、拡張現実技術を用いたＡＲコンテンツを提供するための装置として機能させるためのプログラムである。

【0018】

各種センサ１６は、例えば、加速度センサ、ジャイロセンサ（角速度センサ）、地磁気センサ等によって構成されるモーションセンサを含む。コンテンツ提供端末１０は、こうしたモーションセンサによって検知される情報に基づいて、端末１０自体の様々な動きを判定することができる。

【0019】

コンテンツ管理サーバ３０は、一般的なコンピュータとしての構成を有する。コンテンツ管理サーバ３０は、コンテンツ提供端末１０が提供するＡＲコンテンツに関する様々な情報を記憶及び管理する。例えば、コンテンツ管理サーバ３０は、ユーザ毎のコンテンツに関する情報、及び、コンテンツを提供するための各種データ（例えば、コンテンツ自体、及び、仮想空間のデータ等）等を管理する。コンテンツ管理サーバ３０は、それぞれが一般的なコンピュータとしての構成を有する複数のサーバ装置を用いて構成され得る。

【0020】

例えば、コンテンツ提供端末１０は、コンテンツ提供用プログラム４０の起動に応じて、対応するユーザのコンテンツに関する情報及び各種データ等をコンテンツ管理サーバ３０から取得する。また、例えば、コンテンツ提供端末１０は、コンテンツ提供用プログラム４０の実行中において、各種データ等をコンテンツ管理サーバ３０から取得し、及び、ユーザに対するコンテンツの提供状況（例えば、ゲームの進行状況等）等をコンテンツ管理サーバ３０に対して送信する。なお、本実施形態において、コンテンツ提供端末１０は、コンテンツ管理サーバ３０との通信なしでＡＲコンテンツを提供するように構成することができ、この場合、コンテンツ管理サーバ３０は不要となり得る。

【0021】

次に、本実施形態のコンテンツ提供端末１０が有する機能について説明する。図１に示すように、コンテンツ提供端末１０のコンピュータプロセッサ１１は、メインメモリ１２に読み込まれたプログラム（例えば、コンテンツ提供用プログラム４０）に含まれる命令を実行することによって、画像生成表示部１１１、及び、コンテンツ制御部１１２として機能するように構成されている。

【0022】

画像生成表示部１１１は、コンテンツに関する画像の生成及び表示に関する様々な処理を実行するように構成されている。例えば、画像生成表示部１１１は、カメラ１３１を介した現実空間の画像を取得し、取得した現実空間の画像に対して、仮想空間に含まれる仮想カメラを介した当該仮想空間の画像を重ねた拡張現実画像を生成及び表示するように構成されている。仮想空間は、例えば、三次元の仮想空間として構成される。

【0023】

本実施形態において、仮想空間に含まれる仮想カメラは、現実のカメラ１３１に連動するように制御される。例えば、画像生成表示部１１１は、カメラ１３１（端末１０）の動き（位置及び傾き（姿勢）の変化等）に従って仮想空間内を動くように仮想カメラを制御する。こうした仮想カメラの制御は、現実空間と仮想空間との対応関係を確立するための制御と言うこともでき、トラッキングと呼ばれることもある。仮想カメラは、仮想空間における視点と言うこともできる。

【0024】

また、画像生成表示部１１１は、仮想空間に含まれる所定オブジェクトに基づく所定領域外に仮想カメラが位置するように、カメラ１３１に対する仮想カメラの相対的な位置を調整するように構成されている。例えば、画像生成表示部１１１は、カメラ１３１に連動する仮想カメラに対してオフセットを設定する（カメラ１３１の位置に対応する基準点から特定の方向へ特定の距離だけ離れた位置を仮想カメラの位置とする）ことによって、カメラ１３１に対する仮想カメラの相対的な位置の調整を行うように構成される。

【0025】

コンテンツ制御部１１２は、コンテンツの制御に関する様々な処理を実行する。例えば、コンテンツが拡張現実技術を用いた動画（例えば、キャラクタ等の仮想的なオブジェクトが現実空間において登場するような動画等）である場合、コンテンツ制御部１１２は、複数の動画の中からユーザによって指定された動画をコンテンツ管理サーバ３０に対して要求し、当該動画をサーバ３０から受信して再生するように構成される。また、例えば、コンテンツが拡張現実技術を用いたゲームである場合、コンテンツ制御部１１２は、ユーザ（ゲームのプレイヤ）による操作入力に応じて当該ゲームの進行を制御するように構成される。

【0026】

このように、本実施形態におけるコンテンツ提供端末１０は、カメラ１３１を介した現実空間の画像に対して、当該カメラ１３１に連動する仮想カメラを介した仮想空間の画像を重ねた拡張現実画像を生成及び表示し、当該仮想空間に含まれる所定オブジェクトに基づく所定領域外に仮想カメラが位置するように、カメラ１３１に対する仮想カメラの相対的な位置を調整するから、こうした領域内に仮想カメラが位置することによって不適切な画像が生成及び表示されることを抑制する。つまり、コンテンツ提供端末１０は、適切な拡張現実画像の生成及び表示を支援する。

【0027】

本実施形態において、カメラ１３１に対する仮想カメラの相対的な位置の調整は、様々な態様で実現され得る。例えば、画像生成表示部１１１は、カメラ１３１に連動する仮想カメラの所定領域内への進入に応じて、当該所定領域外に仮想カメラが位置するように、カメラ１３１に対する仮想カメラの相対的な位置を調整する（例えば、仮想カメラを所定領域外に移動させる）ように構成され得る。こうした構成は、仮想カメラの所定領域内への進入に応じた当該仮想カメラの位置の調整を可能とする。

【0028】

また、画像生成表示部１１１は、所定領域外に仮想カメラが位置するようにカメラ１３１に対する仮想カメラの相対的な位置を調整した後に、当該所定領域外に仮想カメラが位置する限りにおいて、カメラ１３１に対する仮想カメラの相対的な位置を調整前の位置に戻すように構成され得る。例えば、画像生成表示部１１１は、カメラ１３１に連動する仮想カメラに対してオフセットを設定した後に、当該オフセットを段階的に／一時に解消する（カメラ１３１の位置に対応する基準点に向けて仮想カメラを段階的に／一時に移動させる）ように構成される。こうした構成は、カメラ１３１に対する仮想カメラの相対的な位置の調整後、当該仮想カメラを通常の位置に戻すことを可能とする。

【0029】

本実施形態において、所定オブジェクトは、仮想空間に含まれる様々な種類のオブジェクトを含み、例えば、これらに限定されないが、キャラクタ、人工物（建築物等）、及び自然物（樹木等）を含む。例えば、所定オブジェクトが仮想空間内を動くキャラクタ等のオブジェクトとして構成される場合には、当該所定オブジェクトに基づく所定領域もまた仮想空間内を移動し得る。

【0030】

本実施形態において、上記所定領域は、所定オブジェクトに基づく様々な領域を含み得る。例えば、所定領域は、当該所定オブジェクトを囲う領域を含む。当該領域は、例えば、所定オブジェクトの境界を定める境界ボックス（例えば、軸平行境界ボックス（ＡＡＢＢ）、又は、有向境界ボックス（ＯＢＢ）等）、又は、当該境界ボックスに基づく領域（境界ボックスよりも若干大きい／小さい領域）等として構成される。こうした構成は、所定オブジェクトを囲う領域内に仮想カメラが位置する（例えば、仮想カメラが所定オブジェクトにめり込む）ことによって不適切な拡張現実画像となってしまうこと（例えば、所定オブジェクトが適切に表示されないこと等）を抑制する。

【0031】

また、画像生成表示部１１１は、所定オブジェクトを囲う領域への仮想カメラの進入に応じて、カメラ１３１に対する仮想カメラの相対的な位置を、当該仮想カメラの視線の方向の反対の方向に移動させるように構成され得る。こうした構成は、仮想カメラの視線に対応する直線に沿って当該仮想カメラを移動させるから、仮想カメラを介した画像の変化が小さくなり、この結果、仮想カメラの移動に伴ってユーザに生じ得る違和感が低減される。

【0032】

また、例えば、所定領域は、所定オブジェクトの所定位置よりも下側の領域を含む。例えば、所定位置は、キャラクタとして構成される所定オブジェクトの腰の位置を含む。例えば、画像生成表示部１１１は、所定オブジェクトの所定位置よりも下側の領域への仮想カメラの進入に応じて、カメラ１３１に対する仮想カメラの相対的な位置を、上方向（例えば、鉛直上方向、又は、斜め上方向等）に移動させるように構成され得る。こうした構成は、所定オブジェクトの所定位置よりも下側の領域内に仮想カメラが位置することによって不適切な拡張現実画像となってしまうこと（例えば、キャラクタの腰の位置よりも低い視点からのローアングルの画像となってしまうこと等）を抑制する。

【0033】

また、画像生成表示部１１１は、所定オブジェクトの所定位置よりも下側の領域への仮想カメラの進入に応じたカメラ１３１に対する仮想カメラの相対的な位置の上方向への移動に伴って当該仮想カメラが所定オブジェクトを囲う領域に進入する場合に、カメラ１３１に対する仮想カメラの相対的な位置を水平方向に移動させるように構成され得る。こうした構成は、所定オブジェクトを囲う領域外に移動する仮想カメラが、所定オブジェクトの所定位置よりも下側の領域へ再度進入してしまうことを抑制する。

【0034】

本実施形態において、所定オブジェクトの種類に応じて、仮想カメラの制御を変化させるようにしてもよい。例えば、画像生成表示部１１１は、所定オブジェクトが第１の種類のオブジェクト（例えば、ローアングルが好ましくないキャラクタ）である場合に、所定位置よりも下側の領域外に仮想カメラが位置するように当該仮想カメラの相対的な位置を調整する一方、所定オブジェクトが第２の種類のオブジェクト（例えば、ローアングルでも問題ないキャラクタ）である場合に、こうした仮想カメラの相対的な位置の調整を行わないように構成され得る。こうした構成は、所定オブジェクトの種類に応じた仮想カメラの制御を可能とし、この結果、端末１０に対する負荷が軽減され得る。

【0035】

次に、このような機能を有する本実施形態のコンテンツ提供端末１０の一態様としての具体例について説明する。この例において、コンテンツ提供端末１０は、仮想空間において行われるライブ・公演（コンサート、ギグ、パフォーマンス、又はショー等と呼ばれることもある。）に対応するライブ空間動画をユーザに対して提供する。当該動画は、現実空間の画像に対して仮想空間の画像が重ねられた拡張現実画像を含むように構成される。

【0036】

この例において、ライブ空間動画は、コンテンツ管理サーバ３０から所定の日時（ライブ・公演の開催日時）に生配信される。例えば、ユーザは、予めチケットを購入したライブ空間動画を、その開催日時において、コンテンツ提供端末１０を介して視聴することができる。なお、こうした動画の生配信に代えて、又は、これに加えて、予め記憶されている動画をユーザからの要求に応じて配信するようにしてもよい。

【0037】

図２は、ライブ空間動画を再生する際に、コンテンツ提供端末１０によって実行される処理を例示するフロー図である。これらの処理は、ユーザによる特定の動画の再生（仮想的なライブ空間（ライブ会場）への入室）の要求に応じて実行される。端末１０は、まず、図示するように、対応するライブ空間動画におけるオブジェクト情報を取得する（ステップＳ１００）。オブジェクト情報は、ライブ空間動画における仮想空間に含まれるオブジェクトに関する情報であり、コンテンツ管理サーバ３０から取得される。仮想空間に含まれるオブジェクトは、パフォーマーとしてのキャラクタ（所定オブジェクト）を含み、オブジェクト情報は、当該キャラクタの３Ｄモデルを含む。オブジェクトは、キャラクタ以外の様々な種類のオブジェクト（例えば、ステージ、スクリーン等の設備に対応するオブジェクト等）を含み得る。

【0038】

続いて、端末１０は、カメラ１３１を介して入力される現実空間の画像（撮影画像）における平面を認識し（ステップＳ１１０）、認識した平面に基づいて、現実空間に対して仮想空間（オブジェクト）を配置する（ステップＳ１２０）。

【0039】

図３は、仮想空間（オブジェクト）が配置される様子を説明するための図である。図３の上側の画像４５は、カメラ１３１を介して入力される現実空間の撮影画像であり、この例では、テーブルＴＢの上面が含まれている。図３の下側の画像５０は、撮影画像４５に対して、オブジェクトとしてのキャラクタＣＨが含まれる仮想空間が配置された拡張現実画像である。拡張現実画像５０は、現実空間の画像に対して仮想空間の画像が重ねられているとも言える。この例では、撮影画像４５におけるテーブルＴＢの上面が平面として認識され、拡張現実画像５０では、当該テーブルＴＢの上面にキャラクタＣＨが立っている。

【0040】

図４は、仮想空間を説明するための図である。図示するように、この例では、右方向をＸ軸、上方向をＹ軸、及び、手前方向をＺ軸とする三次元の座標系が仮想空間におけるワールド座標系として定義される。そして、ワールド座標系のＸＺ平面が、現実空間の撮影画像において認識された平面に対応付けられ、キャラクタＣＨは、当該ＸＹ平面上に配置される。また、仮想空間における視点となる仮想カメラＶＰが所定位置に配置され、当該仮想カメラＶＰの位置及び視線ＶＬの方向は、カメラ１３１（端末１０）の動きに連動するように制御される。こうした仮想カメラＶＰの制御は、カメラ１３１を介した撮影画像、及び、モーションセンサによって検知される情報等に基づいて行われる。なお、仮想空間において、キャラクタＣＨ、及び、仮想カメラＶＰ等の位置を基準としたローカル座標系も管理され得る。

【0041】

図２のフロー図に戻り、こうして現実空間に対して仮想空間（オブジェクト）が配置されると、次に、端末１０は、ライブ空間動画を再生する（ステップＳ１３０）。当該動画の再生は、所定の終了条件が成立するまでの間、継続する（ステップＳ１４０においてＮＯ）。動画の再生では、カメラ１３１を介した現実空間の画像に対して、当該カメラ１３１に連動する仮想カメラを介した仮想空間の画像が重ねられた拡張現実画像が繰り返し生成及び表示される。仮想空間の画像において、キャラクタは、その３Ｄモデルに基づいて描画され、コンテンツ管理サーバ３０から受信する動きデータ（３Ｄモデルのアニメーション情報等）に基づいて動作する。また、動画の再生では、コンテンツ管理サーバ３０から受信する音声が出力される。

【0042】

この例では、動画の再生中において、カメラ１３１に連動する仮想カメラは、キャラクタに基づく所定領域外となるように制御される。図５は、動画の再生中において、コンテンツ提供端末１０によって実行される処理を例示するフロー図である。これらの処理は、所定のタイミングで繰り返し実行され、例えば、生成及び表示される拡張現実画像に対応するフレーム単位で実行される。端末１０は、まず、図示するように、キャラクタの腰の高さ、及び、当該キャラクタを構成する各メッシュの境界ボックスの位置を取得する（ステップＳ２００）。

【0043】

この例において、キャラクタの腰の高さは、キャラクタ情報に含まれるボーン情報に基づいて判定され、具体的には、キャラクタに含まれる複数のボーンのうち、背骨に相当するボーンの下端部の高さが、キャラクタの腰の高さ（ワールド座標系におけるＹ座標）として判定される。なお、本実施形態の他の例では、これに代えて、キャラクタの重心の位置が腰の位置として利用され、又は、キャラクタ毎に腰の高さが固定値として予め設定される。

【0044】

また、キャラクタを構成する各メッシュの境界ボックスは、この例では、軸平行境界ボックス（ＡＡＢＢ）として定義され、キャラクタのメッシュ情報に基づいて特定される。例えば、キャラクタが、頭部に対応する第１メッシュ、及び、胴体部に対応する第２メッシュの２つのメッシュによって構成される場合には、図６に示すように、頭部を囲う第１境界ボックスＢＢ１、及び、胴体部を囲う第２境界ボックスＢＢ２の２つの境界ボックスが特定され、これらの境界ボックスＢＢの位置（ワールド座標系における座標）が取得される。

【0045】

図５のフロー図に戻り、続いて、端末１０は、仮想カメラの位置及び視線の方向を取得する（ステップＳ２１０）。上述したように、仮想カメラは、カメラ１３１に連動するように制御され、ステップＳ２１０では、その時点における仮想カメラの位置及び視線の方向（ワールド座標系における座標及び方向ベクトル）が取得される。

【0046】

そして、端末１０は、仮想カメラが、その位置を調整する必要がある位置調整要領域（所定領域）内に位置しているか否かを判定する（ステップＳ２２０）。この例において、位置調整要領域は、キャラクタの腰の高さよりも低い「ローアングル領域」、及び、キャラクタを構成する各メッシュの境界ボックスの内側に対応する「めり込み領域」の２つの領域である。仮想カメラが位置調整要領域内に位置している場合には（ステップＳ２２０においてＹＥＳ）、以下に述べるように、仮想カメラの位置が調整される。

【0047】

まず、仮想カメラがローアングル領域内に位置している場合には（ステップＳ２３０においてＹＥＳ）、端末１０は、仮想カメラを上方向に移動させる（ステップＳ２４０）。この例では、具体的には、キャラクタの腰の高さと、仮想カメラの高さとの差分に基づいて、キャラクタの腰の高さよりも若干上の高さとなるように、仮想カメラが上方向（鉛直上方向）に移動する。なお、本実施形態の他の例では、この場合の仮想カメラの移動量は固定値とされ得る。

【0048】

図７は、仮想カメラがローアングル領域内に位置する場合の仮想カメラの制御を説明するための図である。図示するように、キャラクタＣＨの腰の高さｈよりも高い位置にある仮想カメラＶＰ（図７（Ａ））が、カメラ１３１に連動して移動することにより、キャラクタＣＨの腰の高さｈよりも低い位置に進入すると（図７（Ｂ））、仮想カメラＶＰは、カメラ１３１の位置に対応する基準点ＲＰから上方向に移動し、キャラクタＣＨの腰の高さｈよりも高い位置となる（図７（Ｃ）））。なお、カメラ１３１の位置に対応する基準点ＲＰから仮想カメラＶＰまでの方向及び距離は、仮想カメラＶＰに対して設定されたオフセットとして管理される。

【0049】

図８は、仮想カメラＶＰがキャラクタＣＨの腰の高さｈよりも高い位置にある状態（図７（Ａ））における拡張現実画像５０を例示し、図９は、キャラクタＣＨの腰の高さｈよりも低い位置に進入した仮想カメラＶＰが、カメラ１３１の位置に対応する基準点ＲＰから上方向に移動してキャラクタＣＨの腰の高さｈよりも高い位置にある状態（図７（Ｃ））における拡張現実画像５０を例示する。仮想カメラＶＰが、カメラ１３１の位置に対応する基準点ＲＰから上方向に移動すると、現実空間の画像と仮想空間の画像との位置関係が上下方向にずれる。この結果、図８及び図９の拡張現実画像５０において、仮想空間におけるキャラクタＣＨの表示は同様である一方、現実空間におけるテーブルＴＢの表示は、図８の拡張現実画像５０のテーブルＴＢと比較して、図９の拡張現実画像５０のテーブルＴＢの方が上側に位置する。このように、この例では、現実空間の画像と仮想空間の画像との位置関係に上下方向のずれが生じるものの、ローアングルのキャラクタを含む不適切な画像の生成及び表示が抑制される。

【0050】

図５のフロー図に戻り、続いて、仮想カメラがめり込み領域内に位置している場合には（ステップＳ２５０においてＹＥＳ）、さらに、端末１０は、ローアングル領域への進入に応じた仮想カメラの上方向への移動（ステップＳ２４０）の直後であるか否かを判定する（ステップＳ２６０）。そして、こうした仮想カメラの上方向への移動の直後でない場合には（ステップＳ２６０においてＮＯ）、端末１０は、仮想カメラを、現在の視線方向の反対方向に移動させる（ステップＳ２７０）。この例では、仮想カメラの現在の位置から、当該仮想カメラの視線方向の反対方向に向けた直線とめり込み領域（境界ボックス）との交点までの距離に基づいて、めり込み領域（境界ボックス）の若干外側の位置となるように、仮想カメラを視線方向の反対方向に移動させる。なお、本実施形態の他の例では、この場合の仮想カメラの移動量は固定値とされ得る。

【0051】

図１０は、仮想カメラがめり込み領域（境界ボックス）内に位置しており、且つ、ローアングル領域への進入に応じた仮想カメラの上方向への移動の直後でない場合の仮想カメラの制御を説明するための図である。図示するように、境界ボックスＢＢの外側に位置する仮想カメラＶＰ（図１０（Ａ））が、カメラ１３１に連動して移動することにより、境界ボックスＢＢの内側に進入すると（図１０（Ｂ））、仮想カメラＶＰは、カメラ１３１の位置に対応する基準点ＲＰから、視線ＶＬの方向の反対方向に移動し、境界ボックスＢＢの外側の位置となる（図１０（Ｃ）））。なお、上述したように、カメラ１３１の位置に対応する基準点ＲＰから仮想カメラＶＰまでの方向及び距離は、仮想カメラＶＰに対して設定されたオフセットとして管理される。

【0052】

図１１は、仮想カメラＶＰが境界ボックスＢＢの外側に位置する状態（図１０（Ａ））における拡張現実画像５０を例示し、図１２は、境界ボックスＢＢの内側に進入した仮想カメラＶＰが、カメラ１３１の位置に対応する基準点ＲＰから視線方向の反対方向に移動して境界ボックスＢＢの外側の位置にある状態（図１０（Ｃ））における拡張現実画像５０を例示する。仮想カメラＶＰが、カメラ１３１の位置に対応する基準点ＲＰから視線方向の反対方向に移動すると、現実空間の画像と仮想空間の画像との位置関係が視線方向にずれる。この結果、図１１及び図１２の拡張現実画像５０において、仮想空間におけるキャラクタＣＨの表示は同様である一方、現実空間におけるテーブルＴＢの表示は、図１１の拡張現実画像５０のテーブルＴＢと比較して、図１２の拡張現実画像５０のテーブルＴＢの方が手前に位置する（拡大される）。このように、この例では、現実空間の画像と仮想空間の画像との位置関係に視線方向のずれが生じるものの、キャラクタの内部にめり込んだ仮想カメラからの不適切な画像の生成及び表示が抑制される。

【0053】

図５のフロー図に戻り、一方、仮想カメラがめり込み領域に位置しており、且つ、ローアングル領域への進入に応じた仮想カメラの上方向への移動（ステップＳ２４０）の直後である場合には（ステップＳ２６０においてＹＥＳ）、端末１０は、仮想カメラを水平方向に移動させる（ステップＳ２８０）。この例では、仮想カメラの現在の位置から、当該仮想カメラの視線方向の反対方向に向けた直線の水平成分に対応する直線とめり込み領域（境界ボックス）との交点までの距離に基づいて、めり込み領域（境界ボックス）の若干外側の位置となるように、仮想カメラを水平方向に移動させる。なお、本実施形態の他の例では、この場合の仮想カメラの移動量は固定値とされ得る。

【0054】

図１３は、仮想カメラがめり込み領域（境界ボックス）内に位置しており、且つ、ローアングル領域への進入に応じた仮想カメラの上方向への移動の直後である場合の仮想カメラの制御を説明するための図である。図示するように、仮想カメラＶＰは、キャラクタの腰の高さｈよりも低い位置になると（図１３（Ａ））、カメラ１３１の位置に対応する基準点ＲＰから上方向に移動し、キャラクタの腰の高さｈよりも高い位置となる。そして、上方向に移動した仮想カメラＶＰの位置が、境界ボックスＢＢの内側である場合（図１３（Ｂ））、仮想カメラＶＰは、その時点の位置（上方向への移動の直後の位置）から、視線ＶＬの方向の反対方向の水平成分に対応する方向に移動し、境界ボックスＢＢの外側の位置となる（図１３（Ｃ）））。なお、上述したように、カメラ１３１の位置に対応する基準点ＲＰから仮想カメラＶＰまでの方向及び距離は、仮想カメラＶＰに対して設定されたオフセットとして管理される。

【0055】

例えば、ローアングル領域に位置する仮想カメラの視線の方向が上方向に近い場合には、当該視線方向の反対方向（下方向に近い方向）に仮想カメラが移動すると、仮想カメラは、再度、ローアングル領域に進入してしまう可能性がある。しかし、この例では、こうした場合に仮想カメラは水平方向に移動することになるから、再度のローアングル領域への進入が回避され得る。

【0056】

このように、仮想カメラが位置調整要領域内に位置する場合に当該仮想カメラの位置が調整されて仮想カメラに対するオフセットが設定されると、仮想カメラは、当該オフセットが維持された状態で（カメラ１３１の位置に対応する基準点との位置関係を維持したまま）カメラ１３１に連動するように制御される。

【0057】

図５のフロー図に戻り、一方、仮想カメラが位置調整要領域内に位置していない場合には（ステップＳ２２０においてＮＯ）、端末１０は、仮想カメラに対してオフセットが設定されているか否かを判定する（ステップＳ２９０）。

【0058】

そして、仮想カメラに対するオフセットが設定されている場合には（ステップＳ２９０においてＹＥＳ）、端末１０は、仮想カメラを、カメラ１３１の位置に対応する基準点の方向に移動させる（ステップＳ３００）。この例では、仮想カメラは、現在の位置から基準点の方向に所定距離だけ移動する。その後、位置調整要領域外に位置している限りにおいて、仮想カメラは、カメラ１３１に対応する基準点に向けて所定距離だけ繰り返し移動することになるから、最終的には、仮想カメラの位置は当該基準点の位置となり、オフセットが解消される。

【0059】

上述した例において、キャラクタの種類（例えば、身に着けている衣装の種類等）に応じて、ローアングル領域への進入に応じた仮想カメラの上方向への移動制御の要否を判断するようにしてもよい。この場合、キャラクタの種類（または、当該移動制御の要否）に関する情報は、コンテンツ管理サーバ３０から取得されるオブジェクト情報に含まれるようにしてもよい。

【0060】

上述した例では、ローアングル領域及びめり込み領域の２つの領域を、仮想カメラの位置の調整が必要な位置調整要領域としたが、これらの領域のいずれか一方のみを位置調整要領域としてもよい。また、本実施形態の他の例では、ローアングル領域及びめり込み領域以外の様々な領域が、位置調整要領域として適用され得る。

【0061】

上述した例では、仮想カメラがローアングル領域に位置する場合に、仮想カメラを鉛直上方向に移動させるようにしたが、斜め上方向に移動させるようにしてもよい。また、ローアングル領域は、キャラクタの腰の高さよりも低い領域としたが、キャラクタの腰の位置を頂点とした円錐／角錐の形状を有する領域としてもよい。

【0062】

上述した例では、仮想カメラがめり込み領域に位置する場合に、仮想カメラを視線方向の反対方向に移動させるようにしたが、その他の方向に移動させるようにしてもよい。

【0063】

上述した例では、ＡＲコンテンツとしてライブ空間動画を例示したが、本実施形態におけるＡＲコンテンツは、これに限定されず、その他の動画、又は、ゲーム等の様々なコンテンツとして構成され得る。

【0064】

以上説明した本実施形態のコンテンツ提供端末１０は、カメラ１３１を介した現実空間の画像に対して、当該カメラ１３１に連動する仮想カメラを介した仮想空間の画像を重ねた拡張現実画像を生成及び表示し、当該仮想空間に含まれる所定オブジェクト（例えば、キャラクタ）に基づく所定領域（例えば、ローアングル領域及びめり込み領域）外に仮想カメラが位置するように、カメラ１３１に対する仮想カメラの相対的な位置を調整するから、こうした領域内に仮想カメラが位置することによって不適切な画像が生成及び表示されることを抑制する。つまり、コンテンツ提供端末１０は、適切な拡張現実画像の生成及び表示を支援する。

【0065】

本発明の他の実施形態において、コンテンツ提供端末１０が有する機能の少なくとも一部は、端末１０とコンテンツ管理サーバ３０とが協働することによって実現され、又は、コンテンツ管理サーバ３０によって実現され得る。

【0066】

本明細書で説明された処理及び手順は、明示的に説明されたもの以外にも、ソフトウェア、ハードウェアまたはこれらの任意の組み合わせによって実現される。例えば、本明細書で説明される処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク等の媒体に、当該処理及び手順に相当するロジックを実装することによって実現される。また、本明細書で説明された処理及び手順は、当該処理・手順に相当するコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。

【0067】

本明細書中で説明された処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書において説明されたソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。

【0068】

本明細書において、発明の構成要素が単数もしくは複数のいずれか一方として説明された場合、又は、単数もしくは複数のいずれとも限定せずに説明された場合であっても、文脈上別に解すべき場合を除き、当該構成要素は単数又は複数のいずれであってもよい。

【符号の説明】

【0069】

１０ コンテンツ提供端末
２０ 通信ネットワーク
３０ コンテンツ管理サーバ
１１ コンピュータプロセッサ
１１１ 画像生成表示部
１１２ コンテンツ制御部
１３ 入出力Ｉ／Ｆ
１３１ カメラ
１５ ストレージ
４０ コンテンツ提供用プログラム
４５ 撮影画像
５０ 拡張現実画像
ＢＢ 境界ボックス
ＲＰ 基準点
ＶＬ 視線
ＶＰ 仮想カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】