特許 7445348 情報処理装置、方法、プログラム、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-02-28

(45)【発行日】2024-03-07

(54)【発明の名称】情報処理装置、方法、プログラム、およびシステム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240229BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 14

(21)【出願番号】P 2023139754

(22)【出願日】2023-08-30

【審査請求日】2023-08-30

【早期審査対象出願】

(73)【特許権者】

【識別番号】518404765

【氏名又は名称】株式会社ＭｕｕＭｕ

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】藏岡 恒一郎

(72)【発明者】

【氏名】倉部 紘一

(72)【発明者】

【氏名】川口 肇

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２００３－２９６７４５（ＪＰ，Ａ）

【文献】特開２０００－０４８１７１（ＪＰ，Ａ）

【文献】特開２０１４－０４１４３３（ＪＰ，Ａ）

【文献】特開２００２－２１３９２１（ＪＰ，Ａ）

【文献】特開２００５－１６４５１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
二次元の静止画または動画である第１メディアを取得する手段、
前記第１メディアの被写体の１つである対象被写体を特定する手段、
前記対象被写体の基準方向の第１端から第２端までの現実空間におけるサイズである基準サイズを特定する手段、
前記第１メディアの座標系における前記対象被写体の第１端の位置である第１端位置と、前記第１メディアの座標系における第２端の位置である第２端位置とを特定する手段、
前記第１メディアに基づき、かつ前記対象被写体を含んだ二次元の静止画または動画である第２メディアを表示するために当該第２メディアに関連付けられる位置情報によって示される現実空間または仮想空間の位置に設定される表示領域のスケールを、前記基準サイズと、前記第１端位置と、前記第２端位置とに基づいて設定する手段、
として機能させ、
前記第２メディアは、前記第１メディアと同一であるか、または前記第１メディアを加工することで得られる二次元の静止画または動画である、
プログラム。

【請求項2】

前記設定する手段は、前記第２メディアが前記表示領域に表示された場合に、前記対象被写体の第２端の表示位置から第１端の表示位置までの現実空間におけるサイズが前記基準サイズに一致するように、前記表示領域のスケールを設定する、
請求項１に記載のプログラム。

【請求項3】

前記第１端位置および前記第２端位置を特定する手段は、ユーザからの指示に応じて前記第１端位置および前記第２端位置の少なくとも一方を特定する、
請求項１または請求項２に記載のプログラム。

【請求項4】

前記第１端位置および前記第２端位置を特定する手段は、前記第１メディアを表示する第１オブジェクトと、当該第１オブジェクトに表示された前記第１メディア上を前記ユーザからの指示に応じて前記第１メディアの座標系において前記基準方向に対応する方向に移動可能な第２オブジェクトを表示部に表示し、当該第２オブジェクトの位置に基づいて、前記第１端位置および前記第２端位置の少なくとも一方を特定する、
請求項３に記載のプログラム。

【請求項5】

前記第１端位置および前記第２端位置を特定する手段は、前記第１メディアの画像解析により前記第１端位置および前記第２端位置の少なくとも一方を特定する、
請求項１または請求項２に記載のプログラム。

【請求項6】

前記第１端位置および前記第２端位置を特定する手段は、前記第１メディアの画像特徴量に基づいて当該第１メディアにおいて前記対象被写体に対応する領域を認識し、当該領域の前記第１メディアの座標系において前記基準方向に対応する方向の座標に基づいて前記第１端位置および前記第２端位置の少なくとも一方を特定する、
請求項５に記載のプログラム。

【請求項7】

コンピュータを、
二次元の静止画または動画である第１メディアを取得する手段、
前記第１メディアの被写体の１つである対象被写体を特定する手段、
前記対象被写体の基準方向の第１端から第２端までの現実空間におけるサイズである基準サイズを特定する手段、
前記第１メディアの座標系における前記対象被写体の第１端の位置である第１端位置と、前記第１メディアの座標系における第２端の位置である第２端位置とを特定する手段、
前記第１メディアに基づき、かつ前記対象被写体を含んだ二次元の静止画または動画である第２メディアを表示するための表示領域のスケールを、前記基準サイズと、前記第１端位置と、前記第２端位置とに基づいて設定する手段、
前記第１メディアに前記対象被写体の第２端が写っているか否かを判定する手段、
前記第１メディアに前記対象被写体の第２端が写っていないと判定された場合に、前記対象被写体の特定部位の基準方向の第１端から第２端までの現実空間におけるサイズである部位基準サイズを特定する手段、
前記第１メディアに前記対象被写体の第２端が写っていないと判定された場合に、前記第１メディアの座標系における前記特定部位の第１端の位置である第１部位位置と、前記第１メディアの座標系における前記特定部位の第２端の位置である第２部位位置とを特定する手段、
として機能させ、
前記設定する手段は、前記第１メディアに前記対象被写体の第２端が写っていないと判定された場合に、前記表示領域のスケールを、前記部位基準サイズと、前記第１部位位置と、前記第２部位位置とに基づいて設定する、
プログラム。

【請求項8】

前記設定する手段は、前記第２メディアが前記表示領域に表示された場合に、前記特定部位の第１端の表示位置から第２端の表示位置までの現実空間におけるサイズが前記部位基準サイズに一致するように、前記表示領域のスケールを設定する、
請求項７に記載のプログラム。

【請求項9】

前記基準方向は、垂直方向であり、
前記コンピュータを、前記第１メディアの座標系の水平方向における前記対象被写体の中心位置を特定する手段、としてさらに機能させ、
前記設定する手段は、前記表示領域の水平方向の配置を前記対象被写体の中心位置に基づいて設定する、
請求項１に記載のプログラム。

【請求項10】

コンピュータを、
二次元の静止画または動画である第１メディアを取得する手段、
前記第１メディアの被写体の１つである対象被写体を特定する手段、
前記対象被写体の基準方向の第１端から第２端までの現実空間におけるサイズである基準サイズを特定する手段、
前記第１メディアの座標系における前記対象被写体の第１端の位置である第１端位置と、前記第１メディアの座標系における第２端の位置である第２端位置とを特定する手段、
前記第１メディアに基づき、かつ前記対象被写体を含んだ二次元の静止画または動画である第２メディアを表示するための表示領域のスケールを、前記基準サイズと、前記第１端位置と、前記第２端位置とに基づいて設定する手段、
として機能させ、
前記対象被写体は人物であり、
前記基準方向は、垂直方向であり、
前記コンピュータを、前記対象被写体の姿勢を判定する手段、として機能させ、
前記対象被写体が椅子に座っていると判定された場合に、前記基準サイズを特定する手段は、前記対象被写体の座高を前記基準サイズとして特定し、
前記対象被写体が椅子に座っていると判定された場合に、前記設定する手段は、前記表示領域のスケールを、前記座高と、前記第１端位置と、前記第２端位置とに基づいて設定する、
プログラム。

【請求項11】

前記設定する手段は、前記第２メディアが前記表示領域に表示された場合に、前記対象被写体の第２端の表示位置から第１端の表示位置までの現実空間におけるサイズが前記座高に一致するように、前記表示領域のスケールを設定する、
請求項１０に記載のプログラム。

【請求項12】

コンピュータが、
二次元の静止画または動画である第１メディアを取得するステップと、
前記第１メディアの被写体の１つである対象被写体を特定するステップと、
前記対象被写体の基準方向の第１端から第２端までの現実空間におけるサイズである基準サイズを特定するステップと、
前記第１メディアの座標系における前記対象被写体の第１端の位置である第１端位置と、前記第１メディアの座標系における第２端の位置である第２端位置とを特定するステップと、
前記第１メディアに基づき、かつ前記対象被写体を含んだ二次元の静止画または動画である第２メディアを表示するために当該第２メディアに関連付けられる位置情報によって示される現実空間または仮想空間の位置に設定される表示領域のスケールを、前記基準サイズと、前記第１端位置と、前記第２端位置とに基づいて設定するステップと
を実行し、
前記第２メディアは、前記第１メディアと同一であるか、または前記第１メディアを加工することで得られる二次元の静止画または動画である、
方法。

【請求項13】

二次元の静止画または動画である第１メディアを取得する手段と、
前記第１メディアの被写体の１つである対象被写体を特定する手段と、
前記対象被写体の基準方向の第１端から第２端までの現実空間におけるサイズである基準サイズを特定する手段と、
前記第１メディアの座標系における前記対象被写体の第１端の位置である第１端位置と、前記第１メディアの座標系における第２端の位置である第２端位置とを特定する手段と、
前記第１メディアに基づき、かつ前記対象被写体を含んだ二次元の静止画または動画である第２メディアを表示するために当該第２メディアに関連付けられる位置情報によって示される現実空間または仮想空間の位置に設定される表示領域のスケールを、前記基準サイズと、前記第１端位置と、前記第２端位置とに基づいて設定する手段と
を具備し、
前記第２メディアは、前記第１メディアと同一であるか、または前記第１メディアを加工することで得られる二次元の静止画または動画である、
情報処理装置。

【請求項14】

複数の情報処理装置からなるシステムであって、
二次元の静止画または動画である第１メディアを取得する手段と、
前記第１メディアの被写体の１つである対象被写体を特定する手段と、
前記対象被写体の基準方向の第１端から第２端までの現実空間におけるサイズである基準サイズを特定する手段と、
前記第１メディアの座標系における前記対象被写体の第１端の位置である第１端位置と、前記第１メディアの座標系における第２端の位置である第２端位置とを特定する手段と、
前記第１メディアに基づき、かつ前記対象被写体を含んだ二次元の静止画または動画である第２メディアを表示するために当該第２メディアに関連付けられる位置情報によって示される現実空間または仮想空間の位置に設定される表示領域のスケールを、前記基準サイズと、前記第１端位置と、前記第２端位置とに基づいて設定する手段と
を具備し、
前記第２メディアは、前記第１メディアと同一であるか、または前記第１メディアを加工することで得られる二次元の静止画または動画である、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、方法、プログラム、およびシステムに関する。

【背景技術】

【0002】

ＡＲ（Augmented Reality）／ＶＲ（Virtual Reality）技術などのＸＲ（Extended Reality）技術は、様々な分野で利用されている。ＸＲコンテンツなどの視覚的コンテンツに対する受け手の印象は、コンテンツそれ自体に加えて当該コンテンツをどのように表示するかによって変わり得る。

【0003】

特許文献１には、仮想情報３Ｄモデルのサイズを事前登録し、そのサイズに応じて実空間画像に重畳表示するという技術的思想について開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－１１８８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術的思想を利用するには、仮想情報の３Ｄモデルを作成し、さらにそのサイズを登録しておく必要がある。

【0006】

本開示の目的は、被写体の三次元情報が設定されていないメディアの視覚的コンテンツとしての活用を促す技術を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一態様のプログラムは、コンピュータを、二次元の静止画または動画である第１メディアを取得する手段、第１メディアの被写体の１つである対象被写体を特定する手段、対象被写体の基準方向の第１端から第２端までの現実空間におけるサイズである基準サイズを特定する手段、第１メディアの座標系における対象被写体の第１端の位置である第１端位置と、第１メディアの座標系における第２端の位置である第２端位置とを特定する手段、第１メディアに基づき、かつ対象被写体を含んだ二次元の静止画または動画である第２メディアを表示するための表示領域のスケールを、基準サイズと、第１端位置と、第２端位置とに基づいて設定する手段、として機能させる。

【図面の簡単な説明】

【0008】

【図1】本実施形態の情報処理システムの構成を示すブロック図である。

【図2】本実施形態の作成用端末の構成を示すブロック図である。

【図3】本実施形態のサーバの構成を示すブロック図である。

【図4】本実施形態の再生用端末の構成を示すブロック図である。

【図5】本実施形態の一態様の説明図である。

【図6】本実施形態のコンテンツデータベースのデータ構造を示す図である。

【図7】本実施形態のコンテンツ作成処理のフローチャートである。

【図8】本実施形態のコンテンツ作成処理において表示される画面例を示す図である。

【図9】本実施形態のコンテンツ再生処理のフローチャートである。

【図10】本実施形態のコンテンツ再生処理において表示される画面例を示す図である。

【図11】本実施形態のコンテンツ再生処理において表示される画面例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0010】

（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。

【0011】

図１に示すように、情報処理システム１は、作成用端末１０と、サーバ３０と、再生用端末５０とを備える。
作成用端末１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
再生用端末５０及びサーバ３０は、ネットワークＮＷを介して接続される。

【0012】

作成用端末１０は、情報処理装置の一例である。作成用端末１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。作成用端末１０は、主に、メディア（例えば、二次元の静止画または動画）に基づいて、視覚的コンテンツを構成するメディアを作成するために用いられる。視覚的コンテンツは、現実空間または仮想空間において表示される二次元の静止画コンテンツまたは二次元の動画コンテンツに相当する。視覚的コンテンツは、ＸＲコンテンツに相当してもよく、この場合に視覚的コンテンツにはＡＲコンテンツ、ＶＲコンテンツ、ＭＲ（Mixed Reality）コンテンツ、ＳＲ（Substitutional Reality）コンテンツなどが含まれ得る。或いは、視覚的コンテンツは、二次元または三次元のＣＧ（Computer Graphics）の一部を構成してもよい。また、視覚的コンテンツは、オリジナルのメディアの撮影時に録音された音声、または当該音声に基づく音声をさらに含むことができる。

【0013】

再生用端末５０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。再生用端末５０は、視覚的コンテンツを再生するために用いられる。

【0014】

サーバ３０は、情報処理装置の一例である。サーバ３０は、例えば、サーバコンピュータである。サーバ３０は、作成用端末１０によって作成された視覚的コンテンツの再生に必要な情報を蓄積する。また、サーバ３０は、視覚的コンテンツの再生に必要な情報を再生用端末５０に提供する。

【0015】

（１－１）作成用端末の構成
作成用端末の構成について説明する。図２は、本実施形態の作成用端末の構成を示すブロック図である。

【0016】

図２に示すように、作成用端末１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。作成用端末１０は、ディスプレイ２１に接続される。

【0017】

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0018】

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ、視覚的コンテンツの作成用アプリケーション）のプログラム

【0019】

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

【0020】

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、作成用端末１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Gate Array）

【0021】

入出力インタフェース１３は、作成用端末１０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、作成用端末１０に接続される出力デバイスに情報（例えば画像信号）を出力するように構成される。

【0022】

入力デバイスは、例えば、マイクロホン、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ２１、スピーカ、又は、それらの組合せである。

【0023】

通信インタフェース１４は、作成用端末１０と外部装置（例えばサーバ３０）との間の通信を制御するように構成される。

【0024】

ディスプレイ２１は、画像（静止画、または動画）を表示するように構成される。ディスプレイ２１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。

【0025】

（１－２）サーバの構成
サーバの構成について説明する。図３は、本実施形態のサーバの構成を示すブロック図である。

【0026】

図３に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

【0027】

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0028】

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム

【0029】

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果

【0030】

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するコンピュータである。プロセッサ３２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ

【0031】

入出力インタフェース３３は、サーバ３０に接続される入力デバイスから情報（例えばユーザの指示）を取得し、かつ、サーバ３０に接続される出力デバイスに情報（例えば画像信号）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

【0032】

通信インタフェース３４は、サーバ３０と外部装置（例えば作成用端末１０または再生用端末５０）との間の通信を制御するように構成される。

【0033】

（１－３）再生用端末の構成
再生用端末の構成について説明する。図４は、本実施形態の再生用端末の構成を示すブロック図である。

【0034】

図４に示すように、再生用端末５０は、記憶装置５１と、プロセッサ５２と、入出力インタフェース５３と、通信インタフェース５４とを備える。再生用端末５０は、ディスプレイ６１、カメラ６２、および計測部６３に接続される。

【0035】

記憶装置５１は、プログラム及びデータを記憶するように構成される。記憶装置５１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0036】

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ、視覚的コンテンツの再生用アプリケーション）のプログラム

【0037】

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果

【0038】

プロセッサ５２は、記憶装置５１に記憶されたプログラムを起動することによって、再生用端末５０の機能を実現するコンピュータである。プロセッサ５２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ

【0039】

入出力インタフェース５３は、再生用端末５０に接続される入力デバイスから情報（例えば、ユーザの指示、センシング信号、画像信号）を取得し、かつ、再生用端末５０に接続される出力デバイスに情報（例えば画像信号、制御信号、音声信号）を出力するように構成される。

【0040】

入力デバイスは、例えば、カメラ６２、計測部６３、マイクロホン、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ６１、スピーカ、又は、それらの組合せである。

【0041】

通信インタフェース５４は、再生用端末５０と外部装置（例えばサーバ３０）との間の通信を制御するように構成される。

【0042】

ディスプレイ６１は、画像（静止画、または動画）を表示するように構成される。ディスプレイ６１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。

【0043】

カメラ６２は、再生用端末５０からの制御に応じて画像（静止画、または動画）を撮影するように構成される。カメラ６２は、典型的には被写体の色情報を取得する。さらに、カメラ６２（例えばステレオカメラ）または図示しない他のセンサ（例えば、Ｌｉｄａｒ（light detection and ranging））が、被写体の深度情報を取得してもよい。

【0044】

計測部６３は、所定の計測を行う。一例として、計測部６３は、ＧＰＳ（Global Positioning System）モジュールを含む。再生用端末５０は、ＧＰＳモジュールによって計測された位置情報に基づいて、カメラ６２の位置を特定してもよい。

【0045】

（２）実施形態の一態様
本実施形態の一態様について説明する。図５は、本実施形態の一態様の説明図である。

【0046】

図５に示すように、作成用端末１０は、視覚的コンテンツのベースとなるメディアＭＤ１１（「第１メディア」の一例）を取得する。メディアＭＤ１１は、二次元の静止画または動画である。被写体ＯＢＪ１０をカメラＣＭ１２によって撮影することで生成されたものである。被写体ＯＢＪ１０は、典型的には人物であるが、動物、ロボット、建物、機械、樹木、岩石、などであってもよい。カメラＣＭ１２は、デジタルカメラ製品であってもよいし、例えばスマートフォンなどの多用途の電子機器（作成用端末１０を含み得る）に搭載されたカメラであってもよい。カメラＣＭ１２は、図示しないマイクロホンを搭載していてもよい。この場合に、作成用端末１０は、マイクロホンによって受信された音声をさらに取得してもよい。この場合に、作成用端末１０は、取得した音声をメディアＭＤ１１とともに、視覚的コンテンツを作成するための素材として利用し得る。

【0047】

作成用端末１０は、取得したメディアＭＤ１の被写体のうち処理対象とする１つ（以下、「対象被写体」という）として、被写体ＯＢＪ１０を特定する。

【0048】

作成用端末１０は、被写体ＯＢＪ１０の垂直サイズを特定する。被写体ＯＢＪ１０の垂直サイズは、被写体ＯＢＪ１０の上端から下端までの現実空間におけるサイズである。被写体ＯＢＪ１０は人物であるので、被写体ＯＢＪ１０の頭頂から足底までの現実空間におけるサイズ、通常は身長が垂直サイズに該当する。現実空間を、ＸＹＺの直交座標系で定義するとすれば、上端および下端はＹ軸方向（現実空間における鉛直方向ないし高さ方向）の両端である。他方、Ｘ軸方向は現実空間における左右方向ないし幅方向、Ｚ軸方向は現実空間における奥行方向ないし前後方向にそれぞれ該当する。

【0049】

作成用端末１０は、メディアＭＤ１１の座標系（ｘｙ座標系）における被写体ＯＢＪ１０の上端位置と、メディアＭＤ１１の座標系における被写体ＯＢＪ１０の下端位置とを特定する。上端位置は、被写体ＯＢＪ１０の上端の例えばｙ軸方向（画像空間における上下方向ないし高さ方向）の座標値である。他方、下端位置は、被写体ＯＢＪ１０の下端の例えばｙ軸方向の座標値である。

【0050】

作成用端末１０は、メディアＭＤ１１に基づく視覚的コンテンツ（「第２メディア」の一例）を表示するための表示領域のスケールを設定する。視覚的コンテンツは、メディアＭＤ１１と共通の被写体ＯＢＪ１０を含んだ二次元の静止画または動画である。表示領域は、視覚的コンテンツを表示するための二次元の領域である。表示領域は、例えば水平面に対して略直交する平面として定義される。表示領域のスケールは、１画素あたりの表示領域が占める現実空間の物理サイズである。

【0051】

作成用端末１０は、視覚的コンテンツの表示領域のスケールを、被写体ＯＢＪ１０の垂直サイズと、被写体ＯＢＪ１０の上端位置および下端位置とに基づいて設定する。具体的には、作成用端末１０は、表示領域において再生された視覚的コンテンツによって表現される被写体ＯＢＪ１０のサイズが、当該被写体ＯＢＪ１０の実サイズ（垂直サイズ）を再現するように表示領域のサイズを決定する。一例として、作成用端末１０は、視覚的コンテンツが表示領域に表示された場合に、被写体ＯＢＪ１０の上端の表示位置（画素）から下端の表示位置（画素）までの現実空間におけるサイズ（高さ）が、当該被写体ＯＢＪ１０の垂直サイズに一致するように、表示領域のスケールを設定してもよい。

【0052】

このように、本実施形態の作成用端末１０によれば、被写体ＯＢＪ１０の三次元情報が不明であっても、当該被写体ＯＢＪ１０を撮影したメディアＭＤ１１を、臨場感のある視覚的コンテンツとして容易に活用することができる。

【0053】

なお、垂直サイズならびに上端位置および下端位置は、被写体の全身ではなく被写体の特定の部位（例えば顔など）を対象としてもよい。

【0054】

（３）データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。

【0055】

（３－１）コンテンツデータベース
本実施形態のコンテンツデータベースについて説明する。図６は、本実施形態のコンテンツデータベースのデータ構造を示す図である。

【0056】

コンテンツデータベースには、コンテンツ情報が格納される。コンテンツ情報は、サーバ３０によって作成された視覚的コンテンツに関する情報である。

【0057】

図６に示すように、コンテンツデータベースは、「コンテンツＩＤ」フィールドと、「コンテンツファイル」フィールドと、「位置」フィールドと、「向き」フィールドと、「スケール」フィールドとを含む。各フィールドは、互いに関連付けられている。

【0058】

「コンテンツＩＤ」フィールドには、コンテンツＩＤが格納される。コンテンツＩＤは、視覚的コンテンツを識別する情報である。

【0059】

「コンテンツファイル」フィールドには、コンテンツファイル情報が格納される。コンテンツファイル情報は、視覚的コンテンツを再生するためのコンテンツファイルに関する情報である。一例として、コンテンツファイル情報は、コンテンツファイルにアクセスするためのアドレス情報であってもよいし、コンテンツファイルのデータであってもよい。

【0060】

ここで、コンテンツファイル情報の示すコンテンツファイルは、オリジナルのメディアであってもよいし、視覚的コンテンツとして加工（例えば、トリミング、画像補正（一例として透過）、ビジュアルエフェクトの付加など）されたメディアであってもよい。コンテンツファイル情報の示すコンテンツファイルは、オリジナルのメディアである場合に、コンテンツ情報として、当該メディアに施されるべき加工を特定可能な情報がさらに含まれてもよい。加工を特定可能な情報は、例えば、トリミングのパラメータ（一例として、トリミング位置）を示す情報、画像補正のパラメータを示す情報、ビジュアルエフェクトのパラメータを示す情報、などを含み得る。

【0061】

「位置」フィールドには、位置情報が格納される。位置情報は、視覚的コンテンツを再生するための表示領域の位置に関する情報である。位置情報は、例えば、現実空間または仮想空間における表示領域の設置位置を示す地理的座標情報であってよい。

【0062】

「向き」フィールドには、向き情報が格納される。向き情報は、視覚的コンテンツを再生するための表示領域の向きに関する情報である。向き情報は、例えば、現実空間または仮想空間における表示領域の正面方向（つまり、表示領域の法線方向）を示す角度（例えば、ロール角、ヨー角、ピッチ角、またはそれらの組み合わせ）情報であってよい。

【0063】

「スケール」フィールドには、スケール情報が格納される。スケール情報は、視覚的コンテンツの解像度と、当該視覚的コンテンツを再生するための表示領域のサイズとの対応関係に関する情報である。スケール情報は、例えば、視覚的コンテンツの一画素あたりの表示領域が占める現実空間のサイズを示す比率（一例として、１．２６［ｍｍ／画素］など）であってよい。

【0064】

なお、コンテンツ情報は、図示されていない情報をさらに含むこともできる。一例として、コンテンツ情報は、再生開始条件情報を含んでもよい。再生開始条件情報は、視覚的コンテンツの再生を開始するための条件（再生開始条件）に関する情報である。再生開始条件情報は、例えば、再生側の実カメラまたは仮想カメラが満たすべき位置および姿勢を定義する。一例として、再生開始条件情報は、再生側の実カメラまたは仮想カメラについて許容される位置情報の範囲を特定可能な情報と、再生側の実カメラまたは仮想カメラによって撮影された画像について許容される空間特徴量の範囲を特定可能な情報とを含むことができる。

【0065】

（４）情報処理
本実施形態の情報処理について説明する。

【0066】

（４－１）コンテンツ作成処理
本実施形態のコンテンツ作成処理について説明する。図７は、本実施形態のコンテンツ作成処理のフローチャートである。図８は、本実施形態のコンテンツ作成処理において表示される画面例を示す図である。

【0067】

本実施形態のコンテンツ作成処理は、例えば、ユーザが作成用端末１０上でコンテンツ作成用のアプリケーションを起動し、例えば所定のオブジェクト（一例として、視覚的コンテンツの作成を開始するためのユーザ指示を受け付けるオブジェクト）を選択することで、開始し得る。

【0068】

図７に示すように、作成用端末１０は、メディアの取得（Ｓ１１０）を実行する。
具体的には、作成用端末１０は、作成する視覚的コンテンツのベースとなるメディアを取得する。一例として、ユーザが複数のメディアが登録されたライブラリから所望のメディアを選択し、作成用端末１０は受け付けた選択入力に応じたメディアを記憶装置１１または外部装置から取得してもよい。メディアは、二次元の静止画または動画であり、さらに音声を含むこともできる。さらに、作成用端末１０は、メディアとともに以下の情報を取得してもよい。
・取得対象となるメディアの撮影時におけるカメラの位置を特定可能な情報（例えば、センサによって検出されたカメラの位置情報、またはメディアを解析することで得られる空間特徴量、の少なくとも１つ）
・取得対象となるメディアの撮影時におけるカメラの姿勢を特定可能な情報（例えば、センサによって検出されたカメラの姿勢情報、またはメディアを解析することで得られる空間特徴量、の少なくとも１つ）

【0069】

ステップＳ１１０の後に、作成用端末１０は、対象被写体の特定（Ｓ１１１）を実行する。
具体的には、作成用端末１０は、ステップＳ１１０において取得したメディアの被写体のいずれかである対象被写体を特定する。

【0070】

対象被写体の特定（Ｓ１１１）の第１例として、作成用端末１０は、ユーザによって選択された被写体を対象被写体として特定する。

【0071】

対象被写体の特定（Ｓ１１１）の第２例として、ステップＳ１１０において取得したメディアを画像解析し、解析結果に基づいて対象被写体を特定する。一例として、作成用端末１０は、所定の種別（例えば、人物）に該当する被写体のうち、メディア（画像）に写っている面積の最も大きい被写体、またはメディア（画像）の中心から最も近くに位置している被写体、を対象被写体として特定してもよい。

【0072】

ステップＳ１１１の後に、作成用端末１０は、垂直サイズの特定（Ｓ１１２）を実行する。
具体的には、作成用端末１０は、ステップＳ１１１において特定した対象被写体の垂直サイズ（対象被写体の上端から下端までの現実空間におけるサイズ）を特定する。

【0073】

垂直サイズの特定（Ｓ１１２）の第１例として、作成用端末１０は、ユーザによって指定された垂直サイズを対象被写体の垂直サイズとして特定する。例えば、ユーザは、対象被写体についての知識（例えば、プロフィールや仕様）を参照し、垂直サイズを指定してもよい。

【0074】

垂直サイズの特定（Ｓ１１２）の第２例として、作成用端末１０は、対象被写体の種別に基づいて垂直サイズを推定してもよい。例えば、作成用端末１０は、対象被写体と同一の種別に属する個体の平均的な垂直サイズを対象被写体の垂直サイズと推定してもよい。或いは、対象被写体と同一の種別に属する個体の垂直サイズの分布に応じてランダムに決定した垂直サイズを、対象被写体の垂直サイズとしてもよい。

【0075】

ステップＳ１１２の後に、作成用端末１０は、上端位置および下端位置の特定（Ｓ１１３）を実行する。
具体的には、作成用端末１０は、ステップＳ１１１において特定した対象被写体の上端位置および下端位置（ステップＳ１１０において取得したメディアの座標系における対象被写体の上端および下端の位置）を特定する。

【0076】

上端位置および下端位置の特定（Ｓ１１３）の第１例として、作成用端末１０は、ユーザからの指示に応じて、対象被写体の上端位置および下端位置を特定する。

【0077】

一例として、作成用端末１０は、ステップＳ１１０において取得したメディアを表示する第１オブジェクトと、当該第１オブジェクトに表示されたメディア上をユーザからの指示に応じて垂直方向に移動可能な第２オブジェクトとを含むユーザインタフェースをディスプレイ２１に表示する。そして、作成用端末１０は、ユーザによって指定された第２オブジェクトの位置（メディアの座標系における垂直方向の座標）に基づいて、上端位置および下端位置の少なくとも一方を特定してもよい。

【0078】

例えば、作成用端末１０は、かかるユーザインタフェースの一例として図８に示す画面をディスプレイ２１に表示してもよい。図８の画面は、オブジェクトＪ２０～Ｊ２６を含む。
オブジェクトＪ２０は、対象被写体の垂直サイズ（例えば身長）の指定を受け付ける。オブジェクトＪ２０は、前述のステップＳ１１２においてユーザ指示を受け付けるために用いられてもよい。

【0079】

オブジェクトＪ２１は、対象被写体の上端（例えば頭）位置の指定を受け付ける。後述するオブジェクトＪ２４の垂直位置が変更された場合に、作成用端末１０は、オブジェクトＪ２１に格納される数値を連動して変更する。

【0080】

オブジェクトＪ２２は、対象被写体の下端（例えば足）位置の指定を受け付ける。後述するオブジェクトＪ２５の垂直位置が変更された場合に、作成用端末１０は、オブジェクトＪ２２に格納される数値を連動して変更する。

【0081】

オブジェクトＪ２３は、上記第１オブジェクトの一例である。すなわち、オブジェクトＪ２３は、ステップＳ１１０において取得したメディアを表示する。なお、メディアが動画に相当する場合に、オブジェクトＪ２３はいずれかの再生時刻に対応するフレームを表示する。

【0082】

オブジェクトＪ２４は、上記第２オブジェクトの一例である。すなわち、オブジェクトＪ２４は、オブジェクトＪ２３に表示されたメディア上をユーザからの指示に応じて垂直方向（メディアの座標系におけるｙ軸方向）に移動可能である。オブジェクトＪ２４は、対象被写体の上端位置を指定するために用いられる。オブジェクトＪ２４の表示位置は、オブジェクトＪ２１に格納された数値に連動する。オブジェクトＪ２１に格納された数値が変更されると、作成用端末１０は、オブジェクトＪ２４の表示位置を変更する。

【0083】

オブジェクトＪ２５は、上記第２オブジェクトの一例である。すなわち、オブジェクトＪ２５は、オブジェクトＪ２３に表示されたメディア上をユーザからの指示に応じて垂直方向（メディアの座標系におけるｙ軸方向）に移動可能である。オブジェクトＪ２５は、対象被写体の下端位置を指定するために用いられる。オブジェクトＪ２５の表示位置は、オブジェクトＪ２２に格納された数値に連動する。オブジェクトＪ２２に格納された数値が変更されると、作成用端末１０は、オブジェクトＪ２５の表示位置を変更する。

【0084】

オブジェクトＪ２６は、対象被写体の上端位置および下端位置を確定するためのユーザ指示を受け付ける。オブジェクトＪ２６が選択されると、作成用端末１０は、オブジェクトＪ２４の表示位置（オブジェクトＪ２３に表示されたメディアの座標系におけるｘ座標であって、オブジェクトＪ２１に格納されている数値に等しい）を対象被写体の上端位置として特定し、オブジェクトＪ２５の表示位置（オブジェクトＪ２３に表示されたメディアの座標系におけるｘ座標であって、オブジェクトＪ２２に格納されている数値に等しい）を対象被写体の下端位置として特定する。

【0085】

上端位置および下端位置の特定（Ｓ１１３）の第２例として、作成用端末１０は、ステップＳ１１０において取得したメディアの画像解析により対象被写体の上端位置および下端位置を特定する。

【0086】

一例として、作成用端末１０は、メディアの画像特徴量を算出し、当該画像特徴量に基づいて当該メディアにおいて対象被写体に対応する領域を認識する。そして、作成用端末１０は、メディアの座標系におけるこの領域の垂直方向の座標に基づいて上端位置および下端位置を特定してもよい。例えば、認識した領域における最小のｙ座標が３８０［ｐｉｘｅｌ］であり、最大のｙ座標が１７３０［ｐｉｘｅｌ］である場合に、作成用端末１０は、上端位置を３８０［ｐｉｘｅｌ］と特定し、下端位置を１７３０［ｐｉｘｅｌ］と特定し得る。

【0087】

上端位置および下端位置の特定（Ｓ１１３）の第３例として、上記第１例～第２例を組み合わせてもよい。例えば、作成用端末１０は、上端位置および下端位置の一方を上記第１例により特定し、他方を上記第２例により特定してもよい。或いは、作成用端末１０は、上記第１例に示した第２オブジェクト（例えば、オブジェクトＪ２４またはオブジェクトＪ２５）の初期位置を、上記第２例による特定結果に応じて決定してもよい。

【0088】

ステップＳ１１３の後に、作成用端末１０は、表示領域の設定（Ｓ１１４）を実行する。
具体的には、作成用端末１０は、作成する視覚的コンテンツを表示するための表示領域を設定する。この視覚的コンテンツは、ステップＳ１１０において取得したメディアに基づいており、ステップＳ１１１において特定した対象被写体を含んでいるメディアである。作成用端末１０は、表示領域のスケールを設定する。さらに、作成用端末１０は、必要に応じて表示領域の位置および向きを設定してもよい。

【0089】

作成用端末１０は、表示領域のスケールを、ステップＳ１１２において特定した垂直サイズと、ステップＳ１１３において特定した上端位置および下端位置とに基づいて設定する。一例として、作成用端末１０は、作成する視覚的コンテンツが表示領域に表示された場合に、対象被写体の下端の表示位置から上端の表示位置までの現実空間におけるサイズが、上記の垂直サイズに一致するように、表示領域のスケールを設定してもよい。すなわち、作成用端末１０は、メディアの座標系の垂直方向における上端位置から下端位置までの距離（つまり、上端位置と下端位置とを結ぶ線分の垂直方向成分）に相当する画素数を計算し、現実空間における対象被写体の垂直サイズを当該画素数によって除算することで、視覚的コンテンツの１画素を何ｍｍ四方の表示領域によって表現すべきかを決定する。

【0090】

表示領域の位置および向きの設定例についても説明する。具体的には、ステップＳ１１０において取得対象となるメディアの撮影時におけるカメラの位置および姿勢を特定可能な情報を取得していた場合に、作成用端末１０は、カメラ座標系における対象平面の位置および向きを、当該カメラの外部パラメータ（つまり、カメラの位置および姿勢）に基づいて世界座標系に変換することで、表示領域の位置および向きを決定してもよい。対象平面とは、カメラの光軸に直交し、かつ対象被写体の基準点（例えば腰などの予め定められた部位）を通る平面である。

【0091】

また、一例として、作成用端末１０は、ステップＳ１１０において取得したメディアの座標系の水平方向（つまり、ｘ軸方向）における対象被写体の中心位置（つまり、ｘ座標）を特定してもよい。そして、作成用端末１０は、表示領域の水平方向の配置を対象被写体の中心位置に基づいて設定してもよい。これにより、ステップＳ１１０において取得したメディアの左右の端付近に対象被写体が写っていた場合にも、適切な位置に対象被写体を表示することができる。

【0092】

なお、図示していないが、作成用端末１０は、以下に説明するように、メディアの加工を実行してもよい。ただし、メディアの加工は必須ではなく、加工されていないメディアが視覚的コンテンツとして表示領域に表示されてもよい。
例えば、作成用端末１０は、ステップＳ１１０において取得したメディアから対象被写体（または対象被写体と同種の被写体（例えば、複数の人物））が写っている領域を抽出し、残りの領域（つまり背景部分）を破棄（つまり、該当領域をトリミング）または透明化する。これにより、作成用端末１０は、対象被写体（または対象被写体と同種の被写体）以外の視覚要素を実質的に含まない視覚的コンテンツ（静止画または動画）を作成することができる。
また、作成用端末１０は、メディアのうち、ステップＳ１１３において特定した下端よりも下側を破棄してもよい。これにより、加工済みメディアの下端が対象被写体の下端に一致することになるので、表示領域の下端が地面（床を含み得る）に一致するように設定するだけで対象被写体をその下端が地面に対して接した状態で表示することができる。つまり、対象被写体が宙に浮いたように表示され、観者が違和感を覚えることを防止することができる。
なお、第１のオプションとして、作成用端末１０は、抽出した領域の輪郭に沿って所定の色かつ太さの曲線または直線の少なくとも１つを付加することで、輪郭の凹凸をなめらかに見せることができる。第２のオプションとして、作成用端末１０は、抽出した領域の下部に影に相当するエフェクトを付加することで、リアリティを高めることができる。

【0093】

また、図示していないが、作成用端末１０は、再生開始条件を設定してもよい。ただし、再生開始条件の設定は必須ではない。第１例として、作成用端末１０は、ステップＳ１１０において取得したメディアを撮影したカメラの世界座標系におけるの位置（座標）に基づく所定の範囲を再生側の実カメラの位置が満たすべき条件として設定する。第２例として、作成用端末１０は、ステップＳ１１０において取得したメディアを撮影したカメラの世界座標系における位置（座標）に対応する仮想空間の座標基づく所定の範囲を再生側の仮想カメラの位置が満たすべき条件として設定する。第３例として、作成用端末１０は、メディアを画像解析することで得られた空間特徴量に基づく所定の範囲を再生側の実カメラまたは仮想カメラの姿勢が満たすべき条件として設定する。

【0094】

ステップＳ１１４の後に、作成用端末１０は、作成した視覚的コンテンツの各種情報をサーバ３０へ送信し、本実施形態のコンテンツ作成処理を終了する。
具体的には、作成用端末１０は、ステップＳ１１４において決定した表示領域のスケールに関する情報をサーバ３０へ送信する。さらに、作成用端末１０は、ステップＳ１１０において取得したメディア、もしくは当該メディアを加工したメディア、またはこれらのメディアを特定可能な情報（例えば、メディアの格納先を示す情報）をサーバ３０へ送信してもよい。さらに、作成用端末１０は、対象被写体に関する情報（例えば、メディアから対象被写体を識別するための情報、垂直サイズ、上端位置、または下端位置）、表示領域に関する情報（例えば、表示領域の位置または向き）、または再生開始条件に関する情報をサーバ３０へ送信してもよい。サーバ３０は、受信した情報に基づいて、視覚的コンテンツのレコードをコンテンツデータベース（図６）に登録する。

【0095】

（４－２）コンテンツ再生処理
本実施形態のコンテンツ再生処理について説明する。図９は、本実施形態のコンテンツ再生処理のフローチャートである。図１０は、本実施形態のコンテンツ再生処理において表示される画面例を示す図である。図１１は、本実施形態のコンテンツ再生処理において表示される画面例を示す図である。

【0096】

本実施形態のコンテンツ再生処理は、例えば、ユーザが再生用端末５０上でコンテンツ再生用のアプリケーション（コンテンツがＷｅｂベースで再生される場合にはＷｅｂブラウザを含み得る）を起動することで、開始し得る。コンテンツ再生用のアプリケーションが実行されている間、再生用端末５０は、カメラ６２によって撮影された画像を、ディスプレイ６１に表示させる。なお、視覚的コンテンツを仮想空間上で再生する場合には、下記説明におけるカメラ６２を仮想カメラとして適宜読み替えればよい。

【0097】

図９に示すように、再生用端末５０は、カメラの位置および姿勢の特定（Ｓ１５０）を実行する。
具体的には、再生用端末５０は、カメラ６２の位置および姿勢を特定する。例えば、再生用端末５０は、計測部６３に含まれるＧＰＳモジュールから位置情報を取得し、当該位置情報に基づいてカメラ６２の位置を特定する。また、再生用端末５０は、カメラ６２によって撮影された画像を解析して空間特徴量（カメラ６２の姿勢を特定可能な情報の一例）を得ることで、当該カメラ６２の姿勢を特定する。

【0098】

ステップＳ１５０の後に、再生用端末５０は、再生開始条件の判定（Ｓ１５１）を実行する。
具体的には、再生用端末５０は、ステップＳ１５０において特定した位置および姿勢が、いずれかの視覚的コンテンツの再生開始条件を満たしているか否かを判定する。再生用端末５０は、サーバ３０から例えばコンテンツデータベース（図６）に登録されている再生開始条件情報を予め取得しておき、各条件について成立または不成立を判定してもよい。或いは、再生用端末５０は、カメラ６２の位置および姿勢を特定可能な情報をサーバ３０へ送信し、当該サーバ３０に判定を行わせてもよい。

【0099】

ステップＳ１５１においていずれかの視覚的コンテンツに対応する再生開始条件が成立すると判定した場合に、再生用端末５０は、視覚的コンテンツの再生（Ｓ１５２）を実行する。
具体的には、再生用端末５０は、ユーザからの追加の操作を要することなく、成立すると判定された再生開始条件に対応する視覚的コンテンツの再生を自動的に開始する。一例として、再生用端末５０は、成立すると判定された再生開始条件に対応する視覚的コンテンツのコンテンツファイルと、位置情報と、向き情報と、スケール情報とをサーバ３０から取得する。なお、これらの情報は予め取得しておくこともできる。
再生用端末５０は、位置情報、向き情報、スケール情報、ならびにカメラ６２の位置および姿勢に基づいて、当該カメラ６２の撮影画像に、視覚的コンテンツを再生するための表示領域をどのように重畳するか（例えば、ディスプレイ６１の画面上での表示領域の位置、向き、サイズ、および形状）を計算する。そして、再生用端末５０は、撮影画像に重畳した表示領域において、視覚的コンテンツの再生を開始する。

【0100】

一例として、図１０に示すように、カメラ６２が、壁に掛けられた絵画ＰＩＣ２の周辺に設定された表示領域ＤＡ１を含む画像を撮影している状態で、当該表示領域ＤＡ１に対応する視覚的コンテンツの再生開始条件が成立したとする。この場合に、図１１に示すように、カメラ６２の撮影画像に重畳して視覚的コンテンツが表示領域ＤＡ１上で再生される。この視覚的コンテンツでは、被写体ＯＢＪ３が等身大で表示されるので、再生用端末５０のユーザは、実際に被写体ＯＢＪ３がその場に居るかのような感覚を体験することができる。

【0101】

ステップＳ１５２の後に、再生用端末５０は、カメラの位置および姿勢の特定（Ｓ１５０）を再実行する。なお、再生用端末５０は、ステップＳ１５０において、カメラの位置および姿勢の変化を検出した場合に、以下の処理の少なくとも１つを行うことができる。
・再生中の視覚的コンテンツの表示領域をカメラ６２の撮影画像にどのように重畳するかの再決定（つまり、ディスプレイ６１の画面上での表示領域の位置、向き、サイズ、または形状の少なくとも１つの変更）
・視覚的コンテンツの再生の中断、または終了（例えば、視覚的コンテンツの表示領域がカメラ６２の撮影範囲に含まれなくなった場合）

【0102】

ステップＳ１５１においていずれの視覚的コンテンツに対応する再生開始条件も成立しないと判定した場合に、再生用端末５０は、カメラの位置および姿勢の特定（Ｓ１５０）を再実行してもよい。

【0103】

（５）小括
以上説明したように、本実施形態の作成用端末１０は、二次元の静止画または動画であるメディア（以下、便宜的に「第１メディア」という）を取得し、当該第１メディアの被写体の１つである対象被写体を特定する。作成用端末１０は、対象被写体の上端から下端までの現実空間におけるサイズである垂直サイズを特定し、第１メディアの座標系における対象被写体の上端の位置である上端位置と、第１メディアの座標系における下端の位置である下端位置とを特定する。作成用端末１０は、第１メディアに基づき、かつ対象被写体を含んだ二次元の静止画または動画であるメディア（以下、便宜的に「第２メディア」という）を表示するための表示領域のスケールを、垂直サイズと、上端位置と、下端位置とに基づいて設定する。これにより、対象被写体の三次元情報が不明であっても、当該対象被写体を撮影したメディアを、臨場感のある視覚的コンテンツとして容易に活用することができる。

【0104】

作成用端末１０は、第２メディアが表示領域に表示された場合に、対象被写体の下端の表示位置から上端の表示位置までの現実空間におけるサイズが垂直サイズに一致するように、表示領域のスケールを設定してもよい。これにより、対象被写体を等身大で表示する視覚的コンテンツを効率的に作成することができる。

【0105】

作成用端末１０は、ユーザからの指示に応じて上端位置および下端位置の少なくとも一方を特定してもよい。これにより、ユーザが意図した上端および下端の位置を特定することができる。

【0106】

作成用端末１０は、第１メディアを表示する第１オブジェクトと、当該第１オブジェクトに表示された第１メディア上をユーザからの指示に応じて垂直方向に移動可能な第２オブジェクトを表示部に表示し、当該第２オブジェクトの位置に基づいて、上端位置および下端位置の少なくとも一方を特定してもよい。これにより、ユーザは直感的な操作により上端および下端を容易に指定することができる。

【0107】

作成用端末１０は、第１メディアの画像解析により上端位置および下端位置の少なくとも一方を特定してもよい。これにより、ユーザの負担をいっそう軽減することができる。

【0108】

作成用端末１０は、第１メディアの画像特徴量に基づいて当該第１メディアにおいて対象被写体に対応する領域を認識し、当該第１メディアの座標系における当該領域の垂直方向の座標に基づいて上端位置および下端位置の少なくとも一方を特定してもよい。これにより、上端位置および下端位置を適切に特定することができる。

【0109】

作成用端末１０は、第１メディアの座標系の水平方向における対象被写体の中心位置を特定し、表示領域の水平方向の配置を対象被写体の中心位置に基づいて設定してもよい。これにより、第２メディアの中心位置ではなく対象被写体の中心位置を基準に表示領域の水平方向の配置を設定できるので、第２メディアの中心位置と対象被写体の中心位置がずれていた場合であっても、対象被写体が適切な位置に表示され、観者に違和感を与えにくい。

【0110】

（６）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、作成用端末１０と接続されてもよい。ディスプレイ２１は、作成用端末１０と一体化されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。記憶装置５１は、ネットワークＮＷを介して、再生用端末５０と接続されてもよい。ディスプレイ６１、カメラ６２、または計測部６３の少なくとも１つは、再生用端末５０と一体化されてもよい。

【0111】

上記説明では、各処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。上記の処理の各ステップは、作成用端末１０、サーバ３０、および再生用端末５０の何れでも実行可能である。例えば、再生開始条件の判定（Ｓ１５１）は、再生用端末５０がサーバ３０に行わせてもよい。また、本実施形態では作成用端末１０がコンテンツ作成処理を実行し、実行結果をサーバ３０にアップロードする例を示したが、一部または全部の処理をサーバ３０が行ってもよい。作成用端末１０とサーバ３０との間の処理の分担、またはサーバ３０と再生用端末５０との間の処理の分担は任意に定めることができる。

【0112】

上記説明では、対象被写体の垂直サイズと、対象被写体の上端位置および下端位置とに基づいて表示領域のスケールを設定する例を示した。しかしながら、人物の上半身のみが写った動画のように、対象被写体の下端がメディアに写っていないこともある。そこで、作成用端末１０は以下に説明するように動作してもよい。すなわち、作成用端末１０は、ステップＳ１１０において取得した第１メディアに対象被写体の下端が写っているか否かを判定してもよい。判定は、画像解析を利用して行われてもよいし、ユーザの判断結果を判定結果としてもよい。そして、メディアに対象被写体の下端が写っていないと判定された場合に、作成用端末１０は、垂直サイズの特定（Ｓ１１２）と同様に、対象被写体の特定部位の上端から下端までの現実空間におけるサイズである部位垂直サイズを特定してもよい。特定部位は、例えば対象被写体の顔などである。また、メディアに対象被写体の下端が写っていないと判定された場合に、作成用端末１０は、上端位置および下端位置の特定（Ｓ１１３）と同様に、メディアの座標系における特定部位の上端の位置である部位上端位置と、メディアの座標系における特定部位の下端の位置である部位下端位置とを特定してもよい。そして、メディアに対象被写体の下端が写っていないと判定された場合に、作成用端末１０は、表示領域の設定（Ｓ１１４）において、表示領域のスケールを、部位垂直サイズと、部位上端位置と、部位下端位置とに基づいて設定してもよい。一例として、作成用端末１０は、作成する視覚的コンテンツが表示領域に表示された場合に、特定部位の上端の表示位置から下端の表示位置までの現実空間におけるサイズが部位垂直サイズに一致するように、表示領域のスケールを設定してもよい。かかる処理により、対象被写体の下端が写っていないメディアをベースに等身大の視覚的コンテンツを効率的に作成することができる。なお、対象被写体の下端ではなく対象被写体の上端がメディアに写っていない場合にも同様の処理を行ってもよい。

【0113】

上記説明では、対象被写体の垂直サイズと、対象被写体の上端位置および下端位置とに基づいて表示領域のスケールを設定する例を示した。しかしながら、対象被写体の部位が可動である場合に、対象被写体の姿勢に応じて、対象被写体の垂直サイズが変更されてもよい。例えば、対象被写体が人物である場合に、作成用端末１０は、当該対象被写体の姿勢を判定してもよい。判定は、画像解析を利用して行われてもよいし、ユーザの判断結果を判定結果としてもよい。対象被写体が椅子に座っていると判定された場合に、作成用端末１０は、垂直サイズの特定（Ｓ１１２）において、対象被写体の座高を垂直サイズとして特定してもよい。そして、対象被写体が椅子に座っていると判定された場合に、作成用端末１０は、表示領域の設定（Ｓ１１４）において、表示領域のスケールを、座高と、上端位置と、下端位置とに基づいて設定してもよい。一例として、作成用端末１０は、作成する視覚的コンテンツが表示領域に表示された場合に、対象被写体の下端の表示位置から上端の表示位置までの現実空間におけるサイズが座高に一致するように、表示領域のスケールを設定してもよい。かかる処理により、椅子に座っている対象被写体が写ったメディアに対しても適切なスケールを設定し、等身大の視覚的コンテンツを効率的に作成することができる。

【0114】

別の例として、作成用端末１０は、例えばボディトラッキング技術を用いて、対象被写体の姿勢に関わらず、基準姿勢（一例としてＴポーズなどの立位姿勢）を対象被写体に取らせた場合の上端位置を予測してもよい。そして、作成用端末１０は、予測した上端位置に基づいて表示領域のスケールを設定してもよい。

【0115】

上記説明では、再生用端末５０が、視覚的コンテンツの位置情報、向き情報、サイズ情報、ならびにカメラ６２の位置および姿勢に基づいて、当該カメラ６２の撮影画像に、視覚的コンテンツを再生するための表示領域をどのように重畳するかを計算する例を示した。しかしながら、再生用端末５０は、視覚的コンテンツの再生中に亘って、カメラ６２（または仮想カメラ）の位置または姿勢にかかわらず、視覚的コンテンツが所定の方向（例えば正面）を向くように制御してもよい。これにより、カメラ６２（または仮想カメラ）の位置または姿勢が多少ずれたとしてもユーザは所定の方向向きの視覚的コンテンツを視聴することができる。また、表示領域の向きの制御に関する演算量を抑えることができる。なお、カメラ６２（または仮想カメラ）の位置または姿勢のずれが許容範囲を超えた場合（例えば、視覚的コンテンツの再生開始条件が成立しなくなった場合）に、再生用端末５０は、視覚的コンテンツの再生を中断または終了してもよい。これにより、例えば撮影時に人物が視線、指、または手などを使って指し示した方向と、視覚的コンテンツで表現される人物が指し示す方向とが乖離し、ユーザに違和感を与えるのを防止することができる。

【0116】

上記説明では、再生開始条件が成立すると判定された場合に、対応する視覚的コンテンツの再生が、ユーザからの追加の操作を要することなく、自動的に開始される例を示した。しかしながら、再生開始条件が成立し、かつユーザが所定の操作（例えばタップ操作）を行ったことを条件に、再生用端末５０が、対応する視覚的コンテンツを再生してもよい。

【0117】

上記説明では、計測部６３が、ＧＰＳモジュールを備える例について説明した。しかしながら、計測部６３は、ＧＰＳモジュールに加えて、またはＧＰＳモジュールに代えて他の構成要素を備え得る。例えば、計測部６３は、加速度センサ、地磁気センサ、またはジャイロセンサの少なくとも１つを含んでもよい。この場合に、かかるセンサからのセンシング信号に基づいてカメラ６２の姿勢を特定し、または当該センシング信号と画像の空間特徴量との組み合わせに基づいてカメラ６２の姿勢を特定することができる。或いは、ＶＰＳ（Visual Positioning Service/System）のように、画像の空間特徴量のみに基づいてカメラ６２の位置または姿勢を特定することもできる。この場合に、計測部６３は省略可能である。

【0118】

上記説明では、視覚的コンテンツの再生を開始するために再生側のカメラの位置および姿勢が満たすべき再生開始条件を、収録側のカメラの位置および姿勢に基づいて設定する例を示した。しかしながら、再生開始条件は、この例に限られず、例えば現実世界または仮想世界に設置されたトリガを設定されてもよい。トリガは、例えば、商品または展示物等の物体であってもよいし、ＱＲコード（登録商標）などのコードであってもよい。トリガが物体である場合に撮影画像から当該物体が物体認識モデルにより認識されることが再生開始条件として定められてよいし、トリガがコードである場合に撮影画像に基づいて当該コードの情報が復号されることが再生開始条件として定められてよい。また、同一の視覚的コンテンツについて、複数種類の再生開始条件が設定され、いずれかの再生開始条件が成立した場合に当該視覚的コンテンツの再生が開始されてもよい。

【0119】

上記説明では、視覚的コンテンツを再生する例を示した。しかしながら、視覚的コンテンツは様々な補助情報と組み合わせてユーザに提示されてよい。第１例として、視覚的コンテンツには、特定のＷｅｂページ（例えば、特定のＥＣ（Electronic Commerce）サイトのトップページもしくは特定の商品が掲載されたページ、または展示物の詳細情報が掲載された解説用のＷｅｂページ）のリンクが埋め込まれていてもよい。ユーザが視覚的コンテンツを選択（例えばタップ操作等）した場合に、再生用端末５０は、自動的に、またはユーザの承認を条件に、リンク先のＷｅｂページを表示してもよい。第２例として、視覚的コンテンツとともに、または視覚的コンテンツの再生終了後に、特定のＷｅｂページにアクセスするためのリンク情報を表示するオブジェクトが画面に配置されてもよい。ユーザがこのオブジェクトを選択（例えばタップ操作等）した場合に、再生用端末５０は、自動的に、またはユーザの承認を条件に、リンク先のＷｅｂページを表示してもよい。第３例として、視覚的コンテンツとともに、または視覚的コンテンツの再生終了後に、特定のＥＣサイトにおいて特定の商品の購入に関する操作を受け付けるオブジェクトが画面に配置されてもよい。ユーザがこのオブジェクトを選択（例えばタップ操作等）した場合に、再生用端末５０は、自動的に、またはユーザの承認を条件に、特定の商品の購入に関する要求（例えば、ユーザアカウントに紐付けられるカートに特定の商品を追加する要求、または特定の商品の決済画面を開く要求）を特定のＥＣサイトのサーバへ送信してもよい。

【0120】

上記説明では、表示領域を現実空間に設定する例を示した。しかしながら、表示領域は、仮想空間に設定されてもよい。この場合に、作成用端末１０は、対象被写体の下端の表示位置から上端の表示位置までの仮想空間におけるサイズが現実空間における垂直サイズに対応するように、表示領域のスケールを設定してもよい。また、表示領域が仮想空間に設置される場合には、実カメラの代わりに仮想カメラの仮想空間における位置および姿勢について再生開始条件の成立／不成立が判定されることになる。

【0121】

上記説明では、対象被写体の「垂直サイズ」、「上端位置」、および「下端位置」に基づいて表示領域のスケールを設定する例を示した。しかしながら、垂直の代わりに、水平方向、斜め方向、またはその他の方向を基準方向としてもよい。すなわち、「垂直サイズ」は、「基準サイズ」と読み替えることができる。基準サイズは、対象被写体の基準方向の第１端から第２端までの現実空間におけるサイズである。また、「上端位置」は「第１端位置」と読み替えることができ、「下端位置」は「第２端位置」と読み替えることができる。第１端位置は、第１メディアの座標系における対象被写体の第１端の位置（例えば、第１メディアの座標系において基準方向に対応する方向の座標値）であり、第２端位置は第１メディアの座標系における第２端の位置（例えば、第１メディアの座標系において基準方向に対応する方向の座標値）である。前述の第２オブジェクトは、第１１メディアの座標系において基準方向に対応する方向に沿って移動可能に構成されてもよい。なお、任意の方向を基準方向として採用可能であるが、対象被写体の当該方向の両端間の現実空間におけるサイズが特定可能である必要がある。また、第１メディアの座標系における第１端と第２端との間の距離が当該第１メディアの画像分解能に比べて大きなければならない。表示領域のスケールをより高精度に設定する観点では、対象被写体の長手方向は基準方向として適している。

【0122】

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

【符号の説明】

【0123】

１ ：情報処理システム
３Ｄ ：仮想情報
１０ ：作成用端末
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：ディスプレイ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース
５０ ：再生用端末
５１ ：記憶装置
５２ ：プロセッサ
５３ ：入出力インタフェース
５４ ：通信インタフェース
６１ ：ディスプレイ
６２ ：カメラ
６３ ：計測部

【要約】

【課題】被写体の三次元情報が設定されていないメディアの視覚的コンテンツとしての活用を促す。
【解決手段】本開示の一態様のプログラムは、コンピュータを、二次元の静止画または動画である第１メディアを取得する手段、第１メディアの被写体の１つである対象被写体を特定する手段、対象被写体の基準方向の第１端から第２端までの現実空間におけるサイズである基準サイズを特定する手段、第１メディアの座標系における対象被写体の第１端の位置である第１端位置と、第１メディアの座標系における第２端の位置である第２端位置とを特定する手段、第１メディアに基づき、かつ対象被写体を含んだ二次元の静止画または動画である第２メディアを表示するための表示領域のスケールを、基準サイズと、第１端位置と、第２端位置とに基づいて設定する手段、として機能させる。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】