特許 7605126 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 13/20 20110101AFI20241217BHJP

   G09G 5/00 20060101ALI20241217BHJP

   G09G 5/38 20060101ALI20241217BHJP

   H04S 7/00 20060101ALI20241217BHJP

【ＦＩ】

G06T13/20 500

G09G5/00 510Q

G09G5/38

H04S7/00 300

【請求項の数】 18

(21)【出願番号】P 2021555912

(86)(22)【出願日】2020-09-04

(86)【国際出願番号】 JP2020033540

(87)【国際公開番号】W WO2021095330

(87)【国際公開日】2021-05-20

【審査請求日】2023-07-20

(31)【優先権主張番号】P 2019204438

(32)【優先日】2019-11-12

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100082762

【弁理士】

【氏名又は名称】杉浦 正知

(74)【代理人】

【識別番号】100123973

【弁理士】

【氏名又は名称】杉浦 拓真

(72)【発明者】

【氏名】木村 隆臣

(72)【発明者】

【氏名】石原 靖子

(72)【発明者】

【氏名】若林 一

(72)【発明者】

【氏名】石原 敦

(72)【発明者】

【氏名】井上 正行

(72)【発明者】

【氏名】市川 浩丈

(72)【発明者】

【氏名】青木 秀憲

(72)【発明者】

【氏名】深澤 遼

【審査官】橘 高志

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０２１２５３８（ＵＳ，Ａ１）

【文献】特表２０１５－５１０６２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／２０

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

Ｈ０４Ｓ ７／００

(57)【特許請求の範囲】

【請求項1】

実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させる制御部を備え、
前記制御部は、前記実空間におけるユーザの位置に前記所定の音が到達するタイミングに対応した遅延量を設定する遅延量設定処理を行い、
前記遅延量は、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量であり、
前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記遅延量を大きくする
情報処理装置。

【請求項2】

前記制御部は、前記情報処理装置の位置に対して規定されている前記仮想オブジェクトの相対的位置に基づいて、前記仮想オブジェクトの前記三次元座標上の位置を取得する
請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置との距離を演算し、演算結果に基づいて前記遅延量を設定する
請求項２に記載の情報処理装置。

【請求項4】

前記実音源の前記三次元座標上の位置が外部機器から供給される
請求項３に記載の情報処理装置。

【請求項5】

前記情報処理装置の位置が可変とされている
請求項２に記載の情報処理装置。

【請求項6】

前記情報処理装置の位置を取得する位置情報取得部を有する
請求項２に記載の情報処理装置。

【請求項7】

前記制御部は、前記遅延量に関わらず、前記動作開始タイミングを所定のタイミングとする同期処理を行う
請求項１に記載の情報処理装置。

【請求項8】

前記制御部は、所定の同期情報として同期が設定されている場合に前記同期処理に基づいて前記動作開始タイミングを決定し、所定の同期情報として非同期が設定されている場合に前記遅延量設定処理に基づいて前記動作開始タイミングを決定する
請求項７に記載の情報処理装置。

【請求項9】

仮想オブジェクト毎に前記同期情報が設定されている
請求項８に記載の情報処理装置。

【請求項10】

前記所定のタイミングは、同一のアプリケーションで動作する他の情報処理装置と共通するタイミングである
請求項７に記載の情報処理装置。

【請求項11】

前記制御部は、前記同期処理を行う場合に当該同期処理に対応する情報を表示する
請求項７に記載の情報処理装置。

【請求項12】

前記制御部は、所定の共有情報として共有が設定されている場合に、前記仮想オブジェクトを、前記情報処理装置の位置と前記仮想オブジェクトの前記三次元座標上の位置との位置関係に対応するように表示し、所定の共有情報として非共有が設定されている場合に、前記仮想オブジェクトを情報処理装置毎に対応するように表示する
請求項１に記載の情報処理装置。

【請求項13】

仮想オブジェクト毎に前記共有情報が設定されている
請求項１２に記載の情報処理装置。

【請求項14】

前記制御部は、前記遅延量設定処理を、表示される複数の仮想オブジェクトのそれぞれに対して行う
請求項１に記載の情報処理装置。

【請求項15】

前記仮想オブジェクトが表示され、携帯可能なウエアラブルディスプレイとして構成される
請求項１に記載の情報処理装置。

【請求項16】

前記遅延量設定処理は、同一のアプリケーションで動作する複数の情報処理装置のそれぞれで行われる
請求項１に記載の情報処理装置。

【請求項17】

制御部が、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させ、
前記制御部は、前記実空間におけるユーザの位置に前記所定の音が到達するタイミングに対応した遅延量を設定する遅延量設定処理を行い、
前記遅延量は、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量であり、
前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記遅延量を大きくする
情報処理方法。

【請求項18】

制御部が、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させ、
前記制御部は、前記実空間におけるユーザの位置に前記所定の音が到達するタイミングに対応した遅延量を設定する遅延量設定処理を行い、
前記遅延量は、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量であり、
前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記遅延量を大きくする
情報処理方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

従来からコンテンツの再生タイミングを制御する提案がなされている（例えば、下記の特許文献１、２を参照のこと）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１８３４８３号公報

【文献】特開２０１５－０７３１８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、ライブ会場では、通常、ステージまでの距離が長いほどステージ上で発せられた音が遅れてユーザに到達する。近年では、ステージ上でスピーカから音が再生されつつ、当該ステージ上で、実際の歌手ではなく仮想的な歌手が歌ったり踊ったりする映像が再生されるライブ形態も提案されている。かかるライブ形態においてもスピーカから再生された音の遅れに関するリアリティが要求されるが、上述した特許文献に記載の技術では音の遅れに関するリアリティを適切に再現することが困難であった。

【0005】

本開示は、実音源から再生された音の遅れに関するリアリティを適切に再現することができる情報処理装置、情報処理方法およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本開示は、例えば、
実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、実空間に配置された実音源から再生される所定の音に応じて、仮想オブジェクトに所定の動作を実行させる制御部を備え、
制御部は、実空間におけるユーザの位置に所定の音が到達するタイミングに対応した遅延量を設定する遅延量設定処理を行い、
遅延量は、実音源が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量であり、
制御部は、実空間における実音源の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、遅延量を大きくする
情報処理装置である。

【0007】

本開示は、例えば、
制御部が、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、実空間に配置された実音源から再生される所定の音に応じて、仮想オブジェクトに所定の動作を実行させ、
制御部は、実空間におけるユーザの位置に所定の音が到達するタイミングに対応した遅延量を設定する遅延量設定処理を行い、
遅延量は、実音源が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量であり、
制御部は、実空間における実音源の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、遅延量を大きくする
情報処理方法である。

【0008】

本開示は、例えば、
制御部が、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、実空間に配置された実音源から再生される所定の音に応じて、仮想オブジェクトに所定の動作を実行させ、
制御部は、実空間におけるユーザの位置に所定の音が到達するタイミングに対応した遅延量を設定する遅延量設定処理を行い、
遅延量は、実音源が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量であり、
制御部は、実空間における実音源の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、遅延量を大きくする
情報処理方法をコンピュータに実行させるプログラムである。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態にかかる再生システムを説明するための図である。

【図2】図２は、一実施形態で考慮すべき問題についての説明がなされる際に参照される図である。

【図3】図３は、一実施形態の概要を説明するための図である。

【図4】図４Ａ～図４Ｄは、一実施形態の概要を説明するための図である。

【図5】図５は、再生システムの具体例を説明するための図である。

【図6】図６は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。

【図7】図７は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。

【図8】図８は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。

【図9】図９は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。

【図10】図１０は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。

【図11】図１１は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。

【図12】図１２は、一実施形態にかかる再生システムで行われる処理で、音の遅延に関するリアリティを実現できることを示した表である。

【図13】図１３は、一実施形態において動作開始タイミングの遅延量を求める演算式の一例が説明される際に参照される図である。

【図14】図１４は、一実施形態において複数の装置により構成されるシステムの構成例を示す図である。

【図15】図１５は、一実施形態にかかるサーバ、スマートディスプレイおよびスピーカのそれぞれの構成例を説明するための図である。

【図16】図１６は、一実施形態で行われる処理の流れが説明される際に参照されるフローチャートである。

【図17】図１７は、一実施形態で行われる処理の流れが説明される際に参照されるフローチャートである。

【図18】図１８は、一実施形態で行われる処理の流れが説明される際に参照されるフローチャートである。

【図19】図１９は、変形例が説明される際に参照される図である。

【図20】図２０は、変形例が説明される際に参照される図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜一実施形態＞
＜変形例＞
以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。

【0011】

＜一実施形態＞
［実施形態で行われる処理］
始めに、本実施形態で行われる処理についての説明がなされる。本実施形態では、ライブ会場のような比較的、大規模な再生システムが想定される。

【0012】

（再生システムの概要）
図１は、本実施形態にかかる再生システム（再生システム１）を模式的に示した図である。再生システム１は、例えば、ステージ２を備えており、当該ステージ２上若しくはステージ２の周囲に実音源の一例であるスピーカ３が配置されている。実際の音（音楽や効果音、アナウンス音等）がスピーカ３から再生される。図１では、ステージ２の左右のそれぞれにスピーカ３が配置されている例が示されているが、スピーカ３の個数や配置態様は適宜、変更することができる。

【0013】

ステージ２に対しては、観客であるユーザが対向するように存在する。ユーザは、スピーカ３から再生される音を聴きつつ、歌手やダンサーを模した仮想オブジェクトが表示された映像を視る。仮想オブジェクトは、人工的に創造された歌手等の仮想的な仮想オブジェクトではなく実在する人物でもよく、映像は、かかる実在する人物が表示される映像でもよい。映像は、ユーザが携帯や装着するスマートディスプレイに表示される。スマートディスプレイは、現実空間に仮想的な情報を描画可能なものであり、具体的には、ユーザが所有するスマートホンのディスプレイや、眼鏡型のディスプレイ（ＡＲ(Augmented Reality)グラス等とも称される）、ＨＵＤ(Head Up Display)等を例示することができる。各ユーザは、例えば、スマートディスプレイを有する機器に同一のアプリケーションをインストールして再生することにより、同一の映像コンテンツを視ることができる。このように、本実施形態にかかる再生システム１は、実在のステージと仮想オブジェクトとを融合したライブ再生が行われるシステムである。

【0014】

（考慮すべき問題）
続いて、上述した再生システム１において考慮すべき問題についての説明がなされる。スマートディスプレイ上で映像を表示しつつ、実音源から再生された音源が到達するまでの遅延に関するリアリティを再現しようとする場合には、ユーザのステージ２までの距離や、仮想オブジェクトの位置に応じて、仮想オブジェクトが所定の動作（モーション）を行う適切なタイミングが異なる。

【0015】

図２は、ユーザ位置と仮想オブジェクトの位置とに対応するリアリティの一例を説明するための図である。図２に示す表では、縦方向に、仮想オブジェクトとしての仮想オブジェクトの位置が規定されている。具体的には、仮想オブジェクトの位置がステージ上であるパターンと、仮想オブジェクトの位置が目の前であるパターンとが規定されている。また、図２に示す表では、横方向に、ユーザの位置とステージの位置との関係が規定されている。具体的には、ユーザの位置がステージに近いパターンと、ユーザの位置がステージから遠いパターンとが規定されている。

【0016】

仮想オブジェクトの位置がステージ上であり、且つ、ユーザの位置がステージに近いパターン（以下、パターンＰ１と適宜、称される）の場合は、映像と音のタイミングがあっていることにリアリティがある。仮想オブジェクトの位置がユーザの目の前であり、且つ、ユーザの位置がステージに近いパターン（以下、パターンＰ２と適宜、称される）の場合は、映像と音のタイミングがあっていることにリアリティがある。パターンＰ１、Ｐ２を踏まえると、映像と音のタイミングが常に合うことにリアリティがある。

【0017】

仮想オブジェクトの位置がステージ上であり、且つ、ユーザの位置がステージから遠いパターン（以下、パターンＰ３と適宜、称される）の場合は、映像より音が遅延して到達することにリアリティがある。仮想オブジェクトの位置がユーザの目の前であり、且つ、ユーザの位置がステージから遠いパターン（以下、パターンＰ４と適宜、称される）の場合は、映像と音のタイミングがあっていることにリアリティがある。パターンＰ３、Ｐ４を踏まえると、仮想オブジェクトの位置によって表示タイミングが異なることにリアリティがある。

【0018】

また、パターンＰ１、Ｐ３を踏まえると、ユーザのステージからの距離によらず、仮想オブジェクトの表示タイミングが同じことにリアリティがある。また、パターンＰ２、Ｐ４を踏まえると、ユーザのステージからの距離によって、仮想オブジェクトの表示タイミングが異なることにリアリティがある。上述した特許文献に記載の技術では、これらのリアリティを再現することができないという問題がある。

【0019】

（一実施形態の概要）
続いて、図３および図４が参照されつつ、本実施形態の概要についての説明がなされる。図３は、上述した４つのパターン（パターンＰ１、Ｐ２、Ｐ３、Ｐ４）を模式的に示した図である、図３中、ステージ２に近いユーザがユーザＵＡであり、ステージ２から遠いユーザがユーザＵＢである。また、図３では、各パターンに応じてスマートディスプレイに表示される仮想オブジェクトＣが示されている。

【0020】

図４Ａ～図４Ｄは、各パターンに応じて行われる処理の概要を説明するための図である。図４Ａは、パターンＰ１の場合に行われる処理を示す。パターンＰ１の場合には、仮想オブジェクトに所定の動作を実行させるタイミング（以下、動作開始タイミングと適宜、称される）を実音源から再生される音の再生タイミングに近づける処理が行われる。

【0021】

図４Ｂは、パターンＰ２の場合に行われる処理を示す。パターンＰ２の場合には、仮想オブジェクトに所定の動作を実行させる動作開始タイミングを実音源から再生される音の再生タイミングに近づける処理が行われる。

【0022】

図４Ｃは、パターンＰ３の場合に行われる処理を示す。パターンＰ２の場合には、仮想オブジェクトに所定の動作を実行させる動作開始タイミングを実音源から再生される音の再生タイミングに近づける処理が行われる。

【0023】

図４Ｄは、パターンＰ４の場合に行われる処理を示す。パターンＰ４の場合には、仮想オブジェクトに所定の動作を実行させる動作開始タイミングを実音源から再生される音の再生タイミングから遅らす処理が行われる。

【0024】

（処理の具体例）
以上説明した処理の概要について、具体例を挙げた説明がなされる。図５は、再生システム１の具体例を示している。上述したように、再生システム１は、ステージ２およびスピーカ３を有している。ステージ２上の位置ＰＯ１は、仮想オブジェクトの位置がステージ２上である場合の位置を示している。ここでの仮想オブジェクトの位置とは、実空間に関連づけられた三次元座標上における仮想オブジェクトの位置であり、後述する演算がなされることにより得られる位置である。なお、本例では、ステージ２とスピーカ３との位置を同一位置としている。したがって、仮想オブジェクトがステージ２上の位置ＰＯ１となる場合には、仮想オブジェクトとスピーカ３との距離は０に設定される。

【0025】

再生システム１における位置ＰＯ２は、ステージ２に対して近い箇所に居るユーザＵＡの位置を示している。ユーザＵＡの位置は、例えば、ユーザＵＡが所持や装着するスマートディスプレイの位置と等価である。ユーザＵＡおよびステージ２間の距離は、例えば、１０ｍである。ユーザＵＡは、音に関しては、スピーカ３から再生される音源の音を聴き、仮想オブジェクトに関してはスマートディスプレイの一例である眼鏡型のＡＲグラス１１Ａを介して視認する。なお、仮想オブジェクトがユーザＵＡの目の前にくる、すなわち、目の前にくるような態様でＡＲグラス１１Ａに表示される場合は、仮想オブジェクトの位置が位置ＰＯ２と略一致する。

【0026】

また、再生システム１における位置ＰＯ３は、ステージ２に対して遠い箇所に居るユーザＵＢの位置を示している。ユーザＵＢの位置は、例えば、ユーザＵＢが所持や装着するスマートディスプレイの位置と等価である。ユーザＵＢおよびステージ２間の距離は、例えば、２００ｍである。ユーザＵＢは、音に関しては、スピーカ３から再生される音源の音を聴き、仮想オブジェクトに関してはスマートディスプレイの一例である眼鏡型のＡＲグラス１１Ｂを介して視認する。なお、仮想オブジェクトがユーザＵＢの目の前にくる、すなわち、目の前にくるような態様でＡＲグラス１１Ｂに表示される場合は、仮想オブジェクトの位置が位置ＰＯ３と略一致する。

【0027】

上述した実空間における再生システム１において、スピーカ３と仮想オブジェクトの位置との間の距離をＤ（ｍ）とする。この場合、スピーカ３から所定の動作に対応する音が再生されてから、
Ｄ＊１０００／３４０（ｍｓｅｃ）・・・（式１）
だけ所定のタイミングから遅延されたタイミングに、仮想オブジェクトが当該所定の動作を行う動作開始タイミングが設定される。
（但し、音速を３４０ｍ／ｓｅｃとしている。）
したがって、実空間におけるスピーカ３の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、スピーカ３が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量が大きく設定される。設定された動作開始タイミングから、仮想オブジェクトが所定の動作を行う映像がＡＲグラスに描画される。

【0028】

スピーカ３から音が再生されてから仮想オブジェクトが所定の動作を開始するまでの遅延量は、具体的には以下のように設定される。
（１）ユーザＵＡの場合
スピーカ３から再生された音がユーザＵＡに到達するまでの時間：約３０ｍｓｅｃ
仮想オブジェクトがステージ２上にいる場合の遅延量：０ｍｓｅｃ
（スピーカ３と仮想オブジェクトとの間の距離が０ｍであり、（式１）におけるＤ＝０であるため）
仮想オブジェクトがユーザＵＡの目の前にいる場合の動作開始タイミングの遅延量：約３０ｍｓｅｃ
（スピーカ３と仮想オブジェクトとの間の距離が１０ｍであり、（式１）におけるＤ＝１０であるため）
（２）ユーザＵＢの場合
スピーカ３から再生された音がユーザＵＢに到達するまでの時間：約６００ｍｓｅｃ
仮想オブジェクトがステージ２上にいる場合の遅延量：０ｍｓｅｃ
（スピーカ３と仮想オブジェクトとの間の距離が０ｍであり、（式１）におけるＤ＝０であるため）
仮想オブジェクトがユーザＵＢの目の前にいる場合の動作開始タイミングの遅延量：約６００ｍｓｅｃ
（スピーカ３と仮想オブジェクトとの間の距離が２００ｍであり、（式１）におけるＤ＝２００であるため）
以上を踏まえつつ、動作開始タイミング等に関する具体的な説明がなされる。

【0029】

図６は、ユーザがスピーカ３に近い位置に居るユーザＵＡであり、仮想オブジェクトＣの位置がステージ２上である場合のタイミングチャートである。実音源としてのスピーカ３から再生される音のタイミングの一例として、時系列順にタイミングＴ１、Ｔ２、Ｔ３が規定されている。音の遅延等を考慮しない場合には、タイミングＴ１で仮想オブジェクトＣは所定の動作を行う。所定の動作を行わせる音のタイミングをタイミングｔ（本例ではｔ＝Ｔ１）とした場合に、スピーカ３から再生された音はユーザＵＡに対して（ｔ＋３０）ｍｓｅｃ後に到達する。なお、仮想オブジェクトＣが行う動作は、動作Ｍ１、Ｍ２、Ｍ３を含む一例の動作である。また、図６等において、同じ音符のマークは同じ音を示している。

【0030】

本実施形態にて行われる処理（以下、本提案とも称される）の理解を容易とするために、本提案と併せて、参考例１、２についての説明もなされる。参考例１は、所定の音の再生タイミングに動作開始タイミングを常に合わせる例である。参考例２は、所定の音が到達するタイミングに動作開始タイミングを常に合わせる例である。

【0031】

図６に示すように、参考例１では、スピーカ３から音が再生されるタイミングｔで、仮想オブジェクトＣが動作Ｍ１を開始し、続いて、動作Ｍ２、Ｍ３を行う。すなわち、動作開始タイミングがタイミングｔに設定される。この場合、音が到達するタイミングと動作開始タイミングとの間に３０ｍｓｅｃのずれがあるものの、３０ｍｓｅｃのずれはユーザに対して聴感上、違和感を与えない程度のずれであることから、参考例１によれば、音の遅延に関するリアリティが実現できていることになる。

【0032】

また、参考例２では、スピーカ３から再生された音がユーザＵＡに到達するタイミング（ｔ＋３０ｍｓｅｃ）で、仮想オブジェクトＣが動作Ｍ１を開始し、続いて、動作Ｍ２、Ｍ３を行う。すなわち、動作開始タイミングがタイミング（ｔ＋３０ｍｓｅｃ）に設定される。この場合、音が到達するタイミングと動作開始タイミングとが一致している。ユーザＵＡは、ステージ２に近い位置に居ることから、参考例２によれば、音の遅延に関するリアリティが実現できていることになる。

【0033】

また、本提案では、上述したように、動作開始タイミングの遅延量が０に設定される。したがって、参考例１と同様に、本提案は、音の遅延に関するリアリティが実現できていることになる。

【0034】

図７は、ユーザがスピーカ３から遠い位置に居るユーザＵＢであり、仮想オブジェクトＣの位置がステージ２上である場合のタイミングチャートである。この場合、ユーザＵＢに対しては、スピーカ３から再生された音が（ｔ＋６００ｍｓｅｃ）後に到達する。

【0035】

参考例１では、スピーカ３から音が再生されるタイミングｔで、仮想オブジェクトＣが動作Ｍ１を開始し、続いて、動作Ｍ２、Ｍ３を行う。すなわち、動作開始タイミングがタイミングｔに設定される。また、スピーカ３から再生された音は（ｔ＋６００ｍｓｅｃ）後にユーザＵＢに到達する。参考例１によれば、音の遅延に関するリアリティが実現できていることになる。

【0036】

参考例２では、スピーカ３から再生された音が到達するタイミング（ｔ＋６００ｍｓｅｃ）で、仮想オブジェクトＣが動作Ｍ１を開始し、続いて、動作Ｍ２、Ｍ３を行う。本来、視覚的に認識される映像に対して聴覚的に認識される音が遅れて到達すべきところ、参考例２では、ユーザＵＢに音が到達するタイミングと動作開始タイミングとが一致してしまっている。したがって、参考例２によれば、音の遅延に関するリアリティが実現できていないことになる。

【0037】

本提案によれば、仮想オブジェクトがステージ２上にいることから遅延量が０、すなわち、動作開始タイミングがタイミングｔに設定される。また、スピーカ３から再生された音は（ｔ＋６００ｍｓｅｃ）後にユーザＵＢに到達する。よって、本提案によれば、音の遅延に関するリアリティが実現できていることになる。

【0038】

図８は、ユーザがスピーカ３に近い位置に居るユーザＵＡであり、仮想オブジェクトＣの位置がユーザの目の前である場合のタイミングチャートである。仮想オブジェクトＣは、スマートディスプレイに表示されるオブジェクトであることから、実際のライブとは異なりコンテンツ中で自由に位置を変更することができる。例えば、ステージ２から飛ぶようにしてユーザＵＡの目の前にくる態様で仮想オブジェクトＣが表示され得る。この場合は、上述したように、仮想オブジェクトＣが目の前に居ることから、動作開始タイミングと音がユーザＵＡに聞こえるタイミングとが合っていることが、音の遅延に関するリアリティがあることになる。

【0039】

参考例１では、スピーカ３から音が再生されるタイミングｔで、仮想オブジェクトＣが動作Ｍ１１を開始し、続いて、動作Ｍ１２、Ｍ１３を行う。すなわち、動作開始タイミングがタイミングｔに設定される。この場合、音が到達するタイミングと動作開始タイミングとが聴感上、違和感が生じない程度（３０ｍｓｅｃの誤差）に略一致している。したがって、参考例１によれば、音の遅延に関するリアリティが実現できていることになる。

【0040】

また、参考例２では、スピーカ３から再生された音がユーザＵＡに到達するタイミング（ｔ＋３０ｍｓｅｃ）で、仮想オブジェクトＣが動作Ｍ１１を開始し、続いて、動作Ｍ１２、Ｍ１３を行う。すなわち、動作開始タイミングがタイミング（ｔ＋３０ｍｓｅｃ）に設定される。この場合、音の到達タイミングと動作開始タイミングとが一致している。以上から、参考例２によれば、音の遅延に関するリアリティが実現できていることになる。

【0041】

また、本提案では、上述したように、動作開始タイミングが（ｔ＋３０ｍｓｅｃ）に設定される。したがって、参考例２と同様に、本提案によれば、音の遅延に関するリアリティが実現できていることになる。

【0042】

図９は、ユーザがスピーカ３から遠い位置に居るユーザＵＢであり、仮想オブジェクトＣの位置がユーザの目の前である場合のタイミングチャートである。この場合、ユーザＵＢに対しては、スピーカ３から再生された音が（ｔ＋６００ｍｓｅｃ）後に到達する。上述したように、仮想オブジェクトＣが目の前に居ることから、動作開始タイミングと音がユーザＵＢに聞こえるタイミングとが合っていることが、音の遅延に関するリアリティがあることになる。

【0043】

参考例１では、スピーカ３から音が再生されるタイミングｔで、仮想オブジェクトＣが動作Ｍ１１を開始し、続いて、動作Ｍ１２、Ｍ１３を行う。すなわち、動作開始タイミングがタイミングｔに設定される。一方で、ユーザＵＢには、（ｔ＋６００ｍｓｅｃ）後に音が到達し、ユーザＵＢは音を認識する。したがって、参考例１によれば、音の遅延に関するリアリティが実現できていないことになる。

【0044】

また、参考例２では、スピーカ３から再生された音がユーザＵＢに到達するタイミング（ｔ＋６００ｍｓｅｃ）で、仮想オブジェクトＣが動作Ｍ１１を開始し、続いて、動作Ｍ１２、Ｍ１３を行う。音がユーザＵＢに聞こえるタイミングと動作開始タイミングとが一致していることから、参考あｇ例２によれば、音の遅延に関するリアリティが実現できていることになる。

【0045】

また、本提案では、上述したように、動作開始タイミングが（ｔ＋６００ｍｓｅｃ）に設定されることから、音がユーザＵＢに聞こえるタイミングと動作開始タイミングとが一致する。したがって、参考例２と同様に、本提案では、音の遅延に関するリアリティが実現できていることになる。

【0046】

図１０は、ユーザがスピーカ３に近い位置に居るユーザＵＡであり、仮想オブジェクトＣの位置がスピーカ３とユーザＵＡとの中間に居る場合（スピーカ３の位置と仮想オブジェクトＣの位置との間の距離が５ｍの場合）のタイミングチャートである。仮想オブジェクトＣの位置は、ステージ２上の位置と略同視できることから、音が聞こえるタイミングと動作タイミングとが略同じであることが、音の遅延に関するリアリティがあることになる。

【0047】

参考例１では、タイミングｔが動作開始タイミングとなる。したがって、音の遅延に関するリアリティが実現できていることになる。参考例２によれば、タイミング（ｔ＋３０ｍｓｅｃ）が動作開始タイミングとなる。上述したように、３０ｍｓｅｃのずれは聴感上、略影響しないと考えられることから、参考例２によっても音の遅延に関するリアリティが実現できていることになる。

【0048】

本提案では、（式１）におけるＤ＝５を代入することにより、設定される遅延量が１５ｍｓｅｃとなる。タイミング（ｔ＋１５ｍｓｅｃ）が動作開始タイミングとなる。１５ｍｓｅｃのずれは聴感上、略影響しないと考えられることから、本提案によっても音の遅延に関するリアリティが実現できていることになる。動作開始タイミングなると、仮想オブジェクトＣが一連の動作Ｍ２１、２２、２３を行う映像がＡＲグラス１１Ａに描画される。

【0049】

図１１は、ユーザがスピーカ３から遠い位置に居るユーザＵＢであり、仮想オブジェクトＣの位置がスピーカ３とユーザＵＡとの中間に居る場合（スピーカ３の位置と仮想オブジェクトＣの位置との間の距離が１００ｍの場合であり、且つ、仮想オブジェクトＣとユーザＵＢとの間の距離が１００ｍの場合）のタイミングチャートである。この場合、仮想オブジェクトＣとユーザＵＢとの間の距離が１００ｍであることから、仮想オブジェクトＣが再生されてから、３００ｍｓｅｃ後にユーザＵＢに音が到達することが、音の遅延に関するリアリティがあることになる。

【0050】

参考例１では、動作開始タイミングがｔとなる。そして、ｔから６００ｍｓｅｃ後にユーザＵＢに、スピーカ３から再生された音が到達する。したがって、参考例１では、音の遅延に関するリアリティがないことになる。

【0051】

参考例２では、動作開始タイミングが（ｔ＋６００ｍｓｅｃ）となる。動作開始タイミングとユーザＵＢに音が到達するタイミングとが一致する。したがって、参考例２では、音の遅延に関するリアリティがないことになる。

【0052】

本提案では、（式１）におけるＤ＝１００を代入することにより、設定される遅延量が３００ｍｓｅｃとなる。タイミング（ｔ＋３００ｍｓｅｃ）が動作開始タイミングとなる。そして、タイミング（ｔ＋３００ｍｓｅｃ）から３００ｍｓｅｃ後にユーザＵＢに音が到達する。したがって、本提案では、音の遅延に関するリアリティがあることになる。動作開始タイミングなると、仮想オブジェクトＣが一連の動作Ｍ２１、２２、２３を行う映像がＡＲグラス１１Ｂに描画される。

【0053】

図１２は、以上説明した具体的な処理の結果をまとめた表である。表中、○印は、音の遅延に関するリアリティを実現できることを示している。また、表中、×印は、音の遅延に関するリアリティを実現できないことを示している。参考例１、２と対比すると、本提案によれば、何れの場合も音の遅延に関するリアリティを実現できている。

【0054】

図１３は、動作開始タイミングの遅延量を設定する際に必要なパラメータ、および、パラメータを使用した演算の一例を説明するための図である。
実音源（スピーカ３）の実空間に関連づけられた三次元座標上の位置（絶対座標）：ＡＣ_R
ユーザの実空間に関連づけられた三次元座標上の位置（絶対座標）：ＡＣ_U
仮想オブジェクトのユーザの位置からの相対座標：ＲＣ_O
座標間距離と実測距離（ｍ）の変換係数：α
とした場合、図１３に示すように、
仮想オブジェクトの絶対座標：ＡＣ_U＋ＲＣ_O
実音源（スピーカ３）と仮想オブジェクトとの距離：Ｄｉｓｔａｎｃｅ（ＡＣ_R，ＡＣ_U＋ＲＣ_O）＊α（ｍ）
と表すことができる。そして、動作開始タイミングの遅延量は、
Ｄｉｓｔａｎｃｅ（ＡＣ_R，ＡＣ_U＋ＲＣ_O）＊α＊１０００／３４０（ｍｓｅｃ）・・・（式２）
と表すことができる。

【0055】

（システムの構成例）
図１４は、一実施形態において複数の装置により構成されるシステム（システム１００）の構成例を示す図である。システム１００は、例えば、サーバ３０と、スマートディスプレイ（例えば、上述したＡＲグラス１１Ａ、１１Ｂ）４０と、スピーカ（例えば、上述したスピーカ３）５０とを有している。各装置間では、通信により各種のデータやコマンドのやりとりが可能とされている。

【0056】

（各装置の構成例）
「サーバの構成例」
図１５が参照されつつ、本実施形態にかかるサーバ３０、情報処理装置の一例であるスマートディスプレイ４０およびスピーカ５０のそれぞれの構成例に関する説明がなされる。

【0057】

サーバ３０は、例えば、サーバ制御部３０１と、音源位置座標保持部３０２と、進捗情報保持部３０３と、サーバ通信部３０４とを有している。サーバ制御部３０１は、サーバ３０の各部を統括的に制御する。後述するサーバ３０で行われる処理は、特に断らない限り、サーバ制御部３０１の制御に応じて行われる。

【0058】

音源位置座標保持部３０２は、実音源の一例であるスピーカ５０の実空間に関連づけられた三次元座標上の位置（絶対位置）を保持するメモリである。進捗情報保持部３０３は、コンテンツの進捗情報（例えば、再生時間）を保持するメモリである。なお、音源位置座標保持部３０２および進捗情報保持部３０３は、同一のメモリでもよいし、異なるメモリでもよい。

【0059】

サーバ通信部３０４は、スマートディスプレイ４０やスピーカ５０と通信を行う構成であり、通信規格に対応した変復調回路やアンテナ等を含む。サーバ通信部３０４は、インターネット等のネットワークに対応した通信部でもよいし、ＬＡＮ(Local Area Network)等の近距離無線通信に対応した通信部でもよいし、その両方に対応する通信部でもよい。

【0060】

「スマートディスプレイの構成例」
スマートディスプレイ４０は、端末制御部４０１と、端末通信部４０２と、音源位置情報保持部４０３と、進捗情報保持部４０４と、自己位置情報取得部４０５と、コンテンツ描画部４０６と、ディスプレイ４０７とを有している。

【0061】

端末制御部４０１は、スマートディスプレイ４０全体を統括的に制御する。端末制御部４０１は、例えば、仮想オブジェクト位置情報保持部４０１Ａと、表示タイミング保持部４０１Ｂと、仮想オブジェクト絶対位置計算部４０１Ｃと、距離計算部４０１Ｄと、開始時間計算部４０１Ｅと、開始時間比較部４０１Ｆと、アニメーション制御部４０１Ｇとを有している。

【0062】

仮想オブジェクト位置情報保持部４０１Ａは、仮想オブジェクトの位置情報を保持する。また、表示タイミング保持部４０１Ｂは、仮想オブジェクトにデフォルトで設定されている表示タイミングを保持する。なお、仮想オブジェクトの位置情報および表示タイミングは、例えば、映像コンテンツを含むアプリケーションをスマートディスプレイ４０にインストールしたときに取得される。仮想オブジェクトの位置情報および表示タイミングが通信等により取得されてもよい。仮想オブジェクトの位置情報および表示タイミングは、時系列に沿って規定されている。仮想オブジェクトの位置情報は、スマートディスプレイ４０の位置に対する相対的位置で規定されている情報である。また、仮想オブジェクトの表示タイミングは、仮想オブジェクトが所定の動作を行う映像を表示するタイミングであり、映像コンテンツの再生時間の経過に対応して規定されている。仮想オブジェクトの位置情報は、仮想オブジェクト位置情報保持部４０１Ａから仮想オブジェクト絶対位置計算部４０１Ｃに対して供給される。仮想オブジェクトの表示タイミングは、表示タイミング保持部４０１Ｂから開始時間計算部４０１Ｅに供給される。

【0063】

仮想オブジェクト絶対位置計算部４０１Ｃは、仮想オブジェクトの位置情報と自己位置情報取得部４０５から供給されるスマートディスプレイ４０の位置情報とに基づいて、仮想オブジェクトの絶対位置を計算する。仮想オブジェクトの絶対位置とは、実空間に関連づけられた三次元座標上の所定の位置である。仮想オブジェクト絶対位置計算部４０１Ｃにより計算された絶対位置に対応するディスプレイ４０７の位置に仮想オブジェクトが表示（描画）される。

【0064】

距離計算部４０１Ｄは、サーバ３０から送信されるスピーカ５０の絶対位置である音源位置情報と、仮想オブジェクト絶対位置計算部４０１Ｃから供給される仮想オブジェクトの絶対位置とに基づいて、スピーカ５０と仮想オブジェクトとの間の距離を計算する。

【0065】

開始時間計算部４０１Ｅは、所定の動作を仮想オブジェクトに実行させる開始時間、すなわち、動作開始タイミングを計算する。より具体的には、開始時間計算部４０１Ｅは、実空間におけるスピーカ５０の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、スピーカ５０が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う。開始時間計算部４０１Ｅにより計算された動作開始タイミングが開始時間比較部４０１Ｆに供給される。

【0066】

開始時間比較部４０１Ｆは、進捗情報保持部４０４から供給される進捗情報と、開始時間計算部４０１Ｅから開始される動作開始タイミングとに基づいて、動作開始タイミングで規定されるタイミングが進捗情報で示される時間（以下、進捗時間と適宜、称される）を超えたか否かを判断する。動作開始タイミングが進捗時間を超えた場合には、開始時間比較部４０１Ｆは、その旨をアニメーション制御部４０１Ｇに通知する。

【0067】

アニメーション制御部４０１Ｇは、動作開始タイミングが進捗時間を超えた場合に、仮想オブジェクトが一連の所定の動作を行うアニメーションを生成する。アニメーション制御部４０１Ｇにより生成されたアニメーションがコンテンツ描画部４０６に供給される。

【0068】

端末通信部４０２は、サーバ３０等の外部機器と通信を行う。端末通信部４０２が行う通信により、スマートディスプレイ４０は、サーバ３０から供給される音源位置情報および進捗情報を取得する。端末通信部４０２が行うにより取得された音源位置情報が音源位置情報保持部４０３に保持（記憶）され、進捗情報が進捗情報保持部４０４に保持される。音源位置情報保持部４０３に保持された音源位置情報は、距離計算部４０１Ｄに供給される。また、進捗情報保持部４０４に保持された進捗情報は、開始時間比較部４０１Ｆに供給される。

【0069】

位置情報取得部としての自己位置情報取得部４０５は、スマートディスプレイ４０の現在位置である自己位置情報を取得する。自己位置情報は、ユーザによって直接入力されてもよいし、ユーザが、自身がいる位置（座席等）に付された、位置を示すＱＲコード（登録商標）を読み込む操作を行うことにより取得されてもよい。また、自己位置情報は、ＧＮＳＳ(Global Navigation Satellite System)等の位置センサを介して取得されてもよいし、ＳＬＡＭ(Simultaneous Localization and Mapping)や事前に撮影した特徴量マップを利用して自己位置が推定されることで取得されてもよい。スマートディスプレイ４０を有するユーザ位置は変化し得る（可変）。この場合には自己位置情報もユーザ位置の変化に応じて変化する。

【0070】

コンテンツ描画部４０６は、アニメーション制御部４０１Ｇから供給されたアニメーションをディスプレイ４０７に描画する処理を行う。具体的には、ステージ２上で歌う仮想オブジェクトや、会場を飛び回る仮想オブジェクトがディスプレイ４０７に描画される。これにより、ユーザは、ディスプレイ４０７に表示される仮想オブジェクトを視覚的に認識する。

【0071】

ディスプレイ４０７は、例えば、光学シースルー型のディスプレイである。ユーザは、ディスプレイ４０７を介してステージ２等の実物体を視認しつつ、ディスプレイ４０７に表示される仮想オブジェクトを認識する。

【0072】

「スピーカの構成例」
スピーカ５０は、スピーカ通信部５０１と、音源再生部５０２と、スピーカユニット５０３とを有している。スピーカ通信部５０１は、サーバ３０やスマートディスプレイ４０と通信を行う。スピーカ通信部５０１は、例えば、サーバ３０またはスマートディスプレイ４０から送信される音の再生コマンドを受信する。

【0073】

音源再生部５０２は、音源データを再生するための公知の音声信号処理を行う。なお、音源データは、スピーカ５０の適宜なメモリに記憶されていてもよいし、スピーカ通信部５０１を介して通信により取得されてもよい。音源再生部５０２による処理が施された音源データがスピーカユニット５０３から再生される。

【0074】

なお、映像コンテンツ内に複数の仮想オブジェクトが含まれる場合には、これらの位置情報や表示タイミングは、仮想オブジェクト毎に規定されている。また、後述する処理も仮想オブジェクト毎に行われる。表示タイミングはなくてもよく、仮想オブジェクトが所定の動作を行うことが予めプログラムされたものであってもよい。

【0075】

進捗情報は、サーバ３０ではなく、スマートディスプレイ４０で管理されてもよい。また、スマートディスプレイ４０は、進捗情報をサーバ３０からではなく、マーカ認識や特徴量マップを利用したカメラによる認識や音のFingerprintを用いて、現在の進捗情報を取得してもよい。また、スピーカ５０の音源位置情報は、スピーカ５０からスマートディスプレイ４０に直接、供給されてもよい。

【0076】

「処理の流れ」
続いて、図１６、図１７および図１８が参照されつつ、本実施形態で行われる処理（主にスマートディスプレイ４０で行われる処理）の流れが説明される。図１６は、全体の処理の流れを示すフローチャートである。図１７は、図１６における仮想オブジェクト表示タイミング制御処理の流れを示すフローチャートである。図１８は、図１７における動作開始タイミング計算処理の流れを示すフローチャートである。なお、以下では、本実施形態にかかる処理を実行するためのアプリケーションが、スマートディスプレイ４０にインストールされているものとした説明がなされる。

【0077】

図１６に示すフローチャートにおいて、ステップＳＴ１１では、ユーザ位置、換言すれば、ユーザが所持や装着するスマートディスプレイ４０の位置が自己位置情報取得部４０５により取得される。上述したように、ユーザ位置は、ユーザ操作によって入力されてもよいし、センサ等によって取得されてもよい。そして、処理がステップＳＴ１２に進む。

【0078】

ステップＳＴ１２では、サーバ３０から実音源の一例であるスピーカ５０の音源位置情報が取得され、取得された音源位置情報が音源位置情報保持部４０３に保持される。そして、処理がステップＳＴ１３に進む。

【0079】

ステップＳＴ１３では、コンテンツ再生が開始される。コンテンツの再生は、例えば、スマートディスプレイ４０に対するコンテンツ再生操作に応じてなされたサーバ３０からの指示により開始される。サーバ３０からのコンテンツ再生コマンドがスピーカ５０に供給されることにより、スピーカユニット５０３から音源データが再生される。コンテンツ再生が開始されると、スマートディスプレイ４０はサーバ３０から進捗情報を定期的に取得する。そして、処理がステップＳＴ１４に進む。

【0080】

ステップＳＴ１４では、コンテンツの再生にともなって、コンテンツの再生に関する制御が行われる。そして、処理がステップＳＴ１５に進む。

【0081】

ステップＳＴ１５では、前回の進捗情報の取得からＸ秒以上経過したか否かが判断される。かかる判断は、例えば、端末制御部４０１によって行われる。端末制御部４０１は、例えば、進捗情報保持部４０４に保持されている進捗情報が、サーバ３０から送信された進捗情報に更新されてからＸ秒経過したか否かを判断する。Ｘ秒は、数秒から５秒等、適宜、設定することができる。前回の進捗情報の取得からＸ秒、経過していない場合は、処理がステップＳＴ１８に進む。前回の進捗情報の取得からＸ秒、経過した場合は、処理がステップＳＴ１６に進む。

【0082】

ステップＳＴ１６では、スマートディスプレイ４０がサーバ４３０から進捗情報を取得する。そして、処理がステップＳＴ１７に進む。

【0083】

ステップＳＴ１７では、ステップＳＴ１６にかかる処理で取得された進捗情報が進捗情報保持部４０４に保持されることで、進捗情報が更新される。そして、処理がステップＳＴ１８に進む。

【0084】

本実施形態では、ユーザ位置が変化し得る。ユーザ位置が変化した場合には、ステップＳＴ１８にかかる処理が行われ、自己位置情報取得部４０５から新たなユーザ位置が端末制御部４０１に供給されることでユーザ位置が更新される。そして、更新後のユーザ位置に基づいた処理が行われる。そして処理がステップＳＴ１９に進む。

【0085】

ステップＳＴ１９では、仮想オブジェクト表示タイミング制御処理が行われる。仮想オブジェクト表示タイミング制御処理の詳細については後述される。仮想オブジェクト表示タイミング制御処理により仮想オブジェクトの動作開始タイミングが得られる。そして、処理がステップＳＴ２０に進む。

【0086】

ステップＳＴ２０では、動作開始タイミングの経過に応じて所定の動作を行う仮想オブジェクトがディスプレイ４０７に描画される。なお、動作開始タイミングに依存しない仮想オブジェクトが存在する場合、当該仮想オブジェクトは、例えば、コンテンツ再生の中で常にディスプレイ４０７に描画される。

【0087】

続いて、図１７のフローチャートが参照されつつ、本実施形態における仮想オブジェクト表示タイミング制御処理の流れが説明される。

【0088】

例えば、図１６に示すステップＳＴ１８にかかる処理が行われた後、ステップＳＴ３１で、仮想オブジェクト表示タイミング制御処理が開始される。そして、処理がステップＳＴ３２に進む。

【0089】

ステップＳＴ３２では、動作開始タイミング計算処理が行われる。動作開始タイミング計算処理により仮想オブジェクトの動作開始タイミングが得られる。なお、動作開始タイミング計算処理の詳細については後述される。そして、処理がステップＳＴ３３に進む。

【0090】

ステップＳＴ３３では、開始時間比較部４０１Ｆが、ステップＳＴ３２で得られた動作開始タイミングと進捗時間とを比較することにより、動作開始タイミングが進捗時間を超えたか否かを判断する。動作開始タイミングが進捗時間を超えていない場合は、処理がステップＳＴ３５に進む。動作開始タイミングが進捗時間を超えた場合には、処理がステップＳＴ３４に進む。

【0091】

ステップＳＴ３４では、対象となる仮想オブジェクトの所定の動作のアニメーションが開始される。かかる処理は、アニメーション制御部４０１Ｇにより行われる。そして、処理がステップＳＴ３５に進む。

【0092】

ステップＳＴ３５では、進捗時間以降に動作開始タイミングを持つ動作のタイミング制御が全て完了したか否かが端末制御部４０１により判断される。動作のタイミング制御が全て完了していない場合は、処理がステップＳＴ３２に戻る。動作のタイミング制御が全て完了した場合は、処理がステップＳＴ３６に進む。

【0093】

ステップＳＴ３６では、仮想オブジェクト表示タイミング制御処理が完了される。続いて、図１６に示すステップＳＴ２０にかかる処理が行われ、アニメーション制御部４０１Ｇにより生成された、所定の動作を行う仮想オブジェクトの映像がディスプレイ４０７に表示される。

【0094】

続いて、図１８のフローチャートが参照されつつ、本実施形態における動作開始タイミング計算処理の流れが説明される。

【0095】

ステップＳＴ４１では、仮想オブジェクトが所定の動作を行う開始時間が、再生開始からｔ秒（単位はミリ秒）後に設定される。ｔの値は、インストールされたアプリケーションで規定されている。そして、処理がステップＳＴ４２に進む。

【0096】

ステップＳＴ４２では、ユーザ位置に基づいて、仮想オブジェクトの位置が、実空間に関連づけられた三次元座標上の位置である絶対位置に変換される。すなわち、アプリケーションで規定されていた仮想オブジェクトのスマートディスプレイ４０に対する相対位置が、自己位置情報取得部４０５から供給されるスマートディスプレイ４０の位置に基づいて絶対位置に変換される。そして、処理がステップＳＴ４３に進む。

【0097】

ステップＳＴ４３では、ステップＳＴ４２で計算された仮想オブジェクトの絶対位置とスピーカ５０の音源位置情報で示される位置との距離Ｄが、距離計算部４０１Ｄにより計算される。そして、処理がステップＳＴ４４に進む。

【0098】

ステップＳＴ４４では、開始時間計算部４０１Ｅが、上述した（式２）に基づく遅延量を計算する遅延量設定処理を行う。上述したように、遅延量設定処理では、距離Ｄが大きくなるほど遅延量が大きくなるように設定される。そして、処理がステップＳＴ４５に進む。

【0099】

ステップＳＴ４５では、予め規定されていたｔに遅延量が加算されることにより、動作開始タイミングが決定する。そして、図１７に示したステップＳＴ３３以降にかかる処理が行われる。

【0100】

なお、上述した遅延量設定処理等の処理は仮想オブジェクト毎や仮想オブジェクトの一連の動作毎に行われる。

【0101】

以上説明した本実施形態により、仮想オブジェクトに所定の動作を実行させる動作開始タイミングを適切に設定することができる。

【0102】

＜変形例＞
以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。

【0103】

「変形例１」
再生されるコンテンツに対して、所定の同期情報が設定されていてもよい。同期情報は、例えば、同期または非同期かを示すフラグである。例えば、「同期」の場合には同期情報として論理的な値である「１」が設定され、「非同期」の場合には同期情報として論理的な値である「０」が設定される。もちろん、論理的な値が反対であってもよい。同期情報は、一つのコンテンツにおける仮想オブジェクトの動作毎や仮想オブジェクト毎に設定することができる情報である。例えば、カウントダウンのように、複数のユーザに対して同じタイミングで同じ映像を見せたいシーンも存在する。このような場合に同期情報として「１」が設定される。

【0104】

図１９に示されるパターンＰ１１、Ｐ１２で示される処理は、同期情報として「０」、すなわち「非同期」が設定されている場合の処理である。同期情報として「０」が設定されている場合は、上述した一実施形態と同様に、遅延量設定処理に基づいて仮想オブジェクトの動作開始タイミングが設定される。図１９に示されるパターンＰ１３で示される処理は、同期情報として「１」、すなわち「同期」が設定されている場合の処理である。同期情報として「１」が設定されている場合には、ステージと仮想オブジェクトとの間の距離に関わらず表示の遅延を発生させない、換言すれば、各ユーザに対する仮想オブジェクトの動作開始タイミングが同一の所定のタイミングに設定される同期処理が行われる。かかる同期処理は、例えば、端末制御部４０１の制御により行われる。同期処理が行われることにより、複数のユーザに対して同じタイミングで所定のシーンの映像を描画することができる。このタイミングは、所定のスマートディスプレイ（例えば、ユーザＵＡが所持するスマートディスプレイ）と、同一のアプリケーションで動作する他のスマートディスプレイ（例えば、ユーザＵＢが所持するスマートディスプレイ）とで共通するタイミングである。

【0105】

なお、同期処理が行われる場合に、同期処理に対応する情報がディスプレイ４０７に描画されてもよい。例えば、同期処理に対応する情報としてカウントダウンの文字がディスプレイ４０７に描画されてもよい。

【0106】

「変形例２」
再生されるコンテンツに対して、所定の共有情報が設定されてもよい。共有情報は、例えば、共有または非共有かを示すフラグである。例えば、「共有」の場合には共有情報として論理的な値である「１」が設定され、「非共有」の場合には共有情報として論理的な値である「０」が設定される。もちろん、論理的な値が反対であってもよい。共有情報は、一つのコンテンツにおける仮想オブジェクトの動作毎や仮想オブジェクト毎に設定することができる情報である。

【0107】

共有情報として「１」が設定されている場合には、仮想オブジェクトの所定の動作とその位置が、同一のアプリケーションで動作するスマートディスプレイを有するユーザ間で共有されることになる。共有情報として「０」が設定されている場合には、仮想オブジェクトの所定の動作はユーザ間で共有されるが、仮想オブジェクトの位置は各ユーザで異なる。後者の具体例は、例えば、仮想オブジェクトが飛ぶ動作をユーザ間で共有しつつ、その位置は、例えばユーザＵＡには目の前であり、ユーザＵＢにはステージ２寄りである場合である。

【0108】

図２０が参照されつつ、共有情報として「１」が設定されている場合の具体例についての説明がなされる。図２０に示すように、ユーザＵＡとユーザＵＢとの間である位置ＰＯ８（ステージ２から１５０ｍの位置）に仮想オブジェクトが移動する場合に、ユーザＵＡのスマートディスプレイには仮想オブジェクトの背面が見えるような映像が描画され、ユーザＵＢのスマートディスプレイには仮想オブジェクトの正面が見えるような映像が描画される。すなわち、所定の共有情報として「共有」が設定されている場合には、仮想オブジェクトが、スマートディスプレイの位置と仮想オブジェクトの三次元座標上の位置との位置関係に対応する態様で描画される。また、所定の共有情報として非共有が設定されている場合に、仮想オブジェクトが情報処理装置毎に対応する態様で表示される。

【0109】

なお、図２０に示す場合の遅延量は、非共有の場合、すなわち、一実施形態と同様にして設定される。具体的にはＤ＝１５０として計算される。そして、ユーザＵＡの場合は、実音源の音が３０ｍｓｅｃ後に到達し、実音源の音が発生してから４４０ｍｓｅｃ後に仮想オブジェクトが動作を開始する。また、ユーザＵＢの場合は、実音源の音が３０ｍｓｅｃ後に到達し、実音源の音が発生してから４４０ｍｓｅｃ後に仮想オブジェクトが動作を開始する。

【0110】

同期情報および共有情報は、コンテンツの制作時に設定される。同期情報および共有情報の両方を設定することも可能である。コンテンツの製作後に同期情報および共有情報が変更可能とされてもよい。

【0111】

「その他の変形例」
上述した実施形態において、仮想オブジェクトがステージ上から目の前に近寄ってくるケースでは、ステージ上から飛び出して目の前に来るまでを一連のアニメーションで表現してもよい。その場合は、移動にかかる時間も考慮してステージを飛び出すタイミングを決める、若しくは、ステージを飛び出してから目の前に来るまでのスピードが適宜、調整される。

【0112】

実音源から聞こえるリアルな音響とは別に、ユーザが開放型のイヤホンを装着して、同時にスマートディスプレイから再生される音源を同時に聞くようにすることも可能である。３Ｄサウンドによって仮想オブジェクトの位置に音源を定位して再生することで、実音源とは異なる位置から聞こえてくる体験をユーザに提供することができる。

【0113】

実音源は、コンサート会場をマイクで収音して再生するものでもよい。本実施形態では、ライブだけでなく、仮想オブジェクトが更新するパレード等に対しても適用することができる。

【0114】

上述の実施形態および変形例において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよく、公知のもので置き換えることも可能である。また、実施形態および変形例における構成、方法、工程、形状、材料および数値などは、技術的な矛盾が生じない範囲において、互いに組み合わせることが可能である。また、本開示は、制御方法や電子機器の製造装置等、任意の形態により実現することができる。

【0115】

なお、本明細書中で例示された効果により本開示の内容が限定して解釈されるものではない。

【0116】

本開示は、以下の構成も採ることができる。
（１）
実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させる制御部を備え、
前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
情報処理装置。
（２）
前記制御部は、前記情報処理装置の位置に対して規定されている前記仮想オブジェクトの相対的位置に基づいて、前記仮想オブジェクトの前記三次元座標上の位置を取得する
（１）に記載の情報処理装置。
（３）
前記制御部は、前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置との距離を演算し、計算結果に基づいて前記遅延量を設定する
（２）に記載の情報処理装置。
（４）
前記実音源の前記三次元座標上の位置が外部機器から供給される
（３）に記載の情報処理装置。
（５）
前記情報処理装置の位置が可変とされている
（２）から（４）までの何れかに記載の情報処理装置。
（６）
前記情報処理装置の位置を取得する位置情報取得部を有する
（２）から（５）までの何れかに記載の情報処理装置。
（７）
前記制御部は、前記遅延量に関わらず、前記動作開始タイミングを所定のタイミングとする同期処理を行う
（１）から（６）までの何れかに記載の情報処理装置。
（８）
前記制御部は、所定の同期情報として同期が設定されている場合に前記同期処理に基づいて前記動作開始タイミングを決定し、所定の同期情報として非同期が設定されている場合に前記遅延量設定処理に基づいて前記動作開始タイミングを決定する
（７）に記載の情報処理装置。
（９）
仮想オブジェクト毎に前記同期情報が設定されている
（８）に記載の情報処理装置。
（１０）
前記所定のタイミングは、同一のアプリケーションで動作する他の情報処理装置と共通するタイミングである
（７）または（８）に記載の情報処理装置。
（１１）
前記制御部は、前記同期処理を行う場合に当該同期処理に対応する情報を表示する
（７）から（１０）までの何れかに記載の情報処理装置。
（１２）
前記制御部は、所定の共有情報として共有が設定されている場合に、前記仮想オブジェクトを、前記情報処理装置の位置と前記仮想オブジェクトの前記三次元座標上の位置との位置関係に対応するように表示し、所定の共有情報として非共有が設定されている場合に、前記仮想オブジェクトを情報処理装置毎に対応するように表示する
（１）から（１２）までの何れかに記載の情報処理装置。
（１３）
仮想オブジェクト毎に前記共有情報が設定されている
（１２）に記載の情報処理装置。
（１４）
前記制御部は、前記遅延量設定処理を、表示される複数の仮想オブジェクトのそれぞれに対して行う
（１）から（１３）までの何れかに記載の情報処理装置。
（１５）
前記仮想オブジェクトが表示され、携帯可能なウエアラブルディスプレイとして構成される
（１）から（１４）までの何れかに記載の情報処理装置。
（１６）
前記遅延量設定処理は、同一のアプリケーションで動作する複数の情報処理装置のそれぞれで行われる
（１）から（１５）までの何れかに記載の情報処理装置。
（１７）
制御部が、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させ、
前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
情報処理方法。
（１８）
制御部が、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させ、
前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
情報処理方法をコンピュータに実行させるプログラム。

【符号の説明】

【0117】

１・・・再生システム
２・・・ステージ
３，５０・・・スピーカ
３０・・・サーバ
４０・・・スマートディスプレイ
４０１・・・制御部
４０１Ｃ・・・仮想オブジェクト絶対位置計算部
４０１Ｄ・・・距離計算部
４０１Ｅ・・・・開始時間計算部
４０５・・・自己位置情報取得部
Ｃ・・・仮想オブジェクト
ＵＡ、ＵＢ・・・ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】