知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025007132
(43)【公開日】2025-01-17
(54)【発明の名称】映像音声再生装置及びそのプログラム
(51)【国際特許分類】
H04S 7/00 20060101AFI20250109BHJP
H04N 21/439 20110101ALI20250109BHJP
H04N 21/44 20110101ALI20250109BHJP
G06T 19/00 20110101ALI20250109BHJP
【ＦＩ】
H04S7/00 300
H04N21/439
H04N21/44
G06T19/00 300A
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023108329
(22)【出願日】2023-06-30
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】大久保 洋幸
(72)【発明者】
【氏名】杉本 岳大
(72)【発明者】
【氏名】小倉 知美
(72)【発明者】
【氏名】久保 弘樹
(72)【発明者】
【氏名】岩崎 泰士
【テーマコード（参考）】
5B050
5C164
5D162
【Ｆターム（参考）】
5B050BA09
5B050CA07
5B050DA04
5B050DA05
5B050EA07
5B050EA13
5B050FA05
5B050FA10
5C164PA46
5C164UB05P
5C164UB08P
5C164UB41S
5C164UD44S
5C164YA11
5C164YA21
5D162AA14
5D162CA21
5D162CC08
5D162DA51
5D162EG02
(57)【要約】
【課題】映像と音声のずれを補正できる映像音声再生装置を提供する。
【解決手段】映像音声再生装置１０は、ガイドオブジェクト配置部１１と、映像レンダラー１２と、音声レンダラー１３と、撮影画像に含まれるガイドオブジェクトの第１座標を検出する座標検出部１４と、ガイドオブジェクトの第１座標と第２座標との差分を算出する差分算出部１５と、差分算出部１５が算出した差分に基づいて、音声レンダラー１３が再生する音声を遅延させる遅延補正部１６とを備える。
【選択図】図５
【解決手段】映像音声再生装置１０は、ガイドオブジェクト配置部１１と、映像レンダラー１２と、音声レンダラー１３と、撮影画像に含まれるガイドオブジェクトの第１座標を検出する座標検出部１４と、ガイドオブジェクトの第１座標と第２座標との差分を算出する差分算出部１５と、差分算出部１５が算出した差分に基づいて、音声レンダラー１３が再生する音声を遅延させる遅延補正部１６とを備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
ユーザの操作に応じた仮想空間内での視点位置が入力され、入力された前記視点位置に応じて映像及び音声を同期して再生する映像音声再生装置であって、
座標検出用のガイドオブジェクトを仮想空間内に予め配置するガイドオブジェクト配置部と、
映像ストリームが入力され、入力された前記映像ストリームに映像レンダリングを施すことで、前記視点位置に対応した映像を再生する映像レンダラーと、
音声ストリームが入力され、入力された前記音声ストリームに音声レンダリングを施すことで、前記視点位置に対応した音声を再生する音声レンダラーと、
前記映像を再生している表示手段を撮影した撮影画像が入力され、入力された前記撮影画像に含まれるガイドオブジェクトの第１座標を検出する座標検出部と、
前記音声レンダリングで定まるガイドオブジェクトの第２座標と前記座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する差分算出部と、
前記差分算出部が算出した差分に基づいて、前記音声レンダラーが再生する音声を遅延させる遅延補正部と、
を備えることを特徴とする映像音声再生装置。
座標検出用のガイドオブジェクトを仮想空間内に予め配置するガイドオブジェクト配置部と、
映像ストリームが入力され、入力された前記映像ストリームに映像レンダリングを施すことで、前記視点位置に対応した映像を再生する映像レンダラーと、
音声ストリームが入力され、入力された前記音声ストリームに音声レンダリングを施すことで、前記視点位置に対応した音声を再生する音声レンダラーと、
前記映像を再生している表示手段を撮影した撮影画像が入力され、入力された前記撮影画像に含まれるガイドオブジェクトの第１座標を検出する座標検出部と、
前記音声レンダリングで定まるガイドオブジェクトの第２座標と前記座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する差分算出部と、
前記差分算出部が算出した差分に基づいて、前記音声レンダラーが再生する音声を遅延させる遅延補正部と、
を備えることを特徴とする映像音声再生装置。
【請求項2】
前記遅延補正部は、前記差分算出部が算出した差分を所定の視距離における角度差に変換し、変換した前記角度差が予め設定した閾値を超える場合、前記差分を時間差に変換し、前記時間差に基づいて、前記音声レンダラーが再生する音声を遅延させることを特徴とする請求項１に記載の映像音声再生装置。
【請求項3】
ユーザの操作に応じた仮想空間内での視点位置が入力され、入力された前記視点位置に応じて映像及び音声を同期して再生する映像音声再生装置であって、
座標検出用のガイドオブジェクトを仮想空間内に予め配置するガイドオブジェクト配置部と、
映像ストリームが入力され、入力された前記映像ストリームに映像レンダリングを施すことで、前記視点位置に対応した映像を再生する映像レンダラーと、
音声ストリームが入力され、入力された前記音声ストリームに音声レンダリングを施すことで、前記視点位置に対応した音声を再生する音声レンダラーと、
前記映像を再生している表示手段を撮影した撮影画像が入力され、入力された前記撮影画像に含まれるガイドオブジェクトの第１座標を検出する座標検出部と、
予め配置された前記ガイドオブジェクトの第２座標と前記座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する差分算出部と、
前記差分算出部が算出した差分に基づいて、前記音声レンダラーが再生する音声を遅延させる遅延補正部と、
を備えることを特徴とする映像音声再生装置。
座標検出用のガイドオブジェクトを仮想空間内に予め配置するガイドオブジェクト配置部と、
映像ストリームが入力され、入力された前記映像ストリームに映像レンダリングを施すことで、前記視点位置に対応した映像を再生する映像レンダラーと、
音声ストリームが入力され、入力された前記音声ストリームに音声レンダリングを施すことで、前記視点位置に対応した音声を再生する音声レンダラーと、
前記映像を再生している表示手段を撮影した撮影画像が入力され、入力された前記撮影画像に含まれるガイドオブジェクトの第１座標を検出する座標検出部と、
予め配置された前記ガイドオブジェクトの第２座標と前記座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する差分算出部と、
前記差分算出部が算出した差分に基づいて、前記音声レンダラーが再生する音声を遅延させる遅延補正部と、
を備えることを特徴とする映像音声再生装置。
【請求項4】
前記遅延補正部は、前記差分算出部が算出した差分を時間差に変換し、変換した前記時間差が予め設定した閾値を超える場合、前記時間差に基づいて、前記音声レンダラーが再生する音声を遅延させることを特徴とする請求項３に記載の映像音声再生装置。
【請求項5】
コンピュータを、請求項１から請求項４の何れか一項に記載の映像音声再生装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＶＲで映像及び音声を再生する映像音声再生装置及びそのプログラムに関する。
【背景技術】
【0002】
６軸の自由度を持つ６ＤｏＦ（Degree of Freedom）に対応したＶＲ（Virtual Reality）サービスが広がりつつある。このＶＲサービスでは、ユーザのインタラクティブな操作に応じて、任意の視点でＶＲコンテンツを再生できる。
【0003】
ＶＲ映像音声再生システムでは、映像と音声の「ずれ」が生じることがある。このずれに対応すべく、幾つかの従来技術が提案されている。特許文献１では、複数の音声チャンネル同士の遅延を補正する手法が提案されている。また、特許文献２では、サーバが映像信号と音声信号を送出する際、同期誤差を受信側で補正する手法が提案されている。また、特許文献３，４では、映像及び音声のストリームを受信する際、パケットに付与されたタイムスタンプを利用して伝送時間の差を補正する手法が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１３－２０１６６９号公報
【特許文献2】特開２００５－２２９１６８号公報
【特許文献3】特開２０２０－１４９３９８号公報
【特許文献4】国際公開第２０２０／００８７１６号
【発明の概要】
【発明が解決しようとする課題】
【0005】
一般に、ＶＲ映像音声再生システムは、映像と音声で独立したレンダラーを有しており、各レンダラーの処理遅延の相違によっても、映像と音声にずれが生じてしまう。しかし、前記した従来技術は、伝送遅延を想定した手法であり、各レンダラーの処理遅延の相違を想定しておらず、これに起因したずれを補正できない。
【0006】
本発明は、各レンダラーの処理遅延の相違に起因した、映像と音声のずれを補正できる映像音声再生装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明に係る映像音声再生装置は、ユーザの操作に応じた仮想空間内での視点位置が入力され、入力された視点位置に応じて映像及び音声を同期して再生する映像音声再生装置であって、ガイドオブジェクト配置部と、映像レンダラーと、音声レンダラーと、座標検出部と、差分算出部と、遅延補正部と、を備える構成とした。
【0008】
かかる構成によれば、ガイドオブジェクト配置部は、座標検出用のガイドオブジェクトを仮想空間内に予め配置する。
映像レンダラーは、映像ストリームが入力され、入力された映像ストリームに映像レンダリングを施すことで、視点位置に対応した映像を再生する。
音声レンダラーは、音声ストリームが入力され、入力された音声ストリームに音声レンダリングを施すことで、視点位置に対応した音声を再生する。
映像レンダラーは、映像ストリームが入力され、入力された映像ストリームに映像レンダリングを施すことで、視点位置に対応した映像を再生する。
音声レンダラーは、音声ストリームが入力され、入力された音声ストリームに音声レンダリングを施すことで、視点位置に対応した音声を再生する。
【0009】
座標検出部は、映像を再生している表示手段を撮影した撮影画像が入力され、入力された撮影画像に含まれるガイドオブジェクトの第１座標を検出する。このガイドオブジェクトの第１座標は、実際に表示されている画面上の座標に相当し、映像レンダラーの処理遅延が含まれている。
差分算出部は、音声レンダリングで定まるガイドオブジェクトの第２座標と座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する。このガイドオブジェクトの第２座標は、本来表示されるべき画面上の座標に相当し、映像レンダラーの処理遅延が含まれていない。
遅延補正部は、差分算出部が算出した差分に基づいて、音声レンダラーが再生する音声を遅延させる。
差分算出部は、音声レンダリングで定まるガイドオブジェクトの第２座標と座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する。このガイドオブジェクトの第２座標は、本来表示されるべき画面上の座標に相当し、映像レンダラーの処理遅延が含まれていない。
遅延補正部は、差分算出部が算出した差分に基づいて、音声レンダラーが再生する音声を遅延させる。
【0010】
映像の複雑さに応じて、映像レンダリングの処理負荷が変化するため、本来表示されるべき画面に対して、実際に表示されている画面がずれてしまう。また、映像レンダリングに比べて、音声レンダリングの処理遅延が無視できる程に小さい。そこで、映像音声再生装置は、音声レンダリングで定まるガイドオブジェクトの座標を用いて、映像と音声のずれを補正する。
【0011】
また、前記課題を解決するため、本発明に係る映像音声再生装置は、ユーザの操作に応じた仮想空間内での視点位置が入力され、入力された視点位置に応じて映像及び音声を同期して再生する映像音声再生装置であって、ガイドオブジェクト配置部と、映像レンダラーと、音声レンダラーと、座標検出部と、差分算出部と、遅延補正部と、を備える構成とした。
【0012】
かかる構成によれば、ガイドオブジェクト配置部は、座標検出用のガイドオブジェクトを仮想空間内に予め配置する。
映像レンダラーは、映像ストリームが入力され、入力された映像ストリームに映像レンダリングを施すことで、視点位置に対応した映像を再生する。
音声レンダラーは、音声ストリームが入力され、入力された音声ストリームに音声レンダリングを施すことで、視点位置に対応した音声を再生する。
映像レンダラーは、映像ストリームが入力され、入力された映像ストリームに映像レンダリングを施すことで、視点位置に対応した映像を再生する。
音声レンダラーは、音声ストリームが入力され、入力された音声ストリームに音声レンダリングを施すことで、視点位置に対応した音声を再生する。
【0013】
座標検出部は、映像を再生している表示手段を撮影した撮影画像が入力され、入力された撮影画像に含まれるガイドオブジェクトの第１座標を検出する。このガイドオブジェクトの第１座標は、実際に表示されている画面上の座標に相当し、映像レンダラーの処理遅延が含まれている。
差分算出部は、予め配置されたガイドオブジェクトの第２座標と座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する。このガイドオブジェクトの第２座標は、本来表示されるべき画面上の座標に相当し、映像レンダラーの処理遅延が含まれていない。
遅延補正部は、差分算出部が算出した差分に基づいて、音声レンダラーが再生する音声を遅延させる。
差分算出部は、予め配置されたガイドオブジェクトの第２座標と座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する。このガイドオブジェクトの第２座標は、本来表示されるべき画面上の座標に相当し、映像レンダラーの処理遅延が含まれていない。
遅延補正部は、差分算出部が算出した差分に基づいて、音声レンダラーが再生する音声を遅延させる。
【0014】
映像の複雑さに応じて、映像レンダリングの処理負荷が変化するため、本来表示されるべき画面に対して、実際に表示されている画面がずれてしまう。そこで、映像音声再生装置は、ガイドオブジェクトの第１座標及び第２座標の差分に基づいて音声を遅延させることで、映像と音声のずれを補正できる。
【0015】
なお、本発明は、コンピュータを、前記した映像音声再生装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0016】
本発明によれば、各レンダラーの処理遅延の相違に起因した、映像と音声のずれを補正できる。
【図面の簡単な説明】
【0017】
【図1】実施形態において、ガイドオブジェクトの配置を説明する説明図である。
【図2】実施形態において、座標変換を説明する説明図である。
【図3】実施形態において、映像レンダリングの処理遅延を説明する説明図である。
【図4】実施形態において、ガイドオブジェクトの検出を説明する説明図である。
【図5】第１実施形態に係る映像音声再生装置の構成を示すブロック図である。
【図6】第１実施形態に係る映像音声再生装置の動作を示すフローチャートである。
【図7】第２実施形態に係る映像音声再生装置の構成を示すブロック図である。
【図8】第２実施形態に係る映像音声再生装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0019】
［映像と音声のずれを補正する原理］
以下、各実施形態を説明する前提として、映像と音声のずれを補正する原理について説明する。
以下、各実施形態を説明する前提として、映像と音声のずれを補正する原理について説明する。
【0020】
図１に示すように、ＶＲで再現する仮想空間ＳＰには、仮想的なオブジェクト（例えば、人物）Ａが配置され、仮想視点Ｖが予め設定されている。仮想視点Ｖは、仮想空間ＳＰを仮想的に撮影する仮想カメラの位置であり、仮想空間ＳＰ内での視点位置に相当する。また、仮想視点Ｖは、ユーザが操作手段２（図５）を操作する、又は、ＨＭＤを装着したユーザが頭部の姿勢を変化させることで、ユーザがインタラクティブに操作可能である。
【0021】
また、仮想空間ＳＰには、座標検出用のガイドオブジェクトＧを予め配置する。このガイドオブジェクトＧは、実際に表示されている画面上の座標（第１座標）を検出するためのオブジェクトである。例えば、ガイドオブジェクトＧは、ユーザの視聴を妨げないように、赤外映像又は電子透かしにより、不可視なオブジェクトとすることが好ましい（参考文献１，２参照）。
【0022】
参考文献１：小林他、電子透かしによる著作権保護への取り組み、情報管理、２０１７、ｖｏｌ.６０、Ｎｏ．２、ｐ．８９－９９
参考文献２：“肉眼では見えないＱＲコードを埋め込む技術、米ＭＩＴと米Ｍｅｔａが開発”、［online］、２０２２年２月３日、［令和５年５月２７日検索］，インターネット ＜URL：https://www.itmedia.co.jp/news/articles/2202/03/news042.html＞
参考文献２：“肉眼では見えないＱＲコードを埋め込む技術、米ＭＩＴと米Ｍｅｔａが開発”、［online］、２０２２年２月３日、［令和５年５月２７日検索］，インターネット ＜URL：https://www.itmedia.co.jp/news/articles/2202/03/news042.html＞
【0023】
また、ガイドオブジェクトＧは、仮想空間ＳＰの演出になじむものであれば、建物、樹木、ボールといった可視なオブジェクトでもよい。ガイドオブジェクトＧは、仮想視点Ｖが様々方向に変化した場合でも必ず映像に含まれるように配置する。図１に示すように、各ガイドオブジェクトＧは、「１１１」、「２１１」といった識別番号を付与するなど、個別に識別可能である。ｘ軸上でｉ番目、ｙ軸上でｊ番目、ｚ軸上でｋ番目のガイドオブジェクトＧをＧｉ，ｊ，ｋとする（但し、ｉ，ｊ，ｋは、１以上の整数）。図１の例では、ガイドオブジェクトＧ１，１，１，Ｇ１，２，１，…，Ｇｉ，ｊ，ｋが等間隔で格子状に配置されている。
【0024】
仮想空間ＳＰ内のオブジェクトＡ及びガイドオブジェクトＧは、それぞれ、仮想空間ＳＰ内のある１点を原点とし、ｘ軸、ｙ軸及びｚ軸に沿った３次元座標（ｘ，ｙ，ｚ）を有する。ＣＧを制作する際、仮想空間ＳＰ内に任意に設定された世界座標系で仮想空間ＳＰ内のオブジェクトＡ及びガイドオブジェクトＧを定義する。
【0025】
ガイドオブジェクトＧｉ，ｊ，ｋの世界座標は、以下の式（１）に示すように、仮想空間ＳＰ内に予め設定される。
【0026】
【数1】
【0027】
映像レンダリングによって、仮想空間ＳＰ内の所定位置にガイドオブジェクトＧｉ，ｊ，ｋがレンダリング（描画）される。映像レンダリングでは、ユーザによるインタラクティブな操作により、以下の式（２）だけ仮想視点Ｖの位置が変化する。
【0028】
【数2】
【0029】
図２及び以下の式（３）に示すように、映像レンダリングにおいて、ガイドオブジェクトＧｉ，ｊ，ｋの世界座標ＧＩｍａｇｅ,Ｇｉ，ｊ，ｋをカメラ座標Ｇ´Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ＝（ｘ´Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ，ｙ´Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ，ｚ´Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ）で表すことができる。なお、カメラ座標とは、仮想空間ＳＰ内の仮想視点Ｖに配置された仮想カメラを基準とする３次元座標系のことである。
【0030】
【数3】
【0031】
Ｒは、仮想視点Ｖを基準とした座標系に変換するための回転行列である。また、右辺第２項の（ｔＧｉ，ｊ，ｋ，ｔＧｉ，ｊ，ｋ，ｔＧｉ，ｊ，ｋ）は、仮想視点Ｖへの平行移動ベクトルである。これら回転行列Ｒ及び平行移動ベクトルは、予め設定する。
【0032】
ユーザの視線上に位置するガイドオブジェクトＧｉ，ｊ，ｋを仮想空間ＳＰ内の仮想カメラで捉えた場合を考える。以下の式（４）に示すように、ガイドオブジェクトＧｉ，ｊ，ｋのカメラ座標Ｇ´Ｉｍａｇｅ,Ｇｉ，ｊ，ｋが、インタラクティブな操作によって、カメラ座標Ｇ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ＝（ｘ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ，ｙ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ，ｚ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ）に移動したことを表す。
【0033】
【数4】
【0034】
図３に示すように、映像及び音声は別々にレンダリングされ、それぞれの処理時間が異なる。また、映像レンダリングの処理遅延が大きい一方、音声レンダリングの処理遅延は無視できる程小さいので、映像と音声にずれが生じてしまう。そこで、以下で説明するように、映像と音声のずれを補正する。
【0035】
図４に示すように、ユーザがインタラクティブな操作を行った後、ガイドオブジェクトＧを撮影できる撮影カメラ（例えば、赤外光カメラ）４で表示手段３を撮影することで、表示手段３上でのガイドオブジェクトＧの第１座標を検出する。
【0036】
インタラクティブな操作後において、ガイドオブジェクトＧｉ，ｊ，ｋの第１座標は、以下の式（５）に示すように、画像座標（ｕＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖＧＩｍａｇｅ，ｉ，ｊ，ｋ）で表すことができる。このガイドオブジェクトＧｉ，ｊ，ｋの第１座標には、映像レンダリングの処理遅延が含まれており、実際に表示されている画面上の座標を表す。なお、画像座標とは、仮想カメラで撮影した画像の２次元座標、つまり、ユーザが視聴する画像の２次元座標のことである。
【0037】
【数5】
【0038】
インタラクティブな操作後において、ガイドオブジェクトＧｉ，ｊ，ｋの正規化画像座標を（ｘ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ，ｙ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ）で表す。なお、正規化画像座標とは、仮想カメラを基準とする２次元座標のことである。
【0039】
インタラクティブな操作後において、ガイドオブジェクトＧｉ，ｊ，ｋの画像座標（ｕＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖＧＩｍａｇｅ，ｉ，ｊ，ｋ）と正規化画像座標（ｘ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ，ｙ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ）の関係は、以下の式（６）及び式（７）で表される。つまり、式（６）及び式（７）を用いて、ガイドオブジェクトＧｉ，ｊ，ｋの正規化画像座標（ｘ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ，ｙ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ）を画像座標（ｕＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖＧＩｍａｇｅ，ｉ，ｊ，ｋ）に変換できる。
【0040】
【数6】
【数7】
【0041】
なお、ｆは仮想空間ＳＰ内の仮想カメラの焦点距離（仮想カメラとオブジェクトＡとの距離）、δｕ，Ｇｉ，ｊ，ｋは横方向の仮想カメラの画素サイズ、δｖ，Ｇｉ，ｊ，ｋは縦方向の仮想カメラの画素サイズを表す。また、ｃｕ，Ｇｉ，ｊ，ｋは画像座標系における光軸と画像面（投影面）との交点の横方向位置、ｃｖ，Ｇｉ，ｊ，ｋは画像座標系における光軸と画像面（投影面）との交点の縦方向位置を表す。
【0042】
また、インタラクティブな操作後における正規化画像座標（ｘ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ，ｙ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ）は、カメラ座標（ｘ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ，ｙ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ，ｚ＾Ｉｍａｇｅ,Ｇｉ，ｊ，ｋ）の一部となっており、カメラ座標が既知となれば正規化画像座標も既知となる。
【0043】
音声レンダリングでは、ステレオ再生、マルチチャンネルサラウンド再生又はバイノーラル再生によって、音像が再生される。音声レンダリングでは、映像レンダリングと同様、ユーザによるインタラクティブな操作によって、前記式（２）だけ仮想視点Ｖの位置が変化する。
【0044】
また、音声レンダリングで再現される音場において、ガイドオブジェクトＧｉ，ｊ，ｋの世界座標ＧＡｕｄｉｏ, Ｇｉ，ｊ，ｋ＝（ｘＡｕｄｉｏ,Ｇｉ，ｊ，ｋ，ｙＡｕｄｉｏ,Ｇｉ，ｊ，ｋ，ｚＡｕｄｉｏ,Ｇｉ，ｊ，ｋ）は、前記式（３）と同様、カメラ座標Ｇ´Ａｕｄｉｏ, Ｇｉ，ｊ，ｋ＝（ｘ´Ａｕｄｉｏ,Ｇｉ，ｊ，ｋ，ｙ´Ａｕｄｉｏ,Ｇｉ，ｊ，ｋ，ｚ´Ａｕｄｉｏ,Ｇｉ，ｊ，ｋ）に変換できる。また、前記式（４）と同様、ガイドオブジェクトＧｉ，ｊ，ｋのカメラ座標Ｇ´Ａｕｄｉｏ, Ｇｉ，ｊ，ｋが、インタラクティブな操作によって、カメラ座標Ｇ＾Ａｕｄｉｏ, Ｇｉ，ｊ，ｋ＝（ｘ＾Ａｕｄｉｏ,Ｇｉ，ｊ，ｋ，ｙ＾Ａｕｄｉｏ,Ｇｉ，ｊ，ｋ，ｚ＾Ａｕｄｉｏ,Ｇｉ，ｊ，ｋ）に移動する。
【0045】
以下の式（８）及び式（９）に示すように、インタラクティブな操作後において、ガイドオブジェクトＧｉ，ｊ，ｋの正規化画像座標（ｘ＾Ａｕｄｉｏ,Ｇｉ，ｊ，ｋ，ｙ＾Ａｕｄｉｏ,Ｇｉ，ｊ，ｋ）を画像座標（ｕＧＡｕｄｉｏ，ｉ，ｊ，ｋ，ｖＧＡｕｄｉｏ，ｉ，ｊ，ｋ）に変換できるので、これを第２座標とする。なお、音声レンダリングで定まるガイドオブジェクトＧの座標には、映像レンダリングの処理遅延が含まれず、本来表示されるべき画面上の座標に相当する。
【0046】
【数8】
【数9】
【0047】
ここで、映像レンダリングで処理遅延が発生するため、ガイドオブジェクトＧｉ，ｊ，ｋの第１座標（ｕＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖＧＩｍａｇｅ，ｉ，ｊ，ｋ）には、映像レンダリングの処理遅延が含まれる。これに対し、音声レンダリングで定まるガイドオブジェクトＧの第２座標（ｕＧＡｕｄｉｏ，ｉ，ｊ，ｋ，ｖＧＡｕｄｉｏ，ｉ，ｊ，ｋ）には、映像レンダリングの処理遅延が含まれず、本来表示されるべき画面上の座標に相当する。
【0048】
そこで、以下の式（１０）に示すように、ガイドオブジェクトＧｉ，ｊ，ｋの画像座標（ｕＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖＧＩｍａｇｅ，ｉ，ｊ，ｋ）と第２座標（ｕＧＡｕｄｉｏ，ｉ，ｊ，ｋ，ｖＧＡｕｄｉｏ，ｉ，ｊ，ｋ）との差分に応じて、ずれを補正すればよい。
【0049】
【数10】
【0050】
ここで、インタラクティブな操作後において、撮影画像から検出したガイドオブジェクトＧｉ，ｊ，ｋの第１座標を、以下の式（１１）に示すように、画像座標（ｕ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ）で表すこととする。
【0051】
【数11】
【0052】
具体的には、ガイドオブジェクトＧｉ，ｊ，ｋの第１座標（ｕ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ）と第２座標（ｕＧＡｕｄｉｏ，ｉ，ｊ，ｋ，ｖＧＡｕｄｉｏ，ｉ，ｊ，ｋ）との差分を所定の視距離ｄにおける角度差に変換する。一定の視距離ｄにいるユーザが認識できるずれ（第１座標と第２座標との角度差）は、以下の式（１２）で定義される。なお、視距離ｄとは、ユーザの肉眼と表示手段３との距離のことである。
【0053】
【数12】
【0054】
この角度差が１１度を超える場合、ユーザの許容限度を超えることが知られている（参考文献３）。そこで、角度差が予め設定した閾値（例えば、１１度）を超える場合、ずれを補正すればよい。なお、角度差の閾値は、１１度に限定されないことは言うまでもない。
【0055】
参考文献３：S.Komiyama: “An Application of the 3-1 Sound System to HDTV Home Receiver”, ICCE, FAM-19.5, (June 1990)
【0056】
具体的には、ずれを補正するため、ガイドオブジェクトＧｉ，ｊ，ｋの第１座標（ｕ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ）と第２座標（ｕＧＡｕｄｉｏ，ｉ，ｊ，ｋ，ｖＧＡｕｄｉｏ，ｉ，ｊ，ｋ）との差分から、遅延時間（時間差Δｔ）を求める。具体的には、以下の式（１３）を用いて、角度差を時間差（映像の処理遅延）Δｔに変換する。その後、音声を時間差Δｔだけ遅延させればよい。
【0057】
【数13】
【0058】
なお、時間差Δｔが時々刻々と変化する場合、一時的な音声の断や不連続が生じ、ノイズとして聞こえてしまうことが考えられる。この場合、信号処理により不連続な部分を平滑化するか、又は、音声のブロック（発音されているひとまとまりの時間）単位で遅延を施せばよい。
【0059】
前記した例では、映像レンダリングと音声レンダリングとの差分から遅延を求めているが、これに限定されない。仮想空間ＳＰ内に予め配置されたガイドオブジェクトＧｉ，ｊ，ｋの世界座標は、映像レンダリングの処置遅延が含まれないので、音声レンダリングで定まるガイドオブジェクトＧの第２座標と同様、差分の算出に利用できる。
【0060】
仮想空間ＳＰ内に予め配置されたガイドオブジェクトＧｉ，ｊ，ｋの画像座標は、音声レンダリングで定まるガイドオブジェクトＧの第２座標と同様、以下の式（１４）に示すように、画像座標（ｕＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖＧＩｍａｇｅ，ｉ，ｊ，ｋ）で表すことができる。
【0061】
【数14】
【0062】
インタラクティブな操作後において、撮影画像から検出したガイドオブジェクトＧｉ，ｊ，ｋの画像座標（第１座標）は、前記式（１１）に示すように、画像座標（ｕ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ）で表すことができる。
【0063】
そこで、以下の式（１５）に示すように、ガイドオブジェクトＧｉ，ｊ，ｋの画像座標（ｕ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ）と前記式（１４）で示す画像座標（ｕＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖＧＩｍａｇｅ，ｉ，ｊ，ｋ）との差分に応じて、ずれを補正すればよい。
【0064】
【数15】
【0065】
ガイドオブジェクトＧｉ，ｊ，ｋの画像座標（ｕ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ）と前記式（１４）で示す画像座標（ｕＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖＧＩｍａｇｅ，ｉ，ｊ，ｋ）との差分を所定の視距離ｄにおける角度差に変換する。一定の視距離ｄにいるユーザが認識できるずれ（第１座標と第２座標との角度差）は、以下の式（１６）で定義される。
【0066】
【数16】
【0067】
具体的には、ずれを補正するため、ガイドオブジェクトＧｉ，ｊ，ｋの第１座標（ｕ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖ＾ＧＩｍａｇｅ，ｉ，ｊ，ｋ）と第２座標（ｕＧＩｍａｇｅ，ｉ，ｊ，ｋ，ｖＧＩｍａｇｅ，ｉ，ｊ，ｋ）との差分から、遅延時間（時間差Δｔ）を求める。具体的には、以下の式（１７）を用いて、角度差を時間差（映像の処理遅延）Δｔに変換する。その後、音声を時間差Δｔだけ遅延させればよい。
【0068】
【数17】
【0069】
（第１実施形態）
［映像音声再生システムの概要］
図５参照し、第１実施形態に係る映像音声再生システム１の概要について説明する。
映像音声再生システム１は、ＶＲサービスとして、映像及び音声を再生するものである。第１実施形態では、映像音声再生システム１が、映像及び音声のずれを第１手法で補正することとする。図５に示すように、映像音声再生システム１は、操作手段２と、表示手段３と、撮影カメラ４と、スピーカ５と、映像音声再生装置１０とを備える。
［映像音声再生システムの概要］
図５参照し、第１実施形態に係る映像音声再生システム１の概要について説明する。
映像音声再生システム１は、ＶＲサービスとして、映像及び音声を再生するものである。第１実施形態では、映像音声再生システム１が、映像及び音声のずれを第１手法で補正することとする。図５に示すように、映像音声再生システム１は、操作手段２と、表示手段３と、撮影カメラ４と、スピーカ５と、映像音声再生装置１０とを備える。
【0070】
操作手段２は、ユーザが仮想視点Ｖの位置及び方向を操作するものである。例えば、操作手段２は、ジョイスティックであり、ユーザが仮想視点Ｖの位置及び方向をインタラクティブに操作できる。操作手段２は、仮想視点Ｖの位置及び方向を映像音声再生装置１０に出力する。
【0071】
表示手段３は、映像音声再生装置１０から入力された映像、つまり、ユーザが操作した仮想視点Ｖでの映像を表示するものである。例えば、表示手段３は、液晶ディスプレイ、有機ＥＬディスプレイ等の平面ディスプレイである。
【0072】
撮影カメラ４は、映像を再生している表示手段３を撮影するものであり、映像に含まれるガイドオブジェクトＧを撮影可能なカメラである。例えば、撮影カメラ４は、ガイドオブジェクトＧが赤外映像で表される場合、赤外線カメラである。撮影カメラ４は、表示手段３を撮影した撮影画像を映像音声再生装置１０に出力する。
【0073】
スピーカ５は、映像音声再生装置１０から入力された音声、つまり、ユーザが操作した仮想視点Ｖでの音声（音場）を再生するものである。例えば、スピーカ５は、ステレオスピーカである。
【0074】
［映像音声再生装置の構成］
続いて、映像音声再生装置１０の構成について説明する。
映像音声再生装置１０は、ユーザの操作に応じた仮想空間ＳＰ内での視点位置（仮想視点Ｖ）が入力され、入力された視点位置に応じて映像及び音声を同期して再生するものである。図５に示すように、映像音声再生装置１０は、ガイドオブジェクト配置部１１と、映像レンダラー１２と、音声レンダラー１３と、座標検出部１４と、差分算出部１５と、遅延補正部１６とを備える。
続いて、映像音声再生装置１０の構成について説明する。
映像音声再生装置１０は、ユーザの操作に応じた仮想空間ＳＰ内での視点位置（仮想視点Ｖ）が入力され、入力された視点位置に応じて映像及び音声を同期して再生するものである。図５に示すように、映像音声再生装置１０は、ガイドオブジェクト配置部１１と、映像レンダラー１２と、音声レンダラー１３と、座標検出部１４と、差分算出部１５と、遅延補正部１６とを備える。
【0075】
ガイドオブジェクト配置部１１は、座標検出用のガイドオブジェクトＧを仮想空間ＳＰ内に予め配置するものである。例えば、ガイドオブジェクト配置部１１では、ユーザが、図示を省略したマウス及びキーボードを用いて、仮想空間ＳＰ内にガイドオブジェクトＧを手動で配置する（図１参照）。
【0076】
映像レンダラー１２は、映像ストリームが入力され、入力された映像ストリームに映像レンダリングを施すことで、視点位置に対応した映像を再生するものである。つまり、映像レンダラー１２は、操作手段２から入力された仮想視点Ｖにおいて、オブジェクトＡ及びガイドオブジェクトＧが配置された仮想空間ＳＰを仮想カメラで撮影した映像をレンダリング（描画）する。映像レンダラー１２は、映像レンダリングした映像を表示手段３に出力する。
【0077】
音声レンダラー１３は、音声ストリームが入力され、入力された音声ストリームに音声レンダリングを施すことで、視点位置に対応した音声を再生するものである。つまり、音声レンダリングでは、操作手段２から入力された仮想視点Ｖにおける音場が再現される。そして、音声レンダラー１３は、後記する遅延補正部１６からの指令に従って、音声の再生タイミングを遅延させてスピーカ５に出力する。さらに、音声レンダラー１３は、前記式（８）及び式（９）に示すように、映像レンダリングの処置遅延が含まれないガイドオブジェクトＧの第２座標（画像座標）を差分算出部１５に出力する。
【0078】
座標検出部１４は、映像を再生している表示手段３を撮影した撮影画像が入力され、入力された撮影画像に含まれるガイドオブジェクトＧの第１座標を検出するものである。図４に示すように、座標検出部１４は、ガイドオブジェクトＧｉ，ｊ，ｋが赤外映像で表される場合、撮影画像に含まれる各赤外領域の中心位置を各ガイドオブジェクトＧｉ，ｊ，ｋの第１座標を検出する（前記式（５）～式（７）参照）。座標検出部１４は、検出したガイドオブジェクトＧｉ，ｊ，ｋの第１座標を差分算出部１５に出力する。
【0079】
差分算出部１５は、音声レンダリングで定まるガイドオブジェクトＧの第２座標と座標検出部１４が検出したガイドオブジェクＧトの第１座標との差分を算出するものである。つまり、差分算出部１５は、前記式（１０）を用いて、音声レンダラー１３から入力されたガイドオブジェクトＧｉ，ｊ，ｋの第２座標と、座標検出部１４から入力されたガイドオブジェクトＧｉ，ｊ，ｋの第１座標との差分を算出する。差分算出部１５は、算出した差分を遅延補正部１６に出力する。
【0080】
遅延補正部１６は、差分算出部１５が算出した差分に基づいて、音声レンダラー１３が再生する音声を遅延させるものである。具体的には、遅延補正部１６は、前記式（１２）を用いて、差分算出部１５が算出した差分を所定の視距離ｄにおける角度差に変換する。
【0081】
そして、遅延補正部１６は、変換した角度差が予め設定した閾値（例えば、１１度）を超える場合、前記式（１３）を用いて、差分を時間差Δｔに変換する。さらに、遅延補正部１６は、時間差Δｔに基づいて、音声レンダラー１３が再生する音声を遅延させる。例えば、遅延補正部１６は、時間差Δｔだけ音声ストリームを遅延させる指令を音声レンダラー１３に出力する。
【0082】
なお、遅延補正部１６は、変換した角度差が閾値以下の場合、音声を遅延させる必要はない。この場合、音声レンダラー１３は、音声ストリームに音声レンダリングを施したら、音声の再生タイミングを遅延させずにスピーカ５に出力する。
【0083】
［映像音声再生装置の動作］
図６を参照し、映像音声再生装置１０の動作について説明する。
なお、ガイドオブジェクトＧは、仮想空間ＳＰ内に予め配置されていることとする。
図６に示すように、ステップＳ１において、映像レンダラー１２には、映像ストリームが入力される。また、音声レンダラー１３には、音声ストリームが入力される。
図６を参照し、映像音声再生装置１０の動作について説明する。
なお、ガイドオブジェクトＧは、仮想空間ＳＰ内に予め配置されていることとする。
図６に示すように、ステップＳ１において、映像レンダラー１２には、映像ストリームが入力される。また、音声レンダラー１３には、音声ストリームが入力される。
【0084】
ステップＳ２において、映像レンダラー１２は、映像ストリームに映像レンダリングを施すことで、仮想視点Ｖに対応した映像を再生する。また、音声レンダラー１３は、音声ストリームに音声レンダリングを施すことで、仮想視点Ｖに対応した音声を再生する。
【0085】
ステップＳ３において、座標検出部１４には、撮影カメラ４から、映像を再生している表示手段３を撮影した撮影画像が入力される。
ステップＳ４において、座標検出部１４は、前記式（５）～式（７）を用いて、映像レンダリングにおけるガイドオブジェクトＧの第１座標を検出する。
ステップＳ４において、座標検出部１４は、前記式（５）～式（７）を用いて、映像レンダリングにおけるガイドオブジェクトＧの第１座標を検出する。
【0086】
ステップＳ５において、差分算出部１５は、前記式（８）及び式（９）を用いて、音声レンダラー１３からガイドオブジェクトＧの第２座標を取得する。
ステップＳ６において、差分算出部１５は、前記式（１０）を用いて、音声レンダリングにおけるガイドオブジェクトＧの画像座標（第２座標）と、撮影画像から検出したガイドオブジェクトの画像座標（第１座標）との差分を算出する。
ステップＳ６において、差分算出部１５は、前記式（１０）を用いて、音声レンダリングにおけるガイドオブジェクトＧの画像座標（第２座標）と、撮影画像から検出したガイドオブジェクトの画像座標（第１座標）との差分を算出する。
【0087】
ステップＳ７において、遅延補正部１６は、前記式（１２）を用いて、ステップＳ７で算出した差分を所定の視距離ｄにおける角度差に変換する。
【0088】
ステップＳ８において、遅延補正部１６は、ステップＳ７で変換した角度差が閾値（例えば、１１度）を超えるか否かを判定する。
角度差が閾値を超える場合（ステップＳ８でＹＥＳ）、映像音声再生装置１０は、ステップＳ９の処理に進む。
角度差が閾値以下の場合（ステップＳ８でＮＯ）、映像音声再生装置１０は、ステップＳ１の処理に戻る。
角度差が閾値を超える場合（ステップＳ８でＹＥＳ）、映像音声再生装置１０は、ステップＳ９の処理に進む。
角度差が閾値以下の場合（ステップＳ８でＮＯ）、映像音声再生装置１０は、ステップＳ１の処理に戻る。
【0089】
ステップＳ９において、遅延補正部１６は、前記式（１３）を用いて、ステップＳ７で求めた差分を時間差Δｔに変換する。
ステップＳ１０において、遅延補正部１６は、時間差Δｔに基づいて、音声レンダラー１３が再生する音声を遅延させる。
ステップＳ１０において、遅延補正部１６は、時間差Δｔに基づいて、音声レンダラー１３が再生する音声を遅延させる。
【0090】
［作用・効果］
以上のように、第１実施形態に係る映像音声再生装置１０は、映像レンダラー１２と音声レンダラー１３との処理遅延の相違に起因した、映像と音声のずれを補正できる。
以上のように、第１実施形態に係る映像音声再生装置１０は、映像レンダラー１２と音声レンダラー１３との処理遅延の相違に起因した、映像と音声のずれを補正できる。
【0091】
映像の複雑さに応じて、映像レンダリングの処理負荷が変化するため、本来表示されるべき画面に対して、実際に表示されている画面がずれてしまう。そこで、映像音声再生装置１０は、ガイドオブジェクトＧの第１座標及び第２座標の差分に基づいて音声を遅延させることで、映像と音声のずれを補正できる。
【0092】
（第２実施形態）
［映像音声再生装置の構成］
第２実施形態に係る映像音声再生装置１０Ｂの構成について、第１実施形態と異なる点を説明する。
［映像音声再生装置の構成］
第２実施形態に係る映像音声再生装置１０Ｂの構成について、第１実施形態と異なる点を説明する。
【0093】
第２実施形態では、音声レンダリングで定まるガイドオブジェクトＧの第２座標の代わりに、前記式（１４）で予め定まるガイドオブジェクトＧの第２座標を利用する点が、第１実施形態と異なる。つまり、前記式（１４）で定まるガイドオブジェクトＧの座標は、映像レンダリングの処置遅延が含まれないので、音声レンダリングで定まるガイドオブジェクトＧの第２座標と同様、差分の算出に利用できる。
【0094】
図７に示すように、映像音声再生装置１０Ｂは、ガイドオブジェクト配置部１１Ｂと、映像レンダラー１２と、音声レンダラー１３Ｂと、座標検出部１４と、差分算出部１５Ｂと、遅延補正部１６Ｂとを備える。
【0095】
ガイドオブジェクト配置部１１Ｂは、前記式（１４）で定まるガイドオブジェクトＧの座標を第２座標として差分算出部１５Ｂに出力する。他の点、ガイドオブジェクト配置部１１Ｂは、第１実施形態と同様のため、説明を省略する。
【0096】
音声レンダラー１３Ｂは、ガイドオブジェクトＧの第２座標を差分算出部１５Ｂに出力しない。他の点、音声レンダラー１３Ｂは、第１実施形態と同様のため、説明を省略する。
【0097】
差分算出部１５Ｂは、予め配置されたガイドオブジェクトＧの第２座標と座標検出部１４が検出したガイドオブジェクトＧの第１座標との差分を算出するものである。つまり、差分算出部１５Ｂは、前記式（１５）を用いて、ガイドオブジェクト配置部１１Ｂから入力されたガイドオブジェクトＧの第２座標と、座標検出部１４から入力されたガイドオブジェクトＧの第１座標との差分を算出する。他の点、差分算出部１５Ｂは、第１実施形態と同様のため、説明を省略する。
【0098】
遅延補正部１６Ｂは、差分算出部１５Ｂが算出した差分に基づいて、音声レンダラー１３Ｂが再生する音声を遅延させるものである。具体的には、遅延補正部１６Ｂは、前記式（１６）及び式（１７）を用いて、差分算出部１５Ｂが算出した差分を時間差Δｔに変換する。
【0099】
この時間差Δｔが４００ｍｓを超える場合、音声が大きく先行したようと感じられることが知られている（参考文献４）。そこで、時間差Δｔが予め設定した閾値（例えば、４００ｍｓ）以上の場合、音声を時間差Δｔだけ遅延させればよい。なお、時間差Δｔの閾値は、４００ｍｓに限定されないことは言うまでもない。
【0100】
参考文献４：大久保，織田，火山，小宮山：「インタラクティブ３Dオーディオ再生システム」，AES東京コンベンション2001予稿集，I-1，pp.238-241（2001）
【0101】
つまり、遅延補正部１６Ｂは、時間差Δｔが閾値（例えば、４００ｍｓ）を超える場合、時間差Δｔに基づいて、音声レンダラー１３Ｂが再生する音声を遅延させる。例えば、遅延補正部１６Ｂは、時間差Δｔだけ音声ストリームを遅延させる指令を音声レンダラー１３Ｂに出力する。
【0102】
なお、遅延補正部１６Ｂは、変換した時間差が閾値以下の場合、音声を遅延させる必要はない。この場合、音声レンダラー１３Ｂは、音声ストリームに音声レンダリングを施したら、音声の再生タイミングを遅延させずにスピーカ５に出力する。
【0103】
【0104】
図８に示すように、ステップＳ２０において、差分算出部１５Ｂは、前記式（１５）を用いて、予め配置されたガイドオブジェクトＧの第２座標と座標検出部１４が検出したガイドオブジェクトＧの第１座標との差分を算出する
ステップＳ２１において、遅延補正部１６Ｂは、前記式（１６）及び式（１７）を用いて、差分算出部１５Ｂが算出した差分を時間差Δｔに変換する。
ステップＳ２１において、遅延補正部１６Ｂは、前記式（１６）及び式（１７）を用いて、差分算出部１５Ｂが算出した差分を時間差Δｔに変換する。
【0105】
ステップＳ２２において、遅延補正部１６Ｂは、ステップＳ２１で変換した時間差Δｔが閾値（例えば、４００ｍｓ）を超えるか否かを判定する。
時間差Δｔが閾値を超える場合（ステップＳ２２でＹＥＳ）、映像音声再生装置１０Ｂは、ステップＳ２３の処理に進む。
時間差Δｔが閾値以下の場合（ステップＳ２２でＮＯ）、映像音声再生装置１０Ｂは、ステップＳ１の処理に戻る。
時間差Δｔが閾値を超える場合（ステップＳ２２でＹＥＳ）、映像音声再生装置１０Ｂは、ステップＳ２３の処理に進む。
時間差Δｔが閾値以下の場合（ステップＳ２２でＮＯ）、映像音声再生装置１０Ｂは、ステップＳ１の処理に戻る。
【0106】
ステップＳ２３において、遅延補正部１６Ｂは、時間差Δｔに基づいて、音声レンダラー１３Ｂが再生する音声を遅延させる。
【0107】
［作用・効果］
以上のように、第２実施形態に係る映像音声再生装置１０Ｂは、映像レンダラー１２と音声レンダラー１３Ｂとの処理遅延の相違に起因した、映像と音声のずれを補正できる。
以上のように、第２実施形態に係る映像音声再生装置１０Ｂは、映像レンダラー１２と音声レンダラー１３Ｂとの処理遅延の相違に起因した、映像と音声のずれを補正できる。
【0108】
映像の複雑さに応じて、映像レンダリングの処理負荷が変化するため、本来表示されるべき画面に対して、実際に表示されている画面がずれてしまう。そこで、映像音声再生装置１０Ｂは、ガイドオブジェクトＧの第１座標及び第２座標の差分に基づいて音声を遅延させることで、映像と音声のずれを補正できる。
【0109】
（変形例）
以上、各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
以上、各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0110】
前記した各実施形態では、表示手段が平面ディスプレイであることとして説明したが、これに限定されない。例えば、表示手段は、仮想視点の映像をそのまま投影できるデバイス（例えば、ＨＭＤ）であってもよい。この場合、映像音声再生装置では、前記式（８）及び式（９）の変換を行う必要はない。また、ガイドオブジェクトを検出するための小型カメラをＨＭＤの内部に配置し、その撮影画像を映像音声再生装置に出力すればよい。
【0111】
前記した各実施形態では、第１座標と第２座標との差分を２次元座標系で算出することとして説明したが、これに限定されない。つまり、映像音声再生装置は、第１座標と第２座標との差分を３次元座標系で算出してもよい。
【0112】
前記した各実施形態では、映像音声再生装置の動作を二通り説明したが、一つの動作として扱ってもよい。つまり、図６及び図８の動作でそれぞれ時間差Δｔを算出し、大きな方の時間差Δｔを用いて音声を遅延させてもよい。
【0113】
前記した各実施形態では、映像音声再生装置が独立したハードウェアであることとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した映像音声再生装置として機能させるためのプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0114】
１ 映像音声再生システム
２ 操作手段
３ 表示手段
４ 撮影カメラ
５ スピーカ
１０、１０Ｂ 映像音声再生装置
１１，１１Ｂ ガイドオブジェクト配置部
１２ 映像レンダラー
１３，１３Ｂ 音声レンダラー
１４ 座標検出部
１５，１５Ｂ 差分算出部
１６，１６Ｂ 遅延補正部
２ 操作手段
３ 表示手段
４ 撮影カメラ
５ スピーカ
１０、１０Ｂ 映像音声再生装置
１１，１１Ｂ ガイドオブジェクト配置部
１２ 映像レンダラー
１３，１３Ｂ 音声レンダラー
１４ 座標検出部
１５，１５Ｂ 差分算出部
１６，１６Ｂ 遅延補正部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】