特許 7689845 再生装置、再生システム、再生方法および再生プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-30

(45)【発行日】2025-06-09

(54)【発明の名称】再生装置、再生システム、再生方法および再生プログラム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20250602BHJP

   H04N 5/93 20060101ALI20250602BHJP

   H04N 5/765 20060101ALI20250602BHJP

【ＦＩ】

H04S7/00 300

H04N5/93

H04N5/765

【請求項の数】 8

(21)【出願番号】P 2021043542

(22)【出願日】2021-03-17

(65)【公開番号】P2022143165

(43)【公開日】2022-10-03

【審査請求日】2024-01-31

【前置審査】

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】掛江 庸平

(72)【発明者】

【氏名】三木 好州

(72)【発明者】

【氏名】木村 壽成

【審査官】稲葉 崇

(56)【参考文献】

【文献】国際公開第２０１８／０９６９５４（ＷＯ，Ａ１）

【文献】国際公開第２０２２／１１３３９３（ＷＯ，Ａ１）

【文献】特開２０２１－００９６４７（ＪＰ，Ａ）

【文献】特開２０１９－１３４３１４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０５５８６０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ １／００－ ７／００

Ｈ０４Ｎ ５／９３

Ｈ０４Ｎ ５／７６５

(57)【特許請求の範囲】

【請求項1】

音源に関する音源情報に基づいて前記音源を再生する再生装置であって、制御部を有し、
前記制御部は、
仮想空間に配置された仮想スピーカと、前記仮想空間に配置された仮想リスナとの位置関係、および、前記仮想リスナを起点として指定された、前記仮想リスナの正面方向以外の傾聴方向に基づいて、前記仮想スピーカにおける前記音源の出力特性を決定し、
前記出力特性に基づいて、実空間に配置された実スピーカを介して前記音源を再生する、
再生装置。

【請求項2】

前記音源は、所定の音響空間で録音された音源であって、
前記制御部は、
音響空間における音響特性に関する音響情報を取得し、前記音響情報に基づいて、前記出力特性を決定する
請求項１に記載の再生装置。

【請求項3】

前記音響情報は、
前記音響空間に存在する反射物における音の反射特性に関する反射特性情報を含む
請求項２に記載の再生装置。

【請求項4】

前記制御部は、
前記反射物を撮像した撮像画像に基づき推定した前記反射特性情報を取得する
請求項３に記載の再生装置。

【請求項5】

前記制御部は、
前記仮想スピーカと前記実スピーカとの位置関係に基づいて、前記実スピーカから出力される前記音源の実出力特性を決定し、決定した前記実出力特性に基づいて前記音源を再生する
請求項１～４のいずれか１つに記載の再生装置。

【請求項6】

請求項１～５のいずれか１つに記載の再生装置と、
音源が流れる現実空間において収録した当該音源に関する音源情報を前記再生装置へ送信する収録装置と
を備える再生システム。

【請求項7】

コンピュータによって実行される再生方法であって、
仮想空間に配置された仮想スピーカと、前記仮想空間に配置された仮想リスナとの位置関係、および、前記仮想リスナを起点として指定された、前記仮想リスナの正面方向以外の傾聴方向に基づいて、前記仮想スピーカにおける音源の出力特性を決定し、
前記出力特性に基づいて、実空間に配置された実スピーカを介して前記音源を再生する、
再生方法。

【請求項8】

コンピュータによって実行させる再生プログラムであって、
仮想空間に配置された仮想スピーカと、前記仮想空間に配置された仮想リスナとの位置関係、および、前記仮想リスナを起点として指定された、前記仮想リスナの正面方向以外の傾聴方向に基づいて、前記仮想スピーカにおける音源の出力特性を決定し、
前記出力特性に基づいて、実空間に配置された実スピーカを介して前記音源を再生する、
再生プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、再生装置、再生システム、再生方法および再生プログラムに関する。

【背景技術】

【0002】

従来、例えば、コンサート会場等の現実空間において収録した音声や映像を、ＶＲやＡＲ等の仮想空間において表現することで、遠隔地であってもコンサート会場にいるような臨場感を味わえる技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－９６４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、仮想空間において音声を表現する場合、音源の出力元は、ＶＲデバイスやＡＲデバイスを装着したユーザが実在する空間（例えば、部屋）のスピーカとなるため、臨場感に欠けるおそれがあった。

【0005】

本発明は、上記に鑑みてなされたものであって、臨場感を高めることができる再生装置、再生システム、再生方法および再生プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る再生装置は、取得部と、決定部と、再生部とを備える。前記取得部は、音源に関する音源情報を取得する。前記決定部は、仮想空間に配置された仮想スピーカと、前記仮想空間に配置された仮想リスナとの位置関係に基づいて、前記仮想スピーカにおける前記音源の出力特性を決定する。前記再生部は、前記決定部によって決定された前記出力特性に基づいて、実空間に配置された実スピーカを介して前記音源を再生する。

【発明の効果】

【0007】

本発明によれば、臨場感を高めることができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、実施形態に係る再生方法の概要を示す図である。

【図1B】図１Ｂは、実施形態に係る再生方法の概要を示す図である。

【図2】図２は、実施形態に係る再生システムの構成例を示すブロック図である。

【図3】図３は、実施形態に係る再生装置の構成例を示す機能ブロック図である。

【図4】図４は、傾聴方向の音源を強調再生する例を示す図である。

【図5】図５は、疑似サラウンドの処理を示す図である。

【図6】図６は、実施形態に係る再生装置によって実行される処理の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する再生装置、再生システムおよび再生方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

【0010】

まず、図１Ａおよび図１Ｂを用いて、実施形態に係る再生方法の概要について説明する。図１Ａおよび図１Ｂは、実施形態に係る再生方法の概要を示す図である。実施形態に係る再生方法は、図１Ａおよび図１Ｂに示す再生装置１によって実行される。

【0011】

図１Ａに示すように、本開示では、コンサート会場やライブ会場等の現実空間である音響空間ＳＳにおいて、実際にリスナＲＬ（以下、実リスナＲＬ）が音源や映像を収録し、収録した音源や映像を再生装置１によってＶＲ（Virtual Reality）やＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）等の仮想空間ＶＳ（図１Ｂ参照）で再生することで、実リスナＲＬとは異なるユーザＵが自宅等の実空間ＲＳにいる状態で音響空間ＳＳにいるかのような臨場感を味わえるものである。

【0012】

具体的には、図１Ａに示すように、再生装置１は、実空間ＲＳに配置された実スピーカ２００と通信接続され、収録した音源を実スピーカ２００を介して再生する。また、再生装置１は、仮想空間ＶＳを表示可能な表示部５（図３参照）を有し、収録した映像を表示部５を介して再生する。なお、図１Ａでは、実スピーカ２００の配置は、実空間ＲＳの所定位置に固定される場合を示したが、実スピーカ２００は、例えば、イヤホン等のユーザＵが装着するものであってもよい。

【0013】

本開示では、実施形態に係る再生装置１が図１Ｂに示す再生方法を実行することで、実スピーカ２００を介して再生される音源により、仮想空間ＶＳでの臨場感を高めることができる。

【0014】

以下、図１Ｂを用いて、実施形態に係る再生方法について説明する。なお、図１Ｂでは、説明の便宜上、仮想空間ＶＳを上面視で示しているが、実際には、ユーザＵは、再生装置１を介して仮想リスナＶＬを視点とした様々な視線方向の映像を見ることができる。

【0015】

図１Ｂに示すように、実施形態に係る再生方法では、再生装置１は、まず、収録装置１００で収録された音源に関する音源情報を取得する（ステップＳ１）。なお、再生装置１は、音源情報と併せて、収録装置１００で録画された映像情報も取得する。音源情報および映像情報は、収録装置１００から直接取得されてもよいし、音源情報および映像情報を保存する不図示のクラウドサーバから取得されてもよい。また、音源情報および映像情報は、ＣＤ（Compact Disc）や、ＤＶＤ（Digital Versatile Disc）、フラッシュメモリ等の記憶媒体を介して取得されてもよい。

【0016】

つづいて、実施形態に係る再生方法では、仮想空間ＶＳに配置された仮想スピーカ３００と、仮想空間ＶＳに配置された仮想リスナＶＬとの位置関係に基づいて、仮想スピーカ３００における音源の出力特性を決定する（ステップＳ２）。出力特性は、例えば、音源の周波数特性や、位相特性、ゲイン特性（音量特性）等を含む。

【0017】

具体的には、ステップＳ２では、まず、再生装置１は、仮想空間ＶＳに仮想スピーカ３００および仮想リスナＶＬを配置する。仮想スピーカ３００および仮想リスナＶＬは、予め定められた位置に配置されてもよく、ユーザＵによって指定された位置に配置されてもよい。そして、再生装置１は、配置された仮想スピーカ３００および仮想リスナＶＬの位置関係に基づいて、仮想スピーカ３００における音源の出力特性を決定する。

【0018】

具体的には、再生装置１は、仮想リスナＶＬに対して仮想スピーカ３００が存在する方向や、仮想リスナＶＬから仮想スピーカ３００までの距離に基づいて、ユーザＵが現実空間である音響空間ＳＳで実際に音源を聞いているような出力特性を決定する。

【0019】

つまり、再生装置１は、仮想リスナＶＬが４つの仮想スピーカ３００の中央位置に配置された場合には、４つの仮想スピーカ３００から仮想リスナＶＬへ向かって均等な音量（ゲイン）の音源が出力される出力特性を決定する。

【0020】

また、図１Ｂに示すように、再生装置１は、仮想リスナＶＬが中央位置から紙面における左側に移動した場合には、例えば、紙面における左側の２つの仮想スピーカ３００の音量を大きくし、紙面における右側の２つの仮想スピーカ３００の音量を小さくする。つまり、仮想リスナＶＬが左側へ移動した場合には、仮想空間ＶＳに配置されたステージ左側の演者の音が大きく聞こえ、ステージ右側の演者の音が小さく聞こえるような出力特性を決定する。なお、出力特性の決定処理の詳細については後述する。

【0021】

つづいて、実施形態に係る再生方法では、決定した出力特性に基づいて、実空間ＲＳ（図１Ａ参照）に配置された実スピーカ２００を介して音源を再生する（ステップＳ３）。具体的には、再生装置１は、仮想スピーカ３００と実スピーカ２００との位置関係により実スピーカ２００の実出力特性を決定し、決定した実出力特性に基づいて音源を再生する。つまり、再生装置１は、仮想スピーカ３００における音源の出力特性となるように、実スピーカ２００における音源の実出力特性にする。

【0022】

これにより、実スピーカ２００から再生される音源は、仮想スピーカ３００における音源の出力特性となる。換言すれば、実スピーカ２００から再生される音源により、ユーザＵが現実空間である音響空間ＳＳで実際に音源を聞いているような感覚にさせることができる。すなわち、実施形態に係る再生方法によれば、仮想空間ＶＳにおける臨場感を高めることができる。

【0023】

次に、図２を用いて、実施形態に係る再生システムの構成例について説明する。図２は、実施形態に係る再生システムＳの構成例を示すブロック図である。

【0024】

図２に示すように、再生システムＳは、再生装置１と、収録装置１００とを含み、これらはインターネット網などの通信ネットワークＮを介して通信可能に接続される。

【0025】

再生装置１は、実施形態に係る再生方法を実行する装置であり、上述したように、ＶＲやＡＲ等の３次元の仮想空間ＶＳを表示可能な装置である。再生装置１は、例えば、図１Ｂに示すようなゴーグル型である。また、再生装置１は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣ等であってもよい。また、再生装置１で表示される仮想空間ＶＳは、３次元に限らず２次元であってもよい。

【0026】

収録装置１００は、音源や映像を収録する装置であり、図２に示すように、音源となる音を録音するためのマイク１１０および映像を録画するためのカメラ１２０を備える。収録装置１００は、マイク１１０で録音した音源に関する音源情報およびカメラ１２０で録画した映像に関する映像情報を再生装置１へ送信する。

【0027】

なお、図２では、収録装置１００から音源情報および映像情報を直接再生装置１へ送信する例を示したが、収録装置１００は、音源情報および映像情報を不図示のクラウドサーバへ送信してもよい。かかる場合、再生装置１は、クラウドサーバで保存された音源情報および映像情報を取得することとしてもよい。

【0028】

次に、図３を用いて、実施形態に係る再生装置１の構成例について説明する。図３は、実施形態に係る再生装置１の構成例を示す機能ブロック図である。なお、図３のブロック図では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0029】

換言すれば、図３のブロック図に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0030】

図３に示すように、再生装置１は、通信部２と、制御部３と、記憶部４と、表示部５とを備える。また、再生装置１は、実スピーカ２００に接続される。再生装置１と実スピーカ２００とは、例えば、Bluetooth（登録商標）等の近距離無線通信により接続される。なお、再生装置１と実スピーカ２００とは、有線接続されてもよい。

【0031】

なお、図３では、再生装置１は、表示部５を備える構成（一体構成）としたが、表示部５が別体で構成されてもよい。また、再生装置１は、実スピーカ２００が一体構成されてもよい。

【0032】

通信部２は、通信ネットワークＮに双方向通信可能に接続する通信インターフェイスであり、収録装置１００との間で情報の送受信を行う。

【0033】

制御部３は、取得部３１と、受付部３２と、決定部３３と、再生部３４とを備え、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0034】

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部３の取得部３１、受付部３２、決定部３３および再生部３４として機能する。

【0035】

また、制御部３の取得部３１、受付部３２、決定部３３および再生部３４の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0036】

また、記憶部４は、例えば、不揮発性メモリやデータフラッシュ、ハードディスクドライブといった記憶デバイスで構成される記憶部である。かかる記憶部４には、配置情報４１および各種プログラムなどが記憶される。

【0037】

配置情報４１は、実スピーカ２００の位置情報を含んだ情報である。例えば、実スピーカ２００の位置情報は、ユーザＵと実スピーカ２００との相対位置の情報である。また、実スピーカ２００の位置情報は、実空間ＲＳにおける絶対位置を示す座標情報であってもよい。なお、実スピーカ２００の位置情報は、ユーザＵによって予め登録されてもよく、あるいは、再生装置１が不図示のカメラを備え、カメラの画像により実スピーカ２００の位置情報を検出してもよい。

【0038】

また、再生装置１および実スピーカ２００が無線接続される場合には、通信信号の到来方向および信号強度に基づいて実スピーカ２００の位置情報を検出してもよい。

【0039】

表示部５は、仮想空間ＶＳを表示可能なディスプレイである。

【0040】

次に、制御部３の各機能（取得部３１、受付部３２、決定部３３および再生部３４）について説明する。

【0041】

取得部３１は、各種情報を取得する。取得部３１は、例えば、収録装置１００から音源に関する音源情報を取得する。音源は、音声や、楽器音、デジタル音等の任意の種類の音を含み得る。

【0042】

また、取得部３１は、音源情報と併せて、収録装置１００で収録された映像に関する映像情報を取得する。なお、取得部３１は、音源情報および映像情報を別々に取得してもよく、音声付動画のような、音源情報および映像情報が一体となった情報を取得してもよい。

【0043】

また、取得部３１は、実空間ＲＳにおける実スピーカ２００の位置情報を取得する。実スピーカ２００の位置は、ユーザＵに対する相対位置（相対方向および相対距離）として表現される。実スピーカ２００の位置は、ユーザＵによって入力（指定）されてもよく、再生装置１が不図示のカメラを備え、カメラの画像により認識した実スピーカ２００の位置として取得されてもよい。

【0044】

また、取得部３１は、現実空間である音響空間ＳＳで音源が録音された場合、かかる音響空間ＳＳにおける音響特性に関する音響情報を取得する。音響情報は、例えば、音響空間ＳＳに存在する反射物（例えば、壁等）における音の反射特性に関する反射特性情報を含む。

【0045】

例えば、取得部３１は、映像情報等の反射物を撮像した撮像画像に基づいて、反射物の材質を推定し、推定した材質に応じた反射特性情報を取得（推定）する。反射特性情報は、例えば、音の反射率等の情報である。なお、反射率は、音全体の反射率であってもよく、音源の周波数帯毎の反射率であってもよい。

【0046】

また、音響情報は、現実空間である音響空間ＳＳに存在する人に関する情報（人数や存在する位置の情報）を含む。これは、人が多い程、音源が反射しづらくなる等のように、音響空間ＳＳに存在する人の数に応じて音響特性が変化するためである。なお、仮想空間ＶＳに他のユーザがアバターとして存在する場合には、音源情報には、アバターに関する情報（アバターの数や存在する位置の情報）が含まれてもよい。

【0047】

受付部３２は、ユーザＵから各種情報を受け付ける。例えば、受付部３２は、仮想空間ＶＳにおける仮想リスナＶＬを起点とした傾聴方向の指定を受け付ける。なお、傾聴方向の詳細については、図４で後述する。

【0048】

また、受付部３２は、仮想リスナＶＬの位置変更を受け付ける。また、受付部３２は、音源および映像の再生指示を受け付ける。

【0049】

決定部３３は、仮想空間ＶＳに配置された仮想スピーカ３００と、仮想空間ＶＳに配置された仮想リスナＶＬとの位置関係に基づいて、仮想スピーカ３００における音源の出力特性を決定する。

【0050】

具体的には、決定部３３は、まず、仮想空間ＶＳに仮想スピーカ３００および仮想リスナＶＬを配置する。仮想スピーカ３００は、予め定められた位置に配置されてもよく、ユーザＵによって指定された位置に配置されてもよい。また、決定部３３は、取得部３１が取得した映像情報から、音の発信元（演者や、聴衆等）を認識し、かかる発信元に対応する位置に仮想スピーカ３００を配置してもよい。あるいは、決定部３３は、収録装置１００（図１Ａ参照）の位置に対応した位置を仮想スピーカ３００の位置としてもよい。

【0051】

また、仮想リスナＶＬは、ユーザＵが仮想空間ＶＳに入室後（ログイン後）、所定の初期位置に配置され、初期位置に配置された後は、ユーザＵの移動操作（マウスやキーボード操作等）によって仮想空間ＶＳを移動可能となる。

【0052】

仮想リスナＶＬの初期位置は、予め定めれた位置であってもよく、ユーザＵによって任意の位置が選択されてもよい。また、仮想空間ＶＳに複数の仮想リスナＶＬが入室可能（複数のユーザＵがログイン可能）である場合には、例えば、入室順で予め定められた位置に順次配置されてもよい。具体的には、仮想空間ＶＳがコンサート会場等のように座席が配置される場合、入室順で各座席位置に仮想リスナＶＬを配置したり、ユーザＵが事前に指定（チケット購入）した座席位置に配置してもよい。

【0053】

そして、決定部３３は、仮想リスナＶＬの位置（初期位置または移動後の位置）と、仮想スピーカ３００の位置との位置関係に基づいて、仮想スピーカ３００における音源の出力特性を決定する。出力特性は、例えば、音源の周波数特性や、位相特性、ゲイン特性、指向特性等である。なお、仮想リスナＶＬの最終的な位置は、受付部３２によって再生指示が受け付けられた際に配置されている位置である。

【0054】

具体的には、決定部３３は、コンサート会場等の現実空間における所定位置を仮想リスナＶＬの位置として、現実空間における所定位置で実際に聞こえる音源と同じ音源が仮想リスナＶＬの位置で聞こえるように仮想スピーカ３００における音源の出力特性を決定する。

【0055】

具体的には、決定部３３は、仮想リスナＶＬに対して仮想スピーカ３００が存在する方向や、仮想リスナＶＬから仮想スピーカ３００までの距離に基づいて、ユーザＵが現実空間である音響空間ＳＳで実際に音源を聞いているような出力特性を決定する。

【0056】

より具体的には、決定部３３は、仮想スピーカ３００から仮想リスナＶＬの方向を音の指向方向（指向特性）として決定し、仮想スピーカ３００から仮想リスナＶＬまでの距離が遠くなるほど音量（ゲイン特性）を小さくするよう決定する。

【0057】

例えば、決定部３３は、音源がオーケストラである場合において、仮想リスナＶＬの位置が演者グループの左寄りに配置された場合には、演者グループの左側に配置された仮想スピーカ３００の音量（ゲイン）を大きくし、右側に配置された仮想スピーカ３００の音量（ゲイン）を小さくする。これにより、コンサート会場に参加していないユーザＵが仮想空間ＶＳにおいて、実際にコンサート会場にいるかのような音源を聞くことができる。つまり、臨場感を高めることができる。

【0058】

また、決定部３３は、コンサート会場において、前方で演者が演奏し、後方に聴衆が存在する場合において、仮想リスナＶＬの位置が後方よりであった場合には、前方に配置された仮想スピーカ３００の音量を小さくし、後方の仮想スピーカ３００の音量を大きくする。すなわち、仮想リスナＶＬの位置で聞こえる音源は、演者の音が小さく、聴衆の音（ざわつき音）が大きくなる。

【0059】

また、決定部３３は、取得部３１によって音響空間ＳＳの音響情報が取得された場合、かかる音響情報を加味して出力特性を決定する。具体的には、決定部３３は、音響空間ＳＳにおける壁等の反射物から仮想リスナＶＬまでの距離と、仮想スピーカ３００から反射物までの距離と、反射物における音の反射率（反射特性情報）とに基づいて、仮想スピーカ３００から出力される音が反射物で反射して仮想リスナＶＬに届く反響音を推定する。従って、仮想リスナＶＬの位置に応じて反射物等の位置や見かけの形状が異なるため、仮想リスナＶＬの位置により出力特性は変わることになる。そして、決定部３３は、仮想スピーカ３００から仮想リスナＶＬに直接届く音源に、推定した反響音を加えた音響音源となるような出力特性を決定する。

【0060】

具体的には、決定部３３は、音源の出力特性と、反響音の出力特性とを合わせることで、音響音源の出力特性を決定する。なお、反響音の出力特性は、音源の出力特性に対して、高周波数成分（減衰が大きい周波数成分）を減らしたり、位相を遅らせたり、ゲイン（音量）を小さくしたりした出力特性である。このように、決定部３３は、音響情報を加味して出力特性を決定することで、後段の再生部３４によって再生される音源に反響音成分を加えることができるため、音響空間ＳＳで聞いているような音源をユーザＵが聞くことができる。

【0061】

また、決定部３３は、音響情報に、現実空間である音響空間ＳＳに存在する人に関する情報（人数や存在する位置の情報）や、仮想空間ＶＳに存在する他のユーザのアバターに関する情報が含まれる場合、それら情報に基づいて音源の出力特性を決定してもよい。

【0062】

具体的には、決定部３３は、現実空間である音響空間ＳＳに存在する聴衆が多い程、または、仮想空間ＶＳに存在するアバターが多い程、音源の減衰量が多くなるように出力特性を決定する。

【0063】

再生部３４は、決定部３３によって決定された出力特性に基づいて、実空間ＲＳに配置された実スピーカ２００を介して音源を再生する。具体的には、再生部３４は、まず、実スピーカ２００を仮想空間ＶＳに設定する。

【0064】

具体的には、再生部３４は、ユーザＵに対する実スピーカの相対位置と同じになるように、仮想リスナＶＬに対する実スピーカ２００の相対位置を仮想空間ＶＳに設定する。なお、仮想リスナＶＬが移動した場合には、実スピーカ２００も同様に移動する。つまり、仮想リスナＶＬに対する実スピーカ２００の相対位置が常に一定となるようにする。

【0065】

そして、再生部３４は、仮想スピーカ３００と実スピーカ２００との位置関係に基づいて、実スピーカ２００から出力される音源の実出力特性を決定し、決定した実出力特性に基づいて音源を再生する。なお、実出力特性は、周波数特性、位相特性、ゲイン特性、指向特性等である。つまり、仮想スピーカ３００からの出力音が仮想リスナＶＬに到達した時の到達音の特性と、実スピーカ２００からの出力音が実リスナ（ユーザＵ）に到達した時の到達音の特性が同じになるように、音響伝達関数等を用いて音響信号処理を施す。

【0066】

具体的には、再生部３４は、決定部３３で決定された出力特性となるように、実スピーカ２００から出力される音源の出力特性を補正することで実出力特性を決定する。そして、再生部３４は、実スピーカ２００から決定した実出力特性の音源を再生する。このように、仮想スピーカ３００と実スピーカ２００との位置関係に基づいて、実スピーカ２００
の実出力特性を決定することで、より臨場感の高い音源を再生することができる。

【0067】

また、再生部３４は、取得部３１が取得した映像情報を音源とともに再生する。具体的には、再生部３４は、ＶＲデバイスである再生装置１を装着したユーザＵの顔の向きを検出し、顔の向きに応じた視線方向（仮想リスナＶＬを視点とする視線方向）の映像を表示する。なお、視線方向は、ユーザＵのボタン操作やジョイスティック等の操作部材による操作として受け付けてもよい。

【0068】

なお、再生装置１は、音源を再生する場合に、仮想空間ＶＳにおける特定方向（傾聴方向）からの音源をユーザＵが聞けるようにしてもよい。かかる点について、図４を用いて説明する。図４は、傾聴方向の音源を強調再生する例を示す図である。

【0069】

図４に示す例では、仮想リスナＶＬの視線方向ＶＦ（視線範囲）がステージ正面を向いているのに対して、受付部３２によって受け付けた傾聴方向がステージ右方向である場合を例に示している。

【0070】

かかる場合、再生装置１は、視線方向ＶＦに基づくステージ全体を映像表示しつつ、ステージ右側の音源が大きくなるように音源を再生する。具体的には、決定部３３は、受け付けた傾聴方向に対応する仮想スピーカ３００のゲインを大きくし、傾聴方向から離れた仮想スピーカ３００のゲインを小さく（あるいはゼロ）にする。これにより、ユーザＵは、ステージ右側、すなわち、傾聴方向の音源を強調して聞くことができる。

【0071】

なお、図４では、傾聴方向の音源を強調する場合を例に挙げたが、例えば、傾聴方向の音源のみを消去するようにしてもよい。

【0072】

次に、図５を用いて、疑似的なサラウンドシステムを実現する例について説明する。図５は、疑似サラウンドの処理を示す図である。図５では、仮想空間ＶＳに５つ（例えば、５．１ｃｈ）の仮想スピーカ３００が配置され、実スピーカ２００が４つである例を示している。つまり、再生装置１は、４つの実スピーカ２００から出力する音源により、疑似的な５．１ｃｈのサラウンド音源を再生する。

【0073】

具体的には、再生部３４は、実スピーカ２００から各仮想スピーカ３００までの距離や方向（角度）により、実スピーカ２００から出力される音源の減衰量や位相を補正することで、実出力特性を決定して音源を再生する。これにより、実スピーカ２００と仮想スピーカ３００とのチャンネル数が異なる（特に、仮想スピーカ３００のチャンネル数の方が多い）場合であっても、仮想スピーカ３００のチャンネル数に疑似的に合わせた音源を実スピーカ２００から再生できるため、仮想空間ＶＳにおける臨場感を高めることができる。

【0074】

次に、図６を用いて、実施形態に係る再生装置１において実行される処理の手順について説明する。図６は、実施形態に係る再生装置１によって実行される処理の処理手順を示すフローチャートである。

【0075】

図６に示すように、まず、取得部３１は、例えば、収録装置１００によって録音された音源に関する音源情報および収録装置１００によって録画された映像情報を取得する（ステップＳ１０１）。

【0076】

つづいて、取得部３１は、音響空間ＳＳにおける音響特性に関する音響情報を取得する（ステップＳ１０２）。例えば、取得部３１は、収録装置１００によって録画された映像情報に基づいて、音響空間ＳＳを囲む壁における音の反射特性に関する反射特性情報を推定し、推定した反射特性情報を音響情報として取得する。

【0077】

つづいて、取得部３１は、仮想空間ＶＳにおける仮想スピーカ３００の位置情報を取得する（ステップＳ１０３）。

【0078】

つづいて、取得部３１は、仮想リスナＶＬの位置情報を取得する（ステップＳ１０４）。

【0079】

つづいて、決定部３３は、仮想スピーカ３００と、仮想リスナＶＬとの位置関係に基づいて、仮想スピーカ３００における音源の出力特性を決定する（ステップＳ１０５）。

【0080】

つづいて、取得部３１は、実スピーカ２００の位置情報を取得する（ステップＳ１０６）。

【0081】

つづいて、再生部３４は、決定部３３によって決定された出力特性に基づいて、実スピーカ２００における音源の実出力特性を決定（補正）する（ステップＳ１０７）。

【0082】

つづいて、再生部３４は、決定した実出力特性に基づいて、実スピーカ２００を介して音源を再生するとともに、表示部５を介して映像情報を表示し（ステップＳ１０８）、処理を終了する。

【0083】

上述してきたように、実施形態に係る再生装置１は、取得部３１と、決定部３３と、再生部３４とを備える。取得部３１は、音源に関する音源情報を取得する。決定部３３は、仮想空間ＶＳに配置された仮想スピーカ３００と、仮想空間ＶＳに配置された仮想リスナＶＬとの位置関係に基づいて、仮想スピーカ３００における音源の出力特性を決定する。再生部３４は、決定部３３によって決定された出力特性に基づいて、実空間ＲＳに配置された実スピーカ２００を介して音源を再生する。これにより、臨場感を高めることができる。

【0084】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0085】

１ 再生装置
２ 通信部
３ 制御部
４ 記憶部
５ 表示部
３１ 取得部
３２ 受付部
３３ 決定部
３４ 再生部
４１ 配置情報
１００ 収録装置
１１０ マイク
１２０ カメラ
２００ 実スピーカ
３００ 仮想スピーカ
Ｎ 通信ネットワーク
ＲＬ 実リスナ
ＲＳ 実空間
Ｓ 再生システム
ＳＳ 音響空間
Ｕ ユーザ
ＶＦ 視線方向
ＶＬ 仮想リスナ
ＶＳ 仮想空間

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】