特表 2024-527127 仮想オーディオソース位置の決定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-19

(54)【発明の名称】仮想オーディオソース位置の決定

(51)【国際特許分類】

   G10K 15/10 20060101AFI20240711BHJP

   H04S 7/00 20060101ALI20240711BHJP

【ＦＩ】

G10K15/10

H04S7/00 300

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024506191

(86)(22)【出願日】2022-07-26

(85)【翻訳文提出日】2024-03-13

(86)【国際出願番号】 EP2022070876

(87)【国際公開番号】W WO2023011970

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】21189872.1

(32)【優先日】2021-08-05

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】コッペンス イェルーン ジェラルドゥス ヘンリクス

【テーマコード（参考）】

5D162

5D208

【Ｆターム（参考）】

5D162AA05

5D162CC37

5D162DA22

5D162EG02

5D208AA01

5D208AB08

5D208AB09

5D208AD10

(57)【要約】

室内の早期反射のための音響イメージソースモデルは、前の反復の室の境界（例えば、壁）に対して室を反復的にミラーリングする（６０３）ことにより生成される。元の室内のオーディオソースに対するイメージ室内のミラー位置の決定は、２つの室内の整合する基準位置を決定すること（６０５、６０７）及び２つの室の間の方向の相対マッピング（６１１）により実行される。元の室におけるオーディオソースからのミラー室におけるミラー位置は、オーディオソースの位置と基準位置との間の相対オフセットをマッピングすることにより決定される（７０１、７０３、７０５）。該アプローチは計算的に非常に効率的な手法を提供できる。

【特許請求の範囲】

【請求項1】

第１の室内の第１のオーディオソースの反射を表すオーディオソースの仮想オーディオソース位置を決定する方法であって、
第１の室の境界を記述したデータを受信するステップと、
前記第１の室の一群のミラー室を生成するステップであって、各ミラー室は複数のミラーリングから生じ、各ミラーリングは前のミラー室の該前のミラー室の境界に対するミラーリングであり、前記複数のミラーリングに関する最初の前のミラー室が前記第１の室である、前記一群のミラー室を生成するステップと、
前記一群のミラー室のうちの少なくとも第１のミラー室に関して、前記第１の室における方向の、前記第１のミラー室における方向へのマッピングを行うステップと、
前記第１の室内のソース基準位置を決定するステップと、
前記第１のミラー室内の第１のミラー基準位置を決定するステップであって、該第１のミラー基準位置が、前記第１のミラー室を生じるミラーリングを前記第１のソース基準位置に適用することにより生じる前記第１のミラー室内の位置である、前記第１のミラー基準位置を決定するステップと、
第１のオーディオソースに関して前記第１の室におけるソース位置オフセットを決定するステップであって、該ソース位置オフセットが前記ソース基準位置と前記第１のオーディオソースの前記第１の室内の位置との間の位置オフセットを表す、前記ソース位置オフセットを決定するステップと、
前記第１のオーディオソースに関して前記第１のミラー室における第１のミラー位置オフセットを決定するステップと、
前記第１のミラー室内の前記第１のオーディオソースのミラー位置を、前記第１のミラー基準位置及び前記第１のミラー位置オフセットから決定するステップと
を有し、
前記第１のミラー位置オフセットを決定するステップが、前記マッピングを前記ソース位置オフセットに適用することにより前記第１のミラー位置オフセットを決定するステップを有する、
方法。

【請求項2】

前記マッピングはマッピング行列により表され、前記マッピングを前記ソース位置オフセットに適用するステップが、前記マッピング行列と前記ソース位置オフセットとを乗算するステップを含む、請求項１に記載の方法。

【請求項3】

前記ソース位置オフセットは二次元のオフセットであり、前記マッピング行列が２×２の行列である、請求項２に記載の方法。

【請求項4】

前記ソース位置オフセットは三次元のオフセットであり、前記マッピング行列が３×３の行列である、請求項２に記載の方法。

【請求項5】

前記第１の室に関するミラーリングの数は少なくとも２であり、前記マッピング行列は複数の境界ミラーマッピング行列の組み合わせであり、各境界ミラーマッピング行列が単一の室境界に対するミラーリングから生じる方向の変化を表す、請求項１から４の何れか一項に記載の方法。

【請求項6】

前記第１の室の各室境界は１つの境界ミラーマッピング行列にリンクされ、前記マッピングが前記第１ミラーに関する前記複数のミラーリングのうちのミラーリングの室境界にリンクされた前記境界ミラーマッピング行列の組み合わせである、請求項５に記載の方法。

【請求項7】

前記第１の室の平行な室境界が同一の境界ミラーマッピング行列にリンクされる、請求項６に記載の方法。

【請求項8】

前記マッピングが距離保存型マッピングである、請求項１から７の何れか一項に記載の方法。

【請求項9】

前記第１のミラー位置オフセットの距離が前記ソース位置オフセットの距離に等しい、請求項１から８の何れか一項に記載の方法。

【請求項10】

前記第１の室の境界に関して室境界位置を決定するステップと、
前記室境界位置に関して前記第１の室における境界位置オフセットを決定するステップであって、該境界位置オフセットが前記ソース基準位置と前記室境界位置との間の位置オフセットを表す、前記境界位置オフセットを決定するステップと、
前記マッピングを前記境界位置オフセットに適用することにより前記第１のミラー室における境界位置オフセットを決定するステップと、
前記第１のミラー室に関するミラー境界位置を前記第１のミラー基準位置及び前記境界位置オフセットから決定するステップと
を更に有する、請求項１から９の何れか一項に記載の方法。

【請求項11】

前記第１の室は直交平行体であり、前記ソース基準位置及び前記ソース位置オフセットが前記直交平行体の辺と整列されていない座標軸の座標により表される、請求項１から１０の何れか一項に記載の方法。

【請求項12】

前記第１の室に関する室応答関数を決定するステップを更に有し、該室応答関数が前記ミラー位置に配置されたものとしての前記オーディオソースからのオーディオを表す反射成分を含む、請求項１から１１の何れか一項に記載の方法。

【請求項13】

前記ミラー位置に配置されたものとしての前記オーディオソースからの成分を含むオーディオ出力信号をレンダリングするステップを更に有する、請求項１から１２の何れか一項に記載の方法。

【請求項14】

コンピュータ上で実行された場合に、請求項１から１３の何れか一項に記載の方法の全てのステップを実行するコンピュータプログラムコード手段を備える、コンピュータプログラム。

【請求項15】

第１の室内の第１のオーディオソースの反射を表すオーディオソースの仮想オーディオソース位置を決定する装置であって、
第１の室の境界を記述したデータを受信し、
前記第１の室の一群のミラー室を生成し、ここで、各ミラー室は複数のミラーリングから生じ、各ミラーリングは前のミラー室の該前のミラー室の境界に対するミラーリングであり、前記複数のミラーリングに関する最初の前のミラー室は前記第１の室であり、
前記一群のミラー室のうちの少なくとも第１のミラー室に関して、前記第１の室における方向の、前記第１のミラー室における方向へのマッピングを行い、
前記第１の室内のソース基準位置を決定し、
前記第１のミラー室内の第１のミラー基準位置を決定し、ここで、該第１のミラー基準位置は、前記第１のミラー室を生じるミラーリングを前記第１のソース基準位置に適用することにより生じる前記第１のミラー室内の位置であり、
第１のオーディオソースに関して前記第１の室におけるソース位置オフセットを決定し、ここで、該ソース位置オフセットは前記ソース基準位置と前記第１のオーディオソースの前記第１の室内の位置との間の位置オフセットを表し、
前記第１のオーディオソースに関して前記第１のミラー室における第１のミラー位置オフセットを決定し、
前記第１のミラー室内の前記第１のオーディオソースのミラー位置を、前記第１のミラー基準位置及び前記第１のミラー位置オフセットから決定する、
処理回路を有し、
前記第１のミラー位置オフセットを決定する動作が、前記マッピングを前記ソース位置オフセットに適用することにより前記第１のミラー位置オフセットを決定する動作を含む、
装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、室内のオーディオソース（音源）の反射を表す仮想オーディオソースの位置を決定する装置及び方法に関するもので、専らではないが、特に拡張／仮想現実アプリケーションにおいてオーディオをレンダリングするための仮想オーディオソースに関する。

【背景技術】

【0002】

近年、オーディオビジュアルコンテンツに基づく種々の広範囲の体験（エクスペリエンス）が、そのようなコンテンツを利用及び消費する新たなサービス及び方法が継続的に開発及び導入されるのに伴い、大幅に増加している。特に、ユーザに一層関わりの深い没入型の体験を提供するために、多くの空間的及び対話的なサービス、アプリケーション、体験が開発されつつある。

【0003】

このようなアプリケーションの例は仮想現実（ＶＲ）、拡張現実（ＡＲ）及び複合現実（ＭＲ）アプリケーションであり、これらは、多くのソリューションが消費者市場を狙いとして、急速に主流になりつつある。また、多くの標準化団体により多くの規格も開発中である。このような標準化活動は、例えばストリーミング、ブロードキャスト、レンダリング等を含むＶＲ／ＡＲ／ＭＲシステムの種々の側面のための規格を積極的に開発している。

【0004】

ＶＲアプリケーションは、ユーザが異なる世界／環境／シーン内にいることに対応するユーザ体験を提供する傾向があるのに対し、ＡＲ（複合現実ＭＲを含む）アプリケーションは、ユーザが現在の環境にいるが追加の情報又は仮想物体（オブジェクト）若しくは情報が追加されることに対応するユーザ体験を提供する傾向がある。このように、ＶＲアプリケーションは完全に没入型の合成的に生成された世界／シーンを提供する傾向があるのに対し、ＡＲアプリケーションは、ユーザが物理的に存在する現実のシーンに重ねられる部分的に合成された世界／シーンを提供する傾向がある。しかしながら、これらの用語は、しばしば、入れ替え可能に使用され、高度の重なりを有する。以下において、仮想現実／ＶＲという用語は、仮想現実及び拡張／複合現実の両方を示すために使用される。

【0005】

一例として、益々人気となっているサービスは、ユーザがシステムと能動的かつ動的に対話して、レンダリングのパラメータを動き並びにユーザの位置及び向きの変化に適応するように変更できるような態様で画像及び音声を提供することである。多くのアプリケーションにおける非常に魅力的なフィーチャは、例えば、ビューア（視聴者）が提示されているシーン内で移動し及び「見回す」ことを可能にする等の、ビューアの実効的な視聴位置及び視聴方向を変更できる能力である。

【0006】

このようなフィーチャは、特に、仮想現実体験がユーザに提供されることを可能にする。このことは、ユーザが仮想環境内を（相対的に）自由に動き回り、自身の位置及び見ている場所を動的に変化させることを可能にし得る。通常、このような仮想現実アプリケーションはシーンの三次元モデルに基づいており、該モデルは特定の要求されたビューを提供するために動的に評価される。このアプローチは、コンピュータ及びコンソール用の一人称視点シューティングゲームの分類におけるようなゲームアプリケーションから良く知られている。

【0007】

特に仮想現実アプリケーションの場合、提示される画像が三次元画像であることも望ましい。実際に、ビューアの没入感を最適なものにするために、ユーザが提示されたシーンを三次元シーンとして体験することが典型的に好ましい。実際に、仮想現実体験は、ユーザが仮想世界に対して自身の位置、カメラの視点、及び瞬間を選択することを可能にすることが好ましい。

【0008】

視覚的レンダリングに加えて、殆どのＶＲ／ＡＲアプリケーションは対応するオーディオ体験も更に提供する。多くのアプリケーションにおいて、オーディオは、好ましくは、オーディオソースが視覚シーン内の対応するオブジェクトの位置に対応する位置から到来するように知覚されるような空間的オーディオ体験を提供する。このように、オーディオシーン及びビデオシーンは、好ましくは、一貫性があるものとして知覚され、両者が完全な空間体験を提供する。

【0009】

例えば、多くの没入型体験は、バイノーラルオーディオレンダリング技術を使用したヘッドフォン再生により仮想オーディオシーンが生成されることにより提供される。多くのシナリオにおいて、このようなヘッドフォン再生はレンダリングがユーザの頭の動きに応答して行われ得るようにするヘッドトラッキングに基づくものであり得、これは没入感を大幅に増加させる。

【0010】

しかしながら、没入感が高く、個人化された自然な体験をユーザに提供するためには、オーディオシーンのレンダリングが可能な限りリアルであることが重要であり、多くのＶＲ体験等の組み合わされたオーディオビジュアル体験にとり、オーディオ体験がビジュアル体験のものと緊密に合致すること、すなわち、レンダリングされるオーディオシーン及びビデオシーンが緊密に合致することが重要である。

【0011】

高品質の体験を提供するためには、特にオーディオがリアルであると認識されるためには、当該音響環境が正確でリアルなモデルにより特徴づけられることが重要である。このことは、提供されているオーディオシーンが純粋な仮想シーンであるかによらず、又は当該シーンが特定の現実世界のシーンに対応することが望まれるかによらず必要とされる。

【0012】

室内の音響効果、もっと一般的には環境の音響効果をシミュレーションする場合、環境の壁、床及び天井（存在する場合）における音波の反射は、当該オーディオソース信号の遅延及び減衰された（通常は周波数に依存する）バージョンが、聴取者（リスナ）に種々の方向から到来するようにさせる。これにより、室内インパルス応答（ＲＩＲ）と呼ばれるインパルス応答が発生する。

【0013】

図１に示されるように、室内インパルス応答は、オーディオソースからリスナまでの距離に依存する直接音／無響部分、及びこれに続く室（部屋）の音響特性を特徴付ける残響部分から構成される。室のサイズ及び形状、該室内のオーディオソース及びリスナの位置、並びに該室の表面の反射特性は、全て、この残響部分の特性に影響する。

【0014】

上記残響部分は、通常は重なり合う２つの時間的領域に分解できる。最初の領域はいわゆる早期反射を含み、該早期反射は、リスナに到達する前の室内の壁又は障害物におけるオーディオソースの分離される反射である。時間の遅れが増加するにつれて、一定の期間内に存在する反射の数は増加し、二次反射及び一層高次の反射も含むようになる。

【0015】

残響部分における２番目の領域は、これらの反射の密度が人間の脳により分離及び分別できない点まで増加する部分である。この領域は、拡散残響、後期残響又は残響尾部と呼ばれる。

【0016】

残響部分は、オーディオソースの距離、室の大きさ及び音響特性に関する情報を聴覚系に与える手がかりを含んでいる。無響部分のエネルギに対する残響部分のエネルギは、オーディオソースの知覚される距離を主に決定する。最早期の反射のレベル及び遅延は、オーディオソースが壁にどれだけ近いかに関しての手掛かりを与えることができ、該反射の人体計測によるフィルタリングは何の壁、床又は天井であるかの評価を強化し得る。

【0017】

（早期）反射の密度は、室の知覚される大きさに影響する。反射がエネルギレベルで６０ｄＢ 低下するのに掛かる、Ｔ_６０により示される時間（残響時間）は、室内で反射がどれだけ速く消散するかの尺度となる。残響時間は室の音響特性に関する情報；該室の壁が非常に反射的であるか（例えば、バスルーム）、又は音の吸収が多いか（例えば、家具、カーペット及びカーテンのある寝室）を提供する。

【0018】

残響が没入型の体験を提供するには、反射がリスナに到達する方向を表現するために複数のＲＩＲが必要とされる。これらはスピーカ装置に関連付けられ得、該装置において、各ＲＩＲは複数のスピーカにおける既知の位置の１つに関連付けられる。ＶＢＡＰ 等のパンニングアルゴリズムを、複数の反射の既知の反射方向からのＲＩＲを生成するために採用できる。

【0019】

更に、没入型ＲＩＲは、該ＲＩＲがバイノーラル室内インパルス応答（ＢＲＩＲ）の一部である場合、該ＲＩＲが頭、耳及び肩によりフィルタリングされるため、ユーザの人体計測特性に依存したもの、すなわち、頭部インパルス応答（ＨＲＩＲ）となり得る。

【0020】

後期残響における反射は、最早分離できないため、例えばジョット残響器のようなフィードバック遅延ネットワーク等のパラメトリック残響器を使用してパラメータ的にシミュレーションされ得る。早期反射の場合、入射方向及び距離に依存する遅延は、人が室及びオーディオソースの相対位置に関する情報を抽出するための重要な手がかりとなる。したがって、リアルな没入型体験のためには、早期反射のシミュレーションが後期残響よりも一層明確でなければならない。

【0021】

早期反射をモデル化する１つのアプローチは、室の各境界においてオーディオソースをミラーリング（鏡映）して、反射を表す仮想オーディオソースを生成することである。このようなモデルは、イメージソースモデルとして知られており、Ａｌｌｅｎ ＪＢ、Ｂｅｒｋｌｅｙ ＤＡによる文献“Ｉｍａｇｅ ｍｅｔｈｏｄ ｆｏｒ ｅｆｆｉｃｉｅｎｔｌｙ ｓｉｍｕｌａｔｉｎｇ ｓｍａｌｌ－ｒｏｏｍ ａｃｏｕｓｔｉｃｓ”Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｃｏｕｓｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ、１９７９年；６５（４）：９４３～５０に記載されている。ヨーロッパ特許出願公開第３８２８８８２号は、このような方法の構成例を開示している。しかしながら、このようなモデルは光線追跡型又は有限要素モデリング等の室の形状が余り制限されないアプローチと比較すると、早期反射の効率的で高品質なモデル化をもたらし得るが、幾つかの欠点を有する傾向もある。具体的には、このようなモデル化アプローチは、依然として相対的に複雑であり、特に反射の仮想源の位置を見つけるためには高い計算リソース要件を有する傾向がある。ミラー位置を決定するために必要とされる処理、及び特に室の境界の周りでミラーリングするために必要とされる幾何学的計算は複雑でリソースを必要とする傾向がある。これらの欠点は、考慮される反射の数が大きいほど増加する傾向があり、多くの実際的アプリケーションではそれに応じて反射の数が制限されて、モデルの精度及び品質が低下し、その結果、ユーザ体験が低下される。

【発明の概要】

【発明が解決しようとする課題】

【0022】

したがって、反射を表す仮想オーディオソースの位置を決定するための改良されたモデル及びアプローチが有利であろう。特に、改善された動作、向上された柔軟性、低減された複雑さ、容易化された構成、改善されたオーディオ体験、低減された複雑さ、低減された計算的負荷、改善されたオーディオ品質、改善されたモデルの精度及び品質、及び／又は改善された性能及び／又は動作を可能にするアプローチ／モデルが有利であろう。

【0023】

したがって、本発明は、好ましくは、上述された欠点の１以上を単独で又は任意の組み合わせで緩和、軽減又は除去することを目指すものである。

【課題を解決するための手段】

【0024】

本発明の一態様によれば、第１の室内の第１のオーディオソースの反射を表すオーディオソースの仮想オーディオソース位置を決定する方法が提供され、該方法は：第１の室の境界を記述したデータを受信するステップ；第１の室の一群のミラー室を生成するステップであって、各ミラー室は複数のミラーリングから生じ、各ミラーリングは前のミラー室の該前のミラー室の境界に対する（の周りでの）ミラーリングであり、複数のミラーリングに関する最初の前のミラー室が第１の室であるステップ；一群のミラー室のうちの少なくとも第１のミラー室に関して、第１の室における方向の第１のミラー室における方向へのマッピングを行うステップ；第１の室内のソース基準位置を決定するステップ；第１のミラー室内の第１のミラー基準位置を決定するステップであって、該第１のミラー基準位置が、第１のミラー室を生じるミラーリングを第１のソース基準位置に適用することにより生じる第１のミラー室内の位置であるステップ；第１のオーディオソースに関してソース室におけるソース位置オフセットを決定するステップであって、該ソース位置オフセットがソース基準位置と第１のオーディオソースの第１の室内の位置との間の位置オフセットを表すステップ；第１のオーディオソースに関して第１のミラー室における第１のミラー位置オフセットを決定するステップ；第１のミラー室内の第１のオーディオソースのミラー位置を、第１のミラー基準位置及び第１のミラー位置オフセットから決定するステップ；を有し、第１のミラー位置オフセットを決定するステップは、マッピングをソース位置オフセットに適用することにより第１のミラー位置オフセットを決定するステップを有する。

【0025】

本発明は、室内の反射を表す仮想オーディオソースのためのミラー／仮想位置の改善された及び／又は容易化された決定をもたらし得る。当該アプローチは、室内の早期反射のためのモデルの容易化された及び／又は一層効率的な生成を可能にし得る。当該アプローチは、多くの実施形態において、ミラー位置の決定を大幅に容易化でき、反射に対応するミラー位置を決定するために要する計算の数及び／又は複雑さを大幅に低減できる。当該アプローチは、多くの実施形態において、室内の反射を表す正確なモデルが、少ない計算的要件及び／又は低い複雑で生成されることを可能にする。

【0026】

当該アプローチは、イメージソースモデルを生成／更新するために使用できる。

【0027】

当該アプローチは、例えば室内の１以上のオーディオソースが移動し得、その結果オーディオソースの反射が変化し得る動的なアプリケーションに特に適し得る。対応するミラー位置の変化は、通常、低い複雑さで決定でき、これにより、早期反射の特性の結果的変化の正確な表現を含む、オーディオソースの動きへの動的適応を容易にすることができる。特に、当該アプローチは、多くの実施形態において、２以上の反射を表すために異なるミラー室へのマッピング／ミラーリングを決定及び評価するために必要とされる相対的に複雑な演算が、移動から生じる後の効果が大幅に低い複雑さで決定されるようにして、初期化時に一度だけ実行されることを可能にし得る。

【0028】

当該アプローチの結果、第１の室における反射を表現するための低い複雑さ及び資源要求度の低い処理が得られる。該アプローチは、特に、所与の品質／複雑さのイメージソースモデルが、大幅に低い計算的負荷で生成／更新されることを可能にし得る。

【0029】

当該方法は、コンピュータ実施方法とすることができる。該方法はコンピュータ／プロセッサにより実行され得る。該方法は、多くの実施形態において、ミラー位置に配置されたようなオーディオソースからの成分を含むオーディオ信号を生成するステップを含み得る。

【0030】

上記方法を実行するための手段を備えるデータ処理装置／デバイス／システムが提供され得る。

【0031】

ミラー室は、元の室及び／又は１以上の前に生成されたミラー室の縁／辺／境界に対する（の周囲での）１以上のミラー演算から生じる室であり得る。ミラー位置は、ミラー室内の位置であり得る。ミラー室／ミラー位置は仮想的な位置であり得る。

【0032】

第１の室（及びミラー室）は、二次元の長方形及び／又は三次元の長方形として表すことができる。第１の室は、直角直方体角柱、長方形立方体又は長方形平行六面体として知られ、当該分野では時には靴箱室とも呼ばれる、二次元又は三次元の直交平行体（ｏｒｔｈｏｔｏｐｅ）であり得る。

【0033】

室の境界は、壁、床、天井等の、室を区分する／室を画定する／室の境界を定める平面的要素であり得る。境界は、音響的に反射性の要素であり得、場合により、例えば、（有意な）音響的に反射性の要素が存在しない境界の仮想的又は理論的な（任意の）描写であり得る。

【0034】

室は、実質的に平面で典型的には音響的に反射性の要素により区分された任意の音響環境であり得る。平面要素は対毎に平行であり得、二次元の室は２つのそのような平行な対を有し得、三次元の室は３つのそのような平行な対（４つの壁、床、天井に対応する）を有し得る。

【0035】

境界を越えたオーディオソースのミラーリングは、オーディオソースのオーディオソース位置を境界に対してミラーリングすることにより、ミラーリングされたオーディオソース位置を決定することに対応し得る。前のミラー室は、第１の室及び複数のミラーリングにおける前のミラーリングにより生成されたミラー室を含む組に属する室であり得る。

【0036】

近隣のミラー室における反射オーディオソースのミラーオーディオソース位置は、ソース／第１の室内のオーディオソースのオーディオソース位置を境界に対してミラーリングした結果得られる位置に対応し得る。

【0037】

本発明のオプションのフィーチャによれば、マッピングはマッピング行列により表され、マッピングをソース位置オフセットに適用するステップは、マッピング行列とソース位置オフセットとを乗算するステップを含む。

【0038】

この構成は、多くの実施形態において性能及び／又は動作の改善を可能にすることができる。この構成は、多くの実施形態において、より効率的な動作を可能にし、計算的資源の負担／要件を大幅に軽減することができる。ソース位置オフセットは、座標オフセットとして表すことを含み、複数の座標により表すことができ、行列の乗算は、これらの座標オフセットを第１のミラー位置オフセットに対応する座標オフセットにマッピングし得る。

【0039】

本発明のオプションのフィーチャによれば、ソース位置オフセットは二次元のオフセットであり、マッピング行列は２×２の行列である。

【0040】

この構成は、多くの実施形態において、改善された及び／又は容易化された動作を提供し得る。該アプローチの結果、第１の室内の反射を表現するための少ない複雑さで資源要求度の低い処理が得られる。

【0041】

本発明のオプションのフィーチャによれば、ソース位置オフセットは三次元のオフセットであり、マッピング行列は３×３の行列である。

【0042】

この構成は、多くの実施形態において、改善された及び／又は容易化された動作を提供し得る。該アプローチにより、第１の室における反射を表現するための複雑さの少ない、低い資源要求度の処理が得られる。

【0043】

本発明のオプションのフィーチャによれば、第１の室に関するミラーリングの数は少なくとも２であり、マッピング行列は複数の境界ミラーマッピング行列の組み合わせであり、各境界ミラーマッピング行列は単一の室境界に対するミラーリングから生じる方向の変化を表す。

【0044】

この構成は、改善され及び／又は容易化された動作を提供し得る。該構成は、多くの実施形態において、室の境界から発生する反射の効率的な決定及び表現を提供し得る。特に、該構成は、第１の室内の同一のオーディオソースの複数の反射の表現を容易化及び／又は改善できる。

【0045】

本発明のオプションのフィーチャによれば、第１の室の各室境界は１つの境界ミラーマッピング行列にリンクされ、マッピングは第１ミラーに関する複数のミラーリングのうちのミラーリングの室境界にリンクされた境界ミラーマッピング行列の組み合わせである。

【0046】

この構成は、第１の室における複数の反射を表現するための動作を容易に及び／又は改善し得る。

【0047】

本発明のオプションのフィーチャによれば、第１の室の平行な室境界は同じ境界ミラーマッピング行列にリンクされる。

【0048】

この構成は、改善され及び／又は容易化された動作を提供し得る。該構成は、多くの実施形態において、室の境界から発生する反射の効率的な決定及び表現を提供できる。特に、該構成は、マッピング及び／又は第１のミラー位置オフセットを決定するための計算資源要件を低減できる。

【0049】

本発明のオプションのフィーチャによれば、マッピングは距離保存型マッピングである。

【0050】

この構成は、改善された性能及び／又は動作を提供できる。該構成は、多くの実施形態において、第１の室の音響反射環境の所与の精度のための計算資源要件の低減を達成できる。

【0051】

本発明のオプションのフィーチャによれば、第１のミラー位置オフセットの距離は、ソース位置オフセットの距離に等しい。

【0052】

この構成は、多くの実施形態において、改善された性能及び／又は動作を提供できる。該構成は、多くの実施形態において、第１の室の音響反射環境の所与の精度のための計算資源要件の低減を達成することができる。オフセットの距離は、該オフセットの（具体的には該オフセットを表すベクトルの）サイズ／大きさであり得る。

【0053】

本発明のオプションのフィーチャによれば、当該方法は：第１の室の境界に関して室境界位置を決定するステップ；該室境界位置に関して第１の室における境界位置オフセットを決定するステップであって、該境界位置オフセットがソース基準位置と室境界位置との間の位置オフセットを表すステップ；マッピングを境界位置オフセットに適用することにより第１のミラー室における境界位置オフセットを決定するステップ；第１のミラー室に関するミラー境界位置を第１のミラー基準位置及び境界位置オフセットから決定するステップ；を更に有する。

【0054】

この構成は、多くの実施形態において、改善された性能及び／又は動作を提供できる。該構成は、多くの実施形態において、第１の室の音響反射環境の所与の精度のための計算資源要件の削減を達成でき、特にミラー室の幾何学的特性の決定を容易にし得る。室境界位置は、特には室の角の位置等の、１以上の境界に含まれる位置であり得る。

【0055】

本発明のオプションのフィーチャによれば、第１の室は直交平行体（ｏｒｔｈｏｔｏｐｅ）であり、ソース基準位置及びソース位置オフセットは直交平行体の辺と整列されていない座標軸の座標により表される。

【0056】

この構成は、多くの実施形態において、改善された性能及び／又は動作を提供できる。

【0057】

本発明のオプションのフィーチャによれば、当該方法は第１の室に関する室応答関数を決定するステップを更に有し、該室応答関数はミラー位置に配置されたものとしてのオーディオソースからのオーディオを表す反射成分を含む。

【0058】

該方法は、多くの実施形態において、室の反射特性の改善された表現及び／又は複雑さの軽減を可能にできる。

【0059】

本発明のオプションのフィーチャによれば、当該方法は、ミラー位置に配置されたものとしてのオーディオソースからの成分を含むオーディオ出力信号をレンダリングするステップを有する。

【0060】

該方法は、典型的には一層リアルな環境の知覚を伴う改善されたユーザ体験を提供するオーディオの、改善され及び／又は容易化されたレンダリングを提供できる。

【0061】

本発明の一態様によれば、第１の室内の第１のオーディオソースの反射を表すオーディオソースの仮想オーディオソース位置を決定する装置が提供され、該装置は：第１の室の境界を記述したデータを受信し；第１の室の一群のミラー室を生成し、ここで、各ミラー室は複数のミラーリングから生じ、各ミラーリングは前のミラー室の該前のミラー室の境界に対するミラーリングであり、複数のミラーリングに関する最初の前のミラー室は第１の室であり；一群のミラー室のうちの少なくとも第１のミラー室に関して、第１の室における方向の第１のミラー室における方向へのマッピングを行い；第１の室内のソース基準位置を決定し；第１のミラー室内の第１のミラー基準位置を決定し、ここで、該第１のミラー基準位置は、第１のミラー室を生じるミラーリングを第１のソース基準位置に適用することにより生じる第１のミラー室内の位置であり；第１のオーディオソースに関してソース室におけるソース位置オフセットを決定し、ここで、該ソース位置オフセットはソース基準位置と第１のオーディオソースの第１の室内の位置との間の位置オフセットを表し；第１のオーディオソースに関して第１のミラー室における第１のミラー位置オフセットを決定し；第１のミラー室内の第１のオーディオソースのミラー位置を、第１のミラー基準位置及び第１のミラー位置オフセットから決定する；ように構成された処理回路を有し、第１のミラー位置オフセットを決定する動作は、マッピングをソース位置オフセットに適用することにより第１のミラー位置オフセットを決定する動作を含む。

【0062】

この装置は、多くの実施形態において、性能の改善及び／又は複雑さ／資源使用の低減をもたらし得る。該装置は、典型的に、改善されたモデルが少ない複雑さ及び計算資源の使用で生成されることを可能にする。

【0063】

本発明の上記及び他の態様、フィーチャ及び利点は、後述される実施形態から明らかとなり、そのような実施形態を参照して解説されるであろう。

【0064】

本発明の実施形態は、単なる例として、以下の図面を参照して説明されるであろう。

【図面の簡単な説明】

【0065】

【図1】図１は、音響室内応答の要素の一例を示す。

【図2】図２は、本発明の幾つかの実施形態による装置の要素の一例を示す。

【図3】図３は、室の境界の音響反射をモデル化するためのミラーリングの一例を示す。

【図4】図４は、室の２つの境界の音響反射をモデル化するためのミラーリングの一例を示す。

【図5】図５は、室内の音響反射に関するイメージソースモデルのための室のミラーリングの一例を示す。

【図6】図６は、本発明の幾つかの実施形態による方法の要素の一例を示す。

【図7】図７は、本発明の幾つかの実施形態による方法の要素の一例を示す。

【発明を実施するための形態】

【0066】

自然でリアルな効果をリスナに提供することを目的とするオーディオレンダリングは、通常、音響環境のレンダリングを含む。該レンダリングは、直接経路、（早期）反射及び残響をモデル化することを典型的に含む音響環境のモデルに基づくものである。以下の説明は、現実の又は仮想の室における（早期）反射に関する適切なモデルを生成するための効率的なアプローチに焦点を当てる。

【0067】

該アプローチを、図２に示される要素を備えたオーディオレンダリング装置を参照して説明する。図２のオーディオレンダリング装置２０１は受信器２０１を有し、該受信器は当該レンダリングによりエミュレーションされるべき音響環境を表す第１の室を特徴付ける室データを受信するように構成される。該室データは、特に、第１の室の境界を記述する。受信器２０１は、更に、室内のオーディオソースの少なくとも１つのオーディオソース位置に関するデータも受信し得る。典型的に、複数のオーディオソースのオーディオソース位置を示すデータが受信され得る。更に、多くの実施形態において、これら位置は動的に変化し得、当該システムはそのような位置変化に適応するように構成され得る。当該受信器は、更に、オーディオソースのオーディオデータを受信でき、該オーディオデータは、オーディオソースにより生成されたオーディオを表し、オーディオソースからのオーディオをレンダリングすることができる。当該オーディオレンダリング装置は、オーディオを、該オーディオが当該室のリアルなオーディオとして知覚されるような特性で（特に、早期反射、並びに通常は直接経路成分及び残響成分で）レンダリングするように構成される。

【0068】

以下においては、生成される仮想の（ミラーリングされた）室及び記載される反射モデルのために生成される仮想の（ミラーリングされた）オーディオソースと区別するために、室は元の室（又は第１の室又はソースルーム）とも呼ばれ、元の室におけるオーディオソースは元のオーディオソースとも呼ばれる。

【0069】

受信器２０１は、例えば個別の又は専用の電子回路の使用を含む任意の適切な方法で実施化することができる。処理回路２０３は、例えば、特定用途向け集積回路（ＡＳＩＣ）等の集積回路として実施化され得る。幾つかの実施形態において、当該回路は、例えば中央処理ユニット、デジタル信号処理ユニット又はマイクロコントローラ等の適切なプロセッサ上で実行されるファームウェア又はソフトウェア等のプログラムされた処理ユニットとして実施化され得る。このような実施形態において、当該処理ユニットは、オンボード又は外部メモリ、クロック駆動回路、インターフェース回路、ユーザインターフェース回路等を含み得ることが理解される。このような回路は、更に、処理ユニットの一部として、集積回路として、及び／又は個別の電子回路として実施化され得る。

【0070】

受信器２０１は、データ、具体的には室データ及び／又はオーディオデータを、任意の適切なソースから任意の適切な形式で（例えばオーディオ信号の一部として）受信できる。室データは内部又は外部ソースから受信できる。受信器２０１は、例えば、室／オーディオデータをネットワーク接続、無線接続、又は内部ソースへの他の適切な接続を介して受信するように構成され得る。多くの実施形態において、該受信器は上記データをローカルメモリ等のローカルソースから受信し得る。多くの実施形態において、受信器２０１は、例えば、上記室データをローカルＲＡＭ又はＲＯＭメモリ等のローカルメモリから取り込むように構成され得る。

【0071】

前記境界は室の輪郭を画定し、典型的には、壁、天井及び床を表す（又は、２Ｄアプリケーションの場合は、通常、壁のみ）。当該室は、２Ｄ長方形又は３Ｄ長方形（靴箱形状）等の２Ｄ又は３Ｄ直角容積体である。境界は対ごとに平行であり、実質的に平面である。更に、或る対の平行な境界における境界は、他の対の平行な境界に対して垂直である。これら境界は、特に直角容積体（２Ｄ又は３Ｄ）を画定する。これら境界は、任意の材料等の任意の物理的特性を反映し得る。これら境界は、任意の音響特性も表わし得る。

【0072】

前記室データにより記述されている室は、レンダリングのための意図する音響環境に対応し、したがって、現実の室／環境又は仮想の室／環境を表し得る。室は、対毎に平行であり対間で実質的に垂直である４つ（２Ｄの場合）又は６つ（３Ｄの場合）の実質的に平面な境界により境界を定める／区切ることができる任意の区域／領域／環境であり得る。該室データは、幾つかの実施形態では、対毎に平行ではない、及び／又は接続される境界間で直角を呈さない、意図する室の適切な近似を表し得る。

【0073】

殆どの実施形態において、上記室データは、境界の１つ、それ以上、又は典型的には全ての境界に関する音響データを更に含み得る。音響特性データは、具体的には、各壁に関する反射減衰尺度を含み得、該尺度は音が境界により反射された際に該境界により引き起こされる減衰を示す。他の例として、反射係数は、信号エネルギのうちの当該境界面から鏡面反射で反射される部分を示し得る。多くの実施形態において、減衰尺度は、反射が異なる周波数に対して異なり得ることをモデル化するために周波数依存性であり得る。更に、音響特性は境界面上の位置に依存し得る。

【0074】

受信器２０１は処理回路２０３に結合され、該処理回路は室内の（早期）反射を表すと共に、これらがレンダリング実行時にエミュレーションされることを可能にする当該室内／音響環境のための反射モデルを生成するように構成される。具体的には、処理回路２０３は元の室における元のオーディオソースの反射を表す仮想オーディオソースを決定するように構成される。

【0075】

処理回路２０３は、例えば個別の又は専用の電子回路の使用を含む任意の適切な形式で実装することができる。処理回路２０３は、例えば、特定用途向け集積回路（ＡＳＩＣ）等の集積回路として実装できる。幾つかの実施形態において、該回路は、例えば中央処理ユニット、デジタル信号処理ユニット又はマイクロコントローラ等の適切なプロセッサ上で実行されるファームウェア又はソフトウェア等のプログラムされた処理ユニットとして実装され得る。このような実施形態において、該処理ユニットは、オンボード又は外部メモリ、クロック駆動回路、インターフェース回路、ユーザインターフェース回路等を含み得る。そのような回路は、更に、処理ユニットの一部として、集積回路として、及び／又は個別の電子回路として実装され得る。

【0076】

処理回路２０３はレンダリング回路２０５に結合され、該レンダリング回路は、前記オーディオソースを及び典型的には複数の他のオーディオソースも表すオーディオ信号をレンダリングして、オーディオシーンのレンダリングを提供するように構成される。レンダリング回路２０５は、具体的には、元のオーディオソースからのオーディオを特徴付けるオーディオデータを受信し、これを任意の適切なレンダリング手法及び技術に従ってレンダリングすることができる。元のオーディオソースのレンダリングは、処理回路２０３により生成された反射モデルに基づく反射されたオーディオの生成を含み得る。更に、通常は、元のオーディオソースの直接経路及び残響に対応する信号成分もレンダリングされるであろう。当業者であれば、オーディオをレンダリングするための多くの異なるアプローチ（空間スピーカ構成及び例えばバイノーラル処理を使用するヘッドフォンのためのものを含む）に気付くであろう。これらに関しては、簡潔化のために、更に詳細には説明しない。

【0077】

このように、レンダリング回路２０５は室のオーディオソース（の少なくとも１つ）からのオーディオを含むオーディオ出力信号を生成できる。所与のオーディオソースからのオーディオは、室の特性に従って処理される。特に、上記オーディオ出力信号は、少なくとも所与のオーディオソースの反射を表す１つの成分を含むように生成され、該成分は、オーディオソースが（反射モデルの）ミラー位置（鏡像位置）に配置された場合に該オーディオソースから生じるであろう成分として決定される。例えば、成分は、ミラー位置からの直接経路から、恐らくはモデル化されている反射の壁／境界の反射成分に対応する（恐らく周波数選択的な）減衰を伴って、到達すると知覚されるように生成され得る。

【0078】

多くの実施形態では、元の室に対して室応答関数が生成され、この関数はミラー位置に配置されたオーディオソースからのオーディオを表す反射成分を含む。例えば、該室応答は、モデル化されている反射に関係する壁の反射特性を含むように修正された、ミラー位置から聴取位置までの直接経路の音響伝達関数（例えば、飛行時間遅延、距離減衰及び頭部関連インパルス応答）を表す寄与分を含み得る。通常、室応答は多くのそのような寄与分から生成され、各々は１つの早期反射を表す。

【0079】

レンダリング回路２０５は、各オーディオソースを、室／位置に関して決定されると共に早期反射を表す斯様な寄与分を含む室応答によりフィルタリングするように構成され得る。

【0080】

レンダリング回路２０５は、例えば、個別の又は専用の電子回路の使用を含む、任意の適切な形式で実施化できる。レンダリング回路２０５は、例えば、特定用途向け集積回路（ＡＳＩＣ）等の集積回路として実施化され得る。幾つかの実施形態において、該回路は、例えば中央処理ユニット、デジタル信号処理ユニット、又はマイクロコントローラ等の適切なプロセッサ上で実行されるファームウェア又はソフトウェア等のプログラムされた処理ユニットとして実施化され得る。このような実施形態において、上記処理ユニットは、オンボード又は外部メモリ、クロック駆動回路、インターフェース回路、ユーザインターフェース回路等を含み得ることが理解されよう。このような回路は、更に、処理ユニットの一部として、集積回路として、及び／又は個別の電子回路として実施化され得る。

【0081】

処理回路２０３は、特に、反射に対するミラーソースモデルを生成するように構成される。ミラーソースモデルにおいて、反射は個別の仮想オーディオソースによりモデル化され、その場合、各仮想オーディオソースは元のオーディオソースの複製であり、元の室の外側にある（仮想）位置であるが、当該仮想位置から聴取位置までの直接経路が元のオーディオソースから聴取位置までの反射経路と同じ特性を示すような位置にある（仮想）位置を有する。具体的には、反射を表す仮想オーディオソースの経路長は、元のオーディオソースから聴取位置までの反射された経路の経路長と等しくなるであろう。更に、仮想サウンドソースの経路に関する聴取位置における到来方向は、反射された経路に関する到来方向と同じであろう。更に、反射された経路に関する境界（例えば、壁）による各反射に対して、当該直接経路は反射境界に対応する境界を通過するであろう。したがって、当該モデル境界を経る透過を、反射効果を直接モデル化するために使用でき、例えば、境界の反射減衰に対応する減衰を、対応するモデル境界を経る透過に割り当てることができる。

【0082】

ミラーソースモデルの特に重要な特性は、聴取位置に依存しないことである。決定された位置及び室の構造は、元の室内の全ての位置に対して正しい結果を提供するようなものである。具体的には、仮想ミラーオーディオソース及び仮想ミラー室が生成され、これらを元の室における任意の位置に関する反射動作をモデル化するために使用できる。すなわち、これらを、元の室内の任意の位置に関する経路長、反射、到来方向を決定するために使用できる。このように、ミラーソースモデルの生成は初期化プロセス中に行うことができ、生成されたモデルは、例えばユーザは元の室内で動き回る（平行移動及び／又は回転）と考えられるので、継続的かつ動的に使用及び評価することができる。このように、ミラーソースモデルの生成は実際の聴取位置の如何なる考慮もなしで実行され、むしろ、より一般的なモデルが生成される。

【0083】

しかしながら、オーディオソースが移動する場合、モデルは、該移動が反射にどの様に影響するかを反映するために更新されねばならない。すなわち、オーディオソースの位置が元の室内で変化するにつれて、反射を表すオーディオソースの対応するミラー位置も変化する。このことは、モデルが新たなミラー位置を反映するように更新されることを必要とする。多くの実施形態において、モデルは、新たな位置及びミラー位置を反映するように相対的に頻繁に更新される必要があり得る。しかしながら、ミラー位置を決定するプロセスは複雑で資源を多く要するものである傾向があり、したがって、そのような更新も複雑で資源を多く要する傾向がある。多くの場合、レンダリングされるオーディオの知覚される精度及び結果としてのユーザ体験は、利用可能な計算資源により制限され得る。レンダリングされるオーディオの知覚される品質（及び、特に、これがどれほどリアルに見えるか）と、計算資源要件との間のトレードオフの改善が望まれる。したがって、元の室におけるオーディオソースのミラー位置を決定／更新するための効率的で高性能なアプローチが強く望まれている。

【0084】

処理回路２０３は、元の室における反射を仮想ミラーオーディオソースからの直接経路によりエミュレーションできるミラーオーディオソースモデルを生成することができる。

【0085】

図３に示されるように、反射されたサウンド成分は、ミラーリングされたオーディオソースの直接経路としてレンダリングでき、この直接経路は聴取者に対し正しい距離及び入射方向を表す。このことは、元の室における全ての位置に当てはまり、異なる聴取位置に対して新たなミラーオーディオソースの位置を決定する必要はない。むしろ、該仮想ミラーソースは、元の室内の全てのユーザ位置に対して有効である。しかしながら、オーディオソースの位置が変化した場合、反射を正確に表現するために新たなミラーの位置を決定する必要があろう。

【0086】

この仮想ミラーソースを生成する場合、前述したように、反射効果を考慮することができる。このことは、通常、室間の各移行に対して、オーディオソースのエネルギのうちの横断される境界の表面により鏡面反射される部分を表す減衰又は周波数依存性フィルタリングを割り当てることにより実現できる。

【0087】

サウンド（音）は複数の境界反射を経てユーザに到達し得るので、当該アプローチは図４に示すように繰り返すことができる。処理回路２０３は、例えば、生成されるべきミラー室及びミラーソースの複数の「層」を決定でき、これにより複数の反射がモデル化されることを可能にする。各「レイヤ」は当該経路の反射の数を増加させる。すなわち、最初の反復は１回の反射を経て聴取位置に到達するサウンド成分を表し、２番目の反復は２回の反射を経て聴取位置に到達するサウンド成分を表す。各「レイヤ」は反射次数に対応し得、したがって、例えば第１のレイヤは単一の境界の反射を表すもので、元の室のミラーリングから得られるミラー室により表され、第２のレイヤは２つの境界にわたる反射を表すもので、第１の「レイヤ」のミラー室の境界に対するミラーリングから得られるミラー室により表される。ミラー室の第３、第４等のレイヤは、適宜、より高次の反射を表すために使用できる。

【0088】

当該アプローチは、典型的に、所与の次数の反射を表す特定の次数／レイヤ（一定数のミラーリング）に達するまで室を連続してミラーリングする場合、元の室及びミラーリングされた室のダイヤモンド形の表現を生じる。これが、図５に２Ｄで、二次までに関して、すなわち２つのミラー層で以って示されている。３Ｄの場合、元の室の断面で見れば、同様の構造が存在するであろう（すなわち、５つの室の行を通る垂直面において同じパターンが見られるであろう）。

【0089】

しかしながら、上述したアプローチの原理は相対的に容易に見えるかもしれないが、実際の実施化はそうではなく、実際に、該アプローチの性能にとり実際的な配慮が重要である。

【0090】

例えば、多くのアプリケーションにおいて、室及びオーディオソースを表すために使用される座標系は境界の方向と整列されない場合がある。このことは、ミラーリングを計算するのが余り容易でないようにさせる。これが、一度に２以上の次元に影響するからである。このような場合、室の境界及びオーディオソースを回転して座標系と整列させる必要があると共に、全ての後に決定される全ての仮想ミラーソースを逆方向に回転しなければならないか、又はミラーリング自体を２以上の次元で実行する必要があるか（例えば、境界の法線ベクトルを使用して）のいずれかである。多くの状況では、後者のアプローチの方が効率的であろう。

【0091】

更に、ミラー位置を決定するための複雑さ及び計算資源の要件は高くなる傾向があり、したがって、複雑さの問題はオーディオソースの位置が変化し得るアプリケーションでは悪化される。このような変化は、ＡＲ、ＶＲ、ゲーム又は他の没入型体験等の、現在の多くの実際的なアプリケーションではありそうである。これらの変化は、例えば、歩き回りながら話しているキャラクター若しくは他のユーザ等の動画化された要素、又は他の能動的な要素（動物、ロボット、乗り物等）から生じ得る。また、新たなソースが、後の時点で室内に導入され得、又は能動的になり得る。

【0092】

オーディオソースの位置が変化し得るか、又は新たなソースが導入され得るアプリケーションの場合、ミラーの位置は更新されねばならない。しかしながら、全ての反復的ミラーリングを実行するプロセスは、非常に多くの計算資源を必要とする傾向がある。

【0093】

例えば、室内の全てのオーディオソースに対して、ソースの動きをリアルに追跡するのに十分な時間分解能で、かつ、十分な反射次数（通常、良好な品質のためには４次～５次が必要とされる）でミラーリングされたオーディオソースを生成することは、非常に多くの計算能力を必要とする。実際に、５次の反射は、室内の元のソース当たり２３０個の固有のミラーリングされたソースを計算することを要する。滑らかな動きのためには、通常、９０Ｈｚのアニメーション更新レートが推奨される。したがって、シミュレートされる室内の各移動ソースに対して、２３０個のミラーリングされたソースが、毎秒９０回再計算されねばならない。サウンドソースをミラーリングすることに加えて、室もミラーリングされることを要し、特に、ミラーリングされた室を生成するために室の定義がミラーリングされる。これにより、各室の更新ごとに処理されるべき４つの更なる位置が追加される。

【0094】

秒当たりのミラーリング演算の数は：

【数1】

と推定できる。

【0095】

ヨーロッパ特許出願公開第３８２８８８２号の手法で使用されるもの等の典型的なミラーリング演算は、特定の面に対するミラーリングを初期化するために、ミラーリングされる室当たり１１の演算及び追加の２５の演算（平方根を含む）を必要とする。したがって、秒当たりの演算の最小数は：

【数2】

となる。

【0096】

これは、１つ～５つのソースを更新する場合、１．７～２．６ＭＯＰＳの範囲となる。更に、固有の室を見つけるための管理及び論理を実行する必要がある。このレートで当該イメージソース法を再実行することは、非常に計算的に負荷の大きなものである。

【0097】

図２の処理回路２０３は、計算資源の使用量を大幅に削減できる非常に効率的なアプローチを使用するように構成される。該アプローチは、特に、室の反射を表すミラー位置の一層高速の及び／又は容易な決定及び更新を可能にできる。

【0098】

該アプローチは、所望のミラー室に到達するまで個々の位置を直接ミラーリングすることに基づくのではなく、代わりに、相対的な位置のオフセットを決定すると共に、これらを関連するミラー室（又は複数のミラー室）に直接マッピングすることに基づくものである。該アプローチは、元の室及び個々のミラー室における対応する基準位置を決定し、次いで、元の室における相対位置オフセットとミラー室における相対オフセットとの間で典型的に（位置に依存せず、距離を維持する）マッピングを実行することに基づくものである。ミラー室における位置は、次いで、結果として得られる相対オフセット及びミラー基準位置から決定される。このように、該アプローチは、オーディオソース位置に伴い変化する相対オフセットのマッピング、及びオーディオソース位置に（必ずしも）依存しない基準位置に基づいている。

【0099】

上記マッピングは、具体的には、位置及び／又はオフセット非依存性／独立性であり得る。すなわち、ソース位置オフセットに適用されるマッピングは、ソース位置オフセット自体、基準位置、及び元の室におけるオーディオソース位置から独立したものであり得る。更に、該マッピングは距離非依存型／保存型であり得、特に、該マッピングはミラー位置オフセットの長さ／大きさがソース位置オフセットと同一となるようなものであり得る。多くの実施形態において、該マッピングは元の室の幾何学形状のみに依存し得る。多くの実施形態において、該マッピングはオーディオソースの特性から独立したものであり得る。

【0100】

例示的なアプローチを、図６のフローチャートを参照して詳細に説明する。

【0101】

ステップ６０１において、処理回路２０３は受信器２０１から元の室の境界を記述するデータを受信し、恐らくはオーディオソースに関するオーディオデータ及び位置データも受信し得る。幾つかの実施形態では、異なるタイプのデータが異なるソースから受信され得る。

【0102】

ステップ６０１にはステップ６０３が続き、該ステップ６０３において、処理回路２０３は各ミラー室が元の室又は前のミラー室のミラーリングから得られる一群のミラー室を生成する。ミラー室を生成するためのミラーリングは、前のミラー室（特には、元の室であり得る）の境界に対するミラーリングによるものである。当該プロセスは、元の室が前のミラー室である状態で開始されるであろう。

【0103】

例えば、第１のミラー室は、元の室の角／境界／壁を該元の室の第１の境界／壁に対してミラーリングすることにより生成され得る。次いで、第２のミラー室が元の室の角／境界／壁を元の室の他の境界／壁に対してミラーリングすることにより生成され得、次いで、第３のミラー室が元の室の角／境界／壁を元の室の第３の境界／壁に対してミラーリングすることにより生成され得、等々となる。次いで、処理回路２０３は前に生成されたミラー室をミラーリングすることにより第２レイヤのミラー室を生成する過程に進むことができる。

【0104】

例えば、ミラー室を前に生成されたミラー室のうちの第１のものの角／境界／壁を該前に生成されたミラー室のうちの該第１のものの第１の角／境界／壁に対してミラーリングすることにより生成でき、他のミラー室を斯様にして生成されたミラー室の角／境界／壁をミラーリングすることにより生成でき、等々となる。このプロセスは、前の反復で生成された他の全てのミラー室に対して繰り返され得る。このプロセスは、次いで、新たに生成されたミラー室に基づいて繰り返され得、等々となる。所与のミラー室は、通常、異なるシーケンスのミラーリングから生じ得、処理回路２０３は、例えば既に生成されたものと同一のミラー室をもたらすシーケンス／ミラーリングを破棄することにより、各々の１つのコピーだけを生成するように構成され得る。ヨーロッパ特許出願公開第３８２８８８２号は、ミラー室を生成し、異なるシーケンス間で選択する特に効率的な方法を開示している。

【0105】

このように、ステップ６０３は元の室の一群のミラー室を記述し、その場合において、各ミラー室は元の室の一群の境界にわたる反射に対応する（該一群の境界はミラーリングが実行された境界に対応する）。元の室における所与のオーディオソースに対して、各ミラー室は、ミラー室位置から聴取者位置までの直接経路が元の室内の反射経路と合致するような単一の反射オーディオソースを有する。

【0106】

上記例においては、ミラー室の座標／特性（角の座標等）が決定され、処理のために記憶され得る。幾つかの実施形態及び応用例において、各ミラー室は、例えば後に更に説明される基準位置及びマッピングによってのみ表され得る。多くの実施形態においては、伝達関数特性を記憶することができ、具体的には、ミラーシーケンスに含まれる境界／壁の１以上の反射係数／反射特性に関する伝達関数（したがって、ミラー室により表される反射に対応する）を記憶し、オーディオのために使用することができる。

【0107】

幾つかの実施形態において、ミラー室は初期化手順中には生成されず、むしろ、新たなミラー室を生成するための手順が必要とされる／望まれる際及び場合に実行され得る。具体的には、所与の反射を表す所与のミラー室に関する特性が、当該反射がモデル化されている場合にのみ生成され得る。

【0108】

このように、各ミラー室は、元の室の１以上のミラーリングにより生成され／対応し得、各ミラーリングは元の室又はミラー室の境界に対するものである。

【0109】

ステップ６０３にはステップ６０５が後続し、該ステップ６０５においては、第１の室においてソース基準位置が決定される。該ソース基準位置は、例えば室の中心、室の角、又は例えば室内の任意の位置であり得る。多くの実施形態においては、室の中心がソース基準位置として有利に使用され得る。ソース基準位置に対する平均オフセットが最小になる（殆どの実用的なオーディオソース分布に対して）ことを可能にし得るからである。ソース基準位置の位置は、通常、重要ではなく、多くの実施形態においては、元の室内の任意の位置をソース基準位置として決定することができる。実際に、幾つかの実施形態において、ソース基準位置は更新又は変更できる（もっとも、これは、通常、低い更新レートによるものであろう。ミラー室における対応する基準位置の新たな決定を要するからである）。

【0110】

ステップ６０５にはステップ６０７が後続し、該ステップ６０７においては、ミラー室において基準位置が決定される。所与のミラー室に関するミラー基準位置は、ミラー室において生じるミラーリングをソース基準位置に適用することにより得られるミラー室内の位置である。このように、前のミラー室（元の室が第１のミラー室である）の境界に対する一連の１以上のミラーリングをソース基準位置に適用すると、ミラー基準位置が得られる。

【0111】

ソース基準位置の決定（６０５）及びミラー室における基準位置の決定（６０７）は、ミラー室の決定（６０３）と組み合わせることができる。特に、幾つかの実施形態では、元の室の角の１つがソース基準位置であり得、対応するミラーリングされた角がミラー室内の基準位置であり得る。

【0112】

ステップ６０７にはステップ６０９が続き、該ステップ６０９においては、ミラー室が選択される。次いで、当該方法は、ミラー室における元の室のオーディオソース位置の該ミラー室へのミラーリングに対応するミラー位置を決定する。このように、該ミラー位置は、元の室における反射経路と一致する聴取位置への直接経路の位置に対応する。当該アプローチにおいて、上記ミラー位置の決定は、（反復される）ミラー演算が異なる室におけるオーディオソース位置に適用されることに基づくものではない。むしろ、相対位置オフセットが決定され、ミラー室への（直接）マッピングが適用され、ミラー位置はマッピングされたオフセットに基づいて決定される。

【0113】

特に、ステップ６０９にはステップ６１１が後続し、該ステップ６１１においては現在のミラー室に関するオフセットマッピングが決定される。多くの実施形態において、該マッピングは記憶部／メモリから取り込まれる。例えば、マッピングはステップ６０３において決定され、生成されたミラー室の各々に関してメモリに記憶され得る。このように、ステップ６１１は、メモリに記憶された現在のミラー室に関する適切なマッピングを簡単に抽出することができる。マッピングデータは、通常、マッピング行列、元の室におけるソース基準位置、及び現在のミラー室における基準位置を含む。

【0114】

ステップ６１１にはステップ６１３が後続し、該ステップ６１３においてはミラー位置が決定されるべき現在のオーディオソースが選択される。

【0115】

ステップ６１３にはステップ６１５が後続し、該ステップ６１５においては、選択されたミラー室内の選択されたオーディオソースのミラー位置が、現在のミラー室のマッピングデータを使用して決定される。

【0116】

次いで、当該方法はステップ６１３に戻り、該ステップ６１３においては、次のオーディオソースが選択され、次いで当該方法はステップ６１５に進んで、該新しいオーディオソースに対するミラー位置が決定される。ステップ６１３は、有利には、現在の室に対する前のミラーソース計算以降に相当の量を移動した又は新たに導入されたソースのみを選択し得る。更なるオーディオソースを処理する必要がない場合、当該方法はステップ６０９に戻り、該ステップにおいては次のミラー室が選択され、その後、当該方法は該次のミラー室のミラー位置を決定する。更なるミラー室が処理されることを要さない場合、当該方法はステップ６１７に進む。

【0117】

異なる実施形態では、ミラー室及びオーディオソースがどの様に（又は何のミラー室及びオーディオソースが）処理されるべきかを決定するための異なる基準が、特定の実装の好み及び要件に応じて使用され得ることが理解されるであろう。例えば、多くの実施形態では、所与の数Ｎ以下のミラーリングにより生成できるミラー室までの全てのミラー室が処理（及び生成）され得、全ての点オーディオソースに対するこれら全てのミラー室におけるミラー位置が決定され得る。他の実施形態では、例えば、音量／レベルが所与の閾値を超えるオーディオソース、又は距離が所与の閾値を下回る反射のみを含む等の、他の選択を用いることができる。また、ミラー室及びオーディオソースを通過する順序は異なる実施形態では異なってもよく（ループの順序／入れ子は変更でき）、及び／又は例えば並列処理を適用できることも理解されよう。

【0118】

ステップ６１５はステップ６１７により後続され、該ステップ６１７においては、室並びに現在のオーディオソース及び位置に対してオーディオモデル／室応答が生成される。具体的に言うと、該モデルは、オーディオソースの各々（又は恐らくは部分組のみ）に関して、直接経路、早期反射及び残響の表現を含む伝達関数を決定することができる。早期反射は、ミラー位置に基づいて決定される寄与分により（例えば、各反射に対する単一のタップとして）表される。すなわち、反射は、ミラー位置からの直接経路に対応すると共に境界の反射特性を考慮に入れた伝達関数により修正されたオーディオソースに対応する寄与分により表され得る。

【0119】

当該モデルは、聴取者の位置及び向きに依存するバイノーラルインパルス応答を表す２つのインパルス応答であり得る。多くの実施形態において、該モデルはソース当たり複数のインパルス応答であり得、各インパルスは元の室における異なる位置、又はユーザのプレイ領域におけるスピーカに関係するものであり得る。

【0120】

当該モデルには、典型的に、室の境界での反射による減衰（恐らくは周波数に依存する）をモデル化するための反射係数／フィルタ、又は同様の材料特性も含むであろう。

【0121】

ステップ６１７にはステップ６１９が続き、該ステップ６１９においては、オーディオ信号がオーディオソース及び決定されたミラー位置に基づいて生成される。具体的に言うと、オーディオ信号は、各オーディオソースに関するオーディオ信号寄与分をステップ６１７で決定された伝達関数を使用して決定し、これらのオーディオ成分を組み合わせることによりオーディオ信号を生成することにより生成され得る。

【0122】

オーディオ信号は、ステップ６１７で生成されたインパルス応答に基づいて生成され得る。このことは、当該信号のインパルス応答との畳み込みにより行われ得る。可能性として、２以上の処理ステップにおけるものである。例えば、最初にソース信号が上記複数のインパルス応答で処理され、次いで、結果として生じる複数の信号のＨＲＴＦ処理が、現在のユーザ位置に対する元の室内の各インパルス応答に関連する位置に対応するＨＲＴＦで適用され得る。後者のアプローチは、ユーザがヘッドフォンを装着しており、ヘッドトラッキングされている場合に特に有利である。これは、例えば、インパルス応答を高速で再計算する必要性を回避し得る。

【0123】

多くの実施形態では、方向の手掛かりを含むバイノーラルステレオ信号が生成され得る。このような信号は、当業技術でよく知られているように、バイノーラルフィルタリング及び処理、例えばＨＲＴＦ又はＢＲＩＲ処理を使用して生成することができる。

【0124】

オーディオ信号をオーディオソース及び位置に基づいて生成するための多くの異なるアプローチ、アルゴリズム及びプロセスが既知であり、本発明から逸脱することなく任意の適切なアプローチを使用できることが理解されよう。

【0125】

当該アプローチは、特に効率的であって、計算的要件を大幅に削減することを可能にするミラー位置を決定するためのアプローチを使用する。当該アプローチは、所与の計算資源に対して、位置のより高速な更新及び／又はよりリアルな処理を可能にし、結果として大幅に改善されたユーザ体験を可能にするようなオーディオ処理を可能にし得る大幅に高速なオーディオ処理を可能にし得る。

【0126】

ステップ６１５のプロセスは、特に、図７のアプローチのステップを実行することができる。当該プロセスはステップ７０１で開始され、該ステップにおいては、現在のオーディオソースに関してソース位置オフセットが決定される。該ソース位置オフセットは、ソース基準位置とオーディオソースの位置との間の空間的オフセット／差を表す。ソース位置オフセットは、具体的には、ソース基準位置からオーディオソース位置への（又は、幾つかの実施形態では、ソース位置オフセットからソース基準位置への）ベクトルとして決定され得る。例えば、処理回路２０３は、オーディオソース位置の座標からソース基準位置の座標を減算して、ソース位置オフセットを生成することができる。オフセットは、典型的には、ベクトルにより表される。

【0127】

幾つかの実施形態では、（典型的には単調な）関数が、例えば、上記座標又は差に適用されて、ソース位置オフセットとソース基準位置との間の差を反映するが、直にはこれらの位置の間のベクトルではないソース位置オフセットを決定できる（例えば、（恐らくは非線形）スケーリングを適用できる）。

【0128】

ステップ７０１にはステップ７０３が後続し、該ステップ７０３では、現在のミラー室に関する取り出されたマッピングがソース位置オフセットに適用されて、ミラー位置オフセットを生成する。該マッピングは、ミラー位置オフセットはソース位置オフセットに対応するが、ミラー室をもたらす一連のミラーリングのミラーリングに従ってソース位置オフセットをミラーリングすることから生じる方向の変化を考慮に入れるようなものである。具体的には、多くの実施形態において、該マッピングは、ミラー位置オフセット（ベクトル）のサイズがソース位置オフセット（ベクトル）のものと同一であるような距離保存型マッピングであり得る。該マッピングは、ソース位置オフセットの方向から、一連のミラーリングに従ってソース位置オフセットをミラーリングすることから生じるミラー位置オフセットの方向への方向マッピングを実行し得る。

【0129】

ソース位置オフセットの生成がスケーリング又は他の関数を含む場合のような幾つかの実施形態では、マッピングがそのようなスケーリングを考慮に入れると共に、逆関数を含み得るか、又は逆関数を後に適用することができる。実際に、そのような関数及び逆関数は、当該マッピングの一部とみなされ、マッピング演算に含まれるものとみなされ得る。

【0130】

ステップ７０３にはステップ７０５が後続し、該ステップ７０５では、オーディオソースのミラー位置（すなわち、ミラー室によりモデル化される反射を表すミラー室内の位置）がミラー基準位置及びミラー位置オフセットから決定される。具体的には、ミラー基準位置がミラー位置オフセットにしたがいオフセットされて、ミラー位置を生じさせ得る。例えば、多くの実施形態において、ミラー位置オフセットはベクトルであり得、該ベクトルがミラー基準位置の座標に加算されてミラー位置の座標を生じさせる。

【0131】

このように、当該アプローチは、ミラー位置を決定するためにオーディオソース位置の個々の繰り返しミラーリングを実行するのではなく、代わりに、元の室における基準位置に対する相対オフセットを決定し、次いで、これをミラー室におけるオフセットに直接マッピングし、ミラー基準位置と組み合わされてミラー位置を決定する。発明者は、元の室内の基準位置に対する相対的な位置オフセットを使用することにより、オフセットに直接マッピングを適用できるということを理解した。特に、オフセットに適用されるマッピングは、オーディオソースの位置（又はオフセット）に依存することはなく、したがって、一度決定すれば全ての位置に適用することができる。更に、該マッピングは、ミラーリングから生じる方向の変化を反映することにより、ミラーリング演算が実行されることを要せずに、ミラーリングを反映することができる。特に、多くの実施形態において、ミラー位置オフセット及びソース位置オフセットの距離／サイズは同じであり得、当該マッピングは、元の室とミラー室との間のミラーリングを反映する方向のみをマッピングすればよい。

【0132】

幾つかの実施形態において、当該マッピングは、例えば、所定の関数がソース位置オフセットに適用されるものとして実装され得る。具体的には、多くの実施形態において、当該マッピングはルックアップテーブル（ＬＵＴ）として実装され得、一群の座標により表されるソース位置オフセットが該テーブルルックアップの入力とり、該ＬＵＴの出力が該ミラー位置オフセットの座標に対応する。

【0133】

多くの実施形態において、当該マッピングはマッピング行列により表すことができ、該マッピングは、ソース位置オフセットに対して、ベクトルとして表される該ソース位置オフセットが該マッピング行列により乗算されることにより適用され得る。このように、マッピング行列とソース位置オフセットベクトルとを乗算する結果、ミラー位置オフセットベクトルが得られる。多くの実施形態において、当該処理は、３つの座標を含むベクトル及び３×３行列であるマッピング行列を用いて三次元空間で実行され、これにより、３成分（具体的には三次元）ベクトルの他の３成分（具体的には三次元）ベクトルへのマッピングを行う。

【0134】

幾つかの実施形態において、当該処理は三次元処理でなくてもよく、例えば二次元処理であってもよい。例えば、全てのオーディオソース及び聴取位置は同じ高さにあり、したがって垂直位置は一定のままで水平位置のみが変化し得ると仮定することができる。このような事例において、当該オフセットは 二次元であり、具体的には 二次元の水平面内でのオフセットのみを表し得る。このような場合、当該マッピングは二次元とすることができ、具体的には、前記マッピング行列は二次元ソース位置オフセットを二次元ミラー位置オフセットにマッピングする２×２行列であり得る。このようなアプローチは、三次元処理と同じ柔軟性は提供できないが、複雑さが軽減され、計算資源の使用量が削減された一層効率的な処理を提供することができる。

【0135】

具体的には、元の室内のオーディオソースの反射を表す各仮想ミラーソース

【数3】

に関して、該オーディオソースの変化された位置に対する新たなミラーの位置は：

【数4】

と計算でき、ここで、

【数5】

はミラー室ｉのミラー基準位置であり、

【数6】

は元の室の基準点におけるソース基準位置であり、

【数7】

は該オーディオソースの新たな元のソース位置であり、Ｍ_ｉはミラー室ｉに関する相対修正行列（マッピング行列）であり、

【数8】

はミラー室ｉにおける新たなミラー位置である。ベクトルｐ^－は、典型的には三次元シミュレーションに対して３つの要素を持つ列行列であり、Ｍ_ｉは３×３の行列である。

【0136】

当該アプローチは、元の室における或る距離の移動は各ミラー室でも同じ距離による移動を生じ得るという発明者の理解を反映できる。ミラーリングされた室における対応する仮想ミラーソースの該位置デルタ／オフセットは、ミラーリング演算のため、特に当該室が座標軸とずれている場合、元の室におけるものと同じではない。結果として、元の室における所与の方向に対して、ミラーリングされたソースがどの方向に移動するかは些細なことではない。しかしながら、当該アプローチでは、この特性をミラーリング演算を実行して決定するというよりも、当該方法が元の室におけるオフセットをミラー室における対応するオフセットに直接マッピングするように構成される。このようなマッピングは、境界が座標軸と整列されていない場合でも有利に使用でき、この場合、特に効率的な動作及び資源節約を提供することができる。

【0137】

当該アプローチは、元の室における少なくとも１つの基準位置に関して、適切なミラーリングによりミラー室における対応する基準位置を、例えば一度だけ（例えば、初期化フェーズの一部として）決定することに基づくものであり得る。同様に、方向のためのマッピング、特にマッピング行列は１回だけ決定され得る。

【0138】

マッピング、特にマッピング行列の使用は、移動するオーディオソースのための更新の複雑さの低減を可能にする。マッピングは、ミラーリングされた室内の点の座標が、元の室内の対応する点の軸に沿った変化の関数としてどの様に変化するかを捕捉できる。したがって、元の室内の任意の既知の位置及び対応する仮想ミラーソース位置を使用して、元の室内の任意の新たな位置の仮想ミラーソース位置を計算できる。該アプローチは、基準位置までのオフセットに基づいて、及び対応する基準ミラーソース位置に相対修正行列を適用して、既存のミラーソース位置を更新し、又は新たなミラーソース位置を生成するために使用することができる。

【0139】

当該アプローチは、移動するソースに関連するミラーソース位置が、（連続する）ミラーリング演算を計算することなく定期的に更新されることを可能にし、したがって、大幅に改善された性能をもたらし得る。

【0140】

当該アプローチは、ミラー室の室特性を決定するためにも使用できることが理解されるであろう。例えば、初期化中に、マッピング、ソース基準位置、及びミラー基準位置を決定することができる。これらの決定に基づいて、処理回路２０３はミラー室特性を決定することができる。例えば、各角に関して、該角とソース位置オフセットとの間の相対オフセットを決定でき、該オフセットにマッピングを適用することができ、結果として得られるオフセットをミラー基準位置と組み合わせて、対応するミラー室の角を決定することができる。このようなアプローチは、ミラー室の特性を決定するための効率的なアプローチを提供できる。

【0141】

当該マッピングの決定は、異なる実施形態では異なる方法で実行できる。例えば、ミラー室が元の室の境界に対する単一のミラーリングである場合、マッピングは、座標系の軸と整列された単位ベクトルに対応したオフセットを有するミラー室内の位置に対してミラー演算を実行することにより考慮され得る。例えば、処理回路２０３は、ソース基準位置に［１，０，０］ベクトルを加算することにより第１の位置を決定できる。該回路は、次いで、ミラーリングされる位置からミラー基準位置を減算することにより、ミラー室内のオフセットを決定できる。このオフセットは、［１，０，０］オフセットのマッピング、すなわちソース位置オフセットの第１の座標に対するミラー位置オフセットの依存性を表す。このように、当該座標は、ミラー室のためのマッピング行列の第１の行として使用できる。同じアプローチを、［０，１，０］及び［０，０，１］のオフセットに各々適用して、マッピング行列の第２及び第３の行を決定することができる。

【0142】

複数のミラーリングのシーケンスから生じる他のミラー室の場合、ソースルームに対し同じ単位ベクトルを使用することができ、該ミラーリングのシーケンスは、当該ミラー室のオフセットを提供するためにミラー基準位置を減算したミラー室内の結果的位置で、すなわち当該ミラー室に対するマッピング行列の適切な行で実行され得る。

【0143】

多くの実施形態では、反復的／相関されたアプローチを使用することにより、複雑さの低減及び計算的負荷の軽減を達成することができる。特に、靴箱状の室の場合、ミラーリングは対応する境界に対するものであろう。このように、ミラー室の１つの境界に対するミラーリングは、元の室の対応する境界に対するミラーリングと同一であろう。かくして、そのようなミラーリングは、元の室からの対応するミラーリングと一致する。このように、元の室のミラーリングの結果として当該ミラー室に対して決定されたマッピング（行列）は、現在のミラーリングにも適用される。したがって、上記マッピング行列は、このミラーリングを表すためにも使用できる。すなわち、ミラーリングは、すでに決定されたマッピング行列により表すことができる。このように、一連のミラーリングの結果として生じるミラー室の場合、各ミラーリングは元の室の境界に対して決定されたマッピング行列に対応する。したがって、ミラー室のための全体のマッピング行列は、個々のミラーリングに対応する個々のマッピング（部分）行列を乗算した結果として決定できる。具体的には、現在のミラー室のためのマッピング行列は、現在のミラー室を生成する最後の／新たなミラーリングのためのマッピング行列（このマッピング行列は、元の室の対応する境界に対して決定されたものである）と、当該ミラーリングが実行されるミラー室に対して決定されたマッピング行列を乗算することにより決定できる。このように、反復的アプローチを使用することができる。

【0144】

多くの実施形態では、単一の室境界に対するミラーリングから生じる方向の変化を表す一群の境界ミラーマッピング行列を決定することができる。該境界ミラーマッピングは、単一のミラーリングの結果としての、特に元の室の境界に対する単一のミラーリングに関するオフセットに適用されるべきマッピングを表し得る。このような単一境界イメージングマッピング行列を、境界ミラーマッピング行列と呼ぶことができる。当該一群の境界ミラーマッピング行列は、具体的には、ソース室の単一のミラーリングから生じるミラー室のためのマッピング行列を含み得る。

【0145】

多くの実施形態において、境界に対するミラーリングの幾つかは、同一の境界ミラーマッピング行列を生じ得る。特に、靴箱状の室の場合、平行な境界（例えば、対向する壁）のための境界ミラーマッピング行列は同一である。このように、幾つかの実施形態において、第１の室の平行な室境界は、同一の境界ミラーマッピング行列とリンクされる。幾つかの実施形態では、第１の室の少なくとも２つの平行な室境界が、単一の境界ミラーマッピング行列とリンクされる。

【0146】

このように、幾つかの実施形態において、境界ミラーマッピング行列の組は、境界の数よりも少ない行列を含み得る。例えば、三次元処理の場合、境界ミラーマッピング行列の組は３つの境界ミラーマッピング行列を含み得る一方、二次元処理の場合、境界ミラーマッピング行列の組は２つの境界ミラーマッピング行列を含み得る。

【0147】

当該アプローチでは、実行されることを要するミラーリング演算の数を減らすことができ、その代わりに、大幅に少ない計算資源で実行できるマッピング演算を広範囲に使用し得る。

【0148】

具体的には、初期化の間において、シミュレーションされる室内の単一のソース位置オフセットが、その境界（壁、床、天井）に対して１以上の次数でミラーリングされ得る。

【0149】

典型的に、特に室が座標軸に合わされていない場合、このことはミラーリングされる境界の正規化された法線ベクトルｎ^－（||ｎ^－||＝１の列ベクトル）を使用して行われる。例えば、境界面の方程式を完成させる値ｄ、
ｎ（１）・ｘ＋ｎ（２）・ｙ＋ｎ（３）・ｚ＝ｄ
を先ず見つけることによってである。

【0150】

これは、境界内の点（例えば、その角の１つ）のｘ、ｙ、ｚ座標を入力することにより簡単に見つけることができる。点ｐ^－をミラーリングするために、境界面における最寄りの点は、境界面の方程式に準拠したｐ^－＋α・ｎ^－におけるαを見つけることによるものである。これは、α＝ｄ－ｐ^－Ｔ・ｎ^－により達成され、ここで（・）^Ｔは転置を示す。この場合、ミラーリングされた点は、ｐ^－ _ｍ＝ｐ^－＋２・α・ｎ^－として与えられる。

【0151】

この原理は、室内の如何なる位置をミラーリングするためにも使用できる。しかしながら、当該演算は複雑であり、多くの実施形態において、説明されたアプローチは、このようなアプローチをミラー基準位置を決定するためだけに使用し得る。特に、例えば室自体の位置を含む他の位置（例えば角の位置）は、記載されたマッピングアプローチを使用して決定され得る。

【0152】

マッピング行列は、ミラー演算の法線ベクトルから導出することができる。更に、後続のミラー演算のための寄与分は、それに応じて行列を乗算することにより組み合わせることができる。

【0153】

単一のミラーリング演算のための行列は、具体的には：

【数9】

に従って計算でき、ここで、ｕ^－ _ｘ、ｕ^－ _ｙ及びｕ^－ _ｚはｘ、ｙ、ｚ軸の単位ベクトルである。したがって、典型的は：

【数10】

である。

【0154】

単一のミラーリング演算のマッピング行列は対称であり、各行（及び列）は、ミラーリング元の室における位置が１だけ変化した際のミラー室における結果的変化を表す。すなわち、行１は、考慮されている境界の反対側における室のｘ方向の＋１の変化からのミラー室における（ｘ，ｙ，ｚ）の変化に対応し、行２はｙ方向の＋１の変化に対応し、行３はｚ方向の＋１の変化に対応する。

【0155】

各ミラーリング演算は新たなミラーリングされた室、したがって、対応するマッピング行列、例えばＭ’の新たなミラーリングされたソースを生成する。次いで、該ミラーリングされた室は再びミラーリングされ、一層高次の反射を表すミラーリングされたソースを得ることができる。次に、該後続のミラーリング演算Ｍ”から計算された行列は、ミラーリング元の室からの行列と組み合わされて、ミラーリングのシーケンスＭ＝Ｍ’・Ｍ”を表すマッピング行列を提供することができる。

【0156】

元の室から所与のミラー室を生じたシーケンスの全てのミラーリング演算からのマッピング行列を結合することにより、該結合されたマッピング行列は元の室における変化を対応するミラーリングされた室の変化に関連付けることになる。

【0157】

特定のミラー室のミラーマッピング行列は、異なる平行対の各々からの最大で１つの境界ミラーマッピング行列及び対応するミラーリングシーケンスにおいて奇数回発生するミラーリングの境界ミラーマッピング行列のみを乗算するだけで効率的に決定できる。境界ミラーマッピング行列は、それ自体により偶数回乗算されると恒等行列になる。

【0158】

初期化の後、元の室における基準位置

【数11】

及び各々が対応するマッピング行列Ｍｉを伴う一群の基準ミラー位置

【数12】

が存在する。

【0159】

前述したように、各仮想ミラーソース

【数13】

に対して、新たな位置を

【数14】

により計算でき、ここで、

【数15】

はミラーリングされた室ｉの基準点であり、

【数16】

は元の室の基準点であり、

【数17】

は新たな元のソース位置であり、

【数18】

はミラーリングされた室ｉの新たな仮想ミラーソース位置である。ベクトルｐ^－は、典型的には長さ３で、Ｍ_ｉａ３×３行列の列ベクトルである。

【0160】

典型的なアプリケーションの場合、ｉの範囲はＩ個の室という大集合にわたるものである（例えば、３次の場合は６２、４次の場合は１２８、５次の場合は２３０である）。

【数19】

は全てのｉに対して同一であるので、一度しか計算されることを要さない。このように、多数のミラー室（したがって、高次の反射がモデル化される）にもかかわらず、当該アプローチは、それに応じて、計算的に非常に効率的な演算を可能にし得る。

【0161】

具体的には、元の室における如何なる追加のソース又は更新されたソースの位置に対しても、１つのオフセットベクトル計算に、このオフセットベクトルの行列との乗算、及び対応するミラー基準位置ベクトルとの合計が後続するだけである。少ない演算しか必要とされないことに加えて、これらの演算は最新のプロセッサアーキテクチャを使用する高速処理に特に適しており、例えば並列処理アーキテクチャに適したものであり得る。これらは、新たな又は更新されたソース位置に対してミラーリング手法を反復するアプローチよりも高速に実行できる。

【0162】

例えば、５次の反射が９０Ｈｚの更新レートでモデル化される先に提示した例は：
ＭＯＰＳ_{ｉｎｖｅｎｔｉｏｎ}＝９０・（２３０・１６・Ｎ_{ｓｏｕｒｃｅｓ}＋３）
の計算的負荷を生じ得、これは、１～５のソースを更新するには０．３～１．７ＭＯＰＳとなり、室発見簿記及びロジックは必要とされない。室内の典型的な数のアニメーションソースに対して、少なくとも３５～８０％の低減が達成され得る。

【0163】

更に、ミラーリングされるソースを更新するための当該アルゴリズムは並列ハードウェア構造を使用して非常に効率的に実行するために最新のプロセッサ上で実行できる一方、ミラーリングを使用する一層複雑なイメージソース法アルゴリズムの再実行は、１ つの室（すなわち、２３０のミラーリングされる室のうちの１つ）から小集合（例えば、３つ）の次の室へと移動して、殆ど順次に実行されねばならない。このことは、提案されたアプローチの利点を更に大いに増加させるものであり、ＭＯＰＳのみに基づく３５～８０％の低減よりも更に少ないスループット時間しか必要としないであろう。ＡＲ／ＶＲにおけるオーディオのリアルタイム処理の場合、この低減は非常に重要であり、所与の処理ユニットに対して新たなアプリケーション及び／又は大いに改善されたユーザ体験を可能にし得るものである。

【0164】

上記においてはオーディオ及びオーディオソースという用語が使用されているが、これはサウンド及びサウンドソースという用語と同等であることが理解されるであろう。「オーディオ」という用語への言及は、「サウンド」という用語への言及に置き換えることができる。

【0165】

上記記載は、明瞭化のために、本発明の実施形態を異なる機能回路、ユニット及びプロセッサに関連して説明したことが理解されるであろう。しかしながら、異なる機能回路、ユニット又はプロセッサの間の如何なる機能の適切な分散も、本発明から逸脱することなく使用できることは明らかであろう。例えば、別個のプロセッサ又はコントローラにより実行されるものとして解説された機能は、同一のプロセッサ又はコントローラにより実行され得る。したがって、特定の機能ユニット又は回路への言及は、厳密な論理的又は物理的構造又は編成を示すものではなく、記載された機能を提供するための適切な手段への言及としてのみ見なされるべきである。

【0166】

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式で実装することができる。本発明は、任意選択で、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして少なくとも部分的に実装されてもよい。本発明の実施形態の要素及びコンポーネントは、物理的、機能的及び論理的に任意の適切な方法で実装することができる。実際に、機能は、単一のユニットで、複数のユニットで、又は他の機能ユニットの一部として実装することができる。したがって、本発明は単一のユニットで実装することができ、又は物理的及び機能的に異なるユニット、回路及びプロセッサの間で分散することもできる。

【0167】

本発明は幾つかの実施形態に関連して説明されているが、これは、本明細書に記載の特定の形態に限定されることを意図したものではない。むしろ、本発明の範囲は添付請求項によってのみ限定されるものである。更に、フィーチャは特定の実施形態に関連して説明されているように見えるかもしれないが、当業者であれば、説明された実施形態の様々な特徴は本発明に従って組み合わせることができると認識するであろう。請求項において、有する（含む）という用語は、他の要素又はステップの存在を排除するものではない。

【0168】

更に、個別に列挙されているが、複数の手段、要素、回路又は方法のステップは、例えば単一の回路、ユニット又はプロセッサにより実装されてもよい。更に、個々のフィーチャは異なる請求項に含まれているかも知れないが、これらは有利に組み合わせることができ、異なる請求項に含まれることは、フィーチャの組み合わせが可能及び／又は有利でないことを意味するものではない。また、フィーチャを１つの分類の請求項に含めることは、この分類への限定を意味するものではなく、むしろ、該フィーチャが、適宜、他の請求項の分類にも等しく適用できることを示すものである。更に、請求項におけるフィーチャの順序は、当該フィーチャが実行されねばならない特定の順序を意味するものではなく、特に方法の請求項における個々のステップの順序は、これらステップがこの順序で実行されねばならないことを意味するものではない。むしろ、これらのステップは任意の適切な順序で実行することができる。更に、単数の参照は複数を排除するものではない。このように、「１つの」、「或る」、「第１の」、「第２の」等への言及は、複数を排除するものではない。請求項における参照符号は、単に明確にする例として提供されるものであり、いかなる形でも請求項の範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】