特開2023-70650音場の少なくとも一部の位置決めによる空間オーディオ再生
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023070650
(43)【公開日】2023-05-19
(54)【発明の名称】音場の少なくとも一部の位置決めによる空間オーディオ再生
(51)【国際特許分類】
H04S 7/00 20060101AFI20230512BHJP
【ＦＩ】
H04S7/00 350
H04S7/00 360
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022170339
(22)【出願日】2022-10-25
(31)【優先権主張番号】2116093.2
(32)【優先日】2021-11-09
(33)【優先権主張国・地域又は機関】GB
(71)【出願人】
【識別番号】515076873
【氏名又は名称】ノキア テクノロジーズ オサケユイチア
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100141162
【弁理士】
【氏名又は名称】森 啓
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】ミッコ－ビッレ ライティネン
(72)【発明者】
【氏名】アンティ ヨハンネス エロネン
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA06
5D162BA18
5D162CB12
5D162CC12
5D162CC33
5D162CC36
5D162CD01
5D162CD07
5D162CD25
5D162EG07
5D162EG08
(57)【要約】
【課題】本願は、従来の課題を解決することを目的とする。
【解決手段】ターゲット方向に基づく音場位置決め装置であって、オーディオ信号、スピーカ設定情報、処理経路パラメータを取得し、処理経路パラメータは、処理経路に関連するターゲット方向を含み、処理経路パラメータに基づいてオーディオ信号を処理し、処理経路ごとに、オーディオ信号からインコヒーレントなオーディオ信号を生成し、処理経路に関連するターゲット方向およびスピーカ設定情報に基づいてパニングゲインを決定し、インコヒーレントなオーディオ信号に適用、インコヒーレントなオーディオ信号を結合してマルチチャネルオーディオ信号を生成するように構成され、マルチチャネルオーディオ信号を結合して複合パニングゲイン適用マルチチャネルオーディオ信号を生成する手段を備える。
【選択図】図２
【解決手段】ターゲット方向に基づく音場位置決め装置であって、オーディオ信号、スピーカ設定情報、処理経路パラメータを取得し、処理経路パラメータは、処理経路に関連するターゲット方向を含み、処理経路パラメータに基づいてオーディオ信号を処理し、処理経路ごとに、オーディオ信号からインコヒーレントなオーディオ信号を生成し、処理経路に関連するターゲット方向およびスピーカ設定情報に基づいてパニングゲインを決定し、インコヒーレントなオーディオ信号に適用、インコヒーレントなオーディオ信号を結合してマルチチャネルオーディオ信号を生成するように構成され、マルチチャネルオーディオ信号を結合して複合パニングゲイン適用マルチチャネルオーディオ信号を生成する手段を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
ターゲット方向に基づいて、音場の少なくとも一部を位置決めするための装置であって、該装置は、
少なくとも１つのオーディオ信号を取得することと、
スピーカ設定情報を取得することと、
少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、
前記少なくとも２つの処理経路のそれぞれについて、前記少なくとも１つの処理経路パラメータに基づいて、前記少なくとも１つのオーディオ信号を処理して、マルチチャネルオーディオ信号を生成することであって、各処理経路について、前記手段は、
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、
前記処理経路に関連付けられた前記ターゲット方向および前記スピーカ設定情報に基づいて、少なくとも２つのパニングゲインを決定し、
前記少なくとも２つのパニングゲインのそれぞれを、前記少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインが適用された少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、
前記少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、前記マルチチャネルオーディオ信号を生成する、
ように構成される、生成することと、
各処理経路からの前記マルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、
を行うように構成された手段を含む装置。
少なくとも１つのオーディオ信号を取得することと、
スピーカ設定情報を取得することと、
少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、
前記少なくとも２つの処理経路のそれぞれについて、前記少なくとも１つの処理経路パラメータに基づいて、前記少なくとも１つのオーディオ信号を処理して、マルチチャネルオーディオ信号を生成することであって、各処理経路について、前記手段は、
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、
前記処理経路に関連付けられた前記ターゲット方向および前記スピーカ設定情報に基づいて、少なくとも２つのパニングゲインを決定し、
前記少なくとも２つのパニングゲインのそれぞれを、前記少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインが適用された少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、
前記少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、前記マルチチャネルオーディオ信号を生成する、
ように構成される、生成することと、
各処理経路からの前記マルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、
を行うように構成された手段を含む装置。
【請求項2】
前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連する少なくとも１つの残響パラメータをさらに含み、前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成するように構成された前記手段は、前記少なくとも１つの残響パラメータに基づいて、前記少なくとも１つのオーディオ信号を残響させて、前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号をそれぞれ生成するように構成される、請求項１に記載の装置。
【請求項3】
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成するように構成された前記手段が、
前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号の各々を生成するために、前記少なくとも１つのオーディオ信号を無相関化する、
ように構成される、請求項１に記載の装置。
前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号の各々を生成するために、前記少なくとも１つのオーディオ信号を無相関化する、
ように構成される、請求項１に記載の装置。
【請求項4】
前記処理経路に関連付けられた前記ターゲット方向と前記スピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定するように構成された前記手段は、前記処理経路に関連付けられた前記ターゲット方向と前記スピーカ設定情報に関連付けられた方向とに基づいて、ベクトルベース振幅パニングを適用するように構成される、請求項１乃至３のいずれかに記載の装置。
【請求項5】
前記手段は、前記複合パニングゲイン適用マルチチャネルオーディオ信号の処理に基づいて、イマーシブオーディオ信号を生成するようにさらに構成される、請求項１乃至４のいずれかに記載の装置。
【請求項6】
前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理することに基づいて、前記イマーシブオーディオ信号を生成するように構成された前記手段が、
前記複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、前記チャネルに関連するラウドスピーカに対する方向に関連する頭部関連伝達関数に基づいて、前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理し、チャネルバイノーラルパニング処理オーディオ信号を生成し、
全てのチャネルについて、前記チャネルバイノーラルパニング処理オーディオ信号を結合して、前記イマーシブオーディオ信号を生成する、
ように構成される、請求項５に記載の装置。
前記複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、前記チャネルに関連するラウドスピーカに対する方向に関連する頭部関連伝達関数に基づいて、前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理し、チャネルバイノーラルパニング処理オーディオ信号を生成し、
全てのチャネルについて、前記チャネルバイノーラルパニング処理オーディオ信号を結合して、前記イマーシブオーディオ信号を生成する、
ように構成される、請求項５に記載の装置。
【請求項7】
スピーカ設定情報を取得するように構成された前記手段は、
スピーカ設定情報を受信すること、
スピーカ設定情報を決定すること、および、
所定の、または、デフォルトのスピーカ設定情報を取得すること、
のいずれかを実行するように構成されている、請求項１乃至６のいずれかに記載の装置。
スピーカ設定情報を受信すること、
スピーカ設定情報を決定すること、および、
所定の、または、デフォルトのスピーカ設定情報を取得すること、
のいずれかを実行するように構成されている、請求項１乃至６のいずれかに記載の装置。
【請求項8】
前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号は、相互にインコヒーレントなオーディオ信号である、請求項１乃至７のいずれかに記載の装置。
【請求項9】
ターゲット方向に基づいて、音場の少なくとも一部を位置決めする装置のための方法であって、該方法は、
少なくとも１つのオーディオ信号を取得することと、
スピーカ設定情報を取得することと、
少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、
前記少なくとも２つの処理経路のそれぞれについて、前記少なくとも１つの処理経路パラメータに基づいて、前記少なくとも１つのオーディオ信号を処理し、マルチチャネルオーディオ信号を生成することであって、処理のために、
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、
前記処理経路に関連付けられた前記ターゲット方向と前記スピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定することと、
前記少なくとも２つのパニングゲインのそれぞれを、前記少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、
前記少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、前記マルチチャネルオーディオ信号を生成することと、
を含む、生成することと、
各処理経路からの前記マルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、
を含む、方法。
少なくとも１つのオーディオ信号を取得することと、
スピーカ設定情報を取得することと、
少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、
前記少なくとも２つの処理経路のそれぞれについて、前記少なくとも１つの処理経路パラメータに基づいて、前記少なくとも１つのオーディオ信号を処理し、マルチチャネルオーディオ信号を生成することであって、処理のために、
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、
前記処理経路に関連付けられた前記ターゲット方向と前記スピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定することと、
前記少なくとも２つのパニングゲインのそれぞれを、前記少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、
前記少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、前記マルチチャネルオーディオ信号を生成することと、
を含む、生成することと、
各処理経路からの前記マルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、
を含む、方法。
【請求項10】
前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連する少なくとも１つの残響パラメータをさらに含み、前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することは、前記少なくとも１つの残響パラメータに基づいて、前記少なくとも１つのオーディオ信号を残響させて、前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号をそれぞれ生成することを含む、請求項９に記載の方法。
【請求項11】
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することは、前記少なくとも１つのオーディオ信号を無相関化して、前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号のそれぞれを生成することを含む、請求項１０に記載の方法。
【請求項12】
前記処理経路に関連する前記ターゲット方向および前記スピーカ設定情報に基づいて、少なくとも２つのパニングゲインを決定することは、前記処理経路に関連する前記ターゲット方向および前記スピーカ設定情報に関連する方向に基づいて、ベクトルベースの振幅パニングを適用することを含む、請求項９乃至１１のいずれかに記載の方法。
【請求項13】
前記方法は、前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理することに基づいて、イマーシブオーディオ信号を生成することを含む、請求項９乃至１２のいずれかに記載の方法。
【請求項14】
前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理することに基づいて、前記イマーシブオーディオ信号を生成することは、
前記複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、前記チャネルに関連するラウドスピーカに対する方向に関連する頭部関連伝達関数に基づいて、前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理して、チャネルバイノーラルパニング処理オーディオ信号を生成することと、
全てのチャネルについて、前記チャネルバイノーラルパニング処理オーディオ信号を結合して、前記イマーシブオーディオ信号を生成することと、
を含む、請求項１３に記載の方法。
前記複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、前記チャネルに関連するラウドスピーカに対する方向に関連する頭部関連伝達関数に基づいて、前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理して、チャネルバイノーラルパニング処理オーディオ信号を生成することと、
全てのチャネルについて、前記チャネルバイノーラルパニング処理オーディオ信号を結合して、前記イマーシブオーディオ信号を生成することと、
を含む、請求項１３に記載の方法。
【請求項15】
スピーカ設定情報を取得することは、
スピーカ設定情報を受信すること、
スピーカ設定情報を決定すること、および、
所定の、または、デフォルトのスピーカ設定情報を取得すること、
のいずれかを含む、請求項９乃至１４のいずれかに記載の方法。
スピーカ設定情報を受信すること、
スピーカ設定情報を決定すること、および、
所定の、または、デフォルトのスピーカ設定情報を取得すること、
のいずれかを含む、請求項９乃至１４のいずれかに記載の方法。
【請求項16】
前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号は、相互にインコヒーレントなオーディオ信号である、請求項９乃至１５のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、音場の少なくとも一部を位置決めすることにより空間オーディオを再生する装置および方法に関するものであるが、拡張現実および／または仮想現実装置において音場の少なくとも一部を位置決めすることにより空間オーディオを再生することに限定されるものではない。
【背景技術】
【0002】
残響とは、実際の音源が停止した後、空間内に音が持続することをいう。空間によって残響特性は異なる。環境の空間的な印象を伝えるためには、残響を知覚的に正確に再現することが重要である。室内音響は、個別に合成された初期反射部分と、拡散性後期残響の統計モデルとで表現することが多い。図１は、直接音１０１の後に、到来方向（ＤＯＡ）を有する離散的な初期反射１０３と、特定の到来方向を有さずに合成可能な拡散性後期残響１０５とを合成した部屋のインパルス応答の一例を示している。図１の遅延ｄ１（ｔ）１０２は、音源からリスナへの直接音到来遅延を示すと見ることができ、遅延ｄ２（ｔ）１０４は、初期反射の１つ（この場合、最初に到来する反射）についての音源からリスナへの遅延を示すと見ることができる。
【0003】
残響を再現する１つの方法として、Ｎ個のラウドスピーカのセット（または、頭部伝達関数（ＨＲＴＦ）のセットを用いて、バイノーラルに再生される仮想ラウドスピーカ）を使用する方法がある。ラウドスピーカは、リスナの周囲に、ある程度均等に配置される。これらのラウドスピーカから、相互にインコヒーレントな残響信号が再生され、周囲の拡散した残響の知覚が得られる。
【0004】
異なるラウドスピーカによって生成される残響は、相互にインコヒーレントでなければならない。単純なケースでは、残響は同じ残響器の異なるチャネルを使用して生成することができ、出力チャネルは無相関であるが、ＲＴ６０時間やレベルなどの音響特性（特に、拡散対直接比または残響対直接比）は同じである。同じ音響特性を共有するこのような無相関出力は、例えば、遅延線長を適切に調整したフィードバック遅延ネットワーク（ＦＤＮ）残響器の出力タップから、または、各チャネルで異なる無相関ノイズシーケンスを使用することによって、減衰する無相関ノイズシーケンスを使用することに基づいて残響器から取得することができる。この場合、異なる残響信号は、効果的に同じ特徴を持ち、残響は一般的に全ての方向に対して類似していると認識される。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願の実施形態は、従来技術に関連する問題を解決することを目的としている。
【課題を解決するための手段】
【0006】
第１の態様によれば、ターゲット方向に基づいて、音場の少なくとも一部を位置決めするための装置が提供され、本装置は、少なくとも１つのオーディオ信号を取得し、スピーカ設定情報を取得し、少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得し、少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連するターゲット方向を含み、少なくとも２つの処理経路のそれぞれについて、少なくとも１つの処理経路パラメータに基づいて、少なくとも１つのオーディオ信号を処理し、マルチチャネルオーディオ信号を生成し、各処理経路について、手段は、少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、処理経路に関連付けられたターゲット方向およびスピーカ設定情報に基づいて、少なくとも２つのパニングゲインを決定し、少なくとも２つのパニングゲインのそれぞれを、少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインが適用された少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、少なくとも２つのパニングゲインを適用した少なくとも一部が相互にインコヒーレントなオーディオ信号を結合して、マルチチャネルオーディオ信号を生成する、ように構成され、各処理経路からのマルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成する、ように構成される手段を備える。
【0007】
少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連する少なくとも１つの残響パラメータをさらに含んでもよく、少なくとも１つのオーディオ信号から少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成するように構成された手段が、少なくとも１つの残響パラメータに基づいて、少なくとも１つのオーディオ信号を残響させて、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号のそれぞれを生成するように構成されてよい。
【0008】
少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成するように構成された手段は、少なくとも１つのオーディオ信号を無相関化して、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号のそれぞれを生成するように構成されてよい。
【0009】
処理経路に関連付けられたターゲット方向とスピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定するように構成された手段は、処理経路に関連付けられたターゲット方向と、スピーカ設定情報に関連付けられた方向とに基づいて、ベクトルベースの振幅パニングを適用するように構成されてよい。
【0010】
本手段は、複合パニングゲイン適用マルチチャネルオーディオ信号を処理することに基づいて、イマーシブオーディオ信号を生成するようにさらに構成されてよい。
【0011】
複合パニングゲイン適用マルチチャネルオーディオ信号の処理に基づいて、イマーシブオーディオ信号を生成するように構成された手段は、複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、チャネルに関連するラウドスピーカに対する方向に関連する頭部関連伝達関数に基づいて、複合パニングゲイン適用マルチチャネルオーディオ信号を処理して、チャネルバイノーラルパニング処理オーディオ信号を生成し、全てのチャネルについて、チャネルバイノーラルパニング処理オーディオ信号を結合して、イマーシブオーディオ信号を生成するように構成されてよい。
【0012】
スピーカ設定情報を取得するように構成された手段は、スピーカ設定情報を受信すること、スピーカ設定情報を決定すること、および、所定の、または、デフォルトのスピーカ設定情報を取得することのいずれかを実行するように構成されてよい。
【0013】
少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号は、相互にインコヒーレントなオーディオ信号であってよい。
【0014】
第２の態様によれば、ターゲット方向に基づいて音場の少なくとも一部を位置決めする装置のための方法が提供され、該方法は、少なくとも１つのオーディオ信号を取得することと、スピーカ設定情報を取得することと、少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、少なくとも２つの処理経路のそれぞれについて、少なくとも１つの処理経路パラメータに基づいて、少なくとも１つのオーディオ信号を処理し、マルチチャネルオーディオ信号を生成することであって、処理のために、少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、処理経路に関連付けられたターゲット方向とスピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定することと、少なくとも２つのパニングゲインのそれぞれを、少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、少なくとも２つのパニングゲインが適用された少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、マルチチャネルオーディオ信号を生成することと、を含む、生成することと、各処理経路からのマルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、を含む。
【0015】
少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連する少なくとも１つの残響パラメータをさらに含んでもよく、少なくとも１つのオーディオ信号から少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することは、少なくとも１つの残響パラメータに基づいて、少なくとも１つのオーディオ信号を残響させて、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号のそれぞれを生成することを含んでよい。
【0016】
少なくとも１つのオーディオ信号から少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することは、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号のそれぞれを生成するために、少なくとも１つのオーディオ信号を無相関化することを含んでよい。
【0017】
処理経路に関連付けられたターゲット方向とスピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定することは、処理経路に関連付けられたターゲット方向と、スピーカ設定情報に関連付けられた方向とに基づいて、ベクトルベースの振幅パニングを適用することを含んでよい。
【0018】
本方法は、複合パニングゲイン適用マルチチャネルオーディオ信号を処理することに基づいて、イマーシブオーディオ信号を生成することを含んでよい。
【0019】
複合パニングゲイン適用マルチチャネルオーディオ信号の処理に基づいて、イマーシブオーディオ信号を生成することは、複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、チャネルに関連するラウドスピーカの方向に関連する頭部関連伝達関数に基づいて、複合パニングゲイン適用マルチチャネルオーディオ信号を処理して、チャネルバイノーラルパニング処理オーディオ信号を生成することと、全てのチャネルについて、チャネルバイノーラルパニング処理オーディオ信号を結合して、イマーシブオーディオ信号を生成することと、を含んでいてよい。
【0020】
スピーカ設定情報を取得することは、スピーカ設定情報を受信すること、スピーカ設定情報を決定すること、および、所定の、または、デフォルトのスピーカ設定情報を取得することのいずれかを含んでよい。
【0021】
少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号は、相互にインコヒーレントなオーディオ信号であってもよい。
【0022】
第３の態様によれば、ターゲット方向に基づいて音場の少なくとも一部を位置決めするための装置が提供され、本装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備え、少なくとも１つのメモリおよびコンピュータプログラムコードは、少なくとも１つのプロセッサによって、装置に、少なくとも、スピーカ設定情報を取得することと、少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、少なくとも２つの処理経路のそれぞれについて、少なくとも１つの処理経路パラメータに基づいて、少なくとも１つのオーディオ信号を処理して、マルチチャネルオーディオ信号を生成することであって、各処理経路について、本装置は、少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、処理経路に関連するターゲット方向とスピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定することと、少なくとも２つのパニングゲインのそれぞれを、少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、マルチチャネルオーディオ信号を生成することと、を行うようにされる、生成することと、各処理経路からのマルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、を実行させるように構成される。
【0023】
少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連する少なくとも１つの残響パラメータをさらに含んでもよく、少なくとも１つのオーディオ信号から少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成するようにされる装置は、少なくとも１つの残響パラメータに基づいて、少なくとも１つのオーディオ信号を残響させて、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号をそれぞれ生成するようにされてよい。
【0024】
少なくとも１つのオーディオ信号から少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成するようにされた装置は、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号のそれぞれを生成するために、少なくとも１つのオーディオ信号を無相関化するようにされてよい。
【0025】
処理経路に関連するターゲット方向と、スピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定するようにされた装置は、処理経路に関連するターゲット方向と、スピーカ設定情報に関連する方向とに基づいて、ベクトルベースの振幅パニングを適用するようにされてもよい。
【0026】
本装置は、複合パニングゲイン適用マルチチャネルオーディオ信号を処理することに基づいて、イマーシブオーディオ信号を生成するようにさらにされてよい。
【0027】
複合パニングゲイン適用マルチチャネルオーディオ信号の処理に基づいて、イマーシブオーディオ信号を生成するようにされた装置は、複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、チャネルに関連するラウドスピーカの方向に関連する頭部関連伝達関数に基づいて、複合パニングゲイン適用マルチチャネルオーディオ信号を処理して、チャネルバイノーラルパニング処理オーディオ信号を生成し、全てのチャネルについて、チャネルバイノーラルパニング処理オーディオ信号を結合して、イマーシブオーディオ信号を生成するようにされてよい。
【0028】
スピーカ設定情報を取得するようにされる装置は、スピーカ設定情報を受信すること、スピーカ設定情報を決定すること、および、所定の、または、デフォルトのスピーカ設定情報を取得することのいずれかを実行するようにされてよい。
【0029】
少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号は、相互にインコヒーレントなオーディオ信号であってもよい。
【0030】
第４の態様によれば、少なくとも１つのオーディオ信号を取得するように構成された取得回路と、スピーカ設定情報を取得するように構成された取得回路と、少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得するように構成された取得回路であって、少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得回路と、少なくとも２つの処理経路のそれぞれについて、少なくとも１つの処理経路パラメータに基づいて、少なくとも１つのオーディオ信号を処理して、マルチチャネルオーディオ信号を生成するように構成された処理回路であって、各処理経路について、処理回路が、少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、処理経路に関連するターゲット方向とスピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定し、少なくとも２つのパニングゲインのそれぞれを、少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインが適用された少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、マルチチャネルオーディオ信号を生成する、ように構成されている、処理回路と、各処理経路からのマルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成するように構成された結合回路と、を含む装置が提供される。
【0031】
第５の態様によれば、少なくとも、スピーカ設定情報を取得することと、少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、少なくとも２つの処理経路のそれぞれについて、少なくとも１つの処理経路パラメータに基づいて、少なくとも１つのオーディオ信号を処理して、マルチチャネルオーディオ信号を生成することであって、各処理経路について、本装置は、少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、処理経路に関連するターゲット方向とスピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定し、少なくとも２つのパニングゲインのそれぞれを、少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、マルチチャネルオーディオ信号を生成する、ようにされる、生成することと、各処理経路からのマルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、を装置に実行させるための命令［または、プログラム命令を含むコンピュータ可読媒体］を含むコンピュータプログラムが提供される。
【0032】
第６の態様によれば、装置に、少なくとも、スピーカ設定情報を取得することと、少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、少なくとも２つの処理経路のそれぞれについて、少なくとも１つの処理経路パラメータに基づいて、少なくとも１つのオーディオ信号を処理して、マルチチャネルオーディオ信号を生成することであって、各処理経路について、本装置は、少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、処理経路に関連するターゲット方向とスピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定し、少なくとも２つのパニングゲインのそれぞれを、少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、マルチチャネルオーディオ信号を生成する、ようにされる、生成することと、各処理経路からのマルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、を実行させるためのプログラム命令を含む非一過性のコンピュータ可読媒体が提供される。
【0033】
第７の態様によれば、スピーカ設定情報を取得する手段と、少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得する手段であって、少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得する手段と、少なくとも２つの処理経路のそれぞれについて、少なくとも１つの処理経路パラメータに基づいて、少なくとも１つのオーディオ信号を処理して、マルチチャネルオーディオ信号を生成する手段であって、各処理経路について、処理のための手段は、少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成するための手段と、処理経路に関連付けられたターゲット方向およびスピーカ設定情報に基づいて、少なくとも２つのパニングゲインを決定するための手段と、少なくとも２つのパニングゲインのそれぞれを、少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成する手段と、少なくとも２つのパニングゲインが適用された少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、マルチチャネルオーディオ信号を生成する手段と、を備える、生成する手段と、各処理経路からのマルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成する手段と、を含む装置が提供される。
【0034】
第８の態様によれば、装置に、少なくとも、スピーカ設定情報を取得することと、少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、少なくとも１つの処理経路パラメータは、少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、少なくとも２つの処理経路のそれぞれについて、少なくとも１つの処理経路パラメータに基づいて、少なくとも１つのオーディオ信号を処理して、マルチチャネルオーディオ信号を生成することであって、各処理経路について、本装置は、少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、処理経路に関連するターゲット方向とスピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定し、少なくとも２つのパニングゲインのそれぞれを、少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、マルチチャネルオーディオ信号を生成する、ようにされる、生成することと、各処理経路からのマルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、を実行させるためのプログラム命令を含むコンピュータ可読媒体が提供される。
【0035】
上記記載の方法の動作を実行するための手段を含む装置。
【0036】
上記のような方法の動作を実行するように構成された装置。
【0037】
上記のような方法をコンピュータに実行させるためのプログラム命令を含むコンピュータプログラム。
【0038】
媒体に格納されたコンピュータプログラム製品は、本明細書に記載の方法を装置に実行させることができる。
【0039】
電子デバイスは、本明細書で説明するような装置を含んでもよい。
【0040】
チップセットは、本明細書に記載されるような装置を含んでいてもよい。
【図面の簡単な説明】
【0041】
本願発明をより良く理解するために、次に、添付の図面を例として参照する。
【発明を実施するための形態】
【0042】
以下では、残響のあるオーディオシーンをパラメータ化してレンダリングするための好適な装置および可能なメカニズムについて、さらに詳しく説明する。
【0043】
上述したように、リスナの周りにあるＮ個のインコヒーレントラウドスピーカ（仮想または現実）から残響を再生すると、拡散残響の知覚を再現することが多い。しかしながら、このような実装では、残響を回転させる必要がある場合、例えば、生成される残響が方向に依存する場合、適切に知覚される残響を出力することができない。
【0044】
これは、例えば、ノイズコンボリューションベースの残響器において、異なる壁材の吸収特性に基づいて、異なるチャネルの減衰率を調整し、各チャネルが異なるＲＴ６０時間を持つようにすることで実現できる。
【0045】
バイノーラル再生、つまり、スピーカがＨＲＴＦで作成された仮想スピーカである実装では、正しい残響の特徴が正しい方向から知覚されるため、ヘッドトラッキングがない場合は、正確な再生が可能である。しかしながら、ヘッドトラッキングが行われた場合には問題が生じる。
【0046】
この例として、リスナがまず前を向き、左右方向と前後方向で残響時間が異なることを示すことができる。例えば、この状況では前後方向のＲＴ６０時間は、ＲＴ６０＿ｆｒｏｎｔ＿ｂａｃｋ＝１．２秒、左右方向の残響時間は、ＲＴ６０＿ｌｅｆｔ＿ｒｉｇｈｔ＝０．７秒である。リスナが頭を９０度回転させると、ＲＴ６０＝１．２秒の残響が左右方向に、ＲＴ６０＝０．７秒の残響が前後方向に、残響が変化すると考えるであろう。しかしながら、これは残響の実装方法とは異なる可能性がある。
【0047】
ヘッドトラッキングを行った後、各残響チャネルの所望の方向に最も近いＨＲＴＦを常に選択するのが簡単な方法であるが、そのようなアプローチを実施すると、ＨＲＴＦ切り替え時に不自然さが生じることがある。
【0048】
また、ヘッドトラッキングを行った後に、各残響チャネルの所望の方向の間でＨＲＴＦフィルタを補間する方法もあるが、この方法では補間ステップが知覚可能な不自然さを生じさせる可能性が高い。
【0049】
ＨＲＴＦの切り替えや補間を行うことを回避するアプローチとして、ヘッドトラッキング情報に基づいて作成された残響を位置決めすることが考えられる。例えば、一般的に使用されているベクトルベースの振幅パニング（ＶＢＡＰ）法を使用する。その結果、リスナが頭を９０度回転させると、元々前方にあった残響が、－９０度から生成されることになる。その結果、ヘッドトラッキング情報に従って、残響の正しい特徴を正しい方向から再生することができる。この方法では、各仮想ラウドスピーカは、同じＨＲＴＦフィルタで空間化されるため、ＨＲＴＦフィルタの切り替えや補間による不自然さは生じない。
【0050】
しかしながら、ＶＢＡＰを適用することで別の問題が生じることがある。ＶＢＡＰは、スピーカの設定と所望の方向に従って、１～３個のスピーカからオーディオ信号を再生することによって、オーディオ信号を位置付け、各スピーカに適したゲインを適用する。これは通常のオーディオ信号の位置決めに適しており、空間オーディオ処理によく応用されている。しかしながら、ＶＢＡＰは１～３個のスピーカを使用して各残響信号をコヒーレントに生成するため、残響の再生には問題がある。このように生成された残響は、周囲を取り囲むように拡散するのではなく、コヒーレントで広がりのない残響として知覚される。
【0051】
いくつかの実施形態によれば、本明細書で議論される概念は、拡散残響またはアンビエントオーディオ信号の再生に関し、残響またはアンビエンス特性が方向依存性を有する（すなわち、異なる方向で異なる残響特性を有する）ことがある、回転可能な拡散残響またはアンビエンスオーディオの再生を可能にする方法が提案される。これは、いくつかの実施形態では、１つのオーディオ信号から、２つのオーディオ信号を生成することによって達成される。これらの２つのオーディオ信号は、元のオーディオ信号の２つの同一の複製をただ比較するよりも、コヒーレント性が低い。このように、いくつかの実施形態では、ターゲット方向と（仮想）ラウドスピーカセット内の（仮想）ラウドスピーカの位置に基づいて、少なくとも２つのパニングゲインを決定し（例えば、ＶＢＡＰを使用して）、決定されたゲインのそれぞれについて、少なくとも部分的に相互にインコヒーレントなオーディオ信号、換言すれば、よりコヒーレントではないオーディオ信号（および、好ましくは相互にインコヒーレントなオーディオ信号）を取得することにより、多数の処理経路（少なくとも３つ、通常は６～２０経路）について（仮想）マルチチャネル信号をレンダリングすることが実装される。例えば、少なくとも部分的に相互にインコヒーレントな（または、コヒーレントでない、または、相互にインコヒーレントな）残響オーディオ信号出力を生成するように調整された２つの残響器の出力を使用するか、少なくとも部分的に相互にインコヒーレントな（コヒーレントでない、または、相互にインコヒーレントな）アンビエントオーディオ信号を生成する無相関化器を使用する。本実施例の目的は、例えば、残響器や無相関化器をそれぞれ実装した処理経路が、相互にインコヒーレントなオーディオ信号を生成することである。しかしながら、設計上および実用上の理由により、各処理経路の出力は、完全に相互にインコヒーレントなオーディオ信号を生成するのではなく、よりコヒーレントでないオーディオ信号、または、少なくとも部分的に相互にインコヒーレントであるオーディオ信号を生成する場合がある。以下の例では、理想的な相互にインコヒーレントなオーディオ信号が生成されるが、よりコヒーレントでないオーディオ信号、または、少なくとも部分的に相互にインコヒーレントなオーディオ信号の生成も、同じ方法および装置によって包含されることが理解されよう。
【0052】
これらのゲインを決定し、対応する取得された（残響）信号に対して適用することで、（残響）マルチチャネル信号を取得することができる。
【0053】
そして、取得された（残響）マルチチャネル信号を、いくつかの実施形態で結合して、対応する（仮想）ラウドスピーカから、複合（残響）マルチチャネル信号を再生することができる。
【0054】
典型的なユースケースでは、ＨＲＴＦで再生される周囲の仮想ラウドスピーカセット（例えば、リスナの周りに、ある程度均等に配置された１６個の仮想ラウドスピーカ）が採用されることがある。そのような場合、実施形態は、
残響器の初期ターゲット方向（例えば、仮想ラウドスピーカの方向、すなわち、この例では、１６個のターゲット方向）を決定し、
各ターゲット方向について、残響の３つの互いにインコヒーレントなバリエーション（または、コヒーレントでないもの）を決定し、残響はその方向の望ましい残響特性に従っており、
頭の向きおよび初期ターゲット方向に基づいて、回転したターゲット方向を決定し、
本発明を用いて、対応する回転したターゲット方向に、３つの残響セットのそれぞれを再現する（例えば、パニングゲイン決定ツールとしてＶＢＡＰを使用する）、
ように構成され得る。
残響器の初期ターゲット方向（例えば、仮想ラウドスピーカの方向、すなわち、この例では、１６個のターゲット方向）を決定し、
各ターゲット方向について、残響の３つの互いにインコヒーレントなバリエーション（または、コヒーレントでないもの）を決定し、残響はその方向の望ましい残響特性に従っており、
頭の向きおよび初期ターゲット方向に基づいて、回転したターゲット方向を決定し、
本発明を用いて、対応する回転したターゲット方向に、３つの残響セットのそれぞれを再現する（例えば、パニングゲイン決定ツールとしてＶＢＡＰを使用する）、
ように構成され得る。
【0055】
その結果、本実施形態によって生成されるサウンドシーンは、周囲を取り囲むように、包み込むように、拡散するように、知覚され得る。さらに、リスナの向きに基づいて残響が更新されるため、残響の特徴が正しい方向から発生しているように知覚される。
【0056】
図２に関して、本発明を利用した例示的な装置２９９の実施形態が示されている。システムへの入力は、残響を生じさせるオーディオ信号２００である。
【0057】
【0058】
各残響パナー２０１は、オーディオ信号２００、さらに、スピーカ設定情報２０２、ターゲット方向情報２０４、および、残響パラメータ２０６を取得または受信するように構成される。
【0059】
例えば、第１残響パナー２０１１は、オーディオ信号２００、および、ラウドスピーカ設定情報２０２、さらに、第１ターゲット方向情報（または、ターゲット方向１）２０４１、および、第１残響パラメータ（または、残響パラメータ１）２０６１を取得または受信するように構成される。
【0060】
第２残響パナー２０１２は、共通オーディオ信号２００、および、スピーカ設定情報２０２、さらに、第２ターゲット方向情報（または、ターゲット方向２）２０４２、および、第２残響パラメータ（または、残響パラメータ２）２０６２を取得または受信するように構成される。
【0061】
図２に示す残響装置は、残響パナー２０１の数がＮ個である。図２では、第１残響パナー２０１１、第２残響パナー２０１２、および、第Ｎ残響パナー２０１Ｎが具体的に示されている。各残響パナー２０１は、オーディオ信号２００、さらに、スピーカ設定情報２０２、ターゲット方向情報２０４、および、残響パラメータ２０６を取得または受信するように構成される。例えば、第１残響パナー２０１１は、オーディオ信号２００およびラウドスピーカ設定情報２０２、さらに、第１ターゲット方向情報（または、ターゲット方向１）２０４１、および、第１残響パラメータ（または、残響パラメータ１）２０６１を取得または受信するよう構成される。第２残響パナー２０１２は、共通オーディオ信号２００、および、ラウドスピーカ設定情報２０２、さらに、第２ターゲット方向情報（または、ターゲット方向２）２０４２、および、第２残響パラメータ（または、残響パラメータ２）２０６２を取得または受信するように構成される。さらに、第Ｎ残響パナー２０１Ｎは、オーディオ信号２００、および、ラウドスピーカ設定情報２０２、第Ｎターゲット方向情報（または、ターゲット方向Ｎ）２０４Ｎ、および、第Ｎ残響パラメータ（または、残響パラメータＮ）２０６Ｎを取得または受信するように構成される。
【0062】
残響パラメータおよびターゲット方向に従って、残響処理を行う。入力オーディオ信号は、ｓｉｎ（ｎ）（ｎは時間的サンプルインデックスである）として表すことができる。いくつかの実施形態におけるラウドスピーカ設定情報２０２は、包囲拡散残響の知覚を生成するために使用することができる、サラウンドラウドスピーカ設定である。設定またはラウドスピーカ構成は、任意の好適な方法に基づいて取得することができる。例えば、いくつかの実施形態では、ラウドスピーカ設定は、予め決められた、または、デフォルトのラウドスピーカ設定情報である。いくつかの実施形態では、ラウドスピーカ設定情報は、決定されるか（例えば、スピーカキャリブレーションプロセスが実行される）、または、（例えば、ユーザ入力によって）入力される。さらに、設定またはラウドスピーカ構成は、任意の適切なフォーマットであってよい。ラウドスピーカ設定情報は、いくつかの実施形態において、ラウドスピーカの数、および、リスナに対する相対的な方向を定義することができる。ラウドスピーカの設定または構成の例は、例えば、Ｋ．Ｈｉｙａｍａ，Ｓ．Ｋｏｍｉｙａｍａ， ａｎｄ Ｋ．Ｈａｍａｓａｋｉ， Ｔｈｅ Ｍｉｎｉｍｕｍ Ｎｕｍｂｅｒ ｏｆ Ｌｏｕｄｓｐｅａｋｅｒｓ ａｎｄ Ｉｔｓ Ａｒｒａｎｇｅｍｅｎｔ ｆｏｒ Ｒｅｐｒｏｄｕｃｉｎｇ ｔｈｅ Ｓｐａｔｉａｌ Ｉｍｐｒｅｓｓｉｏｎ ｏｆ Ｄｉｆｆｕｓｅ Ｓｏｕｎｄ Ｆｉｅｌｄ， ＡＥＳ １１３ｔｈ Ｃｏｎｖｅｎｔｉｏｎ， ２００２、および、Ｃ．Ｋｉｒｃｈ， Ｊ Ｐｏｐｐｉｔｚ， Ｔ．Ｗｅｎｄｔ， Ｓ．ｖａｎ ｄｅｒ Ｐａｒ， ａｎｄ Ｓ．Ｅｗｅｒｔ， Ｓｐａｔｉａｌ Ｒｅｓｏｌｕｔｉｏｎ ｏｆ ｌａｔｅ Ｒｅｖｅｒｂｏｕｒａｔｉｏｎ ｉｎ Ｖｉｒｔｕａｌ Ａｃｏｕｓｔｉｃ Ｅｎｖｉｒｏｎｍｅｎｔｓに記述されている。Ｔｒｅｎｄｓ ｉｎ Ｈｅａｒｉｎｇ（現在、Ｃａｒｌ ｖｏｎ Ｏｓｓｉｅｔｚｋｙ Ｕｎｉｖｅｒｓｉｔａｔ Ｏｌｄｅｎｂｕｒｇのウェブサイトにて公開中）、２０２１に投稿されている。
【0063】
リスナの平面上に、方位角４５度の間隔で８個のスピーカを配置した第１層、仰角３０度、方位角９０度の間隔で４個のスピーカを配置した第２層、仰角－３０度、方位角９０度の間隔で４個のスピーカを配置した第３層の３層に配置した１６個のスピーカを持つスピーカの構成や設定の例である。これは方位角と仰角の値で表すことができる。
方位角θｌｓ（ｉ）：０、４５、９０、１３５、１８０、－１３５、－９０、－４５、１３５、－１３５、－４５、４５、１３５、－１３５度
仰角φｌｓ（ｉ）：０、０、０、０、０、０、３０、３０、３０、－３０、－３０、－３０、－３０°
ここで、ｉはスピーカのチャネルである。ラウドスピーカ設定にはＮ個のチャネルがある（この例では、１６チャネル）。
方位角θｌｓ（ｉ）：０、４５、９０、１３５、１８０、－１３５、－９０、－４５、１３５、－１３５、－４５、４５、１３５、－１３５度
仰角φｌｓ（ｉ）：０、０、０、０、０、０、３０、３０、３０、－３０、－３０、－３０、－３０°
ここで、ｉはスピーカのチャネルである。ラウドスピーカ設定にはＮ個のチャネルがある（この例では、１６チャネル）。
【0064】
残響パナー（第１残響パラメータ２０６１、第２残響パラメータ２０６２、第３残響パラメータ２０６３など）のそれぞれの残響パラメータ２０６は、それぞれ、ターゲット方向１（２０４１）（θｔａｒｇｅｔ（１，ｎ），φｔａｒｇｅｔ（１，ｎ））、ターゲット方向２（２０４２）（θｔａｒｇｅｔ（２，ｎ），φｔａｒｇｅｔ（２，ｎ））、ターゲット方向３（２０４３）（θｔａｒｇｅｔ（３，ｎ），φｔａｒｇｅｔ（３，ｎ））（ターゲット方向は時間的に変化してもよい）における残響の生成を制御するパラメータを含む。残響パラメータおよびターゲット方向は、任意の適切な方法または手段によって取得することができる。例えば、いくつかの実施形態では、初期ターゲット方向は、スピーカ設定の方向に設定することができ、すなわち、
θｉｎｉｔｉａｌ（ｊ）＝θｌｓ（ｉ）
φｉｎｉｔｉａｌ（ｊ）＝φｌｓ（ｉ）である。
ここで、ｊは、残響パナーのインデックスである。次に、ターゲット方向θｔａｒｇｅｔ（ｊ，ｎ），φｔａｒｇｅｔ（ｊ，ｎ）は、リスナの向きおよび初期ターゲット方向θｉｎｉｔｉａｌ（ｊ），φｉｎｉｔｉａｌ（ｊ）に基づいて、例えば、四元数を用いるか、Ｍ．Ｖ．Ｌａｉｔｉｎｅｎ，“Ｂｉｎａｕｒａｌ ｒｅｐｒｏｄｕｃｔｉｏｎ ｆｏｒ ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ”，Ｍ．Ｓｃ．Ｔｈｅｓｉｓ，ＴＫＫ，２００８に示される方法に基づいて決定可能である。
θｉｎｉｔｉａｌ（ｊ）＝θｌｓ（ｉ）
φｉｎｉｔｉａｌ（ｊ）＝φｌｓ（ｉ）である。
ここで、ｊは、残響パナーのインデックスである。次に、ターゲット方向θｔａｒｇｅｔ（ｊ，ｎ），φｔａｒｇｅｔ（ｊ，ｎ）は、リスナの向きおよび初期ターゲット方向θｉｎｉｔｉａｌ（ｊ），φｉｎｉｔｉａｌ（ｊ）に基づいて、例えば、四元数を用いるか、Ｍ．Ｖ．Ｌａｉｔｉｎｅｎ，“Ｂｉｎａｕｒａｌ ｒｅｐｒｏｄｕｃｔｉｏｎ ｆｏｒ ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ”，Ｍ．Ｓｃ．Ｔｈｅｓｉｓ，ＴＫＫ，２００８に示される方法に基づいて決定可能である。
【0065】
このように、残響パナーは、頭の向き（四元数、または、オイラー角として入手可能）に基づいて、初期ターゲット方向を回転させるように構成されている。
【0066】
いくつかの実施形態では、残響パラメータ２０６（第１残響パラメータ２０６１、第２残響パラメータ２０６２、および、第３残響パラメータ２０６３など）は、例えば、コンテンツクリエータによって作成されたエンコーダ入力フォーマットファイルから、入力として取得され、ターゲット方向に加えて、所望の残響時間ＲＴ６０（ｆ）、残響対直接比ＲＤＲ（ｆ）（または、直接対総放出エネルギー比などの他の等価表現）などのパラメータ、および／または、仮想環境の大きさ、および／または、１つ以上の材料を含むことができる。
【0067】
いくつかの実施形態では、第１残響パナー２０１１、第２残響パナー２０１２、および、第Ｎ残響パナー２０１Ｎは、次に、残響パラメータに基づいて、残響パラメータ２０６（第１残響パラメータ２０６１、第２残響パラメータ２０６２、および、第３残響パラメータ２０６３など）によって定義される、所望の残響特性を有する残響オーディオ信号を作成する残響器を構成または初期化するよう構成される。
【0068】
このような実施形態では、残響パナー２０１は、残響パラメータ２０６に基づいてオーディオ信号２０１ｓｉｎ（ｎ）を残響させ、残響信号がターゲット方向２０４に配置されるスピーカ設定２０２（または、スピーカ構成）に従って、マルチチャネル信号を生成する。
【0069】
残響パナー２０１の出力は、それぞれのパニング残響信号（ｐａｎｎｅｄ ｒｅｖｅｒｂｅｒａｎｔ ｓｉｇｎａｌｓ）２０８ｓｐｒ，１（ｎ，ｉ）である。第１残響パナー２０１１は第１パニング残響信号（または、残響信号１）２０８１を生成するように構成され、第２残響パナー２０１２は第２パニング残響信号（または残響信号２）２０８２を生成するように構成され、第Ｎ残響パナー２０１Ｎは第Ｎパニング残響信号（または残響信号Ｎ）２０８Ｎを生成するように構成される。パニング残響信号２０８ ｓｐｒ，１（ｎ，ｉ）は、Ｎ個のチャネルを有するマルチチャネル信号である。残響パナーの例は、図４に関して、以下にさらに説明される。
【0070】
したがって、図２に示すように、オーディオ信号２００ ｓｉｎ（ｎ）は、残響パナーブロックに転送される。これらは同じように動作するが、ターゲット方向θｔａｒｇｅｔ（ｊ，ｎ），φｔａｒｇｅｔ（ｊ，ｎ）、および、残響パラメータは、残響パナーブロックの各々に対して独立している。さらに、異なる残響パナーブロックによって生成される残響は、相互にインコヒーレントである。したがって，各残響パナーブロックの出力は，パニングされた残響信号ｓｐｒ，ｊ（ｎ，ｉ）（ここで、ｊは残響パナー経路のインデックスである）である。
【0071】
この例では、マルチチャネル設定におけるチャネルｉの数と同じ数の残響パナーｊが存在する。他の実施形態では、異なる数のパナーが存在することもあり得る。
【0072】
装置２９９は、さらに、ラウドスピーカ信号結合器２０３を有する。ラウドスピーカ信号結合器２０３は、パニングされた残響信号ｓｐｒ，ｊ（ｎ，ｉ）２０８を受信するように構成され、それらを単一のマルチチャネル信号、パニングされた残響信号２１０に結合するように構成される。例えば、以下のように適用する。
【数1】
【0073】
その結果、パニングされた残響信号２１０はＨＲＴＦプロセッサ２０５に転送され、パニングされた残響信号２１０ｉの各チャネルｉは、個々のＨＲＴＦプロセッサ２０５ｉに渡される。
【0074】
したがって、例えば、パニングされた残響信号２１０１ ｓｐｒ（ｎ，１）の第１チャネルは、第１ＨＲＴＦプロセッサ２０５１に転送され、それはまた、頭部関連伝達関数「ＨＲＴＦ １」ペア（各耳に対して１つのフィルタ）ｈｈｒｔｆ（ｎ，１，ｋ）（ここで、ｋはＨＲＴＦチャネル、すなわち、左、または、右）２１２１を受信する。ＨＲＴＦペアの方向は、ラウドスピーカ設定θｌｓ（１）、φｌｓ（１）における対応するチャネルの方向に対応する。したがって、先に説明した例示的なラウドスピーカ設定または構成の場合、これは、方位角０度および仰角０度となる。これらの実施形態では、ＨＲＴＦプロセッサ２０５は、ＨＲＴＦフィルタを適用するように構成され（例えば、畳み込みを介し）、結果として生じる信号は、バイノーラルのパニングされた残響信号ｓｐｒ，ｂｉｎ（ｎ，１，ｋ）２１４である。したがって、第１チャネル出力は、第１チャネル、または、チャネル１のバイノーラルパニング残響信号２１４１であり、これはバイノーラル信号結合器２０７に渡される。
【0075】
同じ処理が、パニングされた残響信号ｓｐｒ（ｎ，ｉ）の各チャネルについて、対応するＨＲＴＦフィルタｈｈｒｔｆ（ｎ，ｉ，ｋ）を使用して適用される。結果として生じるバイノーラルのパニングされた残響信号ｓｐｒ，ｂｉｎ（ｎ，ｉ，ｋ）は、バイノーラル信号結合器２０７に転送される。
【0076】
いくつかの実施形態では、装置２９９は、バイノーラルパニング残響信号を受信し、例えば、次式を適用することによって、それらを単一のバイノーラル信号に結合するように構成されたバイノーラル結合器２０７を含む。
【数2】
【0077】
残響バイノーラル信号ｓｒｅｖ，ｂｉｎ（ｎ，ｋ）２５０は、処理の出力である。残響バイノーラル信号２５０は、サラウンド拡散残響の知覚を生じさせるように構成される。さらに、残響特性は、所望の指向性残響特性に基づいてレンダリングされ、これらの特性は、頭部トラッキングデータまたは他の任意の指向性ターゲットデータに基づいて適用される。
【0078】
【0079】
したがって、図３において、ステップ３０１によって示すように、本方法は、オーディオ信号、スピーカ設定、ターゲット方向、および、残響パラメータを取得することを含む。
【0080】
次に、オーディオ信号、スピーカ設定、ターゲット方向、および、残響パラメータを取得した後、図３において、ステップ３０３によって示されるように、複数の経路に対して、パニングされた残響信号（マルチチャネル）を生成する。
【0081】
次に、図３において、ステップ３０５によって示されるように、パニングされた残響信号は、ラウドスピーカチャネルパニング残響信号を生成するために結合され得る。
【0082】
次に、図３において、ステップ３０７によって示されるように、チャネルパニング残響信号に対して、ＨＲＴＦ処理が行われる。
【0083】
その後、図３において、ステップ３０９によって示されるように、処理された信号は、残響バイノーラル信号を生成するために結合され得る。
【0084】
そして、図３において、ステップ３１１によって示されるように、残響バイノーラル信号が出力され得る。
【0085】
図４に関して、残響パナー２０１が、さらに詳細に模式的に示されている。図４に示す例は、図２に示す例示的な実施形態からのＮ個のブロックのうちの１つであり、それらの各々は、個々のターゲット方向２０４および残響パラメータ入力２０６を有するように構成される。さらに、図１に示す例では、異なる経路ｊのすべての残響パナーが、相互にインコヒーレントな残響を生成するように構成される。それ以外の場合、異なる経路の残響パナーの動作は同一である。
【0086】
図４に示す例では、オーディオ信号ｓｉｎ（ｎ）２００は、一連の残響器４０１（第１残響器４０１１、第２残響器４０１２、および、第３残響器４０１３として示されている）に渡される。各残響器４０１は、残響パラメータ２０６も入力として受信するように構成される。
【0087】
残響パラメータ２０６に基づいて、残響器４０１は、残響オーディオ信号４０２を生成するように構成される。例えば、第１残響器４０１１は、例えば、フィードフォワード遅延ネットワーク（ＦＤＮ）残響器を使用して、（第１）残響オーディオ信号１ ４０２１ ｓｒｅｖ（ｎ，１）を出力するよう構成される。
【0088】
第２残響器４０１２は、（第２）残響オーディオ信号１ ４０２２ ｓｒｅｖ（ｎ，２）を、第３残響器４０１３は、（第３）残響オーディオ信号３ ４０２３ ｓｒｅｖ（ｎ，３）を出力するよう構成される。これら３つの信号は、同じ残響特性を持つが、相互にインコヒーレントである。
【0089】
ラウドスピーカ設定２０２ θｌｓ（ｉ），φｌｓ（ｉ）、および、ターゲット方向２０４ θｔａｒｇｅｔ（ｊ，ｎ），φｔａｒｇｅｔ（ｊ，ｎ）も残響パナー２０１への入力であり、パニングゲインｇ（ｉ，ｊ，ｎ）を決定するように構成されたパニングゲイン決定器４０５へ転送される。これらのパニングゲインは、例えば、Ｖ．Ｐｕｌｋｋｉ，“Ｖｉｒｔｕａｌ ｓｏｕｒｃｅ ｐｏｓｉｔｉｏｎｉｎｇ ｕｓｉｎｇ ｖｅｃｔｏｒ ｂａｓｅ ａｍｐｌｉｔｕｄｅ ｐａｎｎｉｎｇ”，Ｊ．Ａｕｄｉｏ Ｅｎｇ．Ｓｏｃ．、４５巻、４５６－４６６頁、１９９７年６月、および、ＥＰ出願１８１６１５８０．８号に示される方法に基づいて、ベクトルベース振幅パニング（ＶＢＡＰ）を使用して決定することができる。このような実施形態では、各パスｊは、（時変）ターゲット方向θｔａｒｇｅｔ（ｊ，ｎ），φｔａｒｇｅｔ（ｊ，ｎ）に基づいて、各チャネルｉに対して専用のパニングゲインを有する。簡単のため、以下では、１つの時間的瞬間および１つの経路のみを考慮するため、以下では、パニングゲイン４０４をｇ（ｉ）と表記する。
【0090】
パニングゲイン４０４ ｇ（ｉ）は、パニングゲインアプライヤ４０３に転送される。パニングゲインアプライヤ４０３は、パニングゲイン４０４および残響オーディオ信号４０２ ｓｒｅｖ（ｎ，ｌ）（ここで、ｌは残響器経路）を受信するように構成される。
【0091】
パニングゲイン４０４ｇ（ｉ）がＶＢＡＰで作成されたように、いくつかの実施形態では、それらのうちの１～３個だけが非ゼロである。以下の例では、第１時刻（ｔｉｍｅ ｉｎｓｔａｎｔ）に非ゼロゲインを有する正確に３個のチャネル（チャネルｉ１，ｉ２，ｉ３）が存在し、残りのチャネルはゼロゲインを有すると仮定される。以下の例では、非ゼロのチャネルは３，４，１０である。
【0092】
第１時刻について、これらは任意の順序（例えば、ｉ１＝３，ｉ２＝４，ｉ３＝１０）で割り当てることができる。そして、残響オーディオ信号４０２ ｓｒｅｖ（ｎ，ｌ）は、これらのチャネルにそれぞれ割り当てられ、それぞれのゲインで処理される。例えば、以下のようになる。
【数3】
【0093】
それ以外のチャネルはゼロに設定される。
【数4】
【0094】
そして、パニングされた残響信号２０８ ｓｐｒ，１（ｎ，ｉ）を出力することができる。
【0095】
この例では、次の時刻に、θｔａｒｇｅｔ（ｊ，ｎ），φｔａｒｇｅｔ（ｊ，ｎ）が変化し、パニングゲイン４０４ｇ（ｉ）も変化する。しかしながら、非ゼロゲインは依然として同じチャネル、すなわち、例えば、３、４、１０にある。この例では、非ゼロチャネルへの残響信号の割り当てを自由に選択することはできない。その代わり、割り当て順序は変わらず、すなわち、ｉ１＝３，ｉ２＝４，ｉ３＝１０とする。これにより、出力信号ｓｐｒ，１（ｎ，ｉ）に不連続性がなく、良好なオーディオ品質が維持される。もし、割り当てが変更された場合、オーディオ信号の不連続性が生じ、オーディオ信号のクリックやスナップが発生する可能性がある。
【0096】
そして、次の時刻にθｔａｒｇｅｔ（ｊ，ｎ），φｔａｒｇｅｔ（ｊ，ｎ）は再び変化し、パニングゲイン４０４ ｇ（ｉ）も変化する。今回は、非ゼロゲインが異なるチャネル、例えば、３、４、１４であると仮定する。また、この例では、残響信号の非ゼロチャネルへの割り当てを自由に選択することはできない。チャネル３と４は、不連続性（および、その後のクリックやスナップ）を避けるために、それぞれの残響信号を保持する必要がある。しかしながら、３番目の残響信号は、新しいチャネルに変更することができる。したがって、新しい割当は、ｉ１＝３，ｉ２＝４，ｉ３＝１４となる。したがって、出力は次のようになる。
【数5】
【0097】
このように、各残響信号に対するスピーカチャネルの選択は、チャネルが「ゼロゲイン」を介してのみ、変更されるように実行される。換言すれば、ゼロより大きいゲインを有するチャネルについては、同じ残響が維持される。さらに、あるパニングゲイン４０４の値がゼロになり、他のチャネルにゼロより大きなゲイン値が割り当てられた場合、残響信号のチャネルマッピングの変更が実行される。パニングツールとしてＶＢＡＰを使用する場合、この変更は、さらに、スムーズに行われる。
【0098】
【0099】
例えば、本方法は、図５において、ステップ５０１によって示すように、オーディオ信号、残響パラメータ、スピーカ設定、および、ターゲット方向を取得することを含むことができる。
【0100】
そして、図５において、ステップ５０３によって示すように、オーディオ信号への残響パラメータの適用に基づいて、残響オーディオ信号を生成する。
【0101】
さらに、図５において、ステップ５０４によって示されるように、パニングゲインパラメータは、スピーカ設定およびターゲット方向に基づいて決定することができる。
【0102】
その後、図５において、ステップ５０５によって示されるように、残響オーディオ信号にゲインパラメータを適用して、パニングされた残響信号を生成することができる。
【0103】
そして、図５において、ステップ５０７によって示されるように、残響オーディオ信号を出力することができる。
【0104】
図６は、ターゲット方向がθｔａｒｇｅｔ＝０，φｔａｒｇｅｔ＝１０から、θｔａｒｇｅｔ＝０，φｔａｒｇｅｔ＝－１０に滑らかに変化する、いくつかの実施形態の実装を示すグラフの例である。対応するパニングゲインも滑らかに変化し、チャネル１０のパニングゲインは滑らかにゼロになり、チャネル１４のパニングゲインは（チャネル１０のゲインがゼロになった後）ゼロから滑らかに増加する。このように、ｇ（１０）がゼロになる時刻の瞬間には、不連続性を生じさせることなく、余計な処理をすることなく、チャネルマッピングを実行することができる。他のパニングツールの場合（または、「ターゲット方向」における急激な変化の場合）、時間をかけて平滑化することにより、古いパニングゲインをゆっくりとゼロまでフェードアウトし、その後にのみチャネルマッピングを変更し、その後、新たなパニングゲインをフェードインすることができる（例えば、約１０ｍｓ長のハンウィンドウ型スロープを用いて、最初のハンウィンドウの半分をフェードイン、後半をフェードアウトする）。
【0105】
図７に関しては、残響器４０１として採用することができ、Ｄ個の無相関出力を生成するために使用することができるような、例示的なＦＤＮ残響器を示す。図４に示す例では、３つのそのようなＦＤＮ反射器４０１があり、その各々は、合計４５個の出力に対して１５個の無相関出力（Ｄ＝１５）を生成するように構成される。したがって、この実施例では、１５個の残響パナー経路ｊが存在する。
【0106】
例示的なＦＤＮ－残響器の実装は、残響パラメータを処理して、各減衰フィルタ７６１の係数ＧＥＱｄ（ＧＥＱ１、ＧＥＱ２、・・・ＧＥＱＤ）、フィードバック行列７５７の係数Ａ、Ｄ遅延線７５９の長さｍｄ（ｍ１、ｍ２、・・・ｍＤ）および直接対残響比フィルタ７５３の係数ＧＥＱＤＤＲを生成するよう構成される。
【0107】
いくつかの実施形態では、各減衰フィルタＧＥＱｄは、Ｍ個の双２次（ｂｉｑｕａｄ）ＩＩＲバンドフィルタを使用するグラフィックＥＱフィルタとして実装される。したがって、オクターブバンドＭ＝１０では、各グラフィックＥＱのパラメータは、１０個の双２次ＩＩＲフィルタのフィードフォワード係数およびフィードバック係数、双２次バンドフィルタのゲイン、および、全体ゲインを含む。いくつかの実施形態では、ＦＤＮ残響器パラメータを決定するために、任意の適切な方法を実施することができ、例えば、仮想／物理シーンの所望のＲＴ６０時間を再現できるようなＦＤＮ残響器パラメータを導出するために、特許出願ＧＢ２１０１６５７．１に記載の方法を実施することができる。
【0108】
残響器は、遅延７５９、フィードバック要素（ゲイン７６１、７５７結合器７５５および出力ゲイン７６３として示される）のネットワークを使用して、後半部分の非常に密なインパルス応答を生成する。入力サンプル７５１は残響器へ入力され、残響オーディオ信号成分を生成し、それを出力することができる。
【0109】
ＦＤＮ残響器は、複数の再循環遅延線を含む。ユニタリー行列Ａ７５７は、ネットワーク内の再循環を制御するために使用される。いくつかの実施形態では、２次断面ＩＩＲフィルタのカスケードとして実装されるグラフィックＥＱフィルタとして実装され得る減衰フィルタ７６１は、異なる周波数におけるエネルギー減衰率の制御を容易にすることができる。フィルタ７６１は、遅延線を通過する各パルスでデシベル単位の所望の量を減衰させ、所望のＲＴ６０時間が得られるように設計される。
【0110】
例示したＦＤＮ残響器は、各ＦＤＮ遅延線からの出力を独立した出力として提供することで、Ｄチャネル出力を示している。
【0111】
図８は、１つのＦＤＮ残響器のパラメータの調整を示すフロー図である。この残響器のパラメータには、各減衰フィルタＧＥＱｄの係数、フィードバック行列の係数Ａ、Ｄ本の遅延線の長さｍｄが含まれている。さらに、拡散直流比フィルタＧＥＱＤＤＲの係数が含まれる。これらの実施形態において、各減衰フィルタＧＥＱｄは、Ｍ個の双２次ＩＩＲバンドフィルタを用いたグラフィックＥＱフィルタである。したがって、オクターブ帯域Ｍ＝１０の場合、各グラフィックＥＱのパラメータは、１０個の双２次（ｂｉｑｕａｄ）ＩＩＲフィルタのフィードフォワード係数およびフィードバック係数、双２次帯域フィルタのゲイン、および、全体ゲインからなる。
【0112】
したがって、図８において、ステップ８０１によって示すように、本方法は、仮想シーンの形状（ｇｅｏｍｅｔｒｙ）から寸法を取得することを含む。
【0113】
次に、図８において、ステップ８０３によって示すように、本方法は、寸法に基づいて、少なくとも１つの遅延線長の長さを決定することをさらに含んでよい。
【0114】
次に、図８において、ステップ８０５によって示すように、仮想シーンの所望の残響特性に基づいて、少なくとも１つの減衰フィルタの係数を決定する。
【0115】
さらに、図８において、ステップ８０７によって示すように、本方法は、仮想シーンの所望の拡散対指向比特性に基づいて、少なくとも１つの拡散対指向比制御フィルタの係数を決定するように構成される。
【0116】
遅延線の数Ｄは、品質要件と、残響品質と計算の複雑さとの間の所望のトレードオフとに応じて、調整することができる。いくつかの実施形態では、Ｄ＝１５本の遅延線による効率的な実装が使用される。これにより、Ｒｏｃｃｈｅｓｓｏ：Ｍａｘｉｍａｌｌｙ Ｄｉｆｆｕｓｉｖｅ Ｙｅｔ Ｅｆｆｉｃｉｅｎｔ Ｆｅｅｄｂａｃｋ Ｄｅｌａｙ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ａｒｔｉｆｉｃｉａｌ Ｒｅｖｅｒｂｅｒａｔｉｏｎ，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，Ｖｏｌ．４，Ｎｏ．９，Ｓｅｐ １９９７．Ｒｏｃｃｈｅｓｓｏに記載の方法で示されるように、フィードバック行列係数Ａを効率の良い実装を容易にするガロア列の観点から定義することが可能になる。
【0117】
遅延線ｄの長さｍｄは、仮想部屋の寸法に基づいて決定することができる。仮想部屋は、任意の適切な立方体の形状にすることができる。さらに音響学では、これらの立方体は、「シューボックス型の部屋」と呼ばれる。例えば、シューボックス型の部屋は、寸法ｘＤｉｍ、ｙＤｉｍ、ｚＤｉｍで定義することができる。部屋の形状が「シューボックス」でない場合は、「シューボックス」を部屋の中に収めることができ、収められたシューボックスの寸法を遅延線長に利用することができる。あるいは、寸法は、靴箱の形をしていない部屋における３つの最長寸法として、または他の適切な方法で取得することができる。
【0118】
いくつかの実施形態では、遅延は、仮想部屋または現実の部屋における定在波共振周波数に比例して設定される。遅延線長ｍｄは、さらに、相互にプライム（ｐｒｉｍｅ）にすることができる。
【0119】
いくつかの実施形態では、遅延線の減衰フィルタ係数は、所望のＲＴ６０時間が取得されるように、遅延線を通る各信号再循環で減衰のデシベル単位の所望の量が発生するように調整される。これは、特定の周波数における信号エネルギーの適切な減衰率を確保するために、周波数に応じた方法で実施される。
【0120】
エンコーダへの入力は、いくつかの実施形態では、ＲＴ６０（ｆ）として示される指定周波数ｆあたりの所望のＲＴ６０時間を提供することができる。周波数ｆについて、信号サンプルあたりの所望の減衰は、ａｔｔｅｎｕａｔｉｏｎＰｅｒＳａｍｐｌｅ（ｆ）＝－６０／（ｓａｍｐｌｉｎｇＲａｔｅ＊ｒｔ６０（ｆ））として計算される。長さｍｄの遅延線に対するデシベル単位の減衰は、ａｔｔｅｎｕａｔｉｏｎＤｂ（ｆ）＝ｍｄ＊ａｔｔｅｎｕａｔｉｏｎＰｅｒＳａｍｐｌｅ（ｆ）となる。
【0121】
いくつかの実施形態では、ＲＴ６０時間は、異なる空間方向について異ならせることができる。この場合、遅延線の吸収フィルタは、この遅延線がパニングされるターゲット方向のＲＴ６０時間に基づいて調整される。
【0122】
いくつかの実施形態における減衰フィルタは、Ｖ． Ｖａｌｉｍａｋｉ ａｎｄ Ｊ．Ｌｉｓｋｉ，“Ａｃｃｕｒａｔｅ ｃａｓｃａｄｅ ｇｒａｐｈｉｃ ｅｑｕａｌｉｚｅｒ”，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ．Ｌｅｔｔ．、２４巻、２号、１７６－１８０頁、２０１７年２月に各遅延線について記載されているように、カスケードグラフィックイコライザのフィルタとして設計される。概説された設計手順は、オクターブバンドでのコマンドゲインのセットを入力として受け取る。また、第３オクターブバンドをサポートできる同様のグラフィックＥＱ構造の方法もあり、双２次フィルタの数を３１に増やし、Ｔｈｉｒｄ－Ｏｃｔａｖｅ ａｎｄ Ｂａｒｋ Ｇｒａｐｈｉｃ－Ｅｑｕａｌｉｚｅｒ Ｄｅｓｉｇｎ ｗｉｔｈ Ｓｙｍｍｅｔｒｉｃ Ｂａｎｄ Ｆｉｌｔｅｒｓ、ｈｔｔｐｓ：／／ｗｗｗ．ｍｄｐｉ．ｃｏｍ／２０７６－３４１７／１０／４／１２２２／ｐｄｆに記載されているような詳細なターゲット応答に対するより良い適合性を提供する。
【0123】
図９に関して、無相関の出力を生成する３つのＦＤＮ残響器のパラメータを調整する方法を示すフロー図が示されている。これらの実施形態では、修正されていない仮想部屋の形状に基づいて、１つの残響器のパラメータを調整し、修正された仮想部屋の形状を用いて第２および第３のＦＤＮ残響器のパラメータを調整することを含む。例えば、残響器１は、仮想部屋の寸法ｘＤｉｍ、ｙＤｉｍ、ｚＤｉｍを使用して、図８に示す方法を使用してパラメータ化される。第２ＦＤＮ残響器は、修正された仮想部屋の寸法１．２＊ｘＤｉｍ、１．２＊ｙＤｉｍ、１．２＊ｚＤｉｍを使用して調整される。第３ＦＤＮ残響器は，０．８＊ｘＤｉｍ，０．８＊ｙＤｉｍ，０．８＊ｚＤｉｍの修正された仮想部屋の寸法を使用して調整される．
【0124】
したがって、例えば、図９において、ステップ９０１によって示すように、この方法は、環境の寸法、ＲＴ６０、および、オプションで拡散対直行比特性を取得することができる。
【0125】
次に、図９において、ステップ９０３によって示すように、本方法は、環境特性に従って、残響を発生させるための第１残響器を構成することを含む。
【0126】
次に、図９において、ステップ９０５によって示すように、環境の少なくとも１つの寸法が変更される。
【0127】
環境を変更した後、図９において、ステップ９０７によって示されるように、変更した環境特性に従って、残響を発生させるための第２残響器を構成する。
【0128】
次に、図９において、ステップ９０９によって示されるように、環境の少なくとも第２寸法が変更される。
【0129】
次に、図９において、ステップ９１１によって示されるように、さらに、変更された環境特性に従って、残響を発生させるための第３残響器を構成する。
【0130】
ＦＤＮ遅延線長ｍ１～ｍＤはシーンの形状に基づいて調整されるため、シーンの形状を変更すると、各残響器の遅延線の長さが異なり、出力が無相関となる。
【0131】
いくつかの実施形態では、すべてのＦＤＮ残響器に渡る全ての遅延線は、相互に無相関な出力を保証するために、相互にプライムな長さを有するように調整される。これは、例えば、最初に作成されたＦＤＮに、それが使用している遅延線長を報告させ、第２ＦＤＮを、第１ＦＤＮが使用している遅延線長のいずれをも使用しないように作成することによって実施することができる。第３ＦＤＮは、第１または第２ＦＤＮが使用する遅延線長のいずれも使用しないような方法で作成される。
【0132】
図１０は、いくつかの実施形態による例示的な実装シナリオを示す図である。このシナリオは、仮想現実（ＶＲ）および拡張現実（ＡＲ）のための６自由度（６ＤｏＦ）シナリオにおけるオーディオレンダリングをサポートする予定のＭＰＥＧ－Ｉオーディオフェーズ２規格の想定されるユースケースに対応する。
【0133】
エンコーダへの入力は、１つ以上のオーディオ信号２００、および、仮想シーンの記述２８２である。いくつかの実施形態における仮想シーン記述パラメータ２８２は、三角形メッシュフォーマットとして定義され得る仮想シーン形状、（メッシュ）音響材料特性、（メッシュ）残響特性、オーディオオブジェクト位置（いくつかの実施形態ではカルテシアン座標として定義され得る）、を含む。換言すれば、仮想シーン記述２８２は、ＲＴ６０時間、拡散対全エネルギー比、および、シーン形状などの所望の残響パラメータを有する音響環境の記述を含む。これらのパラメータは、エンコーダ１００１によって取得される。
【0134】
エンコーダ１００１は、残響パナーパラメータ取得部１００５に渡される残響パラメータを導出するように構成された残響パラメータ取得部１００３を備え、残響パナーパラメータを（上述の方法を用いて）決定するように構成された残響パラメータ取得部を備える。この方法は、シーン形状と残響特性に基づいて残響器パラメータを導出する。残響特性が提供されない場合、それらは仮想シーンの形状と材料特性を使用する音響シミュレーションを介して取得することができる。形状や波動ベースの仮想音響シミュレーション方法、または、それらの組み合わせを使用することができる。例えば、低い周波数には波動ベースの仮想音響シミュレーションを、高い周波数には幾何学的な音響手法を用いることができる。英国特許出願ＧＢ２１０１６５７．１に記載された方法は、残響器パラメータを導出するために使用することができる。
【0135】
残響パナーのパラメータ（遅延線長、遅延線減衰フィルタ係数、拡散対フィルタ係数、および、ターゲット方向）は、次に、パラメータを符号化するように構成されている残響パナーパラメータエンコーダ１００７に渡すことができる。符号化された残響パナーパラメータは、次に、ビットストリームエンコーダ１００９に渡すことができ、このエンコーダは、次に、オーディオ信号２００とともに、ビットストリーム２２０を生成するように構成される。換言すれば、仮想シーン記述の他のコンテンツもビットストリームに符号化することができる。オーディオ信号は、ＭＰＥＧ－Ｈ ３Ｄオーディオで符号化され、ビットストリームに多重化される。
【0136】
デコーダ／レンダラ１０１１は、仮想シーンコンテンツのビットストリーム２２０の記述、残響パナーパラメータなどのレンダリングパラメータ、および、オーディオ信号を受信するように構成される。
【0137】
いくつかの実施形態では、デコーダ／レンダラ１０１１は、ビットストリームデコーダ１０３１を含む。ビットストリームデコーダ１０３１は、仮想シーンコンテンツの「符号化」された記述、残響パナーのパラメータなどのレンダリングパラメータ、および、オーディオ信号をビットストリームから復号／分離して出力するように構成される。
【0138】
いくつかの実施形態におけるデコーダ／レンダラ１０１１は、ビットストリームデコーダ１０３１から符号化された残響パナーパラメータを取得し、残響パナーパラメータを作成して、これらを残響パナークリエータ１０３５に出力するように構成された残響パナーパラメータデコーダ１０３３を含む。
【0139】
デコーダ／レンダラ１０１１は、復号化された残響パナーパラメータを受信し、残響パナー２０１を初期化するように構成された残響パナークリエータ１０３５をさらに備えている。この例では、１つの残響パナー２０１のみが示されているが、上述のように、それぞれが独自の残響パラメータおよびターゲット方向を有する複数の残響パナーを採用することができる。
【0140】
その後、残響パナー２０１、ラウドスピーカ信号結合器２０３、および、ＨＲＴＦプロセッサ２０５は、頭部方向決定器１０９９の出力およびビットストリームデコーダ１０３１からのラウドスピーカ設定または構成情報に基づいて、前述のように実装することができる。換言すれば、残響パナー２０１、スピーカ信号結合器２０３、および、ＨＲＴＦプロセッサ２０５は、所望の残響特性を有するオーディオ信号をレンダリングするために使用され得る。なお、本例では、ヘッドトラッキング情報に基づくターゲット方向の回転は、図２～図５に関して説明した例示的な実施形態ではパナーの外側で行われていたのに対し、残響パナー２０１の内側で行われている。
【0141】
さらに、デコーダ／レンダラ１０１１は、ビットストリームデコーダ１０３１から復号されたオーディオ信号を受信するように構成され、空気吸収や距離対ゲイン減衰などの任意の直接音処理を実施するように構成される直接音プロセッサ１０３９を備え、これは、頭部方位決定とともに直接音成分を生成し、ＨＲＴＦプロセッサ２０５からの残響成分とともにバイノーラル信号結合器２０７に渡され得るＨＲＴＦプロセッサ１０４１へ渡される。バイノーラル信号結合器２０７は、直接音部分と残響音部分を結合して、適切な出力（例えば、ヘッドホン再生用）を生成するように構成されている。
【0142】
また、図示はしていないが、提案方法と組み合わせた初期反射レンダリングなど、他の様々なオーディオ処理方法を適用することも可能である。
【0143】
いくつかの実施形態では、残響パナーパラメータは、レンダラによって部分的または完全に導出され得る。例えば、ＡＲオーディオレンダリングにおいて、レンダラが所望の残響パラメータとともにリスニングスペースの記述を受信するような場合がそうであり得る。
【0144】
上記の実施形態で説明したようなアプローチは、さらに、多数のチャネルからの残響を計算上効率的な方法でレンダリングする際の残響器および残響空間化ソリューションの問題の解決を目指すように構成することもできる。ユーザを実際に包み込む高品質な残響を得るための簡単な方法は、例えば、４５個の出力チャネルを有する大型の残響器を調整することである。しかし、このような残響器をＦＤＮ残響器として実装する場合、各サンプルに対して４５本の遅延線に渡るフィードバックをフィードバック行列で実装する必要があるため、フィードバック行列の計算が膨大になる。
【0145】
本明細書で説明する実施形態では、それぞれ、１５チャネルしか持たない３つのＦＤＮ残響器を採用することが可能であり、これらは最新のプロセッサアーキテクチャで並列に実行することができ、実際に行列計算を実行せずに高速フィードバック行列計算を個別に行う。さらに、４５個の残響器出力チャネルの空間化には、現在、４５個の仮想ラウドスピーカと４５個のＨＲＴＦフィルタが必要であるが、本明細書に記載の実施形態では、１５個の仮想ラウドスピーカのゲインを計算して１５個のＨＲＴＦフィルタによる空間化を実行するだけでよい。
【0146】
いくつかの実施形態では、本明細書に記載された装置および方法は、（残響以外の）他のインコヒーレントコンテンツも生成するために重要な創作的知見を得ることなく採用することができる。例えば、アンビエンス音は、上述の実施形態を使用して、周囲を取り囲むように再生され、包み込むように再生され得る。この例では、残響器を無相関化器に置き換えることができる。また、いくつかの実施形態では、残響パラメータを省略することができる。その代わりに、異なるマイク信号を異なる残響パナー経路ｊに転送することができる。例えば、マイクは、音響的に影があるデバイスの表面上に取り付けられてよい。その結果、異なるマイクは、方向に依存した方法でアンビエンス（および／または、残響）をキャプチャすることができる。したがって、実際には、方向依存の残響パラメータを提供するのと同じ効果が得られる。
【0147】
【0148】
図１１に示す装置への入力は、単一のオーディオ信号２００の代わりに、複数のマイク信号１１００（これらは、マイク信号１ １１００１、マイク信号２ １１００２、マイク信号Ｎ １１００Ｎを示す）である。これらの入力マイク信号は、関連する無相関化器パナー１１０１に転送される。したがって、マイク信号１ １１００１は無相関化器パナー１１０１１に転送され、マイク信号２ １１００２は無相関化器パナー１１０１２に転送され、マイク信号Ｎ １１００Ｎは無相関化器パナー１１０１Ｎに転送される。
【0149】
各無相関化器パナー１１０１（図２の残響パナーの代わり）は、ラウドスピーカ設定１１０２とターゲット方向１１０４のパラメータを受信するように構成されているが、残響パラメータは受信しない。したがって、例えば、図１１に示すように、ラウドスピーカ設定１１０２および第１ターゲット方向（ターゲット方向１）１１０４１を受信するように構成された第１無相関化器パナー１１０１１、ラウドスピーカ設定１１０２および第２ターゲット方向（ターゲット方向２）１１０４２を受信するように構成された第２無相関化器パナー１１０１２、ラウドスピーカ設定１１０２および第Ｎターゲット方向（ターゲット方向Ｎ）１１０４Ｎを受信するように構成された第Ｎ無相関化器パナー１１０１Ｎがある。
【0150】
いくつかの実施形態におけるターゲット方向１１０４は、頭部の向きおよびアレイ内のマイクのそれぞれの方向から導出され得る。いくつかの実施形態における無相関化器パナー１１０１１、１１０１２、１１０１Ｎの各々は、先に説明した残響パナー２０１１、２０１２、２０１Ｎと同様の方法で動作するように構成されるが、入力マイク信号を残響させるのではなく、マイクオーディオ信号を無相関化してパニングアンビエンス信号（マルチチャネル）１１０８を発生するように構成される。例えば、第１無相関化器パナー１１０１１からの第１パニングアンビエンス信号（パニングされたアンビエンス信号１）１１０８１、第２無相関化器パナー１１０１２からの第２パニングアンビエンス信号（パニングされたアンビエンス信号２）１１０８２、および、第Ｎ無相関化器パナー１１０１Ｎからの第Ｎパニングアンビエンス信号（パニングされたアンビエンス信号Ｎ）１１０８Ｎは、スピーカ信号結合器１１０３へ渡すことができる。
【0151】
ラウドスピーカ信号結合器１１０３は、無相関化器パナー１１０１１、１１０１２、および、１１０１Ｎの出力をそれぞれパニングされたアンビエンス信号１１０８１、１１０８２、１１０８Ｎの形で結合し、さらに１～Ｎの選択されたチャネルに対するパニングされたアンビエンス信号１１１０（図１１では、１１１０１、１１１０２、１１１０Ｎとして示す）を生成してＨＲＴＦプロセッサ１１０５へ渡すよう構成される。
【0152】
ＨＲＴＦプロセッサは、各ＨＲＴＦプロセッサ１１０５のＨＲＴＦ２１２を取得するように構成され、処理されたパニングされたアンビエンス信号からバイノーラルのパニングされたアンビエンス信号１１１４を生成し、バイノーラル信号結合器１１０７に渡されるように構成される。
【0153】
バイノーラル信号結合器１１０７は、バイノーラルのパニングされたアンビエンス信号１１１４を受信し、これらに基づいてアンビエンスバイノーラル信号１１５０を生成する。その結果、アンビエンスバイノーラル信号１１５０は、サラウンドの、包み込むようなアンビエンスの知覚を生み出す。さらに、異なるマイクの指向特性が維持され、正しい方向から再生されるため、アンビエンスの指向特性は正しい方向へ生成される。
【0154】
【0155】
したがって、図１２において、ステップ１２０１によって示されるように、本方法は、マイクオーディオ信号、スピーカ設定、および、ターゲット方向を取得することを含む。
【0156】
次に、マイクオーディオ信号、スピーカ設定、ターゲット方向を取得した後、図１２において、ステップ１２０３によって示されるように、パニングされたアンビエンス信号（マルチチャネル）を生成する。
【0157】
次に、図１２において、ステップ１２０５によって示されるように、パニングされたアンビエンス信号は、ラウドスピーカチャネルのパニングされたアンビエンス信号を生成するために結合することができる。
【0158】
次に、図１２において、ステップ１２０７によって示されるように、チャネルパニングされたアンビエンス信号に対してＨＲＴＦ処理が実行される。
【0159】
次に、図１２において、ステップ１２０９によって示されるように、処理された信号は、アンビエンスバイノーラル信号を生成するために結合することができる
【0160】
そして、図１２において、ステップ１２１１によって示されるように、アンビエンスバイノーラル信号を出力することができる。
【0161】
図１３は、図１１に示すような例示的な無相関化器パナー（例えば、無相関化器パナー１１０１１）を模式的に示す。これは、図４に示した残響パナーと他の点で同様に動作するように構成されているが、残響器４０１が、相互にインコヒーレントな無相関化された信号を生成するように構成された無相関化器１３０１に置き換わっている。これらの実施形態では、残響パラメータ入力はなく、その代わりに、パニングゲインアプライヤ１３０３に渡される無相関化されたオーディオ信号１３０２が、無相関化器の各々から出力される。したがって、図１３は、マイク信号１１００１を受信し、第１無相関オーディオ信号（無相関化されたオーディオ信号１）１３０２１を出力する第１無相関化器１３０１１、マイク信号１１００１を受信し、第２無相関オーディオ信号（無相関化されたオーディオ信号２）１３０２２を出力する第２無相関化器１３０１２、マイク信号１１００１を受信し、第Ｎ無相関オーディオ信号（無相関化されたオーディオ信号Ｎ）１３０２Ｎを出力する第Ｎ無相関化器１３０１Ｎを示す。
【0162】
さらに、ラウドスピーカ設定１１０２とターゲット方向１１０４４を受信し、パニングゲイン１３０４を生成してパニングゲインアプライヤ１３０３に渡すように構成されたパニングゲイン決定器１３０５が示される。
【0163】
パニングゲインアプライヤ１３０３は、無相関化器１３０１１、１３０１２、および、１３０１Ｎからの出力を受信し、パニングゲインを適用して、これらを結合し、パニングされ無相関化された信号１１０８１を生成するように構成される。
【0164】
【0165】
例えば、図１４において、ステップ１４０１によって示されるように、本方法は、マイクオーディオ信号、スピーカ設定、および、ターゲット方向を取得することを含むことができる。
【0166】
次に、図１４において、ステップ１４０３によって示されるように、マイクオーディオ信号１１００から、無相関化されたオーディオ信号を生成する。
【0167】
さらに、図１４において、ステップ１４０４によって示されるように、スピーカ設定およびターゲット方向に基づいて、パニングゲインパラメータを決定することができる。
【0168】
その後、図１４において、ステップ１４０５によって示されるように、無相関化されたオーディオ信号にゲインパラメータを適用し、パニングされたアンビエンス信号を生成することができる。
【0169】
そして、図１４において、ステップ１４０７によって示されるように、アンビエンスオーディオ信号を出力することができる。
【0170】
本明細書で説明する例では、いくつかの残響パナーまたは残響器が示されているが、それらは単一の残響パナーまたは残響器の内部に実装することができることに留意されたい。例えば、ＦＤＮ残響器フィードバック行列は、ブロックがより小さいＦＤＮインスタンスの所望のフィードバック行列に対応するブロック構造を有するように構成することができる。そして、実際の実装は、ブロックフィードバック行列と適切な遅延線を用いて小さなＦＤＮを共同で実装する単一のＦＤＮにすることができる。
【0171】
さらにいくつかの実施形態では、ＦＤＮ残響器の遅延線長は、本明細書に記載されるものとは異なる方法で設定することができる。例えば、１つの更なる選択肢は、遅延長を仮想部屋における平均自由行路長に比例させることである。いくつかの実施形態では、仮想部屋の寸法は、別の部屋の寸法にマッピングされる。例えば、部屋の１つは、比［１、１．６、２．５６］を持った寸法を有することができる。これらの実施形態では、入力仮想部屋の最短寸法が比率１に対応してそのまま使用され、他の２つの寸法は、最短入力部屋の寸法の１．６倍および２．５６倍の比率に基づいて計算される。そして、これら算出された別の部屋の寸法に基づいて遅延線長を調整する。
【0172】
いくつかの実施形態では、他の寸法比も存在し得る。例えば、以下の寸法比が使用され得る。
［１ １ １］
［１ １．１４ １．３９］
［１ １．２６ １．５９］
［１ １．２８ １．５４］
［１ １．３ １．９］
［１ １．４ １．９］
［１ １．５ ２．５］
［１ １．６ ２．３３］
この中から、１つの寸法比率のセットを選択することができる。
［１ １ １］
［１ １．１４ １．３９］
［１ １．２６ １．５９］
［１ １．２８ １．５４］
［１ １．３ １．９］
［１ １．４ １．９］
［１ １．５ ２．５］
［１ １．６ ２．３３］
この中から、１つの寸法比率のセットを選択することができる。
【0173】
さらに、いくつかの実施形態では、異なる寸法比はレンダラに記憶され、どれを使用するかを示すインデックスがエンコーダからレンダラに送信されてもよい。
【0174】
ＦＤＮ残響器の遅延線減衰フィルタは、さらに、いくつかの実施形態において、並列２次セクションフィルタ、ＩＩＲフィルタの任意の他の組み合わせ、または、ＦＩＲフィルタなどの異なる実装を有することができる。
【0175】
残響器は、任意の適切な方法で実装することができる。例えば、いくつかの実施形態では、残響器は、減衰ノイズシーケンスとの畳み込みを使用して実装することができる。このアプローチでは、各帯域の所望のＲＴ６０時間に基づく所望の減衰エンベロープと乗算されるＮ個の無相関帯域通過ノイズシーケンスを初期化することによって、マルチチャネル残響器を作成することができる。出力信号は、入力信号を各帯域通過ノイズシーケンスと畳み込むことによって作成することができる。このような残響器は仮想シーンの形状に依存しないため、全ての残響器の全ての帯域で異なる無相関ノイズシーケンスを使用することによって、３つの残響器を初期化することができる。
【0176】
上記の例示的な実施形態では、ターゲット方向θｔａｒｇｅｔ（ｊ，ｎ），φｔａｒｇｅｔ（ｊ，ｎ）、および、その後の全ての処理は、オーディオサンプルの時間的精度で実行された。いくつかの実施形態では、ターゲット方向、および／または、任意の他の変数（パニングゲインなど）は、任意の他の時間分解能（例えば、１０ｍｓ毎）で決定することができ、その後、必要な変数を好適に補間することができる。
【0177】
例示した実施形態では、パニングゲインの決定にはＶＢＡＰを使用した。ＶＢＡＰは最大で３つの非ゼロゲインを生成するため、各残響パナーには最大で３つの残響器が必要である。いくつかの実施形態では、パニングゲイン決定のための異なる方法が使用され得る。したがって、いくつかの実施形態では、残響器の数は、それに応じて任意の適切な数とすることができる。例えば、パニングツールが４つの非ゼロゲインを生成する場合、パナーごとに４つの残響器を採用することができる。
【0178】
いくつかの実施形態では、残響器パラメータの調整において、エンコーダ／レンダラ間で分割が可能であり、第１残響器のパラメータがエンコーダで調整されてビットストリームに符号化される。レンダラでは、第１残響器のパラメータが復号化され、次に第２および第３残響器を作成するために修正される。このような修正の例には、第２および第３残響器のパラメータを取得するために、第１残響器の遅延線長ｍＤおよび減衰フィルタ係数ＧＥＱｄを修正することが含まれる。所望のＲＴ６０時間を生成するために、遅延線長を短く、または、長く変更し、減衰フィルタ係数をそれに応じて変更することができる。次に、エンコーダによって導出され、ビットストリームから受信したパラメータを使用して第１残響器を初期化し、第１残響器のものから変更したパラメータを使用して第２および第３残響器を初期化する。
【0179】
いくつかの実施形態では、エンコーダからレンダラへのビットストリームは、ヘッドトラッキングを適用するか否かのシグナリングを含むことができる（例えば、「ｈｅａｄＴｒａｃｋｉｎｇＥｎａｂｌｅｄ」信号を採用する）。ｈｅａｄＴｒａｃｋｉｎｇＥｎａｂｌｅｄが真である例（または、ヘッドトラッキングが適用されることを示す他の適切なシグナリング）では、残響は、本明細書に提示される方法を使用してレンダリングされ得る。ｈｅａｄＴｒａｃｋｉｎｇＥｎａｂｌｅｄが偽である例（または、ヘッドトラッキングが使用されないことを示す他の任意の適切なシグナリング）では、残響は、マルチチャネル設定の各チャネルに対して単一の残響器を使用することによって、単にパニングを使用せずにレンダリングされ得る。このｈｅａｄＴｒａｃｋｉｎｇＥｎａｂｌｅｄは、単一の値を用いてシーン全体に対してシグナリングされてもよいし、シーンの異なる部分に対して個別にシグナリングされてもよい（例えば、異なる音響環境に対して個々の値を有する）。さらに、この情報は、いくつかの実施形態において間接的にシグナリングされることもある（例えば、各残響パナーの３つの残響器を初期化するパラメータがある場合、ヘッドトラッキングが有効になり、それらが利用できない場合、ヘッドトラッキングは無効になる）。
【0180】
図１５に、上述のようなシステムの装置部分のいずれかとして使用することができる例示的な電子デバイスを示す。デバイスは、任意の適切な電子機器または装置であってよい。例えば、いくつかの実施形態では、デバイス２０００は、携帯端末、ユーザ機器、タブレットコンピュータ、コンピュータ、オーディオ再生装置などである。デバイスは、例えば、エンコーダ、または、レンダラ、または、上記のような任意の機能ブロックを実装するように構成されてもよい。
【0181】
いくつかの実施形態では、デバイス２０００は、少なくとも１つのプロセッサまたは中央処理装置２００７を備える。プロセッサ２００７は、本明細書に記載されるような方法などの様々なプログラムコードを実行するように構成され得る。
【0182】
いくつかの実施形態では、デバイス２０００は、メモリ２０１１を備える。いくつかの実施形態では、少なくとも１つのプロセッサ２００７は、メモリ２０１１に接続される。メモリ２０１１は、任意の適切な記憶手段であり得る。いくつかの実施形態では、メモリ２０１１は、プロセッサ２００７で実装可能なプログラムコードを格納するためのプログラムコードセクションを備える。さらに、いくつかの実施形態では、メモリ２０１１は、データ、例えば、本明細書に記載の実施形態に従って処理された、または、処理されるべきデータを格納するための格納データセクションをさらに含むことができる。プログラムコードセクション内に格納された実装されたプログラムコード、および、格納されたデータセクション内に格納されたデータは、メモリ－プロセッサ接続を介して、必要なときにプロセッサ２００７によって取り出され得る。
【0183】
いくつかの実施形態では、デバイス２０００は、ユーザインタフェース２００５を備える。ユーザインタフェース２００５は、いくつかの実施形態において、プロセッサ２００７に接続され得る。いくつかの実施形態では、プロセッサ２００７は、ユーザインタフェース２００５の動作を制御し、ユーザインタフェース２００５から入力を受信することができる。いくつかの実施形態では、ユーザインタフェース２００５は、ユーザが、例えば、キーパッドを介して、デバイス２０００にコマンドを入力することを可能にすることができる。いくつかの実施形態では、ユーザインタフェース２００５は、ユーザがデバイス２０００から情報を取得することを可能にすることができる。例えば、ユーザインタフェース２００５は、デバイス２０００からの情報をユーザに表示するように構成されたディスプレイを含むことができる。ユーザインタフェース２００５は、いくつかの実施形態では、デバイス２０００に情報を入力することを可能にし、さらに、デバイス２０００のユーザに情報を表示することの両方が可能なタッチスクリーン、または、タッチインタフェースを含む。いくつかの実施形態では、ユーザインタフェース２００５は、通信するためのユーザインタフェースとすることができる。
【0184】
いくつかの実施形態では、デバイス２０００は、入力／出力ポート２００９を備える。いくつかの実施形態における入出力ポート２００９は、トランシーバを含む。このような実施形態におけるトランシーバは、プロセッサ２００７に接続され、例えば、無線通信ネットワークを介して、他の装置または電子デバイスとの通信を可能にするように構成され得る。トランシーバ、または、任意の適切なトランシーバ、または、送信手段、および／または、受信手段は、いくつかの実施形態において、有線または有線接続を介して、他の電子デバイスまたは装置と通信するように構成され得る。
【0185】
トランシーバは、任意の適切な既知の通信プロトコルによって、さらなる装置と通信することができる。例えば、いくつかの実施形態において、トランシーバは、適切なユニバーサル移動通信システム（ＵＭＴＳ）プロトコル、例えば、ＩＥＥＥ ８０２．Ｘなどの無線ローカルエリアネットワーク（ＷＬＡＮ）プロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの適切な短距離無線通信プロトコル、または、赤外線データ通信経路（ＩＲＤＡ）を使用できる。
【0186】
入出力ポート２００９は、信号を受信するように構成されていてもよい。
【0187】
いくつかの実施形態では、デバイス２０００は、レンダラの少なくとも一部として使用されてよい。入出力ポート２００９は、ヘッドホン（ヘッドトラッキング型ヘッドホン、または、ノントラッキング型ヘッドホンであってもよい）などに接続されてよい。
【0188】
一般に、本発明の様々な実施形態は、ハードウェアまたは特殊用途回路、ソフトウェア、ロジック、または、それらの任意の組み合わせで実装され得る。例えば、いくつかの態様はハードウェアで実装されてもよく、他の態様は、コントローラ、マイクロプロセッサ、または、他のコンピューティングデバイスによって実行され得るファームウェア、または、ソフトウェアで実装されてもよいが、本発明はこれらに限定されない。本発明の様々な態様は、ブロック図、フローチャートとして、または、他の何らかの図形的表現を用いて、図示および説明され得るが、本明細書に記載されるこれらのブロック、装置、システム、技術または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特殊用途回路またはロジック、汎用ハードウェアまたはコントローラまたは他の計算装置、または、それらの何らかの組み合わせで実施されてもよいことを十分に理解されたい。
【0189】
本発明の実施形態は、プロセッサエンティティ内のような携帯端末のデータプロセッサによって実行可能なコンピュータソフトウェアによって、または、ハードウェアによって、または、ソフトウェアとハードウェアの組合せによって、実施され得る。さらに、この点で、図のような論理フローの任意のブロックは、プログラムステップ、または、相互接続された論理回路、ブロックおよび機能、または、プログラムステップと論理回路、ブロックおよび機能との組み合わせを表すことができることに留意されたい。ソフトウェアは、メモリチップ、または、プロセッサ内に実装されたメモリブロック、ハードディスクまたはフロッピーディスクなどの磁気媒体、および、例えば、ＤＶＤ、および、そのデータバリエーションであるＣＤなどの光媒体などの物理媒体に格納されてよい。
【0190】
メモリは、ローカルな技術環境に適した任意のタイプのものであってよく、半導体ベースのメモリ装置、磁気メモリ装置およびシステム、光学メモリ装置およびシステム、固定メモリおよび取り外し可能メモリなど、任意の適切なデータ記憶技術を使用して実装することができる。データ処理装置は、ローカルな技術環境に適した任意のタイプのものであってよく、非限定的な例として、汎用コンピュータ、特殊用途コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ゲートレベル回路及びマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ以上を含むことができる。
【0191】
本発明の実施形態は、集積回路モジュールのような様々なコンポーネントにおいて実施することができる。集積回路の設計は、概して、高度に自動化されたプロセスである。論理レベル設計を、半導体基板上にエッチングして形成することが可能な半導体回路設計に変換するために、複雑で強力なソフトウェアツールが利用可能である。
【0192】
カリフォルニア州マウンテンビューのシノプシス社や、カリフォルニア州サンノゼのケイデンスデザイン社が提供するプログラムでは、確立された設計ルールや、あらかじめ保存された設計モジュールのライブラリを使用して、半導体チップ上の導体の配線や部品の配置を自動的に行う。半導体回路の設計が完了すると、標準化された電子フォーマット（Ｏｐｕｓ、ＧＤＳＩＩなど）の結果としての設計は、製造のために半導体製造施設または「ファブ」に送信されてよい。
【0193】
上述の説明は、例示的かつ非限定的な例として、本発明の例示的な実施形態に関する完全かつ有益な説明を提供した。しかしながら、添付の図面および添付の特許請求の範囲と併せて読むと、上述の説明を考慮して、様々な修正および適応が当業者には明らかになるであろう。しかしながら、本発明の教示の全てのそのような、および、類似の修正は、やはり、添付の特許請求の範囲に定義される本発明の範囲内に入るであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【手続補正書】
【提出日】2023-03-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ターゲット方向に基づいて、音場の少なくとも一部を位置決めするための装置であって、該装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備え、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、少なくとも、
少なくとも１つのオーディオ信号を取得することと、
スピーカ設定情報を取得することと、
少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、
前記少なくとも２つの処理経路のそれぞれについて、前記少なくとも１つの処理経路パラメータに基づいて、前記少なくとも１つのオーディオ信号を処理して、マルチチャネルオーディオ信号を生成することであって、各処理経路について、手段は、
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、
前記処理経路に関連付けられた前記ターゲット方向および前記スピーカ設定情報に基づいて、少なくとも２つのパニングゲインを決定し、
前記少なくとも２つのパニングゲインのそれぞれを、前記少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインが適用された少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、
前記少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、前記マルチチャネルオーディオ信号を生成する、
ように構成される、生成することと、
各処理経路からの前記マルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、
を行わせるように構成される、装置。
少なくとも１つのオーディオ信号を取得することと、
スピーカ設定情報を取得することと、
少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、
前記少なくとも２つの処理経路のそれぞれについて、前記少なくとも１つの処理経路パラメータに基づいて、前記少なくとも１つのオーディオ信号を処理して、マルチチャネルオーディオ信号を生成することであって、各処理経路について、手段は、
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、
前記処理経路に関連付けられた前記ターゲット方向および前記スピーカ設定情報に基づいて、少なくとも２つのパニングゲインを決定し、
前記少なくとも２つのパニングゲインのそれぞれを、前記少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインが適用された少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、
前記少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、前記マルチチャネルオーディオ信号を生成する、
ように構成される、生成することと、
各処理経路からの前記マルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、
を行わせるように構成される、装置。
【請求項2】
前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連する少なくとも１つの残響パラメータをさらに含み、前記装置は、前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、前記少なくとも１つの残響パラメータに基づいて、前記少なくとも１つのオーディオ信号を残響させて、前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号をそれぞれ生成する、ようにされる、請求項１に記載の装置。
【請求項3】
前記装置は、
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、
前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号の各々を生成するために、前記少なくとも１つのオーディオ信号を無相関化する、
ようにされる、請求項１に記載の装置。
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成し、
前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号の各々を生成するために、前記少なくとも１つのオーディオ信号を無相関化する、
ようにされる、請求項１に記載の装置。
【請求項4】
前記装置は、前記処理経路に関連付けられた前記ターゲット方向と前記スピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定し、前記処理経路に関連付けられた前記ターゲット方向と前記スピーカ設定情報に関連付けられた方向とに基づいて、ベクトルベース振幅パニングを適用する、ようにされる、請求項１に記載の装置。
【請求項5】
前記装置は、前記複合パニングゲイン適用マルチチャネルオーディオ信号の処理に基づいて、イマーシブオーディオ信号を生成するようにされる、請求項１に記載の装置。
【請求項6】
前記装置は、
前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理することに基づいて、前記イマーシブオーディオ信号を生成し、
前記複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、前記チャネルに関連するラウドスピーカに対する方向に関連する頭部関連伝達関数に基づいて、前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理し、チャネルバイノーラルパニング処理オーディオ信号を生成し、
全てのチャネルについて、前記チャネルバイノーラルパニング処理オーディオ信号を結合して、前記イマーシブオーディオ信号を生成する、
ようにされる、請求項５に記載の装置。
前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理することに基づいて、前記イマーシブオーディオ信号を生成し、
前記複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、前記チャネルに関連するラウドスピーカに対する方向に関連する頭部関連伝達関数に基づいて、前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理し、チャネルバイノーラルパニング処理オーディオ信号を生成し、
全てのチャネルについて、前記チャネルバイノーラルパニング処理オーディオ信号を結合して、前記イマーシブオーディオ信号を生成する、
ようにされる、請求項５に記載の装置。
【請求項7】
前記装置は、
スピーカ設定情報を取得し、
スピーカ設定情報を受信すること、
スピーカ設定情報を決定すること、および、
所定の、または、デフォルトのスピーカ設定情報を取得すること、
のいずれかを実行するようにされている、請求項１に記載の装置。
スピーカ設定情報を取得し、
スピーカ設定情報を受信すること、
スピーカ設定情報を決定すること、および、
所定の、または、デフォルトのスピーカ設定情報を取得すること、
のいずれかを実行するようにされている、請求項１に記載の装置。
【請求項8】
前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号は、相互にインコヒーレントなオーディオ信号である、請求項１に記載の装置。
【請求項9】
前記取得された少なくとも１つのオーディオ信号は、少なくとも１つのマイクオーディオ信号である、請求項１に記載の装置。
【請求項10】
前記スピーカ設定情報は、ラウドスピーカ設定を表す、請求項１に記載の装置。
【請求項11】
ターゲット方向に基づいて、音場の少なくとも一部を位置決めする装置のための方法であって、該方法は、
少なくとも１つのオーディオ信号を取得することと、
スピーカ設定情報を取得することと、
少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、
前記少なくとも２つの処理経路のそれぞれについて、前記少なくとも１つの処理経路パラメータに基づいて、前記少なくとも１つのオーディオ信号を処理し、マルチチャネルオーディオ信号を生成することであって、処理のために、
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、
前記処理経路に関連付けられた前記ターゲット方向と前記スピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定することと、
前記少なくとも２つのパニングゲインのそれぞれを、前記少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、
前記少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、前記マルチチャネルオーディオ信号を生成することと、
を含む、生成することと、
各処理経路からの前記マルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、
を含む、方法。
少なくとも１つのオーディオ信号を取得することと、
スピーカ設定情報を取得することと、
少なくとも２つの処理経路について、少なくとも１つの処理経路パラメータを取得することであって、前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連するターゲット方向を含む、取得することと、
前記少なくとも２つの処理経路のそれぞれについて、前記少なくとも１つの処理経路パラメータに基づいて、前記少なくとも１つのオーディオ信号を処理し、マルチチャネルオーディオ信号を生成することであって、処理のために、
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、
前記処理経路に関連付けられた前記ターゲット方向と前記スピーカ設定情報とに基づいて、少なくとも２つのパニングゲインを決定することと、
前記少なくとも２つのパニングゲインのそれぞれを、前記少なくとも部分的に相互にインコヒーレントなオーディオ信号の関連する１つに適用して、少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することと、
前記少なくとも２つのパニングゲインを適用した少なくとも部分的に相互にインコヒーレントなオーディオ信号を結合して、前記マルチチャネルオーディオ信号を生成することと、
を含む、生成することと、
各処理経路からの前記マルチチャネルオーディオ信号を結合して、複合パニングゲイン適用マルチチャネルオーディオ信号を生成することと、
を含む、方法。
【請求項12】
前記少なくとも１つの処理経路パラメータは、前記少なくとも２つの処理経路の各々に関連する少なくとも１つの残響パラメータをさらに含み、前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することは、前記少なくとも１つの残響パラメータに基づいて、前記少なくとも１つのオーディオ信号を残響させて、前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号をそれぞれ生成することを含む、請求項１１に記載の方法。
【請求項13】
前記少なくとも１つのオーディオ信号から、少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号を生成することは、前記少なくとも１つのオーディオ信号を無相関化して、前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号のそれぞれを生成することを含む、請求項１１に記載の方法。
【請求項14】
前記処理経路に関連する前記ターゲット方向および前記スピーカ設定情報に基づいて、少なくとも２つのパニングゲインを決定することは、前記処理経路に関連する前記ターゲット方向および前記スピーカ設定情報に関連する方向に基づいて、ベクトルベースの振幅パニングを適用することを含む、請求項１１に記載の方法。
【請求項15】
前記方法は、前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理することに基づいて、イマーシブオーディオ信号を生成することを含む、請求項１１に記載の方法。
【請求項16】
前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理することに基づいて、前記イマーシブオーディオ信号を生成することは、
前記複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、前記チャネルに関連するラウドスピーカに対する方向に関連する頭部関連伝達関数に基づいて、前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理して、チャネルバイノーラルパニング処理オーディオ信号を生成することと、
全てのチャネルについて、前記チャネルバイノーラルパニング処理オーディオ信号を結合して、前記イマーシブオーディオ信号を生成することと、
を含む、請求項１５に記載の方法。
前記複合パニングゲイン適用マルチチャネルオーディオ信号の各チャネルについて、前記チャネルに関連するラウドスピーカに対する方向に関連する頭部関連伝達関数に基づいて、前記複合パニングゲイン適用マルチチャネルオーディオ信号を処理して、チャネルバイノーラルパニング処理オーディオ信号を生成することと、
全てのチャネルについて、前記チャネルバイノーラルパニング処理オーディオ信号を結合して、前記イマーシブオーディオ信号を生成することと、
を含む、請求項１５に記載の方法。
【請求項17】
スピーカ設定情報を取得することは、
スピーカ設定情報を受信すること、
スピーカ設定情報を決定すること、および、
所定の、または、デフォルトのスピーカ設定情報を取得すること、
のいずれかを含む、請求項１１に記載の方法。
スピーカ設定情報を受信すること、
スピーカ設定情報を決定すること、および、
所定の、または、デフォルトのスピーカ設定情報を取得すること、
のいずれかを含む、請求項１１に記載の方法。
【請求項18】
前記少なくとも２つの少なくとも部分的に相互にインコヒーレントなオーディオ信号は、相互にインコヒーレントなオーディオ信号である、請求項１１に記載の方法。
【請求項19】
前記少なくとも１つのオーディオ信号は、少なくとも１つのマイクオーディオ信号である、請求項１１に記載の方法。
【請求項20】
前記スピーカ設定情報は、ラウドスピーカ設定を表す、請求項１１に記載の方法。
【外国語明細書】