(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-17
(54)【発明の名称】空間メタデータ補間によるオーディオレンダリング
(51)【国際特許分類】
H04S 7/00 20060101AFI20230410BHJP
【ＦＩ】
H04S7/00 330
H04S7/00 340
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022551399
(86)(22)【出願日】2021-02-03
(85)【翻訳文提出日】2022-10-24
(86)【国際出願番号】 FI2021050072
(87)【国際公開番号】W WO2021170900
(87)【国際公開日】2021-09-02
(31)【優先権主張番号】2002710.8
(32)【優先日】2020-02-26
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】515076873
【氏名又は名称】ノキア テクノロジーズ オサケユイチア
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100141162
【弁理士】
【氏名又は名称】森 啓
(72)【発明者】
【氏名】ユハ ビルカモ
(72)【発明者】
【氏名】ミッコ－ビッレ ライティネン
(72)【発明者】
【氏名】アルコンティス ポリティス
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA07
5D162CD01
5D162CD22
5D162EG05
5D162EG06
(57)【要約】
２つ以上のオーディオ信号セットを取得し（５００）、各オーディオ信号セットは位置に関連付けられ（５０５）、オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得し（５０１）、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置を取得し（５０２）、リスナー位置を取得し（５０４）、オーディオ信号セット（５０２）の少なくとも２つに少なくとも関連付けられた位置（５０５、５１０）及びリスナー位置（５０４）に基づいて、２つ以上のオーディオ信号セットの少なくとも２つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号（５１２）を生成し（５０３）、オーディオ信号セットの少なくとも２つについて、取得された少なくとも１つのパラメータ値、オーディオ信号セット（５０２）の少なくとも２つに関連付けられた位置、およびリスナー位置（５０４）に基づいて、少なくとも１つの修正されたパラメータ値（５１４）を生成し（５０７）、少なくとも１つの修正されたパラメータ値（５１４）に基づいて、少なくとも１つのオーディオ信号（５１２）を処理（５０９）して、空間オーディオ出力を生成する（５１８）、ように構成された手段を含む装置。
【特許請求の範囲】
【請求項1】
２つ以上のオーディオ信号セットを取得し、各オーディオ信号セットは、位置に関連付けられ、前記オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得し、
前記オーディオ信号セットの前記少なくとも２つに少なくとも関連付けられた前記位置を取得し、
リスナー位置を取得し、
前記オーディオ信号セットの前記少なくとも２つに少なくとも関連付けられた前記位置および前記リスナー位置に基づいて、前記２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成し、
前記オーディオ信号セットの前記少なくとも２つについて取得された前記少なくとも１つのパラメータ値、前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置、および前記リスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成し、
前記少なくとも１つの修正されたパラメータ値に基づいて前記少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成する、
ように構成された手段を含む装置。
【請求項2】
２つ以上のオーディオ信号セットを取得するように構成された前記手段は、マイクロホン装置から前記２つ以上のオーディオ信号セットを取得するように構成され、各マイクロホン装置は、それぞれの位置にあり、１つ以上のマイクロホンを備える、請求項１に記載の装置。
【請求項3】
各オーディオ信号セットは方向と関連付けられ、前記手段は、前記２つ以上のオーディオ信号セットの前記方向を取得するようにさらに構成され、生成された前記少なくとも１つのオーディオ信号は、前記２つ以上のオーディオ信号セットと関連付けられた前記方向にさらに基づき、前記少なくとも１つの修正されたパラメータ値は、前記２つ以上のオーディオ信号セットと関連付けられた前記方向にさらに基づく、請求項１または２に記載の装置。
【請求項4】
前記手段は、リスナーの方向を取得するようにさらに構成され、前記少なくとも１つの修正されたパラメータ値は、前記リスナーの方向にさらに基づく、請求項１乃至３のいずれか一項に記載の装置。
【請求項5】
前記少なくとも１つの修正されたパラメータ値に基づいて、前記少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成するように構成された前記手段は、前記リスナーの方向にさらに基づいて、前記少なくとも１つのオーディオ信号を処理するようにさらに構成されている、請求項４に記載の装置。
【請求項6】
前記手段は、前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置および前記リスナー位置に基づいて制御パラメータを取得するようにさらに構成され、前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置および前記リスナー位置に基づいて、前記２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成するように構成された前記手段は、前記制御パラメータに基づいて制御される、請求項１乃至５のいずれか一項に記載の装置。
【請求項7】
前記少なくとも１つの修正されたパラメータ値を生成するように構成された前記手段は、前記制御パラメータに基づいて制御される、請求項６に記載の装置。
【請求項8】
制御パラメータを取得するように構成された前記手段は、前記リスナー位置が配置された前記オーディオ信号セットの少なくとも３つを識別し、前記オーディオ信号セットの位置および前記リスナー位置に基づいて、前記オーディオ信号セットの少なくとも３つに関連付けられた重みを生成し、
あるいは、前記リスナー位置に最も近い前記オーディオ信号セットの２つを識別し、前記オーディオ信号セットの位置および前記オーディオ信号セットの前記２つの間の線からの前記リスナー位置の垂直投影に基づいて、前記オーディオ信号セットの前記２つに関連付けられた重みを生成する、
ように構成されている、請求項６または７に記載の装置。
【請求項9】
請求項６に従属するとき、少なくとも１つのオーディオ信号を生成するように構成された前記手段は、前記重みに基づいて、２つ以上のオーディオ信号セットからの２つ以上のオーディオ信号を結合することと、
前記２つ以上のオーディオ信号セットのうちのどれが前記リスナー位置に最も近いかに基づいて、前記２つ以上のオーディオ信号セットのうちの１つから１つ以上のオーディオ信号を選択することと、
前記２つ以上のオーディオ信号セットのうちのどれが前記リスナー位置に最も近いか、および、さらなる切り替え閾値に基づいて、前記２つ以上のオーディオ信号セットのうちの１つから１つ以上のオーディオ信号を選択することと、
のうちの１つを実行するように構成される、請求項８に記載の装置。
【請求項10】
請求項７に従属する場合、前記少なくとも１つの修正されたパラメータ値を生成するように構成された前記手段は、前記２つ以上のオーディオ信号セットのうちの少なくとも２つについて、取得された前記少なくとも１つのパラメータ値を前記重みに基づいて結合するように構成されている、請求項８に記載の装置。
【請求項11】
前記少なくとも１つの修正されたパラメータ値に基づいて前記少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成するように構成された前記手段は、ヘッドホンおよび／またはイヤホン用の２つのオーディオ信号を含むバイノーラルオーディオ出力、および、
マルチチャンネルスピーカーセット用の少なくとも２つのオーディオ信号を含むマルチチャンネルオーディオ出力、
の少なくとも１つを生成するように構成されている、請求項１乃至１０のいずれか一項に記載の装置。
【請求項12】
少なくとも１つのパラメータ値は、少なくとも１つの方向値、
少なくとも１つの方向値に関連付けられた少なくとも１つの直接対全体比、
少なくとも１つの方向値に関連付けられた少なくとも１つの拡散コヒーレンス、
少なくとも１つの方向値に関連付けられた少なくとも１つの距離、
少なくとも１つのサラウンドコヒーレンス、
少なくとも１つの拡散対全体比、および、
少なくとも１つの余剰対全体比、
のうちの少なくとも１つを含む、請求項１乃至１１のいずれか一項に記載の装置。
【請求項13】
前記オーディオ信号セットの少なくとも２つは、少なくとも２つのオーディオ信号を含み、前記少なくとも１つのパラメータ値を取得するように構成された前記手段は、前記２つ以上のオーディオ信号セットからの前記２つ以上のオーディオ信号を空間的に解析し、前記少なくとも１つのパラメータ値を決定するように構成されている、請求項１乃至１２のいずれか一項に記載の装置。
【請求項14】
前記少なくとも１つのパラメータ値を取得するように構成された前記手段は、前記オーディオ信号セットの少なくとも２つについて、前記少なくとも１つのパラメータ値を受信または取得するように構成されている、請求項１乃至１２のいずれか一項に記載の装置。
【請求項15】
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置であって、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、２つ以上のオーディオ信号セットを取得することであって、各オーディオ信号セットは、位置に関連付けられている、取得することと、
前記オーディオ信号セットの少なくとも２つについて少なくとも１つのパラメータ値を取得することと、
前記オーディオ信号セットの前記少なくとも２つに少なくとも関連付けられた前記位置を取得することと、
リスナー位置を取得することと、
前記オーディオ信号セットの前記少なくとも２つに少なくとも関連付けられた前記位置および前記リスナー位置に基づいて、前記２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成することと、
前記オーディオ信号セットの前記少なくとも２つについて、取得された前記少なくとも１つのパラメータ値、前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置、および前記リスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成することと、
前記少なくとも１つの修正されたパラメータ値に基づいて前記少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成することと、
を前記装置に少なくとも実行させるように構成されている、装置。
【請求項16】
２つ以上のオーディオ信号セットを取得することであって、各オーディオ信号セットは位置に関連付けられている、取得することと、前記オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得することと、
前記オーディオ信号セットの前記少なくとも２つに少なくとも関連付けられた前記位置を取得することと、
リスナー位置を取得することと、
前記オーディオ信号セットの前記少なくとも２つに少なくとも関連付けられた前記位置および前記リスナー位置に基づいて、前記２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成することと、
前記オーディオ信号セットの前記少なくとも２つについて、取得された前記少なくとも１つのパラメータ値、前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置、および前記リスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成することと、
前記少なくとも１つの修正されたパラメータ値に基づいて前記少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成することと、
を含む、装置のための方法。
【請求項17】
２つ以上のオーディオ信号セットを取得することは、マイクロホン装置から前記２つ以上のオーディオ信号セットを取得することを含み、各マイクロホン装置は、それぞれの位置にあり、１つ以上のマイクロホンを備える、請求項１６に記載の方法。
【請求項18】
各オーディオ信号セットは、方向と関連付けられ、前記方法は、前記２つ以上のオーディオ信号セットの前記方向を取得することをさらに含み、生成された前記少なくとも１つのオーディオ信号は、前記２つ以上のオーディオ信号セットと関連付けられた前記方向にさらに基づき、前記少なくとも１つの修正されたパラメータ値は、前記２つ以上のオーディオ信号セットと関連付けられた前記方向にさらに基づく、請求項１６または１７に記載の方法。
【請求項19】
リスナーの方向を取得することをさらに含み、前記少なくとも１つの修正されたパラメータ値は、前記リスナーの方向にさらに基づく、請求項１６乃至１８のいずれか一項に記載の方法。
【請求項20】
前記少なくとも１つの修正されたパラメータ値に基づいて、前記少なくとも１つのオーディオ信号を処理し、前記空間オーディオ出力を生成することは、前記リスナーの方向にさらに基づいて、前記少なくとも１つのオーディオ信号を処理することを含む、請求項１９に記載の方法。
【請求項21】
前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置および前記リスナー位置に基づいて、制御パラメータを取得することをさらに含み、前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置および前記リスナー位置に基づいて、前記２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成することが、前記制御パラメータに基づいて制御される、請求項１６乃至２０のいずれか一項に記載の方法。
【請求項22】
前記少なくとも１つの修正されたパラメータ値を生成することは、前記制御パラメータに基づいて制御される、請求項２１に記載の方法。
【請求項23】
前記少なくとも１つの修正されたパラメータ値に基づいて、前記少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成することは、ヘッドホンおよび／またはイヤホン用の２つのオーディオ信号を含むバイノーラルオーディオ出力、および、
マルチチャンネルスピーカーセット用の少なくとも２つのオーディオ信号を含むマルチチャンネルオーディオ出力、
のうちの少なくとも１つを生成することを含む、請求項１６乃至２２のいずれか一項に記載の方法。
【請求項24】
少なくとも１つのパラメータ値は、少なくとも１つの方向値、
少なくとも１つの方向値に関連付けられた少なくとも１つの直接対全体比、
少なくとも１つの方向値に関連付けられた少なくとも１つの拡散コヒーレンス、
少なくとも１つの方向値に関連付けられた少なくとも１つの距離、
少なくとも１つのサラウンドコヒーレンス、
少なくとも１つの拡散対全体比、および、
少なくとも１つの剰余対全体比、
のうちの少なくとも１つを含む、請求項１６乃至２３のいずれ一項に記載の方法。
【請求項25】
前記オーディオ信号セットの少なくとも２つは、少なくとも２つのオーディオ信号を含み、前記少なくとも１つのパラメータ値を取得することは、前記２つ以上のオーディオ信号セットからの前記２つ以上のオーディオ信号を空間的に解析し、前記少なくとも１つのパラメータ値を決定することを含む、請求項１６乃至２４のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、空間メタデータ補間を用いたオーディオレンダリングのための装置および方法に関するものであるが、６自由度システムのための空間メタデータ補間を用いたオーディオレンダリングに限定されるものではない。
【背景技術】
【0002】
空間オーディオキャプチャアプローチは、オーディオ環境が効果的な方法でリスナーに知覚的に再現され、さらにリスナーが再現されたオーディオ環境内で移動および／または回転することができるように、オーディオ環境をキャプチャしようとするものである。例えば、あるシステム（３自由度、３ＤｏＦ）では、リスナーは頭を回転させることができ、レンダリングされたオーディオ信号はこの回転運動を反映する。一部のシステム（３自由度プラス、３ＤｏＦ＋）では、リスナーは頭を回転させると同時に環境内でわずかに「動く」ことができ、他のシステム（６自由度、６ＤｏＦ）では、リスナーは環境内で自由に動き、頭を回転させることができる。
【0003】
線形空間オーディオキャプチャとは、キャプチャした音声の特徴に処理を適応させないオーディオキャプチャ方法である。その代わり、キャプチャしたオーディオ信号の所定の線形結合を出力する。
【0004】
録音空間のある位置で立体オーディオをリニアに録音するためには、ハイエンドのマイクロホンアレイが必要である。その１つが、球状３２本マイクロホン「Ｅｉｇｅｎｍｉｋｅ」である。このマイクロホンアレイから高次のアンビソニックス（ＨＯＡ）信号を取得し、線形レンダリングに使用することができる。ＨＯＡ信号により、空間オーディオをリニアにレンダリングすることで、異なる方向から到来する音を適度な聴感帯域幅で分離することができる。
【0005】
線形空間オーディオキャプチャ技術では、マイクロホンアレイに対する要求が問題となる。短波長（高い周波数のオーディオ信号）には小さなマイク間隔が、長波長（低い周波数のオーディオ信号）には大きなアレイサイズが必要であり、１つのマイクロホンアレイで両方の条件を満たすことは困難である。
【0006】
実用的なキャプチャデバイス（例えば、バーチャルリアリティカメラ、一眼レフカメラ、携帯電話）の多くは、Ｅｉｇｅｎｍｉｋｅのようなマイクロホンアレイを備えておらず、線形空間オーディオキャプチャに十分なマイクロホン装置を有していない。また、キャプチャデバイスに線形空間オーディオキャプチャを実装すると、１つの位置に対してのみ空間オーディオが得られることになる。
【0007】
パラメトリック空間オーディオキャプチャとは、マイクロホンで取り込んだオーディオ信号から知覚に関連するパラメータを推定し、そのパラメータとオーディオ信号に基づいて立体音響を合成するシステムである。解析及び合成は、通常、人間の空間的な聴覚の解像度に近い周波数帯域で行われる。
【0008】
大多数のコンパクトなマイクロホン装置（例えば、ＶＲカメラ、マルチマイクロホンアレイ、マイクロホン付き携帯電話、マイクロホン付きＳＬＲカメラ）に対して、パラメトリック空間オーディオキャプチャは、知覚的に正確な空間オーディオレンダリングを生じ得るが、線形アプローチは、通常、音の空間面の観点から実行可能な結果をもたらさないことが知られている。Ｅｉｇｅｎｍｉｋｅのようなハイエンドのマイクロホンアレイの場合、パラメトリックアプローチはさらに、線形アプローチよりも平均的に質の高い空間的な音の知覚を提供することができる。
【発明の概要】
【0009】
第１の態様によれば、２つ以上のオーディオ信号セットを取得し、各オーディオ信号セットは、位置に関連付けられ、オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得し、オーディオ信号セットの少なくとも２つに関連付けられた位置を取得し、リスナー位置を取得し、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成し、オーディオ信号セットの少なくとも２つについて取得された少なくとも１つのパラメータ値、オーディオ信号セットの少なくとも２つに関連付けられた位置、およびリスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成し、少なくとも１つの修正されたパラメータ値に基づいて少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成する、ように構成された手段を含む装置が提供される。
【0010】
２つ以上のオーディオ信号セットを取得するように構成された手段は、マイクロホン装置から２つ以上のオーディオ信号セットを取得するように構成され、各マイクロホン装置は、それぞれの位置にあり、１つ以上のマイクロホンを備えてよい。
【0011】
各オーディオ信号セットは方向と関連付けられ、手段は、２つ以上のオーディオ信号セットの方向を取得するようにさらに構成され、生成された少なくとも１つのオーディオ信号は、２つ以上のオーディオ信号セットに関連付けられた方向にさらに基づき、少なくとも１つの修正されたパラメータ値は、２つ以上のオーディオ信号セットに関連付けられた方向にさらに基づいてよい。
【0012】
手段は、リスナーの方向を取得するようにさらに構成され、少なくとも１つの修正されたパラメータ値は、リスナーの方向にさらに基づいてよい。
【0013】
少なくとも１つの修正されたパラメータ値に基づいて、少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成するように構成された手段は、リスナーの方向にさらに基づいて、少なくとも１つのオーディオ信号を処理するようにさらに構成されてもよい。
【0014】
手段は、オーディオ信号セットの少なくとも２つに関連付けられた位置およびリスナー位置に基づいて、制御パラメータを取得するようにさらに構成され、オーディオ信号セットの少なくとも２つに関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成するように構成された手段は、制御パラメータに基づいて制御されてよい。
【0015】
少なくとも１つの修正されたパラメータ値を生成するように構成された手段は、制御パラメータに基づいて制御されてもよい。
【0016】
制御パラメータを取得するように構成された手段は、リスナー位置が配置されたオーディオ信号セットの少なくとも３つを識別し、オーディオ信号セットの位置およびリスナー位置に基づいて、オーディオ信号セットの少なくとも３つに関連する重みを生成し、あるいは、リスナー位置に最も近いオーディオ信号セットの２つを識別し、オーディオ信号セットの位置およびオーディオ信号セットの２つの間の線からのリスナー位置の垂直投影に基づいて、オーディオ信号セットの２つに関連付けられた重みを生成するように構成されてよい。
【0017】
少なくとも１つのオーディオ信号を生成するように構成された手段は、重みに基づいて、２つ以上のオーディオ信号セットからの２つ以上のオーディオ信号を結合することと、２つ以上のオーディオ信号セットのうちのどれがリスナー位置に最も近いかに基づいて、２つ以上のオーディオ信号セットのうちの１つから１つ以上のオーディオ信号を選択することと、２つ以上のオーディオ信号セットのうちのどれがリスナー位置に近いか、および、さらなる切り替え閾値に基づいて、２つ以上のオーディオ信号セットのうちの１つから１つ以上のオーディオ信号を選択することと、のうちの１つを実行するよう構成されてよい。
【0018】
少なくとも１つの修正されたパラメータ値を生成するように構成された手段は、２つ以上のオーディオ信号セットのうちの少なくとも２つについて、取得された少なくとも１つのパラメータ値を重みに基づいて結合するように構成されてもよい。
【0019】
少なくとも１つの修正されたパラメータ値に基づいて少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成するように構成された手段は、ヘッドホンおよび／またはイヤホン用の２つのオーディオ信号を含むバイノーラルオーディオ出力、および、マルチチャンネルスピーカーセット用の少なくとも２つのオーディオ信号を含むマルチチャンネルオーディオ出力の少なくとも１つを生成するように構成されてよい。
【0020】
少なくとも１つのパラメータ値は、少なくとも１つの方向値、少なくとも１つの方向値に関連付けられた少なくとも１つの直接対全体比、少なくとも１つの方向値に関連付けられた少なくとも１つの拡散コヒーレンス、少なくとも１つの方向値に関連付けられた少なくとも１つの距離、少なくとも１つのサラウンドコヒーレンス、少なくとも１つの拡散対全体比、および、少なくとも１つの余剰対全体比、のうちの少なくとも１つを含んでよい。
【0021】
オーディオ信号セットの少なくとも２つは、少なくとも２つのオーディオ信号を含み、少なくとも１つのパラメータ値を取得するように構成された手段は、２つ以上のオーディオ信号セットからの２つ以上のオーディオ信号を空間的に解析し、少なくとも１つのパラメータ値を決定するように構成されてよい。
【0022】
少なくとも１つのパラメータ値を取得するように構成された手段は、オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を受信または取得するように構成されてもよい。
【0023】
第２の態様によれば、２つ以上のオーディオ信号セットを取得することであって、各オーディオ信号セットは、位置に関連付けられている、取得することと、オーディオ信号セットの少なくとも２つについて少なくとも１つのパラメータ値を取得することと、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置を取得することと、リスナー位置を取得することと、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成することと、オーディオ信号セットの少なくとも２つについて、取得された少なくとも１つのパラメータ値、オーディオ信号セットの少なくとも２つに関連付けられた位置、およびリスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成することと、少なくとも１つの修正されたパラメータ値に基づいて少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成することと、を含む装置のための方法が提供される。
【0024】
２つ以上のオーディオ信号セットを取得することは、マイクロホン装置から２つ以上のオーディオ信号セットを取得することを含み、各マイクロホン装置は、それぞれの位置にあり、１つ以上のマイクロホンを備えてよい。
【0025】
各オーディオ信号セットは、方向と関連付けられ、方法は、２つ以上のオーディオ信号セットの方向を得ることをさらに含み、生成された少なくとも１つのオーディオ信号は、２つ以上のオーディオ信号セットと関連付けられた方向にさらに基づき、少なくとも１つの修正されたパラメータ値は、２つ以上のオーディオ信号セットと関連付けられた方向にさらに基づいてもよい。
【0026】
方法は、リスナーの方向を取得することをさらに含み、少なくとも１つの修正されたパラメータ値は、リスナーの方向にさらに基づいてもよい。
【0027】
少なくとも１つの修正されたパラメータ値に基づいて、少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成することは、リスナーの方向にさらに基づいて、少なくとも１つのオーディオ信号を処理することをさらに含んでよい。
【0028】
方法は、オーディオ信号セットの少なくとも２つに関連付けられた位置およびリスナー位置に基づいて、制御パラメータを取得することをさらに含み、オーディオ信号セットの少なくとも２つに関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号を生成することが、制御パラメータに基づいて制御されてよい。
【0029】
少なくとも１つの修正されたパラメータ値を生成することは、制御パラメータに基づいて制御されてもよい。
【0030】
制御パラメータを得ることは、リスナー位置が配置されたオーディオ信号セットの少なくとも３つを識別することと、オーディオ信号セットの位置およびリスナー位置に基づいて、オーディオ信号セットの少なくとも３つに関連付けられた重みを生成することと、あるいは、リスナー位置に最も近いオーディオ信号セットの２つを識別し、オーディオ信号セットの位置およびオーディオ信号セットの２つの間の線からのリスナー位置の垂直投影に基づいて、オーディオ信号セットの２つに関連付けられた重みを生成することと、を含んでよい。
【0031】
少なくとも１つのオーディオ信号を生成することは、重みに基づいて、２つ以上のオーディオ信号セットからの２つ以上のオーディオ信号を結合することと、２つ以上のオーディオ信号セットのうちのどれがリスナー位置に最も近いかに基づいて、２つ以上のオーディオ信号セットのうちの１つから１つ以上のオーディオ信号を選択することと、２つ以上のオーディオ信号セットのうちのどれがリスナー位置に最も近いか、および、さらなる切り替え閾値に近いかに基づいて、２つ以上のオーディオ信号セットのうちの１つから１つ以上のオーディオ信号を選択することと、のうちの１つを含んでよい。
【0032】
少なくとも１つの修正されたパラメータ値を生成することを含む方法は、２つ以上のオーディオ信号セットのうちの少なくとも２つについて、取得された少なくとも１つのパラメータ値を重みに基づいて結合することを含んでもよい。
【0033】
少なくとも１つの修正されたパラメータ値に基づいて少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成することは、ヘッドホンおよび／またはイヤホン用の２つのオーディオ信号を含むバイノーラルオーディオ出力、および、マルチチャンネルスピーカーセット用の少なくとも２つのオーディオ信号を含むマルチチャンネルオーディオ出力の少なくとも１つを生成することを含んでよい。
【0034】
少なくとも１つのパラメータ値は、少なくとも１つの方向値、少なくとも１つの方向値に関連付けられた少なくとも１つの直接対全体比、少なくとも１つの方向値に関連付けられた少なくとも１つの拡散コヒーレンス、少なくとも１つの方向値に関連付けられた少なくとも１つの距離、少なくとも１つのサラウンドコヒーレンス、少なくとも１つの拡散対全体比、および、少なくとも１つの余剰対全体比、のうちの少なくとも１つを含んでよい。
【0035】
オーディオ信号セットのうちの少なくとも２つは、少なくとも２つのオーディオ信号を含んでよく、少なくとも１つのパラメータ値を取得することは、２つ以上のオーディオ信号セットからの２つ以上のオーディオ信号を空間的に解析し、少なくとも１つのパラメータ値を決定することを含んでよい。
【0036】
少なくとも１つのパラメータ値を取得することは、オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を受信または取得することを含んでもよい。
【0037】
第３の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備え、少なくとも１つのメモリおよびコンピュータプログラムコードは、少なくとも１つのプロセッサによって、装置に少なくとも、２つ以上のオーディオ信号セットを取得し、各オーディオ信号セットは位置に関連付けられ、オーディオ信号セットの少なくとも２つについて少なくとも１つのパラメータ値を取得し、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置を取得し、リスナー位置を取得し、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成し、オーディオ信号セットの少なくとも２つについて、取得された少なくとも１つのパラメータ値、オーディオ信号セットの少なくとも２つに関連付けられた位置、およびリスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成し、少なくとも１つの修正されたパラメータ値に基づいて、少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成する、ことを実行させるように構成される装置が提供される。
【0038】
２つ以上のオーディオ信号セットを得るようにされた装置は、マイクロホン装置から２つ以上のオーディオ信号セットを取得するようにさらにされてもよく、各マイクロホン装置は、それぞれの位置にあり、１つ以上のマイクロホンを備えてよい。
【0039】
各オーディオ信号セットは、方向と関連付けられてもよく、装置は、２つ以上のオーディオ信号セットの方向を取得するようにさらにされてもよく、生成された少なくとも１つのオーディオ信号は、２つ以上のオーディオ信号セットと関連付けられた方向にさらに基づいてもよく、少なくとも１つの修正されたパラメータ値は、２つ以上のオーディオ信号セットと関連付けられた方向にさらに基づいてよい。
【0040】
装置は、さらに、リスナーの方向を取得するようにされてもよく、少なくとも１つの修正されたパラメータ値は、リスナーの方向にさらに基づくようにされてもよい。
【0041】
少なくとも１つの修正されたパラメータ値に基づいて、少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成するようにされた装置は、リスナーの方向にさらに基づいて、少なくとも１つのオーディオ信号を処理するようにされてもよい。
【0042】
装置は、オーディオ信号セットの少なくとも２つに関連付けられた位置およびリスナー位置に基づいて、制御パラメータを取得するようにさらにされてもよく、オーディオ信号セットの少なくとも２つに関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成するようにされる装置は、制御パラメータに基づいて制御されてよい。
【0043】
少なくとも１つの修正されたパラメータ値を生成させる装置は、制御パラメータに基づいて制御されてもよい。
【0044】
制御パラメータを取得させる装置は、さらに、リスナー位置が配置されたオーディオ信号セットの少なくとも３つを識別し、オーディオ信号セットの位置およびリスナー位置に基づいて、オーディオ信号セットの少なくとも３つに関連付けられた重みを生成し、あるいは、リスナー位置に最も近いオーディオ信号セットの２つを識別し、オーディオ信号セットの位置およびオーディオ信号セットの２つの間の線からのリスナー位置の垂直投影に基づいて、オーディオ信号セットの２つに関連付けられた重みを生成させてよい。
【0045】
少なくとも１つのオーディオ信号を生成するようにされる装置は、重みに基づいて、２つ以上のオーディオ信号セットからの２つ以上のオーディオ信号を結合することと、２つ以上のオーディオ信号セットのうちのどれがリスナー位置に最も近いかに基づいて、２つ以上のオーディオ信号セットのうちの１つから１つ以上のオーディオ信号を選択することと、２つ以上のオーディオ信号セットのうちのどれがリスナー位置に近いか、および、さらなる切り替え閾値に基づいて、２つ以上のオーディオ信号セットのうちの１つから１つ以上のオーディオ信号を選択することと、のいずれかを行うようにされてよい。
【0046】
少なくとも１つの修正されたパラメータ値を生成するようにされた装置は、２つ以上のオーディオ信号セットのうちの少なくとも２つについて、取得された少なくとも１つのパラメータ値を重みに基づいて結合するようにされてもよい。
【0047】
少なくとも１つの修正されたパラメータ値に基づいて少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成するようにされた装置は、ヘッドホンおよび／またはイヤホン用の２つのオーディオ信号を含むバイノーラルオーディオ出力、および、マルチチャンネルスピーカーセット用の少なくとも２つのオーディオ信号を含むマルチチャンネルオーディオ出力の少なくとも１つを生成するようにしてもよい。
【0048】
少なくとも１つのパラメータ値は、少なくとも１つの方向値、少なくとも１つの方向値に関連付けられた少なくとも１つの直接対全体比、少なくとも１つの方向値に関連付けられた少なくとも１つの拡散コヒーレンス、少なくとも１つの方向値に関連付けられた少なくとも１つの距離、少なくとも１つのサラウンドコヒーレンス、少なくとも１つの拡散対全体比、および、少なくとも１つの余剰対全体比、のうちの少なくとも１つを含んでよい。
【0049】
オーディオ信号セットの少なくとも２つは、少なくとも２つのオーディオ信号を含んでよく、少なくとも１つのパラメータ値を取得するようにされる装置は、２つ以上のオーディオ信号セットからの２つ以上のオーディオ信号を空間的に解析し、少なくとも１つのパラメータ値を決定するようにされてもよい。
【0050】
少なくとも１つのパラメータ値を取得するようにされた装置は、オーディオ信号セットのうちの少なくとも２つについて、少なくとも１つのパラメータ値を受信または取得するようにされてもよい。
【0051】
第４の態様によれば、２つ以上のオーディオ信号セットを取得するための手段であって、各オーディオ信号セットが位置に関連付けられる、手段と、オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得するための手段と、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置を取得するための手段と、リスナー位置を取得するための手段と、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成するための手段と、オーディオ信号セットの少なくとも２つについて、取得された少なくとも１つのパラメータ値、オーディオ信号セットの少なくとも２つに関連付けられた位置、およびリスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成するための手段と、少なくとも１つの修正されたパラメータ値に基づいて、少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成するための手段と、を備える装置が提供される。
【0052】
第５の態様によれば、２つ以上のオーディオ信号セットを取得することであって、各オーディオ信号セットは位置に関連付けられている、取得することと、オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得することと、オーディオ信号セットの少なくとも２つに関連付けられた位置を取得することと、リスナー位置を取得することと、オーディオ信号セットのうちの少なくとも２つに少なくとも関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成することと、オーディオ信号セットの少なくとも２つについて、取得された少なくとも１つのパラメータ値、オーディオ信号セットの少なくとも２つに関連付けられた位置、およびリスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成することと、少なくとも１つの修正されたパラメータ値に基づいて少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成することと、を装置に少なくとも実行させるための命令（または、プログラム命令を含むコンピュータ可読媒体）を含むコンピュータプログラムが提供される。
【0053】
第６の態様によれば、２つ以上のオーディオ信号セットを取得することであって、各オーディオ信号セットは位置に関連付けられている、取得することと、オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得することと、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置を取得することと、リスナー位置を取得することと、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成することと、オーディオ信号セットの少なくとも２つについて、取得された少なくとも１つのパラメータ値、オーディオ信号セットの少なくとも２つに関連付けられた位置、およびリスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成することと、少なくとも１つの修正されたパラメータ値に基づいて少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成することと、を装置に少なくとも実行させるためのプログラム命令を含む非一時的なコンピュータ可読媒体が提供される。
【0054】
第７の態様によれば、２つ以上のオーディオ信号セットを取得するように構成された取得回路であって、各オーディオ信号セットは位置に関連付けられている、取得回路と、オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得するように構成された取得回路と、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置を取得するように構成された取得回路と、リスナー位置を取得するように構成された取得回路と、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成するように構成された生成回路と、オーディオ信号セットの少なくとも２つについて、取得された少なくとも１つのパラメータ値、オーディオ信号セットの少なくとも２つに関連付けられた位置、およびリスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成するように構成された生成回路と、少なくとも１つの修正されたパラメータ値に基づいて、少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成するように構成された処理回路と、を備える装置が提供される。
【0055】
第８の態様によれば、２つ以上のオーディオ信号セットを取得することであって、各オーディオ信号セットが位置に関連付けられている、取得することと、オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得することと、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置を取得することと、リスナー位置を取得することと、オーディオ信号セットの少なくとも２つに少なくとも関連付けられた位置およびリスナー位置に基づいて、２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成することと、オーディオ信号セットの少なくとも２つについて、取得された少なくとも１つのパラメータ値、オーディオ信号セットの少なくとも２つに関連付けられた位置、およびリスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成することと、少なくとも１つの修正されたパラメータ値に基づいて、少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成することと、を装置に少なくとも実行させるためのプログラム命令を含むコンピュータ可読媒体が提供される。
【0056】
上記の方法の動作を実行するための手段を含む装置。
【0057】
上記の方法の動作を実行するように構成された装置。
【0058】
上記の方法をコンピュータに実行させるためのプログラム命令を含む、コンピュータプログラム。
【0059】
媒体に格納されたコンピュータプログラム製品は、本明細書に記載の方法を装置に実行させることができる。
【0060】
電子機器は、本明細書に記載されるような装置を含んでよい。
【0061】
チップセットは、本明細書で説明するような装置で構成されてもよい。
【0062】
本願発明の実施形態は、最新技術に関連する問題を解決することを目的とする。
【0063】
本願のより良い理解のために、次に、添付の図面を例として参照する。
【図面の簡単な説明】
【0064】
【発明を実施するための形態】
【0065】
以下の実施形態に関して本明細書でさらに詳細に説明する概念は、録音空間における異なる位置に対応する２つ以上のマイクロホンアレイを用いたパラメトリック空間オーディオキャプチャ、およびキャプチャしたサウンドシーンにおける異なる位置へのユーザの移動を可能にすること、言い換えれば、本発明は６ＤｏＦオーディオキャプチャおよびレンダリングに関するものである。
【0066】
６ＤｏＦは、現在、ＶＲゲームなどの仮想現実において、すべての空間情報が（すなわち、各音源の位置だけでなく、各音源のオーディオ信号も個別に）容易に利用可能であるため、オーディオシーンでの動きをレンダリングするのが容易である。本発明は、マイクロホンアレイでキャプチャされた空間オーディオにもロバストな６ＤｏＦキャプチャとレンダリングを提供することに関するものである。
【0067】
マイクロホンアレイからの６ＤｏＦキャプチャとレンダリングは、例えば、ＨＯＡ信号の６ＤｏＦレンダリングの要件がある次期ＭＰＥＧ－Ｉオーディオ規格に関連する。これらのＨＯＡ信号は、サウンドシーンにあるマイクロホンアレイから取得することができる。
【0068】
以下の例では、オーディオ信号セットはマイクロホンによって生成される。例えば、マイクロホン装置は、１つ又は複数のマイクロホンを含み、オーディオ信号セットに対して１つ又は複数のオーディオ信号を生成することができる。いくつかの実施形態では、オーディオ信号セットは、仮想の、又は生成されたオーディオ信号（例えば、関連する仮想スピーカ位置を有する仮想スピーカオーディオ信号）であるオーディオ信号から構成される。
【0069】
この概念をさらに詳しく説明する前に、まず、空間キャプチャと再生のいくつかの側面についてさらに詳しく説明する。例えば、図１に関して、空間キャプチャと再生の例が示されている。したがって、例えば、図１は、左側に空間オーディオ信号キャプチャ環境を示している。環境またはオーディオシーンは、オーディオ信号の実際の音源であってもよいし、オーディオ音源の抽象的表現であってもよい音源１（２０２）および音源２（２０４）から構成される。さらに、無指向性または非特定位置のアンビエンス部２０６が示されている。これらは、それぞれ２つ以上のマイクロホンから構成することができる少なくとも２つのマイクロホン装置／アレイによってキャプチャすることができる。
【0070】
上述したようにオーディオ信号をキャプチャすることができ、さらに図１に矢印２１０で示すように、符号化、送信、受信、再生することができる。
【0071】
再生例は、図１の右側に示されている。空間オーディオ信号の再生により、この例ではヘッドトラッキングヘッドホンを装着していることが示されているユーザ２５０に、知覚された音源１（２１２）、知覚された音源２（２１４）、及び知覚されたアンビエンス２１６を含む６ＤｏＦ空間レンダリング２１８の形態で再生されたオーディオ環境が提示される。
【0072】
以上のように、従来のマイクロホンアレイの線形およびパラメトリックな空間オーディオキャプチャ方法は、利用可能なマイクロホン装置に応じて、高品質な空間オーディオ処理を行うことが可能である。しかし、これらはいずれも単一位置でのキャプチャとレンダリングを前提に開発されたものである。つまり、リスナーはマイクロホンアレイの間を移動することができない。そのため、リスナーがマイクロホンアレイ間を自由に移動できる６自由度レンダリングには直接適用できない。
【0073】
本明細書で論じる実施形態は、広帯域６自由度レンダリング方法を提供することを目的とする。これらは、マイクロホンアレイからの既知のパラメトリックレンダリングを改善することを目的とする。例えば、距離パラメータが（方向パラメータに加えて）周波数帯域で推定される方法、言い換えれば、音の位置が６ＤＯＦレンダリングのために推定される方法を改善することを目的としている。この改良は、すべての音響状態において音源の距離や位置が確実に推定されるわけではなく、距離や位置の推定に誤りがあると６自由度再生に大きな誤差が生じるという特性に関連するものである。この影響は、キャプチャ位置に対するリスナーの移動が大きい場合（例えば、任意の方向に１ｍ以上）に顕著となる。
【0074】
図２および図３に関して、複数の音源がある状態が示されている。図２は、例えば、理想的なキャプチャ状態を示している。キャプチャ位置３０６が示されており、黒いドット３０１、３０３、３０５、３０７は、個々の時間周波数タイルの推定方向と距離を示している。図に示すように、複数の音源が同時にアクティブである場合、パラメトリックキャプチャ時の方向パラメータは必ずしもいずれかの音源を指しているとは限らず、音源の間のどこかを指している可能性がある。このような知覚的／支配的な方向は、知覚的な意味での音の状態をよく近似することが知られているため、パラメトリックキャプチャシステムにとって問題ではない。しかしながら、特に、図２に関連し、理想的な態様として、また、距離が良好に推定される。したがって、聴取位置（ｌｉｓｔｅｎｉｎｇ ｐｏｓｉｔｉｏｎ）３１０に関わらず、音源方向（音源１（３０２）と音源２（３０４））の間の円弧３０８（破線で示す）において（知覚的／支配的）方向が再生される。
【0075】
しかしながら、図３は、距離推定値にノイズが多い複数音源の状態における、同じ配置の別の例を示しており、このような複数音源の状態における、より現実的な例である。この距離推定値ノイズは、誤った推定位置３２１，３２３，３２５，３２７を生じる。音が聴取位置３０６でレンダリングされる場合、この距離推定は大きな方向誤差を生じない。しかしながら、大きく異なる聴取位置３１０で音がレンダリングされる場合、音の方向は大きな空間的誤差を伴ってレンダリングされる。（知覚的／支配的）方向は、音源方向（音源１（３０２）および音源２（３０４））のかなり外側にまたがる円弧３１８（破線で示す）で再現される。したがって、空間再生は、この例では、図２に示す「理想的な」円弧３０８（破線で示す）と比較すると、より「広がって」いる。
【0076】
「完全な」６ＤＯＦレンダリングにおけるリスナーが自由に動くことができる（そして、マイクロホンアレイの位置に近いだけではない）誤った推定拒理の結果として、ユーザがキャプチャ位置３０６にいるとき、誤った距離がレンダリングされた方向に影響しないため、レンダリングオーディオでは、音の方向が適切にレンダリングされる。各時間周波数タイルにおいて、知覚的／支配的な方向は、２つの同時音源によって決定される円弧でレンダリングされる。しかしながら、ユーザが図示された６自由度の聴取位置３１０に移動すると、誤った距離推定値の影響が明らかになる。その位置では、レンダリングされる音方向は、２つの音源の間にあるわけではない。言い換えれば、結果は、実際の音源方向から遠く離れていても潜在的な時折の空間アーティファクトを伴う、（音源の正確かつ点のような認識とは対照的に）広くて曖昧な空間レンダリング出力である。
【0077】
そこで、本実施形態では、複数の音源が存在する場合や、リスナーが自由に移動できる場合に、マイクロホンアレイからの６自由度のオーディオキャプチャとレンダリングを適切に行うことを試みている。
【0078】
知覚的に関連するパラメータは任意の適切なパラメータとすることができるが、本明細書で説明する以下の例では、次のパラメータセットである、音が到来する顕著な（または支配的な、または知覚的な）方向を示す周波数帯の少なくとも１つの方向パラメータ、およびそれらの方向から到来するエネルギーの量と音のエネルギーのうちのアンビエンス／サラウンドの量を示す比率パラメータを取得する。
【0079】
上述したように、これらのパラメータを求める方法は様々である。既知の方法としては、指向性オーディオ符号化（ＤｉｒＡＣ）があり、１次アンビソニック信号（またはＢフォーマット信号）に基づいて、方向と拡散性（すなわち、アンビエント対総エネルギー比）パラメータを周波数帯で推定するものである。以下の実施例では、パラメータ生成の主な例としてＤｉｒＡＣを用いるが、ＰＣＴ出願ＷＯ２０１８／０９１７７６で議論された、高次ＤｉｒＡＣ、高角平面波展開、ノキアの空間オーディオキャプチャ（ＳＰＡＣ）などの空間パラメータまたは空間メタデータを求める他の方法で置き換え可能であることが知られている。
【0080】
説明されている実施形態は、明確で識別可能な音源を持つ状態や、より要求の厳しいオーディオシーンに対して、良質な位置追跡型立体音響再生を生成することを目的としている。例えば、屋外環境では、多くの同時発生音源がアクティブであることが多い。複数の音源が存在する場合（方向パラメータよりも多くの音源が存在する場合）、方向パラメータはもはや音源を指す物理的な記述子ではなく、知覚的な記述子である。つまり、例えば２つの音源がある場合、２つの音源の間の領域では、方向パラメータは時間－周波数区間における音源のエネルギーに依存して変動するのが一般的である。このことから、図３に示すように、距離推定がうまくいかない場合がある。例えば、方向パラメータの変動や比率パラメータを用いて距離を推定することができるが、これは部屋の残響や音源の距離はこれらの特性に影響を与えるためである。しかしながら、この場合、ある揺らぎや比率は音源の距離（残響）のせいではなく、同時に存在する音源のせいであるため、距離パラメータが人為的に大きくなってしまうのである。また、距離推定に視覚的な深度マップを使用する場合、揺らぎの方向が実際の音源の方向と一致しないことが多く、その結果、距離を誤って推定してしまう。また、２つのアレイを用意し、アレイからの投影光線を推定方向に向けて交差させることでも距離を推定することができる。しかしながら、複雑なサウンドシーンによる方向の揺らぎは、非常にノイズの多い交点を与えるため、ノイズの多い距離推定となる。すなわち、これらのパラメータ推定誤差は、６自由度再生音における空間誤差につながる傾向があるため、実施形態は、複雑なオーディオシーンにおける誤差が少ないパラメータ推定を提示することを目的とする。さらにいくつかの実施形態では、距離推定に依存しない６ＤＯＦレンダリングが提供され、したがって、より高いロバスト性が、複雑な状態に対しても提供される。実施形態は、実際のキャプチャ位置の間の位置に空間メタデータを補間してもよい。
【0081】
このように、本明細書で議論される実施形態は、既知の位置にある少なくとも２つのマイクロホンアレイでキャプチャされたオーディオの６自由度（すなわち、リスナーがシーン内で移動でき、リスナー位置が追跡される）バイノーラルレンダリングに関連し得る。これらの実施形態は、さらに、広範囲の（６ＤＯＦで追跡された）聴取位置及び音場条件において高品質のバイノーラルオーディオレンダリングを提供し、特に、複数の同時音源がアクティブである状態及びリスナーがアレイ位置の近くにいない場合を改善し得る。実施形態は、さらに、対応するマイクロホンアレイ信号を使用してアレイ位置に対する空間メタデータを決定し、決定された空間メタデータを使用してリスナー位置に対する空間メタデータを（リスナー位置およびアレイ位置に基づいて）予測し、アレイ信号の選択または混合を（リスナー位置およびアレイ位置に基づいて）決定し、予測された空間メタデータとアレイ信号の決定された選択または混合に基づいて空間オーディオ出力をパラメトリックレンダリングしてもよい。
【0082】
いくつかの実施形態では、装置および方法は、アレイ信号の決定された選択または混合が、最も近いアレイからの信号を参照し、ユーザが、以前に最も近かったアレイよりも（閾値によって）近い別のアレイの位置に移動すると、別のアレイからのオーディオ信号および予測された空間メタデータに基づいてバイノーラルオーディオ信号がレンダリングされるように、アレイ信号の選択または混合をさらに変更するように構成されてもよい。
【0083】
一部の実施形態では、アレイ信号は、アンビソニックフォーマットに変換されたアレイ信号など、マイクロホンアレイ信号、またはそれに基づく信号を指す場合がある。
【0084】
実施形態を実装できる例示的なシステムが図４に示されている。図４は、例えば、オーディオコンポーネント、音源１（４００）、音源２（４０２）、およびアンビエンス４１０が存在するシステムを示している。さらに、システム内には、環境内のキャプチャ位置に配置されたキャプチャ装置４０１、４０３および４０５があり、オーディオ信号をキャプチャし、これらのオーディオ信号から空間メタデータを取得または決定するように構成される（４０４）。
【0085】
システムは、適切なバイノーラルオーディオ信号を生成するように構成されたリスナー（ユーザ）装置４０７をさらに備える。したがって、いくつかの実施形態では、装置４０７は、空間メタデータおよびユーザ位置（キャプチャ位置に関して）に基づいて、ユーザ位置におけるレンダリングメタデータを決定する（４０６）ように構成されている。さらに、装置４０７は、レンダリングメタデータと、少なくとも１つのマイクロホンアレイ（直近であってもよい）からのオーディオ信号とを用いてバイノーラルレンダリングを実行する（４０８）ように構成されている。
【0086】
したがって、実施形態は、複数の音源が同時に存在する場合であっても、また、キャプチャ装置のマイクロホンアレイ位置に近くない聴取位置であっても、良好なオーディオ品質を生成し得る。これらの実施形態は、距離メタデータの使用を省略する（これは、複数の音源が同時に存在する場合に信頼性が低く、マイクロホンアレイ位置から離れた位置で空間オーディオをレンダリングする際に方向誤差を生じることが示されている）。その代わりに、実施形態では、マイクロホン位置で決定された方向（及び直接対総エネルギー比）に基づいて、聴取位置の周波数帯域における方向を直接予測することを示す。方向（及び直接対総エネルギー比）の推定がより信頼できるように、いくつかの実施形態によって生じる方向誤差は著しく低減され、より良いオーディオ品質が生み出される。
【0087】
図５に関して、例示的なシステムを示す。いくつかの実施形態では、このシステムは、単一の装置上に実装されてもよい。しかしながら、いくつかの他の実施形態では、本明細書に記載された機能は、２つ以上の装置上に実装されてもよい。
【0088】
いくつかの実施形態では、システムは、マイクロホンアレイ信号に基づく複数の信号セット５００を受信するように構成された入力を備える。マイクロホンアレイ信号に基づく複数の信号セットは、Ｊ組のマルチチャネル信号で構成されてもよい。信号は、マイクロホンアレイ信号自体であってもよいし、アンビソニック信号など、何らかの変換を施したアレイ信号であってもよい。これらの信号は、ｓj（ｍ，ｉ）と表記され、ｊは信号の発信元のマイクロホンアレイのインデックス（すなわち、信号セットのインデックス）、ｍはサンプルの時間、ｉは信号セットのチャンネルインデックスである。
【0089】
複数の信号セットは、信号補間器５０３および空間アナライザ５０１に渡すことができる。
【0090】
いくつかの実施形態では、システムは、空間アナライザ５０１を含んでいる。空間アナライザ５０１は、オーディオ信号ｓj（ｍ，ｉ）を受信し、これらを分析して、時間周波数領域における各アレイの空間メタデータを決定するように構成される。
【0091】
空間分析は、任意の適切な技術に基づくことができ、様々な入力タイプに適した方法が既に知られている。例えば、入力信号がアンビソニックまたはアンビソニック関連の形式である場合（例えば、Ｂフォーマットのマイクロホンから発信されたもの）、またはアレイが適切な方法でアンビソニック形式（例えば、Ｅｉｇｅｎｍｉｋｅ）に変換できる場合、指向性オーディオ符号化（ＤｉｒＡＣ）分析を実行することが可能である。一次ＤｉｒＡＣは、Ｐｕｌｋｋｉ，Ｖｉｌｌｅ．、「指向性音声符号化方式による空間音響再生」（Ｓｐａｔｉａｌ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ｗｉｔｈ ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）、Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ、５５、ｎｏ．６（２００７）、５０３－５１６頁には、Ｂフォーマット信号（一次アンビソニックスの変形）から、周波数帯域における方向およびアンビエント対総エネルギー比パラメータからなる空間メタデータの集合を推定する方法が記載されている。
【0092】
高次のアンビソニックスが利用できる場合は、Ａｒｃｈｏｎｔｉｓ Ｐｏｌｉｔｉｓ、Ｊｕｈａ Ｖｉｌｋａｍｏ、Ｖｉｌｌｅ Ｐｕｌｋｋｉ、「球面調和領域におけるセクターベースのパラメトリック音場再生」（Ｓｅｃｔｏｒ－ｂａｓｅｄ ｐａｒａｍｅｔｒｉｃ ｓｏｕｎｄ ｆｉｅｌｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ｉｎ ｔｈｅ ｓｐｈｅｒｉｃａｌ ｈａｒｍｏｎｉｃ ｄｏｍａｉｎ）、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｅｌｅｃｔｅｄ Ｔｏｐｉｃｓ ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、９、ｎｏ．５、（２０１５）、８５２－８６６頁には、複数の方向パラメータを同時に取得するための方法が記載されている。いくつかの実施形態で実装され得るさらなる方法は、ＰＣＴ公開特許出願ＷＯ２０１８／０９１７７６に記載されるような携帯電話およびタブレットなどのフラットデバイスからの空間メタデータの推定、ならびに非フラットデバイス用の同様の遅延ベース解析方法であるＧＢ公開特許出願ＧＢ２５７２３６８を含む。
【0093】
換言すれば、空間メタデータを取得するための様々な方法があり、選択された方法は、アレイタイプ及び／又はオーディオ信号のフォーマットに依存し得る。いくつかの実施形態では、ある周波数帯域で１つの方法が適用され、別の周波数帯域で別の方法が適用される。以下の例では、分析は、１次アンビソニック（ＦＯＡ）オーディオ信号（これは、空間オーディオの分野で広く知られている信号フォーマットである）の受信に基づいて行われる。さらに、これらの例では、修正されたＤｉｒＡＣの手法が使用される。例えば、入力は、既知のＳＮ３Ｄ正規化（シュミット半正規化）およびＡＣＮ（アンビソニックスチャネル番号）チャネル順形式のアンビソニックオーディオ信号である。
【0094】
いくつかの実施形態では、空間アナライザは、マイクロホンアレイ毎に以下を実行するように構成される。
【0095】
１）まず、入力信号ｓj（ｍ，ｉ）を時間－周波数領域形式の信号に変換する。例えば、変換は、短時間フーリエ変換（ＳＴＦＴ）または複素変調直交ミラーフィルタ（ＱＭＦ）バンクを使用して実施され得る。一例として、ＳＴＦＴは、通常、Ｎサンプルのフレーム長に対して、現在のフレームと前のフレームを（例えば、正弦波ウィンドウで）ウィンドウ化し、高速フーリエ変換（ＦＦＴ）で処理するように構成された手順である。その結果は、ｓj（ｂ，ｎ，ｉ）として示される時間－周波数ドメイン信号であり、ｂは周波数ビン、ｎは時間フレームインデックスである。時間周波数信号（この場合、４チャンネルのＦＯＡ信号）は、次のようにしてベクトル形式でグループ化される。
【数1】
【0096】
２）次に、時間－周波数信号が周波数帯域で使用される。周波数ビンがＳＴＦＴドメイン内の単一の複雑なサンプルを示すのに対し、周波数帯域はこれらのビンのグループを示す。ｋ＝１・・・Ｋを周波数帯域インデックスとし、Ｋを周波数帯域の数とすると、各帯域ｋは、最低ビンｂk,lowと最高ビンｂk,highを有する。いくつかの実施形態では、信号共分散行列は、以下によって周波数帯域で推定される。
【数2】
【0097】
いくつかの実施形態では、時間インデックスｎに対する時間的平滑化が適用されてもよい。
【0098】
３）次に、伝搬する音の反対方向を指す逆音場強度ベクトルを決定する。
【数3】
【0099】
ＡＣＮ順序をデカルトのｘ，ｙ，ｚ順序に変換するチャネル順序に注意すること。
【0100】
４）次に、帯域ｋ、時間インデックスｎの方向パラメータをｉj（ｋ，ｎ）の方向として決定する。方向パラメータは、例えば方位角θj（ｋ，ｎ）および仰角
で表すことができる。
【0101】
５）そして、直接対総エネルギー比は次のように定式化される。
【数4】
【0102】
方位角θj（ｋ，ｎ）、仰角
および直接対総エネルギー比ｒj（ｋ，ｎ）は、各帯域ｋ、各時間インデックスｎ、および各信号セット（各アレイ）ｊについて定式化される。したがって、この情報は、空間アナライザからメタデータ補間器５０７に出力される各アレイについてのメタデータ５０６を形成する。
【0103】
いくつかの実施形態では、システムは、さらに、位置プリプロセッサ５０５を備える。位置プリプロセッサ５０５は、オーディオ環境内のマイクロホンアレイ位置５０２及びリスナー位置５０４に関する情報を受信するように構成される。
【0104】
従来技術で知られているように、パラメトリック空間オーディオキャプチャおよびレンダリングにおける重要な目的は、リスナーにとって知覚的に正確な空間オーディオ再生を得ることである。したがって、位置プリプロセッサ５０５は、任意の位置について（リスナーが任意の位置に移動することがあるため）、マイクロホンアレイ位置５０２及びリスナー位置５０４に基づくメタデータの修正を可能にする補間データを決定できるように構成される。
【0105】
この例では、マイクロホンアレイは平面上に配置されている。つまり、アレイはｚ軸方向の変位成分を持たない。しかしながら、実施形態をｚ軸に拡張することは、マイクロホンアレイが線上に配置されている状態（言い換えれば、１軸の変位しかない）と同様に、いくつかの実施形態で実施することができる。
【0106】
例えば、図７は、マイクロホンアレイ（円形のアレイ１（７０１）、アレイ２（７０３）、アレイ３（７０５）、アレイ４（７０７）、アレイ５（７０９）として示されている）が平面上に配置されているマイクロホン配置を示す。空間メタデータは、アレイの位置で決定されている。平面上に５つのマイクロホンアレイが配置されている。平面は、例えば、ドロネーの三角形分割により、補間三角形に分割されてもよい。ユーザが三角形内のある位置（例えば、位置１（７１１））に移動すると、その位置を含む三角形を形成する３つのマイクロホンアレイが補間のために選択される（この例では、アレイ１（７０１）、アレイ３（７０５）、アレイ４（７０７））。ユーザがマイクロホンアレイの範囲外に移動した場合（例えば、位置２（７１３））、ユーザの位置をマイクロホンアレイの範囲内の最も近い位置（例えば、投影された位置２（７１４））に投影し、次に投影された位置が存在するアレイ－三角形を補間のために選択する（この例では、これらのアレイは、アレイ２（７０３）、アレイ３（７０５）、アレイ５（７０９）である）。位置が投影されると、投影された位置は元のリスナー位置パラメータを上書きする。
【0107】
上記の例では、このように位置の投影によって、マイクロホン装置によって決定される領域の外側の位置を、マイクロホン装置によって決定される領域の端にマッピングする。これは制限のように見えるかもしれないが、実際には、６ＤＯＦメディアキャプチャと再生を考えた場合、６ＤＯＦの映像再生を可能にするＶＲカメラ群から得られる映像に音声が付随する。また、（映像も生成する必要性から）ＶＲカメラがカバーする領域は、ユーザがシーン内で移動できる領域を限定することが予想され、さらに各ＶＲカメラにはマイクロホン装置も含まれることが予想される。したがって、補間の最も重要な領域は、マイクロホンアレイが跨る領域内にある。このように、投影は、本方法が決定された領域の外側で完全に失敗するわけではないことを説明している。最も近い投影された位置は、マイクロホン装置が跨る領域のわずかに外側の位置における音場特性の公正な近似である。
【0108】
このようにして、位置プリプロセッサ５０５は、以下のものを決定することができる。
【0109】
リスナーの位置ベクトルｐL（この例では、ｘ座標およびｙ座標を含む２×１ベクトル）であって、元の位置でも投影された位置でもよい。
【0110】
３つのマイクロホン装置インデックスｊ1、ｊ2、ｊ3、及び対応する位置ベクトルｐjx。これら３つのマイクロホン装置は、位置ｐLを内包する。
【0111】
位置プリプロセッサ５０５は、さらに、補間重みｗ1、ｗ2、ｗ3をさらに定式化することができる。これらの重みは、例えば、重心座標とデカルト座標との間の以下の既知の変換を使用して定式化することができる。まず、位置ベクトルｐjxに基づいて、各ベクトルにユニティ値を付加し、得られたベクトルを結合して行列にすることにより、３ｘ３の行列を決定する。
【数5】
【0112】
次に、逆行列と、リスナー位置ベクトルｐLにユニティ値を付加して得られる３ｘ１ベクトルを用いて重みを定式化する。
【数6】
【0113】
補間重み（ｗ1、ｗ2、ｗ3）、位置ベクトル（ｐL、ｐj1、ｐj2、ｐj3）、マイクロホン装置インデックス（ｊ1、ｊ2、ｊ3）を合わせて補間データ５０８、５１０とし、信号補間器５０３およびメタデータ補間器５０７に供給される。
【0114】
いくつかの実施形態では、システムは、補間データ５０８および各アレイのメタデータ５０６を受信するように構成されたメタデータ補間器５０７を備える。次いで、メタデータ補間器は、補間重みｗ1、ｗ2、ｗ3を使用してメタデータを補間するように構成される。いくつかの実施形態では、これは、最初に空間メタデータをベクトル形式に変換することによって実施され得る。
【数7】
【0115】
そして、これらのベクトルは、次のように平均化される。
【数8】
【0116】
そして、次のように表記する。
【数9】
【0117】
補間メタデータが以下のように得られる。
【数10】
【数11】
【数12】
【0118】
そして、補間メタデータ５１４は、合成プロセッサ５０９に出力される。
【0119】
以上では、メタデータ補間の一例を示した。他の実施形態において、他の補間規則も設計及び実装されてもよい。例えば、補間比率パラメータは、入力比率の（ｗ1、ｗ2、ｗ3による）加重平均としても決定されてもよい。さらに、いくつかの実施形態では、平均化は、アレイ信号のエネルギーに応じた重み付けも含むことができる。
【0120】
いくつかの実施形態では、システムは、信号補間器５０３をさらに備える。信号補間器は、入力オーディオ信号５００及び補間データ５１０を受信するように構成される。いくつかの実施形態における信号補間器５０３は、空間アナライザ５０１と同じ方法で入力信号を時間－周波数領域にまず変換してもよい。いくつかの実施形態では、信号補間器５０３は、空間アナライザ５０１から時間－周波数オーディオ信号を直接受信するように構成される。
【0121】
その後、信号補間器５０３は、各信号および各帯域について総エネルギーを決定するように構成されてもよい。本明細書に示す例では、信号はＦＯＡ信号の形態であるため、総エネルギーは、
として決定することができる。この値は、空間アナライザ５０１における（または、そこから得られる）のと同じ方法で定式化することができる。
【0122】
そして、信号補間器５０３は、インデックスｊ1、ｊ2、ｊ3について、距離値
および、ｊminDとして示される最小距離を有するインデックスを決定するように構成されてもよい。
【0123】
そして、信号補間器５０３は、選択されたインデックスｊselを決定するように構成される。最初のフレーム（または、処理開始時）については、信号補間器は、ｊsel＝ｊminDを設定してもよい。
【0124】
次のフレームまたは後続のフレーム（または任意の時間分解能）において、ユーザ位置が潜在的に変化した場合、信号補間器は、選択ｊselを変更する必要があるかどうかを判断するように構成されている。ｊselがｊ1、ｊ2、ｊ3に含まれていない場合は、変更が必要である。この条件は、ユーザがｊselを含まない別の領域に移動したことを意味する。また、ｄjsel＞ｄJminDα（αは閾値）である場合にも変更が必要である。例えば、α＝１．２である。この条件は、ｊselのアレイ位置と比較して、ユーザがｊminDのアレイ位置へ著しく近づいたことを意味する。この閾値は、ユーザが２つの位置の中間にいるときに、選択が不規則に行ったり来たりしないようにするために必要である（つまり、アレイ間の急激な切り替えを防ぐためのヒステリシス閾値を提供するためである）。
【0125】
上記のどちらかの条件を満たした場合、ｊsel＝ｊminDとする。それ以外の場合は、以前のｊselの値が保持される。
【0126】
中間補間信号は、以下のように決定される。
【数13】
【0127】
このような処理では、ｊselが変化すると、同時にすべての周波数帯域で選択範囲が変更されることになる。いくつかの実施形態では、選択は、周波数に依存する方法で変更されるように設定される。例えば、ｊselが変化したとき、次に、一部の周波数帯域は直ちに更新され、一方、他の帯域は、すべての帯域が変更されるまで次のフレームで変更される。このような周波数依存の方法で信号を変更することは、信号Ｓ´interp（ｂ，ｎ，ｉ）における潜在的なスイッチングアーティファクトを減らすために必要となる場合がある。このような構成では、切り替えが行われているとき、短い移行期間において、信号Ｓ´interp（ｂ，ｎ，ｉ）の一部の周波数は１つのマイクロホンアレイからのものであり、他の周波数は別のマイクロホンアレイからのものである可能性がある。
【0128】
そして、中間補間信号Ｓ´interp（ｂ，ｎ，ｉ）をエネルギー補正する。等化ゲインは、周波数帯域で以下のように定式化される。
【数14】
【0129】
ｇmax値は、過剰な増幅を制限する値であり、例えばｇmax＝４である。その後、乗算により等化が行われる。
【数15】
【0130】
ここで、ｋは、ビンｂが存在する帯域インデックスである。そして、信号Ｓ（ｂ，ｎ，ｉ）は、合成プロセッサに出力される補間信号５１２である。
【0131】
本システムは、さらに、合成プロセッサ５０９を備える。合成プロセッサは、補間信号５１２および補間メタデータ５１４と同様に、リスナー方向情報５１６（例えば、頭部方向追跡情報）を受信するように構成されてもよい。
【0132】
いくつかの実施形態では、合成プロセッサは、以下の定式化で使用されるベクトル回転関数を決定するように構成される。Ｌａｉｔｉｎｅｎ，Ｍ．Ｖ．、２００８年、「指向性オーディオ符号化のためのバイノーラル再生」（Ｂｉｎａｕｒａｌ ｒｅｐｒｏｄｕｃｔｉｏｎ ｆｏｒ ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）、修士論文（Ｍａｓｔｅｒ’ｓ ｔｈｅｓｉｓ）、ヘルシンキ工科大学（Ｈｅｌｓｉｎｋｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ）、５４－５５頁の原則によれば、回転関数を次のように定義することが可能である。
【数16】
【0133】
ここで、ヨー、ピッチ、ロールは頭の方向パラメータであり、ｘ、ｙ、ｚは回転する単位ベクトルの値である。その結果、回転した単位ベクトルであるｘ´、ｙ´、ｚ´が得られる。マッピング関数は以下のステップを実行する。
【0134】
１．ヨー回転
【数17】
【数18】
【数19】
【0135】
２．ピッチ回転
【数20】
【数21】
【数22】
【0136】
３．最後にロール回転
【数23】
【数24】
【数25】
【0137】
合成プロセッサ５０９は、これらのパラメータを決定した後、任意の適切な空間レンダリングを実装してもよい。例えば、いくつかの実施形態では、合成プロセッサ５０９は、例えば、ＰＣＴ公開ＷＯ２０１９／０８６７５７に記載された原理に従って、３ＤＯＦレンダリングを実装してもよい。そのような実施形態では、バイノーラル、アンビソニック、またはサラウンドラウドスピーカー形式へのパラメトリックオーディオ信号（オーディオおよび空間メタデータ）のレンダリングが実装され得る（５１８）。
【0138】
【0139】
したがって、いくつかの実施形態では、図６のステップ６０１に示すように、マイクロホンアレイ信号に基づいて複数の信号セットを取得することがあり得る。
【0140】
【0141】
さらに、図６のステップ６１０に示すように、リスナーの位置／方向を取得することもある。
【0142】
マイクロホンアレイの位置およびリスナーの方向／位置を取得した後、方法は、図６のステップ６０４に示すように、相対位置を処理することによって補間係数を得ることができる。
【0143】
【0144】
補間メタデータと信号、およびリスナーの方向／位置を決定した後、方法は、図６のステップ６１１に示すように、合成処理を適用することができる。
【0145】
【0146】
いくつかの実施形態における合成プロセッサ５０９は、プロトタイプ信号発生器８０１を備える。いくつかの実施形態におけるプロトタイプ信号発生器８０１は、時間周波数領域で受信される補間信号５１２を、頭部（ユーザ／リスナー）方向情報５１６と共に受信するように構成される。
【0147】
プロトタイプ信号は、処理された出力に少なくとも部分的に似ている信号であり、したがって、パラメトリックレンダリングを実行するための適切な出発点として機能する。この例では、出力はバイノーラル信号であるため、プロトタイプ信号は、２つのチャンネル（左右）を有し、ユーザの頭の方向に応じて空間オーディオシーンで方向付けられるように設計されている。２チャンネル（ｉ＝１，２の場合）のプロトタイプ信号は、例えば、次のように定式化することができる。
【数26】
【0148】
ここで、
は、頭の方向情報に基づく混合重みである。例えば、プロトタイプ信号は、補間されたＦＯＡ信号から生成される２つのカーディオイドパターン信号であり、１つは（ユーザの頭の方向に対して）左方向を指し、もう１つは右方向を指し示すことができる。このようなパターンは、ｐ1,1＝ｐ2,1＝０．５、（ＷＹＺＸをチャンネル次数と仮定する）かつ以下のときに得られる。
および
【数27】
【数28】
【数29】
【数30】
【0149】
上記のカーディオイド形状のプロトタイプ信号の例は、一例に過ぎない。他の例では、プロトタイプ信号は、異なる周波数に対して異なる可能性があり、例えば、低周波では、空間パターンはカーディオイドよりも指向性が低く、高周波では形状はカーディオイドになる可能性がある。このような選択は、広帯域のカーディオイドパターンよりもバイノーラル信号に近いため、動機づけられている。しかしながら、一般的な傾向として、プロトタイプの信号に対してある程度の左右差を得ることができるのであれば、どのパターンデザインを適用するかはあまり重要ではない。これは、以下で説明するパラメトリック処理のステップによって、チャンネル間の特徴が補正されるからである。
【0150】
そして、プロトタイプの信号は、ベクトル形式で表現することができる。
【数31】
【0151】
そして、プロトタイプ信号は、共分散行列推定器８０３およびミキサー８０９に出力することができる。
【0152】
いくつかの実施形態では、合成プロセッサ５０９は、時間－周波数プロトタイプ信号の共分散行列およびその総エネルギー推定値を、周波数帯域で推定するように構成される。前述のように、共分散行列は、以下のように推定できる。
【数32】
【0153】
共分散行列の推定は、いくつかの時間インデックスｎにわたるＭＲ平均化またはＦＩＲ平均化などの時間平均化を含む場合がある。共分散行列推定器８０３は、Ｃx（ｋ，ｎ）の対角値の合計である総エネルギー推定値Ｅ（ｋ，ｎ）を定めるようにも構成され得る。いくつかの実施形態では、プロトタイプ信号から総エネルギーを推定する代わりに、総エネルギー推定値は、補間信号５１２に基づいて推定され得る。例えば、図５に示す信号補間器において、総エネルギー推定値が既に決定されており、そこから求めてもよい。
【0154】
総エネルギー推定値８０６は、ターゲット共分散行列決定器８０５への出力として提供され得る。推定された共分散行列は、混合規則決定器８０７に出力され得る。
【0155】
合成プロセッサ５０９は、ターゲット共分散行列決定器８０５をさらに備えてもよい。ターゲット共分散行列決定器８０５は、補間された空間メタデータ５１４及び総エネルギー推定値Ｅ（ｋ，ｎ）８０６を受信するように構成される。この例では、空間メタデータは、方位角θ´（ｋ，ｎ）、仰角
、および直接－総エネルギー比ｒ´（ｋ，ｎ）を含む。いくつかの実施形態におけるターゲット共分散行列決定器８０５は、頭部方向（ヨー、ピッチ、ロール）情報５１６も受信する。
【0156】
いくつかの実施形態では、ターゲット共分散行列決定器は、空間メタデータを頭の方向に従って回転させるように構成され、以下の式によって、空間メタデータを回転させる。
【数33】
【0157】
回転方向は以下のようになる。
【数34】
【数35】
【0158】
また、ターゲット共分散行列決定器８０５は、合成プロセッサに予め存在するＨＲＴＦ（頭部伝達関数）データセットを利用してもよい。ＨＲＴＦセットから、任意の角度
及び周波数帯域ｋについて２ｘ１複素数値の頭部伝達関数（ＨＲＴＦ）
を取得可能であると仮定する。例えば、ＨＲＴＦデータは、帯域ｋの中間周波数でＨＲＴＦを得ることができるように、周波数領域に予め変換されたＨＲＴＦの密なセットであってもよい。次に、レンダリング時に、所望の方向に最も近いＨＲＴＦペアが選択され得る。いくつかの実施形態では、２つ以上の最近接データ点間の補間を実行してもよい。ＨＲＴＦを補間するための様々な手段が、文献に記載されている。
【0159】
ＨＲＴＦデータセットでは、拡散場共分散行列も各帯域ｋに対して定式化されている。例えば、拡散場共分散行列は、ｄ＝１・・・Ｄである方向
の均等に分散されたセットを取得し、拡散場共分散行列を次のように推定することによって取得できる。
【数36】
【0160】
そして、ターゲット共分散行列決定部８０５は、以下のようにしてターゲット共分散行列を定式化することができる。
【数37】
【0161】
そして、ターゲット共分散行列Ｃy（ｋ，ｎ）は、混合規則決定器８０７に出力される。
【0162】
いくつかの実施形態では、合成プロセッサ５０９は、混合規則決定器８０７をさらに備える。混合規則決定器８０７は、ターゲット共分散行列Ｃy（ｋ，ｎ）、および測定共分散行列Ｃx（ｋ，ｎ）を受信するように構成され、混合行列Ｍ（ｋ，ｎ）を生成する。混合手順は、Ｖｉｌｋａｍｏ，Ｊ．、Ｂａｃｋｓｔｒｏｍ，Ｔ．、Ｋｕｎｔｚ，Ａ．、２０１３年、「空間オーディオの時間周波数処理のための最適化された共分散領域フレームワーク」（Ｏｐｔｉｍｉｚｅｄ ｃｏｖａｒｉａｎｃｅ ｄｏｍａｉｎ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｔｉｍｅ－ｆｒｅｑｕｅｎｃｙ ｐｒｏｃｅｓｓｉｎｇ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ）、Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ、６１（６）、４０３－４１１頁に記載された方法を用いて混合行列を生成することができる。
【0163】
上記文献の付録に記載されている式を用いて、混合行列Ｍ（ｋ、ｎ）を作成できる。本明細書では、明確にするために、行列について同じ表記法を使用した。いくつかの実施形態では、混合規則決定器８０７は、混合行列８１２の生成を導くプロトタイプ行列
を決定するようにも構成される。これらの行列の理論的根拠およびそれらに基づいて混合行列Ｍ（ｋ，ｎ）を取得するための式は、上記引用文献に詳細に記載されており、本明細書では繰り返さない。要するに、この方法は、共分散行列Ｃx（ｋ，ｎ）を有する信号に適用したときに、最小二乗最適化された方法で、Ｃy（ｋ，ｎ）と実質的に同じかまたは類似の共分散行列を有する信号を生成する混合行列Ｍ（ｋ，ｎ）を提供するような方法である。これらの実施形態では、プロトタイプ信号の生成は、プロトタイプ信号生成器８０１によって既に実装されているため、プロトタイプ行列Ｑは、恒等行列である。恒等プロトタイプ行列を有することは、処理が、ターゲット共分散行列Ｃy（ｋ，ｎ）を取得しながら、入力（すなわち、プロトタイプ信号に関して）にできるだけ類似する出力を生成することを目的とすることを意味する。混合行列Ｍ（ｋ，ｎ）８１２は、各周波数帯域ｋについて定式化され、ミキサーに提供される。いくつかの実施形態における合成プロセッサ５０９は、ミキサー８０９を備える。
【0164】
ミキサー８０９は、時間周波数プロトタイプオーディオ信号８０２および混合行列８１２を受信するように構成される。ミキサー８０９は、入力されたプロトタイプ信号８０２を処理して、２つの処理された（バイノーラル）時間周波数信号８１４を生成する。
ここで、ビンｂは帯域ｋに存在する。
【数38】
【0165】
上記の手順では、入力信号ｘ（ｂ，ｎ）が、ターゲット共分散行列特性を持つ出力信号ｙ（ｂ，ｎ）をレンダリングするために、それらの間に適切な非干渉性があったと仮定している。状態によっては、入力信号が適切なチャネル間非干渉性を持たないこともあり得る。このような状態では、ｘ（ｂ，ｎ）に基づく非相関信号を生成するために非相関演算を利用し、非相関信号を、上式の信号ｙ（ｂ，ｎ）に加えられる特定の残差信号に混合する必要がある。このような残差信号を得る手順については、先に引用した文献で説明されている。
【0166】
そして、ミキサー８０９は、処理されたバイノーラル時間周波数信号ｙ（ｂ，ｎ）８１４を出力するように構成され、逆Ｔ／Ｆ変換器８１１に供給される。
【0167】
いくつかの実施形態における合成プロセッサ５０９は、信号がＳＴＦＴドメインにある場合には逆ＳＴＦＴのような、適用された時間周波数変換に対応する逆時間周波数変換を処理されたバイノーラル時間周波数信号８１４に適用して空間オーディオ出力５１８を生成する逆Ｔ／Ｆ変換器８１１を備え、これはヘッドホンで再生できるバイノーラル形式であってよい。
【0168】
【0169】
したがって、この方法は、図９のステップ９０１に示すように、補間された（時間－周波数）信号を取得することを含む。
【0170】
さらに、図９のステップ９０２に示すように、リスナーの頭の方向が取得される。
【0171】
そして、図９のステップ９０３に示すように、補間された（時間－周波数）信号および頭の方向に基づいて、プロトタイプ信号が生成される。
【0172】
さらに、図９のステップ９０５に示すように、プロトタイプ信号に基づいて共分散行列が生成される。
【0173】
さらに、図９のステップ９０６に示すように、補間メタデータが取得され得る。
【0174】
図９のステップ９０７に示すように、補間メタデータおよび共分散行列に基づいて、ターゲット共分散行列が決定される。
【0175】
その後、図９のステップ９０９に示すように、混合規則を決定することができる。
【0176】
図９のステップ９１１に示すように、混合規則およびプロトタイプ信号に基づいて、混合（ｍｉｘ）を生成し、空間オーディオ信号を生成することができる。
【0177】
そして、図９のステップ９１３に示すように、空間オーディオ信号を出力することができる。
【0178】
いくつかのさらなる実施形態が図１０に示されている。これらの実施形態では、システムは、エンコーダプロセッサ１０４０及びデコーダプロセッサ１０６０の２つの別々の装置で実装され、エンコーダ／ＭＵＸ１００１及びＤＥＭＵＸ／デコーダ１００９が追加されていること以外は、図５と同様である。
【0179】
これらの実施形態では、エンコーダプロセッサ１０４０は、複数の信号セット５００及びマイクロホンアレイ位置５０２を入力として受信するように構成されている。エンコーダプロセッサ１０４０は、さらに、複数の信号セット５００を受信し、各アレイのメタデータ５０６を出力するように構成された空間アナライザ５０１を備える。エンコーダプロセッサ１０４０は、さらに、複数の信号セット５００、各アレイのメタデータ５０６（空間アナライザ５０１から）、およびマイクロホンアレイ位置５０２を受信するように構成されたエンコーダ／ＭＵＸ１００１を備える。エンコーダ／ＭＵＸ１００１は、例えば、ＭＰＥＧ－Ｈの文脈で説明されてきたアンビソニック信号を符号化する任意の方法など、オーディオ信号の適切な符号化方式を適用するように構成される。また、エンコーダ／ＭＵＸ１００１ブロックは、ダウンミックスするか、さもなければ、符号化されるオーディオチャネルの数を減らしてもよい。さらに、エンコーダ／ＭＵＸ１００１は、空間メタデータおよびアレイ位置情報を量子化して符号化し、符号化された結果を、符号化されたオーディオ信号とともにビットストリーム１００６に埋め込んでもよい。ビットストリーム１００６は、さらに、符号化されたビデオ信号と同じメディアコンテナで提供されてもよい。その後、エンコーダ／ＭＵＸ１００１は、ビットストリーム１００６を出力する。採用されたビットレートによっては、エンコーダは、信号セットの一部の符号化を省略している場合があり、その場合は、対応するアレイ位置とメタデータの符号化を省略している場合がある（ただし、メタデータの補間に使用するために、それらも残しておくことが可能である）。
【0180】
デコーダプロセッサ１０６０は、ＤＥＭＵＸ／デコーダ１００９を備える。ＤＥＭＵＸ／デコーダ１００９は、ビットストリーム１００６を受信し、マイクロホンアレイ５００´（そして、それらを信号補間器５０３に提供する）、マイクロホンアレイ位置５０２´（そして、それらを位置プリプロセッサ５０５に提供する）、および各アレイのメタデータ５０６´に基づいて、複数の信号セットを復号および逆多重化する（そして、それらをメタデータ補間器５０７に提供する）よう構成されている。
【0181】
【0182】
上記の例では、アレイ位置に関連する情報は、ビットストリーム１００６を介してエンコーダプロセッサ１０４０からデコーダプロセッサ１０６０に伝達されるが、いくつかの実施形態では、位置プリプロセッサ５０５がエンコーダプロセッサ１０４０内に実装されるようにシステムが構成されてもよいため、これは必要ない可能性がある。このような例では、エンコーダプロセッサは、例えば１０ｃｍの空間分解能で、予め定義された予想されるユーザ位置の適切なグリッドで必要な補間データを生成するように構成される。この補間データは、適切な手段を用いて符号化され、ビットストリームでデコーダに（復号化されるように）提供され得る。次いで、補間データは、デコーダプロセッサ１０６０において、ユーザ位置に対応する最も近い既存のデータセットを選択することによって、ユーザ位置に基づくルックアップテーブルとして使用される。
【0183】
【0184】
この方法は、図１１のステップ１１０１に示すように、マイクロホンアレイ信号に基づいて複数の信号セットを取得することから開始してもよい。
【0185】
次に、本方法は、図１１のステップ１１０３に示すように、信号セットを空間的に分析して、空間メタデータを生成することを含んでよい。
【0186】
その後、図１１のステップ１１０５に示すように、メタデータ、信号、および他の情報を符号化し、多重化してもよい。
【0187】
符号化され多重化された信号及び情報は、次に、図１１のステップ１１０７に示すように、復号化及び逆多重化されてもよい。
【0188】
マイクロホンアレイの位置及びリスナーの方向／位置を取得すると、本方法は、図１１のステップ１１０９に示すように、相対位置を処理することによって補間係数を得ることができる。
【0189】
【0190】
補間メタデータと信号、およびリスナーの方向／位置を決定すると、本方法は、図１１のステップ１１１５に示すように、合成処理を適用することができる。
【0191】
図１１のステップ１１１７に示すように、空間オーディオが出力される。
【0192】
【0193】
この例では、３つのマイクロホンアレイがあり、例えば、十分な数のマイク（例えば、３０個以上）を有する球形アレイや、表面にマイクを取り付けたＶＲカメラ（例えば、ＯＺＯなど）であってもよい。このように、コンピュータ１（１２０５）（および、この例ではＦＯＡ／ＨＯＡ変換器１２１５）にオーディオ信号を出力するように構成されたマイクロホンアレイ１（１２０１）、マイクロホンアレイ２（１２１１）、およびマイクロホンアレイ３（１２２１）が示されている。
【0194】
さらに、各アレイは、対応するアレイの位置情報を提供するロケータも備えている。したがって、コンピュータ１（１２０５）（および、この例ではエンコーダプロセッサ１０４０）に位置情報を出力するように構成されたマイクロホンアレイ１ロケータ１２０３、マイクロホンアレイ２ロケータ１２１３、およびマイクロホンアレイ３ロケータ１２２３が示されている。
【0195】
図１２のシステムは、アレイ信号を１次アンビソニック（ＦＯＡ）または高次アンビソニック（ＨＯＡ）信号に変換するように構成されたＦＯＡ／ＨＯＡ変換器１２１５を備えたコンピュータ、コンピュータ１（１２０５）を更に備える。マイクロホンアレイ信号をアンビソニック信号に変換することは知られており、本明細書では詳細に説明しないが、アレイが例えばＥｉｇｅｎｍｉｋｅｓであれば、マイクロホン信号をアンビソニック形式に変換する利用可能な手段が存在する。
【0196】
ＦＯＡ／ＨＯＡ変換器１２１５は、変換されたアンビソニック信号を、マイクロホンアレイ信号に基づく複数の信号セット１２１６の形態で、上述したエンコーダプロセッサ１０４０として動作しうるエンコーダプロセッサ１０４０に出力する。
【0197】
マイクロホンアレイロケータ１２０３、１２１３、１２２３は、マイクロホンアレイ位置情報を、例えばブルートゥース（登録商標）接続などの適切なインターフェースを介してコンピュータ１（１２０５）内のエンコーダプロセッサに提供するように構成される。いくつかの実施形態では、アレイロケータは、回転配列情報も提供し、これは、コンピュータ１（１２０５）においてＦＯＡ／ＨＯＡ信号を回転配列するために提供され得る。
【0198】
コンピュータ１（１２０５）のエンコーダプロセッサ１０４０は、図１０に関連して説明したように、マイクロホンアレイ信号及びマイクロホンアレイ位置に基づいて複数の信号セットを処理し、符号化ビットストリーム１００６を出力として提供するように構成される。
【0199】
ビットストリーム１００６は、格納および／または送信されてもよく、次に、コンピュータ２（１２０７）のデコーダプロセッサ１０６０は、ビットストリーム１００６をストレージから受信または取得するように構成される。デコーダプロセッサ１０６０は、ユーザが装着しているＨＭＤ（ヘッドマウントディスプレイ）１２３１の位置／方向トラッカからリスナーの位置および方向情報を取得することもできる。ビットストリーム１００６並びにリスナー位置及び方向情報１２３０に基づいて、コンピュータ２（１２０７）のデコーダプロセッサは、バイノーラル空間オーディオ出力信号１２３２を生成し、適切なオーディオインターフェースを介して、ユーザが装着しているヘッドホン１２３３で再生されるようにそれらを提供するよう構成される。
【0200】
いくつかの実施形態では、コンピュータ２（１２０７）は、コンピュータ１（１２０５）と同じ装置であるが、典型的な状態では、それらは異なる装置又はコンピュータである。この文脈におけるコンピュータは、デスクトップ／ラップトップコンピュータ、処理クラウド、ゲームコンソール、モバイルデバイス、または本発明の開示に記載される処理を実行することができる任意の他のデバイスを指すことができる。
【0201】
いくつかの実施形態では、ビットストリーム１００６は、ＭＰＥＧ－Ｉビットストリームである。いくつかの他の実施形態では、任意の適切なビットストリームであってもよい。
【0202】
上記の実施形態では、指向性オーディオコーディングの空間パラメトリック解析は、適応ビームフォーミング手法に置き換えることができる。適応ビームフォーミング手法は、例えば、Ａｒｃｈｏｎｔｉｓ Ｐｏｌｉｔｉｓ、Ｓａｋａｒｉ Ｔｅｒｖｏ、Ｖｉｌｌｅ Ｐｕｌｋｋｉ、「ＣＯＭＰＡＳＳ：アンビソニックサウンドシーンの符号化と多方向パラメタリゼーション」（ＣＯＭＰＡＳＳ：Ｃｏｄｉｎｇ ａｎｄ Ｍｕｌｔｉｄｉｒｅｃｔｉｏｎａｌ Ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ ｏｆ Ａｍｂｉｓｏｎｉｃ Ｓｏｕｎｄ Ｓｃｅｎｅｓ）、ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ， ｏｆ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ），２０１８で概説されたＣＯＭＰＡＳＳメソッドに基づいてもよい。
【0203】
このような実施形態では、空間共分散行列ＣHOA,j（ｋ，ｎ）は、前に定義したようにアンビソニック信号から計算することができるが、利用可能であれば高次アンビソニック（ＨＯＡ）チャンネルを含む。例えば、信号は次のように表現される。
【数39】
【0204】
ここで、Ｎはアンビソニックの次数である。空間共分散行列は、いくつかの実施形態では、固有値分解によって分解することができる。
【数40】
【0205】
ここで、Ｅ（ｋ，ｎ）は、固有ベクトルを含み、Ｖ（ｋ，ｎ）は、固有値を含む。その後、Ｖ（ｋ，ｎ）の対角線に含まれる順序付き固有値の統計分析に基づいて、拡散または非拡散状態の判定を実行できる。
【0206】
非拡散状態が検出された場合、順序付き固有値の分布の統計的分析に基づいて、顕著な音源の数Ｓ´が推定される。ロバスト推定の場合、音源の数は以下のように制限される。
【数41】
【0207】
音源の数を推定した後、近似的な到来方向（ＤＯＡ）を決定する。球面上に一様に配置されたｍ＝１・・・Ｍ方向（θm，φm）の高密度グリッドに対して、Ｍ＝１０００～５０００の角度の範囲で、空間パワースペクトルが以下のように計算される。
【数42】
【0208】
ここで、ｙNは次数Ｎまでの球面調和値のベクトルで、適切な順序とアンビソニック規則の正規化が行われる。推定されたＤＯＡは、Ｓ個の最も高いピークを持つグリッド方向に対応する。
【0209】
他のいくつかの実施形態では、ＤＯＡ推定は、特に低アンビソニック次数で、より高い分解能の部分空間法を採用して、近い角度の音源を区別する広い低次ビームの限界を克服することができる。例えば、ＭＵＳＩＣを使用することができ、ここで空間スペクトルは以下のように計算される。
【数43】
【0210】
ここで、Ｅnoise（ｋ，ｎ）はＥ（ｋ，ｎ）の最後の（Ｎ＋１）2－Ｓ個の順序付き固有ベクトルから形成される。すべての格子点に対してＭＵＳＩＣが実行された後、Ｓ個の最も高いピークのピーク検索によってＤＯＡが同様に求められる。
【0211】
ｓ＝１，．．．，ＳのＤＯＡ（θS，φS）が決定された後、音源ごとの直接対総（ＤＴＲ）エネルギー比は以下のように決定される。
【数44】
【0212】
ＤＴＲが最も高い音源を主要な音源として選択し、それぞれのパラメータｒj,s（ｋ，ｎ）、θS（ｋ，ｎ）、φS（ｋ，ｎ）が、上記のＤｉｒＡＣ解析と同様に、メタデータ補間器に渡される。
【0213】
いくつかのさらなる実施形態では、単一の支配的なＤＯＡおよびＤＴＲを選択する代わりに、いくつかまたはすべての検出されたＤＯＡおよびＤＴＲがメタデータ補間器に渡される。換言すれば、いくつかの実施形態では、時間－周波数タイルごとに、複数の同時方向および比率が存在する。
【0214】
したがって、前述の実施形態では、時間周波数間隔ごとに１つの同時方向推定を議論しているが、いくつかの実施形態では、時間周波数タイルごとに複数の方向を推定またはその他の方法で決定することができる。
【0215】
例えば、本明細書に記載されたメタデータ補間原理は、２つ以上の同時方向推定（各時間周波数間隔において）および対応する２つ以上の直接対総エネルギー比についても拡張され得る。この場合、補間メタデータは、２つ以上の方向推定値も含む。
【0216】
いくつかの実施形態で実施される方法は、例えば、以下の通りであってよい。
【0217】
１）前述の方法で、関連するすべての方向パラメータ（および、対応する比率）から方向ベクトルを算出する。
【0218】
２）リスナーに最も近いアレイを決定する。
【0219】
３）最も近いアレイから，最も長い（つまり、直接対全体比が最も大きい）方向ベクトルを選択する。
【0220】
４）補間に関わる残りのアレイについて，最も近いアレイの選択されたベクトルとの内積が最大となる方向ベクトルを（各アレイについて１つずつ）選択する。
【0221】
５）（ステップ３および４の）選択されたベクトルおよび（前述の通り）補間重みに基づいて結合ベクトルを算出し、それに基づいて（前述の通り）方向と比率を求める。
【0222】
６）上記のステップ３および４で使用するために選択したベクトルデータを破棄する。
【0223】
７）方向ベクトルが最も近いアレイにまだ存在する場合は、次の方向とそれに対応する比率を決定するために、多数の補間された方向と比率が得られるまで、ステップ３～６を繰り返す。
【0224】
いくつかの実施形態では、ハンガリアンアルゴリズムなどの最小距離割り当てアルゴリズムが、セット間の最も近いＤＯＡを対にするために使用される。ＤＯＡの数はマイクロホン間で異なる可能性があるため、割り当ては、マイクロホンの組の同じ数のＤＯＡの間で発生するかもしれないが、一方で、特定のマイクロホンで割り当てられていない追加のＤＯＡは、他のマイクロホンにおいてゼロのＤＯＡベクトルで補間される可能性がある。このアプローチでは、３つのマイクロホンアレイ全体で検出されたＤＯＡの最大数と同数のＤＯＡを合成段階に渡すことができる。
【0225】
いくつかの実施形態では、複数の同時到達方向がある場合、図８に示す合成プロセッサ５０９のターゲット共分散行列決定器８０５において、ターゲット共分散行列は、複数の直接部分（各方向とその対応する直接対総エネルギー比について）で構築される。それ以外は、合成処理は同じでよい。
【0226】
いくつかの実施形態では、図５に示すように、信号補間器５０３は、任意の適切な方法を用いてオーディオ信号を補間するように構成される。例えば、信号を切り替える代わりに、信号は重み係数（ｗ1、ｗ2、及びｗ3）に基づいて線形補間される。状態によっては、この補間方法が望ましくない櫛形フィルタリングを生じる可能性があるが、品質が向上する場合もある。
【0227】
いくつかの実施形態では、補間データ５０８／５１０、マイクロホンアレイ位置５０２、及び／又はリスナー位置５０４は、合成プロセッサ５０９にも転送される。これらは、例えば、プロトタイプ信号の決定に使用されてもよい（例えば、リスナーがアレイから遠く離れている場合は、信号エネルギーを失わないように、幅の広いパターンを使用する）。
【0228】
いくつかの実施形態では、前述の実施形態で説明した機能ブロックまたは処理ブロックを、様々な方法で他の機能ブロックまたはさらなる処理ブロックに結合および／または分割することができる。例えば、いくつかの実施形態では、信号補間器５０３、位置プリプロセッサ５０５、及びメタデータ補間器５０７に関連する機能（または処理ステップ）は、合成プロセッサ５０９内に統合される。いくつかの実施形態では、機能（または処理ステップ）を組み合わせることで、よりコンパクトなコードと効率的な実装が得られる。
【0229】
いくつかの実施形態において、プロトタイプ信号は、信号補間器５０３において既に決定されてもよい。そのような実施形態では、リスナーの方向５１６は、信号補間器５０３に供給される。
【0230】
いくつかの実施形態では、目標総エネルギーは、信号補間器５０３において決定され、合成プロセッサ５０９に渡される。これらの実施形態において、エネルギー補正は、合成プロセッサ５０９において（受信したオーディオ信号に基づいて決定された目標エネルギーの代わりに、受信した目標エネルギーを用いて）実行され得るため、補間信号５１２ Ｓ（ｂ，ｎ，ｉ）は、信号補間器５０３においてエネルギー補正される必要がない場合がある。これは、エネルギー補正が空間合成と同時に実行され得るため、計算の複雑さを軽減する可能性があるため、一部の実用的なシステムでは有益である。さらに、これらの実施形態は、すべての利得を同時に適用することができる（したがって、潜在的な時間的利得平滑化を１回だけ適用することができる）ため、改善されたオーディオ品質を特徴とすることができる。
【0231】
いくつかの実施形態では、補間重み（ｗ1、ｗ2、およびｗ3）は、任意の適切なスキームを使用して決定されてもよい。例えば、いくつかの実施形態では、最も近いアレイがより顕著に使用されるように、前述の実施形態が調整されてもよい。
【0232】
本明細書で説明する実施形態では、信号補間器５０３は、常に、リスナー位置が内側にあったマイクロホンアレイｊ1、ｊ2、ｊ3のうちの１つであるように、選択したマイクロホンアレイｊselを決定するように構成される。この決定は、場合によっては、リスナーが２つの決定された三角形の端にいる場合、２つのマイクロホンアレイの間で切り替え（ｓｗｉｔｃｈｉｎｇ）が発生する可能性がある。この急激な切り替えを防止するために、いくつかの実施形態では、マイクロホンアレイの選択において閾値が適用されてもよい。例えば、マイクロホンアレイｊ1、ｊ2、ｊ3のうちのいくつかがｊselよりある閾値だけ近い場合にのみ、選択されたマイクロホンアレイｊselが変更される。
【0233】
いくつかの実施形態では、パラメータ補間は、異なる方法の組合せを用いて実行されてもよい。例えば、直接対総エネルギー比を補間するための２つの異なる方法が、上記で提示された。いくつかの実施形態では、これらの方法の組合せが実施されてもよい。例えば、第１の方法（言い換えれば、結合ベクトルの長さ）が閾値以下の値を提供する場合、第１の方法の結果が選択され、あるいは、第２の方法（言い換えれば、元の比率を直接重み付けする）の結果が選択される。閾値は、固定的であっても適応的であってもよい。例えば、いくつかの実施形態では、閾値は、元の比率に関連して決定されてもよい。
【0234】
上述したいくつかの実施形態では、図１０に示すようなエンコーダおよびデコーダが提供される。いくつかの他の実施形態において、空間分析は、デコーダにおいて（少なくともいくつかの周波数において）実行される。これらの実施形態では、オーディオ信号とマイクロホンの位置のみが、エンコーダからデコーダに渡される必要がある。いくつかの実施形態では、いくつかの周波数における空間メタデータも転送される。
【0235】
図７に示すように、リスナーがマイクロホンアレイの位置に関連する領域の外側にいる場合、リスナーの位置はその領域内に投影され得る。つまり、ユーザがその領域から少し外れたところにいるときは、位置の不一致による方向性の偏りは無視できるが、ユーザがその領域から遠く離れているときは、偏りが大きくなる可能性があるということである。上述したように、実際の状態では、ユーザがアレイから非常に遠くに移動することはほとんどなく（ビデオも再生する必要があるため）、したがって、このような偏りの知覚的な悪影響は、通常、制限される。しかしながら、いくつかの実施形態では、これらの影響は、例えば、ユーザが領域からさらに離れて移動するときに、より周囲の音を示す比率パラメータを修正することによって、さらに緩和することができる。そのような実施形態では、比率パラメータが次に完全なアンビエンスを示す距離（及びそれを超える距離）が存在し得る。したがって、システムは、これらの状態において、予想される誤った方向を再生するのではなく、定位不可能な音として音をレンダリングするように構成される。
【0236】
いくつかの実施形態では、信号補間器５０３は、各マイクロホンにおけるサウンドシーンのエネルギーを、第１チャンネルのエネルギーだけを使用するのではなく、高次のものを含むすべてのアンビソニックチャンネルから、以下のように計算することができ、ＳＮ３Ｄアンビソニックチャンネル正規化規則の場合、
、または、Ｎ３Ｄアンビソニックチャンネル正規化規則の場合、
であり、Ｎはアンビソニック次数である。
【0237】
上記の実施形態では、マイクロホンアレイが同じ方向に配置されているか、または同じ方向に変換されている（言い換えれば、各マイクロホンアレイの「Ｘ軸」が同じ方向に配置されている）ことを仮定している。ある実施形態では、位置情報に加えて、マイクロホンアレイの方向情報が伝達される。この情報は、様々な方向を考慮し、マイクロホンの方向を「揃える」ために、処理の任意の時点で使用することができる。
【0238】
図１３に関して、コンピュータ、エンコーダプロセッサ、デコーダプロセッサ、または本明細書に記載された機能ブロックのいずれかとして使用され得る例示的な電子デバイスが示されている。デバイスは、任意の適切な電子機器又は装置であってよい。例えばいくつかの実施形態では、装置１４００は、モバイルデバイス、ユーザ機器、タブレットコンピュータ、コンピュータ、オーディオ再生装置などである。
【0239】
いくつかの実施形態では、装置１４００は、少なくとも１つのプロセッサ又は中央処理装置１４０７を備える。プロセッサ１４０７は、本明細書に記載されるような方法など、様々なプログラムコードを実行するように構成することができる。
【0240】
いくつかの実施形態では、装置１４００は、メモリ１４１１を備える。いくつかの実施形態では、少なくとも１つのプロセッサ１４０７が、メモリ１４１１に結合される。メモリ１４１１は、任意の適切な記憶手段であってよい。いくつかの実施形態では、メモリ１４１１は、プロセッサ１４０７に実装可能なプログラムコードを格納するためのプログラムコード部を具備する。さらに、いくつかの実施形態では、メモリ１４１１は、データ、例えば、本明細書に記載されるような実施形態に従って処理された又は処理される予定のデータを記憶するための記憶データ部をさらに備えることができる。プログラムコード部内に格納された実装プログラムコード及び記憶データ部内に格納されたデータは、メモリ－プロセッサ結合を介して必要なときにいつでもプロセッサ１４０７によって取り出すことができる。
【0241】
いくつかの実施形態では、装置１４００は、ユーザインターフェース１４０５を備える。いくつかの実施形態では、ユーザインターフェース１４０５は、プロセッサ１４０７に結合され得る。いくつかの実施形態では、プロセッサ１４０７は、ユーザインターフェース１４０５の動作を制御し、ユーザインターフェース１４０５から入力を受信することができる。いくつかの実施形態では、ユーザインターフェース１４０５は、ユーザが、例えばキーパッドを介して、装置１４００にコマンドを入力することを可能にすることができる。いくつかの実施形態では、ユーザインターフェース１４０５は、ユーザが装置１４００から情報を取得することを可能にすることができる。例えば、ユーザインターフェース１４０５は、装置１４００からの情報をユーザに表示するように構成されたディスプレイを備えてよい。ユーザインターフェース１４０５は、いくつかの実施形態において、装置１４００に情報を入力すること、および装置１４００のユーザに対して情報を表示することの両方が可能なタッチスクリーン又はタッチインターフェースで構成され得る。
【0242】
いくつかの実施形態では、装置１４００は、入力／出力ポート１４０９を備える。いくつかの実施形態では、入力／出力ポート１４０９は、トランシーバを具備する。そのような実施形態におけるトランシーバは、プロセッサ１４０７に結合され、例えば、無線通信ネットワークを介して、他の装置又は電子機器との通信を可能にするように構成され得る。トランシーバ又は任意の適切なトランシーバ又は送信機及び／又は受信機手段は、いくつかの実施形態において、有線又は有線結合を介して他の電子デバイス又は装置と通信するように構成することができる。
【0243】
トランシーバは、任意の適切な既知の通信プロトコルによって、別の装置と通信することができる。例えば、いくつかの実施形態では、トランシーバは、適切なユニバーサル移動通信システム（ＵＭＴＳ）プロトコル、例えば、ＩＥＥＥ８０２．Ｘなどの無線ローカルエリアネットワーク（ＷＬＡＮ）プロトコル、ブルートゥース（登録商標）などの適切な短距離無線周波数通信プロトコル、または赤外線データ通信経路（ＩＲＤＡ）を使用することができる。
【0244】
トランシーバ入力／出力ポート１４０９は、オーディオ信号、ビットストリームを送信／受信し、いくつかの実施形態では、適切なコードを実行するプロセッサ１４０７を使用することによって、上述のような動作及び方法を実行するように構成されてもよい。
【0245】
一般に、本発明の様々な実施形態は、ハードウェアまたは専用回路、ソフトウェア、ロジック、またはそれらの任意の組み合わせで実装されてもよい。例えば、いくつかの態様はハードウェアで実装されてもよく、他の態様は、コントローラ、マイクロプロセッサ、または他のコンピューティングデバイスによって実行され得るファームウェアまたはソフトウェアで実装されてもよいが、本発明はこれらに限定されない。本発明の様々な態様は、ブロック図、フローチャートとして、または他の何らかの図形的表現を用いて図示および説明され得るが、本明細書に記載されるこれらのブロック、装置、システム、技術、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、専用回路または論理、汎用ハードウェアまたはコントローラもしくは他のコンピューティングデバイス、またはこれらの何らかの組み合わせで実施されてよいことは十分に理解されよう。
【0246】
この発明の実施形態は、プロセッサエンティティなどのモバイルデバイスのデータプロセッサによって実行可能なコンピュータソフトウェアによって、またはハードウェアによって、またはソフトウェアとハードウェアの組み合わせによって実装されてもよい。さらに、この点に関して、図のような論理フローの任意のブロックは、プログラムステップ、または相互接続された論理回路、ブロックおよび機能、またはプログラムステップと論理回路、ブロックおよび機能の組み合わせを表すことができることに留意されたい。ソフトウェアは、メモリチップ、またはプロセッサ内に実装されたメモリブロック、磁気媒体、および光学媒体などの物理媒体に格納されてもよい。
【0247】
メモリは、ローカルな技術環境に適した任意のタイプであってよく、半導体ベースのメモリデバイス、磁気メモリデバイス及びシステム、光学メモリデバイス及びシステム、固定メモリ、及び取り外し可能メモリなどの任意の適切なデータ記憶技術を使用して実装されてもよい。データプロセッサは、ローカルな技術環境に適した任意のタイプであってよく、非限定的な例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ゲートレベル回路及びマルチコアプロセッサアーキテクチャに基づくプロセッサのうちの１つ以上を含んでもよい。
【0248】
本発明の実施形態は、集積回路モジュールなどの様々なコンポーネントにおいて実施することができる。集積回路の設計は、概して高度に自動化されたプロセスである。論理レベルの設計を、半導体基板上にエッチングして形成するのに適した半導体回路設計に変換するために、複雑で強力なソフトウェアツールが利用可能である。
【0249】
カリフォルニア州マウンテンビューのシノプシス社や、カリフォルニア州サンノゼのケイデンスデザイン社などのプログラムは、確立された設計ルールや、あらかじめ保存された設計モジュールのライブラリを使って、半導体チップ上の導体の配線や部品の配置を自動的に行う。半導体回路の設計が完了したら、設計結果を標準化された電子フォーマット（Ｏｐｕｓ、ＧＤＳＩＩなど）で半導体製造施設または製造のための「ファブ」に送信することができる。
【0250】
上述の説明は、例示的かつ非限定的な例として、本発明の例示的な実施形態の完全かつ有益な説明を提供したものである。しかしながら、添付の図面および添付の特許請求の範囲と併せて読むと、上述の説明を考慮して、関連技術の当業者には様々な変更および適応が明らかになるであろう。しかしながら、本発明の教示のそのような類似の修正はすべて、添付の特許請求の範囲で定義される本発明の範囲内に依然として含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【手続補正書】
【提出日】2022-10-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置であって、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、
２つ以上のオーディオ信号セットを取得し、各オーディオ信号セットは、位置に関連付けられ、
前記オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得し、
前記オーディオ信号セットの前記少なくとも２つに少なくとも関連付けられた前記位置を取得し、
リスナー位置を取得し、
前記オーディオ信号セットの前記少なくとも２つに少なくとも関連付けられた前記位置および前記リスナー位置に基づいて、前記２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成し、
前記オーディオ信号セットの前記少なくとも２つについて取得された前記少なくとも１つのパラメータ値、前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置、および前記リスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成し、
前記少なくとも１つの修正されたパラメータ値に基づいて前記少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成する、
ことを少なくとも装置に行わせるように構成されている、装置。
【請求項2】
取得された前記２つ以上のオーディオ信号セットは、前記装置に、マイクロホン装置から前記２つ以上のオーディオ信号セットを取得させ、各マイクロホン装置は、それぞれの位置にあり、１つ以上のマイクロホンを備える、請求項１に記載の装置。
【請求項3】
各オーディオ信号セットは方向と関連付けられ、前記装置は、前記２つ以上のオーディオ信号セットの前記方向を取得するようにされ、生成された前記少なくとも１つのオーディオ信号は、前記２つ以上のオーディオ信号セットと関連付けられた前記方向にさらに基づき、前記少なくとも１つの修正されたパラメータ値は、前記２つ以上のオーディオ信号セットと関連付けられた前記方向にさらに基づく、請求項１に記載の装置。
【請求項4】
前記装置は、リスナーの方向を取得するようにさらにされ、前記少なくとも１つの修正されたパラメータ値は、前記リスナーの方向にさらに基づく、請求項１に記載の装置。
【請求項5】
前記空間オーディオ出力を生成するように、処理された前記少なくとも１つのオーディオ信号が、前記装置に、前記リスナーの方向にさらに基づいて、前記少なくとも１つのオーディオ信号を処理させる、請求項４に記載の装置。
【請求項6】
前記装置は、前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置および前記リスナー位置に基づいて制御パラメータを取得するようにされ、生成された前記少なくとも１つのオーディオ信号、および生成された前記少なくとも１つの修正されたパラメータ値、の少なくとも１つが、前記制御パラメータに基づいて制御される、請求項１に記載の装置。
【請求項7】
前記装置は、制御パラメータを取得するようにされ、
前記制御パラメータは、
前記リスナー位置が配置された前記オーディオ信号セットの少なくとも３つを識別し、前記オーディオ信号セットの位置および前記リスナー位置に基づいて、前記オーディオ信号セットの少なくとも３つに関連付けられた重みを生成し、
前記リスナー位置に最も近い前記オーディオ信号セットの２つを識別し、前記オーディオ信号セットの位置および前記オーディオ信号セットの前記２つの間の線からの前記リスナー位置の垂直投影に基づいて、前記オーディオ信号セットの前記２つに関連付けられた重みを生成する、
ことの少なくとも１つを前記装置に行わせる、請求項６に記載の装置。
【請求項8】
生成された前記少なくとも１つのオーディオ信号は、前記重みに基づいて、２つ以上のオーディオ信号セットからの２つ以上のオーディオ信号を結合することと、
前記２つ以上のオーディオ信号セットのうちのどれが前記リスナー位置に最も近いかに基づいて、前記２つ以上のオーディオ信号セットのうちの１つから１つ以上のオーディオ信号を選択することと、
前記２つ以上のオーディオ信号セットのうちのどれが前記リスナー位置に最も近いか、および、さらなる切り替え閾値に基づいて、前記２つ以上のオーディオ信号セットのうちの１つから１つ以上のオーディオ信号を選択することと、
のうちの１つを前記装置に行わせる、請求項７に記載の装置。
【請求項9】
生成された前記少なくとも１つの修正されたパラメータ値は、前記装置に、前記２つ以上のオーディオ信号セットのうちの少なくとも２つについて、取得された前記少なくとも１つのパラメータ値を前記重みに基づいて結合させる、請求項７に記載の装置。
【請求項10】
生成された前記空間オーディオ出力は、ヘッドホンおよび／またはイヤホン用の２つのオーディオ信号を含むバイノーラルオーディオ出力、および、
マルチチャンネルスピーカーセット用の少なくとも２つのオーディオ信号を含むマルチチャンネルオーディオ出力、
の少なくとも１つを前記装置に生成させる、請求項１に記載の装置。
【請求項11】
少なくとも１つのパラメータ値は、少なくとも１つの方向値、
少なくとも１つの方向値に関連付けられた少なくとも１つの直接対全体比、
少なくとも１つの方向値に関連付けられた少なくとも１つの拡散コヒーレンス、
少なくとも１つの方向値に関連付けられた少なくとも１つの距離、
少なくとも１つのサラウンドコヒーレンス、
少なくとも１つの拡散対全体比、および、
少なくとも１つの余剰対全体比、
のうちの少なくとも１つを含む、請求項１に記載の装置。
【請求項12】
前記オーディオ信号セットの少なくとも２つは、少なくとも２つのオーディオ信号を含み、前記装置は、前記少なくとも１つのパラメータ値を取得するようにされ、前記少なくとも１つのパラメータ値は、前記装置に、前記２つ以上のオーディオ信号セットからの前記２つ以上のオーディオ信号を空間的に解析させ、前記少なくとも１つのパラメータ値を決定させる、請求項１に記載の装置。
【請求項13】
取得された前記少なくとも１つのパラメータ値は、前記装置に、前記オーディオ信号セットの少なくとも２つについて、前記少なくとも１つのパラメータ値を受信または取得させる、請求項１に記載の装置。
【請求項14】
２つ以上のオーディオ信号セットを取得することであって、各オーディオ信号セットは位置に関連付けられている、取得することと、前記オーディオ信号セットの少なくとも２つについて、少なくとも１つのパラメータ値を取得することと、
前記オーディオ信号セットの前記少なくとも２つに少なくとも関連付けられた前記位置を取得することと、
リスナー位置を取得することと、
前記オーディオ信号セットの前記少なくとも２つに少なくとも関連付けられた前記位置および前記リスナー位置に基づいて、前記２つ以上のオーディオ信号セットの少なくとも１つからの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオ信号を生成することと、
前記オーディオ信号セットの前記少なくとも２つについて、取得された前記少なくとも１つのパラメータ値、前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置、および前記リスナー位置に基づいて、少なくとも１つの修正されたパラメータ値を生成することと、
前記少なくとも１つの修正されたパラメータ値に基づいて前記少なくとも１つのオーディオ信号を処理し、空間オーディオ出力を生成することと、
を含む、装置のための方法。
【請求項15】
２つ以上のオーディオ信号セットを取得することは、マイクロホン装置から前記２つ以上のオーディオ信号セットを取得することを含み、各マイクロホン装置は、それぞれの位置にあり、１つ以上のマイクロホンを備える、請求項１４に記載の方法。
【請求項16】
各オーディオ信号セットは、方向と関連付けられ、前記方法は、前記２つ以上のオーディオ信号セットの前記方向を取得することをさらに含み、生成された前記少なくとも１つのオーディオ信号は、前記２つ以上のオーディオ信号セットと関連付けられた前記方向にさらに基づき、前記少なくとも１つの修正されたパラメータ値は、前記２つ以上のオーディオ信号セットと関連付けられた前記方向にさらに基づく、請求項１４に記載の方法。
【請求項17】
リスナーの方向を取得することをさらに含み、前記少なくとも１つの修正されたパラメータ値は、前記リスナーの方向にさらに基づく、請求項１４に記載の方法。
【請求項18】
前記少なくとも１つの修正されたパラメータ値に基づいて、前記少なくとも１つのオーディオ信号を処理し、前記空間オーディオ出力を生成することは、前記リスナーの方向にさらに基づいて、前記少なくとも１つのオーディオ信号を処理することを含む、請求項１７に記載の方法。
【請求項19】
前記オーディオ信号セットの前記少なくとも２つに関連付けられた前記位置および前記リスナー位置に基づいて、制御パラメータを取得することをさらに含み、前記少なくとも１つのオーディオ信号、および前記少なくとも１つの修正されたパラメータ値の少なくとも１つを生成することが、前記制御パラメータに基づいて制御される、請求項１４に記載の方法。
【請求項20】
前記オーディオ信号セットの少なくとも２つは、少なくとも２つのオーディオ信号を含み、前記少なくとも１つのパラメータ値を取得することは、前記２つ以上のオーディオ信号セットからの前記２つ以上のオーディオ信号を空間的に解析し、前記少なくとも１つのパラメータ値を決定することを含む、請求項１４に記載の方法。
【国際調査報告】