▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧 ▶ ドルビー・インターナショナル・アーベーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133493
(43)【公開日】2023-09-22
(54)【発明の名称】再生機能が異なる装置を横断したダイナミクス処理
(51)【国際特許分類】
H04S 7/00 20060101AFI20230914BHJP
H04R 3/00 20060101ALI20230914BHJP
H03G 9/02 20060101ALI20230914BHJP
【ＦＩ】
H04S7/00 300
H04R3/00 101
H04S7/00 370
H03G9/02 025
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023125937
(22)【出願日】2023-08-02
(62)【分割の表示】P 2022505318の分割
【原出願日】2020-07-27
(31)【優先権主張番号】P201930702
(32)【優先日】2019-07-30
(33)【優先権主張国・地域又は機関】ES
(31)【優先権主張番号】62/880,115
(32)【優先日】2019-07-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/971,421
(32)【優先日】2020-02-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/705,143
(32)【優先日】2020-06-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/705,410
(32)【優先日】2020-06-25
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(71)【出願人】
【識別番号】510185767
【氏名又は名称】ドルビー・インターナショナル・アーベー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ゼーフェルト，アラン ジェイ．
(72)【発明者】
【氏名】ランドー，ジョシュア ビー．
(72)【発明者】
【氏名】アルテアガ，ダニエル
(57)【要約】
【課題】再生機能が異なる装置を横断したダイナミクス処理を提供する。
【解決手段】聴取環境の複数のラウドスピーカーのそれぞれについて、個々のラウドスピーカー・ダイナミクス処理構成データが得られてもよい。聴取環境ダイナミクス処理構成データは、個々のラウドスピーカー・ダイナミクス処理構成データに基づいて決定されてもよい。ダイナミクス処理は、聴取環境ダイナミクス処理構成データに基づいて、受領されたオーディオ・データに対して実行されて、処理されたオーディオ・データを生成する。処理されたオーディオ・データは、複数のラウドスピーカーの少なくとも一部を含むラウドスピーカーの集合を介した再生のためにレンダリングされ、レンダリングされたオーディオ信号を生成してもよい。レンダリングされたオーディオ信号は、ラウドスピーカーの集合に与えられ、それにより再生されてもよい。
【選択図】図３
【解決手段】聴取環境の複数のラウドスピーカーのそれぞれについて、個々のラウドスピーカー・ダイナミクス処理構成データが得られてもよい。聴取環境ダイナミクス処理構成データは、個々のラウドスピーカー・ダイナミクス処理構成データに基づいて決定されてもよい。ダイナミクス処理は、聴取環境ダイナミクス処理構成データに基づいて、受領されたオーディオ・データに対して実行されて、処理されたオーディオ・データを生成する。処理されたオーディオ・データは、複数のラウドスピーカーの少なくとも一部を含むラウドスピーカーの集合を介した再生のためにレンダリングされ、レンダリングされたオーディオ信号を生成してもよい。レンダリングされたオーディオ信号は、ラウドスピーカーの集合に与えられ、それにより再生されてもよい。
【選択図】図３
【特許請求の範囲】
【請求項1】
オーディオ処理方法であって：
制御システムによって、インターフェース・システムを介して、複数のラウドスピーカーの各ラウドスピーカーについて一つまたは複数の再生レベル制限閾値を取得する段階と；
前記制御システムによって、前記一つまたは複数の再生レベル制限閾値を組み合わせて、組み合わされた再生レベル制限閾値を得る段階と；
前記制御システムによって、一つまたは複数のオーディオ信号および関連する空間データを含むオーディオ・データを受領する段階であって、前記空間データはチャネル・データまたは空間メタデータの少なくとも一方を含む、段階と；
前記制御システムによって、前記組み合わされた再生レベル制限閾値を使用して前記オーディオに対してダイナミクス処理を実行して、処理されたオーディオを生成する段階と；
前記制御システムによって、前記処理されたオーディオを、前記複数のラウドスピーカーのうちの少なくともいくつかを含むラウドスピーカーの集合を介した再生のためにレンダリングして、レンダリングされたオーディオ信号を生成する段階と；
前記インターフェース・システムを介して、前記レンダリングされたオーディオ信号をラウドスピーカーの前記集合に提供する段階とを含む、
方法。
制御システムによって、インターフェース・システムを介して、複数のラウドスピーカーの各ラウドスピーカーについて一つまたは複数の再生レベル制限閾値を取得する段階と；
前記制御システムによって、前記一つまたは複数の再生レベル制限閾値を組み合わせて、組み合わされた再生レベル制限閾値を得る段階と；
前記制御システムによって、一つまたは複数のオーディオ信号および関連する空間データを含むオーディオ・データを受領する段階であって、前記空間データはチャネル・データまたは空間メタデータの少なくとも一方を含む、段階と；
前記制御システムによって、前記組み合わされた再生レベル制限閾値を使用して前記オーディオに対してダイナミクス処理を実行して、処理されたオーディオを生成する段階と；
前記制御システムによって、前記処理されたオーディオを、前記複数のラウドスピーカーのうちの少なくともいくつかを含むラウドスピーカーの集合を介した再生のためにレンダリングして、レンダリングされたオーディオ信号を生成する段階と；
前記インターフェース・システムを介して、前記レンダリングされたオーディオ信号をラウドスピーカーの前記集合に提供する段階とを含む、
方法。
【請求項2】
請求項１に記載の方法であって、前記一つまたは複数の再生レベル制限閾値は、複数の周波数での再生レベル制限を含む、方法。
【請求項3】
請求項１または請求項２に記載の方法であって、前記再生レベル制限閾値を組み合わせることは、前記複数のラウドスピーカーの各ラウドスピーカーの再生レベル閾値にわたる最小値をとることを含む、方法。
【請求項4】
請求項１または請求項２に記載の方法であって、前記再生レベル制限閾値を組み合わせることは、前記複数のラウドスピーカーの各ラウドスピーカーの前記再生レベル制限閾値にわたる平均化プロセスを含む、方法。
【請求項5】
前記平均化プロセスが重み付けされた平均を決定することを含む、請求項４記載の方法。
【請求項6】
前記重み付けされた平均が前記レンダリングの関数として導出される、請求項５記載の方法。
【請求項7】
請求項１ないし６のうちいずれか一項に記載の方法であって、前記レンダリングは空間的レンダリングを含む、方法。
【請求項8】
オーディオプログラムストリームの前記制限は、異なる空間ゾーンにおいて異なる仕方で制限することを含む、請求項７に記載の方法。
【請求項9】
各空間ゾーンの再生レベル閾値は、前記複数のラウドスピーカーの各ラウドスピーカーの再生レベル制限閾値の組み合わせを通じて導出される、請求項８記載の方法。
【請求項10】
各空間ゾーンの再生レベル閾値が、前記複数のラウドスピーカーの各ラウドスピーカーの再生レベル制限閾値の重み付けされた平均を通じて導出される、請求項９記載の方法。
【請求項11】
所与の空間ゾーンについての所与のラウドスピーカーに関連する重み付けが、その空間ゾーンに関連するラウドスピーカー参加因子から導出される、請求項１０記載の方法。
【請求項12】
請求項１１記載の方法であって、前記ラウドスピーカー参加因子は、制限器の前記空間ゾーンに割り当てられた一つまたは複数の公称空間位置の前記レンダリングに対応するラウドスピーカー・アクティブ化から導出される、方法。
【請求項13】
請求項１ないし１２のうちいずれか一項に記載の方法であって、さらに、対応するラウドスピーカーに関連する一つまたは複数の再生レベル制限閾値に従って前記レンダリングされたオーディオ信号を制限することを含む、方法。
【請求項14】
請求項１ないし１３のうちいずれか一項記載の方法を実行するように構成されたシステム。
【請求項15】
請求項１ないし１３のうちいずれか一項に記載の方法を実行するように構成された装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、2019年7月30日に出願されたスペイン特許出願第P201930702号、2020年2月7日に出願された米国仮特許出願第62/971,421号、2020年6月25日に出願された米国仮特許出願第62/705,410号、2019年7月30日に出願された米国仮特許出願第62/880,115号、および2020年6月12日に出願された米国仮特許出願第62/705,143号の優先権を主張するものであり、それぞれその全体が参照により本明細書に組み込まれる。
本願は、2019年7月30日に出願されたスペイン特許出願第P201930702号、2020年2月7日に出願された米国仮特許出願第62/971,421号、2020年6月25日に出願された米国仮特許出願第62/705,410号、2019年7月30日に出願された米国仮特許出願第62/880,115号、および2020年6月12日に出願された米国仮特許出願第62/705,143号の優先権を主張するものであり、それぞれその全体が参照により本明細書に組み込まれる。
【0002】
技術分野
本開示は、スピーカーの集合の一部または全部のスピーカーによる音声の再生および再生のためのレンダリングのためのシステムおよび方法に関する。
本開示は、スピーカーの集合の一部または全部のスピーカーによる音声の再生および再生のためのレンダリングのためのシステムおよび方法に関する。
【背景技術】
【0003】
スマート・オーディオ装置を含むがそれに限定されないオーディオ装置は、広く配備され、多くの家庭で一般的な機能となっている。オーディオ装置を制御するための既存のシステムおよび方法は利点を提供するが、改善されたシステムおよび方法が望ましい。
【0004】
記法および名称
特許請求の範囲を含め、本開示全体を通じて、「スピーカー」および「ラウドスピーカー」は、単一のスピーカーフィードによって駆動される任意の放音トランスデューサ（またはトランスデューサの集合）を表すために同義で使用される。ヘッドフォンの典型的なセットは、2つのスピーカーを含む。
特許請求の範囲を含め、本開示全体を通じて、「スピーカー」および「ラウドスピーカー」は、単一のスピーカーフィードによって駆動される任意の放音トランスデューサ（またはトランスデューサの集合）を表すために同義で使用される。ヘッドフォンの典型的なセットは、2つのスピーカーを含む。
【0005】
特許請求の範囲を含め、本開示全体を通じて、信号またはデータ「に対して」動作を実行するという表現（たとえば、信号またはデータのフィルタリング、スケーリング、変換、または利得の適用）は、広い意味で使用され、信号またはデータに対して該動作を直接実行すること、または信号またはデータの処理されたバージョンに対して（たとえば、該動作の実行前に予備的なフィルタリングまたは前処理を受けた該信号のバージョンに対して）該動作を実行することを示す。
【0006】
特許請求の範囲を含む本開示全体を通じて、「システム」という表現は、広い意味で装置、システム、またはサブシステムを示すために使用される。たとえば、デコーダを実装するサブシステムがデコーダ・システムと称されることがあり、そのようなサブシステムを含むシステム（たとえば、複数の入力に応答してX個の出力信号を生成するシステムであって、そのサブシステムが入力のうちのM個を生成し、他のX－M個の入力は外部ソースから受領されるシステム）もデコーダ・システムと称することもできる。
【0007】
特許請求の範囲を含む本開示全体を通じて、用語「プロセッサ」は、データ（たとえば、オーディオ、ビデオまたは他の画像データ）に対して動作を実行するために、プログラム可能なまたは他の仕方で（たとえば、ソフトウェアまたはファームウェアを用いて）構成可能なシステムまたは装置を示すために広い意味で使用される。プロセッサの例は、フィールドプログラマブルゲートアレイ（または他の構成可能な集積回路またはチップセット）、オーディオまたは他の音声データに対してパイプライン処理を実行するようにプログラムされたおよび／または他の仕方で構成されたデジタル信号プロセッサ、プログラマブルな汎用プロセッサまたはコンピュータ、およびプログラマブルなマイクロプロセッサチップまたはチップセットを含む。
【0008】
特許請求の範囲を含む本開示全体を通じて、用語「結合する」または「結合され」は、直接的または間接的接続を意味するために使用される。よって、第1の装置が第2の装置に結合する場合、その接続は、直接接続を通じて、または他の装置および接続を介した間接接続を通じてでありうる。
【0009】
本稿では、「スマート・オーディオ装置」という表現を、単一目的のオーディオ装置またはバーチャル・アシスタント（たとえば、接続されたバーチャル・アシスタント）のいずれかであるスマート装置を示すために使用する。単一目的のオーディオ装置は、少なくとも1つのマイクロフォンを含むまたはそれに結合された（そして任意的には、少なくとも1つのスピーカーおよび／または少なくとも1つのカメラをも含むまたはそれに結合された）および／または少なくとも1つのスピーカーを含むまたはそれに結合された（および、任意的には少なくとも1つのマイクロフォンを含むまたはそれに結合された）装置（たとえば、テレビまたは携帯電話）であり、大部分または主に単一目的を達成するように設計される。テレビは、典型的には、番組素材からオーディオを再生することができる（また、再生することができると考えられている）が、ほとんどの場合、現代のテレビは、何らかのオペレーティングシステムを実行しており、その上で、テレビ視聴のアプリケーションを含め、アプリケーションがローカルに動作する。同様に、携帯電話におけるオーディオ入出力は多くのことをするがあるが、これらは電話上で動作するアプリケーションによってサービスされる。この意味で、スピーカーおよびマイクロフォンを有する単一目的のオーディオ装置は、しばしば、スピーカーおよびマイクロフォンを直接使用するためのローカルなアプリケーションおよび／またはサービスを実行するように構成される。一部の単一目的のオーディオ装置は、あるゾーンまたはユーザーが構成設定したエリアでオーディオの再生を達成するために、グループ化するように構成されてもよい。
【0010】
バーチャル・アシスタント（たとえば、接続されたバーチャル・アシスタント）は、少なくとも1つのマイクロフォンを含むまたはそれに結合されている（そして任意的には、少なくとも1つのスピーカーおよび／または少なくとも1つのカメラをも含むまたはそれに結合されている）装置（たとえば、スマートスピーカーまたは音声アシスタント統合装置）であり、ある意味ではクラウドで可能にされる、または他の仕方でバーチャル・アシスタント自体の中または上には実装されていないアプリケーションのために複数の装置（そのバーチャル・アシスタントとは異なる）を利用する能力を提供することができる。バーチャル・アシスタントどうしは、時に、たとえば非常に離散的で、条件付きで定義された仕方で、協働することがある。たとえば、2以上のバーチャル・アシスタントは、そのうちの一つ、すなわち、ウェイクワードを聞いたことに最も自信があるバーチャル・アシスタントがそのワードに応答するという意味で、協働することができる。接続された装置は、一種のコンステレーションを形成することができ、これは、バーチャル・アシスタントであってもよい（またはそれを実装してもよい）1つのメイン・アプリケーションによって管理されてもよい。
【0011】
ここで、「ウェイクワード」とは、任意の音（たとえば、人間によって発声された単語、または何らかの他の音）を意味するために広義で使用され、スマート・オーディオ装置は、その音の検出（「聞く」）（スマート・オーディオ装置に含まれるかまたはそれに結合される少なくとも1つのマイクロフォン、または少なくとも1つの他のマイクロフォンを使用する）に応答して、覚醒するように構成される。この文脈において、「覚醒」とは、装置が音声コマンドを待つ（すなわち、音声コマンドがあるかどうか傾聴する）状態に入ることを表す。いくつかの事例では、本明細書において「ウェイクワード」と称されうるものは、複数の単語、たとえば、フレーズを含んでいてもよい。
【0012】
ここで、「ウェイクワード検出器」という表現は、リアルタイムの音声（たとえば、発話）特徴とトレーニングされたモデルとの間の整列を連続的に探すよう構成された装置（または装置を構成するための命令を含むソフトウェア）を表す。典型的には、ウェイクワードが検出された確率が所定の閾値を超えることがウェイクワード検出器によって判別されるときは常に、ウェイクワード・イベントがトリガーされる。たとえば、閾値は、誤受理率と誤拒否率との間の良好な妥協を与えるように調整された所定の閾値であってもよい。ウェイクワード・イベントに続いて、装置は、それがコマンドを待ち受け、受け取ったコマンドをより大きな、より計算集約的な認識器に渡す状態（「覚醒した」状態または「注視」状態と呼ばれてもよい）にはいってもよい。
【発明の概要】
【課題を解決するための手段】
【0013】
いくつかの実施形態は、スマート・オーディオ装置の集合のスマート・オーディオ装置のうちの少なくとも1つ（たとえば、全部または一部）および／またはスピーカーの別の集合のスピーカーのうちの少なくとも1つ（たとえば、全部または一部）による再生のために、空間的オーディオミックスのレンダリング（またはレンダリングおよび再生）（たとえば、オーディオのストリームまたはオーディオの複数ストリームのレンダリング）のための方法に関わる。いくつかの実施形態は、そのようなレンダリング（たとえば、スピーカーフィードの生成を含む）およびレンダリングされたオーディオの再生（たとえば、生成されたスピーカーフィードの再生）のための方法（またはシステム）である。
【0014】
あるクラスの実施形態は、複数の調整された（オーケストレーションされた）スマート・オーディオ装置のうちの少なくとも1つ（たとえば、全部または一部）によるオーディオのレンダリング（またはレンダリングおよび再生）のための方法に関わる。たとえば、ユーザーの家庭内（のシステム内）に存在するスマート・オーディオ装置の集合は、スマート・オーディオ装置の全部または一部による（すなわち、スマート・オーディオ装置の全部または一部に含まれる、またはそれに結合されるスピーカーによる）再生のためのオーディオの柔軟なレンダリングを含む、多様な同時使用事例を処理するために調整されうる。
【0015】
本開示のいくつかの実施形態は、少なくとも2つのスピーカー（たとえば、スピーカーの集合のスピーカーのうちの全部または一部）による再生のために、オーディオをレンダリングする（たとえば、オーディオのストリームまたはオーディオの複数のストリームをレンダリングすることによって、空間的オーディオミックスをレンダリングする）ことを含む、オーディオ処理のためのシステムおよび方法であり、下記によることを含む：
（a）個別のラウドスピーカー・ダイナミクス処理構成データ（たとえば、個々のラウドスピーカーの制限閾値（再生制限閾値））を組み合わせて、それにより複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データ（組み合わされた閾値など）を決定する；
（b）複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データ（たとえば、組み合わされた閾値）を使用して、オーディオ（たとえば、空間的オーディオミックスを示すオーディオのストリーム）に対するダイナミクス処理を実行して、処理されたオーディオを生成する。
（c）処理されたオーディオをスピーカーフィードにレンダリングする。
（a）個別のラウドスピーカー・ダイナミクス処理構成データ（たとえば、個々のラウドスピーカーの制限閾値（再生制限閾値））を組み合わせて、それにより複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データ（組み合わされた閾値など）を決定する；
（b）複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データ（たとえば、組み合わされた閾値）を使用して、オーディオ（たとえば、空間的オーディオミックスを示すオーディオのストリーム）に対するダイナミクス処理を実行して、処理されたオーディオを生成する。
（c）処理されたオーディオをスピーカーフィードにレンダリングする。
【0016】
いくつかの実施形態では、オーディオ処理は下記を含む：
（d）各ラウドスピーカーについての個別のラウドスピーカー・ダイナミクス処理設定データに従って、レンダリングされたオーディオ信号に対してダイナミクス処理を実行する（たとえば、対応するスピーカーに関連付けられた再生制限閾値に従ってスピーカーフィードを制限し、それにより、制限されたスピーカーフィードを生成する）。
（d）各ラウドスピーカーについての個別のラウドスピーカー・ダイナミクス処理設定データに従って、レンダリングされたオーディオ信号に対してダイナミクス処理を実行する（たとえば、対応するスピーカーに関連付けられた再生制限閾値に従ってスピーカーフィードを制限し、それにより、制限されたスピーカーフィードを生成する）。
【0017】
スピーカーは、スマート・オーディオ装置の集合のスマート・オーディオ装置のうちの少なくとも1つ（たとえば、全部または一部）の（またはそれに結合された）スピーカーであってもよい。いくつかの実装では、ステップ（d）において制限されたスピーカーフィードを生成するために、ステップ（c）において生成されたスピーカーフィードは、ダイナミクス処理の第2段によって（たとえば、各スピーカーの関連するダイナミクス処理システムによって）処理されて、たとえば、制限された（すなわち、動的に制限された）スピーカーフィードを、スピーカーを通じた最終的な再生の前に生成してもよい。たとえば、スピーカーフィード（またはそのサブセットもしくは一部）は、スピーカーのそれぞれの異なるもののダイナミクス処理システム（たとえば、スマート・オーディオ装置のダイナミクス処理サブシステム。ここで、スマート・オーディオ装置は、それらのスピーカーのうちの関連するものを含む、またはそれに結合されている）。前記各ダイナミクス処理システムから出力される処理されたオーディオは、スピーカーのうちの関連するもののための制限されたスピーカーフィード（たとえば、動的に制限されたスピーカーフィード）を生成するために使用されてもよい。スピーカー固有のダイナミクス処理（すなわち、各スピーカーについて独立に実行されるダイナミクス処理）に続いて、処理された（たとえば、動的に制限された）スピーカーフィードは、スピーカーを駆動して音声の再生を引き起こすために使用されうる。
【0018】
ダイナミクス処理の第1段（ステップ（b））は、ステップ（a）および（b）が省略されステップ（d）から生じるダイナミクス処理された（たとえば、制限された）スピーカーフィードがもとのオーディオに応答して（ステップ（b）で生成された処理されたオーディオに応答してではなく）生成された場合に生じるであろう知覚的にわずらわしい空間バランスのシフトを低減するように設計されうる。これは、ミックスの空間バランスにおける望ましくないシフトを防止しうる。ステップ（c）からのレンダリングされたスピーカーフィードに対して作用するステップ（d）におけるダイナミクス処理の第2段は、どのスピーカーも歪まないことを保証するように設計されてもよい。ステップ（b）のダイナミクス処理は、必ずしも信号レベルがすべてのスピーカーの閾値未満に低下したことを保証しないためである。個別のラウドスピーカー・ダイナミクス処理構成データを組み合わせること（たとえば、第1段（ステップ（a））における閾値の組み合わせ）は、いくつかの例では、諸スピーカーにわたって（たとえば、スマート・オーディオ装置にわたって）個別のラウドスピーカー・ダイナミクス処理構成データ（たとえば、制限閾値）を平均する、または諸スピーカーにわたって（たとえば、スマート・オーディオ装置にわたって）個別のラウドスピーカー・ダイナミクス処理構成データ（たとえば、制限閾値）の最小を取るステップに関わる（たとえば、含む）。
【0019】
いくつかの実装では、ダイナミクス処理の第1段（ステップ（b））が、空間的ミックスを示すオーディオ（たとえば、少なくとも1つのオブジェクトチャネルおよび任意的には少なくとも1つのスピーカーチャネルをも含む、オブジェクトベースのオーディオプログラムのオーディオ）に対して作用する場合、この第1段は、諸空間ゾーンの使用を通じたオーディオ・オブジェクト処理のための技法に従って実装されうる。そのような場合、各ゾーンに関連する組み合わされた個別のラウドスピーカー・ダイナミクス処理構成データ（たとえば、組み合わされた制限閾値）は、個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、個々のスピーカー制限閾値）の重み付けされた平均によって（または重み付けされた平均として）導出されてもよく、この重み付けは、少なくとも部分的には、各スピーカーの前記ゾーンへの空間的近接性および／または前記ゾーン内の位置によって与えられてもよく、または決定されてもよい。
【0020】
あるクラスの実施形態では、オーディオ・レンダリング・システムは、少なくとも1つのオーディオ・ストリーム（たとえば、同時再生のための複数のオーディオ・ストリーム）をレンダリングしてもよく、および／または複数の任意に配置されたラウドスピーカー上で、レンダリングされたストリーム（単数または複数）を再生してもよく、ここで、前記プログラム・ストリーム（単数または複数）のうちの少なくとも1つ（たとえば、2つ以上）は、空間的ミックスである（または空間的ミックスを決定する）。
【0021】
本開示の諸側面は、一つまたは複数の開示された方法またはそのステップを実行するように構成された（たとえば、プログラムされた）システムと、一つまたは複数の開示された方法またはそのステップを実行するためのコード（たとえば、実行するために実行可能なコード）を格納する、データの非一時的記憶（たとえば、ディスクまたは他の有形記憶媒体）を実装する有形の非一時的なコンピュータ読み取り可能媒体とを含んでいてもよい。たとえば、いくつかの実施形態は、プログラム可能な汎用プロセッサ、デジタル信号プロセッサ、またはマイクロプロセッサであって、一つまたは複数の開示される方法またはそのステップを含む、データに対する多様な動作のいずれかを実行するようにソフトウェアまたはファームウェアでプログラムされた、および／または、他の仕方で構成されたものであってもよく、または、それを含んでいてもよい。そのような汎用プロセッサは、入力装置、メモリ、および、それに呈されたデータに応答して一つまたは複数の開示された方法（またはそのステップ）を実行するようにプログラムされた（および／または他の仕方で構成された）処理サブシステムを含むコンピュータシステムであってもよく、または、それを含んでいてもよい。
【0022】
本開示の少なくともいくつかの側面は、オーディオ処理方法などの方法を介して実装されうる。いくつかの事例では、諸方法は、少なくとも部分的には、本明細書に開示されたもののような制御システムによって実装されうる。いくつかのそのような方法は、制御システムによって、インターフェース・システムを介して、聴取環境の複数のラウドスピーカーのそれぞれについての個々のラウドスピーカー・ダイナミクス処理構成データを取得することに関わる。いくつかの事例では、複数のラウドスピーカーのうちの一つまたは複数のラウドスピーカーのための個々のラウドスピーカー・ダイナミクス処理構成データは、一つまたは複数のラウドスピーカーの一つまたは複数の能力に対応することができる。いくつかの例では、個々のラウドスピーカー・ダイナミクス処理構成データは、複数のラウドスピーカーの各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データセットを含む。いくつかのそのような方法は、制御システムによって、複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データを決定することに関わる。いくつかの例では、聴取環境ダイナミクス処理構成データを決定することは、複数のラウドスピーカーの各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データセットに基づく。
【0023】
いくつかのそのような方法は、制御システムによって、インターフェース・システムを介して、一つまたは複数のオーディオ信号および関連する空間データを含むオーディオ・データを受領することを含む。いくつかの例では、空間データは、チャネル・データおよび／または空間メタデータを含む。いくつかのそのような方法は、制御システムによって、聴取環境ダイナミクス処理構成データに基づいて、オーディオ・データに対してダイナミクス処理を実行して、処理されたオーディオ・データを生成することに関わる。いくつかのそのような方法は、制御システムによって、処理されたオーディオ・データを、前記複数のラウドスピーカーのうちの少なくともいくつかを含むラウドスピーカーの集合を介した再生のためにレンダリングして、レンダリングされたオーディオ信号を生成することに関わる。いくつかのそのような方法は、インターフェース・システムを介して、レンダリングされたオーディオ信号をラウドスピーカーの集合に提供することに関わる。
【0024】
いくつかの例では、個々のラウドスピーカー・ダイナミクス処理構成データは、前記複数のラウドスピーカーの各ラウドスピーカーについての再生制限閾値データセットを含んでいてもよい。再生制限閾値データセットは、たとえば、複数の周波数のそれぞれについての再生制限閾値を含んでいてもよい。
【0025】
いくつかの例によれば、聴取環境ダイナミクス処理構成データを決定することは、前記複数のラウドスピーカーにわたる最小の諸再生制限閾値を決定することに関わってもよい。いくつかの事例では、聴取環境ダイナミクス処理構成データを決定することは、前記複数のラウドスピーカーにわたって再生制限閾値を平均することに関わってもよい。いくつかの例では、聴取環境ダイナミクス処理構成データを決定することは、再生制限閾値を平均して前記複数のラウドスピーカーにわたる平均された再生制限閾値を得て、前記複数のラウドスピーカーにわたる最小の再生制限閾値を決定し、最小の再生制限閾値と平均された再生制限閾値との間を補間することを含んでいてもよい。いくつかのそのような例では、再生制限閾値を平均することは、再生制限閾値の重み付けされた平均を決定することに関わってもよい。いくつかの実装によれば、重み付けされた平均は、少なくとも部分的に、制御システムによって実装されるレンダリング・プロセスの特性に基づいてもよい。
【0026】
いくつかの例では、オーディオ・データに対するダイナミクス処理を実行することは、空間ゾーンに基づいてもよい。各空間ゾーンは聴取環境のサブセットに対応する。いくつかのそのような例によれば、再生制限閾値の重み付けされた平均は、少なくとも部分的には、オーディオ信号の空間ゾーンへの近接性の関数としての、レンダリング・プロセスによるラウドスピーカーのアクティブ化に基づいてもよい。いくつかの例では、重み付けされた平均は、少なくとも部分的には、各空間ゾーン内の各ラウドスピーカーについてのラウドスピーカー参加値に基づいてもよい。いくつかのそのような例によれば、各ラウドスピーカー参加値は、少なくとも部分的には、各空間ゾーン内の一つまたは複数の公称空間位置に基づいてもよい。いくつかのそのような例では、公称空間位置は、ドルビー5.1、ドルビー5.1.2、ドルビー7.1、ドルビー7.1.4またはドルビー9.1のサラウンドサウンドミックスにおけるチャネルの標準位置のような、チャネルの標準位置に対応する。いくつかの事例では、各ラウドスピーカー参加値は、少なくとも部分的には、各空間ゾーン内の前記一つまたは複数の公称空間位置のそれぞれにおけるオーディオ・データのレンダリングに対応する各ラウドスピーカーのアクティブ化に基づいてもよい。
【0027】
いくつかの実装によれば、方法はまた、レンダリングされたオーディオ信号が提供されるラウドスピーカーの集合の各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データに従って、レンダリングされたオーディオ信号に対してダイナミクス処理を実行することに関わってもよい。
【0028】
いくつかの例では、処理されたオーディオ・データをレンダリングすることは、一つまたは複数の動的に構成可能な機能に従って、ラウドスピーカーの集合の相対的なアクティブ化を決定することに関わってもよい。前記一つまたは複数の動的に構成可能な機能は、たとえば、オーディオ信号の一つまたは複数の属性、ラウドスピーカーの集合の一つまたは複数の属性、および／または一つまたは複数の外部入力に基づいていてもよい。
【0029】
いくつかの実装によれば、オーディオ・データに対してダイナミクス処理を実行することは、空間ゾーンに基づいてもよい。空間ゾーンのそれぞれは、聴取環境のサブセットに対応してもよい。いくつかのそのような実装では、ダイナミクス処理は、空間ゾーンのそれぞれについて別々に実行されてもよい。いくつかの事例では、聴取環境ダイナミクス処理構成データを決定することは、空間ゾーンのそれぞれについて別々に実行されてもよい。
【0030】
いくつかの例では、個々のスピーカー・ダイナミクス処理構成データは、前記複数のラウドスピーカーの各ラウドスピーカーについて、ダイナミックレンジ圧縮データセットを含んでいてもよい。いくつかのそのような例によれば、ダイナミックレンジ圧縮データセットは、閾値データ、入出力比データ、アタック・データ、リリース・データおよび／またはニー・データを含んでいてもよい。
【0031】
いくつかの実装によれば、聴取環境ダイナミクス処理構成データを決定することは、少なくとも部分的には、前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることに基づいてもよい。いくつかの例では、前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、制御システムによって実装されるレンダリング・プロセスの特性に基づいてもよい。
【0032】
いくつかのそのような例では、オーディオ・データに対するダイナミクス処理を実行することは、一つまたは複数の空間ゾーンに基づいていてもよい。前記一つまたは複数の空間ゾーンのそれぞれは、聴取環境の全体またはサブセットに対応してもよい。いくつかのそのような例では、前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、前記一つまたは複数の空間ゾーンのそれぞれについて別々に実行されてもよい。いくつかのそのような例では、前記一つまたは複数の空間ゾーンのそれぞれについて別個に前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、前記一つまたは複数の空間ゾーンにわたる所望のオーディオ信号位置の関数としての、レンダリング・プロセスによるラウドスピーカーのアクティブ化に基づいていてもよい。
【0033】
いくつかのそのような例によれば、前記一つまたは複数の空間ゾーンのそれぞれについて別個に前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、前記一つまたは複数の空間ゾーンのそれぞれにおける各ラウドスピーカーについてのラウドスピーカー参加値に基づいていてもよい。いくつかのそのような例では、各ラウドスピーカー参加値は、少なくとも部分的には、前記一つまたは複数の空間ゾーンのそれぞれの中での一つまたは複数の公称空間位置に基づいてもよい。いくつかのそのような例では、公称空間位置は、ドルビー5.1、ドルビー5.1.2、ドルビー7.1、ドルビー7.1.4またはドルビー9.1のサラウンドサウンドミックス内のチャネルの標準位置のような、チャネルの標準位置に対応してもよい。いくつかの事例では、各ラウドスピーカー参加値は、少なくとも部分的には、前記一つまたは複数の空間ゾーンのそれぞれの中での前記一つまたは複数の公称空間位置のそれぞれにおけるオーディオ・データのレンダリングに対応する各ラウドスピーカーのアクティブ化に基づいていてもよい。
【0034】
本明細書に記載された動作、機能および／または方法の一部または全部は、一つまたは複数の非一時的媒体に記憶された命令（たとえば、ソフトウェア）に従って一つまたは複数の装置によって実行されうる。そのような非一時的媒体は、ランダムアクセスメモリ（RAM）デバイス、読み出し専用メモリ（ROM）デバイスなどを含むが、それらに限定されない、本明細書に記載されたもののようなメモリ装置を含んでいてもよい。よって、本開示に記載される主題のいくつかの革新的な側面は、その上にソフトウェアが記憶されている非一時的媒体において実装できる。
【0035】
たとえば、ソフトウェアは、制御システムによって、インターフェース・システムを介して、聴取環境の複数のラウドスピーカーのそれぞれについての個々のラウドスピーカー・ダイナミクス処理構成データを取得することに関わる方法を実行するよう、一つまたは複数の装置を制御するための命令を含むことができる。いくつかの事例では、前記複数のラウドスピーカーのうちの一つまたは複数のラウドスピーカーのための個々のラウドスピーカー・ダイナミクス処理構成データは、前記一つまたは複数のラウドスピーカーの一つまたは複数の能力に対応してもよい。いくつかの例では、個々のスピーカー・ダイナミクス処理構成データは、前記複数のラウドスピーカーの各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データセットを含む。
【0036】
いくつかのそのような方法は、制御システムによって、前記複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データを決定することに関わる。いくつかの例では、聴取環境ダイナミクス処理構成データを決定することは、前記複数のラウドスピーカーの各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データセットに基づいている。いくつかのそのような方法は、制御システムによって、インターフェース・システムを介して、一つまたは複数のオーディオ信号および関連する空間データを含むオーディオ・データを受領することに関わる。いくつかの例では、空間データは、チャネル・データおよび／または空間メタデータを含む。いくつかのそのような方法は、制御システムによって、聴取環境ダイナミクス処理構成データに基づいて、オーディオ・データに対してダイナミクス処理を実行して、処理されたオーディオ・データを生成することに関わる。いくつかのそのような方法は、制御システムによって、処理されたオーディオ・データを、前記複数のラウドスピーカーのうちの少なくともいくつかを含むラウドスピーカーの集合を介した再生のためにレンダリングして、レンダリングされたオーディオ信号を生成することに関わる。いくつかのそのような方法は、インターフェース・システムを介して、レンダリングされたオーディオ信号をラウドスピーカーの集合に提供することに関わる。
【0037】
いくつかの例では、個々のラウドスピーカー・ダイナミクス処理構成データは、前記複数のラウドスピーカーの各ラウドスピーカーについての再生制限閾値データセットを含んでいてもよい。再生制限閾値データセットは、たとえば、複数の周波数のそれぞれについての再生制限閾値を含んでいてもよい。
【0038】
いくつかの例によれば、聴取環境ダイナミクス処理構成データを決定することは、前記複数のラウドスピーカーにわたる最小の諸再生制限閾値を決定することに関わってもよい。いくつかの事例では、聴取環境ダイナミクス処理構成データを決定することは、前記複数のラウドスピーカーにわたって再生制限閾値を平均することに関わってもよい。いくつかの例では、聴取環境ダイナミクス処理構成データを決定することは、再生制限閾値を平均して前記複数のラウドスピーカーにわたる平均された再生制限閾値を得て、前記複数のラウドスピーカーにわたる最小の再生制限閾値を決定し、最小の再生制限閾値と平均された再生制限閾値との間を補間することを含んでいてもよい。いくつかのそのような例では、再生制限閾値を平均することは、再生制限閾値の重み付けされた平均を決定することに関わってもよい。いくつかの実装によれば、重み付けされた平均は、少なくとも部分的に、制御システムによって実装されるレンダリング・プロセスの特性に基づいてもよい。
【0039】
いくつかの例では、オーディオ・データに対するダイナミクス処理を実行することは、空間ゾーンに基づいてもよい。各空間ゾーンは聴取環境のサブセットに対応する。いくつかのそのような例によれば、再生制限閾値の重み付けされた平均は、少なくとも部分的には、オーディオ信号の空間ゾーンへの近接性の関数としての、レンダリング・プロセスによるラウドスピーカーのアクティブ化に基づいてもよい。いくつかの例では、重み付けされた平均は、少なくとも部分的には、各空間ゾーン内の各ラウドスピーカーについてのラウドスピーカー参加値に基づいてもよい。いくつかのそのような例によれば、各ラウドスピーカー参加値は、少なくとも部分的には、各空間ゾーン内の一つまたは複数の公称空間位置に基づいてもよい。いくつかのそのような例では、公称空間位置は、ドルビー5.1、ドルビー5.1.2、ドルビー7.1、ドルビー7.1.4またはドルビー9.1のサラウンドサウンドミックスにおけるチャネルの標準位置のような、チャネルの標準位置に対応する。いくつかの事例では、各ラウドスピーカー参加値は、少なくとも部分的には、各空間ゾーン内の前記一つまたは複数の公称空間位置のそれぞれにおけるオーディオ・データのレンダリングに対応する各ラウドスピーカーのアクティブ化に基づいてもよい。
【0040】
いくつかの実装によれば、方法はまた、レンダリングされたオーディオ信号が提供されるラウドスピーカーの集合の各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データに従って、レンダリングされたオーディオ信号に対してダイナミクス処理を実行することに関わってもよい。
【0041】
いくつかの例では、処理されたオーディオ・データをレンダリングすることは、一つまたは複数の動的に構成可能な機能に従って、ラウドスピーカーの集合の相対的なアクティブ化を決定することに関わってもよい。前記一つまたは複数の動的に構成可能な機能は、たとえば、オーディオ信号の一つまたは複数の属性、ラウドスピーカーの集合の一つまたは複数の属性、および／または一つまたは複数の外部入力に基づいていてもよい。
【0042】
いくつかの実装によれば、オーディオ・データに対してダイナミクス処理を実行することは、空間ゾーンに基づいてもよい。空間ゾーンのそれぞれは、聴取環境のサブセットに対応してもよい。いくつかのそのような実装では、ダイナミクス処理は、空間ゾーンのそれぞれについて別々に実行されてもよい。いくつかの事例では、聴取環境ダイナミクス処理構成データを決定することは、空間ゾーンのそれぞれについて別々に実行されてもよい。
【0043】
いくつかの例では、個々のスピーカー・ダイナミクス処理構成データは、前記複数のラウドスピーカーの各ラウドスピーカーについて、ダイナミックレンジ圧縮データセットを含んでいてもよい。いくつかのそのような例によれば、ダイナミックレンジ圧縮データセットは、閾値データ、入出力比データ、アタック・データ、リリース・データおよび／またはニー・データを含んでいてもよい。
【0044】
いくつかの実装によれば、聴取環境ダイナミクス処理構成データを決定することは、少なくとも部分的には、前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることに基づいてもよい。いくつかの例では、前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、制御システムによって実装されるレンダリング・プロセスの特性に基づいてもよい。
【0045】
いくつかのそのような例では、オーディオ・データに対するダイナミクス処理を実行することは、一つまたは複数の空間ゾーンに基づいていてもよい。前記一つまたは複数の空間ゾーンのそれぞれは、聴取環境の全体またはサブセットに対応してもよい。いくつかのそのような例では、前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、前記一つまたは複数の空間ゾーンのそれぞれについて別々に実行されてもよい。いくつかのそのような例では、前記一つまたは複数の空間ゾーンのそれぞれについて別個に前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、前記一つまたは複数の空間ゾーンにわたる所望のオーディオ信号位置の関数としての、レンダリング・プロセスによるラウドスピーカーのアクティブ化に基づいていてもよい。
【0046】
いくつかのそのような例によれば、前記一つまたは複数の空間ゾーンのそれぞれについて別個に前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、前記一つまたは複数の空間ゾーンのそれぞれにおける各ラウドスピーカーについてのラウドスピーカー参加値に基づいていてもよい。いくつかのそのような例では、各ラウドスピーカー参加値は、少なくとも部分的には、前記一つまたは複数の空間ゾーンのそれぞれの中での一つまたは複数の公称空間位置に基づいてもよい。いくつかのそのような例では、公称空間位置は、ドルビー5.1、ドルビー5.1.2、ドルビー7.1、ドルビー7.1.4またはドルビー9.1のサラウンドサウンドミックス内のチャネルの標準位置のような、チャネルの標準位置に対応してもよい。いくつかの事例では、各ラウドスピーカー参加値は、少なくとも部分的には、前記一つまたは複数の空間ゾーンのそれぞれの中での前記一つまたは複数の公称空間位置のそれぞれにおけるオーディオ・データのレンダリングに対応する各ラウドスピーカーのアクティブ化に基づいていてもよい。
【0047】
いくつかの実装形態では、装置は、インターフェース・システムおよび制御システムを含んでいてもよい。制御システムは、一つまたは複数の汎用の単一チップまたはマルチチップ・プロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、または他のプログラマブル論理装置、離散的ゲートまたはトランジスタ論理、離散的ハードウェアコンポーネント、またはそれらの組み合わせを含んでいてもよい。
【0048】
いくつかの実装では、制御システムは、本明細書に開示された方法の一つまたは複数を実行するために構成されてもよい。いくつかのそのような方法は、制御システムによって、インターフェース・システムを介して、聴取環境の複数のラウドスピーカーのそれぞれについての個々のラウドスピーカー・ダイナミクス処理構成データを取得することに関ってもよい。いくつかの事例では、前記複数のラウドスピーカーのうちの一つまたは複数のラウドスピーカーのための個々のラウドスピーカー・ダイナミクス処理構成データは、前記一つまたは複数のラウドスピーカーの一つまたは複数の能力に対応してもよい。いくつかの例では、個々のスピーカー・ダイナミクス処理構成データは、前記複数のラウドスピーカーの各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データセットを含む。いくつかのそのような方法は、制御システムによって、前記複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データを決定することに関わる。いくつかの例では、聴取環境ダイナミクス処理構成データを決定することは、前記複数のラウドスピーカーの各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データセットに基づいている。
【0049】
いくつかのそのような方法は、制御システムによって、インターフェース・システムを介して、一つまたは複数のオーディオ信号および関連する空間データを含むオーディオ・データを受領することに関わる。いくつかの例では、空間データは、チャネル・データおよび／または空間メタデータを含む。いくつかのそのような方法は、制御システムによって、聴取環境ダイナミクス処理構成データに基づいて、オーディオ・データに対してダイナミクス処理を実行して、処理されたオーディオ・データを生成することに関わる。いくつかのそのような方法は、制御システムによって、処理されたオーディオ・データを、前記複数のラウドスピーカーのうちの少なくともいくつかを含むラウドスピーカーの集合を介した再生のためにレンダリングして、レンダリングされたオーディオ信号を生成することに関わる。いくつかのそのような方法は、インターフェース・システムを介して、レンダリングされたオーディオ信号をラウドスピーカーの集合に提供することに関わる。
【0050】
いくつかの例では、個々のラウドスピーカー・ダイナミクス処理構成データは、前記複数のラウドスピーカーの各ラウドスピーカーについての再生制限閾値データセットを含んでいてもよい。再生制限閾値データセットは、たとえば、複数の周波数のそれぞれについての再生制限閾値を含んでいてもよい。
【0051】
いくつかの例によれば、聴取環境ダイナミクス処理構成データを決定することは、前記複数のラウドスピーカーにわたる最小の諸再生制限閾値を決定することに関わってもよい。いくつかの事例では、聴取環境ダイナミクス処理構成データを決定することは、前記複数のラウドスピーカーにわたって再生制限閾値を平均することに関わってもよい。いくつかの例では、聴取環境ダイナミクス処理構成データを決定することは、再生制限閾値を平均して前記複数のラウドスピーカーにわたる平均された再生制限閾値を得て、前記複数のラウドスピーカーにわたる最小の再生制限閾値を決定し、最小の再生制限閾値と平均された再生制限閾値との間を補間することを含んでいてもよい。いくつかのそのような例では、再生制限閾値を平均することは、再生制限閾値の重み付けされた平均を決定することに関わってもよい。いくつかの実装によれば、重み付けされた平均は、少なくとも部分的に、制御システムによって実装されるレンダリング・プロセスの特性に基づいてもよい。
【0052】
いくつかの例では、オーディオ・データに対するダイナミクス処理を実行することは、空間ゾーンに基づいてもよい。各空間ゾーンは聴取環境のサブセットに対応する。いくつかのそのような例によれば、再生制限閾値の重み付けされた平均は、少なくとも部分的には、オーディオ信号の空間ゾーンへの近接性の関数としての、レンダリング・プロセスによるラウドスピーカーのアクティブ化に基づいてもよい。いくつかの例では、重み付けされた平均は、少なくとも部分的には、各空間ゾーン内の各ラウドスピーカーについてのラウドスピーカー参加値に基づいてもよい。いくつかのそのような例によれば、各ラウドスピーカー参加値は、少なくとも部分的には、各空間ゾーン内の一つまたは複数の公称空間位置に基づいてもよい。いくつかのそのような例では、公称空間位置は、ドルビー5.1、ドルビー5.1.2、ドルビー7.1、ドルビー7.1.4またはドルビー9.1のサラウンドサウンドミックスにおけるチャネルの標準位置のような、チャネルの標準位置に対応する。いくつかの事例では、各ラウドスピーカー参加値は、少なくとも部分的には、各空間ゾーン内の前記一つまたは複数の公称空間位置のそれぞれにおけるオーディオ・データのレンダリングに対応する各ラウドスピーカーのアクティブ化に基づいてもよい。
【0053】
いくつかの実装によれば、方法はまた、レンダリングされたオーディオ信号が提供されるラウドスピーカーの集合の各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データに従って、レンダリングされたオーディオ信号に対してダイナミクス処理を実行することに関わってもよい。
【0054】
いくつかの例では、処理されたオーディオ・データをレンダリングすることは、一つまたは複数の動的に構成可能な機能に従って、ラウドスピーカーの集合の相対的なアクティブ化を決定することに関わってもよい。前記一つまたは複数の動的に構成可能な機能は、たとえば、オーディオ信号の一つまたは複数の属性、ラウドスピーカーの集合の一つまたは複数の属性、および／または一つまたは複数の外部入力に基づいていてもよい。
【0055】
いくつかの実装によれば、オーディオ・データに対してダイナミクス処理を実行することは、空間ゾーンに基づいてもよい。空間ゾーンのそれぞれは、聴取環境のサブセットに対応してもよい。いくつかのそのような実装では、ダイナミクス処理は、空間ゾーンのそれぞれについて別々に実行されてもよい。いくつかの事例では、聴取環境ダイナミクス処理構成データを決定することは、空間ゾーンのそれぞれについて別々に実行されてもよい。
【0056】
いくつかの例では、個々のスピーカー・ダイナミクス処理構成データは、前記複数のラウドスピーカーの各ラウドスピーカーについて、ダイナミックレンジ圧縮データセットを含んでいてもよい。いくつかのそのような例によれば、ダイナミックレンジ圧縮データセットは、閾値データ、入出力比データ、アタック・データ、リリース・データおよび／またはニー・データを含んでいてもよい。
【0057】
いくつかの実装によれば、聴取環境ダイナミクス処理構成データを決定することは、少なくとも部分的には、前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることに基づいてもよい。いくつかの例では、前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、制御システムによって実装されるレンダリング・プロセスの特性に基づいてもよい。
【0058】
いくつかのそのような例では、オーディオ・データに対するダイナミクス処理を実行することは、一つまたは複数の空間ゾーンに基づいていてもよい。前記一つまたは複数の空間ゾーンのそれぞれは、聴取環境の全体またはサブセットに対応してもよい。いくつかのそのような例では、前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、前記一つまたは複数の空間ゾーンのそれぞれについて別々に実行されてもよい。いくつかのそのような例では、前記一つまたは複数の空間ゾーンのそれぞれについて別個に前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、前記一つまたは複数の空間ゾーンにわたる所望のオーディオ信号位置の関数としての、レンダリング・プロセスによるラウドスピーカーのアクティブ化に基づいていてもよい。
【0059】
いくつかのそのような例によれば、前記一つまたは複数の空間ゾーンのそれぞれについて別個に前記複数のラウドスピーカーにわたってダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、前記一つまたは複数の空間ゾーンのそれぞれにおける各ラウドスピーカーについてのラウドスピーカー参加値に基づいていてもよい。いくつかのそのような例では、各ラウドスピーカー参加値は、少なくとも部分的には、前記一つまたは複数の空間ゾーンのそれぞれの中での一つまたは複数の公称空間位置に基づいてもよい。いくつかのそのような例では、公称空間位置は、ドルビー5.1、ドルビー5.1.2、ドルビー7.1、ドルビー7.1.4またはドルビー9.1のサラウンドサウンドミックス内のチャネルの標準位置のような、チャネルの標準位置に対応してもよい。いくつかの事例では、各ラウドスピーカー参加値は、少なくとも部分的には、前記一つまたは複数の空間ゾーンのそれぞれの中での前記一つまたは複数の公称空間位置のそれぞれにおけるオーディオ・データのレンダリングに対応する各ラウドスピーカーのアクティブ化に基づいていてもよい。
【0060】
本明細書に記載される主題の一つまたは複数の実装の詳細は、添付の図面および以下の説明に記載される。他の特徴、側面、および利点は、明細書、図面、および特許請求の範囲から明白になるであろう。以下の図の相対的な寸法は、同縮尺に描かれていない場合があることに留意されたい。
【図面の簡単な説明】
【0061】
【図1】本開示のさまざまな側面を実装できる装置の構成要素の例を示すブロック図である。
【図2】この例における生活空間である聴取環境の間取り図を示している。
【図3】本開示のさまざまな側面を実装できるシステムの構成要素の例を示すブロック図である。
【図4】A、BおよびCは、再生制限閾値および対応する周波数の例を示す。
【図5】AおよびBは、ダイナミックレンジ圧縮データの例を示すグラフである。
【図6】聴取環境の空間ゾーンの例を示す。
【図9】本明細書に開示されたもののような装置またはシステムによって実行されうる方法の一例を概説するフロー図である。
【図10】スピーカーのアクティブ化およびオブジェクト・レンダリング位置の例示的なセットを示す図である。
【図11】スピーカーのアクティブ化およびオブジェクト・レンダリング位置の例示的なセットを示す図である。
【図13】例示的実施形態におけるスピーカー・アクティブ化のグラフである。
【図14】例示的実施形態におけるオブジェクト・レンダリング位置のグラフである。
【図17】例示的実施形態におけるオブジェクト・レンダリング位置のグラフである。
【図19】例示的実施形態におけるスピーカー・アクティブ化のグラフである。
【図20】例示的実施形態におけるオブジェクト・レンダリング位置のグラフである。
【図22】この例における生活空間である環境の図である。
【0062】
さまざまな図面における同様の参照番号および指示は、同様の要素を示す。
【発明を実施するための形態】
【0063】
図1は、本開示のさまざまな側面を実装できる装置の構成要素の例を示すブロック図である。本明細書に提供される他の図と同様に、図1に示される要素のタイプおよび数は、単に例として提供されている。他の実装は、より多くの、より少ない、および／または異なるタイプおよび数の要素を含みうる。いくつかの例によれば、装置100は、本明細書に開示された方法の少なくとも一部を実行するように構成されたスマート・オーディオ装置であってもよく、またはそれを含んでいてもよい。他の実装では、装置100は、ラップトップコンピュータ、セルラー電話、タブレット装置、スマートホームハブ等のような、本明細書に開示された方法の少なくとも一部を実行するように構成された別の装置であってもよく、またはそれを含んでいてもよい。いくつかのそのような実装では、装置100は、サーバーであってもよく、またはそれを含んでいてもよい。
【0064】
この例では、装置100は、インターフェース・システム105および制御システム110を含む。インターフェース・システム105は、いくつかの実装では、オーディオ・データを受信するように構成されてもよい。オーディオ・データは、環境の少なくともいくつかのスピーカーによって再生されるようにスケジュールされたオーディオ信号を含んでいてもよい。オーディオ・データは、一つまたは複数のオーディオ信号および関連する空間データを含んでいてもよい。空間データは、たとえば、チャネル・データおよび／または空間メタデータを含んでいてもよい。インターフェース・システム105は、レンダリングされたオーディオ信号を、環境のラウドスピーカーの集合の少なくともいくつかのラウドスピーカーに提供するように構成されてもよい。
【0065】
インターフェース・システム105は、いくつかの実装では、環境内の一つまたは複数のマイクロフォンからの入力を受領するように構成されてもよい。インターフェース・システム105は、一つまたは複数のネットワーク・インターフェースおよび／または一つまたは複数の外部装置インターフェース（一つまたは複数のユニバーサルシリアルバス（USB）インターフェースなど）を含んでいてもよい。いくつかの実装によれば、インターフェース・システム105は、一つまたは複数の無線インターフェースを含んでいてもよい。
【0066】
インターフェース・システム105は、一つまたは複数のマイクロフォン、一つまたは複数のスピーカー、ディスプレイ・システム、タッチセンサーシステム、および／またはジェスチャーセンサーシステムのような、ユーザーインターフェースを実装するための一つまたは複数の装置を含んでいてもよい。いくつかの例では、インターフェース・システム105は、制御システム110と図1に示される任意的なメモリ・システム115のようなメモリ・システムとの間の一つまたは複数のインターフェースを含んでいてもよいが、制御システム110は、いくつかの例では、メモリ・システムを含んでいてもよい。
【0067】
制御システム110は、たとえば、汎用の単一チップまたはマルチチップ・プロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、または他のプログラマブル論理装置、離散的ゲートまたはトランジスタ論理、および／または離散的ハードウェアコンポーネントを含んでいてもよい。
【0068】
いくつかの実装では、制御システム110は、2つ以上の装置に存在してもよい。たとえば、制御システム110の一部は、本明細書に示される環境の1つの中の装置内に存在してもよく、制御システム110の別の一部は、サーバー、モバイル装置（たとえば、スマートフォンまたはタブレットコンピュータ）など、環境の外にある装置内に存在してもよい。他の例では、制御システム110の一部は、本明細書に示される環境の1つ中の装置内に存在してもよく、制御システム110の別の一部は、環境の一つまたは複数の他の装置内に存在してもよい。たとえば、制御システムの機能は、環境の複数のスマート・オーディオ装置にわたって分散されてもよく、または、オーケストレーション装置（たとえば、本明細書においてスマートホームハブと称されることがあるもの）および環境の一つまたは複数の他の装置によって分担されてもよい。インターフェース・システム105も、いくつかのそのような例では、2つ以上の装置に存在してもよい。
【0069】
いくつかの実装では、制御システム110は、少なくとも部分的には、本明細書に開示される方法を実行するために構成されてもよい。いくつかの例によれば、制御システム110は、複数のスピーカーを通じて複数のオーディオ・ストリームの再生を管理する方法を実装するように構成されてもよい。
【0070】
本明細書に記載される方法の一部または全部は、一つまたは複数の非一時的媒体に記憶された命令（たとえば、ソフトウェア）に従って一つまたは複数の装置によって実行されてもよい。そのような非一時的媒体は、ランダムアクセスメモリ（RAM）デバイス、読み出し専用メモリ（ROM）デバイスなどを含むがそれらに限定されない、本明細書に記載されたもののようなメモリ装置を含んでいてもよい。前記一つまたは複数の非一時的媒体は、たとえば、図1に示される任意的なメモリ・システム115および／または制御システム110に存在してもよい。よって、本開示に記載された主題のさまざまな革新的な側面は、ソフトウェアを記憶している一つまたは複数の非一時的媒体において実装できる。ソフトウェアは、たとえば、オーディオ・データを処理するために少なくとも1つの装置を制御するための命令を含んでいてもよい。ソフトウェアは、たとえば、図1の制御システム110のような制御システムの一つまたは複数の構成要素によって実行可能であってもよい。
【0071】
いくつかの例では、装置100は、図1に示される任意的なマイクロフォンシステム120を含んでいてもよい。任意的なマイクロフォンシステム120は、一つまたは複数のマイクロフォンを含んでいてもよい。いくつかの実装では、マイクロフォンの一つまたは複数は、スピーカー・システムのスピーカー、スマート・オーディオ装置等のような別の装置の一部であってもよく、または別の装置と関連付けられてもよい。
【0072】
いくつかの実装によれば、装置100は、図1に示される任意的なラウドスピーカー・システム125を含んでいてもよい。任意的なスピーカー・システム125は、一つまたは複数のラウドスピーカーを含んでいてもよい。本明細書では、ラウドスピーカーは時に「スピーカー」と称されることがある。いくつかの例では、任意的なラウドスピーカー・システム125の少なくともいくつかのラウドスピーカーは、任意に配置されうる。たとえば、任意的なラウドスピーカー・システム125の少なくともいくつかのスピーカーは、ドルビー5.1、ドルビー5.1.2、ドルビー7.1、ドルビー7.1.4、ドルビー9.1、浜崎22.2等のような、任意の規格で規定されたスピーカー・レイアウトに対応しない位置に配置されてもよい。いくつかのそのような例では、任意的なラウドスピーカー・システム125の少なくともいくつかのラウドスピーカーは、スペースに都合のよい位置（たとえば、ラウドスピーカーを収容するスペースがある位置）に配置されてもよいが、何らかの規格に規定されたラウドスピーカー・レイアウトにない位置であってもよい。
【0073】
いくつかの実装では、装置100は、図1に示される任意的なセンサー・システム130を含んでいてもよい。任意的なセンサー・システム130は、一つまたは複数のカメラ、タッチセンサー、ジェスチャーセンサー、動き検出器などを含んでいてもよい。いくつかの実装によれば、任意的なセンサー・システム130は、一つまたは複数のカメラを含んでいてもよい。いくつかの実装では、カメラは自立型カメラであってもよい。いくつかの例では、任意的なセンサー・システム130の一つまたは複数のカメラは、単一目的のオーディオ装置またはバーチャル・アシスタントであってもよいスマート・オーディオ装置内に存在してもよい。いくつかのそのような例では、任意的なセンサー・システム130の一つまたは複数のカメラが、テレビ、携帯電話、またはスマートスピーカーに存在してもよい。
【0074】
いくつかの実装では、装置100は、図1に示される任意的なディスプレイ・システム135を含んでいてもよく、任意的なディスプレイ・システム135は、一つまたは複数の発光ダイオード（LED）ディスプレイなどの一つまたは複数のディスプレイを含んでいてもよい。いくつかの事例では、任意的なディスプレイ・システム135は、一つまたは複数の有機発光ダイオード（OLED）ディスプレイを含んでいてもよい。装置100がディスプレイ・システム135を含むいくつかの例では、センサー・システム130は、ディスプレイ・システム135の一つまたは複数のディスプレイに近接するタッチセンサーシステムおよび／またはジェスチャーセンサーシステムを含んでいてもよい。いくつかのそのような実装によれば、制御システム110は、本明細書に開示されているGUIの1つなどのグラフィカル・ユーザー・インターフェース（GUI）を提示するために、ディスプレイ・システム135を制御するように構成されてもよい。
【0075】
いくつかの例によれば、装置100は、スマート・オーディオ装置であってもよく、またはスマート・オーディオ装置を含んでいてもよい。いくつかのそのような実装では、装置100は、ウェイクワード検出器であってもよく、または、ウェイクワード検出器を含んでいてもよい。たとえば、装置100は、バーチャル・アシスタントであってもよく、またはバーチャル・アシスタントを含んでいてもよい。
【0076】
図2は、この例における生活空間である聴取環境の間取り図を示している。本明細書に提供される他の図と同様に、図2に示される要素のタイプおよび数は、単に例として提供されている。他の実装は、より多くの、より少ない、および／または異なるタイプおよび数の要素を含みうる。この例によれば、環境200は、左上にリビングルーム210、中央下にキッチン215、右下に寝室222を含む。生活空間にわたって分散されたボックスおよび円は、ラウドスピーカー205a～205hの集合を表し、その少なくとも一部は、いくつかの実装では、スペースに都合のよい位置に配置されているが、いかなる規格で規定されたレイアウトにも従わない（任意に配置された）スマートスピーカーであってもよい。いくつかの例では、ラウドスピーカー205a～205hは、一つまたは複数の開示された実施形態を実装するために協調させられてもよい。
【0077】
いくつかの例によれば、環境200は、開示された方法の少なくとも一部を実装するためのスマートホームハブを含んでいてもよい。そのような実装によれば、スマートホームハブは、上述の制御システム110の少なくとも一部を含んでいてもよい。いくつかの例では、スマート装置（スマートスピーカー、携帯電話、スマートテレビ、バーチャル・アシスタントを実装するために使用される装置など）が、スマートホームハブを実装してもよい。
【0078】
この例では、環境200は、環境全体に分散されたカメラ211a～211eを含む。いくつかの実装では、環境200内の一つまたは複数のスマート・オーディオ装置は、一つまたは複数のカメラを含んでいてもよい。一つまたは複数のスマート・オーディオ装置は、単一目的のオーディオ装置またはバーチャル・アシスタントであってもよい。いくつかのそのような例では、任意的なセンサー・システム130の一つまたは複数のカメラが、テレビ230内またはテレビ230上、携帯電話内、またはラウドスピーカー205b、205d、205e、または205hの一つまたは複数などのスマートスピーカー内に存在してもよい。カメラ211a～211eは、本開示において提示された環境200のすべての図に示されているわけではないが、それでも、環境200のそれぞれは、いくつかの実装において一つまたは複数のカメラを含んでいてもよい。
【0079】
柔軟なレンダリングでは、空間的オーディオは任意の数の任意に配置されたスピーカー上にレンダリングされる。スマート・オーディオ装置（たとえば、スマートスピーカー）の家庭での普及に伴い、スマート・オーディオ装置を用いて、消費者がオーディオの柔軟なレンダリングとそのようにレンダリングされたオーディオの再生を行うことを可能にする柔軟なレンダリング技術を実現する必要がある。
【0080】
柔軟なレンダリングを実現するために、CEAP（Center of Mass Amplitude Panning［重心振幅パン］）およびFV（Flexible Virtualization［柔軟仮想化］）を含むいくつかの技術が開発されている。
【0081】
スマート・オーディオ装置の集合の諸スマート・オーディオ装置による（またはスピーカーの別の集合による）再生のために空間的オーディオミックスのレンダリング（またはレンダリングおよび再生）（たとえば、オーディオのストリームまたはオーディオの複数のストリームのレンダリング）を実行するという文脈では、（たとえば、スマート・オーディオ装置内の、またはスマート・オーディオ装置に結合される）スピーカーのタイプが変わる可能性があり、よってスピーカーの対応する音響能力は非常に大きく変化する可能性がある。図2に示される例では、ラウドスピーカー205d、205fおよび205hは、単一の0.6インチ・スピーカーを有するスマートスピーカーである。この例では、ラウドスピーカー205b、205c、205eおよび205fは、2.5インチ・ウーファおよび0.8インチ・ツイータを有するスマートスピーカーである。この例によれば、ラウドスピーカー205gは、5.25インチ・ウーファ、3つの2インチ・ミッドレンジ・スピーカー、および1.0インチ・ツイータを備えたスマートスピーカーである。ここで、ラウドスピーカー205aは、16個の1.1インチ・ビーム・ドライバと2個の4インチ・ウーファを有するサウンドバーである。よって、スマートスピーカー205dおよび205fの低周波能力は、環境200内の他のラウドスピーカー、特に4インチまたは5.25インチ・ウーファを有するものよりも、有意に低い。
【0082】
図3は、本開示のさまざまな側面を実装できるシステムの構成要素の例を示すブロック図である。本明細書に提供される他の図と同様に、図1に示される要素のタイプおよび数は、単に例として提供されている。他の実装は、より多くの、より少ない、および／または異なるタイプおよび数の要素を含みうる。
【0083】
この例によれば、システム300は、スマートホームハブ305と、ラウドスピーカー205a～205mとを含む。この例では、スマートホームハブ305は、図1に示され、上述した制御システム110のインスタンスを含む。この実装によれば、制御システム110は、聴取環境ダイナミクス処理構成データ・モジュール310と、聴取環境ダイナミクス処理モジュール315と、レンダリング・モジュール320とを含む。聴取環境ダイナミクス処理構成データ・モジュール310、聴取環境ダイナミクス処理モジュール315、およびレンダリング・モジュール320のいくつかの例を以下に説明する。いくつかの例では、レンダリング・モジュール320'が、レンダリングおよび聴取環境ダイナミクス処理の両方のために構成されてもよい。
【0084】
スマートホームハブ305とラウドスピーカー205a～205mとの間の矢印によって示唆されるように、スマートホームハブ305は、図1に示され、上述したインターフェース・システム105のインスタンスをも含む。いくつかの例によれば、スマートホームハブ305は、図2に示される環境200の一部であってもよい。いくつかの事例では、スマートホームハブ305は、スマートスピーカー、スマートテレビ、セルラー電話、ラップトップなどによって実装されてもよい。いくつかの実装では、スマートホームハブ305は、ソフトウェアによって、たとえば、ダウンロード可能なソフトウェアアプリケーションまたは「アプリ」のソフトウェアを介して実装されてもよい。いくつかの事例では、スマートホームハブ305は、ラウドスピーカー205a-mのそれぞれにおいて実装されて、すべてが並列に動作して、モジュール320からの同じ処理されたオーディオ信号を生成してもよい。いくつかのそのような例によれば、各ラウドスピーカーにおいて、レンダリング・モジュール320は、次いで、各ラウドスピーカーまたはラウドスピーカーのグループに関連する一つまたは複数のスピーカーフィードを生成してもよく、これらのスピーカーフィードを各スピーカー・ダイナミクス処理モジュールに提供してもよい。
【0085】
いくつかの事例では、ラウドスピーカー205a～205mは、図2のラウドスピーカー205a～205hを含んでいてもよい。他の例では、ラウドスピーカー205a～205mは、他のラウドスピーカーであってもよく、または他のラウドスピーカーを含んでいてもよい。よって、この例では、システム300は、M個のラウドスピーカーを含み、ここで、Mは、2より大きい整数である。
【0086】
スマートスピーカーは、多くの他のパワー付きスピーカーと同様に、典型的には、スピーカーが歪むことを防止するために、何らかのタイプの内部ダイナミクス処理を用いる。そのようなダイナミクス処理には、しばしば信号制限閾値（たとえば、周波数にわたって可変である制限閾値）が関連し、信号レベルは動的にそれより下に保持される。たとえば、ドルビーオーディオ処理（Dolby Audio Processing、DAP）オーディオ後処理スイートにおけるいくつかのアルゴリズムの1つであるドルビーのオーディオレギュレータは、そのような処理を提供する。いくつかの事例では、典型的にではないが、スマートスピーカーのダイナミクス処理モジュールを介して、ダイナミクス処理は、一つまたは複数のコンプレッサ、ゲート、エキスパンダ、ダッカ（ducker）等を適用することにも関わってもよい。よって、この例では、ラウドスピーカー205a～205mのそれぞれは、対応するスピーカー・ダイナミクス処理（dynamics processing、DP）モジュールA～Mを含む。スピーカー・ダイナミクス処理モジュールは、聴取環境のそれぞれの個々のラウドスピーカーについて、個々のラウドスピーカー・ダイナミクス処理構成データ（loudspeaker dynamics processing configuration data）を適用するように構成される。スピーカーDPモジュールAは、たとえば、ラウドスピーカー205aに適した個々のラウドスピーカー・ダイナミクス処理構成データを適用するように構成される。いくつかの例では、個々のラウドスピーカー・ダイナミクス処理構成データは、個々のラウドスピーカーの一つまたは複数の能力に対応してもよい。たとえば、特定の周波数範囲内で、特定のレベルのオーディオ・データを、認識可能な歪みなしに再生するラウドスピーカーの能力である。
【0087】
空間的オーディオが、それぞれ潜在的には異なる再生限界をもつ不均質なスピーカー（たとえば、スマート・オーディオ装置のスピーカー、またはスマート・オーディオ装置に結合されたスピーカー）の集合にまたがってレンダリングされる場合、全体的なミックスに対してダイナミクス処理を実行する際には注意が必要である。簡単な解決策は、空間的ミックスを各参加スピーカーのスピーカーフィードにレンダリングし、次いで、各スピーカーに関連するダイナミクス処理モジュールが、そのスピーカーの限界に従って、その対応するスピーカーフィードに対して、独立して作用することを許容することである。
【0088】
このアプローチは、各スピーカーを歪まないようにするが、ミックスの空間バランスを知覚的にわずらわしい仕方で動的にシフトさせることがある。たとえば、図2を参照して、テレビ番組がテレビ230に示されており、対応するオーディオが環境200のラウドスピーカーによって再生されているとする。テレビ番組の間、静止物体（工場の重機ユニットなど）に関連するオーディオは、位置244にレンダリングされることが意図されているとする。さらに、ラウドスピーカー205bのほうがベース範囲の音を再生する能力が実質的に大きいため、ラウドスピーカー205dに関連付けられたダイナミクス処理モジュールが、ベース範囲のオーディオのレベルを、ラウドスピーカー205bに関連付けられたダイナミクス処理モジュールよりも実質的に大きく低下させるとする。静止物体に関連する信号の音量が変動する場合、音量が大きくなると、ラウドスピーカー205dに関連するダイナミクス処理モジュールは、ベース範囲のオーディオのレベルを、ラウドスピーカー205bに関連するダイナミクス処理モジュールによって同じオーディオのレベルが低下させられるよりも、実質的に大きく低下させる。このレベル差は、静止物体の見かけ上の位置を変化させる。よって、改善された解決策が必要である。
【0089】
本開示のいくつかの実施形態は、スマート・オーディオ装置の集合（たとえば協調させられるスマート・オーディオ装置の集合）のスマート・オーディオ装置のうちの少なくとも1つ（たとえば、全部または一部）および／またはスピーカーの別の集合のスピーカーのうちの少なくとも1つ（たとえば、全部または一部）による再生のために、空間的オーディオミックスのレンダリング（またはレンダリングおよび再生）（たとえば、オーディオのストリームまたはオーディオの複数ストリームのレンダリング）のためのシステムおよび方法である。いくつかの実施形態は、そのようなレンダリング（たとえば、スピーカーフィードの生成を含む）およびレンダリングされたオーディオの再生（たとえば、生成されたスピーカーフィードの再生）のための方法（またはシステム）である。
【0090】
オーディオ処理のためのシステムおよび方法は、少なくとも2つのスピーカー（たとえば、スピーカーの集合のスピーカーのうちの全部または一部）による再生のために、オーディオをレンダリングする（たとえば、オーディオのストリームまたはオーディオの複数のストリームをレンダリングすることによって、空間的オーディオミックスをレンダリングする）ことを含んでいてもよく、下記によることを含む：
（a）個別のラウドスピーカー・ダイナミクス処理構成データ（たとえば、個々のラウドスピーカーの制限閾値（再生制限閾値））を組み合わせて、それにより複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データ（組み合わされた閾値など）を決定する；
（b）複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データ（たとえば、組み合わされた閾値）を使用して、オーディオ（たとえば、空間的オーディオミックスを示すオーディオのストリーム）に対するダイナミクス処理を実行して、処理されたオーディオを生成する；
（c）処理されたオーディオをスピーカーフィードにレンダリングする。
（a）個別のラウドスピーカー・ダイナミクス処理構成データ（たとえば、個々のラウドスピーカーの制限閾値（再生制限閾値））を組み合わせて、それにより複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データ（組み合わされた閾値など）を決定する；
（b）複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データ（たとえば、組み合わされた閾値）を使用して、オーディオ（たとえば、空間的オーディオミックスを示すオーディオのストリーム）に対するダイナミクス処理を実行して、処理されたオーディオを生成する；
（c）処理されたオーディオをスピーカーフィードにレンダリングする。
【0091】
いくつかの実装によれば、プロセス（a）は、図3に示される聴取環境ダイナミクス処理構成データ・モジュール310のようなモジュールによって実行されてもよい。スマートホームハブ305は、インターフェース・システムを介して、M個のラウドスピーカーのそれぞれについて個々のラウドスピーカー・ダイナミクス処理構成データを得るように構成されてもよい。この実装では、個々のラウドスピーカー・ダイナミクス処理構成データは、複数のラウドスピーカーの各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データセットを含む。いくつかの例によれば、一つまたは複数のラウドスピーカーのための個々のラウドスピーカー・ダイナミクス処理構成データは、前記一つまたは複数のラウドスピーカーの一つまたは複数の能力に対応しうる。この例では、個々のラウドスピーカー・ダイナミクス処理構成データセットのそれぞれは、少なくとも1つのタイプのダイナミクス処理構成データを含む。いくつかの例では、スマートホームハブ305は、各ラウドスピーカー205a～205mに問い合わせることによって、個々のラウドスピーカー・ダイナミクス処理構成データセットを得るように構成されてもよい。他の実装では、スマートホームハブ305は、メモリに記憶されている、以前に取得された個々のラウドスピーカー・ダイナミクス処理構成データセットのデータ構造に問い合わせることによって、個々のラウドスピーカー・ダイナミクス処理構成データセットを取得するように構成されてもよい。
【0092】
いくつかの例では、プロセス（b）は、図3の聴取環境ダイナミクス処理モジュール315のようなモジュールによって実行されてもよい。プロセス（a）および（b）のいくつかの詳細な例を以下に説明する。
【0093】
いくつかの例では、プロセス（c）のレンダリングは、図3のレンダリング・モジュール320またはレンダリング・モジュール320'のようなモジュールによって実行されてもよい。いくつかの実施形態では、オーディオ処理は、下記に関わる：
（d）各ラウドスピーカーについての個別のラウドスピーカー・ダイナミクス処理設定データに従って、レンダリングされたオーディオ信号に対してダイナミクス処理を実行する（たとえば、対応するスピーカーに関連付けられた再生制限閾値に従ってスピーカーフィードを制限し、それにより、制限されたスピーカーフィードを生成する）。プロセス（d）はたとえば、図3に示されるダイナミクス処理モジュールA～Mによって実行されてもよい。
（d）各ラウドスピーカーについての個別のラウドスピーカー・ダイナミクス処理設定データに従って、レンダリングされたオーディオ信号に対してダイナミクス処理を実行する（たとえば、対応するスピーカーに関連付けられた再生制限閾値に従ってスピーカーフィードを制限し、それにより、制限されたスピーカーフィードを生成する）。プロセス（d）はたとえば、図3に示されるダイナミクス処理モジュールA～Mによって実行されてもよい。
【0094】
スピーカーは、スマート・オーディオ装置の集合のスマート・オーディオ装置のうちの少なくとも1つ（たとえば、全部または一部）の（またはそれに結合された）スピーカーであってもよい。いくつかの実装では、ステップ（d）において制限されたスピーカーフィードを生成するために、ステップ（c）において生成されたスピーカーフィードは、ダイナミクス処理の第2段によって（たとえば、各スピーカーの関連するダイナミクス処理システムによって）処理されて、たとえば、スピーカーフィードを、スピーカーを通じた最終的な再生の前に生成してもよい。たとえば、スピーカーフィード（またはそのサブセットもしくは一部）は、スピーカーのそれぞれの異なるもののダイナミクス処理システム（たとえば、スマート・オーディオ装置のダイナミクス処理サブシステム。ここで、スマート・オーディオ装置は、それらのスピーカーのうちの関連するものを含む、またはそれに結合されている）。前記各ダイナミクス処理システムから出力される処理されたオーディオは、スピーカーのうちの関連するもののためのスピーカーフィードを生成するために使用されてもよい。スピーカー固有のダイナミクス処理（すなわち、各スピーカーについて独立に実行されるダイナミクス処理）に続いて、処理された（たとえば、動的に制限された）スピーカーフィードは、スピーカーを駆動して音声の再生を引き起こすために使用されうる。
【0095】
ダイナミクス処理の第1段（ステップ（b））は、ステップ（a）および（b）が省略されステップ（d）から生じるダイナミクス処理された（たとえば、制限された）スピーカーフィードがもとのオーディオに応答して（ステップ（b）で生成された処理されたオーディオに応答してではなく）生成された場合に生じるであろう知覚的にわずらわしい空間バランスのシフトを低減するように設計されうる。これは、ミックスの空間バランスにおける望ましくないシフトを防止しうる。ステップ（c）からのレンダリングされたスピーカーフィードに対して作用するダイナミクス処理の第2段は、どのスピーカーも歪まないことを保証するように設計されてもよい。ステップ（b）のダイナミクス処理は、必ずしも信号レベルがすべてのスピーカーの閾値未満に低下したことを保証しないことがありうるためである。個別のラウドスピーカー・ダイナミクス処理構成データを組み合わせること（たとえば、第1段（ステップ（a））における閾値の組み合わせ）は、いくつかの例では、諸スピーカーにわたって（たとえば、スマート・オーディオ装置にわたって）個別のラウドスピーカー・ダイナミクス処理構成データ（たとえば、制限閾値）を平均する、または諸スピーカーにわたって（たとえば、スマート・オーディオ装置にわたって）個別のラウドスピーカー・ダイナミクス処理構成データ（たとえば、制限閾値）の最小を取るステップに関わる（たとえば、含む）。
【0096】
いくつかの実装では、ダイナミクス処理の第1段（ステップ（b））が、空間的ミックスを示すオーディオ（たとえば、少なくとも1つのオブジェクトチャネルおよび任意的には少なくとも1つのスピーカーチャネルをも含む、オブジェクトベースのオーディオプログラムのオーディオ）に対して作用する場合、この第1段は、諸空間ゾーンの使用を通じたオーディオ・オブジェクト処理のための技法に従って実装されうる。そのような場合、各ゾーンに関連する組み合わされた個別のラウドスピーカー・ダイナミクス処理構成データ（たとえば、組み合わされた制限閾値）は、個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、個々のスピーカー制限閾値）の重み付けされた平均によって（または重み付けされた平均として）導出されてもよく、この重み付けは、少なくとも部分的には、各スピーカーの前記ゾーンへの空間的近接性および／または前記ゾーン内の位置によって与えられてもよく、または決定されてもよい。
【0097】
ある例示的実施形態では、複数M個のスピーカー（M≧2）を想定し、ここで各スピーカーは変数iによってインデックス付けされる。各スピーカーiには、周波数変化する再生制限閾値Ti[f]が関連付けられている。ここで、変数fは、閾値が指定される周波数の有限集合へのインデックスを表す。（周波数の集合のサイズが1である場合、対応する単一の閾値はブロードバンドであると見なされ、周波数範囲全体にわたって適用されることに注意。）これらの閾値は、各スピーカーによって、特定の目的のためにオーディオ信号を閾値を下回るよう制限するために、それ自身の独立したダイナミクス処理機能において利用される。特定の目的は、スピーカーが歪むのを防ぐ、またはスピーカーがその近傍で好ましくないとみなされる何らかのレベルを超えて再生することを防止するなどである。
【0098】
図4A、4Bおよび4Cは、再生制限閾値および対応する周波数の例を示す。示される周波数の範囲は、たとえば、平均的な人間にとって聴取可能な周波数の範囲（たとえば、20Hz～20kHz）にわたることができる。これらの例では、再生制限閾値は、グラフ400a、400b、および400cの垂直軸によって示され、垂直軸はこれらの例では「レベル閾値」とラベル付けされている。再生制限／レベルの閾値は、垂直軸上の矢印の方向に増加する。再生制限／レベル閾値は、たとえば、デシベルで表すことができる。これらの例では、グラフ400a、400b、および400cの水平軸は周波数を示し、周波数は水平軸上の矢印の方向に増加する。曲線400a、400b、および400cによって示される再生制限閾値は、たとえば、個々のラウドスピーカーのダイナミクス処理モジュールによって実装されうる。
【0099】
図4Aのグラフ400aは、周波数の関数として再生制限閾値の第1の例を示す。曲線405aは、対応する各周波数値についての再生制限閾値を示す。この例では、ベース周波数fbにおいて、入力レベルTiで受領される入力オーディオは、出力レベルToでダイナミクス処理モジュールによって出力される。ベース周波数fbは、たとえば、60～250Hzの範囲であってもよい。しかしながら、この例では、高音周波数ftにおいて、入力レベルTiで受領される入力オーディオは、同じレベルの入力レベルTiで、ダイナミクス処理モジュールによって出力される。高音周波数ftは、たとえば、1280Hzより上の範囲内であってもよい。よって、この例では、曲線405aは、ベース周波数について、高音周波数よりも有意に低い閾値を適用するダイナミクス処理モジュールに対応する。そのようなダイナミクス処理モジュールは、ウーファをもたないラウドスピーカー（たとえば、図2のラウドスピーカー205d）に適してもよい。
【0100】
図4Bのグラフ400bは、周波数の関数として再生制限閾値の第2の例を示す。曲線405bは、図4Aに示される同じベース周波数fbにおいて、入力レベルTiで受信される入力オーディオが、より高い出力レベルToでダイナミクス処理モジュールによって出力されることを示す。よって、この例では、曲線405bは、曲線405aほど低いベース周波数についての閾値を適用しないダイナミクス処理モジュールに対応する。そのようなダイナミクス処理モジュールは、少なくとも小さなウーファ（たとえば、図2のスピーカー205b）を有するスピーカーに適している。
【0101】
図4Cのグラフ400cは、周波数の関数として再生制限閾値の第2の例を示す。曲線405c（この例では直線である）は、図4Aに示される同じベース周波数fbにおいて、入力レベルTiで受領される入力オーディオが、同じレベルでダイナミクス処理モジュールによって出力されることを示す。よって、この例では、曲線405cは、ベース周波数を含む広範囲の周波数を再生することができるラウドスピーカーに適切でありうるダイナミクス処理モジュールに対応する。簡単のため、ダイナミクス処理モジュールは、示されるすべての周波数について同じ閾値を適用する曲線405dを実装することによって、曲線405cを近似することができることが見て取れるであろう。
【0102】
空間的オーディオミックスは、重心振幅パン（Center of Mass Amplitude Panning、CMAP）または柔軟仮想化（Flexible Virtualization、FV）などの既知のレンダリング・システムを使用して、複数のスピーカーのためにレンダリングされうる。空間的オーディオミックスの構成要素から、レンダリング・システムは、複数のスピーカーのそれぞれのために1つのスピーカーフィードを生成する。いくつかの以前の例では、スピーカーフィードは、その後、各スピーカーの関連付けられたダイナミクス処理機能によって、閾値Ti[f]を用いて独立して処理された。本開示の恩恵がなければ、この記述されたレンダリング・シナリオは、レンダリングされた空間的オーディオミックスの知覚される空間的バランスにおけるわずらわしいシフトを生じさせることがある。たとえば、聴取領域の右側などにある、M個のスピーカーのうちの1つが、他のスピーカーよりもはるかに能力が低く（たとえば、ベース範囲のオーディオをレンダリングする能力）、よって、そのスピーカーのための閾値は、少なくとも特定の周波数範囲では、他のスピーカーの閾値よりも有意に低くてもよい。再生中、このスピーカーのダイナミクス処理モジュールは、右側の空間的ミックスの成分のレベルを、左側の成分よりも、著しく低下させるであろう。聴取者は、空間的ミックスの左右バランスの間のそのような動的なシフトに非常に敏感であり、結果が非常にわずらわしいと感じることがありうる。
【0103】
この問題に対処するために、いくつかの例において、聴取環境の個々のスピーカーの個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、再生制限閾値）が組み合わされて、聴取環境のすべてのラウドスピーカーについての聴取環境ダイナミクス処理構成データを作成する。次いで、聴取環境ダイナミクス処理構成データを利用して、まず、スピーカーフィードにレンダリングする前に、空間的オーディオミックス全体のコンテキストにおいてダイナミクス処理を実行することができる。ダイナミクス処理のこの第1段は、ただ1つの独立したスピーカーフィードではなく、空間的ミックス全体へのアクセスを有するので、処理は、ミックスの知覚される空間バランスに対してわずらわしいシフトを付与しない仕方で実行されうる。個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、再生制限閾値）は、個々のスピーカーの独立したダイナミクス処理機能のいずれかによって実行されるダイナミクス処理の量をなくすまたは低減する仕方で、組み合わされてもよい。
【0104】
聴取環境ダイナミクス処理構成データを決定する一例では、個々のスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、再生制限閾値）は、ダイナミクス処理の第1段における空間的ミックスのすべての成分に適用される、聴取環境ダイナミクス処理構成データ（たとえば、周波数変化する再生制限閾値
）の単一の集合に組み合わされてもよい。いくつかのそのような例によれば、制限はすべての成分で同じであるため、ミックスの空間バランスが維持されうる。個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、再生制限閾値）を組み合わせる1つの方法は、すべてのスピーカーiにわたる最小を取ることである：
【数1】
【数2】
【0105】
そのような組み合わせは、各スピーカーの個々のダイナミクス処理の動作を本質的になくす。なぜなら、空間的ミックスは、最初に、すべての周波数において、最も能力が低いスピーカーの閾値を下回るように制限されるからである。しかしながら、そのような戦略は過度に積極的である可能性がある。多くのスピーカーは、それらが対応できるよりも低いレベルで再生し、すべてのスピーカーの組み合わされた再生レベルは、好ましくないほど低い場合がある。たとえば、図4Aに示されたベース範囲における閾値が、図4Cについての閾値に対応するラウドスピーカーに適用されたとしたら、後者のスピーカーの再生レベルは、ベース範囲において不必要なまでに低くなる。聴取環境ダイナミクス処理構成データを決定する代替的な組み合わせは、聴取環境のすべてのスピーカーにわたって個々のラウドスピーカー・ダイナミクス処理構成データの平均（アベレージ）を取ることである。たとえば、再生制限閾値のコンテキストにおいて、平均は次のように決定されうる：
【数3】
【0106】
この組み合わせでは、ダイナミクス処理の第1段がより高いレベルに制限されるため、最小を取ることに比べ、全体的な再生レベルが増大することがあり、それにより、より能力の高いスピーカーがより大音量で再生できるようになる。個々の制限閾値が平均値を下回るスピーカーについては、その独立したダイナミクス処理機能が、必要であれば、関連するスピーカーのフィードを制限することができる。しかしながら、ダイナミクス処理の第1段は、いくらかの初期制限が空間的ミックスに対して実行されているので、この制限の要件を減らしている可能性がある。
【0107】
聴取環境ダイナミクス処理構成データを決定するいくつかの例によれば、チューニング・パラメータを通じて個々のラウドスピーカー・ダイナミクス処理構成データの最小と平均との間を補間する調整可能な組み合わせを生成することができる。たとえば、再生制限閾値のコンテキストにおいて、補間は次のように決定されうる：
【数4】
【0108】
個々のラウドスピーカー・ダイナミクス処理構成データの他の組み合わせが可能であり、本開示はそのような組み合わせすべてをカバーすることが意図されている。
【0109】
図5Aおよび5Bは、ダイナミックレンジ圧縮データの例を示すグラフである。グラフ500aおよび500bでは、デシベルでの入力信号レベルが水平軸に、デシベルでの出力信号レベルが垂直軸に示されている。他の開示された例と同様に、特定の閾値、比、および他の値は、単に例として示されており、限定するものではない。
【0110】
図5Aに示される例では、出力信号レベルは閾値未満の入力信号レベルに等しく、この例では－10dBである。他の例は、異なる閾値、たとえば、－20dB、－18dB、－16dB、－14dB、－12dB、－8dB、－6dB、－4dB、－2dB、0dB、2dB、4dB、6dBなどに関わってもよい。閾値より上では、圧縮比のさまざまな例が示されている。N:1の比は、閾値より上では、出力信号レベルが入力信号のNdB増加毎に1dB増加することを意味する。たとえば、10:1の圧縮比（線505e）は、閾値より上では、出力信号レベルは、入力信号が10dB増加するごとに1dBだけ増加することを意味する。1:1の圧縮比（線505a）は、閾値より上であっても、出力信号レベルがいまだ入力信号レベルと同じであることを意味する。線505b、505c、および505dは、3:2、2:1、および5:1の圧縮比に対応する。他の実装は、2.5:1、3:1、3.5:1、4:3、4:1などのように、異なる圧縮比を提供することができる。
【0111】
図5Bは、「ニー」（knee）の例を示しており、これは、この例では0dBである閾値またはその付近で圧縮比がどのように変化するかを制御する。この例によれば、「硬い」ニーを有する圧縮曲線は、2つの直線セグメント、すなわち閾値までの直線セグメント510aおよび閾値より上の直線セグメント510bから構成される。硬いニーのほうが実装するのは簡単だが、アーチファクトを引き起こすことがある。
【0112】
図5Bでは、「柔らかい」ニーの一例も示されている。この例では、柔らかいニーは10dBにまたがる。この実装によれば、10dBのスパンの上下で、柔らかいニーを有する圧縮曲線の圧縮比は、硬いニーを有する圧縮曲線の圧縮比と同じである。他の実装は、「柔らかい」ニーのさまざまな他の形状を提供することができ、それらはより多いまたはより少ないデシベルにわたることもあり、スパンの上で異なる圧縮比を示すことなどもある。
【0113】
他のタイプのダイナミックレンジ圧縮データは、「アタック」データおよび「リリース」データを含むことができる。アタックは、圧縮比によって決定される利得に達するために、コンプレッサ〔圧縮器〕が、たとえば入力における増大したレベルに応答して利得を減少させる期間である。コンプレッサについてのアタック時間は、一般に、25ミリ秒から500ミリ秒の範囲であるが、他のアタック時間も実用可能である。リリースは、コンプレッサが、たとえば低下した入力レベルに応答して、圧縮比によって決定される出力利得（または、入力レベルが閾値を下回った場合には入力レベル）に到達するために、利得を増加させる期間である。リリース時間は、たとえば、25ミリ秒～2秒の範囲であってもよい。
【0114】
よって、いくつかの例において、個々のラウドスピーカー・ダイナミクス処理構成データは、複数のラウドスピーカーの各ラウドスピーカーについて、ダイナミックレンジ圧縮データセットを含むことができる。ダイナミックレンジ圧縮データセットは、閾値データ、入出力比データ、アタック・データ、リリース・データおよび／またはニー・データを含むことができる。これらのタイプの個々のラウドスピーカー・ダイナミクス処理構成データの一つまたは複数を組み合わせて、聴取環境ダイナミクス処理構成データを決定することができる。再生制限閾値の組み合わせに関して上述したように、いくつかの例では、ダイナミックレンジ圧縮データが平均されて、聴取環境ダイナミクス処理構成データを決定することができる。いくつかの事例では、ダイナミックレンジ圧縮データの最小値または最大値が、聴取環境ダイナミクス処理構成データ（たとえば、最大圧縮比）を決定するために使用されてもよい。他の実装では、たとえば、式（3）を参照して上述したようなチューニング・パラメータを介して、個々のラウドスピーカー・ダイナミクス処理のためのダイナミックレンジ圧縮データの最小と平均との間を補間する調整可能な組み合わせを作成することができる。
【0115】
上述のいくつかの例では、聴取環境ダイナミクス処理構成データの単一の集合（たとえば、組み合わされた閾値
の単一の集合）が、ダイナミクス処理の第1段における空間的ミックスのすべての成分に適用される。そのような実装は、ミックスの空間的バランスを維持することができるが、他の望ましくないアーチファクトを与えることがある。たとえば、隔離された空間領域内の空間的ミックスの非常に音量の大きな部分がミックス全体の音量を下げさせる場合に、「空間的ダッキング（spatial ducking）」が生じることがある。この音量の大きな成分から空間的に離れている、当該ミックスのより音量の小さな他の成分は、不自然に小さいと知覚されることがある。たとえば、音量の小さな背景音楽が、空間的ミックスのサラウンド・フィールドにおいて、組み合わされた閾値
よりも低いレベルで再生されていることがあり、よって、ダイナミクス処理の第1段によって空間的ミックスの制限は実行されない。次いで、空間的ミックスの前方（たとえば、映画のサウンドトラックのスクリーン上）に音量の大きな銃声が瞬間的に導入されることがあり、ミックスの全体的なレベルが組み合わされた閾値を超えて上昇する。この瞬間、ダイナミクス処理の第1段は、ミックス全体のレベルを閾値
より下に下げる。音楽が銃声とは空間的に離れているので、これは、音楽の連続的な流れにおける不自然なダッキングとして知覚されうる。
【数5】
【数6】
【数7】
【0116】
そのような問題に対処するために、いくつかの実装は、空間的ミックスの異なる「空間ゾーン」に対する独立したまたは部分的に独立したダイナミクス処理を許容する。空間ゾーンは、空間的ミックス全体がレンダリングされる空間領域のサブセットと考えられてもよい。以下の議論の多くは、再生制限閾値に基づくダイナミクス処理の例を提供するが、これらの概念は、他のタイプの個々のラウドスピーカー・ダイナミクス処理構成データおよび聴取環境ダイナミクス処理構成データにも等しく適用される。
【0117】
【0118】
図6の空間ゾーンは、硬い境界で描かれているが、実際には、ある空間ゾーンから別の空間ゾーンへの遷移を連続的なものとして扱うことが有益である。たとえば、正方形の左エッジの中央に位置する空間的ミックスの成分は、そのレベルの半分が前方ゾーンに割り当てられ、半分がサラウンドゾーンに割り当てられてもよい。空間的ミックスの各成分からの信号レベルは、この連続的な仕方で、各空間ゾーンに割り当てられ、蓄積されうる。すると、ダイナミクス処理機能は、各空間ゾーンについて独立に、ミックスからそれに割り当てられた全体的な信号レベルに対して作用することができる。空間的ミックスの各成分について、各空間ゾーンからのダイナミクス処理の結果（たとえば、周波数毎の時間変化する利得）がその後組み合わされて、その成分に適用されてもよい。いくつかの例において、空間ゾーン結果のこの組み合わせは、各成分について異なり、各ゾーンへのその特定の成分の割り当ての関数である。最終的な結果は、類似の空間ゾーン割り当てを有する空間的ミックスの成分が、類似のダイナミクス処理を受けるが、空間ゾーン間の独立性は許容されるというものである。空間ゾーンは、有利には、左右の不均衡のような好ましくない空間シフトを防止する一方で、空間的に独立した処理を許容する（たとえば、上述の空間的ダッキングのような他のアーチファクトを低減するため）ように選択されうる。
【0119】
空間ゾーンごとに空間的ミックスを処理する技法は、本開示のダイナミクス処理の第1段において有利に使用されうる。たとえば、諸スピーカーiにわたる個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、再生制限閾値）の異なる組み合わせが、各空間ゾーンについて計算されてもよい。組み合わされたゾーン閾値の集合は
によって表されてもよく、ここで、インデックスjは複数の空間ゾーンのうちの1つを指す。ダイナミクス処理モジュールは、各空間ゾーン上で独立して、その関連付けられた閾値
を用いて動作してもよく、結果は、上述の技法に従って空間的ミックスの構成要素成分に戻して適用されうる。
【数8】
【数9】
【0120】
それぞれが関連付けられた所望の空間位置（可能性としては時間変化する）を有する、K個の個々の構成要素信号xk[t]の合計から構成される空間信号がレンダリングされることを考える。ゾーン処理を実装するための1つの具体的な方法は、各オーディオ信号xk[t]がゾーンjにどれだけ寄与するかを記述する時間変化するパン利得αkj[t]を、ゾーンの位置に関するオーディオ信号の所望の空間位置の関数として計算することに関わる。これらのパン利得は、有利には、利得の2乗の和が1に等しいことを要求するパワー保存パン則に従うように設計されうる。これらのパン利得から、ゾーン信号sj[t]は、構成要素信号にそのゾーンについてのそれらのパン利得によって重み付けしたものの和として計算されうる：
次いで、各ゾーン信号は、ゾーン閾値
によってパラメータ化されたダイナミクス処理関数DPによって独立して処理され、周波数および時間変化するゾーン修正利得Gjを生成する：
次いで、周波数および時間変化する修正利得は、ゾーン修正利得を、その信号の、諸ゾーンのためのパン利得に比例して組み合わせることによって、各個々の構成要素信号について計算されうる：
これらの信号修正利得Gkは、次いで、たとえば、フィルタバンクを使用して、各構成要素信号に適用されて、ダイナミクス処理された構成要素信号
を生成してもよい。該ダイナミクス処理された構成要素信号が、その後、これをスピーカー信号にレンダリングされうる。
【数10】
【数11】
【数12】
【数13】
【数14】
【0121】
各空間ゾーンについての個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、スピーカー再生制限閾値）の組み合わせは、多様な仕方で実行されうる。一例として、空間ゾーン再生制限閾値
は、空間ゾーンおよびスピーカーに依存する重み付けwij[f]を使用して、スピーカー再生制限閾値Ti[f]の重み付けされた和として計算されうる：
【数15】
【数16】
【0122】
同様の重み付け関数は、他のタイプの個々のラウドスピーカー・ダイナミクス処理構成データにも適用されうる。有利には、空間ゾーンの組み合わされた個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、再生制限閾値）は、その空間ゾーンに関連する空間的ミックスの再生成分に最も寄与するスピーカーの個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、再生制限閾値）に向けてバイアスされてもよい。これは、周波数fについてそのゾーンに関連する空間的ミックスの成分をレンダリングすることについての各スピーカーの寄与に応じて、重みwij[f]を設定することによって達成することができる。
【0123】
図7は、図6の空間ゾーン内のラウドスピーカーの例を示している。図7は、図6の同じゾーンを示しているが、空間的ミックスをレンダリングするのに寄与する5つの例示的なラウドスピーカー（スピーカー1、2、3、4、5）の位置が重ねられている。この例では、ラウドスピーカー1、2、3、4、5はダイヤ形で表されている。この特定の例では、スピーカー1は中央ゾーンのレンダリング、スピーカー2および5は前方ゾーン、スピーカー3および4はサラウンドゾーンを主に受け持つ。スピーカーの空間ゾーンへのこの概念的な1対1のマッピングに基づいて重みwij[f]を生成することができるが、空間的ミックスの空間ゾーンベースの処理と同様に、より連続的なマッピングのほうが好ましいことがありうる。たとえば、スピーカー4は前方ゾーンに非常に近く、スピーカー4と5の間に位置するオーディオミックスの成分は（概念的な前方ゾーンではあるが）主にスピーカー4と5の組み合わせによって再生される可能性が高いであろう。よって、スピーカー4の個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、再生制限閾値）が、サラウンドゾーンと同様に前方ゾーンの組み合わされた個々のラウドスピーカー・ダイナミクス処理構成データ（たとえば、再生制限閾値）に寄与することは、意味がある。
【0124】
この連続的なマッピングを達成する一つの方法は、空間ゾーンjに関連する成分をレンダリングする際の各スピーカーiの相対的寄与を記述するスピーカー参加値に等しい重みwij[f]を設定することである。そのような値は、スピーカーにレンダリングすることを受け持つレンダリング・システム（たとえば、上述のステップ（c）から）および各空間ゾーンに関連する一つまたは複数の公称空間位置の集合から直接導出されてもよい。公称空間位置のこの集合は、各空間ゾーン内の位置の集合を含んでいてもよい。
【0125】
図8は、図7の空間ゾーンおよびスピーカーに重ねられた公称空間位置の例を示している。公称位置は、番号付きの円で示されている。すなわち、前方ゾーンには正方形の上のコーナーに位置する2つの位置が関連付けられ、中央ゾーンには正方形の上の中央にある単一の位置が関連付けられ、サラウンドゾーンには正方形の下のコーナーに位置する2つの位置が関連付けられている。
【0126】
空間ゾーンについてのスピーカー参加値を計算するために、そのゾーンに関連する公称位置のそれぞれは、その位置に関連するスピーカー・アクティブ化を生成するために、レンダラーを通じてレンダリングされてもよい。これらのアクティブ化は、たとえば、CMAPの場合は各スピーカーについての利得であってもよく、FVの場合は各スピーカーについて所与の周波数における複素数値であってもよい。次に、各スピーカーおよびゾーンについて、これらのアクティブ化は、空間ゾーンに関連する各公称位置にわたって累積されて、値gij[f]を生成してもよい。この値は、空間ゾーンjに関連した公称位置の集合全体をレンダリングするためのスピーカーiの全アクティブ化を表す。最後に、空間ゾーンにおけるスピーカー参加値は、諸スピーカーにわたるこれらのすべての累積されたアクティブ化の和によって正規化された累積アクティブ化として計算されてもよい。その後、前記重みは、このスピーカー参加値に設定されてもよい：
上述の正規化は、すべてのスピーカーiにわたるwij[f]の和が1に等しいことを保証し、これは、式8の重みについての望ましい属性である。
【数17】
【0127】
いくつかの実装によれば、スピーカーの参加値を計算し、これらの値の関数として閾値を組み合わせるための上述のプロセスは、静的プロセスとして実行されてもよい。ここで、結果として得られる組み合わされた閾値は、環境中のスピーカーのレイアウトおよび能力を決定するセットアップ手順の間に一度計算される。そのようなシステムでは、いったんセットアップされると、個々のラウドスピーカーのダイナミクス処理構成データと、レンダリング・アルゴリズムが所望のオーディオ信号位置の関数としてラウドスピーカーをアクティブ化する仕方との両方が、静的なままであると想定されうる。しかしながら、ある種のシステムでは、これらの側面の両方が時間とともに、たとえば再生環境における条件の変化に応答して、変化することがあり、よって、そのような変動を考慮に入れるために、連続的なまたはイベントトリガー式のいずれかで、上述のプロセスに従って組み合わされた閾値を更新することが望ましいことがありうる。
【0128】
CMAPおよびFVレンダリング・アルゴリズムは両方とも、聴取環境の変化に応答して、一つまたは複数の動的に構成可能な機能に適合するように、拡張されてもよい。たとえば、図7に関して、スピーカー3の近くに位置する人が、スピーカーに関連付けられたスマートアシスタントのウェイクワードを発することができ、それにより、システムを、人からのその後のコマンドを聞く準備ができた状態にすることができる。ウェイクワードが発される間に、システムは、ラウドスピーカーに関連付けられたマイクロフォンを使って、前記人の位置を決定することができる。この情報を用いて、システムは、次いで、スピーカー3上のマイクロフォンがその人をよりよく聞き取れるように、スピーカー3から再生されるオーディオのエネルギーを他のスピーカーに転じる（divert）ことを選択することができる。そのようなシナリオでは、図7のスピーカー2が、ある時間期間にわたって、スピーカー3の役割を本質的に「引き継いで」もよく、結果として、サラウンドゾーンについてのスピーカー参加値は著しく変化し、スピーカー3の参加値は減少し、スピーカー2の参加値は増加する。ゾーン閾値は、変化したスピーカー参加値に依存するので、その後再計算されてもよい。レンダリング・アルゴリズムへのこれらの変更に対して代替的または追加的に、スピーカー3の制限閾値は、スピーカーが歪むのを防ぐように設定された公称値よりも下に下げられてもよい。これは、スピーカー3から再生される残りのオーディオが、人を傾聴するマイクロフォンへの干渉を引き起こすと決定された何らかの閾値を超えて増加しないようにすることができる。ゾーン閾値もまた個々のスピーカー閾値の関数であるため、この場合にも更新されうる。
【0129】
図9は、本明細書に開示されたもののような装置またはシステムによって実施されうる方法の一例を概説するフロー図である。方法900のブロックは、本明細書に記載された他の方法と同様に、必ずしも示された順序で実行されるわけではない。いくつかの実装では、方法900の一つまたは複数のブロックが同時に実行されてもよい。さらに、方法900のいくつかの実装は、図示および／または説明されるよりも多いまたは少ないブロックを含んでいてもよい。方法900のブロックは、図1に示されて上述した制御システム110のような制御システム、または他の開示された制御システムの例の1つであってもよい（またはそれを含んでいてもよい）一つまたは複数の装置によって実行されてもよい。
【0130】
この例によれば、ブロック905は、制御システムによって、インターフェース・システムを介して、聴取環境の複数のラウドスピーカーのそれぞれについて個々のラウドスピーカー・ダイナミクス処理構成データを取得することに関わる。この実装では、個々のラウドスピーカー・ダイナミクス処理構成データは、複数のラウドスピーカーの各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データセットを含む。いくつかの例によれば、一つまたは複数のラウドスピーカーのための個々のラウドスピーカー・ダイナミクス処理構成データは、前記一つまたは複数のラウドスピーカーの一つまたは複数の能力に対応しうる。この例では、個々のラウドスピーカー・ダイナミクス処理構成データセットの各データセットは、少なくとも1つのタイプのダイナミクス処理構成データを含む。
【0131】
いくつかの事例では、ブロック905は、聴取環境の複数のラウドスピーカーのそれぞれから個々のラウドスピーカー・ダイナミクス処理構成データセットを取得することに関わってもよい。他の例では、ブロック905は、メモリに記憶されたデータ構造から個々のラウドスピーカー・ダイナミクス処理構成データセットを取得することに関わってもよい。たとえば、個々のラウドスピーカー・ダイナミクス処理構成データセットは、たとえば各ラウドスピーカーについてのセットアップ手順の一部として以前に取得されて、データ構造に格納されていてもよい。
【0132】
いくつかの例によれば、個々のラウドスピーカー・ダイナミクス処理構成データセットは、独自仕様（proprietary）であってもよい。いくつかのそのような例では、個々のラウドスピーカー・ダイナミクス処理構成データセットは、類似の特性を有するスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データに基づいて、以前に推定されたものであってもよい。たとえば、ブロック905は、複数のスピーカーおよび該複数のスピーカーのそれぞれについての対応する個々のラウドスピーカー・ダイナミクス処理構成データセットを示すデータ構造から、最も類似したスピーカーを決定するスピーカー・マッチング・プロセスに関わってもよい。スピーカー・マッチング・プロセスは、たとえば、一つまたは複数のウーファ、ツイータおよび／またはミッドレンジ・スピーカーのサイズの比較に基づいてもよい。
【0133】
この例では、ブロック910は、制御システムによって、複数のラウドスピーカーのための聴取環境ダイナミクス処理構成データを決定することに関わる。この実装によれば、聴取環境ダイナミクス処理構成データの決定は、複数のラウドスピーカーの各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データセットに基づく。聴取環境ダイナミクス処理構成データを決定することは、ダイナミクス処理構成データセットの個々のラウドスピーカー・ダイナミクス処理構成データを、たとえば、一つまたは複数のタイプの個々のラウドスピーカー・ダイナミクス処理構成データの平均を取ることによって組み合わせることに関わってもよい。いくつかの事例では、聴取環境ダイナミクス処理構成データを決定することは、一つまたは複数のタイプの個々のラウドスピーカー・ダイナミクス処理構成データの最小値または最大値を決定することに関わってもよい。いくつかのそのような実装によれば、聴取環境ダイナミクス処理構成データを決定することは、一つまたは複数のタイプの個々のラウドスピーカー・ダイナミクス処理構成データの最小値または最大値と平均値との間を補間することに関わってもよい。
【0134】
この実装では、ブロック915は、制御システムによって、インターフェース・システムを介して、一つまたは複数のオーディオ信号および関連する空間データを含むオーディオ・データを受領することに関わる。たとえば、空間データは、オーディオ信号に対応する意図された知覚された空間位置を示してもよい。この例では、空間データはチャネル・データおよび／または空間メタデータを含む。
【0135】
この例では、ブロック920は、制御システムによって、聴取環境ダイナミクス処理構成データに基づいてオーディオ・データに対してダイナミクス処理を実行して、処理されたオーディオ・データを生成することに関わる。ブロック920のダイナミクス処理は、一つまたは複数の再生制限閾値、圧縮データなどを適用することを含むがそれに限定されない、本明細書に開示されている本開示のダイナミクス処理方法のいずれかに関わってもよい。
【0136】
ここで、ブロック925は、複数のラウドスピーカーの少なくとも一部を含むラウドスピーカーの集合を介した再生のために、制御システムによって、処理されたオーディオ・データをレンダリングして、レンダリングされたオーディオ信号を生成することに関わる。いくつかの例では、ブロック925は、CMAPレンダリング・プロセス、FVレンダリング・プロセス、または両者の組み合わせを適用することに関わってもよい。この例では、ブロック920は、ブロック925の前に実行される。しかしながら、上述のように、ブロック920および／またはブロック910は、少なくとも部分的に、ブロック925のレンダリング・プロセスに基づいていてもよい。ブロック920および925は、図3の聴取環境ダイナミクス処理モジュールおよびレンダリング・モジュール320を参照して上述したようなプロセスを実行することに関わってもよい。
【0137】
この例によれば、ブロック930は、インターフェース・システムを介して、レンダリングされたオーディオ信号をラウドスピーカーの集合に提供することに関わる。一例では、ブロック930は、スマートホームハブ305によって、そのインターフェース・システムを介して、レンダリングされたオーディオ信号をラウドスピーカー205a～205mに提供することに関わってもよい。
【0138】
いくつかの例では、方法900は、レンダリングされたオーディオ信号が提供されるラウドスピーカーの集合の各ラウドスピーカーについての個々のラウドスピーカー・ダイナミクス処理構成データに従って、レンダリングされたオーディオ信号に対してダイナミクス処理を実行することに関わってもよい。たとえば、再び図3を参照すると、ダイナミクス処理モジュールA～Mは、ラウドスピーカー205a～205mについての個々のラウドスピーカー・ダイナミクス処理構成データに従って、レンダリングされたオーディオ信号に対してダイナミクス処理を実行することができる。
【0139】
いくつかの実装では、個々のラウドスピーカー・ダイナミクス処理構成データは、複数のラウドスピーカーの各ラウドスピーカーについての再生制限閾値データセットを含んでいてもよい。いくつかのそのような例では、再生制限閾値データセットは、複数の周波数のそれぞれについての再生制限閾値を含んでいてもよい。
【0140】
聴取環境ダイナミクス処理構成データを決定することは、いくつかの事例では、複数のラウドスピーカーにわたる最小の再生制限閾値を決定することに関わってもよい。いくつかの例では、聴取環境ダイナミクス処理構成データを決定することは、複数のラウドスピーカーにわたる平均された再生制限閾値を得るために再生制限閾値を平均することに関わってもよい。いくつかのそのような例では、聴取環境ダイナミクス処理構成データを決定することは、複数のラウドスピーカーにわたる最小の再生制限閾値を決定し、最小の再生制限閾値と平均された再生制限閾値との間を補間することに関わってもよい。
【0141】
いくつかの実装によれば、再生制限閾値を平均することは、再生制限閾値の重み付けされた平均を決定することに関わってもよい。いくつかのそのような例では、重み付けされた平均は、制御システムによって実装されるレンダリング・プロセスの特性、たとえばブロック925のレンダリング・プロセスの特性に少なくとも部分的に基づいてもよい。
【0142】
いくつかの実装では、オーディオ・データに対してダイナミクス処理を実行することは、空間ゾーンに基づいていてもよい。空間ゾーンのそれぞれは、聴取環境のサブセットに対応しうる。
【0143】
いくつかのそのような実装によれば、ダイナミクス処理は、空間ゾーンのそれぞれについて別々に実行されてもよい。たとえば、聴取環境ダイナミクス処理構成データを決定することは、空間ゾーンのそれぞれについて別々に実行されてもよい。たとえば、複数のラウドスピーカーにわたるダイナミクス処理構成データセットを組み合わせることは、一つまたは複数の空間ゾーンのそれぞれについて別々に実行されてもよい。いくつかの例では、一つまたは複数の空間ゾーンのそれぞれについて別々に、複数のラウドスピーカーにわたるダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、一つまたは複数の空間ゾーンにわたる所望のオーディオ信号位置に応じた、レンダリング・プロセスによるラウドスピーカーのアクティブ化に基づいていてもよい。
【0144】
いくつかの例では、一つまたは複数の空間ゾーンのそれぞれについて別々に、複数のラウドスピーカーにわたるダイナミクス処理構成データセットを組み合わせることは、少なくとも部分的には、一つまたは複数の空間ゾーンのそれぞれにおける各ラウドスピーカーについてのラウドスピーカー参加値に基づいていてもよい。各ラウドスピーカー参加値は、少なくとも部分的には、一つまたは複数の空間ゾーンのそれぞれの中の一つまたは複数の公称空間位置に基づいてもよい。公称空間位置は、いくつかの例では、ドルビー5.1、ドルビー5.1.2、ドルビー7.1、ドルビー7.1.4またはドルビー9.1のサラウンドサウンドミックス内のチャネルの標準位置に対応してもよい。いくつかのそのような実装では、各ラウドスピーカー参加値は、少なくとも部分的には、一つまたは複数の空間ゾーンのそれぞれの中の一つまたは複数の公称空間位置のそれぞれにおけるオーディオ・データのレンダリングに対応する各ラウドスピーカーのアクティブ化に基づいている。
【0145】
いくつかのそのような例によれば、再生制限閾値の重み付けされた平均は、少なくとも部分的には、オーディオ信号の空間ゾーンへの近接性の関数としての、レンダリング・プロセスによるラウドスピーカーのアクティブ化に基づいてもよい。いくつかの事例では、重み付けされた平均は、少なくとも部分的には、各空間ゾーンにおける各ラウドスピーカーについてのラウドスピーカー参加値に基づいてもよい。いくつかのそのような例では、各ラウドスピーカー参加値は、少なくとも部分的には、各空間ゾーン内の一つまたは複数の公称空間位置に基づいてもよい。たとえば、公称空間位置は、ドルビー5.1、ドルビー5.1.2、ドルビー7.1、ドルビー7.1.4、またはドルビー9.1のサラウンドサウンドミックス内のチャネルの標準的な位置に対応してもよい。いくつかの実装では、各ラウドスピーカー参加値は、少なくとも部分的には、各空間ゾーン内の一つまたは複数の公称空間位置のそれぞれにおけるオーディオ・データのレンダリングに対応する各ラウドスピーカーの起動に基づいてもよい。
【0146】
いくつかの実装によれば、処理されたオーディオ・データをレンダリングすることは、一つまたは複数の動的に構成可能な機能に従って、ラウドスピーカーの集合の相対的なアクティブ化を決定することに関わってもよい。いくつかの例は、図10以下を参照して以下に記載される。一つまたは複数の動的に構成可能な機能は、オーディオ信号の一つまたは複数の属性、ラウドスピーカーの集合の一つまたは複数の属性、または一つまたは複数の外部入力に基づいていてもよい。たとえば、一つまたは複数の動的に構成可能な機能は、一つまたは複数の聴取者に対するラウドスピーカーの近接性；引力位置に対するラウドスピーカーの近接性（引力とは、引力位置に対する、より近い近接性において相対的に、より高いラウドスピーカー・アクティブ化を優遇する因子である）；反発力位置に対するラウドスピーカーの近接性（反発力とは、反発力位置に対する、より近い近接性において、相対的により低いラウドスピーカー・アクティブ化を優遇する因子である）；環境中の他のラウドスピーカーに対する各ラウドスピーカーの能力；他のラウドスピーカーに対するラウドスピーカーの同期性；ウェイクワード性能；またはエコーキャンセラの性能に基づいていてもよい。
【0147】
スピーカーの相対的アクティブ化は、いくつかの例では、スピーカーを通じて再生された場合のオーディオ信号の知覚される空間位置のモデルのコスト関数、オーディオ信号の意図された知覚される空間位置の、スピーカー位置への近接性の尺度、および一つまたは複数の動的に構成可能な機能に基づいてもよい。
【0148】
いくつかの例では、コスト関数の最小化（少なくとも1つの動的スピーカー・アクティブ化項を含む）は、スピーカーのうちの少なくとも1つのスピーカーの非アクティブ化（そのような各スピーカーが関連するオーディオ・コンテンツを再生しないという意味で）と、スピーカーのうちの少なくとも1つのスピーカーのアクティブ化（そのような各スピーカーがレンダリングされたオーディオ・コンテンツの少なくとも一部を再生するという意味で）につながることがありうる。動的スピーカー・アクティブ化項（単数または複数）は、特定のスマート・オーディオ装置から離れたところでのオーディオの空間的提示を歪めることを含む、多様な挙動のうちの少なくとも1つを可能にしうる。それにより、マイクロフォンが話者の声をよりよく聞くことができ、あるいはスマート・オーディオ装置のスピーカー（単数または複数）から二次オーディオ・ストリームがよりよく聞こえる。
【0149】
いくつかの実装によれば、個々のラウドスピーカー・ダイナミクス処理構成データは、複数のラウドスピーカーの各ラウドスピーカーについて、ダイナミックレンジ圧縮データセットを含むことができる。いくつかの事例では、ダイナミックレンジ圧縮データセットは、閾値データ、入出力比データ、アタック・データ、リリース・データまたはニー・データのうちの一つまたは複数を含んでいてもよい。
【0150】
上述のように、いくつかの実装では、図9に示される方法900の少なくともいくつかのブロックが省略されてもよい。たとえば、いくつかの実装では、ブロック905および910は、セットアップ・プロセスの間に実行される。聴取環境ダイナミクス処理構成データが決定された後、いくつかの実装では、ステップ905および910は、聴取環境のスピーカーのタイプおよび／または配置が変化しない限り、「ランタイム」動作中に再度実行されることはない。たとえば、いくつかの実装では、いずれかのラウドスピーカーが追加されたまたは切り離されたか、いずれかのラウドスピーカー位置が変化したか、などを決定するために、初期チェックがあってもよい。もしそうであれば、ステップ905および910が実施されてもよい。もしそうでなければ、ステップ905および910は、ブロック915～930に関わってもよい「ランタイム」操作の前に再度実行されなくてもよい。
【0151】
上述のように、既存の柔軟なレンダリング技法は、質量中心振幅パン（Center of Mass Amplitude Panning、CMAP）および柔軟仮想化（Flexible Virtualization、FV）を含む。高レベルからは、これらの技法はいずれも、それぞれが関連する所望の知覚される空間位置をもつ一つまたは複数のオーディオ信号の集合を、2つ以上のスピーカーの集合を通じた再生のためにレンダリングする。ここで、該集合のスピーカーの相対的アクティブ化は、スピーカーを通じて再生される前記オーディオ信号の知覚される空間位置のモデルと、オーディオ信号の所望される知覚される空間位置の、それらのスピーカーの位置への近接性の関数である。モデルは、オーディオ信号が、その意図される空間位置の近くで聴取者によって聞かれることを保証し、近接性項が、この空間的印象を達成するためにどのスピーカーが使用されるかを制御する。特に、近接性項は、オーディオ信号の所望の知覚される空間位置に近いスピーカーのアクティブ化を優遇する。
CMAPとFVの両方について、この機能的関係は、空間的側面について1つ、近接性について1つの2つの項の和として書かれたコスト関数：
から便利に導出される。ここで、集合
はM個のラウドスピーカーの集合の位置を表し、ベクトルo〔→付きのo〕はオーディオ信号の所望される知覚される空間位置を示し、gは、スピーカー・アクティブ化のM次元ベクトルを示す。CMAPについては、ベクトル中の各アクティブ化（activation）は、スピーカー当たりの利得を表し、FVについては、各アクティブ化は、フィルタを表す（この第2の場合では、gは、特定の周波数における複素値のベクトルと等価とみなすことができ、フィルタを形成するために複数の周波数にわたって異なるgが計算される）。アクティブ化の最適ベクトルは、アクティブ化の間のコスト関数を最小化することによって見出される：
CMAPとFVの両方について、この機能的関係は、空間的側面について1つ、近接性について1つの2つの項の和として書かれたコスト関数：
【数18】
【数19】
【数20】
【0152】
コスト関数のある種の定義では、goptの成分間の相対的なレベルは適切であるが、上記の最小化から帰結する最適なアクティブ化の絶対的なレベルを制御することは難しい。この問題に対処するために、アクティブ化の絶対的なレベルが制御されるように、その後の正規化が実行されてもよい。たとえば、単位長さを有するためのベクトルの正規化が望ましいことがあり、これは、一般的に使用される、一定パワーのパン規則と同様である：
【数21】
【0153】
柔軟なレンダリング・アルゴリズムの正確な挙動は、コスト関数の2つの項CspatialおよびCproximityの具体的な構築によって支配される。CMAPについては、Cspatialは、ラウドスピーカーの集合から再生されるオーディオ信号の知覚される空間位置を、それらのラウドスピーカーの位置にそれらの関連するアクティブ化利得（ベクトルgの要素）によって重み付けしたものの質量中心に配置するモデルから導出される：
次いで、式3は、所望のオーディオ位置とアクティブ化されたラウドスピーカーによって生成される位置との間の平方誤差を表す空間コストにされる：
【数22】
【数23】
【0154】
FVでは、コスト関数の空間項は異なる仕方で定義される。ここでの目標は、聴取者の左耳と右耳におけるオーディオ・オブジェクト位置〔ベクトルo〕に対応するバイノーラル応答bを生成することである。概念的には、bは、フィルタの2×1ベクトル（各耳について1つのフィルタ）であるが、より便利には、特定の周波数における複素値の2×1ベクトルとして扱われる。特定の周波数でこの表現を続けると、所望されるバイノーラル応答が、オブジェクト位置によってインデックス付けされるHRTFインデックスの集合から取得されうる：
【数24】
【0155】
同時に、ラウドスピーカーによって聴取者の耳のところに生成された2×1のバイノーラル応答eは、2×Mの音響伝達行列Hに複素スピーカー・アクティブ化値のM×1ベクトルgを乗じたものとしてモデル化される：
音響伝達行列Hは、聴取者位置に対するラウドスピーカー位置の集合
に基づいてモデル化される。最後に、コスト関数の空間成分は、所望されるバイノーラル応答（式14）とラウドスピーカーによって生成される応答（式15）との間の平方誤差として定義される：
【数25】
【数26】
【数27】
【0156】
便利には、式13および16で定義されるCMAPおよびFVについてのコスト関数の空間項は、両方とも、スピーカー・アクティブ化gの関数として、行列二次形式に再編成できる：
ここで、AはM×Mの正方行列、Bは1×Mのベクトル、Cはスカラーである。行列Aは階数2であり、よって、M＞2の場合、空間誤差項がゼロに等しいくなるスピーカー・アクティブ化gが無限個存在する。コスト関数の第2項Cproximityを導入すると、この不定性が除去され、他の可能な解決策と比較して、知覚的に有益な特性を有する特定の解決策が得られる。CMAPおよびFVの両方について、Cproximityは、位置
が所望のオーディオ信号位置
から離れているスピーカーのアクティブ化が、位置が所望の位置に近いスピーカーのアクティブ化よりも大きくペナルティがかけらるように構築される。この構築は、所望されるオーディオ信号の位置に近接したスピーカーのみが顕著にアクティブ化される、疎なスピーカー・アクティブ化の最適な集合を与え、実際上は、スピーカーの集合のまわりの聴取者の動きに対して知覚的によりロバストであるオーディオ信号の空間的な再現をもたらす。
【数28】
【数29】
【数30】
【0157】
この目的に向け、コスト関数の第2項Cproximityは、スピーカー・アクティブ化の絶対値の2乗の、距離で重み付けされた和として定義されうる。これは、次のように、行列形式で簡潔に表現される：
ここで、Dは、所望されるオーディオ位置と各スピーカーとの間の距離ペナルティの対角行列であり：
【数31】
【数32】
【0158】
距離ペナルティ関数は多くの形をとることができるが、次は有用なパラメータ化である。
ここで、
は、所望されるオーディオ位置とスピーカー位置との間のユークリッド距離であり、αおよびβは調整可能なパラメータである。パラメータαはペナルティのグローバルな強さを示し；d0は距離ペナルティの空間的な範囲に対応し（約d0の距離にある、またはさらに遠方に離れたラウドスピーカーがペナルティを受ける）、βは距離d0でのペナルティ発生の突然性を説明する。
【数33】
【数34】
【0159】
式17と式18aで定義されたコスト関数の2つの項を組み合わせると、全体的なコスト関数が得られる。
このコスト関数のgに関する微分を0とおき、gについて解くと、最適なスピーカー・アクティブ化解が得られる：
【数35】
【数36】
【0160】
一般に、式20の最適解は、値が負であるスピーカー・アクティブ化を生じうる。柔軟レンダラーのCMAP構築については、そのような負のアクティブ化は望ましくないことがあり、よって、式（20）は、すべてのアクティブ化が正のままであるという条件のもとに、最小化されうる。
【0161】
図10および図11は、スピーカー・アクティブ化およびオブジェクト・レンダリング位置の例示的なセットの例示的な集合を示す図である。これらの例では、スピーカー・アクティブ化およびオブジェクト・レンダリング位置は、4、64、165、－87、および－4度のスピーカー位置に対応する。他の実装では、より多数もしくはより少数のスピーカーまたは異なる位置のスピーカーがあってもよい。図10は、これらの特定のスピーカー位置についての式20に対する最適解を構成するスピーカー・アクティブ化1005a、1010a、1015a、1020aおよび1025aを示す。図11は、個々のスピーカー位置を、図10のスピーカー・アクティブ化1005a、1010a、1015a、1020aおよび1025aにそれぞれ対応する正方形1105、1110、1115、1120および1125としてプロットしたものである。図11では、角度4はスピーカー位置1120に対応し、角度64はスピーカー位置1125に対応し、角度165はスピーカー位置1110に対応し、角度－87はスピーカー位置1105に対応し、角度－4はスピーカー位置1115に対応する。図11はまた、多数の可能なオブジェクト角度についての理想的なオブジェクト位置（言い換えれば、オーディオ・オブジェクトがレンダリングされるべき位置）をドット1130aとして、それらのオブジェクトについての対応する実際のレンダリング位置を、点線1140aによって理想的なオブジェクト位置に接続されたドット1135aとして示している。
【0162】
図12A、12B、および12Cは、図10および図11の例に対応するスピーカー参加値の例を示す。図12A、12Bおよび12Cにおいて、角度－4.1は図11のスピーカー位置1115に対応し、角度4.1は図11のスピーカー位置1120に対応し、角度－87は図11のスピーカー位置1105に対応し、角度63.6は図11のスピーカー位置1125に対応し、角度165.4は図11のスピーカー位置1110に対応する。これらのスピーカー参加値は、本明細書の他の箇所で開示されている空間ゾーンに関する「重み付け」の例である。これらの例によれば、図12A、12Bおよび12Cに示されるラウドスピーカー参加値は、図6に示される空間ゾーンのそれぞれにおける各ラウドスピーカーの参加に対応する：図12Aに示されるラウドスピーカー参加値は、中央ゾーンにおける各ラウドスピーカーの参加に対応し、図12Bに示されるラウドスピーカー参加値は、前方左および右ゾーンにおける各ラウドスピーカーの参加に対応し、図12Cに示されるラウドスピーカー参加値は、後方ゾーンにおける各ラウドスピーカーの参加に対応する。
【0163】
柔軟レンダリング方法（いくつかの実施形態に従って実装される）をワイヤレススマートスピーカー（または他のスマート・オーディオ装置）の集合とペアリングすることにより、きわめて能力が高く、使いやすい空間オーディオ・レンダリング・システムを与えることができる。そのようなシステムとの相互作用を考えると、システムの使用中に生じうる他の目的のために最適化するために、空間的レンダリングに対する動的な修正が望ましいことがありうることが明らかになる。この目的を達成するために、あるクラスの実施形態は、既存の柔軟レンダリング・アルゴリズムを、レンダリングされるオーディオ信号の一つまたは複数の属性、スピーカーの集合、および／または他の外部入力に依存する一つまたは複数の追加的な動的に構成可能な機能を用いて、補強する。いくつかの実施形態によれば、式1で与えられる既存の柔軟レンダリングのコスト関数は、次のように、これらの一つまたは複数の追加の従属関係を用いて補強される。
【数37】
【0164】
式21において、項
は、追加的なコスト項を表し、
は、レンダリングされる（たとえば、オブジェクトベースのオーディオプログラムの）オーディオ信号の一つまたは複数の属性の集合を表し、
は、それを通じてオーディオがレンダリングされるスピーカーの一つまたは複数の属性の集合を表し、
は、一つまたは複数の追加的な外部入力を表す。各項
は、
によって表される、オーディオ信号、スピーカー、および／または外部入力の一つまたは複数の属性の組み合わせに関する、アクティブ化gの関数としてのコストを返す。集合
が、少なくとも、
のいずれかからの1つのみの要素を含むことが理解されるべきである。
【数38】
【数39】
【数40】
【数41】
【数42】
【数43】
【数44】
【数45】
【0165】
【数46】
・オーディオ信号の所望される知覚される空間位置；
・オーディオ信号のレベル（可能性としては時間変化する）；および／または
・オーディオ信号のスペクトル（可能性としては時間変化する）。
【0166】
【数47】
・聴取スペース内のラウドスピーカーの位置；
・ラウドスピーカーの周波数応答；
・ラウドスピーカーの再生レベル制限；
・リミッタ利得などスピーカー内のダイナミクス処理アルゴリズムのパラメータ；
・各スピーカーから他のスピーカーへの音響伝達の測定または推定；
・スピーカー上のエコーキャンセラ性能の尺度；および／または
・スピーカーの、互いとの相対的な同期。
【0167】
【数48】
・再生空間内の1人以上の聴取者または話者の位置；
・各ラウドスピーカーから聴取位置までの音響伝達の測定または推定；
・話者からラウドスピーカーの集合までの音響伝達の測定または推定；
・再生空間内の何らかの他のランドマークの位置；および／または
・各スピーカーから再生空間における何らかの他のランドマークへの音響伝達の測定または推定。
【0168】
式21で定義された新しいコスト関数を用いて、式11aおよび11bで前述したように、gに関する最小化および可能な事後正規化を通じて、アクティブ化の最適な集合を見つけることができる。
【0169】
式18aおよび18bで定義されている近接性コストと同様に、新しいコスト関数の項
を、スピーカー・アクティブ化の絶対値の2乗の重み付けされた和として表現することも便利である：
ここで、Wjは、項jについてスピーカーiをアクティブ化することに関連するコストを記述する重み
の対角行列である：
【数49】
【数50】
【数51】
【数52】
【0170】
式22aおよび22bを、式19で与えられたCMAPおよびFVコスト関数の行列二次形式バージョンと組み合わせることにより、式21で与えられた（いくつかの実施形態の）一般拡張されたコスト関数の潜在的に有益な実装がもたらされる：
【数53】
【0171】
新しいコスト関数項のこの定義では、全体的なコスト関数は行列二次形式のままであり、アクティブ化の最適な集合goptは式23の微分を通じて見出すことができ、次のようになる。
【数54】
【0172】
重み項wijのそれぞれを、ラウドスピーカーのそれぞれについての与えられた連続的なペナルティ値
の関数として考えることは有用である。ある例示的実施形態では、このペナルティ値は、（レンダリングされるべき）オブジェクトから考慮されるラウドスピーカーまでの距離である。別の例示的実施形態では、このペナルティ値は、所与のラウドスピーカーがいくつかの周波数を再生することができないことを表す。このペナルティ値に基づいて、重み項は次のようにパラメータ化できる：
ここで、αjは、（重み項のグローバルな強度を考慮に入れる）プレファクターを表し、τjは、ペナルティ閾値を表し（その近くで、またはそれを超えるところで重み項が重要となる）、fj(x)は単調増加関数を表す。たとえば、
では、重み項は、次のような形をもつ：
ここで、αj、βj、τjは、ペナルティのグローバルな強さ、ペナルティの始まりの突然性、ペナルティの広がりをそれぞれ示す調整可能なパラメータである。これらの調整可能な値を設定する際には、コスト項Cjの、他の任意の追加的なコスト項ならびにCspatialおよびCproximityに対する相対的な効果が、望ましい成果を達成するために適切であるように、注意を払うべきである。たとえば、大雑把な目安として、ある特定のペナルティがはっきりと他のペナルティより支配的であることを望むなら、その強度を2番目に大きいペナルティ強度の約10倍に設定することが適切でありうる。
【数55】
【数56】
【数57】
【数58】
【0173】
すべてのラウドスピーカーがペナルティを課される場合、後処理において、すべての重み項から最小のペナルティを差し引いて、スピーカーのうちの少なくとも1つがペナルティを課されないようにすることがしばしば便利でる：
【数59】
【0174】
上述したように、本明細書に記載される新しいコスト関数項（および他の実施形態に従って使用される同様の新しいコスト関数項）を使用して実現できる多くの可能な使用事例がある。次に、3つの例を用いて、より具体的な詳細を説明する。すなわち、オーディオを聴取者または話者に向けて移動させる、オーディオを聴取者または話者から遠ざける、オーディオをランドマークから遠ざける。
【0175】
第1の例では、ここでは「引力」と呼ばれるものが、オーディオをある位置に向けて引っぱるために使用される。その位置は、いくつかの例では、聴取者または話者の位置、ランドマーク位置、家具位置などであってもよい。本明細書では、この位置は「引力位置」または「アトラクター位置」と称されることがある。本明細書で使用されるところでは、「引力」とは、引力位置により近接した近傍において、相対的により高いラウドスピーカー・アクティブ化を優遇する因子である。この例によれば、重みwijは式26の形をとり、連続的ペナルティ値pijは、i番目のスピーカーの、固定したアトラクター位置
からの距離によって与えられ、閾値τjは、すべてのスピーカーにわたるこれらの距離の最大値によって与えられる：
【数60】
【数61】
【0176】
オーディオを聴取者または話者に向けて「引っ張る」使用事例を例解すると、具体的にαj＝20、βj＝3に設定し、
〔→lj〕を180度の聴取者／話者の位置（プロットの下部中央）に対応するベクトルに設定する。αj、βjおよび→ljのこれらの値は単に例である。いくつかの実装では、αjは1～100の範囲であってもよく、βjは1～25の範囲であってもよい。
【数62】
【0177】
図13は、例示的実施形態におけるスピーカー・アクティブ化のグラフである。この例では、図13は、図10および図11からの同じスピーカー位置についてのコスト関数に対する最適解を構成するスピーカー・アクティブ化1005b、1010b、1015b、1020b、および1025bを示し、wijによって表される引力を加えたものである。
【0178】
図14は、ある例示的実施形態におけるオブジェクト・レンダリング位置のグラフである。図14、図17、図20において、ラウドスピーカー位置は、図11に示される位置と同じである。この例では、図14は、多数の可能なオブジェクト角度についての対応する理想的なオブジェクト位置1130bと、点線1140bによって理想的なオブジェクト位置1130bに接続された、それらのオブジェクトについての対応する実際のレンダリング位置1135bとを示している。固定位置
に向かう実際のレンダリング位置1135bの曲がった（skewed）配向は、コスト関数への最適解に対するアトラクター重み付けの影響を示す。
【数63】
【0179】
図15A、15Bおよび15Cは、図13および図14の例に対応するラウドスピーカー参加値の例を示す。図15A、15Bおよび15Cにおいて、角度－4.1は図11のスピーカー位置1115に対応し、角度4.1は図11のスピーカー位置1120に対応し、角度－87は図11のスピーカー位置1105に対応し、角度63.6は図11のスピーカー位置1125に対応し、角度165.4は図11のスピーカー位置1110に対応する。これらの例によれば、図15A、15Bおよび15Cに示されるラウドスピーカー参加値は、図6に示される各空間ゾーンにおける各ラウドスピーカーの参加に対応する：図15Aに示されるラウドスピーカー参加値は、各ラウドスピーカーの中央ゾーンにおける参加に対応し、図15Bに示されるラウドスピーカー参加値は、各ラウドスピーカーの前方左および右のゾーンにおける参加に対応し、図15Cに示されるラウドスピーカー参加値は、各ラウドスピーカーの後方ゾーンにおける参加に対応する。
【0180】
オーディオを聴取者または話者から遠ざける使用事例を例解すると、具体的にαj＝5、βj＝2に設定し、
〔→lj〕を180度の聴取者／話者の位置（プロットの下部中央）に対応するベクトルに設定する。αj、βjおよび→ljのこれらの値は単に例である。上記のように、いくつかの例では、αjは1～100の範囲であってもよく、βjは1～25の範囲であってもよい。
【数64】
【0181】
図16は、例示的実施形態におけるスピーカー・アクティブ化のグラフである。この例によれば、図16は、前の諸図からの同じスピーカー位置についてのコスト関数に対する最適解を構成するスピーカー・アクティブ化1005c、1010c、1015c、1020c、および1025cを示し、wijによって表される反発力を加えたものである。
【0182】
図17は、ある例示的実施形態におけるオブジェクト・レンダリング位置のグラフである。この例では、図17は、多数の可能なオブジェクト角度についての理想的なオブジェクト位置1130cと、点線1140cによって理想的なオブジェクト位置1130cに接続された、それらのオブジェクトについての対応する実際のレンダリング位置1135cとを示している。固定位置
から遠ざかる実際のレンダリング位置1135cの曲がった（skewed）配向は、コスト関数への最適解に対する反発体重み付けの影響を示す。
【数65】
【0183】
図18A、18Bおよび18Cは、図16および図17の例に対応するラウドスピーカー参加値の例を示す。これらの例によれば、図18A、18Bおよび18Cにおいて示されるラウドスピーカー参加値は、図6に示される各空間ゾーンにおける各ラウドスピーカーの参加に対応する。図18Aにおいて示されるラウドスピーカー参加値は、中央ゾーンにおける各ラウドスピーカーの参加に対応し、図18Bにおいて示されるラウドスピーカー参加値は、前方左および右ゾーンにおける各ラウドスピーカーの参加に対応し、図18Cにおいて示されるラウドスピーカー参加値は、後方ゾーンにおける各ラウドスピーカーの参加に対応する。
【0184】
別の例示的な使用事例は、睡眠中の赤ん坊の部屋へのドアのような、音響的に敏感なランドマークからオーディオを遠ざけるように「押す」ことである。前の例と同様に、→ljを、180度のドア位置（プロットの下部中央）に対応するベクトルに設定する。より強い反発力を達成し、音場を主要聴取空間の前方部に完全に偏らせるために、我々はαj＝20、βj＝5に設定した。
【0185】
図19は、ある例示的実施形態におけるスピーカー・アクティブ化のグラフである。ここでもまた、この例では、図19は、スピーカー位置の同じ集合への最適解を構成するスピーカー・アクティブ化1005d、1010d、1015d、1020dおよび1025dを示し、より強い反発力を加えている。
【0186】
図20は、例示的実施形態におけるオブジェクト・レンダリング位置のグラフである。ここでもまた、この例では、図20は、多数の可能なオブジェクト角度についての理想的なオブジェクト位置1130dと、点線1140dによって理想的なオブジェクト位置1130dに接続された、それらのオブジェクトについての対応する実際のレンダリング位置1135dとを示している。実際のレンダリング位置1135dの曲がった（skewed）配向は、コスト関数への最適解に対する、より強い反発重み付けの影響を示す。
【0187】
図21A、21Bおよび21Cは、図19および図20の例に対応するスピーカー参加値の例を示す。これらの例によれば、図21A、21Bおよび21Cに示されたスピーカー参加値は、図6に示される各空間ゾーンにおける各ラウドスピーカーの参加に対応する：図21Aに示されるラウドスピーカー参加値は、中央ゾーンにおける各ラウドスピーカーの参加に対応し、図21Bに示されるラウドスピーカー参加値は、各ラウドスピーカーの前方左および右ゾーンにおける参加に対応し、図21Cに示されるラウドスピーカー参加値は、各ラウドスピーカーの後方ゾーンにおける参加に対応する。
【0188】
図22は、この例における生活空間である環境の図である。図22に示される環境は、オーディオインタラクションのためのスマート・オーディオ装置（装置1.1）、オーディオ出力のためのスピーカー（1.3）、および制御可能な照明〔ライト〕（1.2）のセットを含む。一例では、装置1.1のみがマイクロフォンを含んでおり、そのため発声をする（たとえば、ウェイクワード・コマンドを発する）ユーザー（1.4）がどこにいるのかを知る。さまざまな方法を使用して、これらの装置から集合的に情報が得られて、ウェイクワードを発する（たとえば、話す）ユーザーの位置推定値（たとえば、微細な粒度の位置推定）を提供することができる。
【0189】
そのような居住空間には、人がタスクや活動を行ったり、または閾を越えたりする自然な活動ゾーンの集合がある。これらのアクションエリア（ゾーン）は、インターフェースの他の側面を支援するために、ユーザーの位置（たとえば、不確かな位置を決定する）またはユーザーのコンテキストを推定するための努力があるかもしれない場所である。装置1.1およびスピーカー1.3（および／または、任意的に、少なくとも1つの他のサブシステムまたは装置）のうちの少なくともいくつかを含む（すなわち、それによって実装される）レンダリング・システムは、居住空間内またはその一つまたは複数のゾーン内で（たとえば、スピーカー1.3の一部または全部による）再生のためにオーディオをレンダリングするように動作してもよい。そのようなレンダリング・システムは、開示された方法の任意の実施形態に従って、参照空間モードまたは分散空間モードのいずれかで動作可能でありうることが考えられている。
【0190】
図8の例では、重要なアクションエリアは以下の通りである：
１．キッチンシンクおよび調理エリア（生活空間の左上領域）；
２．冷蔵庫のドア（シンクと調理エリアの右）；
３．ダイニングエリア（居住空間の左下領域）；
４．居住空間のオープンエリア（シンクおよび調理エリアおよびダイニングエリアの右）；
５．TVカウチ（オープンエリアの右）；
６．テレビ自体；
７．テーブル；
８．ドアエリアまたは入口（居住空間の右上領域）。
１．キッチンシンクおよび調理エリア（生活空間の左上領域）；
２．冷蔵庫のドア（シンクと調理エリアの右）；
３．ダイニングエリア（居住空間の左下領域）；
４．居住空間のオープンエリア（シンクおよび調理エリアおよびダイニングエリアの右）；
５．TVカウチ（オープンエリアの右）；
６．テレビ自体；
７．テーブル；
８．ドアエリアまたは入口（居住空間の右上領域）。
【0191】
しばしば、アクションエリアに合うよう、同じような位置にある同じような数のライトがある。ライトの一部または全部は、個々に制御可能なネットワーク接続されたエージェントであってもよい。いくつかの実施形態によれば、オーディオは、スピーカー（および／または装置（1.1）のうちの一つまたは複数のスピーカー）のうちの一つまたは複数による（任意の開示された実施形態に従った）再生のために（たとえば、図22のシステムの装置1.1のうちの1つまたは他の装置によって）レンダリングされる。
【0192】
あるクラスの実施形態は、複数の協調させられる（オーケストレーションされる）スマート・オーディオ装置のうちの少なくとも1つ（たとえば、全部または一部）によって、再生のためにオーディオをレンダリングするおよび／またはオーディオを再生する方法に関わる。たとえば、ユーザーの家庭において（システムにおいて）存在するスマート・オーディオ装置の集合は、スマート・オーディオ装置の全部または一部による（すなわち、全部または一部のスマート・オーディオ装置のスピーカーによる）再生のためのオーディオの柔軟なレンダリングを含む、多様な同時の使用事例を処理するために、オーケストレーションされうる。レンダリングおよび／または再生に対する動的修正を要求する、本システムとの多くのインタラクションが考えられる。このような修正は、空間的忠実性に焦点を当ててもよいが、必ずではない。
【0193】
いくつかの実施形態は、協調させられる（オーケストレーションされた）複数のスマート・オーディオ装置のスピーカー（単数または複数）による、再生のためのレンダリングおよび／または再生を実装する。他の実施形態は、スピーカーの別の集合のスピーカー（単数または複数）による、再生のためのレンダリングおよび／または再生を実装する。
【0194】
いくつかの実施形態（たとえば、レンダリング・システムもしくはレンダラーもしくはレンダリング方法、または再生システムもしくは方法）は、一組のスピーカーの一部もしくは全部のスピーカー（すなわち、各アクティブ化されているスピーカー）による、再生のためのオーディオのレンダリングおよび／または再生のためのシステムおよび方法に関する。いくつかの実施形態において、スピーカーは、スマート・オーディオ装置の協調させられた（オーケストレーションされた）集合のスピーカーである。
【0195】
かかる実施形態の例は、以下の箇条書き例示的実施形態（enumerated example embodiments、EEE）を含む。
【0196】
EEE1. 少なくとも2つのスピーカーによる再生のためにオーディオをレンダリングする方法であって：
（a）それらのスピーカーの制限閾値を組み合わせ、それにより組み合わされた閾値を決定する段階と；
（b）組み合わされた閾値を使用して前記オーディオに対してダイナミクス処理を実行して、処理されたオーディオを生成する段階と；
（c）処理されたオーディオをスピーカーフィードにレンダリングする段階とを含む、
方法。
（a）それらのスピーカーの制限閾値を組み合わせ、それにより組み合わされた閾値を決定する段階と；
（b）組み合わされた閾値を使用して前記オーディオに対してダイナミクス処理を実行して、処理されたオーディオを生成する段階と；
（c）処理されたオーディオをスピーカーフィードにレンダリングする段階とを含む、
方法。
【0197】
EEE2. 請求項EEE1に記載の方法であって、前記制限閾値は、異なる周波数での制限を表す一つまたは複数の再生制限閾値の集合である、方法。
【0198】
EEE3. 請求項EEE1または請求項EEE2に記載の方法であって、前記制限閾値を組み合わせることは、前記複数のラウドスピーカーの閾値にわたる最小値をとることを含む、方法。
【0199】
EEE3. 請求項EEE1または請求項EEE2に記載の方法であって、前記制限閾値を組み合わせることは、前記複数のラウドスピーカーの前記制限閾値にわたる平均化プロセスを含む、方法。
【0200】
EEE5. 前記平均化プロセスが重み付けされた平均である、請求項EEE4記載の方法。
【0201】
EEE6. 前記重み付けが前記レンダリングの関数として導出される、請求項EEE5記載の方法。
【0202】
EEE7. 請求項EEE1～EEE6のいずれか一項に記載の方法であって、前記レンダリングは空間的である、方法。
【0203】
EEE8. オーディオプログラムストリームの前記制限は、異なる空間ゾーンにおいて異なる仕方で制限することを含む、請求項EEE7に記載の方法。
【0204】
EEE9. 各空間ゾーンの閾値は、前記複数のラウドスピーカーの再生制限閾値の一意的な組み合わせを通じて導出される、請求項EEE8記載の方法。
【0205】
EEE10. 各空間ゾーンの一意的な閾値が、前記複数のラウドスピーカーの制限閾値の重み付けされた平均を通じて導出される、請求項EEE9記載の方法。
【0206】
EEE11. 所与のゾーンについての所与のラウドスピーカーに関連する重み付けが、そのゾーンに関連するスピーカー参加因子から導出される、請求項EEE10に記載の方法。
【0207】
EEE12. 請求項EEE11記載の方法であって、前記スピーカー参加因子は、前記制限器〔リミッタ〕の前記空間ゾーンに割り当てられた一つまたは複数の公称空間位置の前記レンダリングに対応するスピーカー・アクティブ化から導出される、方法。
【0208】
EEE13. 請求項EEE1～EEE12のいずれか一項に記載の方法であって、さらに、対応するスピーカーに関連する制限閾値に従ってスピーカーフィードを制限することを含む、方法。
【0209】
EEE14. 請求項EEE1～EEE13のいずれか一項の方法を実行するように構成されたシステム。
【0210】
多くの実施形態が技術的に可能である。当業者には、それらをどのように実施するかが、本開示から明らかであろう。本明細書に記載するいくつかの実施形態。
【0211】
本開示のいくつかの側面は、任意の開示された方法を実行するように構成された（たとえば、プログラムされた）システムまたは装置と、任意の開示された方法またはそのステップを実装するためのコードを記憶している有形のコンピュータ読み取り可能媒体（たとえば、ディスク）とを含む。たとえば、システムは、プログラム可能な汎用プロセッサ、デジタル信号プロセッサ、またはマイクロプロセッサであって、開示される方法またはそのステップの実施形態を含む、データに対する多様な操作のいずれかを実行するようにソフトウェアまたはファームウェアでプログラムされ、および／または他の仕方で構成されたものであってもよく、またはそれらを含むことができる。そのような汎用プロセッサは、入力装置、メモリ、および、それに呈されたデータに応答して開示された方法（またはそのステップ）を実行するようにプログラムされた（および／または他の仕方で構成された）処理サブシステムを含むコンピュータシステムであってもよく、または、それを含んでいてもよい。
【0212】
いくつかの実施形態は、一つまたは複数の開示された方法の実行を含む、オーディオ信号に対して必要な処理を実行するように構成された（たとえば、プログラムされた、および他の方法で構成された）構成可能な（たとえば、プログラム可能な）デジタル信号プロセッサ（DSP）として実装される。あるいはまた、いくつかの実施形態（またはその要素）は、一つまたは複数の開示された方法の多様な動作のいずれかを実行するようにソフトウェアまたはファームウェアでプログラムされた、および／または他の仕方で構成された汎用プロセッサ（たとえば、パーソナルコンピュータ（PC）または他のコンピュータシステムまたはマイクロプロセッサであって、入力装置およびメモリを含んでいてもよい）として実装される。あるいはまた、いくつかの実施形態の要素は、一つまたは複数の開示された方法を実行するように構成された（たとえば、プログラムされた）汎用プロセッサまたはDSPとして実装され、システムはまた、他の要素（たとえば、一つまたは複数のラウドスピーカーおよび／または一つまたは複数のマイクロフォン）を含んでいてもよい。一つまたは複数の開示された方法を実行するように構成された汎用プロセッサが、入力装置（たとえば、マウスおよび／またはキーボード）、メモリ、およびいくつかの例では、ディスプレイ装置に結合されてもよい。
【0213】
本開示の別の側面は、一つまたは複数の開示される方法またはそのステップを実行するためのコード（たとえば実行するために実行可能なコーダ）を記憶しているコンピュータ読み取り可能媒体（たとえば、ディスクまたは他の有形記憶媒体）である。
【0214】
本開示の個別的な実施形態および用途が本明細書に記載されているが、本明細書に記載されている実施形態および用途の多くの変形が、本明細書に記載され特許請求される本開示の範囲から逸脱することなく可能であることは、当業者には明らかであろう。本開示のある種の形が示され説明されたが、本開示の範囲は、説明され示された特定の実施形態または説明された特定の方法に限定されないことが理解されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【外国語明細書】