特許 7332781 オーディオコンテンツのプレゼンテーションに依存しないマスタリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-15

(45)【発行日】2023-08-23

(54)【発明の名称】オーディオコンテンツのプレゼンテーションに依存しないマスタリング

(51)【国際特許分類】

   H04S 1/00 20060101AFI20230816BHJP

   H04S 3/00 20060101ALI20230816BHJP

【ＦＩ】

H04S1/00 700

H04S3/00 800

【請求項の数】 23

(21)【出願番号】P 2022500811

(86)(22)【出願日】2020-07-07

(65)【公表番号】

(43)【公表日】2022-09-15

(86)【国際出願番号】 US2020041064

(87)【国際公開番号】W WO2021007246

(87)【国際公開日】2021-01-14

【審査請求日】2022-03-07

(31)【優先権主張番号】P201930637

(32)【優先日】2019-07-09

(33)【優先権主張国・地域又は機関】ES

(31)【優先権主張番号】62/911,844

(32)【優先日】2019-10-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(73)【特許権者】

【識別番号】510185767

【氏名又は名称】ドルビー・インターナショナル・アーベー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ブリーバールト，ディルク，イェルーン

(72)【発明者】

【氏名】クーパー，デイヴィッド，マシュー

(72)【発明者】

【氏名】センガールレ，ジュリオ

(72)【発明者】

【氏名】クロケット，ブレット，ジー．

(72)【発明者】

【氏名】ウィルソン，ロンダ，ジェイ．

【審査官】西村 純

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０１１７６８５（ＵＳ，Ａ１）

【文献】特開２０１４－０７８２９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ １／００－ ７／００

Ｈ０４Ｒ １／００－３１／００

(57)【特許請求の範囲】

【請求項1】

マスタリングされたオーディオコンテンツを生成する方法であって、
Ｍ１個のオーディオ信号を含む入力オーディオコンテンツを取得するステップと、
前記入力オーディオコンテンツのレンダリングされたプレゼンテーションを取得するステップであって、前記レンダリングされたプレゼンテーションはＭ２個のオーディオ信号を含む、取得するステップと、
前記レンダリングされたプレゼンテーションをマスタリングすることによって生成されるマスタリングされたプレゼンテーションを取得するステップと、
マスタリングされたプレゼンテーションとレンダリングされたプレゼンテーションとを比較し、各時間・周波数タイルについて、マスタリングされたプレゼンテーションとレンダリングされたプレゼンテーションとの間のアトリビュートの差分を決定するステップと、
各オーディオ信号の対応する各時間・周波数タイルに、前記アトリビュートの差分をスーパーインポーズすることによって、入力オーディオコンテンツの一以上のオーディオ信号を、修正し、マスタリングされたオーディオコンテンツを生成するステップとを含む、
方法。

【請求項2】

前記レンダリングされたプレゼンテーションを取得するステップは、前記入力オーディオコンテンツを、Ｍ１＞Ｍ２となるように、低減された数のオーディオ信号にレンダリングするステップを含む、請求項１に記載の方法。

【請求項3】

前記レンダリングされたプレゼンテーションは、ステレオプレゼンテーションである、請求項２に記載の方法。

【請求項4】

前記入力オーディオコンテンツは５．１又は７．１などのマルチチャネルコンテンツである、請求項２又は３に記載の方法。

【請求項5】

前記入力オーディオコンテンツは３Ｄオーディオ情報を含む、請求項１又は２に記載の方法。

【請求項6】

前記入力オーディオコンテンツは、少なくとも１つのオーディオオブジェクトを含み、各オーディオオブジェクトは、空間的位置に関連付けられたオーディオ信号を含み、前記レンダリングされたプレゼンテーションは、前記少なくとも１つのオーディオオブジェクトの時変レンダリングを含む、請求項５に記載の方法。

【請求項7】

前記マスタリングされたプレゼンテーションと前記レンダリングされたプレゼンテーションとの間のアトリビュートの差分は、レンダリングされたプレゼンテーション内の異なるオーディオ信号またはオーディオ信号セットに対して独立して決定され、前記入力オーディオコンテンツの一以上のオーディオ信号は、寄与する前記レンダリングされたプレゼンテーションのオーディオ信号に従って修正される、請求項１に記載の方法。

【請求項8】

コンプレッサ、マルチバンドコンプレッサ、イコライザ、ダイナミックイコライザ、ピークリミッタ、および非線形処理装置のうちの一以上を実装する一以上のプロセッサを使用して、レンダリングされたプレゼンテーションにマスタリングプロセスを適用するステップをさらに含み、前記一以上のプロセッサはアナログ、デジタル、または両方の組み合わせであってもよい、請求項１に記載の方法。

【請求項9】

レンダリングされたプレゼンテーションに自動マスタリングアルゴリズムを適用するステップをさらに含む、請求項８に記載の方法。

【請求項10】

前記ステップは少なくとも部分的にデジタルオーディオワークステーション（ＤＡＷ）において実行される、請求項１ないし９いずれか一項に記載の方法。

【請求項11】

前記入力オーディオコンテンツ、前記レンダリングされたプレゼンテーションおよび前記マスタリングされたプレゼンテーションは、クラウドベースのサービスにアップロードされ、比較するステップおよび修正するステップは、前記クラウドベースのサービスによって実行される、請求項１ないし１０いずれか一項に記載の方法。

【請求項12】

前記アトリビュートは、前記マスタリングされたプレゼンテーション及び前記レンダリングされたプレゼンテーションの時間・周波数タイルにおけるエネルギレベルを表し、前記修正は、前記入力オーディオコンテンツの信号の各時間・周波数タイルにおけるエネルギを等化する、請求項１ないし１１いずれか一項に記載の方法。

【請求項13】

前記修正は、前記入力オーディオコンテンツの信号の各時間・周波数タイルにおけるエネルギの分布特性を等化し、前記分布特性は、分布の平均、中央値、分散、分位点、または任意の高次モーメントである、請求項１２に記載の方法。

【請求項14】

比較するステップは、
マスタリングされたプレゼンテーションおよびレンダリングされたプレゼンテーションの対応する時間・周波数タイルにおけるエネルギレベルの比率を表す利得の第１のセットを決定するステップであって、前記時間・周波数タイルは時間と周波数分解能との間に第１の関係を有する、決定するステップと、
前記利得の第１のセットをレンダリングされたプレゼンテーションの対応する時間・周波数タイルに適用して、中間プレゼンテーションを形成するステップと、
マスタリングされたプレゼンテーションおよび中間プレゼンテーションの対応する時間・周波数タイルにおけるエネルギレベルの比率を表す第２のセットの利得を決定するステップであって、前記時間・周波数タイルは、時間および周波数分解能の間の第２の関係を有する、決定するステップと、を含み、
前記入力オーディオコンテンツを修正するステップは、
前記第１のセットの利得を入力オーディオコンテンツの時間周波数タイルに適用し、第１段階のオーディオコンテンツを形成するステップであって、前記時間周波数タイルは、時間と周波数解像度との間の前記第１の関係を有する、適用するステップと、
前記第２のセットの利得を前記第１段階のオーディオコンテンツの時間周波数タイルに適用し、前記マスタリングされたオーディオコンテンツを形成するステップであって、前記時間周波数タイルは、時間と周波数分解能との間の前記第２の関係を有する、適用するステップ、を含む、
請求項１２または１３に記載の方法。

【請求項15】

信号

【数1】

の時間・周波数タイルのエネルギーレベル

【数2】

は、

【数3】

に従って計算され、ここでｎは時間セグメントインデックス、ｂは周波数帯インデックス、ｃはチャネルインデックス、ｋはサンプルインデックスであり、
入力オーディオコンテンツを修正するステップは、マスタリングされたプレゼンテーションとレンダリングされたプレゼンテーションにおける対応するタイルのエネルギレベルの比率をそれぞれ表すタイルごとの利得を適用するステップを含む、
請求項１２ないし１４いずれか一項に記載の方法。

【請求項16】

入力オーディオコンテンツの信号を修正するステップの前に、ユーザによって、前記差分の表示の一以上が修正される、請求項１ないし１５いずれか一項に記載の方法。

【請求項17】

マスタリングされたオーディオコンテンツを生成するコンピュータ実装システムであって、
分析モジュールであって、
Ｍ２個のオーディオ信号を含むレンダリングされたプレゼンテーションと、前記レンダリングされたプレゼンテーションをマスタリングするステップによって生成されたマスタリングされたプレゼンテーションとを取得し、
各時間・周波数タイルについて、マスタリングされたプレゼンテーションをレンダリングされたプレゼンテーションと比較し、マスタリングされたプレゼンテーションとレンダリングされたプレゼンテーションとの間のアトリビュートの差分を決定するように構成された分析モジュールと、
修正モジュールであって、前記修正モジュールは、
前記差分の表示とＭ１個のオーディオ信号を含む入力オーディオコンテンツとを受け取り、
各オーディオ信号の対応する各時間・周波数タイルに、前記アトリビュートの差分をスーパーインポーズすることによって、入力オーディオコンテンツの一以上のオーディオ信号を修正し、マスタリングされたオーディオコンテンツを生成するように構成された修正モジュールとを有する、
システム。

【請求項18】

前記分析モジュール及び前記修正モジュールは、オフラインプロセッサに実装される、請求項１７に記載のシステム。

【請求項19】

入力オーディオコンテンツを受信し、レンダリングされたプレゼンテーションを提供するように構成されたレンダラと、
レンダリングされたプレゼンテーションのマスタリングを可能にするように構成されたマスタリングモジュールとをさらに有する
請求項１７に記載のシステム。

【請求項20】

前記マスタリングモジュールは、自動マスタリングプロセスを提供する、請求項１９に記載のシステム。

【請求項21】

前記マスタリングモジュールは、コンプレッサ、マルチバンドコンプレッサ、イコライザ、ダイナミックイコライザ、ピークリミッタ、および非線形処理装置のうちの一以上を含む、請求項１９に記載のシステム。

【請求項22】

一以上のプロセッサによって実行されたとき、前記一以上のプロセッサに、請求項１ないし１６いずれか一項に記載の方法を実行させる、コンピュータプログラム。

【請求項23】

一以上のプロセッサによって実行されると、前記一以上のプロセッサに、請求項１ないし１６いずれか一項に記載の方法を実行させるプログラムを記憶した、非一時的なコンピュータ読取可能記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０１９年７月９日に出願されたスペイン特許出願第Ｐ２０１９３０６３７号、及び２０１９年１０月７日に出願された米国仮特許出願第６２／９１１，８４４号の優先権の利益を主張し、その内容は、本明細書に参照援用する。
［技術分野］
本発明は、ドルビー・アトモスのようなマルチチャネル、没入型及び／又はオブジェクトベースのオーディオコンテンツのマスタリングに関し、具体的に、事前にダウンミックスされていない及び／又は特定の再生プレゼンテーションにレンダリングされていないようなコンテンツのマスタリングに関する。

【背景技術】

【0002】

音楽の制作および配信は、通常、以下の段階で構成される：
●作曲、録音及び／又は音楽トラックの制作：この段階では、オーディオ素材が取り込まれたり生成されたりし、作曲がされたりリファインされたりする。

【0003】

●ミキシング：この段階では、レベル、音色、エフェクトが調整され、すべての楽器とエフェクトとが適切にバランスされ、審美的に快適にミックスされる。
このプロセスは、個々の録音、トラック、楽器、および（もしあれば）ステムへのアクセスを提供し、それらは個々に、またはサブグループとして修正することができる。

【0004】

●マスタリング：この段階では、混合されたコンテンツのミックスダウンが、全体的な音色、大きさ、およびダイナミクスの変化に対して修正される。
これらのアトリビュートは、全体的なミックスを（単独で）改善し、アルバムのトラック間のレベルと音色の一貫性を改善し、特定の配信媒体（ロッシーコーデック、ビニール、ＣＤ）などに適した録音にするために修正される。

【0005】

マスタリング段階は、伝統的に、例えば、ステレオまたは５．１レンディション（５．１ ｒｅｎｄｉｔｉｏｎ）またはミックスのダウンミックスのような、ミックスのチャンネルベースのプレゼンテーションで実行される。さらに、マスタリングプロセスで使用される典型的なプロセッサは、等化器、（マルチバンド）コンプレッサ、ピークリミッタ、及び／又はテープまたはチューブの飽和、ピークリミット及び／又はクリッピングのエミュレーションなどの非線形プロセスを含む。これらのプロセッサは、ディジタルオーディオワークステーション（ＤＡＷ）または専用ハードウェアで実行されるディジタルプロセスとして実装することができる。代替的に、または、それに加えて、アナログハードウェアとして実装されてもよい。

【0006】

マスタリングプロセスは伝統的にエンジニアのマスタリングによって行われているが、最近ではクラウドサービスなどの自動マスタリングツールが導入されている。

【0007】

伝統的なマスタリングプロセス、および関連するツールは、コンテンツのチャネルベースのプレゼンテーションに役立つ（例えば、２つのラウドスピーカーやヘッドフォンのような特定の再生レイアウトに適している）。さらに、プロセスで使用できるツールのほとんどは、限定された数のチャンネル（通常、ステレオ、５．１、または７．１）でのみ機能する。

【0008】

この従来のワークフローおよびツールセットは、例えば複数の信号（オーディオチャンネル及び／又は空間オーディオオブジェクト）を含み、ダウンミックスされていない、または低減されたチャンネルセットにレンダリングされていないコンテンツのような、他のフォーマットのオーディオコンテンツに挑戦を投げかける。そのようなコンテンツの一例は、高さチャネル（ｈｅｉｇｈｔ ｃｈａｎｎｅｌｓ）を含むことができる多数のチャネルを有するチャネルベースのオーディオである。このような高さチャンネルを含むチャンネルベースのオーディオコンテンツは、「チャンネルベースのイマーシブオーディオ」と呼ばれることが多い。チャンネルベースのオーディオを多数のチャンネルでマスタリングすることは、通常、限られた数のチャンネル（ステレオ、５．１、７．１）にダウンミックスすることに適用される。

【0009】

オブジェクトベースのイマーシブオーディオは、従来のオーディオチャンネルに加えて、（動的）空間位置に関連するオーディオ信号であるオーディオオブジェクトを含む。オブジェクトベースのイマーシブオーディオコンテンツは、再生中に再生側でレンダリング処理が行われる形式で配信される。その結果、そのコンテンツのマスタリングは（例えば、配信前に）イマーシブまたはオブジェクトベースのフォーマットで実行される必要があり、今日ではツールは存在しないか、ほとんど存在しない。

【0010】

オブジェクトベースのイマーシブオーディオコンテンツは、さまざまな再生システム（モノラル、ステレオ、５．１、７．１、７．１．２、５．１．４ラウドスピーカセットアップ、サウンドバー、ヘッドフォン）に対応したプレゼンテーションにレンダリングすることができる。時間と労力の制約を考慮すると、各再生設定のコンテンツを個別にマスタリングすることは、ほとんど不可能であり、非常に高価で時間がかかる。

【0011】

（チャネルまたはオブジェクトに基づく）イマーシブオーディオコンテンツは、１００以上のオブジェクト及び／又はベッドチャネル（ｂｅｄ ｃｈａｎｎｅｌｓ）から構成される可能性があり、したがって、これらの要素のすべてに同時に適用される共通プロセスは、セットアップが困難であり、高いＣＰＵ負荷を引き起こす可能性があり、したがって、非常に望ましくなく、スケーラブルではない。これは、マスタリングエンジニアがアナログハードウェアを使用することを望む場合に特に当てはまる。アナログハードウェアは、リアルタイムで使用されなければならず、典型的には、ハードウェアの可用性が制限され、オブジェクトまたはチャネルの数が多いために、オブジェクトを順次処理する必要がある。

【0012】

イマーシブ及び／又はオブジェクトベースのオーディオコンテンツは、映画館、ホームオーディオシステムおよびヘッドフォンなどのターゲットプレイバックシステムでの使用にますます人気が高まっている。従って、イマーシブオーディオコンテンツをマスタリングするためにより効率的で柔軟なアプローチを提供することが望ましい。また、オーディオコンテンツの他の例は、改良されたマスタリングプロセスの利点がある。

【発明の概要】

【0013】

本発明の第１の態様は、マスタリングされたオーディオコンテンツを生成する方法に関する。この方法は、マスタリングされたオーディオコンテンツを生成する方法であって、Ｍ１個のオーディオ信号を含む入力オーディオコンテンツの取得するステップと、前記入力オーディオコンテンツのレンダリングされたプレゼンテーションを取得するステップであって、前記レンダリングされたプレゼンテーションはＭ２個のオーディオ信号を含む、取得するステップと、前記レンダリングされたプレゼンテーションをマスタリングすることによって生成されるマスタリングされたプレゼンテーションを取得するステップと、マスタリングされたプレゼンテーションとレンダリングされたプレゼンテーションとを比較し、マスタリングされたプレゼンテーションとレンダリングされたプレゼンテーションとの間の差分の一以上の表示を決定するステップと、入力オーディオコンテンツの一以上のオーディオ信号を、差分の表示に基づいて修正し、マスタリングされたオーディオコンテンツを生成するステップとを含む。

【0014】

従来技術のマスタリングプロセスと比較した提案方法の利点は、以下の通りである：
従来の典型的なステレオベースのチャネルベースのマスタリングツールは、オブジェクトベースのイマーシブオーディオコンテンツを含む任意の入力オーディオコンテンツのマスタリングバージョンを提供するために、マスタリングエンジニアが慣れ親しんでいるものと同一のワークフローで使用することができる。

【0015】

特定の再生レイアウトに基づく従来のマスタリングアプローチとは異なり、本発明の態様は、任意のラウドスピーカレイアウト、モバイルデバイスまたはヘッドフォンにレンダリング可能なマスタリングされたオーディオ資産の作成を可能にする。

【0016】

本発明の態様によるマスタリングプロセスは、各ラウドスピーカセットアップに対して独立してマスタリングする必要なく（すなわち、マスタリングをすれば、どこでも再生できる）、コンテンツの１つまたはいくつかの特定のレンダリングに適用することができる。

【0017】

マスタリングプロセスは、完全に自動的（例えば、クラウドサービスとして、または人工知能に基づいて）またはマニュアル（マスタリングエンジニアによる）であり得る。

【0018】

レンダリングされたプレゼンテーションは、オーディオ再生システム上での再生に適したプレゼンテーションであり、典型的には、より少ない信号（Ｍ１＞Ｍ２）を有するが、状況によっては、入力オーディオコンテンツと同数のオーディオ信号、またはより多くのオーディオ信号を有することがある。

【0019】

入力オーディオコンテンツは、５．１又は７．１のようなマルチチャネルコンテンツであってもよい。入力オーディオコンテンツは、３Ｄオーディオ情報、例えば、チャンネルベースまたはオブジェクトベースのイマーシブオーディオを含むことができる。

【0020】

レンダリングされたプレゼンテーションは、ステレオプレゼンテーション、バイノーラルプレゼンテーション、または任意の他の適切なプレゼンテーションであってもよい。

【0021】

いくつかの実施形態では、差分の表示は、マスタリングされたプレゼンテーションおよびレンダリングされたプレゼンテーションの時間・周波数タイルにおけるエネルギレベルを表し、修正は、入力オーディオコンテンツの信号の各時間・周波数タイルにおけるエネルギを等化するように設計される。

【0022】

例えば、信号

【0023】

【数1】

の時間・周波数タイルのエネルギレベル

【0024】

【数2】

、ここで、ｎは時間セグメントインデックスであり、ｂは周波数帯インデックスであり、ｃはチャネルインデックスであり、そしてｋはサンプルインデックスであり、は、以下の式に従って計算され得る：

【0025】

【数3】

入力オーディオコンテンツを修正するステップは、マスタリングされたプレゼンテーションにおける対応するタイルのエネルギーレベルとレンダリングされたプレゼンテーションとの間の比率をそれぞれ表すタイルごとの利得を適用することを含むことができる。

【図面の簡単な説明】

【0026】

本発明を、本発明の現在の好ましい実施形態を示す添付図面を参照して、より詳細に説明する。

【図1】本発明の一実施形態の概要を示すブロック図である。

【図2】分析および合成フィルターバンクに基づく本発明の実施形態を示すブロック図である。

【図3a】高周波数分解能を有する第１の分析及び合成フィルタバンクを使用する多段階時間・周波数エネルギーマッチングプロセスのための第１のパスを示すブロック図である。

【図3b】図３ａの第１の段階で使用される第１のフィルタバンクとは異なる第２の分析フィルタバンクを使用する多段階時間・周波数エネルギーマッチングプロセスのための第２のパスを示すブロック図である。

【図3c】マスタリングされたオーディオコンテンツを生成するための多段階の時間・周波数エネルギーマッチングプロセスのための第３のパスを示すブロック図である。

【図4】マスタリングされた没入型オーディオ素材の複数のプレゼンテーションがオーディション（ａｕｄｉｔｉｏｎ）され得る実施形態を示すブロック図である。

【図5】ユーザインタラクションに基づくアトリビュートサマリおよびアトリビュート修正を伴う実施形態のブロック図である。

【図6】オーディショニング（ａｕｄｉｔｉｏｎｉｎｇ）実施形態のブロック図である。

【発明を実施するための形態】

【0027】

以下の説明には、ステレオチャンネル資産、マルチチャンネル資産（５．１、７．１）およびイマーシブチャンネル資産（５．１．２、７．１．４、ｅｔｃｅｔｅｒａなどの高さチャンネル）を含むチャンネル資産の一部または全部を含むコンテンツが含まれる。従って、「入力オーディオコンテンツ」という表現は、マルチチャネルオーディオ、高さのある没入型オーディオ（３Ｄオーディオまたはチャネルベースの没入型オーディオと呼ばれることもある）、および一以上のオーディオオブジェクトを含むオーディオコンテンツ（オブジェクトベースの没入型オーディオ）などの一連のＭ１信号を含むオーディオコンテンツをカバーすることを意図している。オーディオオブジェクトは、空間位置に関連付けられたオーディオ信号を含む。例えば、入力オーディオコンテンツが１つの単一オーディオオブジェクトを含む場合には、Ｍ１が１と等しくなることがあることに留意されたい。

【0028】

Ｍ１信号を含む入力オーディオコンテンツは、Ｍ２信号によるプレゼンテーションにレンダリングすることができる。レンダリングは、より少ない信号（例えば、Ｍ２ ＜ Ｍ１）でプレゼンテーションを生成することを含むことが多いが、場合によっては、レンダリングされたプレゼンテーションは、入力オーディオコンテンツと同じ数の信号、またはより多くの信号を有することが望ましいことがある。１つの例は、１つのオーディオオブジェクトのみを持つ入力オーディオコンテンツであり、それは（ラウドスピーカ）チャンネルのセットにレンダリングされることがある。別の例は、５．１または７．１のプレゼンテーションにアップミックスされる２チャンネル（ステレオ）プレゼンテーション、または高さチャンネル（ｈｅｉｇｈｔ ｃｈａｎｎｅｌｓ）を含む別のプレゼンテーションである。したがって、レンダリングは、Ｍ１とＭ２の関係にかかわらず、フルミックスコンテンツに対する（おそらく時変的な）係数のＭ１×Ｍ２行列の適用に一般的に対応すると考えられる。「フルミックス」という表現は、オーディオコンテンツが必ずしも混合されていることを意味するものではなく、より少ない信号セットにさらにレンダリングまたはダウンミックスされることが意図されていることに留意されたい。

【0029】

図１を参照して、本発明の実施形態を以下に説明する。

【0030】

まず、レンダラ１１では、入力オーディオコンテンツ１２が、一以上の再生システム上で再生するためにレンダリングされ、レンダリングされたプレゼンテーション１３となる。一例として、入力オーディオコンテンツは、没入型のオブジェクトベースのコンテンツを含んでもよく、レンダリングされたプレゼンテーションは、スピーカの再生を意図したステレオプレゼンテーションであってもよい。入力オーディオコンテンツがオーディオオブジェクトを含む場合、レンダリングされたプレゼンテーションには、オーディオオブジェクトの時間的に変化するレンダリングが含まれる。

【0031】

レンダリングされたプレゼンテーション１３は、（ダイナミック）イコライザー、（マルチバンド）コンプレッサー、ピークリミッターのようなマスタリングツールを使用してマスタリングモジュール１４でマスタリングされ（処理され）、マスタリングされたプレゼンテーション１５を生じる。マスタリングモジュール１４によって可能にされるマスタリングプロセスは、マスタリングエンジニア、クラウドベースのサービス、人工知能、またはそれらの任意の組み合わせによって実行することができる。

【0032】

比較分析１６は、マスタリングされレンダリングされたプレゼンテーション１５とレンダリングされたプレゼンテーション１３（マスタリング前）とを比較して、これらの２つのプレゼンテーション間の差異を信号又は知覚アトリビュート又はパラメータ１７によって定量的に記述する。

【0033】

入力オーディオコンテンツ１２は、修正ブロック１８において、信号又は知覚アトリビュート又はパラメータ１７に基づいて修正され、マスタリングされたオーディオコンテンツ１９を生成する。

【0034】

比較分析１６及び修正１８は、マスタリングされたオーディオコンテンツ１９を生成し、これは、レンダリングされると、マスタリング処理１４において生成されたマスタリングされレンダリングされたプレゼンテーション１５と同様または同一のサウンドを発する。図１に概説されたプロセスを使用することによって、従来のチャネルベースのマスタリングツールを使用して、任意の再生システム（例えば、レンダリング装置１１で使用されたものとは異なる再生レイアウトを含む）に後でレンダリングすることができるオーディオコンテンツをマスタリングすることができる。

【0035】

図１の要素のうち、時間及び周波数処理、並びに分析及び修正段階１６、１８についての詳細な説明を以下に提供する。図１のレンダリング要素１１およびマスタリング要素１４に関する具体的な詳細は、それぞれ、本発明の性質にとって重要ではなく、任意の適切なレンダリングおよびマスタリングプロセスが使用され得る。例示的なレンダリング方法およびシステムは、例えば、それぞれその全体が本明細書に参照援用されている米国特許第９，１７９，２３６Ｂ２号および第９，２０４，２３６ Ｂ２号に記載されている。例示的なマスタリングプロセスは、例えば、Ｂｏｂ Ｋａｔｚ，Ｔａｙｌｏｒ＆Ｆｒａｎｃｉｓ Ｌｔｄ．，２０１４の「Ｍａｓｔｅｒｉｎｇ Ａｕｄｉｏ」に記載されている。

【0036】

本発明のより詳細な実施形態は、図２に示されており、図１の要素に類似する要素には対応する参照番号が与えられている。

【0037】

図２において、分析段階１６は、２つの段階１６ａ及び１６ｂを含む。まず、タイル形成ブロック１６ａにおいて、レンダリングされたプレゼンテーション１３とマスタリングされレンダリングされたプレゼンテーション１５の両方が、時間セグメント（「フレーム」）に分割される。これらのフレームは、時間的に部分的に重複してもよく、望ましい場合には、ウィンドウ機能によって処理することができる。フレームは、分析フィルタバンク、一以上の帯域通過フィルタ、フーリエ変換、または他の任意の適切な方法によって、さらに周波数帯に分割される。フレーム内のサブバンドは、時間・周波数タイルと呼ばれる。オーバーサンプリングされる及び／又は複雑なフィルターバンク構造は、著しい量のエイリアシング歪みを導入することなく、時間・周波数タイルの処理を可能にし、従って好ましい。そのようなフィルタバンクの例は、複合またはハイブリッド複合直交ミラーフィルタバンク（ＣＱＭＦまたはＨＣＱＭＦ）フィルタバンクおよび離散フーリエ変換（ＤＦＴ）ベースのフィルタバンクであるが、許容可能な結果は、他のフィルタバンク構造（例えば、実数値フィルタに基づくものを含む）を用いても達成され得る。

【0038】

続いて、各時間・周波数タイルに対するタイル比較ブロック１６ｂにおいて、エネルギ、信号レベル、またはラウドネス値などのアトリビュートが、両方のプレゼンテーションについて計算される。

【0039】

次に、修正ブロック１８において、各時間・周波数タイルにおけるアトリビュートの差が、入力オーディオコンテンツ１２に存在する各チャンネル／オブジェクトに重ね合わされる。図２の例では、入力オーディオコンテンツ１２は、まず、ブロック１８ａによって示される時間分割、時間ウインドウ処理、分析フィルタバンクまたはフーリエ変換によって、時間周波数タイルに分割される。これは、タイル比較ブロック１６ｂからの各時間・周波数タイルにおけるアトリビュートの差が、ブロック１８ａからの入力オーディオコンテンツ１２の各対応する時間・周波数タイルに重ね合わされる（ｓｕｐｅｒｉｍｐｏｓｅｄ）ように、ブロック１８ｂにおける時間及び周波数依存の修正を容易にする。

【0040】

修正されたオブジェクト信号は、例えば、マスタリングされたオーディオコンテンツ１９を生成するために、合成フィルタバンク２１を用いて、タイムドメイン信号に変換される。

【0041】

時間・周波数タイルエネルギーマッチング
一実施形態では、分析および修正するアトリビュートは、各サブバンド内のエネルギーである。より具体的には、分析段階は、マスタリング前後の各時間・周波数タイルのエネルギーを比較する。続いて、（マスタリング後およびマスタリング前の比率として）エネルギーの変化が、入力オーディオコンテンツに存在する各オブジェクトまたはチャンネルに重畳される。

【0042】

セグメントｎ、周波数帯域ｂ、プレゼンテーションまたは資産インデックスｐ、オーディオチャンネルまたはオブジェクトインデックスｃ、およびサンプルインデックスｋの帯域制限時間分割信号

【0043】

【数4】

の場合、計算するのに適したアトリビュートの一例は、フレームまたはセグメントｎのサブバンドエネルギー

【0044】

【数5】

【0045】

【数6】

である。

【0046】

プレゼンテーションまたは資産インデックスｐは、次のように与えられる：ｐ＝０はレンダリングされたプレゼンテーションを表し、ｐ＝１はマスタリングされレンダリングされたプレゼンテーションを表し、ｐ＝２はオブジェクトベースのコンテンツを表す。マスタリングされレンダリングされたプレゼンテーション（ｐ＝１）とレンダリングされたプレゼンテーション（ｐ＝０）の間の変化をオブジェクトベースのコンテンツ（ｐ＝２）に伝えるために、利得

【0047】

【数7】

が各チャネルｃ、時間フレームｎ、および周波数帯ｂに適用され、２乗利得は

【0048】

【数8】

で与えられる。

【0049】

ゾーン依存時間・周波数タイルエネルギーマッチング
一実施形態では、サブバンドエネルギーは、前部、後部、天井、水平面などの異なる空間ゾーンにおいて独立して分析される。
各ゾーンのエネルギーは、ゾーンｚに寄与するレンダリングされたプレゼンテーションｃ（ｚ）内のチャネルのエネルギーのみを合計することによって得られる：

【0050】

【数9】

チャネルのゾーンへのマッピングｃ（ｚ）は、手動またはチャネルの正規位置の関数として行うことができる。各ゾーンの利得を計算する：

【0051】

【数10】

時間・周波数処理をオブジェクトｊに適用するとき、フラクションｆ_ｚ，ｊが計算され、これはオブジェクトのエネルギーが各ゾーンｚのエネルギーにどれだけ寄与するかを表す。次に、オブジェクトに適用する利得ｇ’は、各ゾーンにおける利得と各ゾーンに対するオブジェクトの寄与の重み付けされた組み合わせとして表現される：

【0052】

【数11】

ゾーン依存エネルギーマッチングの概念は、単純な例から容易に理解することができる。マスタリングプロセスがレンダリングされた５．１のプレゼンテーションで行われ、マスタリングエンジニアがリアチャネル（Ｌｓ，Ｒｓ）をフロントチャネル（Ｌ，Ｒ，Ｃ）とは異なるように等化（ｅｑｕａｌｉｚｅ）することを決定した場合を考えてみよう。この場合、フロントチャネルとリアチャネルは別々に分析され、５．１レンダリングのフロントチャネルから得られた時間周波数利得は、イマーシブコンテンツの部屋の前半に位置するオブジェクトとチャネルに適用され、５．１レンダリングのリアチャネルから得られた時間周波数利得は、イマーシブコンテンツの部屋の後半に位置するオブジェクトとチャネルに適用される。

【0053】

関数ｆ（ｚ，ｊ）は、イマーシブコンテンツ内のチャンネルとオブジェクトの位置メタデータ（例えば、ｘ，ｙ，ｚ）によって指定することができる。単純なフロント／リアの例を再度見てみると、ｙ＝０が部屋のフロント、ｙ＝１がリアであるという慣習の下では、ｙ＞＝０．５のオブジェクトとチャンネルは５．１のリアチャンネルから得られ、ｙ＜０．５のオブジェクトとチャンネルは５．１のフロントチャンネルから得られる。

【0054】

マルチパス時間・周波数エネルギタイルマッチング
別の実施形態では、図３ａ～図３ｃに例示されているように、利得の別個のセットが、２つ以上の異なるフレームサイズに対して計算される。最初のパスでは、長いフレームサイズが使用され、マスタリング中に実行される等化の周波数にわたる微細なディテールが、オブジェクトベースのプレゼンテーションに正確に適用されることを保証する。フレームサイズが長いために、このプロセスは、高速作動ピークリミッタまたは高速アタックタイムコンプレッサによって導入されるような、高速作動ダイナミック変化を捕捉しない。従って、短いフレーム上で実行される第２のパスは、レンダリングされたプレゼンテーションとマスタリングされレンダリングされたプレゼンテーションとの間の高速作用する変化を分析、捕捉および適用する上で有益であり得る。

【0055】

第１のパスは、図３ａに概略が示されている。入力オーディオコンテンツ１２はレンダラ１１でレンダリングされ、その後プロセス１４でマスタリングされる。マスタリングされレンダリングされたプレゼンテーション１５は、まず、第１のフィルタバンクＡ ３１ａを適用することによって時間・周波数タイルで両方のプレゼンテーションを分割し、次にブロック３２ａの各時間・周波数タイルにおけるエネルギ比を計算することによって、レンダリングされたプレゼンテーション１３と比較される。第１のフィルタバンクＡは、時間と周波数分解能との間に第１の関係を有する。このプロセスは、ブロック３４のレンダリングされたプレゼンテーション１３に適用される一組の利得３３ａをもたらす。出力は、例えば、フィルタバンク３１ａに対応する合成フィルタバンク３５を用いて、中間プレゼンテーション３６と呼ばれる時間領域信号に変換される。後者は、マスタリングされレンダリングされたプレゼンテーションにレンダリングされたプレゼンテーションをマッチさせることを目的として適用される、ゆっくり作用するが高周波数解像度の利得プロファイルを有する。

【0056】

図３ｂに示される第２のパスでは、マスタリングされレンダリングされたプレゼンテーション１５は、異なるフィルタバンク３１ｂを有するが、第１のパスと同様の方法で中間プレゼンテーション３６と比較される。第２のフィルタバンクＢは、第１のフィルタバンクＡとは異なる第２の時間と周波数分解能の関係を有しており、本例では、フィルタバンクＢは、より高い時間分解能を有し、したがって、より低い周波数分解能を有しているが、逆も可能であることに留意されたい。第２のパスは、第２のセットの利得３３ｂをもたらす。

【0057】

図３ｃに示されている第３のパスは、第１及び第２の利得セット３３ａ、３３ｂを入力オーディオコンテンツ１２に適用し、マスタリングされたオーディオコンテンツ３９を生成する。具体的には、第１の時間周波数分析は、分析フィルタバンクＡ ３１ａにおいて適用され、入力オーディオコンテンツ１２を第１の組のＴ／Ｆタイルに分割する（例えば、入力オーディオコンテンツ１２を、時間分割、時間ウインドウ処理、分析フィルタバンクまたはフーリエ変換によって時間周波数タイルに分割する）。次に、利得の第１のセット３３ａがブロック３７に適用され、合成フィルタバンク３５ａが適用されて時間領域信号（「第１段階」オーディオコンテンツと呼ばれる）が形成される。次に、第２のフィルタバンク３１ｂと、第２の利得セット３３ｂを印加するさらなる利得印加ブロック３８と、第２の合成フィルタバンク３５ｂとが、同様の方法で第１段階のオーディオコンテンツに印加され、最終的にマスタリングされたオーディオコンテンツ３９を提供する。

【0058】

この多段階アプローチは、図１に示す一般的な構造に適合することに留意されたい。「アトリビュート分析」は、異なる時間スケール（例えば、フィルタバンク３１ａ及び３１ｂを使用する）での時間・周波数エネルギーの計算を含むことができる。「修正」段階は、図３ｃに示されたスキームに従って利得３３ａ及び３３ｂを適用することを含むことができる。

【0059】

時間周波数ヒストグラムマッチング
別の実施形態では、エネルギの正確な値ではなくフレームをわたる分布が、各周波数帯について一致するか、またはエネルギ分布の少なくともある分位（ｑｕａｎｔｉｌｅｓ）が一致する。この目的のために、以下の処理を適用することができる：
１．レンダリングされたプレゼンテーションのエネルギが、各時間・周波数タイルに対して計算される。
２．続いて、（信号電力領域またはデシベル領域で表現される）エネルギーレベルの分布（ヒストグラム）が、各周波数帯について計算される。
この分布をソース分布と呼ぶ。
３．ステップ１）および２）のプロセスは、マスタリングされレンダリングされたプレゼンテーションのために繰り返され、マスタリングされレンダリングされたプレゼンテーションのための各サブバンドにおけるエネルギーレベルのヒストグラムが得られる。
この分布をターゲット分布と呼ぶ。
４．変換関数は、ソース分布のすべてのレベルに対して利得が提供されるように作成される。この利得がソースコンテンツに適用される場合、ソースエネルギーヒストグラムは、ターゲットのエネルギーヒストグラムと密接に一致しなければならない。
５．ステップ４）の利得は、入力オーディオコンテンツ内のすべてのオーディオオブジェクトまたはチャンネルまたはベッドの対応する時間・周波数タイルに適用され、マスタリングされたオーディオコンテンツが作成される。

【0060】

レベルの変換関数およびマッチングヒストグラムに関するさらなる詳細は、その全体が本明細書に参照援用されるＰＣＴ特許出願ＰＣＴ／ＵＳ２０１９／０４１４５７に開示されている。

【0061】

複数のプレゼンテーションに対する共通のマスタリングプロセス
図４を参照すると、前のセクションで説明したプロセスをワークフローに統合することができる。ワークフローでは、１つのプレゼンテーション（例えば、バイナリヘッドフォンプレゼンテーション）をマスタリング効果を、他のプレゼンテーションでも監査することができます。この具体例では、マスタリングプロセス４４は、入力オーディオコンテンツ４２のバイノーラルプレゼンテーション４３に適用され、マスタリングされたバイノーラルプレゼンテーション４５を形成する。マスタリングの間又は後に、マスタリングプロセス４４の効果は、マスタリングされたオーディオコンテンツ４９を一つ以上の適切なプレゼンテーションにレンダリングする一つ以上のレンダラ４１ｂ－ｄを使用することによって、他のプレゼンテーションでオーディション（ａｕｄｉｔｉｏｎ）することができる。特に、アトリビュート４７の分析４６および修正４８が低遅延でリアルタイムで動作する場合、マスタリングエンジニアは、種々のプレゼンテーション間で、マスタリングプロセスが他のプレゼンテーションにどのように影響するかを単純に切り替えることができる。

【0062】

高レベルアトリビュートのサマリと変更
図５を参照すると、レンダリングされたプレゼンテーションとマスタリングされレンダリングされたプレゼンテーションのアトリビュートの差異をサマリ（ｓｕｍｍａｒｉｚｅ）し、自動的または手動のいずれかで、さらなる修正のために利用可能にして、マスタリング段階のためのさらなるオプションを提供することにより、「マスタリングと分析」にさらなるステップを含めることができる。

【0063】

例えば、サブバンドにおける入力対出力エネルギー曲線は、分析段階から抽出することができ、これらのエネルギー曲線を変更する方法をユーザに提供することができる。これは、例えば、ユーザが（静的）オフセット曲線を提供することを可能にし、入力オーディオコンテンツとマスターオーディオコンテンツとの間のエネルギが計算されるときに、この（静的）オフセット曲線を適用することによって達成することができる。このような曲線は、選択された周波数にわたってエネルギレベルを増加させることができる。あるいは、元の入力オーディオコンテンツとマスタリングされたオーディオコンテンツの分布を決定し、「マスタリング」ステップでマッチングさせることもできる。この場合、ユーザは、例えば、圧縮または拡張を適用するために、様々な分位点曲線（ｑｕａｎｔｉｌｅ ｃｕｒｖｅｓ）を近接またはさらに離すことによって、マスタリングされたコンテンツの分布を修正することができる。このより動的なアプローチは、本明細書に参照援用されるＷＯ２００１４５１７に詳細に記載されている。

【0064】

図５において、図１の要素に対応する要素は、同一の参照番号を与えられている。アトリビュート分析段階１６から得られたアトリビュート１７は、ここでサマリされ、ユーザ、例えばマスタリングエンジニア、にインタラクションプロセス５０において提供される。いくつかの実施形態では、アトリビュート１７は、アトリビュート修正ブロック５６でユーザによって修正されて、修正されたアトリビュート５７を生成することができ、これは、その後、マスタリングされたオーディオコンテンツ５９を生成するために使用することができる。この場合も、このマスタリングされたオーディオコンテンツ５９は、レンダラ５１によって任意の所望のプレゼンテーションにレンダリングされ得る。

【0065】

マスタリングプロセスの効率的なオーディショニング（ａｕｄｉｔｉｏｎｉｎｇ）
前の実施形態では、マスタリングされたオーディオコンテンツを聴く（ａｕｄｉｔｉｏｎｉｎｇ）には、一以上のレンダラが必要であった。いくつかのシナリオでは、レンダラの実行は、処理およびバッテリリソースの点でコストが高すぎる可能性がある。その場合、（マスタリング段階の前に）レンダリング出力にアトリビュートを適用することによって、マスタリングされたオーディオコンテンツをレンダリングするレンダラの出力をシミュレートすることができる。このようにして、入力オーディオコンテンツをマスタリングする効果は、図６に示されるように、ただ１つのレンダリング段階でのみオーディションすることができる。このプロセスは、マスタリング段階で使用されるアルゴリズムのパラメータの調整など、マスタリングプロセス自体が調整（ｔｕｎｅｄ ａｎｄ ａｄｊｕｓｔｅｄ）されている場合に特に有用である。マスタリングプロセスのためのすべてのパラメータが調整されると、直ちに、マスタリングされたオーディオコンテンツが、前のセクションで与えられた実施例に沿って生成される。

【0066】

実施形態
本出願に開示されるシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせとして実装することができる。ハードウェアの実施形態においては、タスクの分割は必ずしも物理的ユニットへの分割に対応しないが、逆に、一つの物理的構成要素が複数の機能を有し、一つのタスクが複数の物理的構成要素によって協調して実行されることがある。一部のコンポーネントまたは全てのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、またはハードウェアとして、または特定用途向け集積回路として実装されてもよい。そのようなソフトウェアは、コンピュータの読み取り可能な媒体で配信することができ、これはコンピュータの記憶媒体（又は非一時的媒体）及び通信媒体（又は一時的媒体）を含んでもよい。当業者には周知のように、用語「コンピュータ記憶媒体」は、コンピュータ読取可能な命令、データ構造、プログラムモジュール、または他のデータのような情報の記憶のための任意の方法または技術で実施される揮発性および不揮発性、取り外し可能および非取り外し可能な媒体の両方を含む。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク、または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶装置、または所望の情報を記憶するために使用することができ、コンピュータによってアクセスすることができる他の任意の媒体が含まれるが、これらに限定されない。さらに、通信媒体は、典型的には、コンピュータ読取可能な命令、データ構造、プログラムモジュールまたはキャリア波または他のトランスポート機構のような変調されたデータ信号におけるその他のデータを具現化し、任意の情報送達媒体を含むことが当業者には周知である。

【0067】

より具体的には、本発明は、様々な方法で実施することができる。

【0068】

一実施形態によれば、本発明は、プロセッサ上で実行されるオフラインプロセスとして実装され、プロセッサは、入力オーディオコンテンツ、レンダリングされたプレゼンテーション、およびマスター化されたレンダリングされたプレゼンテーションを入力として受信する。例えば、プロセッサは、図１及び図２の分析モジュール１６及び修正モジュール１８の機能を実行し、結果としてマスタリングされたオーディオコンテンツを提供するように構成することができる。この処理は、ローカルまたはクラウド内で行うことができます。

【0069】

また、図３ａ～図３ｃを参照して説明した３段階プロセスは、このようなオフラインプロセスで実施することができる。

【0070】

更に別の実施形態によれば、本発明は、例えば、デジタルオーディオワークステーション（ＤＡＷ）内のリアルタイムプロセスとして実施され、例えば、図１及び図２のレンダラ１１及びマスタリングプロセス１４も実時間で実施及び実行することができる。

【0071】

このようなリアルタイムプロセスでは、図５及び図６のユーザインタラクション５０及びアトリビュート修正５６も実装することができる。そのようなプロセスは、一以上の再生プレゼンテーション上のマスタリングプロセスのリアルタイムオーディショニング（ａｕｄｉｔｉｏｎｉｎｇ）を可能にする。

【0072】

一般化
本明細書中で使用されるように、共通のオブジェクトを記述するための順序形容詞「第１の」、「第２の」、「第３の」などの使用は、単に、類似のオブジェクトの異なるインスタンスが参照されていることを示し、かつ、そのように記述された物体が、時間的に、空間的に、ランク付けにおいて、または他の方法で、所与の順序になければならないことを意味することは意図していない。

【0073】

特許請求の範囲および本明細書中の説明において、用語のうちのいずれか１つは、以下の要素／特徴を少なくとも含むが、他の要素を除外しないオープン用語（ｏｐｅｎ ｔｅｒｍ）である。したがって、特許請求の範囲において使用される場合、この用語は、その後に列挙される手段、要素、またはステップに限定されるものとして解釈されるべきではない。例えば、Ａ及びＢを含む装置は、要素Ａ及びＢのみからなる装置に限定されるべきではない。本明細書で使用される「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｗｈｉｃｈ ｉｎｃｌｕｄｅｓ）」、または「含む（ｔｈａｔ ｉｎｃｌｕｄｅｓ）」との用語のいずれか１つは、オープン用語であり、それに続く少なくとも要素／特徴を含むが、他の用語を排除しないことを意味する。従って、「含む（ｉｎｃｌｕｄｉｎｇ）」は、「有する（ｃｏｍｐｒｉｓｉｎｇ）」と同義であり、かつ、有することを意味する。

【0074】

本明細書で使用されるように、用語「例示的（ｅｘｅｍｐｌａｒｙ）」は、品質を示すのではなく、例を提供するという意味で使用される。すなわち、「例示的実施形態」は、必然的に例示的品質の実施形態ではなく、例として提供される実施形態である。

【0075】

言うまでもなく、本発明の例示的な実施形態の上述の説明では、本発明の種々の特徴が、開示を合理化し、種々の発明的側面の一以上の理解を助ける目的で、単一の実施形態、図面、またはその説明に一緒にグループ化される。。しかし、この開示方法は、クレームに係る発明が各クレームにおいて明示的に記載されているよりも多くの特徴を必要とするという意図を反映するものと解釈されるべきではない。むしろ、以下の特許請求の範囲が表すように、決して先に開示した単一の実施形態のすべての特徴に発明的要素が存在するわけではない。したがって、詳細な説明に続く特許請求の範囲は、本明細書において、この詳細な説明に明示的に組み込まれ、本発明の別個の実施形態として、各特許請求の範囲はそれ自体に存在する。

【0076】

さらに、本明細書に記載されるいくつかの実施形態は、他の実施形態に含まれるが、含まれないいくつかの他の特徴を含むが、当業者には理解されるように、異なる実施形態の特徴の組み合わせは、本発明の範囲内であり、異なる実施形態を形成することを意味する。例えば、以下の請求項では、請求項に記載された実施形態のいずれかを任意の組み合わせで使用することができる。

【0077】

さらに、いくつかの実施形態は、コンピュータシステムのプロセッサによって、または機能を実行する他の手段によって実現することができる方法または方法の要素の組み合わせとして本明細書に記載されている。従って、そのような方法又は方法の要素を実行するために必要な指示を有するプロセッサは、方法又は要素を実行するための手段を形成する。さらに、装置の実施形態の本明細書に記載されている要素は、本発明を実施する目的のために要素によって実行される機能を実行するための手段の例である。

【0078】

本明細書に提供される説明において、多数の具体的な詳細が記載されている。しかし、言うまでもなく、本発明の実施例を、こうした具体的な詳細なしで実施し得る。他の例では、周知の方法、構造および技術は、この説明の理解を不明瞭にしないために詳細には示されていない。

【0079】

同様に、「結合された」との用語は、クレームにおいて使用される場合、直接接続のみに限定されるものとして解釈されるべきではないことに留意されたい。「結合された」および「接続された」という用語は、それらの活用形と共に使用され得る。
従って、これらの用語は、互いに同義語として意図されたものではない。従って、「装置Ｂに結合された装置Ａ」という表現の範囲は、装置Ａの出力が装置Ｂの入力に直接接続される装置またはシステムに限定されるべきではなく、装置Ａの出力とＢの入力との間に、他の装置または手段を含む経路であり得る経路が存在することを意味する。「結合された」という用語は、２つ以上の要素が、直接的な物理的または電気的接触にあるか、または２つ以上の要素が、互いに直接的に接触していなくても協働または相互作用していることを意味し得る。

【0080】

このように、本発明の特定の実施形態を説明したが、当業者であれば、本発明の精神から逸脱することなく、他の更なる変更を加えることが可能であり、言うまでもなく、そのような変更および修正のすべてを本発明の範囲に含まれるものとして請求することが意図されている。例えば、上述の式は、単に使用され得る手順を表すに過ぎない。ブロック図から機能を追加または削除することができ、機能ブロック間で操作を交換することができる。ステップが、本発明の範囲内に記載される方法に追加または削除され得る。さらに、入力オーディオコンテンツおよびレンダリングされたプレゼンテーションは、実施例で使用されるものとは異なるフォーマットを有することがある。また、フィルタバンク以外の手段を使用して、信号を時間周波数タイルに分割してもよい。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図4】

【図5】

【図6】