特許 7138814 ダウンミックスされたオーディオ・コンテンツについてのラウドネス調整

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-08

(45)【発行日】2022-09-16

(54)【発明の名称】ダウンミックスされたオーディオ・コンテンツについてのラウドネス調整

(51)【国際特許分類】

   H04S 7/00 20060101AFI20220909BHJP

   H04R 3/00 20060101ALI20220909BHJP

【ＦＩ】

H04S7/00 300

H04R3/00 310

【請求項の数】 8

【外国語出願】

(21)【出願番号】P 2022035109

(22)【出願日】2022-03-08

(62)【分割の表示】P 2020208417の分割

【原出願日】2014-09-09

(65)【公開番号】P2022066478

(43)【公開日】2022-04-28

【審査請求日】2022-03-08

(31)【優先権主張番号】61/877,230

(32)【優先日】2013-09-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】61/891,324

(32)【優先日】2013-10-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】61/892,313

(32)【優先日】2013-10-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】61/938,043

(32)【優先日】2014-02-10

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(73)【特許権者】

【識別番号】510185767

【氏名又は名称】ドルビー・インターナショナル・アーベー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ワード，マイケル

(72)【発明者】

【氏名】リードミラー，ジェフリー

(72)【発明者】

【氏名】ノークロス，スコット グレゴリー

(72)【発明者】

【氏名】グロエシェル，アレクサンダー

【審査官】大石 剛

(56)【参考文献】

【文献】特開２０１１－０３０２２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

Ｈ０４Ｒ ３／００

(57)【特許請求の範囲】

【請求項1】

エンコーダで生成されたラウドネス・メタデータに基づいてオーディオ信号を利得調整する方法であって：
参照チャネル構成とは異なる再生チャネル構成で動作するオーディオ・デコーダによって、前記参照チャネル構成のためのオーディオ信号を受領する段階であって、前記オーディオ信号は前記参照チャネル構成の各チャネルについてのオーディオ・サンプル・データおよび前記エンコーダで生成されたラウドネス・メタデータを含み、前記エンコーダで生成されたラウドネス・メタデータは前記再生チャネル構成および前記参照チャネル構成を含む複数のチャネル構成についてのラウドネス・メタデータを含む、段階と；
前記複数のチャネル構成についてのラウドネス・メタデータから、前記再生チャネル構成についてのラウドネス・メタデータを選択する段階と；
前記再生チャネル構成についてのラウドネス・メタデータからラウドネス調整利得を決定する段階と；
前記ラウドネス調整利得を前記オーディオ・サンプル・データに適用される全体的な利得の一部として適用して、前記再生チャネル構成の各チャネルについて出力オーディオ・サンプル・データを生成する段階とを含み、
前記ラウドネス調整利得は、前記再生チャネル構成についてのラウドネス・メタデータによって示されるラウドネス・レベルと、参照ラウドネス・レベルとに依存し、
前記再生チャネル構成は、前記参照チャネル構成とは異なる数のオーディオ・チャネルをもつ、
方法。

【請求項2】

前記全体的な利得は：ダウンミックスに関係した利得、前記オーディオ・サンプル・データの入力ダイナミックレンジが変換された元のダイナミックレンジを復元することに関係した利得、利得制限に関係した利得、利得平滑化に関係した利得またはダイアログ・ラウドネス正規化に関係した利得のうちの一つまたは複数を含む、請求項１に記載の方法。

【請求項3】

前記全体的な利得は、前記再生チャネル構成におけるチャネルの部分集合に適用される利得を含む、請求項１に記載の方法。

【請求項4】

前記再生チャネル構成は2チャネル構成である、請求項１に記載の方法。

【請求項5】

前記ラウドネス調整利得は、前記再生チャネル構成についてのラウドネス・メタデータによって示されるラウドネス・レベルと、前記参照ラウドネス・レベルとの間の差に依存する、請求項１に記載の方法。

【請求項6】

前記オーディオ・デコーダは、前記参照ラウドネス・レベルを設定する、請求項１に記載の方法。

【請求項7】

ソフトウェア命令を記憶している非一時的なコンピュータ読み取り可能記憶媒体であって、前記ソフトウェア命令は、一つまたは複数のプロセッサによって実行されると：
参照チャネル構成とは異なる再生チャネル構成で動作するオーディオ・デコーダによって、前記参照チャネル構成のためのオーディオ信号を受領する段階であって、前記オーディオ信号は前記参照チャネル構成の各チャネルについてのオーディオ・サンプル・データおよびエンコーダで生成されたラウドネス・メタデータを含み、前記エンコーダで生成されたラウドネス・メタデータは前記再生チャネル構成および前記参照チャネル構成を含む複数のチャネル構成についてのラウドネス・メタデータを含む、段階と；
前記複数のチャネル構成についてのラウドネス・メタデータから、前記再生チャネル構成についてのラウドネス・メタデータを選択する段階と；
前記再生チャネル構成についてのラウドネス・メタデータからラウドネス調整利得を決定する段階と；
前記ラウドネス調整利得を前記オーディオ・サンプル・データに適用される全体的な利得の一部として適用して、前記再生チャネル構成の各チャネルについて出力オーディオ・サンプル・データを生成する段階とを実行させるものであり、
前記ラウドネス調整利得は、前記再生チャネル構成についてのラウドネス・メタデータによって示されるラウドネス・レベルと、参照ラウドネス・レベルとに依存し、
前記再生チャネル構成は、前記参照チャネル構成とは異なる数のオーディオ・チャネルをもつ、
媒体。

【請求項8】

エンコーダで生成されたラウドネス・メタデータに基づいてオーディオ信号を利得調整するためのオーディオ信号処理装置であって、当該オーディオ信号処理装置は：
参照チャネル構成とは異なる再生チャネル構成で動作するオーディオ・デコーダによって、前記参照チャネル構成のためのオーディオ信号を受領する段階であって、前記オーディオ信号は前記参照チャネル構成の各チャネルについてのオーディオ・サンプル・データおよび前記エンコーダで生成されたラウドネス・メタデータを含み、前記エンコーダで生成されたラウドネス・メタデータは前記再生チャネル構成および前記参照チャネル構成を含む複数のチャネル構成についてのラウドネス・メタデータを含む、段階と；
前記複数のチャネル構成についてのラウドネス・メタデータから、前記再生チャネル構成についてのラウドネス・メタデータを選択する段階と；
前記再生チャネル構成についてのラウドネス・メタデータからラウドネス調整利得を決定する段階と；
前記ラウドネス調整利得を前記オーディオ・サンプル・データに適用される全体的な利得の一部として適用して、前記再生チャネル構成の各チャネルについて出力オーディオ・サンプル・データを生成する段階とを実行し、
前記ラウドネス調整利得は、前記再生チャネル構成についてのラウドネス・メタデータによって示されるラウドネス・レベルと、参照ラウドネス・レベルとに依存し、
前記再生チャネル構成は、前記参照チャネル構成とは異なる数のオーディオ・チャネルをもつ、
オーディオ信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は2013年9月12日に出願された米国仮特許出願第61/877,230号、2013年10月15日に出願された米国仮特許出願第61/891,324号、2014年2月10日に出願された米国仮特許出願第61/938,043号および2013年10月17日に出願された米国仮特許出願第61/892,313号の優先権を主張するものである。各出願の内容はここに参照によってその全体において組み込まれる。

【0002】

技術
本発明は、概括的にはオーディオ信号の処理に、より詳細にはダイナミックレンジ制御および他の型のオーディオ処理動作を幅広い多様な再生環境のうちの任意のものにおいてオーディオ信号に適用することに使用されうる技法に関する。

【背景技術】

【0003】

メディア消費装置の高まる人気は、そうした装置での再生のためのメディア・コンテンツのクリエーターおよび頒布者にとって、またはそうした装置の設計者および製造業者にとって新たな機会と課題を作り出した。多くの消費者装置は幅広いメディア・コンテンツの型およびフォーマットを再生でき、中にはHDTV、ブルーレイまたはDVDのためのしばしば高品質、広帯域幅および広いダイナミックレンジのオーディオ・コンテンツに関連するものも含まれる。メディア処理装置は、この型のオーディオ・コンテンツを、自らの内部音響トランスデューサ上でまたはヘッドフォンのような外部トランスデューサ上で再生するために使用されうる。しかしながら、メディア処理装置は一般には、多様なメディア・フォーマットおよびコンテンツ型にわたる一貫したラウドネスおよび了解性をもってこのコンテンツを再生することはできない。

【0004】

このセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、このセクションにおいて記述されるアプローチはいずれも、このセクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、このセクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

【図面の簡単な説明】

【0005】

本発明は、限定ではなく例として、付属の図面において示される。図面において、同様の参照符号は同様の要素を指す。

【図1A】例示的なオーディオ・デコーダを示す図である。

【図1B】例示的なオーディオ・エンコーダを示す図である。

【図2A】例示的なダイナミックレンジ圧縮曲線を示す図である。

【図2B】例示的なダイナミックレンジ圧縮曲線を示す図である。

【図3】組み合わされたDRCおよび制限利得の決定／計算の例示的な処理論理を示す図である。

【図4】利得の例示的な差分符号化を示す図である。

【図5】オーディオ・エンコーダおよびオーディオ・デコーダを有する例示的なコーデック・システムを示す図である。

【図6A】例示的なプロセス・フローを示す図である。

【図6B】例示的なプロセス・フローを示す図である。

【図6C】例示的なプロセス・フローを示す図である。

【図6D】例示的なプロセス・フローを示す図である。

【図7】本稿に記載されるコンピュータまたはコンピューティング装置が実装されうる例示的なハードウェア・プラットフォームを示す図である。

【発明を実施するための形態】

【0006】

ダイナミックレンジ制御および他の型のオーディオ処理動作を幅広い多様な再生環境のうちの任意のものにおいてオーディオ信号に適用することに関する例示的実施形態が本稿で記述される。以下の記述では、説明の目的のため、本発明の十全な理解を提供するために、説明の目的で数多くの個別的詳細が記載される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、本発明を無用に隠蔽し、かすませ、あるいは埋没させるのを避けるために、よく知られた構造および装置は網羅的な詳細さでは記述されない。

【0007】

例示的実施形態は本稿では以下のアウトラインに従って記述される。
１．全般的概観
２．ダイナミックレンジ制御
３．オーディオ・デコーダ
４．オーディオ・エンコーダ
５．ダイナミックレンジ圧縮曲線
６．DRC利得、利得制限および利得平滑化
７．入力平滑化および利得平滑化
８．複数周波数帯域にわたるDRC
９．ラウドネス領域でのボリューム調整
１０．ダウンミックス・ラウドネス調整
１１．利得に関係した追加的動作
１２．特定的およびブロードバンド（または広帯域）のラウドネス・レベル
１３．チャネルの個々の部分集合のための個々の利得
１４．聴覚シーン解析
１５．ラウドネス・レベル遷移
１６．リセット
１７．エンコーダによって提供される利得
１８．例示的なシステムおよびプロセス・フロー
１９．実装機構――ハードウェアの概観
２０．等価物、拡張、代替その他。

【0008】

〈１．全般的概観〉
この概観は、本発明の実施形態のいくつかの側面の基本的な記述を提示する。この概観は該実施形態の諸側面の包括的ないし網羅的な要約ではないことは注意しておくべきである。さらに、この概観は、該実施形態の何らかの特に有意な側面もしくは要素を特定するものと理解されることも、一般には本発明の、特に該実施形態の何らかの範囲を画定するものと理解されることも、意図されていないことを注意しておくべきである。この概観は単に、その例示的実施形態に関係するいくつかの概念を凝縮された単純化された形式で提示するものであり、単に後続の例示的な諸実施形態のより詳細な説明への概念的な導入部として理解されるべきである。別個の諸実施形態が本稿において論じられるが、本稿で論じられる実施形態および／または部分実施形態の任意の組み合わせがさらなる実施形態をなすよう組み合わされてもよいことを注意しておく。

【0009】

いくつかのアプローチでは、エンコーダは、ダイナミックレンジ制御の目的のためにオーディオ・コンテンツが特定の環境のためにエンコードされていることを想定し、その特定の環境のために、ダイナミックレンジ制御などのための利得のようなオーディオ処理パラメータを決定する。これらのアプローチのもとでエンコーダによって決定される利得は、典型的には、何らかの時定数をもって（たとえば指数関数型減衰関数などにおいて）、何らかの時間区間にわたってなどで平滑化されたものである。さらに、これらのアプローチのもとでエンコーダによって決定される利得は、想定される環境についてラウドネス・レベルがクリッピング・レベルを上回らないことを保証する利得制限のために組み込まれたものであってもよい。よって、これらのアプローチのもとでエンコーダによってオーディオ情報とともにオーディオ信号中にエンコードされる利得は、多くの異なる影響の結果であり、不可逆である。これらのアプローチのもとで利得を受け取るデコーダは、利得のどの部分がダイナミックレンジ制御のためで、利得のどの部分が利得平滑化のためで、利得のどの部分が利得制限のためであるかなどを区別できないであろう。

【0010】

本稿に記載される技法のもとでは、オーディオ・エンコーダは、オーディオ・デコーダにおける特定の再生環境がサポートされるだけでよいとは想定しない。ある実施形態では、オーディオ・エンコーダは、（たとえばクリッピングなどのない）正しいラウドネス・レベルが決定できるもとになるオーディオ・コンテンツをもつエンコードされたオーディオ信号を送信する。オーディオ・エンコーダは一つまたは複数のダイナミックレンジ圧縮曲線もオーディオ・デコーダに送信してもよい。該一つまたは複数のダイナミックレンジ圧縮曲線のいずれも、標準ベースのものでも、独自のものでも、カスタマイズされたものでも、コンテンツ・プロバイダー固有のものなどでもよい。参照ラウドネス・レベル、アタック時間、リリース時間などがオーディオ・エンコーダによって、前記一つまたは複数のダイナミックレンジ圧縮曲線の一部としてまたは前記一つまたは複数のダイナミックレンジ圧縮曲線との関連で送信されてもよい。

【0011】

いくつかの実施形態では、オーディオ・エンコーダは、聴覚シーン解析（ASA: auditory scene analysis）技法を実装し、該ASA技法をオーディオ・コンテンツにおける聴覚イベントを検出するために使い、検出された聴覚イベントを記述する一つまたは複数のASAパラメータをオーディオ・デコーダに送る。

【0012】

いくつかの実施形態では、オーディオ・エンコーダは、オーディオ・コンテンツにおけるリセット・イベントを検出し、該リセット・イベントの指標を時間同期的な仕方でオーディオ・コンテンツと一緒にオーディオ・デコーダなどのような下流の装置に送るようにも構成されることができる。

【0013】

いくつかの実施形態では、オーディオ・エンコーダは、オーディオ・コンテンツの個々の部分（たとえばオーディオ・データ・ブロック、オーディオ・データ・フレームなど）のための利得（たとえばDRC利得など）の一つまたは複数の集合を計算し、該利得の集合を、オーディオ・コンテンツの該個々の部分と一緒に、エンコードされたオーディオ信号中にエンコードするよう構成されることができる。いくつかの実施形態では、オーディオ・エンコーダによって生成される利得の集合は、一つまたは複数の利得プロファイルに対応する。いくつかの実施形態では、ハフマン符号化、差分符号化などが前記利得の集合を諸オーディオ・データ・フレームの構成要素、細分などに符号化し、あるいは該構成要素、細分などから前記利得の集合を読み取るために使用されてもよい。これらの構成要素、細分などは、オーディオ・データ・フレームのサブフレームと称されることがある。利得の異なる集合がサブフレームの異なる集合に対応してもよい。利得の各集合またはサブフレームの各集合が二つ以上の時間的構成要素（たとえばサブフレームなど）を有していてもよい。いくつかの実施形態では、本稿に記載されるオーディオ・エンコーダにおけるビットストリーム・フォーマット器は、一つまたは複数のforループを用いて、利得の一つまたは複数の集合を、差分データ符号として、オーディオ・データ・フレームにおけるサブフレームの一つまたは複数の集合中に一緒に書き込んでもよい。対応して、本稿に記載されるオーディオ・デコーダにおけるビットストリーム・パーサーは、オーディオ・データ・フレームにおけるサブフレームの前記一つまたは複数の集合から、前記差分データ符号として符号化された利得の前記一つまたは複数の集合のいずれかを読んでもよい。

【0014】

いくつかの実施形態では、オーディオ・エンコーダは、エンコードされたオーディオ信号中にエンコードされるべきオーディオ・コンテンツにおけるダイアログ・ラウドネス・レベルを決定し、ダイアログ・ラウドネス・レベルをオーディオ・コンテンツと一緒にオーディオ・デコーダに送る。

【0015】

いくつかの実施形態では、オーディオ・コンテンツは、前記エンコードされたオーディオ信号において、多くのオーディオ・デコーダ（たとえば携帯電話、タブレット・コンピュータなど）が動作する場合（たとえば二チャネル・ヘッドセット構成など）より多くのオーディオ・チャネルまたはスピーカーを有する参照スピーカー構成（たとえばサラウンドサウンド構成、5.1スピーカー構成など）のためにエンコードされている。前記オーディオ・コンテンツの個々の部分についての前記参照スピーカー構成において測定されるラウドネス・レベルは、前記オーディオ・コンテンツの同じ個々の部分についての、たとえば二チャネル構成などのような特定のスピーカー構成において測定されるラウドネス・レベルとは、たとえ両方のスピーカー構成において同じ利得調整がなされるとしても、異なることがある。

【0016】

いくつかの実施形態では、本稿に記載されるオーディオ・エンコーダは、ダウンミックス関係メタデータ（たとえば、一つまたは複数のダウンミックス・ラウドネス・パラメータなどを含む）を下流のオーディオ・デコーダに提供するよう構成される。オーディオ・エンコーダ（１５０）からのダウンミックス関係メタデータは、ダウンミックス音出力において比較的正確な目標ラウドネス・レベルを生成するために、追加的なダウンミックス関係利得調整動作（たとえばリアルタイム、ほぼリアルタイムなどの）を効率的かつ整合的に実行するために、下流のオーディオ・デコーダによって使用されることができる。該追加的なダウンミックス関係利得調整動作は、参照スピーカー構成とデコーダの特定のスピーカー構成との間の測定されるラウドネス・レベルにおける不整合を防止するために、下流のオーディオ・デコーダによって使用されうる。

【0017】

本稿に記載される技法は、オーディオ・デコーダが、仮定のオーディオ・デコーダにおける仮定の再生環境、シナリオなどを想定しつつ、オーディオ・エンコーダなどのような上流の装置によって実行されたかもしれない（たとえば不可逆などの）オーディオ処理とロックインされることを要求しない。本稿に記載されるデコーダは、たとえばオーディオ・コンテンツにおいて存在する種々のラウドネス・レベルを区別し、境界ラウドネス・レベルまたはその近くでのオーディオ知覚品質の損失を最小限にし、チャネルまたはチャネルの部分集合の間での空間的バランスを維持するなどのために、特定の再生シナリオに基づいてオーディオ処理動作をカスタマイズするよう構成されていてもよい。

【0018】

ダイナミックレンジ圧縮曲線、参照ラウドネス・レベル、アタック時間、リリース時間などをもつエンコードされたオーディオ信号を受領するオーディオ・デコーダは、デコーダにおいて使われている特定の再生環境を決定し、該特定の再生環境に対応する、対応する参照ラウドネス・レベルをもつ特定の圧縮曲線を選択することができる。

【0019】

デコーダは、エンコードされたオーディオ信号から抽出されたオーディオ・コンテンツの個々の部分（たとえばオーディオ・データ・ブロック、オーディオ・データ・フレームなど）におけるラウドネス・レベルを計算／決定する、あるいはオーディオ・エンコーダがラウドネス・レベルを計算してエンコードされたオーディオ信号において提供していた場合にはオーディオ・コンテンツの個々の部分におけるラウドネス・レベルを取得することができる。オーディオ・コンテンツの個々の部分におけるラウドネス・レベル、オーディオ・コンテンツの以前の部分におけるラウドネス・レベル、利用可能であればオーディオ・コンテンツのその後の部分におけるラウドネス・レベル、前記特定の圧縮曲線、前記特定の再生環境またはシナリオに関係した特定のプロファイルなどのうちの一つまたは複数に基づいて、デコーダは、ダイナミックレンジ制御のための利得（DRC利得）、アタック時間、リリース時間などのようなオーディオ処理パラメータを決定する。オーディオ処理パラメータは、特定の再生環境についての特定の参照ラウドネス・レベル（これはユーザー調整可能であってもよい）にダイアログ・ラウドネス・レベルを揃えるための調整をも含むことができる。

【0020】

デコーダは、前記オーディオ処理パラメータをもって、（たとえばマルチチャネル、マルチ帯域などの）ダイナミックレンジ制御、ダイアログ・レベル調整などを含むオーディオ処理動作を適用する。デコーダによって実行されるオーディオ処理動作はさらに、選択されたダイナミックレンジ圧縮曲線の一部としてまたはそれとの関連で提供されるアタック時間およびリリース時間に基づく利得平滑化、クリッピングを防止するための利得制限などを含んでいてもよいが、それだけに限られるものではない。異なるオーディオ処理動作は、異なる（たとえば調整可能、閾値依存、制御可能などの）時定数をもって実行されてもよい。たとえば、クリッピングを防止するための利得制限は、比較的短い時定数（たとえば瞬間的、約5.3ミリ秒など）をもって個々のオーディオ・データ・ブロック、個々のオーディオ・データ・フレームなどに適用されてもよい。

【0021】

いくつかの実施形態では、デコーダは、エンコードされたオーディオ信号におけるメタデータからASAパラメータ（たとえば、聴覚イベント境界の時間的位置、イベント確実性指標の時間依存値など）を抽出し、抽出されたASAパラメータに基づいて聴覚イベントにおける利得平滑化の速度を制御する（たとえば、聴覚イベント境界ではアタックについて短い時定数を使う、聴覚イベント内の利得平滑化を遅くするために長い時定数を使うなど）よう構成されることができる。

【0022】

いくつかの実施形態では、デコーダは、ある時間区間または窓についての瞬時ラウドネス・レベルのヒストグラムも維持し、該ヒストグラムを、プログラムとプログラムの間、プログラムとコマーシャルの間などのラウドネス・レベル遷移における利得変化の速度をたとえば時定数を修正することによって制御するために使う。

【0023】

いくつかの実施形態では、デコーダは、二つ以上のスピーカー構成（たとえば、スピーカーでのポータブル・モード、ヘッドフォンでのポータブル・モード、ステレオ・モード、マルチチャネル・モードなど）をサポートする。デコーダは、たとえば同じオーディオ・コンテンツを再生するときに、二つの異なるスピーカー構成の間で（たとえばステレオ・モードとマルチチャネル・モードの間などで）同じラウドネス・レベルを維持するよう構成されていてもよい。オーディオ・デコーダは、ある参照スピーカー構成についてのエンコードされたオーディオ信号から受領されるマルチチャネル・オーディオ・コンテンツを、該オーディオ・デコーダにおける特定のスピーカー構成にダウンミックスするために、一つまたは複数のダウンミックスの式を使ってもよい。前記マルチチャネル・オーディオ・コンテンツは、前記参照スピーカー構成のために符号化されたものである。

【0024】

いくつかの実施形態では、本稿に記載されるオーディオ・デコーダにおいて自動利得制御（AGC）が無効にされてもよい。

【0025】

いくつかの実施形態では、オーディオビジュアル装置、フラットパネルTV、ハンドヘルド装置、ゲーム機、テレビジョン、ホームシアター・システム、タブレット、モバイル装置、ラップトップ・コンピュータ、ネットブック・コンピュータ、セルラー無線電話、電子書籍リーダー、ポイントオブセール端末、デスクトップ・コンピュータ、コンピュータ・ワークステーション、コンピュータ・キオスク、さまざまな他の種類の端末およびメディア処理ユニットなどを含むがそれに限られない、メディア処理システムの一部をなす。

【0026】

本稿に記載される好ましい実施携帯および一般的な原理および特徴に対するさまざまな修正が、当業者にはすぐに明白となるであろう。よって、本開示は、示されている実施形態に限定されることは意図されておらず、本稿に記載される原理および特徴と整合する最も広い範囲を与えられるものである。

【0027】

〈２．ダイナミックレンジ制御〉
カスタマイズされたダイナミックレンジ制御なしでは、入力オーディオ情報（たとえばPCMサンプル、QMFマトリクスにおける時間‐周波数サンプルなど）はしばしば、再生装置の特定の再生環境（すなわち、装置の物理的および／または機械的な再生限界を含む）には不適切なラウドネス・レベルで再生される。再生装置の特定の再生環境は、エンコードされたオーディオ・コンテンツがエンコード装置において符号化されたときに目標とされた再生環境とは異なることがありうるからである。

【0028】

本稿に記載される技法は、オーディオ・コンテンツの知覚的品質を維持しつつ、幅広い多様な再生環境の任意のものにカスタマイズされた幅広い多様なオーディオ・コンテンツのダイナミックレンジ制御をサポートするために使用できる。

【0029】

ダイナミックレンジ制御（DRC）とは、オーディオ・コンテンツにおけるラウドネス・レベルの入力ダイナミックレンジを、該入力ダイナミックレンジとは異なる出力ダイナミックレンジに変える（たとえば圧縮する、カットする、拡張する、ブーストするなど）時間依存のオーディオ処理動作をいう。たとえば、ダイナミックレンジ制御のシナリオにおいて、ソフトな音はより高いラウドネス・レベルにマッピング（たとえばブーストなど）されてもよく、ラウドな音はより低いラウドネス値にマッピング（たとえばカットなど）されてもよい。結果として、ラウドネス領域において、この例では、ラウドネス・レベルの出力範囲は、ラウドネス・レベルの入力範囲より小さくなる。しかしながら、いくつかの実施形態では、ダイナミックレンジ制御は、もとの範囲が復元されるよう可逆であることがある。たとえば、もとのラウドネス・レベルからマッピングされた出力ダイナミックレンジにおけるマッピングされたラウドネス・レベルがクリッピング・レベル以下である、各一意的なもとのラウドネス・レベルが一意的な出力ラウドネス・レベルにマッピングされるなどである限り、もとの範囲を復元するために伸張動作が実行されうる。

【0030】

本稿に記載されるDRC技法は、ある種の再生環境または状況における、よりよい聴取経験を提供するために使用されることができる。たとえば、騒々しい環境におけるソフトな音は、該ソフトな音を聞こえなくするノイズによってマスクされてしまうことがありうる。逆に、たとえばやかましい隣人のようないくつかの状況においては、ラウドな音が望まれないことがありうる。典型的には小さな形状因子のラウドスピーカーをもつ多くの装置は、高い出力レベルで音を再生できない。いくつかの場合には、低めの信号レベルは人間の聴覚閾値より下で再生されることがありうる。DRC技法は、ダイナミックレンジ圧縮曲線を用いて見出されたDRC利得（たとえばオーディオ振幅をスケーリングするスケーリング因子、ブースト比、カット比など）に基づいて、入力ラウドネス・レベルを出力ラウドネス・レベルにマッピングすることを実行しうる。

【0031】

ダイナミックレンジ圧縮曲線とは、個々のオーディオ・データ・フレームから決定される（たとえばダイアログ以外の音などの）個々の入力ラウドネス・レベルを、個々の利得またはダイナミックレンジ制御のための利得にマッピングする関数（たとえばルックアップテーブル、曲線、多セグメントの区分直線など）をいう。個々の利得のそれぞれは、対応する個々の入力ラウドネス・レベルに適用されるべき利得の大きさを指示する。個々の利得を適用した後の出力ラウドネス・レベルは、特定の再生環境における、当該個々のオーディオ・データ・フレームにおけるオーディオ・コンテンツのための、目標ラウドネス・レベルを表わす。

【0032】

利得とラウドネス・レベルの間のマッピングを指定することに加えて、ダインミックレンジ圧縮曲線は、特定の利得を適用する際の特定のリリース時間およびアタック時間を含んでいてもよく、あるいはそれらを提供されてもよい。アタックとは、相続く時間サンプルの間の信号エネルギー（またはラウドネス）の増大をいう。一方、リリースとは、相続く時間サンプルの間の信号エネルギー（またはラウドネス）の減少をいう。アタック時間（たとえば10ミリ秒、20ミリ秒など）は、対応する信号がアタック・モードにあるときにDRC利得を平滑化する際に使われる時定数をいう。リリース時間（たとえば80ミリ秒、100ミリ秒など）は、対応する信号がリリース・モードにあるときにDRC利得を平滑化する際に使われる時定数をいう。いくつかの実施形態では、追加的、任意的または代替的に、これらの時定数は、DRC利得を決定する前の信号エネルギー（ラウドネス）の平滑化のために使われる。

【0033】

異なる再生環境には異なるダイナミックレンジ圧縮曲線が対応しうる。たとえば、フラットパネルTVの再生環境についてのダイナミックレンジ圧縮曲線は、ポータブル装置の再生環境のためのダイナミックレンジ圧縮曲線とは異なっていてもよい。いくつかの実施形態では、再生装置は、二つ以上の再生環境を有していてもよい。たとえば、スピーカーを用いるあるポータブル装置の第一の再生環境のための第一のダイナミックレンジ圧縮曲線は、ヘッドセットを用いる同じポータブル装置の第二の再生環境のための第二のダイナミックレンジ圧縮曲線とは異なっていてもよい。

【0034】

〈３．オーディオ・デコーダ〉
図１Ａは、データ抽出器１０４、ダイナミックレンジ・コントローラ１０６、オーディオ・レンダラー１０８などを有する例示的なオーディオ・デコーダ１００を示している。

【0035】

いくつかの実施形態では、データ抽出器（１０４）はエンコードされた入力信号１０２を受領するよう構成されている。本稿に記載されるところのエンコードされた入力信号は、エンコードされた（たとえば圧縮などされた）入力オーディオ・データ・フレームおよびメタデータを含むビットストリームであってもよい。データ抽出器（１０４）は、エンコードされた入力信号（１０２）から入力オーディオ・データ・フレームおよびメタデータを抽出／デコードするよう構成されている。入力オーディオ・データ・フレームのそれぞれは、複数の符号化されたオーディオ・データ・ブロックを有し、そのそれぞれは複数のオーディオ・サンプルを表わす。各フレームはある数のオーディオ・サンプルを含む（たとえば一定の）時間区間を表わす。フレーム・サイズは、サンプル・レートおよび符号化データ・レートとともに変わりうる。オーディオ・サンプルは、一つ、二つまたはそれ以上の（オーディオ）周波数帯域または周波数範囲においてスペクトル内容を表わす量子化されたオーディオ・データ要素（たとえば、入力PCMサンプル、QMFマトリクスにおける入力時間‐周波数サンプルなど）である。入力オーディオ・データ・フレームにおける量子化されたオーディオ・データ要素は、圧力波をデジタルの（量子化された）領域において表わしてもよい。量子化されたオーディオ・データ要素は、最大可能な値（たとえば、クリッピング・レベル、最大ラウドネス・レベルなど）以下のラウドネス・レベルの有限範囲をカバーしうる。

【0036】

メタデータは、入力オーディオ・データ・フレームを処理するための幅広い多様な受領側デコーダによって使用されることができる。メタデータは、デコーダ（１００）によって実行されるべき一つまたは複数の動作に関係する多様な動作パラメータ、入力オーディオ・データ・フレームにおいて表わされているダイアログ・ラウドネス・レベルに関係する正規化パラメータなどを含んでいてもよい。ダイアログ・ラウドネス・レベルとは、プログラム（たとえば映画、テレビ番組、ラジオ放送など）全体、プログラムの一部、プログラムのダイアログなどにおける、ダイアログ・ラウドネス、プログラム・ラウドネス、平均ダイアログ・ラウドネスなどの（たとえば音響心理学的、知覚的などの）レベルを指しうる。

【0037】

デコーダ（１００）またはそのモジュール（たとえばデータ抽出器１０４、ダイナミックレンジ・コントローラ１０６など）の一部または全部の動作および機能は、エンコードされた入力信号（１０２）から抽出されたメタデータに応答して適応されてもよい。たとえば、メタデータ――ダイナミックレンジ圧縮曲線、ダイアログ・ラウドネス・レベルなどを含むがそれに限定されない――がデコーダ（１００）によってデジタル領域の出力オーディオ・データ要素（たとえば出力PCMサンプル、QMFマトリクスにおける出力時間‐周波数サンプルなど）を生成するために使用されてもよい。次いで、出力データ要素は、特定の再生環境における再生中の指定されたラウドネスまたは参照再生レベルを達成するためにオーディオ・チャネルまたはスピーカーを駆動するために使われることができる。

【0038】

いくつかの実施形態では、ダイナミックレンジ・コントローラ（１０６）は、入力オーディオ・データ・フレーム中のオーディオ・データ要素およびメタデータの一部または全部を受領し、少なくとも部分的にはエンコードされたオーディオ信号（１０２）から抽出されたメタデータに基づいて、入力オーディオ・データ・フレーム中のオーディオ・データ要素に対してオーディオ処理動作（たとえば、ダイナミックレンジ制御動作、利得平滑化動作、利得制限動作など）を実行するなどするよう構成される。

【0039】

いくつかの実施形態では、ダイナミックレンジ・コントローラ（１０６）は、選択器１１０、ラウドネス計算器１１２、DRC利得ユニット１１４などを有していてもよい。選択器（１１０）は、デコーダ（１００）における特定の再生環境に関係するスピーカー構成（たとえば、フラットパネル・モード、スピーカーと一緒のポータブル装置、ヘッドフォンと一緒のポータブル装置、5.1スピーカー構成、7.1スピーカー構成など）を決定し、エンコードされた入力信号（１０２）から抽出された諸ダイナミックレンジ圧縮曲線から特定のダイナミックレンジ圧縮曲線を選択するなどするよう構成されていてもよい。

【0040】

ラウドネス計算器（１１２）は、入力オーディオ・データ・フレーム中のオーディオ・データ要素によって表わされる一つまたは複数の型のラウドネス・レベルを計算するよう構成されていてもよい。ラウドネス・レベルの例示的な型は、これだけに限られるものではないが、個々の時間区間にわたる個々のチャネルにおける個々の周波数帯域にわたる個別ラウドネス・レベル、個々のチャネルにおける広い（または幅広い）周波数範囲にわたるブロードバンド（または広帯域）ラウドネス・レベル、あるオーディオ・データ・ブロックまたはフレームから決定されるまたはあるオーディオ・データ・ブロックまたはフレームにわたって平滑化されるラウドネス・レベル、二つ以上のオーディオ・データ・ブロックまたはフレームから決定されるまたは二つ以上のオーディオ・データ・ブロックまたはフレームにわたって平滑化されるラウドネス・レベル、一つまたは複数の時間区間にわたって平滑化されるラウドネス・レベルなどの任意のものを含む。これらのラウドネス・レベルの0個、一つまたは複数がデコーダ（１００）によってダイナミックレンジ制御のために変更されてもよい。

【0041】

ラウドネス・レベルを決定するために、ラウドネス計算器（１１２）は、入力オーディオ・データ・フレーム中のオーディオ・データ要素によって表わされる、特定のオーディオ周波数における空間的圧力レベルなどのような一つまたは複数の時間依存の物理的音波属性を決定することができる。ラウドネス計算器（１１２）は、人間のラウドネス知覚をモデル化する一つまたは複数の音響心理学的関数に基づいて一つまたは複数の型のラウドネス・レベルを導出するために、前記一つまたは複数の時間変化する物理的波属性を使うことができる。音響心理学的関数は、特定のオーディオ周波数における特定の空間的圧力レベルを該特定のオーディオ周波数についての特定的ラウドネスに変換する非線形関数――人間の聴覚系のモデルに基づいて構築される――などであってもよい。

【0042】

複数の（オーディオ周波数）または複数の周波数帯域にわたる（たとえばブロードバンド、広帯域などの）ラウドネス・レベルは、複数の（オーディオ）周波数または複数の周波数帯域にわたる特定的ラウドネス・レベルの積分を通じて導出されてもよい。一つまたは複数の時間区間（たとえば、オーディオ・データ・ブロックまたはフレーム中のオーディオ・データ要素によって表わされるよりも長いなど）にわたる時間平均、平滑化などされたラウドネス・レベルは、デコーダ（１００）におけるオーディオ処理動作の一部として実装される一つまたは複数の平滑化フィルタを使って得られてもよい。

【0043】

ある例示的実施形態では、異なる周波数帯域についての諸特定的ラウドネス・レベルは、ある（たとえば256個などの）サンプルのオーディオ・データ・ブロック毎に計算されてもよい。諸特定的ラウドネス・レベルを積分してブロードバンド（広帯域）ラウドネス・レベルにすることにおいて諸特定的ラウドネス・レベルに周波数重み付け（たとえばIEC B重み付けと同様のものなど）を適用するために前置フィルタが使われてもよい。二つ以上のチャネル（たとえば、左前方、右前方、中央、左サラウンド、右サラウンドなど）にわたる広いラウドネス・レベルの和が、該二つ以上のチャネルの全体的なラウドネス・レベルを提供するために実行されてもよい。

【0044】

いくつかの実施形態では、全体的ラウドネス・レベルとは、あるスピーカー構成のあるチャネル（たとえば中央など）におけるブロードバンド（広帯域）ラウドネス・レベルを指してもよい。いくつかの実施形態では、全体的ラウドネス・レベルとは、複数のチャネルにおけるブロードバンド（または広帯域）ラウドネス・レベルを指してもよい。前記複数のチャネルは、あるスピーカー構成におけるすべてのチャネルであってもよい。追加的、任意的または代替的に、前記複数のチャネルは、あるスピーカー構成におけるチャネルの部分集合（たとえば、左前方、右前方および低域効果（LFE）を含むチャネルの部分集合、左サラウンドおよび右サラウンドを含むチャネルの部分集合など）を含んでいてもよい。

【0045】

（たとえばブロードバンド、広帯域、全体的、特定的などの）ラウドネス・レベルは、選択されたダイナミックレンジ圧縮曲線から対応する（たとえば静的な、平滑化前、制限前などの）DRC利得を見出すための入力として使われてもよい。DRC利得を見出すための入力として使われるラウドネス・レベルはまず、エンコードされたオーディオ信号（１０２）から抽出されたメタデータからのダイアログ・ラウドネス・レベルに関して調整または正規化されてもよい。

【0046】

いくつかの実施形態では、DRC利得ユニット（１１４）は、DRCアルゴリズムをもって構成され、（たとえばダイナミックレンジ制御のため、利得制限のため、利得平滑化のためなどの）利得を生成し、該利得を、入力オーディオ・データ・フレーム中のオーディオ・データ要素によって表わされる一つまたは複数の型のラウドネス・レベルにおける一つまたは複数のラウドネス・レベルに適用して、その特定の再生環境のための目標ラウドネス・レベルを達成するなどしてもよい。本稿に記載されるような利得（たとえばDRC利得など）の適用は、必須ではないが、ラウドネス領域で生起してもよい。いくつかの実施形態では、利得はラウドネス計算（これは、ソーンまたは単にたとえば変換なしのダイアログ・ラウドネス・レベルについて補償されたSPLで表わされてもよい）に基づいて生成され、平滑化され、入力信号に直接適用されてもよい。いくつかの実施形態では、本稿に記載されるような技法は、利得をラウドネス領域の信号に適用し、次いで該信号をラウドネス領域からもとの（線形）SPL領域に変換し、ラウドネス領域において該信号に該利得が適用された前および後の該信号を評価することによって、該信号に適用されるべき対応する利得を計算してもよい。すると、比（または対数dB表現で表わされるときは差）がその信号についての対応する利得を決定する。

【0047】

いくつかの実施形態では、DRCアルゴリズムは複数のDRCパラメータと一緒に動作する。DRCパラメータは、上流のエンコーダ（たとえば１５０など）によってすでに計算されて、エンコードされたオーディオ信号（１０２）中に埋め込まれており、デコーダ（１００）によって、該エンコードされたオーディオ信号（１０２）中のメタデータから取得されることができるダイアログ・ラウドネス・レベルを含む。上流のエンコーダからのダイアログ・ラウドネス・レベルは、（たとえばプログラム毎の、フルスケール1kHz正弦波のエネルギーに対する、参照矩形波のエネルギーに対する、など）平均ダイアログ・ラウドネス・レベルを示す。いくつかの実施形態では、エンコードされたオーディオ信号（１０２）から抽出されたダイアログ・ラウドネス・レベルは、プログラム間でのラウドネス・レベルの相違を減らすために使用されてもよい。ある実施形態では、参照ダイアログ・ラウドネス・レベルは、デコーダ（１００）における同じ特定の再生環境における異なるプログラムの間で同じ値に設定されてもよい。プログラムの複数のオーディオ・データ・ブロックにわたって平均された出力ダイアログ・ラウドネス・レベルがそのプログラムについての（たとえば事前構成設定された、システム・デフォルトの、ユーザー構成設定可能な、プロファイル依存などの）参照ダイアログ・ラウドネス・レベルまで上げられる／下げられるよう、メタデータからのダイアログ・ラウドネス・レベルに基づいて、DRC利得ユニット（１１４）は、ダイアログ・ラウドネス関係利得を、プログラム中の各オーディオ・データ・ブロックに適用することができる。

【0048】

いくつかの実施形態では、DRC利得は、選択されたダイナミックレンジ圧縮曲線に従ってソフトおよび／またはラウドな音における諸入力ラウドネス・レベルをブーストまたはカットすることによって、プログラム内のラウドネス・レベルの相違に対処するために使用されてもよい。これらのDRC利得の一つまたは複数は、対応するオーディオ・データ・ブロック、オーディオ・データ・フレームなどの一つまたは複数から決定される選択されたダイナミックレンジ圧縮曲線および（ブロードバンド、広帯域、全体的、特定的などの）ラウドネス・レベルに基づいてDRCアルゴリズムによって計算／決定されてもよい。

【0049】

選択されたダイナミックレンジ圧縮曲線を検索することによって（たとえば静的な、平滑化前の、利得制限前の、などの）DRC利得を決定するために使われるラウドネス・レベルは、短い区間（たとえば約5.3ミリ秒など）上で計算されてもよい。人間の聴覚系の積分時間（たとえば約200ミリ秒など）はずっと長いことがありうる。選択されたダイナミックレンジ圧縮曲線から得られるDRC利得は、人間の聴覚系の長い積分時間を考慮に入れるため、ある時定数をもって平滑化されてもよい。ラウドネス・レベルにおける変化（増大または減少）の速いレートを実施するためには、短い時定数に対応する短い時間区間においてラウドネス・レベルの変化を引き起こすよう、短い時定数が使われてもよい。逆に、ラウドネス・レベルにおける変化（増大または減少）の遅いレートを実施するためには、長い時定数に対応する長い時間区間においてラウドネス・レベルを変化させるよう、長い時定数が使われてもよい。

【0050】

人間の聴覚系は、増大するラウドネス・レベルと減少するラウドネス・レベルに異なる積分時間をもって反応することがある。いくつかの実施形態では、選択されたダイナミックレンジ圧縮曲線から検索される静的なDRC利得を平滑化するために、ラウドネス・レベルが増大しているのか減少しているのかに依存して異なる時定数が使われてもよい。たとえば、人間の聴覚系の特性に相応して、アタック（ラウドネス・レベルの増大）は相対的に短い時定数（たとえばアタック時間など）をもって平滑化され、一方、リリース（ラウドネス・レベルの減少）は相対的に長い時定数（たとえばリリース時間など）をもって平滑化される。

【0051】

オーディオ・コンテンツの一部（たとえば、オーディオ・データ・ブロック、オーディオ・データ・フレームなどの一つまたは複数）についてのDRC利得は、オーディオ・コンテンツの前記一部から決定されるラウドネス・レベルを使って計算されてもよい。選択されたダイナミックレンジ圧縮曲線における検索のために使われるべきラウドネス・レベルは、まず、エンコードされたオーディオ信号（１０２）から抽出されたメタデータにおける（たとえばそのオーディオ・コンテンツが一部をなすプログラムなどの）ダイアログ・ラウドネス・レベルに関して（たとえばそれとの関係で、など）調整されてもよい。

【0052】

参照ダイアログ・ラウドネス・レベル（たとえば、「ライン」モードでは－31dB_FS、「RF」モードでは－20dB_FSなど）は、デコーダ（１００）における特定の再生環境のために指定または確立されてもよい。追加的、代替的または任意的に、いくつかの実施形態では、ユーザーは、デコーダ（１００）における参照ダイアログ・ラウドネス・レベルを設定または変更することに対して制御を与えられてもよい。

【0053】

DRC利得ユニット（１１４）は、入力ダイアログ・ラウドネス・レベルから、出力ダイアログ・ラウドネス・レベルとしての参照ダイアログ・ラウドネス・レベルへの変化を引き起こすよう、オーディオ・コンテンツに対するダイアログ・ラウドネス関係利得を決定するよう構成されることができる。

【0054】

いくつかの実施形態では、DRC利得ユニット（１１４）は、デコーダ（１００）における特定の再生環境におけるピーク・レベルを扱うよう構成されていてもよく、クリッピングを防止するようDRC利得を調整する。いくつかの実施形態では、第一のアプローチのもとでは、エンコードされたオーディオ信号（１０２）から抽出されたオーディオ・コンテンツが、デコーダにおける特定のスピーカー構成のチャネルより多くのチャネルをもつ参照マルチチャネル構成のためのオーディオ・データ要素を含む場合には、クリッピング防止のためにピーク・レベルを判別して処理する前に、参照マルチチャネル構成から特定のスピーカー構成ダウンミックスが実行されてもよい。追加的、任意的または代替的に、いくつかの実施形態では、第二のアプローチのもとでは、エンコードされたオーディオ信号（１０２）から抽出されたオーディオ・コンテンツが、デコーダにおける特定のスピーカー構成のチャネルより多くのチャネルをもつ参照マルチチャネル構成のためのオーディオ・データ要素を含む場合には、デコーダ（１００）における特定のスピーカー構成のためのピーク・レベルを得るために、ダウンミックスの式（たとえば、ITUステレオ・ダウンミックス、行列処理されるサラウンド互換ダウンミックス（matrixed-surround compatible downmix）など）が使われてもよい。ピーク・レベルは、入力ダイアログ・ラウドネス・レベルから、出力ダイアログ・ラウドネス・レベルとしての参照ダイアログ・ラウドネス・レベルへの変化を反映するよう調整されてもよい。（たとえばあるオーディオ・データ・ブロックについての、あるオーディオ・データ・フレームについての、などの）クリッピングを引き起こさない最大許容される利得が、少なくとも部分的にはピーク・レベルの逆数（たとえば－1を乗算されるなどする）に基づいて決定されてもよい。このように、本稿に記載される技法のもとのオーディオ・デコーダは、正確にピーク・レベルを決定し、デコーダ側の再生構成のために特にクリッピング防止を適用するよう構成されることができる。オーディオ・デコーダもオーディオ・エンコーダも、仮定のデコーダにおける最悪ケースのシナリオについての仮定の想定をする必要はない。特に、上記の第一のアプローチにおけるデコーダは、ダウンミックスの式、ダウンミックス・チャネル利得など（これは上記のように第二のアプローチのもとでは使われる）を使うことなく、正確にピーク・レベルを決定し、ダウンミックス後のクリッピング防止を適用することができる。

【0055】

いくつかの実装では、ダイアログ・ラウドネス・レベルおよびDRC利得への調整の組み合わせが、たとえ最悪ケースのダウンミックス（たとえば、ダウンミックス後の最大ピーク・レベルを生成するもの、最大のダウンミックス・チャネル利得を生成するものなど）においてでも、ピーク・レベルのクリッピングを防止する。しかしながら、他のいくつかの実施形態では、ダイアログ・ラウドネス・レベルおよびDRC利得への調整の組み合わせでも、ピーク・レベルのクリッピングを防止するのに十分ではないことがある。これらの実施形態では、DRC利得は、ピーク・レベルにおけるクリッピングを防止する最高の利得によって置換されてもよい（たとえばキャップされてもよい、など）。

【0056】

いくつかの実施形態では、DRC利得ユニット（１１４）は、エンコードされたオーディオ信号（１０２）から抽出されたメタデータから時定数（たとえばアタック時間、リリース時間など）を得るよう構成される。DRC利得、時定数、最大許容利得などは、DRC、利得平滑化、利得制限などを実行するために、DRC利得ユニット（１１４）によって使用されてもよい。

【0057】

たとえば、DRC利得の適用は、ある時定数によって制御されるフィルタをもって平滑化されてもよい。利得制限動作は、適用されるべき利得と最大許容利得との小さなほうを該利得について取るmin()関数によって実装されてもよい。この関数を通じて、（たとえば制限前の、DRCなどの）利得はすぐに、比較的短い時間区間にわたって、などで、最大許容利得によって置換されてもよい。それによりクリッピングが防止される。

【0058】

いくつかの実施形態では、オーディオ・レンダラー（１０８）は、DRC、利得制限、利得平滑化などに基づいて決定された利得をエンコードされたオーディオ信号（１０２）から抽出された入力オーディオ・データに適用した後、その特定のスピーカー構成についての（たとえばマルチチャネルなどの）チャネル固有のオーディオ・データ（１１６）を生成するよう構成される。チャネル固有のオーディオ・データ（１１８）は、当該スピーカー構成において表わされているスピーカー、ヘッドフォンなどを駆動するために使われてもよい。

【0059】

追加的および／または任意的に、いくつかの実施形態では、デコーダ（１００）は、入力オーディオ・データに関係する前処理、後処理、レンダリングなどに関係する、一つまたは複数の他の動作を実行するよう構成されることができる。

【0060】

本稿に記載される技法は、多様な異なるサラウンドサウンド構成に対応する多様なスピーカー構成（たとえば、2.0、3.0、4.0、4.1、4.1、5.1、6.1、7.1、7.2、10.2、10-60スピーカー構成、60+スピーカー構成など）および多様な異なるレンダリング環境構成（たとえば、映画館、公園、歌劇場、コンサートホール、バー、家庭、講堂など）と一緒に使用されることができる。

【0061】

〈４．オーディオ・エンコーダ〉
図１Ｂは例示的なエンコーダ１５０を示している。エンコーダ（１５０）は、オーディオ・コンテンツ・インターフェース１５２、ダイアログ・ラウドネス解析器１５４、DRC参照貯蔵部１５６、オーディオ信号エンコーダ１５８などを有していてもよい。エンコーダ１５０は、放送システム、インターネット・ベースのコンテンツ・サーバー、無線経由（over-the-air）ネットワーク事業者システム、映画制作システムなどの一部であってもよい。

【0062】

いくつかの実施形態では、オーディオ・コンテンツ・インターフェース（１５２）は、オーディオ・コンテンツ１６０、オーディオ・コンテンツ制御入力１６２などを受領し、少なくとも部分的にはオーディオ・コンテンツ（１６０）、オーディオ・コンテンツ制御入力（１６２）の一部または全部に基づいて、エンコードされたオーディオ信号（たとえば１０２）を生成するなどするよう構成されている。たとえば、オーディオ・コンテンツ・インターフェース（１５２）は、オーディオ・コンテンツ（１６０）、オーディオ・コンテンツ制御入力（１６２）をコンテンツ・クリエーター、コンテンツ・プロバイダーなどから受領するために使われてもよい。

【0063】

オーディオ・コンテンツは、オーディオのみ、オーディオビジュアルなどを含む全体的なメディア・データの一部または全部をなしてもよい。オーディオ・コンテンツ（１６０）は、プログラムの諸部分、プログラム、いくつかのプログラム、一つまたは複数のコマーシャルなどのうちの一つまたは複数を含んでいてもよい。

【0064】

いくつかの実施形態では、ダイアログ・ラウドネス解析器（１５４）は、オーディオ・コンテンツ（１５２）の一つまたは複数の部分（たとえば一つまたは複数のプログラム、一つまたは複数のコマーシャルなど）の一つまたは複数のダイアログ・ラウドネス・レベルを決定／確立するよう構成されている。いくつかの実施形態では、オーディオ・コンテンツは、オーディオ・トラックの一つまたは複数の集合によって表わされる。いくつかの実施形態では、オーディオ・コンテンツのダイアログ・オーディオ・コンテンツは、別個のオーディオ・トラックにある。いくつかの実施形態では、オーディオ・コンテンツの少なくとも一部は、非ダイアログ・オーディオ・コンテンツを含むオーディオ・トラックにある。

【0065】

オーディオ・コンテンツ制御入力（１６２）は、ユーザー制御入力、エンコーダ（１５０）にとって外部のシステム／装置によって提供される制御入力、コンテンツ・クリエーターからの制御入力、コンテンツ・プロバイダーからの制御入力などの一部または全部を含んでいてもよい。たとえば、ミキシング・エンジニアなどのようなユーザーが、一つまたは複数のダイナミックレンジ圧縮曲線識別子を提供／指定することができる。それらの識別子は、DRC参照貯蔵部（１５６）などのようなデータ貯蔵部からオーディオ・コンテンツ（１６０）に最もよく当てはまる一つまたは複数のダイナミックレンジ圧縮曲線を取り出すために使われてもよい。

【0066】

いくつかの実施形態では、DRC参照貯蔵部（１５６）は、DRC参照パラメータ集合などを記憶するよう構成されている。それらのDRC参照パラメータ集合は、一つまたは複数のダイナミックレンジ圧縮曲線などについての定義データを含んでいてもよい。いくつかの実施形態では、エンコーダ（１５０）は、（たとえば同時並行などで）二つ以上のダイナミックレンジ圧縮曲線をエンコードされたオーディオ信号（１０２）中にエンコードしてもよい。それらのダイナミックレンジ圧縮曲線のうちの0個、一つまたは複数は標準ベースのもの、独自のもの、カスタマイズされたもの、デコーダで修正可能なものなどであってもよい。ある例示的実施形態では、図２Ａおよび図２Ｂのダイナミックレンジ圧縮曲線両方が、エンコードされたオーディオ信号（１０２）中に（たとえば同時並行などで）エンコードされることができる。

【0067】

いくつかの実施形態では、オーディオ信号エンコーダ（１５８）は、オーディオ・コンテンツ・インターフェース（１５２）からのオーディオ・コンテンツ、ダイアログ・ラウドネス解析器（１５４）からのダイアログ・ラウドネス・レベルなどを受領し、DRC参照貯蔵部（１５６）から一つまたは複数のDRC参照パラメータ集合を取り出し、オーディオ・コンテンツをオーディオ・データ・ブロック／フレームにフォーマットし、ダイアログ・ラウドネス・レベル、DRC参照パラメータ集合などをメタデータ（たとえば、メタデータ・コンテナ、メタデータ・フィールド、メタデータ構造など）にフォーマットし、オーディオ・データ・ブロック／フレームおよびメタデータを、エンコードされたオーディオ信号（１０２）にエンコードするなどするよう構成されることができる。

【0068】

本稿に記載されるようにエンコードされたオーディオ信号中にエンコードされるべきオーディオ・コンテンツは、無線で、有線接続を介して、ファイルを通じて、インターネット・ダウンロードを介してなどの多様な方法の一つまたは複数で多様な源オーディオ・フォーマットの一つまたは複数において受領されうる。

【0069】

本稿に記載されるエンコードされたオーディオ信号は、（たとえばオーディオ放送、オーディオ・プログラム、オーディオビジュアル・プログラム、オーディオビジュアル放送などのための）全体的なメディア・データ・ビットストリームの一部であることができる。メディア・データ・ビットストリームは、サーバー、コンピュータ、メディア記憶装置、メディア・データベース、メディア・ファイルなどからアクセスされることができる。メディア・データ・ビットストリームは、一つまたは複数の無線または有線のネットワーク・リンクを通じて放送、送信または受信されてもよい。メディア・データ・ビットストリームは、ネットワーク接続、USB接続、広域ネットワーク、ローカル・エリア・ネットワーク、無線接続、光学式接続、バス、クロスバー接続、シリアル接続などの一つまたは複数のような媒介部を通じて通信されてもよい。

【0070】

（たとえば図１Ａ、図１Ｂなどに）描かれているコンポーネントの任意のものは、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組み合わせにおいて、一つまたは複数のプロセスおよび／または一つまたは複数のIC回路（たとえばASIC、FPGAなど）として実装されてもよい。

【0071】

〈５．ダイナミックレンジ圧縮曲線〉
図２Ａおよび図２Ｂは、入力ラウドネス・レベルからDRC利得を導出するためにデコーダ（１００）中のDRC利得ユニット（１０４）によって使用されることのできる例示的なダイナミックレンジ圧縮曲線を示している。図のように、ダイナミックレンジ圧縮曲線は、特定の再生環境のために適切な全体的な利得を提供するために、プログラムにおける参照ラウドネス・レベルを中心としていてもよい。ダイナミックレンジ圧縮曲線の例示的な定義データ（たとえば、エンコードされたオーディオ信号１０２のメタデータ内など）（たとえば、これだけに限られないが、ブースト比、カット比、アタック時間、リリース時間などを含む）が下記の表に示される。ここで、複数のプロファイル（たとえば、フィルム・スタンダード（film standard）、フィルム・ライト（film light）、音楽スタンダード（music standard）、音楽ライト（music light）、発話（speech）など）における各プロファイルは、（たとえばデコーダ１００などにおける）特定の再生環境を表わす。

【0072】

【表1】

いくつかの実施形態は、dB_SPLまたはdB_FSで表わされたラウドネス・レベルおよびdB_SPLに関するdBで表わされた利得を用いて記述される一つまたは複数の圧縮曲線を受領してもよい。一方、DRC利得は、dB_SPLラウドネス・レベルと非線形関係をもつ異なるラウドネス表現（たとえばソーン）で実行される。その際、DRC利得計算において使われる圧縮曲線は、該異なるラウドネス表現（たとえばソーン）を用いて記述されるよう変換されてもよい。

【0073】

〈６．DRC利得、利得制限および利得平滑化〉
図３は、組み合わされたDRCおよび制限利得の決定／計算の例示的な処理論理を示す。処理論理は、デコーダ（１００）、エンコーダ（１５０）などによって実装されてもよい。単に例解のため、デコーダ（たとえば１００など）におけるDRC利得ユニット（たとえば１１４）が該処理論理を実装するために使われてもよい。

【0074】

オーディオ・コンテンツの一部（たとえば、オーディオ・データ・ブロック、オーディオ・データ・フレームの一つまたは複数など）についてのDRC利得は、オーディオ・コンテンツの該一部から決定されたラウドネス・レベルを使って計算されてもよい。ラウドネス・レベルはまず、エンコードされたオーディオ信号（１０２）から抽出されたメタデータにおける（たとえばそのオーディオ・コンテンツが一部となるプログラムなどの）ダイアログ・ラウドネス・レベルに関して（たとえば、それとの関係で、など）調整されてもよい。図３に示した例では、オーディオ・コンテンツの前記一部のラウドネス・レベルと前記ダイアログ・ラウドネス・レベル（「dialnorm」）との間の差が、選択されたダイナミックレンジ圧縮曲線からDRC利得を見出すための入力として使用されてもよい。

【0075】

その特定の再生環境における出力オーディオ・データ要素のクリッピングを防止するために、DRC利得ユニット（１１４）は、（たとえばエンコードされたオーディオ信号１０２およびデコーダ１００における再生環境の特定の組み合わせに固有の、などの）特定の再生シナリオにおけるピーク・レベルを扱うよう構成されていてもよい。該再生シナリオは、多様な可能な再生シナリオ（たとえばマルチチャネル・シナリオ、ダウンミックス・シナリオなど）のうちの一つであってもよい。

【0076】

いくつかの実施形態では、特定の時間分解能でのオーディオ・コンテンツの個々の部分（たとえば、オーディオ・データ・ブロック、いくつかのオーディオ・データ・ブロック、オーディオ・データ・フレームなど）についての個々のピーク・レベルが、エンコードされたオーディオ信号（１０２）から抽出されたメタデータの一部として提供されてもよい。

【0077】

いくつかの実施形態では、DRC利得ユニット（１１４）は、これらのシナリオにおけるピーク・レベルを判別するよう構成されていることができ、必要ならDRC利得を調整する。DRC利得の計算の間、オーディオ・コンテンツのピーク・レベルを決定するために、DRC利得ユニット（１１４）によって並列プロセスが使用されてもよい。たとえば、オーディオ・コンテンツは、デコーダ（１００）によって使用される特定のスピーカー構成のチャネルより多くのチャネルをもつ参照マルチチャネル構成のためにエンコードされてもよい。参照マルチチャネル構成の該より多くのチャネルのためのオーディオ・コンテンツは、ダウンミックスされたオーディオ・データ（たとえば、ITUステレオ・ダウンミックス、行列処理されるサラウンド互換ダウンミックス（matrixed-surround compatible downmix）など）に変換されて、デコーダ（１００）における特定のスピーカー構成のためのより少ないチャネルを導出してもよい。いくつかの実施形態では、第一のアプローチのもとでは、参照マルチチャネル構成から特定のスピーカー構成へのダウンミックスは、クリッピング防止のためにピーク・レベルを判別して処理する前に実行されてもよい。追加的、任意的または代替的に、いくつかの実施形態では、第二のアプローチのもとでは、オーディオ・コンテンツをダウンミックスすることに関係するダウンミックス・チャネル利得が、その特定のスピーカー構成のためのピーク・レベルを調整、導出、計算などするための入力の一部として使われてもよい。ある例示的実施形態では、ダウンミックス・チャネル利得は、参照マルチチャネル構成からデコーダ（１００）における再生環境における特定のスピーカー構成へのダウンミックス動作を実行するために使われる一つまたは複数のダウンミックスの式に少なくとも部分的には基づいて導出されてもよい。

【0078】

いくつかのメディア・アプリケーションでは、参照ダイアログ・ラウドネス・レベル（たとえば、「ライン」モードでは－31dB_FS、「RF」モードでは－20dB_FSなど）は、デコーダ（１００）における特定の再生環境のために指定または想定されてもよい。いくつかの実施形態では、ユーザーは、デコーダ（１００）における参照ダイアログ・ラウドネス・レベルを設定または変更することに対して制御を与えられてもよい。

【0079】

（たとえば出力の）ダイアログ・ラウドネス・レベルを参照ダイアログ・ラウドネス・レベルに調整するために、ダイアログ・ラウドネス関係利得がオーディオ・コンテンツに適用されてもよい。この調整を反映するために、ピーク・レベルはしかるべく調整されるべきである。一例では、（入力）ダイアログ・ラウドネス・レベルは－23dB_FSであってもよい。参照ダイアログ・ラウドネス・レベルが－31dB_FSの「ライン」モードでは、参照ダイアログ・ラウドネス・レベルの出力ダイアログ・ラウドネス・レベルを生じるために、（入力）ダイアログ・ラウドネス・レベルへの調整は－8dBである。この「ライン」モードでは、ピーク・レベルへの調整も－8dBであり、ダイアログ・ラウドネス・レベルへの調整と同じである。参照ダイアログ・ラウドネス・レベルが－20dB_FSの「RF」モードでは、参照ダイアログ・ラウドネス・レベルの出力ダイアログ・ラウドネス・レベルを生じるために、（入力）ダイアログ・ラウドネス・レベルへの調整は3dBである。この「RF」モードでは、ピーク・レベルへの調整も3dBであり、ダイアログ・ラウドネス・レベルへの調整と同じである。

【0080】

ピーク・レベルと、参照ダイアログ・ラウドネス・レベル（「dialref」と記される）とエンコードされたオーディオ信号（１０２）からのメタデータ内のダイアログ・ラウドネス・レベル（「dialnorm」）との間の差の和が、DRC利得についての最大（たとえば許容されるなど）利得を計算するための入力として使われてもよい。調整されたピーク・レベルは（0dB_FSのクリッピング・レベルに対して）dB_FSで表わされるので、（たとえば、現在のオーディオ・データ・ブロックについての、現在のオーディオ・データ・フレームについての、などの）クリッピングを起こさない最大許容利得は、単に調整されたピーク・レベルの逆数である（たとえば、－1を乗算されるなど）。

【0081】

いくつかの実施形態では、たとえDRC利得が導出されるもとになったダイナミックレンジ圧縮曲線がラウドな音をある程度カットするよう設計されていたとしても、ピーク・レベルはクリッピング・レベル（0dB_FSで表わされる）を超えることがある。いくつかの実施形態では、ダイアログ・ラウドネス・レベルとDRC利得への調整の組み合わせは、たとえ最悪ケースのダウンミックス（たとえば、最大のダウンミックス・チャネル利得を生成するものなど）においてでも、ピーク・レベルのクリッピングを防止する。しかしながら、他のいくつかの実施形態では、ダイアログ・ラウドネス・レベルおよびDRC利得への調整の組み合わせでも、ピーク・レベルのクリッピングを防止するのに十分ではないことがある。これらの実施形態では、DRC利得は、ピーク・レベルにおけるクリッピングを防止する最高の利得によって置換されてもよい（たとえばキャップされてもよい、など）。

【0082】

いくつかの実施形態では、DRC利得ユニット（１１４）は、エンコードされたオーディオ信号（１０２）から抽出されたメタデータから時定数（たとえばアタック時間、リリース時間など）を得るよう構成される。これらの時定数は、オーディオ・コンテンツのダイアログ・ラウドネス・レベルまたは現在のラウドネス・レベルのうちの一つまたは複数とともに変わっても変わらなくてもよい。ダイナミックレンジ圧縮曲線から検索されるDRC利得、時定数、最大利得は、利得平滑化および制限動作を実行するために使用されてもよい。

【0083】

いくつかの実施形態では、可能性としては利得制限されていてもよいDRC利得は、特定の再生環境における最大ピーク・ラウドネス・レベルを超えない。ラウドネス・レベルから導出される静的なDRC利得は、時定数によって制御されるフィルタをもって平滑化されてもよい。制限動作は、一つまたは複数のmin()関数によって実装されてもよい。この関数を通じて、（たとえば制限前の）DRC利得はすぐに、比較的短い時間区間にわたって、などで、最大許容利得によって置換されてもよい。それによりクリッピングが防止される。DRCアルゴリズムは、はいってくるオーディオ・コンテンツのピーク・レベルがクリッピング・レベル超からクリッピング・レベル未満に移行するにつれ、前記クリッピング利得からより低い利得へとなめらかにリリースするよう構成されていてもよい。

【0084】

図３に示されるDRC利得の決定／計算／適用を実行するために、一つまたは複数の異なる（たとえばリアルタイム、2パスなどの）実装が使用されてもよい。単に例解のため、ダイアログ・ラウドネス・レベル、（たとえば静的などの）DRC利得、平滑化に起因する時間依存する利得変動、制限に起因する利得クリッピングなどへの調整は、上記のDRCアルゴリズムからの組み合わされた利得として記述されてきた。しかしながら、さまざまな実施形態において、（たとえば異なるプログラムの間などの）ダイアログ・ラウドネス・レベルの制御のため、（たとえば同じプログラムの異なる部分のためなどの）ダイナミックレンジ制御のため、クリッピングを防止するため、利得平滑化のためなどでオーディオ・コンテンツに利得を適用する他のアプローチが使用されてもよい。たとえば、ダイアログ・ラウドネス・レベル、（たとえば静的などの）DRC利得、平滑化に起因する時間依存する利得変動、制限に起因する利得クリッピングなどへの調整の一部または全部は、部分的／個々に適用される、直列的に適用される、並列に適用される、部分的には直列に部分的には並列に適用されるなどすることができる。

【0085】

〈７．入力平滑化および利得平滑化〉
DRC利得平滑化に加えて、さまざまな実施形態において、本稿に記載される技法のもとでの他の平滑化プロセスが実装されてもよい。一例では、入力平滑化が使われてもよく、エンコードされたオーディオ信号（１０２）から抽出された入力オーディオ・データをたとえば単純な単極平滑化フィルタを用いて平滑化して、入力平滑化なしの特定的ラウドネス・レベルのスペクトルよりよい時間的特性をもつ（たとえば、時間的によりなめらかである、時間的にスパイクがより少ない、など）特定的ラウドネス・レベルのスペクトルを得てもよい。

【0086】

いくつかの実施形態では、本稿に記載される異なる平滑化プロセスは異なる時定数（たとえば1秒、4秒など）を使うことができる。いくつかの実施形態では、二つ以上の平滑化プロセスは同じ時定数を使うことができる。いくつかの実施形態では、本稿に記載される平滑化プロセスにおいて使われる時定数は周波数依存であってもよい。いくつかの実施形態では、本稿に記載される平滑化プロセスで使われる時定数は周波数独立であってもよい。

【0087】

一つまたは複数の平滑化プロセスは、該一つまたは複数の平滑化プロセスの自動的または手動のリセットをサポートするリセット・プロセスに接続されてもよい。いくつかの実施形態では、リセット・プロセスにおいてリセットが生起するとき、平滑化プロセスは、より小さな時定数に切り換えるまたは移行することによって平滑化動作を速くしてもよい。いくつかの実施形態では、リセット・プロセスにおいてリセットが生起するとき、平滑化プロセスのメモリはある値にリセットされてもよい。この値は、平滑化プロセスへの最後の入力サンプルであってもよい。

【0088】

〈８．複数周波数帯域にわたるDRC〉
いくつかの実施形態では、特定的な諸周波数帯域における特定的な諸ラウドネス・レベルが、それらの特定の周波数帯域における対応するDRC利得を導出するために使われることができる。しかしながら、これは、音色の変化につながることがある。それらの特定的ラウドネス・レベルは異なる帯域において著しく変わることがあり、よって、たとえ全周波数帯域にわたるブロードバンド（または広帯域）ラウドネス・レベルが一定のままであるときでも、異なるDRC利得を被ることがあるからである。

【0089】

いくつかの実施形態では、個々の周波数帯域とともに変わるDRC利得を適用するのではなく、周波数帯域とともには変わらないが時間とともに変わるDRC利得が代わりに適用される。同じ時間変化するDRC利得が、周波数帯域すべてにわたって適用される。時間変化するDRC利得の時間平均されたDRC利得は、ブロードバンド（または広帯域）範囲または複数の周波数帯域にわたるブロードバンド、広帯域および／または全体的なラウドネス・レベルに基づいて前記選択されたダイナミックレンジ圧縮曲線から導出される静的なDRC利得と同じに設定されてもよい。結果として、他のアプローチにおいて異なる周波数帯域において異なるDRC利得を適用することによって引き起こされうる音色効果への変化を防ぐことができる。

【0090】

いくつかの実施形態では、個々の周波数帯域におけるDRC利得は、ブロードバンド（または広帯域）ラウドネス・レベルに基づいて決定されるブロードバンド（または広帯域）DRC利得を用いて制御される。個々の周波数帯域におけるDRC利得は、ブロードバンド（または広帯域）ラウドネス・レベルに基づいてダイナミックレンジ圧縮曲線において見出されるブロードバンド（または広帯域）DRCのまわりで動作してもよい。よって、ある時間区間（たとえば、5.3ミリ秒、20ミリ秒、50ミリ秒、80ミリ秒、100ミリ秒などより長い）にわたって時間平均された個々の周波数帯域におけるDRC利得は、ダイナミックレンジ圧縮曲線において示されるブロードバンド（広帯域）レベルと同じである。いくつかの実施形態では、時間平均されたDRC利得から逸脱する、前記ある時間区間に対する短い時間区間にわたるラウドネス・レベル揺動は、諸チャネルおよび／または諸周波数帯域の間で、許容可能である。このアプローチは、ダイナミックレンジ圧縮曲線において示される正しいマルチチャネルおよび／またはマルチ帯域の時間平均されたDRC利得の適用を保証し、短い時間区間におけるDRC利得が、ダイナミックレンジ圧縮曲線において示されるそのような時間平均されたDRC利得からあまりに大きく逸脱することを防止する。

【0091】

〈９．ラウドネス領域でのボリューム調整〉
本稿に記載される技法を実装しない他のアプローチのもとでのオーディオ励起信号にボリューム調整のための線形処理を適用することは、低い可聴信号レベルを聞こえなくすることがありうる（たとえば、人間の聴覚系の周波数依存の聴覚閾値を下回るなど）。

【0092】

本稿に記載される技法のもとでは、オーディオ・コンテンツのボリューム調整は、物理領域（たとえばdB_SPL表現などをもつ）ではなくラウドネス領域（たとえばソーン表現などをもつ）でなされるまたは実装されることができる。いくつかの実施形態では、すべてのボリューム・レベルにおいてすべての帯域の間でラウドネス・レベル関係の知覚的品質および／または無欠性（integrity）を維持するために、すべての帯域のラウドネス・レベルがラウドネス領域において同じ因子をもってスケーリングされる。本稿に記載される、ラウドネス領域で利得を設定および調整することに基づくボリューム調整は、異なる周波数帯域におけるオーディオ励起信号に異なるスケーリング因子を適用する物理領域における（または物理領域を表わすデジタル領域における）非線形処理に変換し戻され、該非線形処理を通じて実装されてもよい。本稿に記載される技法のもとでのラウドネス領域におけるボリューム調整から変換された物理領域における非線形処理は、オーディオ・コンテンツにおける低い可聴レベルの大半または全部が聞こえなくなることを防ぐDRC利得をもって、オーディオ・コンテンツのラウドネス・レベルを減衰させるまたは向上させる。いくつかの実施形態では、プログラム内でのラウドな音とソフトな音の間のラウドネス・レベルの差が、低い可聴信号レベルを人間の聴覚系の聴覚閾値より上に維持するこれらのDRC利得を用いて、低減される――だが知覚的になくされはしない。いくつかの実施形態では、大きな範囲のボリューム・レベルにわたってスペクトル知覚および知覚される音色などの類似性を維持するために、低いボリューム・レベルにおいて、聴覚の閾値に近い励起信号レベルをもつ周波数または周波数帯域は、より少なく減衰させられ、よって、知覚的に可聴である。

【0093】

本稿に記載される技法は、物理領域（または物理領域を表わすデジタル領域）における信号レベル、利得などと、ラウドネス領域におけるラウドネス・レベル、利得などとの間の変換（たとえば行ったり来たりの変換など）を実装してもよい。これらの変換は、人間の聴覚系のモデルに基づいて構築された一つまたは複数の非線形関数（たとえば、マッピング、曲線、区分線形セグメント、ルックアップテーブルなど）の順変換および逆変換バージョンに基づいていてもよい。

【0094】

〈１０．ダウンミックス・ラウドネス調整〉
いくつかの実施形態では、オーディオ・コンテンツ（１５２）は、前記エンコードされたオーディオ信号（１０２）において、複数のオーディオ・チャネルまたはスピーカーを含む参照スピーカー構成（たとえばサラウンドサウンド構成、5.1スピーカー構成など）のためにエンコードされている。

【0095】

より少数のオーディオ・チャネルまたはスピーカーをもつ特定のスピーカー構成（たとえば二チャネル・ヘッドセット構成など）をもって動作する受領側デコーダは、前記参照スピーカー構成における前記複数のオーディオ・チャネルからの前記エンコードされたオーディオ信号（１０２）から受領される前記オーディオ・コンテンツ（１５２）を、（たとえば一つまたは複数のダウンミックスの式などを用いて）前記デコーダの特定のスピーカー構成における前記より少数のオーディオ・チャネルにダウンミックスし、ダウンミックス出力音出力を生成するなどすることが期待される。

【0096】

前記オーディオ・コンテンツ（１５２）の個々の部分についての前記参照スピーカー構成において測定されるラウドネス・レベルは、前記オーディオ・コンテンツ（１５２）の同じ個々の部分についての、二チャネル構成などのような前記特定のスピーカー構成において測定されるラウドネス・レベルとは、異なることがある。たとえば、ダウンミックス前の前記オーディオ・コンテンツ（１５２）のある部分が、前記参照スピーカー構成の左前方および右前方チャネルに集中する特定のチャネル依存の音分布を有する場合には、二チャネル構成へのダウンミックス後の前記オーディオ・コンテンツ（１５２）の同じ部分のラウドネス・レベルは、ダウンミックス前の前記参照スピーカー構成における前記オーディオ・コンテンツ（１５２）の同じ部分のラウドネス・レベルより高いまたはラウドであることがありうる。他方、ダウンミックス前の前記オーディオ・コンテンツ（１５２）のある部分が、前記参照スピーカー構成の左前方および右前方チャネル以外のチャネルに集中する特定のチャネル依存の音分布を有する場合には、二チャネル構成へのダウンミックス後の前記オーディオ・コンテンツ（１５２）の同じ部分のラウドネス・レベルは、ダウンミックス前の前記参照スピーカー構成における前記オーディオ・コンテンツ（１５２）の同じ部分のラウドネス・レベルより低いまたは静かであることがありうる。

【0097】

いくつかの実施形態では、本稿に記載されるオーディオ・エンコーダ（たとえば１５０など）は、ダウンミックス関係メタデータ（たとえば、一つまたは複数のダウンミックス・ラウドネス・パラメータなどを含む）を下流のオーディオ・デコーダに提供するよう構成される。オーディオ・エンコーダ（１５０）からのダウンミックス関係メタデータは、下流のオーディオ・デコーダが、ダウンミックス音出力において比較的正確な実際の目標ラウドネス・レベルを生成できるようにし、参照スピーカー構成とデコーダの特定のスピーカー構成との間の測定されるラウドネス・レベルにおける不整合を防止するなどのために、ダウンミックス関係利得調整動作を（たとえばリアルタイム、ほぼリアルタイムなどで）を効率的かつ整合的に実行するために、下流のオーディオ・デコーダによって使用されることができる。

【0098】

いくつかの実施形態では、オーディオ・エンコーダ（１５０）は、参照スピーカー構成および該参照スピーカー構成とは異なる特定のスピーカー構成（たとえば二チャネル構成など）のためにエンコードされたオーディオ・コンテンツ（１５２）に少なくとも部分的には基づいて、一つまたは複数のダウンミックス・パラメータを決定する。いくつかの実施形態では、ダウンミックス・ラウドネス・パラメータは、ダウンミックス動作の異なる型についてのダウンミックス・ラウドネス・パラメータの一つまたは複数の異なる集合を含む。該ダウンミックス・ラウドネス・ペラメータは、LtRtダウンミックス、LoRoダウンミックスなどのような特定の型のダウンミックスを実行するために下流のオーディオ・デコーダによって使用されるべきダウンミックス・ラウドネス・パラメータの単一の集合をなしてもよい。該ダウンミックス・ラウドネス・ペラメータは、LtRtダウンミックス、LoRoダウンミックスなどのような二つ以上の特定の型のダウンミックスの任意のものを実行するために下流のオーディオ・デコーダによって使用されるべきダウンミックス・ラウドネス・パラメータの二つ以上の集合をなしてもよい。オーディオ・エンコーダ（１５０）によって生成されるダウンミックス・ラウドネス・データは、一つまたは複数の異なる型のダウンミックス動作についてのダウンミックス・ラウドネス・パラメータを担持することができる。ダウンミックス・ラウドネス・データは、ダウンミックスされるべき前記オーディオ・コンテンツについてどの型のダウンミックス動作が好ましいかを指示する選好フラグをも含んでいてもよい。ダウンミックス・ラウドネス・パラメータは、参照スピーカー構成のためにエンコードされたオーディオ・コンテンツ（１５２）を含むエンコードされたオーディオ信号（１０２）において送達されるメタデータの一部として、下流のデコーダに送達されてもよい。

【0099】

本稿に記載されるダウンミックス・ラウドネス・パラメータの例は、これだけに限られないが：一つまたは複数のダウンミックス・ラウドネス・メタデータ・インジケータ、一つまたは複数のダウンミックス・ラウドネス・データ・フィールドなどを含んでいてもよい。ある例示的実施形態では、ダウンミックス・ラウドネス・パラメータは、ダウンミックス・ラウドネス・オフセット・データが存在するかどうかを示すインジケータ（たとえば、「dmixloudoffste」と記される一ビットのデータ・フィールド）、ダウンミックス・ラウドネス・オフセットを示すデータ・フィールド（たとえば「5-bit_dmixloudoffst」と記される五ビットのデータ・フィールドなど）を有していてもよい。いくつかの実施形態では、これらのインジケータおよびデータ・フィールドの一つまたは複数のインスタンスが、一つまたは複数の異なる型のダウンミックス動作のために、オーディオ・エンコーダ（１５０）によって生成されてもよい。

【0100】

いくつかの実施形態では、エンコードされたオーディオ信号（１０２）が二つより多くのチャネルについてのオーディオ・データ（たとえばオーディオ・サンプルなど）を担持するときにのみ「dmixloudoffste」フィールドは1に設定されてもよい；「dmixloudoffst」フィールドは「dmixloudoffste」フィールドが1に設定されている場合に担持されてもよい。エンコードされたオーディオ信号（１０２）がAC-3またはE-AC-3ビットストリームなどである一例では、「dmixloudoffste」フィールドは、AC-3またはE-AC-3ビットストリームについてのオーディオ符号化モード（たとえば「acmode」など）が2より大きな値に設定されているときに、1に設定されてもよい。オーディオ符号化モードのそのような値は、参照スピーカー構成が、二つより多くのオーディオ・チャネルまたはスピーカーを含むマルチチャネル・スピーカー構成であり、中央スピーカーのみの構成（たとえば「acmod」についての値1をもつものなど）や左前方および右前方のみのスピーカー構成（たとえば「acmod」について値2をもつものなど）ではないことを示す。

【0101】

「dmixloudoffst」フィールドは、（たとえば想定される、期待されるなどの）オーディオ・デコーダ（たとえばAC-3デコーダ、E-AC-3デコーダなど）からのダウンミックス音出力の期待されるラウドネスと、そのようなダウンミックス音出力の測定されるラウドネスとの間の差を示すために使われてもよい。ダイアログ正規化、ダイナミックレンジ圧縮、ダウンミックス過負荷〔オーバーロード（overload）〕に対して保護するための固定された減衰などに起因する利得調整の一部または全部が、該測定されるラウドネスを与える測定を実行する前に適用されている。いくつかの実施形態では、測定されるラウドネスは、利得調整の一つまたは複数の異なる集合をもつ一つまたは複数の異なる型のダウンミックス音出力についてのダウンミックス・ラウドネス測定の一つまたは複数の異なる集合を含む。いくつかの実施形態では、オーディオ・エンコーダ（１５０）は、ダウンミックス動作の一つまたは複数の型（たとえばLtRtダウンミックス動作、LoRoダウンミックス動作など）に基づく一つまたは複数のダウンミックスを生成する。たとえば、オーディオ・エンコーダ（１５０）は、ダウンミックス係数／ダウンミックスの式の一つまたは複数の異なる集合（たとえばLtRtダウンミックス係数／ダウンミックスの式、LoRoダウンミックス係数／ダウンミックスの式など）を、（たとえばマルチチャネルなどの）参照スピーカー構成のためにエンコードされたオーディオ・コンテンツに適用して、前記一つまたは複数のダウンミックスを生成することができる。いくつかの実施形態では、オーディオ・エンコーダ（１５０）は、前記ダウンミックスの一つまたは複数に利得調整の一つまたは複数の異なる集合を適用して、ラウドネス測定のための前記一つまたは複数の異なる型のダウンミックス音出力を生成してもよい。利得調整の集合の例は、これだけに限られないが：ヌル利得をもつ利得調整の集合、ダイナミックレンジ圧縮に関係する利得調整を含む利得調整の集合、ダイアログ正規化に関係する利得調整を含む利得調整の集合、ダイナミックレンジ圧縮に関係する利得調整を除外する利得調整の集合、ダイアログ正規化に関係する利得調整を除外する利得調整の集合、ダイナミックレンジ圧縮およびダイアログ正規化両方に関係する利得調整を含む利得調整の集合などの任意のものを含む。ラウドネス測定のための前記一つまたは複数の異なる型のダウンミックス音出力が、利得調整の前記一つまたは複数の異なる集合および前記ダウンミックスの前記一つまたは複数の一つまたは複数の異なる組み合わせに基づいて生成されたのち、オーディオ・エンコーダ（１５０）は、前記ダウンミックス音出力の前記一つまたは複数の異なる型の任意のもの、一部または全部においてダウンミックス・ラウドネス測定の一つまたは複数の異なる集合を行なうことにより、前記測定されたラウドネスを生成することができる。前記測定されたラウドネスは、多様なラウドネス測定標準（たとえばLKFS、LUFSなど）、方法、ツールなどの任意のものにおいてオーディオ・エンコーダ（１５０）によって作られてもよい。単に例解の目的で、測定されたラウドネスは、LKFS値によって表わされてもよい。

【0102】

いくつかの実施形態では、オーディオ・エンコーダ（１５０）は、あるダイアログ・ラウドネス・レベル（たとえば「dialnorm」など）をもつ前記エンコードされたオーディオ信号（１０２）をデコードする本稿に記載されるオーディオ・デコーダ（たとえば１００など）が、デコードの際に、ダウンミックスされた音出力の出力ダイアログ・ラウドネス・レベルを参照ラウドネス・レベルに揃える／調整するために、ある量の減衰（たとえば参照ラウドネス・レベルと「dialnorm」の間の差など）を適用することが期待されると想定する。たとえば、（たとえば5.1スピーカー構成などのような参照スピーカー構成のためにエンコードされたオーディオ・コンテンツ（１５２）から決定されるものなどの）ダイアログ・ラウドネス・レベル「dialnorm」が値－24dB_FSをもち、デコーダの特定のスピーカー構成（たとえば、オーディオ・コンテンツ（１５２）がダウンミックスされるべき先の二チャネル構成など）についての参照ラウドネス・レベルが－31LKFSである場合、オーディオ・デコーダ（１００）は、出力ダイアログ・ラウドネス・レベルを参照ラウドネス・レベルに揃える／調整するために、7dBの減衰を適用することが期待される。いくつかの実施形態では、デコーダの特定のスピーカー構成のための参照ラウドネス・レベル（たとえば－31LKFSなど）は、（たとえば二チャネル・ダウンミックス音出力などの）期待されるラウドネス・レベルを表わす。

【0103】

いくつかの実施形態では、「dmixloudoffst」フィールドは、（１）二チャネル・ダウンミックス音出力の期待されるラウドネス・レベルと、（２）ダイアログ正規化、ダイナミックレンジ圧縮、ダウンミックス過負荷に対して保護するための固定された減衰などに起因する利得調整の一部または全部が適用されたあとに測定される、二チャネル・ダウンミックス音出力の測定されるラウドネス・レベルとの間のラウドネス逸脱があればそれを指示するために、オーディオ・エンコーダ（１５０）によって使用されてもよい。「dmixloudoffst」フィールドは、一つまたは複数の異なる集合の利得調整などを適用したあとの一つまたは複数の異なる型のダウンミックスについての一つまたは複数のインスタンスを含んでいてもよい。「dmixloudoffst」フィールドによって示されるラウドネス逸脱は、これだけに限られないが、参照スピーカー構成から二チャネル構成のような特定のスピーカー構成にオーディオ・コンテンツをダウンミックスすることによって引き起こされるラウドネス・レベル差などを含んでいてもよい。ラウドネス逸脱は、ダウンミックス音出力において参照ラウドネス・レベルを生成するために、オーディオ・コンテンツ（１５２）がダウンミックスされるべき先の特定のスピーカー構成をもつデコーダによって適用されるべきラウドネス・オフセットに対応する（たとえばその逆を表わすなど）。

【0104】

ある例示的実装では、「dmixloudoffst」フィールド（たとえばそのインスタンスなど）は、0.5LKFSきざみでの－7.5LKFSから＋7.5LKFSのラウドネス・オフセットの範囲に対応する、0から30までの（たとえば整数などの）値範囲における値に設定されてもよい。追加的、任意的または代替的に、「dmixloudoffst」フィールドのための31の値は、リザーブされた値として指定されてもよく、存在すれば、0LKFSのダウンミックス・ラウドネス・オフセットとして解釈されてもよい。

【0105】

いくつかの実施形態では、「dmixloudoffst」フィールドの正のLKFS値（たとえば「dmixloudoffst」フィールドのための16,17,…,30の値）は、ダウンミックス音出力の測定されたラウドネス・レベルが、ダウンミックス音出力の期待されたラウドネス・レベルより、示されるLKFS値の大きさだけ、ラウドであることを示す。「dmixloudoffst」フィールドの負のLKFS値（たとえば「dmixloudoffst」フィールドのための0,1,…,15の値）は、ダウンミックス音出力の測定されたラウドネス・レベルが、期待されたダウンミックス・ラウドネスより、示されるLKFS値の大きさだけ、静かであるまたはそれよりラウドでないことを示す。

【0106】

ダウンミックス・ラウドネス・パラメータの一部または全部は、参照スピーカー構成から特定のスピーカー構成にオーディオ・コンテンツ（１５２）をダウンミックスすることによって引き起こされる――エンコードされたオーディオ信号（１０２）におけるオーディオ・コンテンツ（１５２）の個々の部分の――ラウドネス・レベル差を補償するために、エンコードされたオーディオ信号（１０２）におけるオーディオ・コンテンツ（１５２）に対して作用する一つまたは複数のオーディオ処理動作、アルゴリズムなどを制御するために、前記特定のスピーカー構成のようなスピーカー構成をもつオーディオ・デコーダ（たとえば１００など）によって（たとえば追加的に、任意的に、代替的になど）使用されてもよい。

【0107】

いくつかの実施形態では、本稿に記載されるオーディオ・デコーダ（たとえば１００など）は、エンコードされたオーディオ信号（１０２）からの（たとえばマルチチャネルなどの）オーディオ・コンテンツをデコードするよう構成され、該オーディオ・コンテンツとともに送達されるラウドネス・メタデータからダイアログ・ラウドネス・レベル（たとえば「dialnorm」など）を抽出するなどする。オーディオ・デコーダ（１００）は、前記オーディオ・コンテンツが対応する参照スピーカー構成より少数のオーディオ・チャネルをもつ特定のスピーカー構成（たとえば二チャネル構成など）とともに動作してもよい。

【0108】

いくつかの実施形態では、オーディオ・デコーダ（１００）は、前記マルチチャネル・オーディオ・コンテンツがそのために符号化された参照スピーカー構成のためのエンコードされたオーディオ信号（１０２）から受領される前記マルチチャネル・オーディオ・コンテンツをオーディオ・デコーダにおける特定のスピーカー構成にダウンミックするために、一つまたは複数のダウンミックスの式を使い、ダウンミックスされたオーディオ・コンテンツに対して一つまたは複数のオーディオ処理動作、アルゴリズムなどを実行してダウンミックス音出力を生成するなどする。オーディオ・デコーダ（１００）は、一つまたは複数の異なる型のダウンミックス動作を実行する機能があってもよい。オーディオ・デコーダ（１００）は、一つまたは複数の因子に基づいて特定の型のダウンミックス動作（たとえばLtRtダウンミックス、LoRoダウンミックスなど）を決定し、実行するよう構成されることができる。これらの因子は、これだけに限られないが、ダウンミックス動作の特定のユーザー選択された型についての選好を指定する入力、ダウンミックス動作のシステム選択された型についての選好を指定するユーザー入力、その特定のスピーカー構成および／またはオーディオ・デコーダ（１００）の機能、その特定の型のダウンミックス動作についてのダウンミックス・ラウドネス・メタデータの利用可能性、ある型のダウンミックス動作についての何らかのエンコーダ生成された選好フラグなどの一つまたは複数を含んでいてもよい。いくつかの実施形態では、これらの因子が互いに衝突する場合にダウンミックス動作の特定の型を決定するために、オーディオ・デコーダ（１００）は、一つまたは複数の優先規則を実装してもよく、さらなるユーザー入力を求めてもよい。

【0109】

前記一つまたは複数のオーディオ処理動作、アルゴリズムなどは、これだけに限られないが：ダウンミックスされた音出力の出力ダイアログ・ラウドネス・レベルを、少なくとも部分的にはダイアログ・ラウドネス・レベル（たとえば「dialnorm」など）および参照ラウドネス・レベル（たとえば－31LKFSなど）に基づいて、参照ラウドネス・レベルに揃える／調整するためにある量の減衰（たとえば参照ラウドネス・レベルと「dialnorm」の間の差など）を適用するラウドネス減衰動作を含む。いくつかの実施形態では、オーディオ・デコーダ（１００）はさらに、ダイアログ正規化、ダイナミックレンジ圧縮、ダウンミックス過負荷に対して保護するための固定された減衰などに起因する利得調整の一部または全部を実行する。いくつかの実施形態では、これらの利得調整は、先述した測定されたラウドネス・レベルを決定することにおいて、オーディオ・エンコーダ（１５０）によって実行されたものに対応していてもよい――たとえば、同じまたは実質的に同じであってもよい。これらの利得調整の一つまたは複数は、オーディオ・エンコーダ（１００）によって実行されたダウンミックス動作の型（たとえばLtRtダウンミックス、LoRoダウンミックスなど）に固有であってもよい。

【0110】

追加的、任意的または代替的に、いくつかの実施形態では、オーディオ・デコーダ（１００）は、オーディオ・コンテンツと一緒に送達されたメタデータの一部として、ダウンミックス・ラウドネス・メタデータ（たとえば「dmixloudoffste」フィールド、「dmixloudoffst」フィールドなど）を、エンコードされたオーディオ信号（１０２）から抽出するよう構成されている。いくつかの実施形態では、抽出されたダウンミックス・ラウドネス・メタデータにおけるダウンミックス・ラウドネス・パラメータは、ダウンミックス・ラウドネス・メタデータにおいて担持される一つまたは複数のフラグによって存在すると指示されるダウンミックス動作の異なる型についてのダウンミックス・ラウドネス・パラメータの一つまたは複数の異なる集合を含む。ダウンミックス・ラウドネス・パラメータの前記一つまたは複数の集合が存在することを判別するのに応答して、オーディオ・デコーダ（１００）は、オーディオ・デコーダ（１００）によって実行されるダウンミックス動作の特定の型（たとえばLtRtダウンミックス、LoRoダウンミックスなど）に対応する、ダウンミックス・ラウドネス・パラメータの前記一つまたは複数の異なる集合のうちの、ダウンミックス・ラウドネス・パラメータの集合を決定／選択することができる。オーディオ・デコーダ（１００）は、（たとえば「dmixloudoffste」フィールドが1または0のいずれの値をもつかなどに基づいて）、ダウンミックス・ラウドネス・パラメータのその特定の集合においてダウンミックス・ラウドネス・オフセット・データが存在するかどうかを判定する。（たとえば「dmixloudoffste」フィールドが1の値をもつことなどに基づいて）ダウンミックス・ラウドネス・パラメータのその特定の集合においてダウンミックス・ラウドネス・オフセット・データが存在すると判定することに応じて、オーディオ・デコーダ（１００）は、エンコードされたオーディオ信号（１０２）からオーディオ・コンテンツと一緒に抽出されたダウンミックス・ラウドネス・メタデータ（たとえばダウンミックス・ラウドネス・パラメータの同じ集合における「dmixloudoffst」フィールドなど）におけるダウンミックス・ラウドネス・オフセットに基づいて、ラウドネス調整動作を実行する。ダウンミックス・ラウドネス・メタデータは、利得調整の一つまたは複数の異なる集合を適用することなどのあとに一つまたは複数の異なる型のダウンミックスについての一つまたは複数のインスタンスをもつ「dmixloudoffst」フィールドを含んでいてもよい。実際のダウンミックス動作およびオーディオ・デコーダ（１００）によって実行された利得調整の実際の集合（たとえば、利得調整なし、DRCに関係するものを除いた利得調整、DRCに関係するものを含む利得調整、ダイアログ正規化に関係するものを除いた利得調整、ダイアログ正規化に関係するものを含む利得調整、ダイアログ正規化およびDRCの両方に関係するものを含む利得調整など）に基づいて、オーディオ・デコーダ（１００）は、ダウンミックス・ラウドネス・メタデータにおける「dmixloudoffst」フィールドの前記一つまたは複数のインスタンスのうちの特定のインスタンスを決定／選択できる。

【0111】

「dmixloudoffst」フィールドが正のLKFS値（たとえば「dmixloudoffst」フィールドのための16,17,…,30の値）を示すことを判別することに応答して（このことは、ダイアログ正規化、ダイナミックレンジ圧縮、ダウンミックス過負荷に対して保護するための固定された減衰などに起因する利得調整の一部または全部を適用したあとのダウンミックス音出力の（１５０などのような上流のオーディオ・エンコーダによって測定された）ラウドネス・レベルが、ダウンミックス音出力の期待されたラウドネス・レベルより、示されるLKFS値の大きさだけ、ラウドであることを意味する）、オーディオ・デコーダ（１００）は、示されたLKFS値の大きさをもつ負の利得値をもつさらなる利得調整を実行する。これは、ダウンミックス音出力のラウドネス・レベルを期待されるラウドネス（たとえば参照ラウドネス・レベルなど）まで下げるまたは調整する。

【0112】

「dmixloudoffst」フィールドが負のLKFS値（たとえば「dmixloudoffst」フィールドのための1,2,…,15の値）を示すことを判別することに応答して（このことは、ダイアログ正規化、ダイナミックレンジ圧縮、ダウンミックス過負荷に対して保護するための固定された減衰などに起因する利得調整の一部または全部を適用したあとのダウンミックス音出力の（１５０などのような上流のオーディオ・エンコーダによって測定された）ラウドネス・レベルが、ダウンミックス音出力の期待されたラウドネス・レベルより、示されるLKFS値の大きさだけ、静かであるまたはラウドでないことを意味する）、オーディオ・デコーダ（１００）は、示されたLKFS値の大きさをもつ負の利得値をもつさらなる利得調整を実行する。これは、ダウンミックス音出力のラウドネス・レベルを期待されるラウドネス（たとえば参照ラウドネス・レベルなど）まで上げるまたは調整する。

【0113】

「dmixloudoffst」フィールドのLKFS値（たとえば「dmixloudoffst」フィールドのための1,2,…,15の値）は、ダウンミックス音出力の測定されたラウドネス・レベルが、期待されたダウンミックス・ラウドネスより、示されるLKFS値の大きさだけ、静かであるまたはラウドでないことを示す。いくつかの実施形態では、負のLKFS値が、エンコードされたオーディオ信号（１０２）において、受領側デコーダに対して示される／信号伝達される場合、受領側デコーダ（たとえば１５０など）は、前記負のLKFS値を補償するために二チャネルのダウンミックス音出力に適用されるどの正の利得も、二チャネルのダウンミックス音出力におけるラウドネス・レベルのクリッピングを導入しないことを保証するために、措置を講じることができる。

【0114】

ダウンミックス・ラウドネス・メタデータにおいて示されるラウドネス・オフセットに基づく該さらなる利得調整は、これだけに限られないが、オーディオ・デコーダ（１００）によって実行されるダウンミックス動作の型に固有であってもよい。

【0115】

〈１１．利得に関係した追加的動作〉
本稿に記載される技法のもとでは、動的等化、ノイズ補償などといった他の処理も、物理領域（または物理領域を表わすデジタル領域）ではなくラウドネス（たとえば知覚的）領域で実行されることができる。

【0116】

いくつかの実施形態では、DRC、等化ノイズ補償、クリップ防止、利得平滑化などといった多様な処理の一部または全部からの利得が、ラウドネス領域における同じ利得に組み合わされてもよく、および／または並列に適用されてもよい。他のいくつかの実施形態では、DRC、等化ノイズ補償、クリップ防止、利得平滑化などといった多様な処理の一部または全部からの利得は、ラウドネス領域における別個の利得であってもよく、および／または少なくとも部分的には直列に適用されてもよい。他のいくつかの実施形態では、DRC、等化ノイズ補償、クリップ防止、利得平滑化などといった多様な処理の一部または全部からの利得は、順に適用されてもよい。

【0117】

〈１２．特定的およびブロードバンド（または広帯域）のラウドネス・レベル〉
伝送フィルタ、聴覚的フィルタバンク、合成フィルタバンク、短時間フーリエ変換などといった一つまたは複数のオーディオ処理要素、ユニット、コンポーネントなどが、本稿に記載されるオーディオ処理動作を実行するためにエンコーダまたはデコーダによって使われてもよい。

【0118】

いくつかの実施形態では、人間の聴覚系の外耳および中耳のフィルタリングをモデル化する一つまたは複数の伝達フィルタが、はいってくるオーディオ信号（たとえば、エンコードされたオーディオ信号１０２、コンテンツ・プロバイダーからのオーディオ・コンテンツなど）をフィルタリングするために使われてもよい。いくつかの実施形態では、聴覚的フィルタバンクは、人間の聴覚系の周波数選択性および周波数広がりをモデル化するために使われてもよい。これらのフィルタの一部または全部からの励起信号レベルは、人間の聴覚系におけるエネルギーの積分をモデル化するために、より高い周波数にかけてより短くなる周波数依存の時定数をもって決定／計算され、平滑化されてもよい。その後、励起信号と特定的ラウドネス・レベルとの間の非線形関数（たとえば関係、曲線など）が、周波数依存の特定的ラウドネス・レベルのプロファイルを取得するために、使われてもよい。ブロードバンド（または広帯域）ラウドネス・レベルは、諸周波数帯域にわたって特定的ラウドネスを積分することによって取得できる。

【0119】

特定的ラウドネス・レベルの素直な（たとえばすべての周波数帯域に等しい重みを用いるなど）総和／積分は、ブロードバンド信号についてはうまく機能しうる。しかしながら、そのようなアプローチは、狭帯域信号についての（たとえば知覚的などの）ラウドネス・レベルを過小評価することがある。いくつかの実施形態では、異なる周波数におけるまたは異なる周波数帯域における特定的ラウドネス・レベルは異なる重みを与えられる。

【0120】

いくつかの実施形態では、上述したような聴覚的フィルタバンクおよび／または伝達フィルタは、一つまたは複数の短時間フーリエ変換（STFT）によって置換されてもよい。伝達フィルタおよび聴覚的フィルタバンクの応答は、高速フーリエ変換（FFT）領域において適用されてもよい。いくつかの実施形態では、たとえば一つまたは複数の（たとえば順方向など）伝達フィルタが物理領域（または物理領域を表わすデジタル領域）からラウドネス領域への変換においてまたは該変換前に使われるとき、一つまたは複数の逆伝達フィルタが使用される。いくつかの実施形態では、たとえば聴覚的フィルタバンクおよび／または伝達フィルタの代わりにSTFTが使われるときは、逆伝達フィルタは使用されない。いくつかの実施形態では、聴覚的フィルタバンクは省略される；その代わりに、一つまたは複数の直交ミラー・フィルタ（QMF）が使用される。これらの実施形態において、人間の聴覚系のモデルにおける基底膜の拡散効果は、本稿に記載されるオーディオ処理動作の事項に著しく影響することなく、省略されうる。

【0121】

本稿に記載される技法のもとで、さまざまな実施形態において異なる数の周波数帯域（たとえば20個の周波数帯域、40個の周波数帯域など）が使用されうる。追加的、任意的または代替的に、さまざまな実施形態において、異なる帯域幅が使用されてもよい。

【0122】

〈１３．チャネルの個々の部分集合のための個々の利得〉
いくつかの実施形態では、特定のスピーカー構成がマルチチャネル構成であるとき、物理領域（または物理領域を表わすデジタル領域）からラウドネス領域への変換の前にすべてのチャネルの励起信号をまず加算することによって、全体的ラウドネス・レベルが得られてもよい。しかしながら、特定のスピーカー構成におけるすべてのチャネルに同じ利得を適用することは、その特定のスピーカー構成の異なるチャネルの間の空間的バランス（異なるチャネルの間の相対的なラウドネス・レベルなどに関するバランス）を保存しないことがある。

【0123】

いくつかの実施形態では、異なるチャネルの間の相対的な知覚的ラウドネス・レベルが最適にまたは正しく維持されうるよう空間的バランスを保存するために、それぞれのラウドネス・レベルおよび該それぞれのラウドネス・レベルに基づいて得られる対応する利得はチャネル毎に決定または計算されてもよい。いくつかの実施形態では、それぞれのラウドネス・レベルに基づいて得られる対応する利得は、同じ全体的利得に等しくはない。たとえば、該対応する利得の一部または全部のそれぞれは、全体的利得に（たとえばチャネル固有の）小さな補正を加えたものに等しくてもよい。

【0124】

いくつかの実施形態では、空間的バランスを保存するために、それぞれのラウドネス・レベルおよび該それぞれのラウドネス・レベルに基づいて得られる対応する利得はチャネルの部分集合毎に決定または計算されてもよい。いくつかの実施形態では、それぞれのラウドネス・レベルに基づいて得られる対応する利得は、同じ全体的利得に等しくはない。たとえば、該対応する利得の一部または全部のそれぞれは、全体的利得に（たとえばチャネル固有の）小さな補正を加えたものに等しくてもよい。いくつかの実施形態では、チャネルの部分集合は、その特定のスピーカー構成における全チャネルの真部分集合をなす二つ以上のチャネルを含んでいてもよい（たとえば、左前方、右前方および低域効果（LFE）を含むチャネルの部分集合、左サラウンドおよび右サラウンドを含むチャネルの部分集合など）。チャネルの部分集合についてのオーディオ・コンテンツは、エンコードされたオーディオ信号（１０２）において担持される全体的な混合のサブミックスをなしてもよい。サブミックス内の諸チャネルは同じ利得を適用されることができる。

【0125】

いくつかの実施形態では、特定のスピーカー構成から（たとえば実際に知覚されるなどの）実際のラウドネスを生成するために、デジタル領域の信号レベルを該デジタル領域によって表わされる物理領域での対応する物理（たとえば、dB_SPLなどによる空間的圧力）レベルに関係付けるために、一つまたは複数の較正パラメータが使用されてもよい。該一つまたは複数の較正パラメータは、特定のスピーカー構成における物理的なサウンド設備に固有の値を与えられてもよい。

【0126】

〈１４．聴覚シーン解析〉
いくつかの実施形態では、本稿に記載されるエンコーダは、（たとえばエンコードされたオーディオ信号１０２中にエンコードされているなどの）オーディオ・コンテンツにおける聴覚イベント境界を検出し、一つまたは複数のASAパラメータを生成し、該一つまたは複数のASAパラメータを、下流の装置（たとえばデコーダ１００など）に送達されるエンコードされたオーディオ信号（たとえば１０２など）の一部としてフォーマットするために、コンピュータ・ベースの聴覚シーン解析（ASA）を実装してもよい。ASAパラメータは、これだけに限られるものではないが、聴覚イベント境界の位置、聴覚イベント確実性指標の値（下記でさらに説明する）などを含みうる。

【0127】

いくつかの実装では、聴覚イベント境界の（たとえば時間的な）位置は、エンコードされたオーディオ信号（１０２）内にエンコードされたメタデータにおいて示されてもよい。追加的、任意的または代替的に、聴覚イベント境界の（たとえば時間的な）位置は、該聴覚イベント境界の位置が検出されるオーディオ・データ・ブロックおよび／またはフレームにおいて（たとえばフラグ、データ・フィールドなどを用いて）指示されてもよい。

【0128】

本稿での用法では、聴覚イベント境界は、先行する聴覚イベントが終わるおよび／または後続の聴覚イベントが始まる点を指す。各聴覚イベントは、二つの相続く聴覚イベント境界の間に生起する。

【0129】

いくつかの実施形態では、エンコーダ（１５０）は、二つの（たとえば時間的などの）連続するオーディオ・データ・フレームの間の特定的ラウドネス・スペクトルにおける差によって、聴覚イベント境界を検出するよう構成される。各特定的ラウドネス・スペクトルは、それらの連続するオーディオ・データ・フレームのうちの対応するオーディオ・データ・フレームから計算される、平滑化されていないラウドネスのスペクトルを含んでいてもよい。

【0130】

いくつかの実施形態では、特定的ラウドネス・スペクトルN[b,t]は、次式に示されるように、規格化された特定的ラウドネス・スペクトルN_NORM[b,t]を得るよう規格化されてもよい。

【0131】

N_NORM[b,t]＝N[b,t]／max_b{N[b,t]} (1)
ここで、bは帯域を示し、tは時間またはオーディオ・フレーム・インデックスを示し、max_b{N[b,t]}はすべての周波数帯域にわたる最大の特定的ラウドネス・レベルである。

【0132】

規格化された特定的ラウドネス・スペクトルは、次式に示されるように、互いに減算され、差分絶対値和D[t]を導出するために使われる。

【0133】

D[t]＝Σ_b｜N_NORM[b,t]－N_NORM[b,t－1]｜ (2)
差分絶対値和は、次のように、0から1の値範囲をもつ聴覚イベント確実性指標にマッピングされる。

【0134】

【数1】

ここで、D_minおよびD_maxは最小および最大の閾値である（たとえば、ユーザー構成設定可能、システム構成設定可能、当該オーディオ・コンテンツにおけるD[t]の過去の値分布に関係して設定される、など）。

【0135】

いくつかの実施形態では、エンコーダ（１５０）は、（たとえば特定のtにおけるなどの）D[t]がD_minを上回るときに（たとえば前記特定のtにおけるなどの）聴覚イベント境界を検出するよう構成される。

【0136】

いくつかの実施形態では、本稿に記載されるデコーダ（たとえば１００など）は、エンコードされたオーディオ信号（たとえば１０２など）からASAパラメータを抽出し、該ASAパラメータを、聴覚イベントの知覚的な歪みを引き起こす、ソフトな音の意図しないブーストおよび／またはラウドな音の意図しないカット防止するために使う。

【0137】

デコーダ（１００）は、聴覚イベント内では利得はより一定に近いことを保証し、利得変化の多くを聴覚イベント境界の近傍に制約することによって、聴覚イベントの意図しない歪みを軽減または防止するよう構成されてもよい。たとえば、デコーダ（１００）は、聴覚イベント境界におけるアタック（たとえばラウドネス・レベル増など）における利得変化に応答して、比較的小さな時定数（たとえば諸聴覚イベントの最小継続時間に匹敵するまたはそれより短いものなど）を使うよう構成されてもよい。よって、アタックにおける利得変化は、デコーダ（１００）によって、比較的迅速に実装されることができる。他方、デコーダ（１００）は、聴覚イベントにおけるリリース（たとえばラウドネス・レベル減など）における利得変化に応答して、聴覚イベントの継続時間に比して比較的長い時定数を使うよう構成されてもよい。よって、リリースにおける利得変化は、デコーダ（１００）によって、比較的ゆっくり実装されることができ、それにより、一定に感じられるべきまたは徐々に減衰するべき音は聴覚的または知覚的に乱されないことがある。聴覚イベント境界におけるアタックにおける迅速な応答および聴覚イベントにおけるリリースにおけるゆっくりした応答は、聴覚イベントの到達の高速な知覚を許容するとともに、ピアノ和音などのような聴覚イベント――これは特定のラウドネス・レベル関係および／または特定の時間関係によってリンクされたラウドな音およびソフトな音を含む――の間の知覚的な品質および／または無欠性を保存する。

【0138】

いくつかの実施形態では、聴覚イベントおよびASAパラメータによって指示される聴覚イベント境界は、デコーダ（１００）における特定のスピーカー構成におけるチャネルの一つ、二つ、一部または全部における利得変化を制御するために、デコーダ（１００）によって使われる。

【0139】

〈１５．ラウドネス・レベル遷移〉
ラウドネス・レベル遷移はたとえば、二つのプログラムの間、プログラムとラウドなコマーシャルの間などで起こりうる。いくつかの実施形態では、デコーダ（１００）は、（たとえば、過去4秒にわたってエンコードされたオーディオ信号１０２から受領されたなどの）過去のオーディオ・コンテンツに基づく瞬時ラウドネス・レベルのヒストグラムを維持するよう構成される。ラウドネス・レベル遷移前からラウドネス・レベル遷移後にかけての時間区間にわたって、高められた確率をもつ二つの領域がヒストグラムに記録されうる。それらの領域の一方は、前のラウドネス・レベルを中心としており、一方、それらの領域の他方は、新しいラウドネス・レベルを中心としている。

【0140】

デコーダ（１００）は、オーディオ・コンテンツが処理される際に、平滑化されたラウドネス・レベルを動的に決定し、該平滑化されたラウドネス・レベルに基づいてヒストグラムの対応するビン（たとえば、平滑化されたラウドネス・レベルと同じ値を含む瞬時ラウドネス・レベルのビン）を決定してもよい。デコーダ（１００）はさらに、該対応するビンにおける確率を閾値（たとえば、6%、7%、7.5%など）と比較するよう構成される。ここで、ヒストグラム曲線の全面積（たとえば、すべてのビンの和）は、100%の確率を表わす。デコーダは、対応するビンが閾値を下回る確率を決定することによって、ラウドネス・レベル遷移の発生を検出するよう構成されることができる。応答して、デコーダ（１００）は、新しいラウドネス・レベルに比較的速く適応するために、比較的小さな時定数を選択するよう構成されていてもよい。結果として、ラウドネス・レベル遷移内のラウド（またはソフト）な始まりの継続時間は短縮されることができる。

【0141】

いくつかの実施形態では、デコーダ（１００）は、低い瞬時ラウドネス・レベルがヒストグラムにはいってヒストグラムにおける高確率ビンとなるのを防ぐために無音／ノイズ・ゲートを使う。追加的、任意的または代替的に、デコーダ（１００）は、ヒストグラムに含められるべき聴覚イベントを検出するために前記ASAパラメータを使うよう構成されていてもよい。いくつかの実施形態では、デコーダ（１００）は、時間平均された聴覚イベント確実性指標の時間依存する値

【数2】

をASAパラメータから決定してもよい。いくつかの実施形態では、デコーダ（１００）は、ASAパラメータからの（たとえば瞬時などの）聴覚イベント確実性指標の時間依存する値A[t]などに基づいて、時間平均された聴覚イベント確実性指標の値

【数3】

を計算してもよい。デコーダ（１００）は、ラウドネス・レベルと同時の前記時間平均された聴覚イベント確実性指標

【数4】

がヒストグラム包含閾値（たとえば0.1、0.12など）を下回る場合に、該ラウドネス・レベルをヒストグラムにはいることから除外するよう構成されていてもよい。

【0142】

いくつかの実施形態では、ヒストグラムに含められることが許される（たとえば瞬時などの）ラウドネス・レベル（たとえば、対応する￣付きのA[t]の値が前記ヒストグラム包含閾値より上であるなど）について、ラウドネス・レベルは、それらのラウドネス・レベルと同時の前記時間平均された聴覚イベント確実性指標〔￣付きのA[t]〕の時間依存の値と同じである、またはそれに比例するなどである重みを割り当てられる。結果として、聴覚イベント境界に近いラウドネス・レベルは、聴覚イベント境界に近くない他のラウドネス・レベルよりも、ヒストグラムに対して多くの影響をもつ（たとえば、￣付きのA[t]が相対的に大きな値をもつなど）。

【0143】

〈１６．リセット〉
いくつかの実施形態では、本稿に記載されるエンコーダ（たとえば１５０など）は、リセット・イベントを検出し、該リセット・イベントの指標を、エンコードされたオーディオ信号（たとえば１０２など）に含めるよう構成される。第一の例では、エンコーダ（１５０）は、相対的な無音の連続的な（たとえばシステムおよび／またはユーザーによって構成設定可能な250ミリ秒など）期間が生じると判別することに応答してリセット・イベントを検出する。第二の例では、エンコーダ（１５０）は、すべての周波数帯域を横断して励起レベルの大きな瞬間的な降下が生じることを判別するのに応答してリセット・イベントを検出する。第三の例では、エンコーダは、リセットを要求する、コンテンツ遷移（たとえばプログラム開始／終了、シーン変化など）が生じるところで入力（たとえばユーザー入力、システム制御されるメタデータなど）を与えられる。

【0144】

いくつかの実施形態では、本稿に記載されるデコーダ（たとえば１００など）は、瞬時に利得平滑化を高速化するために使用できるリセット機構を実装する。該リセット機構は有用であり、チャネルとオーディオビジュアル入力の間の切り換えが起こるときに呼び出されてもよい。

【0145】

いくつかの実施形態では、デコーダ（１００）は、相対的な無音の連続的な（たとえばシステムおよび／またはユーザーによって構成設定可能な250ミリ秒など）期間が生じるかどうか、すべての周波数帯域を横断した励起レベルの大きな瞬間的な降下が生じるかどうかなどを判定することによって、リセット・イベントが生じるかどうかを判定するよう構成されることができる。

【0146】

いくつかの実施形態では、デコーダ（１００）は、上流のエンコーダ（たとえば１５０など）によって、エンコードされたオーディオ信号（１０２）において提供された（たとえばリセット・イベントなどの）指標を受領することに応答して、リセット・イベントが生じることを判別するよう構成されている。

【0147】

リセット機構は、デコーダ（１００）がリセット・イベントが生じることを判別するときに、リセットを発するようにされてもよい。いくつかの実施形態では、リセット機構は、（たとえばラウドなプログラム／チャネル／オーディオビジュアル源などの）ハードな開始を防止するよう、DRC圧縮曲線のもう少し積極的なカット挙動を使うよう構成される。追加的、任意的または代替的に、デコーダ（１００）は、デコーダ（１００）がリセットが誤ってトリガーされたことを検出するときに優雅に回復するためのセーフガードを実装するよう構成されもよい。

【0148】

〈１７．エンコーダによって提供される利得〉
いくつかの実施形態では、オーディオ・デコーダは、エンコードされたオーディオ信号中にエンコードされるべきオーディオ・コンテンツの個々の部分（たとえば、オーディオ・データ・ブロック、オーディオ・データ・フレームなど）について利得（たとえばDRC利得など）の一つまたは複数の集合を計算するよう構成されることができる。オーディオ・エンコーダによって生成された利得のそれらの集合は、すべてのチャネル（たとえば左前方、右前方、低域効果もしくはLFE、中央、左サラウンド、右サラウンドなど）についての単一のブロードバンド（または広帯域）利得を含む利得の第一の集合；チャネルの個々の部分集合についての個々のブロードバンド（または広帯域）利得を含む利得の第二の集合；チャネルの個々の部分集合についておよび第一の数（たとえば二つなど）の個々の帯域（たとえば各チャネルにおける二つの帯域など）のそれぞれについての個々のブロードバンド（または広帯域）利得を含む利得の第三の集合；チャネルの個々の部分集合についておよび第二の数（たとえば四つなど）の個々の帯域（たとえば各チャネルにおける四つの帯域など）のそれぞれについての個々のブロードバンド（または広帯域）利得を含む利得の第四の集合；などを含んでいてもよい。ここに記載されるチャネルの部分集合は、左前方、右前方およびLFEチャネルを含む部分集合、中央チャネルを含む部分集合、左サラウンドおよび右サラウンド・チャネルを含む部分集合などの一つであってもよい。

【0149】

いくつかの実施形態では、オーディオ・エンコーダは、オーディオ・コンテンツの一つまたは複数の部分（たとえばオーディオ・データ・ブロック、オーディオ・データ・フレームなど）およびオーディオ・コンテンツの前記一つまたは複数の部分について計算された利得の一つまたは複数の集合を時間同期的な仕方で伝送するよう構成される。オーディオ・コンテンツの前記一つまたは複数の部分を受領するオーディオ・デコーダは、ほとんどまたは全く遅延なしに、利得の前記一つまたは複数の集合のうちの利得のある集合を選択し、適用することができる。いくつかの実施形態では、オーディオ・エンコーダは、利得の前記一つまたは複数の集合が図４に示されるような一つまたは複数のサブフレームにおいて（たとえば差分符号化などを用いて）担持されるサブフレーミング技法を実装することができる。一例では、サブフレームは、それらの利得が計算されるオーディオ・データ・ブロックまたはオーディオ・データ・フレーム内にエンコードされてもよい。もう一つの例では、サブフレームは、それらの利得が計算されるオーディオ・データ・ブロックまたはオーディオ・データ・フレームに先行する諸オーディオ・データ・ブロックまたは諸オーディオ・データ・フレーム内にエンコードされてもよい。もう一つの限定しない例では、サブフレームは、それらの利得が計算されるオーディオ・データ・ブロックまたはオーディオ・データ・フレームからある時間内の諸オーディオ・データ・ブロックまたは諸オーディオ・データ・フレーム内にエンコードされてもよい。いくつかの実施形態では、利得のそれらの集合を担持するサブフレームにデータを入れるおよび／または該サブフレームを圧縮するために、ハフマンおよび差分符号化が使われてもよい。

【0150】

〈１８．例示的なシステムおよびプロセス・フロー〉
図５は、限定しない例示的実施形態における例示的なコーデック・システムを示している。１５０などのようなオーディオ・エンコーダ内の処理ユニットであってもよいコンテンツ・クリエーターは、オーディオ・コンテンツ（「オーディオ」）をエンコーダ・ユニット（「NGCエンコーダ」）に提供するよう構成される。エンコーダ・ユニットは、オーディオ・コンテンツをオーディオ・データ・ブロックおよび／またはフレームにフォーマットし、オーディオ・データ・ブロックおよび／またはフレームをエンコードされたオーディオ信号にエンコードする。コンテンツ・クリエーターは、オーディオ・コンテンツにおける一つまたは複数のプログラム、コマーシャルなどの一つまたは複数のダイアログ・ラウドネス・レベル（「dialnorm」）および一つまたは複数のダイナミックレンジ圧縮曲線識別子（「圧縮曲線ID」）を確立／生成するようにも構成される。コンテンツ・クリエーターは、オーディオ・コンテンツにおける一つまたは複数のダイアログ・オーディオ・トラックからダイアログ・ラウドネス・レベルを決定してもよい。ダイナミックレンジ圧縮曲線識別子は、少なくとも部分的にはユーザー入力、システム構成設定パラメータなどに基づいて選択されてもよい。コンテンツ・クリエーターは、オーディオ・コンテンツおよびdialnormを生成するためにツールを使う人間（たとえばアーチスト、オーディオ・エンジニアなど）であってもよい。

【0151】

ダイナミックレンジ圧縮曲線識別子に基づいて、エンコーダ（１５０）は、前記一つまたは複数のダイナミックレンジ圧縮曲線によってサポートされる複数の再生環境についての対応する参照ダイアログ・ラウドネス・レベル（「参照レベル」）を含むがそれに限定されない一つまたは複数のDRCパラメータ集合を生成する。これらのDRCパラメータ集合は、オーディオ・コンテンツと一緒にインバンドで、オーディオ・コンテンツとはアウトオブバンドでなどで、エンコードされたオーディオ信号のメタデータ中にエンコードされてもよい。圧縮、フォーマット多重化（「MUX」）などのような動作は、１００などのようなオーディオ・デコーダに送達されうるエンコードされたオーディオ信号を生成することの一部として実行されてもよい。エンコードされたオーディオ信号は、オーディオ・データ要素、DRCパラメータ集合、参照ラウドネス・レベル、ダイナミックレンジ圧縮曲線、関数、ルックアップテーブル、圧縮において使われるハフマン符号、サブフレームなどの担持をサポートするシンタックスをもってエンコードされてもよい。いくつかの実施形態では、シンタックスは、上流の装置（たとえばエンコーダ、デコーダ、トランスコーダなど）が利得を下流の装置（たとえば、デコーダ、トランスコーダなど）に伝送することを許容する。いくつかの実施形態では、エンコードされたオーディオ信号にデータをエンコードするおよび／またはエンコードされたオーディオ信号から該データをデコードするために使われるシンタックスは、上流の装置によって計算された利得に依拠する装置が任意的にそのようにし続けてもよいよう、後方互換性をサポートするよう構成される。

【0152】

いくつかの実施形態では、エンコーダ（１５０）は、オーディオ・コンテンツについての利得（たとえば適切な参照ダイアログ・ラウドネス・レベルを用いる利得平滑化、DRC利得など）の二つ以上の集合を計算する。利得についてのこれらの集合は、オーディオ・コンテンツと一緒にエンコードされたオーディオ信号中にエンコードされたメタデータにおいて、前記一つまたは複数のダイナミックレンジ圧縮曲線を提供されてもよい。利得の第一の集合は、（たとえばデフォルトなどの）スピーカー構成またはプロファイルにおけるすべてのチャネルについてのブロードバンド（または広帯域）利得に対応してもよい。利得の第二の集合は、スピーカー構成またはプロファイルにおけるすべてのチャネルのそれぞれについてのブロードバンド（または広帯域）利得に対応してもよい。利得の第三の集合は、スピーカー構成またはプロファイルにおけるすべてのチャネルのそれぞれにおける二つの帯域のそれぞれについてのブロードバンド（または広帯域）利得に対応してもよい。利得の第四の集合は、スピーカー構成またはプロファイルにおけるすべてのチャネルのそれぞれにおける四つの帯域のそれぞれについてのブロードバンド（または広帯域）利得に対応してもよい。いくつかの実施形態では、あるスピーカー構成について計算された利得の集合は、メタデータにおいて該スピーカー構成についての（たとえばパラメータ化されたなどの）ダイナミックレンジ圧縮曲線と一緒に伝送されてもよい。いくつかの実施形態では、あるスピーカー構成について計算された利得の集合は、メタデータにおいて該スピーカー構成についての（たとえばパラメータ化されたなどの）ダイナミックレンジ圧縮曲線を置換してもよい。追加的なスピーカー構成またはプロファイルは、本稿に記載される技法のもとでサポートされてもよい。

【0153】

デコーダ（１００）は、エンコードされたオーディオ信号から、オーディオ・データ・ブロックおよび／またはフレームならびにメタデータを、たとえば圧縮解除、フォーマット解除、多重分離（「DEMUX」）などの動作を通じて、抽出するよう構成される。抽出されたオーディオ・データ・ブロックおよび／またはフレームは、デコーダ・ユニット（「NGCデコーダ」）によってオーディオ・データ要素またはサンプルにデコードされてもよい。デコーダ（１００）はさらに、デコーダ（１００）における、オーディオ・コンテンツがレンダリングされる特定の再生環境のためのプロファイルを決定し、エンコードされたオーディオ信号から抽出されたメタデータからダイナミックレンジ圧縮曲線を選択するよう構成される。デジタル・オーディオ処理ユニット（「DAP」）は、特定の再生環境においてオーディオ・チャネルを駆動するオーディオ信号を生成する目的でオーディオ・データ要素またはサンプルに対してDRCまたは他の動作を適用するよう構成される。デコーダ（１００）は、オーディオ・データ・ブロックまたはフレームに基づくDRC利得および選択されたダイナミックレンジ圧縮曲線を計算し、適用することができる。デコーダ（１００）はまた、選択されたダイナミックレンジ圧縮曲線に関連付けられた参照ダイアログ・ラウドネス・レベルと、エンコードされたオーディオ信号から抽出されたメタデータにおけるダイアログ・ラウドネス・レベルとに基づいて、出力ダイアログ・ラウドネス・レベルを調整することもできる。デコーダ（１００）は、その後、オーディオ・コンテンツおよび特定の再生環境に関係した再生シナリオに固有の利得制限器を適用することができる。このように、デコーダ（１００）は、再生シナリオに合わせて調整されたようにオーディオ・コンテンツをレンダリング／再生することができる。

【0154】

図６Ａないし図６Ｄは、例示的なプロセス・フローを示す。いくつかの実施形態では、メディア処理システムにおける一つまたは複数のコンピューティング装置またはユニットは、このプロセス・フローを実行してもよい。

【0155】

図６Ａは、本稿に記載されるオーディオ・デコーダによって実装されてもよい例示的なプロセス・フローを示している。図６Ａのブロック６０２では、第一の装置（たとえば、図１Ａのオーディオ・デコーダ１００など）が、オーディオ・コンテンツと、一つまたは複数のダイナミックレンジ圧縮曲線についての定義データとを含むオーディオ信号を受領する。

【0156】

ブロック６０４では、第一の装置は特定の再生環境を判別する。

【0157】

ブロック６０６では、第一の装置は、その特定の再生環境についての特定のダイナミックレンジ圧縮曲線を、オーディオ信号から抽出された前記一つまたは複数のダイナミックレンジ圧縮曲線についての前記定義データに基づいて確立する。

【0158】

ブロック６０８では、第一の装置は、オーディオ信号から抽出されるオーディオ・コンテンツの一つまたは複数の部分に対する一つまたは複数のダイナミックレンジ制御（DRC）動作を実行する。前記一つまたは複数のDRC動作は、少なくとも部分的には特定のダイナミックレンジ圧縮曲線から得られた一つまたは複数のDRC利得に基づく。

【0159】

ある実施形態では、前記一つまたは複数のダイナミックレンジ圧縮曲線についての前記定義データは、アタック時間、リリース時間または前記一つまたは複数のダイナミックレンジ圧縮曲線のうちの少なくとも一つに関係する参照ラウドネス・レベルを含む。

【0160】

ある実施形態では、第一の装置は：オーディオ・コンテンツの前記一つまたは複数の部分についての一つまたは複数のラウドネス・レベルを計算する段階；前記特定のダイナミックレンジ圧縮曲線および前記オーディオ・コンテンツの前記一つまたは複数の部分についての前記一つまたは複数のラウドネス・レベルに基づいて、前記一つまたは複数のDRC利得を決定する段階などを実行するようさらに構成される。

【0161】

ある実施形態では、前記オーディオ・コンテンツの前記一つまたは複数の部分について計算された前記ラウドネス・レベルの少なくとも一つは、一つまたは複数の周波数帯域に関係する特定的ラウドネス・レベル、ブロードバンド範囲を横断するブロードバンド・ラウドネス・レベル、広帯域範囲を横断する広帯域ラウドネス・レベル、複数の周波数帯域を横断するブロードバンド・ラウドネス・レベル、複数の周波数帯域を横断する広帯域ラウドネス・レベルなどの一つまたは複数である。

【0162】

ある実施形態では、前記オーディオ・コンテンツの前記一つまたは複数の部分について計算されたラウドネス・レベルの少なくとも一つは、瞬時ラウドネス・レベルまたは一つまたは複数の時間区間にわたって平滑化されたラウドネス・レベルの一つまたは複数である。

【0163】

ある実施形態では、前記一つまたは複数の動作は、ダイアログ・ラウドネス・レベルを調整すること、利得平滑化、利得制限、ダイナミック等化、ノイズ補償などの一つまたは複数に関係する。

【0164】

ある実施形態では、第一の装置はさらに：エンコードされたオーディオ信号から一つまたは複数のダイアログ・ラウドネス・レベルを抽出する段階；前記一つまたは複数のダイアログ・ラウドネス・レベルを一つまたは複数の参照ダイアログ・ラウドネス・レベルに調整する段階；などを実行するよう構成される。

【0165】

ある実施形態では、第一の装置はさらに：エンコードされたオーディオ信号から一つまたは複数の聴覚シーン解析（ASA）パラメータを抽出する段階；前記オーディオ・コンテンツに適用された利得を平滑化することにおいて使われる一つまたは複数の時定数を変化させる段階であって該利得は前記一つまたは複数のDRC利得のうちの一つまたは複数に関係する、段階；利得平滑化または利得制限などを実行するよう構成される。

【0166】

ある実施形態では、第一の装置はさらに：リセット・イベントの指標に基づいて前記オーディオ・コンテンツの前記一つまたは複数の部分にリセット・イベントが生じることを判別する段階であって、前記リセットの前記指標は、前記エンコードされたオーディオ信号から抽出される、段階と；前記オーディオ・コンテンツの前記一つまたは複数の部分に前記リセット・イベントが生じることを判別することに応答して、前記オーディオ・コンテンツの前記一つまたは複数の部分において前記リセット・イベントが生じることを判別する時点において実行されている一つまたは複数の利得平滑化動作に対して一つまたは複数のアクションを行なう段階；などを実行するよう構成される。

【0167】

ある実施形態では、第一の装置はさらに：瞬時ラウドネス・レベルのヒストグラムを維持する段階であって、前記ヒストグラムは前記オーディオ・コンテンツにおけるある時間区間から計算された瞬時ラウドネス・レベルが入れられている、段階；特定的ラウドネス・レベルが前記ヒストグラムの高確率領域における閾値より上であるかどうかを判定する段階であって、前記特定的ラウドネス・レベルは前記オーディオ・コンテンツの一部から計算されている、段階；前記特定的ラウドネス・レベルが前記ヒストグラムの前記高確率領域における前記閾値より上であると判定することに応答して、ラウドネス遷移が生じていることを判別し、該ラウドネス遷移を高速化するために利得平滑化において使われる時定数を短くするなどする段階；などを実行するよう構成される。

【0168】

図６Ｂは、本稿に記載されるオーディオ・エンコーダによって実装されてもよい例示的なプロセス・フローを示している。図６Ｂのブロック６５２では、第二の装置（たとえば図１Ｂのオーディオ・エンコーダ１５０など）が源オーディオ・フォーマットにおけるオーディオ・コンテンツを受領する。

【0169】

ブロック６５４では、第二の装置は、一つまたは複数のダイナミックレンジ圧縮曲線についての定義データを取得する。

【0170】

ブロック６５６では、第二の装置は、前記オーディオ・コンテンツと、前記一つまたは複数のダイナミックレンジ圧縮曲線についての前記定義データとを含むオーディオ信号を生成する。

【0171】

ある実施形態では、第二の装置はさらに、前記一つまたは複数のダイナミックレンジ圧縮曲線についての一つまたは複数の識別子を決定する段階と；前記一つまたは複数の識別子に基づいて参照データ貯蔵部から前記一つまたは複数のダイナミックレンジ圧縮曲線についての前記定義データを取り出す段階；などを実行するよう構成される。

【0172】

ある実施形態では、第二の装置はさらに：前記オーディオ・コンテンツの前記一つまたは複数の部分についての一つまたは複数のダイアログ・ラウドネス・レベルを計算する段階と；前記一つまたは複数のダイアログ・ラウドネス・レベルを、前記オーディオ・コンテンツの前記一つまたは複数の部分と一緒に、前記エンコードされたオーディオ信号中にエンコードする段階；などを実行するよう構成される。

【0173】

ある実施形態では、第二の装置は：前記オーディオ・コンテンツの前記一つまたは複数の部分に対して聴覚イベント・シーン（ASA）を実行する段階；前記オーディオ・コンテンツの前記一つまたは複数の部分に対するASAの結果に基づいて一つまたは複数のASAパラメータを生成する段階；前記一つまたは複数のASAパラメータを、前記オーディオ・コンテンツの前記一つまたは複数の部分と一緒に、前記エンコードされたオーディオ信号中にエンコードする段階；などを実行するよう構成される。

【0174】

ある実施形態では、第二の装置はさらに：前記オーディオ・コンテンツの前記一つまたは複数の部分において一つまたは複数のリセット・イベントが生起することを判別する段階と；前記一つまたは複数のリセット・イベントの一つまたは複数の指標を、前記オーディオ・コンテンツの前記一つまたは複数の部分と一緒に、前記エンコードされたオーディオ信号中にエンコードする段階；などを実行するよう構成される。

【0175】

ある実施形態では、第二の装置はさらに、前記オーディオ・コンテンツの前記一つまたは複数の部分を、オーディオ・データ・フレームまたはオーディオ・データ・ブロックの一つまたは複数にエンコードするよう構成される。

【0176】

ある実施形態では、前記一つまたは複数のDRC利得の第一のDRC利得は、その特定の再生環境に対応する特定のスピーカー構成におけるすべてのチャネルの集合における第一の真部分集合における各チャネルに当てはまり、一方、前記一つまたは複数のDRC利得の第二の異なるDRC利得は、その特定の再生環境に対応する前記特定のスピーカー構成におけるすべてのチャネルの前記集合における第二の真部分集合における各チャネルに当てはまる。

【0177】

ある実施形態では、前記一つまたは複数のDRC利得の第一のDRC利得は第一の周波数帯域に当てはまり、前記一つまたは複数のDRC利得の第二の異なるDRC利得は第二の異なる周波数帯域に当てはまる。

【0178】

ある実施形態では、前記オーディオ・コンテンツの前記一つまたは複数の部分がオーディオ・データ・フレームまたはオーディオ・データ・ブロックの一つまたは複数を含む。ある実施形態では、エンコードされたオーディオ信号は、オーディオビジュアル信号の一部である。

【0179】

ある実施形態では、前記一つまたは複数のDRC利得はラウドネス領域で定義される。

【0180】

図６Ｃは、本稿に記載されるオーディオ・エンコーダによって実装されてもよい例示的なプロセス・フローを示している。図６Ｃのブロック６６２では、第三の装置（たとえば、図１Ｂのオーディオ・エンコーダ１５０など）が、参照スピーカー構成のために符号化されたオーディオ・コンテンツを生成する。

【0181】

ブロック６６４では、第二の装置は、参照スピーカー構成のために符号化されたオーディオ・コンテンツをダウンミックスして、特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツにする。

【0182】

ブロック６６６では、第二の装置は、前記特定のスピーカー構成について符号化されたダウンミックス・オーディオ・コンテンツの個々の部分に対して一つまたは複数の利得調整を実行する。

【0183】

ブロック６６８では、第二の装置は、ダウンミックス・オーディオ・コンテンツの個々の部分に対してラウドネス測定を実行する。

【0184】

ブロック６７０では、第二の装置は、参照スピーカー構成のために符号化されたオーディオ・コンテンツと、少なくとも部分的にはダウンミックス・オーディオ・コンテンツの個々の部分に対するラウドネス測定に基づいて生成されたダウンミックス・ラウドネス・メタデータとを含むオーディオ信号を生成する。

【0185】

ある実施形態では、ダウンミックス・オーディオ・コンテンツの個々の部分に対するラウドネス測定は、ダウンミックス・オーディオ・コンテンツの個々の部分に前記一つまたは複数の利得調整が適用されたあとに実行される。いくつかの実施形態では、ラウドネス測定は、ラウドネス・K重み付けフルスケール（LKFS: Loudness-K-weighted-Full-Scale）標準に基づく。他のいくつかの実施形態では、ラウドネス測定は、ラウドネス・K重み付けフルスケール（LKFS: Loudness-K-weighted-Full-Scale）標準以外のラウドネス標準に基づく。

【0186】

ある実施形態では、参照スピーカー構成のために符号化されたオーディオ・コンテンツは、ダウンミックス動作の一つまたは複数の型に基づいて、特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツにダウンミックスされる：ダウンミックス・オーディオ・コンテンツの個々の部分に対するラウドネス測定は、ダウンミックス動作の前記一つまたは複数の型のそれぞれに関係するダウンミックス・オーディオ・コンテンツの個々の部分に対するラウドネス測定を含む。

【0187】

ある実施形態では、第三の装置は、前記特定のスピーカー構成についてのダウンミックスされたオーディオ・コンテンツが前記オーディオ信号においてエンコードされるのを防止するよう構成される。

【0188】

図６Ｄは、本稿に記載されるオーディオ・デコーダによって実装されてもよい例示的なプロセス・フローを示している。図６Ｄのブロック６８２では、特定のスピーカー構成とともに動作する第四の装置（たとえば図１Ａのオーディオ・デコーダ１００など）が参照スピーカー構成のために符号化されたオーディオ・コンテンツおよびダウンミックス・ラウドネス・メタデータを含むオーディオ信号を受領する。

【0189】

ブロック６８４では、第一の装置は、参照スピーカー構成のために符号化されたオーディオ・コンテンツを、特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツにダウンミックスする。

【0190】

ブロック６８６では、第一の装置は、特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツの個々の部分に対して一つまたは複数の利得調整を実行する。前記一つまたは複数の利得調整は、ダウンミックス・ラウドネス・メタデータに基づくのではなく、上流のオーディオ・エンコーダによって前記ダウンミックス・ラウドネス・メタデータを生成する前に、該上流のオーディオ・エンコーダによって実行された一つまたは複数の利得調整に対応する。

【0191】

ブロック６８８では、第一の装置は、特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツの個々の部分に対して一つまたは複数の追加的な利得調整を実行する。前記一つまたは複数の追加的な利得調整は、ダウンミックス・ラウドネス・メタデータに基づく。

【0192】

ある実施形態では、第一の装置はさらに：一つまたは複数の選択因子に基づいてダウンミックス動作の特定の型を決定し；該特定の型のダウンミックス動作を、前記参照スピーカー構成のために符号化されたオーディオ・コンテンツを前記特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツにダウンミックスすることにおいて適用し；前記ダウンミックス・ラウドネス・メタデータにおけるダウンミックス・ラウドネス・パラメータの一つまたは複数の集合から、前記特定の型のダウンミックス動作が対応する、ダウンミックス・ラウドネス・パラメータの特定の集合を決定し；少なくとも部分的にはダウンミックス・ラウドネス・パラメータの前記特定の集合に基づいて、前記特定のスピーカー構成について符号化されたダウンミックス・オーディオ・コンテンツの個々の部分に対して前記一つまたは複数の追加的な利得調整を実行する、ことを実行するよう構成されている。

【0193】

ある実施形態では、前記一つまたは複数の利得調整は、前記ダウンミックス・オーディオ・コンテンツの前記一つまたは複数の個々の部分のうちの少なくとも一つの個々の部分についてダウンミックス音出力において期待されるラウドネスを生成せず、前記ダウンミックス・オーディオ・コンテンツの前記一つまたは複数の個々の部分のうちの前記少なくとも一つの個々の部分についてダウンミックス音出力における期待されるラウドネスを生成するために、前記一つまたは複数の追加的な利得調整が実行される。

【0194】

ある実施形態では、参照スピーカー構成はサラウンド・スピーカー構成であり、前記特定のスピーカー構成は二チャネル構成である。

【0195】

ある実施形態では、前記参照スピーカー構成のために符号化されたオーディオ・コンテンツは、一つまたは複数のダウンミックスの式に基づいて、前記特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツにダウンミックスされる。

【0196】

ある実施形態では、前記ダウンミックス・ラウドネス・メタデータは、ダウンミックス・ラウドネス・パラメータの一つまたは複数の集合を含み、ダウンミックス・ラウドネス・パラメータの前記一つまたは複数の集合の各集合は、ダウンミックス・ラウドネス・パラメータの前記一つまたは複数の集合が対応するダウンミックス動作の一つまたは複数の型のうちのある個別の型のダウンミックス動作に対応する。

【0197】

ある実施形態では、前記一つまたは複数の型のダウンミックス動作は、LtRtダウンミックス動作またはLoRoダウンミックス動作の少なくとも一方を含む。

【0198】

ある実施形態では、前記一つまたは複数の利得調整が、ダイアログ正規化、ダイナミックレンジ圧縮またはダウンミックス過負荷に対して保護するための固定された減衰のうちの一つまたは複数に関係する少なくとも一つの利得調整を含む。

【0199】

ある実施形態では、前記一つまたは複数の利得調整は、前記オーディオ・コンテンツの前記個々の部分のうち少なくとも二つの部分について異なる利得調整パラメータ値を使う。

【0200】

ある実施形態では、ダウンミックス・ラウドネス・メタデータは、オーディオ信号においてエンコードされている全体的なオーディオ・メタデータの一部を表わす。ある実施形態では、ダウンミックス・ラウドネス・メタデータは、ダウンミックス・ラウドネス・オフセットを示すデータ・フィールドを有する。ある実施形態では、エンコードされたオーディオ信号はオーディオビジュアル信号の一部である。

【0201】

ある実施形態では、プロセッサを有し、本稿に記載される方法のいずれかを実行するよう構成された装置。

【0202】

ある実施形態では、一つまたは複数のプロセッサによって実行されたときに、本稿に記載される方法の任意のものの実行を引き起こすソフトウェア命令を含む非一時的なコンピュータ可読記憶媒体。別個の複数の実施形態が本稿において論じられているものの、本稿で論じられる実施形態および／または部分実施形態の任意の組み合わせが組み合わされてさらなる実施形態を形成してもよいことを注意しておく。

【0203】

〈１９．実装機構――ハードウェアの概観〉
ある実施形態によれば、本稿に記載される技法は、一つまたは複数の特殊目的コンピューティング装置によって実装される。特殊目的コンピューティング装置は、本技法を実行するよう固定構成とされていてもよいし、あるいは一つまたは複数の特定用途向け集積回路（ASIC）またはフィールド・プログラマブル・ゲート・アレイ（FPGA）のような、本技法を実行するよう持続的にプログラムされたデジタル電子デバイスを含んでいてもよいし、あるいはファームウェア、メモリ、他の記憶または組み合わせにおけるプログラム命令に従って本技法を実行するようプログラムされた一つまたは複数の汎用ハードウェア・プロセッサを含んでいてもよい。そのような特殊目的コンピューティング装置は、カスタムの固定構成論理、ASICまたはFPGAをカスタムのプログラミングと組み合わせて本技法を達成してもよい。特殊目的コンピューティング装置はデスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルド装置、ネットワーキング装置または本技法を実装するために固定構成および／またはプログラム論理を組み込んでいる他の任意の装置であってもよい。

【0204】

たとえば、図７は、本発明のある実施形態が実装されうるコンピュータ・システム７００を示すブロック図である。コンピュータ・システム７００は、情報を通信するためのバス７０２または他の通信機構と、情報を処理するための、バス７０２に結合されたハードウェア・プロセッサ７０４とを含む。ハードウェア・プロセッサ７０４はたとえば汎用マイクロプロセッサであってもよい。

【0205】

コンピュータ・システム７００は、ランダム・アクセス・メモリ（RAM）または他の動的記憶装置のような、情報およびプロセッサ７０４によって実行されるべき命令を記憶するための、バス７０２に結合されたメイン・メモリ７０６をも含む。メイン・メモリ７０６はまた、一時変数または他の中間的な情報を、プロセッサ７０４によって実行されるべき命令の実行の間、記憶しておくために使われてもよい。そのような命令は、プロセッサ７０４にとってアクセス可能な非一時的な記憶媒体に記憶されたとき、コンピュータ・システム７００を、前記命令において指定されている処理を実行するよう装置固有の特殊目的機械にする。

【0206】

コンピュータ・システム７００はさらに、バス７０２に結合された、静的な情報およびプロセッサ７０４のための命令を記憶するための読み出し専用メモリ（ROM）７０８または他の静的記憶装置を含む。磁気ディスクまたは光ディスクのような記憶装置７１０が提供され、情報および命令を記憶するためにバス７０２に結合される。

【0207】

コンピュータ・システム７００は、コンピュータ・ユーザーに対して情報を表示するための、液晶ディスプレイ（LCD）のようなディスプレイ７１２にバス７０２を介して結合されていてもよい。英数字その他のキーを含む入力装置７１４が、情報およびコマンド選択をプロセッサ７０４に伝えるためにバス７０２に結合される。もう一つの型のユーザー入力装置は、方向情報およびコマンド選択をプロセッサ７０４に伝えるとともにディスプレイ７１２上でのカーソル動きを制御するための、マウス、トラックボールまたはカーソル方向キーのようなカーソル・コントロール７１６である。この入力装置は典型的には、第一軸（たとえばx）および第二軸（たとえばy）の二つの軸方向において二つの自由度をもち、これにより該装置は平面内での位置を指定できる。

【0208】

コンピュータ・システム７００は、本稿に記載される技法を実施するのに、装置固有の固定構成論理、一つまたは複数のASICもしくはFPGA、コンピュータ・システムと組み合わさってコンピュータ・システム７００を特殊目的機械にするまたはプログラムするファームウェアおよび／またはプログラム論理を使ってもよい。ある実施形態によれば、本稿の技法は、プロセッサ７０４がメイン・メモリ７０６に含まれる一つまたは複数の命令の一つまたは複数のシーケンスを実行するのに応答して、コンピュータ・システム７００によって実行される。そのような命令は、記憶装置７１０のような別の記憶媒体からメイン・メモリ７０６に読み込まれてもよい。メイン・メモリ７０６に含まれる命令のシーケンスの実行により、プロセッサ７０４は、本稿に記載されるプロセス段階を実行する。代替的な実施形態では、ソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて固定構成の回路が使用されてもよい。

【0209】

本稿で用いられる用語「記憶媒体」は、データおよび／または機械に特定の仕方で動作させる命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含んでいてもよい。不揮発性媒体は、たとえば、記憶装置７１０のような光学式または磁気ディスクを含む。揮発性媒体は、メイン・メモリ７０６のような動的メモリを含む。記憶媒体の一般的な形は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、半導体ドライブ、磁気テープまたは他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学式データ記憶媒体、孔のパターンをもつ任意の物理的媒体、RAM、PROMおよびEPROM、フラッシュEPROM、NVRAM、他の任意のメモリ・チップまたはカートリッジを含む。

【0210】

記憶媒体は、伝送媒体とは異なるが、伝送媒体と関連して用いられてもよい。伝送媒体は、記憶媒体間で情報を転送するのに参加する。たとえば、伝送媒体は同軸ケーブル、銅線および光ファイバーを含み、バス７０２をなすワイヤを含む。伝送媒体は、電波および赤外線データ通信の際に生成されるような音響波または光波の形を取ることもできる。

【0211】

さまざまな形の媒体が、一つまたは複数の命令の一つまたは複数のシーケンスを実行のためにプロセッサ７０４に搬送するのに関与しうる。たとえば、命令は最初、リモート・コンピュータの磁気ディスクまたは半導体ドライブ上に担持されていてもよい。リモート・コンピュータは該命令をその動的メモリにロードし、該命令をモデムを使って電話線を通じて送ることができる。コンピュータ・システム７００にローカルなモデムが、電話線上のデータを受信し、赤外線送信器を使ってそのデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号において担持されるデータを受信することができ、適切な回路がそのデータをバス７０２上に載せることができる。バス７０２はそのデータをメイン・メモリ７０６に搬送し、メイン・メモリ７０６から、プロセッサ７０４が命令を取り出し、実行する。メイン・メモリ７０６によって受信される命令は、任意的に、プロセッサ７０４による実行の前または後に記憶装置７１０上に記憶されてもよい。

【0212】

コンピュータ・システム７００は、バス７０２に結合された通信インターフェース７１８をも含む。通信インターフェース７１８は、ローカル・ネットワーク７２２に接続されているネットワーク・リンク７２０への双方向データ通信結合を提供する。たとえば、通信インターフェース７１８は、統合サービス・デジタル通信網（ISDN）カード、ケーブル・モデム、衛星モデムまたは対応する型の電話線へのデータ通信接続を提供するためのモデムであってもよい。もう一つの例として、通信インターフェース７１８は、互換LANへのデータ通信接続を提供するためのローカル・エリア・ネットワーク（LAN）カードであってもよい。無線リンクも実装されてもよい。そのようないかなる実装でも、通信インターフェース７１８は、さまざまな型の情報を表すデジタル・データ・ストリームを搬送する電気的、電磁的または光学的信号を送受信する。

【0213】

ネットワーク・リンク７２０は典型的には、一つまたは複数のネットワークを通じた他のデータ装置へのデータ通信を提供する。たとえば、ネットワーク・リンク７２０は、ローカル・ネットワーク７２２を通じてホスト・コンピュータ７２４またはインターネット・サービス・プロバイダー（ISP）７２６によって運営されているデータ設備への接続を提供してもよい。ISP ７２６は、現在一般に「インターネット」７２８と称される世界規模のパケット・データ通信網を通じたデータ通信サービスを提供する。ローカル・ネットワーク７２２およびインターネット７２８はいずれも、デジタル・データ・ストリームを担持する電気的、電磁的または光学的信号を使う。コンピュータ・システム７００に／からデジタル・データを搬送する、さまざまなネットワークを通じた信号およびネットワーク・リンク７２０上および通信インターフェース７１８を通じた信号は、伝送媒体の例示的な形である。

【0214】

コンピュータ・システム７００は、ネットワーク（単数または複数）、ネットワーク・リンク７２０および通信インターフェース７１８を通じて、メッセージを送り、プログラム・コードを含めデータを受信することができる。インターネットの例では、サーバー７３０は、インターネット７２８、ISP ７２６、ローカル・ネットワーク７２２および通信インターフェース７１８を通じてアプリケーション・プログラムのための要求されたコードを送信してもよい。

【0215】

受信されたコードは、受信される際にプロセッサ７０４によって実行されても、および／または、のちの実行のために記憶装置７１０または他の不揮発性記憶に記憶されてもよい。

【0216】

〈２０．等価物、拡張、代替その他〉
以上の明細書では、本発明の例示的実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。

【0217】

いくつかの態様を記載しておく。
〔態様１〕
参照スピーカー構成のために符号化されたオーディオ・コンテンツを生成する段階と；
前記参照スピーカー構成のために符号化された前記オーディオ・コンテンツを、特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツにダウンミックスする段階と；
前記特定のスピーカー構成のために符号化された前記ダウンミックス・オーディオ・コンテンツの個々の部分に対して一つまたは複数の利得調整を実行する段階と；
前記ダウンミックス・オーディオ・コンテンツの前記個々の部分に対してラウドネス測定を実行する段階と；
前記参照スピーカー構成のために符号化された前記オーディオ・コンテンツと、少なくとも部分的には前記ダウンミックス・オーディオ・コンテンツの前記個々の部分に対する前記ラウドネス測定に基づいて生成されたダウンミックス・ラウドネス・メタデータとを含むオーディオ信号を生成する段階とを含む、
一つまたは複数のコンピューティング装置によって実行される方法。
〔態様２〕
前記参照スピーカー構成はサラウンド・スピーカー構成であり、前記特定のスピーカー構成は二チャネル構成である、態様１記載の方法。
〔態様３〕
前記参照スピーカー構成のために符号化された前記オーディオ・コンテンツは、一つまたは複数のダウンミックスの式に基づいて、前記特定のスピーカー構成のために符号化された前記ダウンミックス・オーディオ・コンテンツにダウンミックスされる、態様１または２記載の方法。
〔態様４〕
前記ダウンミックス・ラウドネス・メタデータは、ダウンミックス・ラウドネス・パラメータの一つまたは複数の集合を含み、ダウンミックス・ラウドネス・パラメータの前記一つまたは複数の集合の各集合は、ダウンミックス・ラウドネス・パラメータの前記一つまたは複数の集合が対応するダウンミックス動作の一つまたは複数の型のうちのある個別の型のダウンミックス動作に対応する、態様１ないし３のうちいずれか一項記載の方法。
〔態様５〕
前記一つまたは複数の型のダウンミックス動作は、LtRtダウンミックス動作またはLoRoダウンミックス動作の少なくとも一方を含む、態様４記載の方法。
〔態様６〕
前記参照スピーカー構成のために符号化された前記オーディオ・コンテンツを特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツにダウンミックスすることは、一つまたは複数の型のダウンミックス動作に基づき、
前記ダウンミックス・オーディオ・コンテンツの前記個々の部分に対してラウドネス測定を実行することは、前記一つまたは複数の型のダウンミックス動作のそれぞれに関係する前記ダウンミックス・オーディオ・コンテンツの前記個々の部分に対してラウドネス測定を実行することを含む、態様１ないし５のうちいずれか一項記載の方法。
〔態様７〕
前記一つまたは複数の利得調整が、ダイアログ正規化、ダイナミックレンジ圧縮またはダウンミックス過負荷に対して保護するための固定された減衰のうちの一つまたは複数に関係する少なくとも一つの利得調整を含む、態様１ないし６のうちいずれか一項記載の方法。
〔態様８〕
前記ダウンミックス・オーディオ・コンテンツの前記個々の部分に対する前記ラウドネス測定は、前記ダウンミックス・オーディオ・コンテンツの前記個々の部分に対して前記一つまたは複数の利得調整が適用されたあとに実行される、態様１ないし７のうちいずれか一項記載の方法。
〔態様９〕
前記一つまたは複数の利得調整は、前記オーディオ・コンテンツの前記個々の部分のうち少なくとも二つの部分について異なる利得調整パラメータ値を使う、態様１ないし８のうちいずれか一項記載の方法。
〔態様１０〕
前記オーディオ・コンテンツの前記個々の部分のうち前記少なくとも二つの部分は、少なくとも二つの異なる時間におけるオーディオ・コンテンツ部分を表わす、態様９記載の方法。
〔態様１１〕
前記特定のスピーカー構成のための前記ダウンミックスされたオーディオ・コンテンツが、前記オーディオ信号においてエンコードされないようにすることをさらに含む、態様１ないし１０のうちいずれか一項記載の方法。
〔態様１２〕
前記ラウドネス測定は、ラウドネス・K重み付けフルスケール（LKFS）標準に基づく、態様１ないし１１のうちいずれか一項記載の方法。
〔態様１３〕
前記ラウドネス測定は、ラウドネス・K重み付けフルスケール（LKFS）標準以外のラウドネス標準に基づく、態様１ないし１１のうちいずれか一項記載の方法。
〔態様１４〕
前記ダウンミックス・ラウドネス・メタデータが、前記オーディオ信号においてエンコードされている全体的なオーディオ・メタデータの一部を表わす、態様１ないし１３のうちいずれか一項記載の方法。
〔態様１５〕
前記ダウンミックス・ラウドネス・メタデータは、ダウンミックス・ラウドネス・オフセットを示すデータ・フィールドを有する、態様１ないし１４のうちいずれか一項記載の方法。
〔態様１６〕
前記エンコードされたオーディオ信号はオーディオビジュアル信号の一部である、態様１ないし１５のうちいずれか一項記載の方法。
〔態様１７〕
特定のスピーカー構成とともに動作するオーディオ・デコーダによって、参照スピーカー構成のために符号化されたオーディオ・コンテンツおよびダウンミックス・ラウドネス・メタデータを含むオーディオ信号を受領する段階と；
前記参照スピーカー構成のために符号化された前記オーディオ・コンテンツを、前記特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツにダウンミックスする段階と；
前記特定のスピーカー構成のために符号化された前記ダウンミックス・オーディオ・コンテンツの個々の部分に対して一つまたは複数の利得調整を実行する段階であって、前記一つまたは複数の利得調整は、ダウンミックス・ラウドネス・メタデータに基づくのではない、段階と；
前記特定のスピーカー構成のために符号化された前記ダウンミックス・オーディオ・コンテンツの前記個々の部分に対して一つまたは複数の追加的な利得調整を実行する段階であって、前記一つまたは複数の追加的な利得調整は、前記ダウンミックス・ラウドネス・メタデータに基づく、段階とを含む、
一つまたは複数のコンピューティング装置によって実行される方法。
〔態様１８〕
前記参照スピーカー構成はサラウンド・スピーカー構成であり、前記特定のスピーカー構成は二チャネル構成である、態様１７記載の方法。
〔態様１９〕
一つまたは複数の選択因子に基づいて特定の型のダウンミックス動作を決定する段階と；
該特定の型のダウンミックス動作を、前記参照スピーカー構成のために符号化されたオーディオ・コンテンツを前記特定のスピーカー構成のために符号化されたダウンミックス・オーディオ・コンテンツにダウンミックスすることにおいて適用する段階と；
前記ダウンミックス・ラウドネス・メタデータにおけるダウンミックス・ラウドネス・パラメータの一つまたは複数の集合から、前記特定の型のダウンミックス動作が対応する、ダウンミックス・ラウドネス・パラメータの特定の集合を決定する段階と；
少なくとも部分的にはダウンミックス・ラウドネス・パラメータの前記特定の集合に基づいて、前記特定のスピーカー構成について符号化された前記ダウンミックス・オーディオ・コンテンツの前記個々の部分に対して前記一つまたは複数の追加的な利得調整を実行する段階とをさらに含む、
態様１７または１８記載の方法。
〔態様２０〕
前記参照スピーカー構成のために符号化された前記オーディオ・コンテンツは、一つまたは複数のダウンミックスの式に基づいて、前記特定のスピーカー構成のために符号化された前記ダウンミックス・オーディオ・コンテンツにダウンミックスされ、前記一つまたは複数のダウンミックスの式は、前記オーディオ信号を生成するオーディオ・エンコーダによって使用されるのと同じダウンミックスの式である、態様１７ないし１９のうちいずれか一項記載の方法。
〔態様２１〕
前記一つまたは複数の利得調整が、ダイアログ正規化、ダイナミックレンジ圧縮またはダウンミックス過負荷に対して保護するための固定された減衰のうちの一つまたは複数に関係する少なくとも一つの利得調整を含む、態様１７ないし２０のうちいずれか一項記載の方法。
〔態様２２〕
前記一つまたは複数の利得調整は、ヌル利得の集合、ダイナミックレンジ圧縮（DRC）に関係する利得調整を含む利得調整の集合、DRCに関係する利得調整を除外する利得調整の集合、ダイアログ正規化に関係する利得調整を含む利得調整の集合、ダイアログ正規化に関係する利得調整を除外する利得調整の集合またはDRCおよびダイアログ正規化両方に関係する利得調整を含む利得調整の集合のうちの一つまたは複数から決定される利得調整の特定の集合を表わす、態様１７ないし２１のうちいずれか一項記載の方法。
〔態様２３〕
前記一つまたは複数の利得調整は、前記オーディオ・コンテンツの前記個々の部分のうち少なくとも二つの部分について異なる利得調整パラメータ値を使う、態様１７ないし２２のうちいずれか一項記載の方法。
〔態様２４〕
前記ダウンミックス・ラウドネス・メタデータが、前記オーディオ信号においてエンコードされている全体的なオーディオ・メタデータの一部を表わす、態様１７ないし２３のうちいずれか一項記載の方法。
〔態様２５〕
前記ダウンミックス・ラウドネス・メタデータは、ダウンミックス・ラウドネス・オフセットを示すデータ・フィールドを有し、前記一つまたは複数の追加的な利得調整は、少なくとも部分的には前記ダウンミックス・ラウドネス・オフセットに基づいてなされる、態様１７記載の方法。
〔態様２６〕
前記一つまたは複数の利得調整は、前記ダウンミックス・オーディオ・コンテンツの前記一つまたは複数の個々の部分のうちの少なくとも一つの個々の部分についてダウンミックス音出力における期待されるラウドネスを生成せず、前記ダウンミックス・オーディオ・コンテンツの前記一つまたは複数の個々の部分のうちの前記少なくとも一つの個々の部分についてダウンミックス音出力における期待されるラウドネスを生成するために、前記一つまたは複数の追加的な利得調整が実行される、態様１７ないし２５のうちいずれか一項記載の方法。
〔態様２７〕
前記エンコードされたオーディオ信号はオーディオビジュアル信号の一部である、態様１７ないし２６のうちいずれか一項記載の方法。
〔態様２８〕
態様１ないし２７のうちいずれか一項記載の方法の任意のものを実行するよう構成されたメディア処理システム。
〔態様２９〕
態様１ないし２７のうちいずれか一項記載の方法の任意のものを実行するよう構成された、プロセッサを有する装置。
〔態様３０〕
一つまたは複数のプロセッサによって実行されたときに、態様１ないし２７のうちいずれか一項記載の方法の実行を引き起こすソフトウェア命令を含む非一時的なコンピュータ可読記憶媒体。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】