特許 6576934 圧縮済みオーディオ信号の信号品質ベース強調及び補償

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6576934

(24)【登録日】2019年8月30日

(45)【発行日】2019年9月18日

(54)【発明の名称】圧縮済みオーディオ信号の信号品質ベース強調及び補償

(51)【国際特許分類】

   G10L 19/02 20130101AFI20190909BHJP

   G10L 19/00 20130101ALI20190909BHJP

   G10L 19/26 20130101ALI20190909BHJP

【ＦＩ】

   G10L19/02 160A

   G10L19/00 400A

   G10L19/26 Z

【請求項の数】31

【全頁数】38

(21)【出願番号】特願2016-544538(P2016-544538)

(86)(22)【出願日】2015年1月6日

(65)【公表番号】特表2017-507348(P2017-507348A)

(43)【公表日】2017年3月16日

(86)【国際出願番号】US2015010266

(87)【国際公開番号】WO2015105775

(87)【国際公開日】20150716

【審査請求日】2017年12月26日

(31)【優先権主張番号】61/924,641

(32)【優先日】2014年1月7日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】592051453

【氏名又は名称】ハーマン インターナショナル インダストリーズ インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(72)【発明者】

【氏名】ヒーバー， ケビン エリック

(72)【発明者】

【氏名】スーロードレ， ギルバート アーサー ジョセフ

【審査官】 上田 雄

(56)【参考文献】

【文献】 特開２００７−１９２９６４（ＪＰ，Ａ）

【文献】 国際公開第２００９／０５４２２８（ＷＯ，Ａ１）

【文献】 国際公開第２００９／０５４３９３（ＷＯ，Ａ１）

【文献】 特開２０１０−０８５８７６（ＪＰ，Ａ）

【文献】 特開２０１１−１８６１８７（ＪＰ，Ａ）

【文献】 特開２００５−１１４８９０（ＪＰ，Ａ）

【文献】 特開２００７−２７１６８６（ＪＰ，Ａ）

【文献】 特表２００８−５３７１７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００−１９／２６

(57)【特許請求の範囲】

【請求項1】

圧縮済みオーディオ信号のトリートメントのためのシステムであって、
プロセッサと、
オーディオ信号をシーケンシャルサンプルのシリーズに分割するための前記プロセッサによって実行可能なサンプラモジュールと、
前記オーディオ信号の冒頭の複数の前記シーケンシャルサンプルにまたがる前記オーディオ信号の一貫性のあるブリックウォール周波数を識別し、前記ブリックウォール周波数に比例する信号トリートメント指示を決定するための前記プロセッサによって実行可能な信号品質検出器モジュールと、
前記プロセッサによって実行可能な信号エンハンサモジュールとを備え、前記信号エンハンサモジュールは、
前記オーディオ信号の１つまたは複数のサンプル成分をシーケンシャルに受信し解析して、それぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分内で前記オーディオ信号の喪失部分を識別し、
前記信号トリートメント指示に応じたレベルで、対応する識別済み喪失部分を有するそれぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分のそれぞれについて対応する信号トリートメントを前記オーディオ信号に適用する
ためのものである、システム。

【請求項2】

前記シーケンシャルサンプルのシリーズは、高速フーリエ変換を使用して決定される周波数領域内のシーケンシャルビンを含み、前記信号品質検出器モジュールは、前記シーケンシャルビンのうちの１つのビンを前記ブリックウォール周波数を含む候補ビンとして識別することによって、前記一貫性のあるブリックウォール周波数を識別するように更に実行可能である、請求項１に記載のシステム。

【請求項3】

前記一貫性のあるブリックウォール周波数を識別することは、
スペクトルエネルギーが前記ブリックウォール周波数未満に存在するという確認、
所定の閾値を超える前記ブリックウォール周波数の高さが次に高い周波数のシーケンシャルビンの高さを超えるという確認、及び、
所定の閾値を超える前記ブリックウォール周波数のカットオフの急峻度が前記次に高い周波数のシーケンシャルビンのカットオフの急峻度を超えるという確認
のうちの１つまたは複数を更に含む、請求項２に記載のシステム。

【請求項4】

前記信号トリートメント指示は、
（ｉ）前記ブリックウォール周波数が最小周波数閾値を超えないとき信号トリートメントなし、
（ｉｉ）前記ブリックウォール周波数が最大周波数閾値を超えるとき信号トリートメントなし、及び、
（ｉｉｉ）前記ブリックウォール周波数が前記最小周波数閾値と前記最大周波数閾値との間にあるとき、前記ブリックウォール周波数が増加するにつれて、信号トリートメントのレベルが減少すること
のうちの１つにセットされる、請求項１に記載のシステム。

【請求項5】

前記信号品質検出器モジュールは、
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を検出する前に信号トリートメントを適用しないよう、前記信号トリートメント指示をセットし、
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を示す連続する予め規定された数のサンプルを識別すると前記オーディオ信号に前記トリートメントを適用するよう、前記信号トリートメント指示をラッチするように更に実行可能である、請求項１に記載のシステム。

【請求項6】

前記連続する予め規定された数のサンプルは２０である、請求項５に記載のシステム。

【請求項7】

前記連続する予め規定された数のサンプルは、前記オーディオ信号の約１秒の１／１０と１秒の１／２との間の期間を表す、請求項５に記載のシステム。

【請求項8】

前記信号品質検出器モジュールは、
前記オーディオ信号の冒頭の検出に応答して自動タイマをリセットし、
前記複数の前記シーケンシャルサンプルを評価して、前記自動タイマが満了するまで前記オーディオ信号の前記一貫性のあるブリックウォール周波数を識別し、
前記自動タイマが満了すると、前記複数の前記シーケンシャルサンプルの評価を中止する
ように更に実行可能である、請求項１に記載のシステム。

【請求項9】

前記信号品質検出器モジュールは、所定の期間の間、所定の閾値未満であるオーディオ信号強度の期間を識別すると、前記信号トリートメント指示をリセットするように更に実行可能である、請求項１に記載のシステム。

【請求項10】

前記サンプル成分は周波数成分であり、前記対応する信号トリートメントは、カットオフ周波数閾値を超える欠落周波数成分を有するサンプル成分に適用される周波数成分である、
前記サンプル成分は過渡変化成分であり、前記対応する信号トリートメントは、前記オーディオ信号に存在する既存の過渡変化の冒頭を強調するため、欠落過渡変化を有するサンプル成分に適用される過渡変化成分である、及び、
前記サンプル成分は残響成分であり、前記対応する信号トリートメントは、前記オーディオ信号の減衰レートを低減するため、欠落残響を有するサンプル成分に適用される
のうちの１つまたは複数を含む、請求項１に記載のシステム。

【請求項11】

前記対応する信号トリートメントは、帯域幅伸長トリートメント、過渡変化強調トリートメント、及び残響フィルトリートメントを含む複数の信号トリートメントである、請求項１に記載のシステム。

【請求項12】

前記信号エンハンサモジュールは複数の信号エンハンサモジュールを含み、前記信号エンハンサモジュールのそれぞれは、前記プロセッサによって実行されて、少なくとも１つの信号トリートメントを付加するようリスナー認識サウンドステージの空間的スライスに独立して作用し、前記リスナー認識サウンドステージは前記オーディオ信号の再生中にリスナーによって認識される、請求項１に記載のシステム。

【請求項13】

前記信号エンハンサモジュールは、複数の対応する信号トリートメントを生成するように構成され、前記対応する信号トリートメントは前記オーディオ信号に付加される、請求項１に記載のシステム。

【請求項14】

圧縮済みオーディオ信号をトリートメントするためプロセッサによって実行可能なコンピュータ可読命令を記憶するコンピュータ可読記憶媒体であって、
オーディオ信号のシーケンシャルサンプルのシーケンスを生成するための前記プロセッサによって実行可能な命令と、
前記オーディオ信号の冒頭の複数の前記シーケンシャルサンプルにまたがる前記オーディオ信号の一貫性のあるブリックウォール周波数を識別し、前記ブリックウォール周波数に比例する信号トリートメント指示を決定するための前記プロセッサによって実行可能な命令と、
前記オーディオ信号の１つまたは複数のサンプル成分をシーケンシャルに受信し解析して、それぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分内で前記オーディオ信号の喪失部分を識別するための前記プロセッサによって実行可能な命令と、
前記信号トリートメント指示に応じたレベルで、対応する識別済み喪失部分を有するそれぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分のそれぞれについて対応する信号トリートメントを前記オーディオ信号に適用するための前記プロセッサによって実行可能な命令とを含む、コンピュータ可読記憶媒体。

【請求項15】

シーケンシャルサンプルの前記シーケンスは、高速フーリエ変換を使用して決定される周波数領域内のシーケンシャルビンを含み、前記プロセッサによって実行可能な前記命令は、前記シーケンシャルビンのうちの１つのビンを、前記ブリックウォール周波数を含む候補ビンとして識別することによって、前記一貫性のあるブリックウォール周波数を識別するための命令を更に含む、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項16】

前記一貫性のあるブリックウォール周波数を識別するための前記プロセッサによって実行可能な前記命令は、
スペクトルエネルギーが前記ブリックウォール周波数未満に存在することを確認するための前記プロセッサによって実行可能な命令、
所定の閾値を超える前記ブリックウォール周波数の高さが次に高い周波数のシーケンシャルビンの高さを超えることを確認するための前記プロセッサによって実行可能な命令、及び、
所定の閾値を超える前記ブリックウォール周波数のカットオフの急峻度が前記次に高い周波数のシーケンシャルビンのカットオフの急峻度を超えることを確認するための前記プロセッサによって実行可能な命令
のうちの１つまたは複数を更に含む、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項17】

前記信号トリートメント指示は、
（ｉ）前記ブリックウォール周波数が最小周波数閾値を超えないとき信号トリートメントなし、
（ｉｉ）前記ブリックウォール周波数が最大周波数閾値を超えるとき信号トリートメントなし、及び、
（ｉｉｉ）前記ブリックウォール周波数が前記最小周波数閾値と前記最大周波数閾値との間にあるとき、前記ブリックウォール周波数が増加するにつれて、信号トリートメントのレベルが減少すること
のうちの１つにセットされる、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項18】

前記プロセッサによって実行可能な前記命令は、
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を検出する前に信号トリートメントを適用しないよう、前記信号トリートメント指示をセットするための前記プロセッサによって実行可能な命令、及び、
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を示す連続する予め規定された数のサンプルを識別すると前記オーディオ信号に前記トリートメントを適用するよう、前記信号トリートメント指示をラッチするための前記プロセッサによって実行可能な命令
を更に含む、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項19】

前記連続する予め規定された数のサンプルは、（ｉ）２０の連続するサンプル及び（ｉｉ）前記オーディオ信号の約１秒の１／１０と１秒の１／２との間の期間を示す幾つかの連続するサンプルの一方または両方である、請求項１８に記載のコンピュータ可読記憶媒体。

【請求項20】

前記プロセッサによって実行可能な前記命令は、
前記オーディオ信号の冒頭の検出に応答して自動タイマをリセットするための前記プロセッサによって実行可能な命令、
前記複数の前記シーケンシャルサンプルを評価して、前記自動タイマが満了するまで前記オーディオ信号の前記一貫性のあるブリックウォール周波数を識別するための前記プロセッサによって実行可能な命令、及び、
前記自動タイマが満了すると、前記複数の前記シーケンシャルサンプルの評価を中止するための前記プロセッサによって実行可能な命令
を更に含む、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項21】

前記プロセッサによって実行可能な前記命令は、所定の期間の間、所定の閾値未満であるオーディオ信号強度の期間を識別すると、前記信号トリートメント指示をリセットするための命令を更に含む、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項22】

前記サンプル成分は周波数成分であり、前記対応する信号トリートメントは、カットオフ周波数閾値を超える欠落周波数成分を有するサンプル成分に適用される周波数成分である、
前記サンプル成分は過渡変化成分であり、前記対応する信号トリートメントは、前記オーディオ信号に存在する既存の過渡変化の冒頭を強調するため、欠落過渡変化を有するサンプル成分に適用される過渡変化成分である、及び、
前記サンプル成分は残響成分であり、前記対応する信号トリートメントは、前記オーディオ信号の減衰レートを低減するため、欠落残響を有するサンプル成分に適用される
のうちの１つまたは複数を含む、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項23】

圧縮済みオーディオ信号を処理する方法であって、
プロセッサを使用してオーディオ信号をシーケンシャルサンプルに分離すること、
前記プロセッサを使用して、前記オーディオ信号の冒頭の複数の前記シーケンシャルサンプルにまたがる前記オーディオ信号の一貫性のあるブリックウォール周波数を識別し、前記ブリックウォール周波数に比例する信号トリートメント指示を決定すること、
前記プロセッサを使用して、前記オーディオ信号の１つまたは複数のサンプル成分をシーケンシャルに解析することにより、それぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分内で前記オーディオ信号の喪失部分を識別すること、及び、
前記信号トリートメント指示に応じたレベルで、対応する識別済み喪失部分を有するそれぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分のそれぞれについて対応する信号トリートメントを、前記プロセッサを使用して前記オーディオ信号に適用すること
を含む、方法。

【請求項24】

前記シーケンシャルサンプルは、高速フーリエ変換を使用して決定される周波数領域内のシーケンシャルビンを含み、前記一貫性のあるブリックウォール周波数を識別することは、前記シーケンシャルビンのうちの１つのビンを前記ブリックウォール周波数を含む候補ビンとして識別することを含む、請求項２３に記載の方法。

【請求項25】

スペクトルエネルギーが前記ブリックウォール周波数未満に存在することを確認すること、
所定の閾値を超える前記ブリックウォール周波数の高さが次に高い周波数のシーケンシャルビンの高さを超えることを確認すること、及び、
所定の閾値を超える前記ブリックウォール周波数のカットオフの急峻度が前記次に高い周波数のシーケンシャルビンのカットオフの急峻度を超えることを確認すること
のうちの１つまたは複数を更に含む、請求項２３に記載の方法。

【請求項26】

前記信号トリートメント指示は、
（ｉ）前記ブリックウォール周波数が最小周波数閾値を超えないとき信号トリートメントなし、
（ｉｉ）前記ブリックウォール周波数が最大周波数閾値を超えるとき信号トリートメントなし、及び、
（ｉｉｉ）前記ブリックウォール周波数が前記最小周波数閾値と前記最大周波数閾値との間にあるとき、前記ブリックウォール周波数が増加するにつれて、信号トリートメントのレベルが減少すること
のうちの１つにセットされる、請求項２３に記載の方法。

【請求項27】

前記オーディオ信号の前記一貫性のあるブリックウォール周波数を検出する前に信号トリートメントを適用しないよう、前記信号トリートメント指示をセットすること、及び、
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を示す連続する予め規定された数のサンプルを識別すると前記オーディオ信号に前記トリートメントを適用するよう、前記信号トリートメント指示をラッチすること
を更に含む、請求項２３に記載の方法。

【請求項28】

前記連続する予め規定された数のサンプルは、（ｉ）２０の連続するサンプル及び（ｉｉ）前記オーディオ信号の約１秒の１／１０と１秒の１／２との間の期間を示す幾つかの連続するサンプルの一方または両方である、請求項２７に記載の方法。

【請求項29】

前記オーディオ信号の冒頭の検出に応答して自動タイマをリセットすること、
前記複数の前記シーケンシャルサンプルを評価することにより、前記自動タイマが満了するまで前記オーディオ信号の前記一貫性のあるブリックウォール周波数を識別すること、及び、
前記自動タイマが満了すると、前記複数の前記シーケンシャルサンプルの評価を中止すること
を更に含む、請求項２３に記載の方法。

【請求項30】

所定の期間の間、所定の閾値未満であるオーディオ信号強度の期間を識別すると、前記信号トリートメント指示をリセットすることを更に含む、請求項２３に記載の方法。

【請求項31】

前記サンプル成分は周波数成分であり、前記対応する信号トリートメントは、カットオフ周波数閾値を超える欠落周波数成分を有するサンプル成分に適用される周波数成分である、
前記サンプル成分は過渡変化成分であり、前記対応する信号トリートメントは、前記オーディオ信号に存在する既存の過渡変化の冒頭を強調するため、欠落過渡変化を有するサンプル成分に適用される過渡変化成分である、及び、
前記サンプル成分は残響成分であり、前記対応する信号トリートメントは、前記オーディオ信号の減衰レートを低減するため、欠落残響を有するサンプル成分に適用される
のうちの１つまたは複数を含む、請求項２３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願に対する相互参照］
本出願は、２０１４年１月７日に出願された米国仮出願第６１／９２４，６４１号の利益を主張し、その開示は参照によりその全体が本明細書に組込まれる。

【0002】

本開示の態様は、オーディオ信号処理に関し、より詳細には、オーディオ信号強調及び回復に関する。

【背景技術】

【0003】

圧縮済みオーディオ信号は、知覚的オーディオコーデックによって何らかの形態のデータ圧縮を受けた信号である。知覚的オーディオコーデックは、聞き取れないかまたは知覚的に重要でないと認識されるオーディオ信号の成分を破棄することによって、オーディオ信号を記憶する、転送する、または送信するために使用されるデータ量を低減する。データ圧縮プロセスは、オリジナルの（非圧縮）オーディオ信号と圧縮済みオーディオ信号との間に望ましくない聞き取れる差を導入することが多い。異なる知覚的オーディオコーデックは、オリジナルのオーディオ信号の複数の部分を破棄するため異なる戦略を使用することができるが、聞き取れる差の認識される特性は、通常、類似する。

【発明の概要】

【課題を解決するための手段】

【0004】

サンプラモジュールはオーディオ信号をシーケンシャルサンプルのシリーズに分割することができる。信号品質検出器モジュールは、オーディオ信号の冒頭の複数のシーケンシャルサンプルにまたがるオーディオ信号の一貫性のあるブリックウォール周波数を識別し、ブリックウォール周波数に比例する信号トリートメント指示を決定することができる。信号エンハンサモジュールは、オーディオ信号の１つまたは複数のサンプル成分をシーケンシャルに受信し解析して、それぞれのシーケンシャルサンプルの１つまたは複数のサンプル成分内でオーディオ信号の喪失部分を識別し、信号品質指示に従って、対応する識別済み喪失部分を有するそれぞれのシーケンシャルサンプルの１つまたは複数のサンプル成分のそれぞれについて対応する信号トリートメントを生成することができる。

【0005】

システムを、以下の図面及び説明を参照してよりよく理解することができる。図中のコンポーネントは必ずしも一定比例尺に従っておらず、代わりに、本発明の原理を示すことに力点が置かれる。更に、図において、同じ参照符号は、異なる図全体にわたって対応する部品を指定する。
本明細書は、例えば、以下の項目も提供する。
（項目１）
圧縮済みオーディオ信号のトリートメントのためのシステムであって、
プロセッサと、
オーディオ信号をシーケンシャルサンプルのシリーズに分割するための前記プロセッサによって実行可能なサンプラモジュールと、
前記オーディオ信号の冒頭の複数の前記シーケンシャルサンプルにまたがる前記オーディオ信号の一貫性のあるブリックウォール周波数を識別し、前記ブリックウォール周波数に比例する信号トリートメント指示を決定するための前記プロセッサによって実行可能な信号品質検出器モジュールと、
前記プロセッサによって実行可能な信号エンハンサモジュールとを備え、前記信号エンハンサモジュールは、
前記オーディオ信号の１つまたは複数のサンプル成分をシーケンシャルに受信し解析して、それぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分内で前記オーディオ信号の喪失部分を識別し、
前記信号トリートメント指示に応じたレベルで、対応する識別済み喪失部分を有するそれぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分のそれぞれについて対応する信号トリートメントを前記オーディオ信号に適用する
ためのものである、システム。
（項目２）
前記シーケンシャルサンプルのシリーズは、高速フーリエ変換を使用して決定される周波数領域内のシーケンシャルビンを含み、前記信号品質検出器モジュールは、前記シーケンシャルビンのうちの１つのビンを前記ブリックウォール周波数を含む候補ビンとして識別することによって、前記一貫性のあるブリックウォール周波数を識別するように更に実行可能である、項目１に記載のシステム。
（項目３）
前記一貫性のあるブリックウォール周波数を識別することは、
スペクトルエネルギーが前記ブリックウォール周波数未満に存在するという確認、
所定の閾値を超える前記ブリックウォール周波数の高さが次に高い周波数のシーケンシャルビンの高さを超えるという確認、及び、
所定の閾値を超える前記ブリックウォール周波数のカットオフの急峻度が前記次に高い周波数のシーケンシャルビンのカットオフの急峻度を超えるという確認
のうちの１つまたは複数を更に含む、項目２に記載のシステム。
（項目４）
前記信号トリートメント指示は、
（ｉ）前記ブリックウォール周波数が最小周波数閾値を超えないとき信号トリートメントなし、
（ｉｉ）前記ブリックウォール周波数が最大周波数閾値を超えるとき信号トリートメントなし、及び、
（ｉｉｉ）前記ブリックウォール周波数が前記最小周波数閾値と前記最大周波数閾値との間にあるとき、前記ブリックウォール周波数が増加するにつれて、信号トリートメントのレベルが減少すること
のうちの１つにセットされる、項目１に記載のシステム。
（項目５）
前記信号品質検出器モジュールは、
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を検出する前に信号トリートメントを適用しないよう、前記信号トリートメント指示をセットし、
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を示す連続する予め規定された数のサンプルを識別すると前記オーディオ信号に前記トリートメントを適用するよう、前記信号トリートメント指示をラッチするように更に実行可能である、項目１に記載のシステム。
（項目６）
前記連続する予め規定された数のサンプルは２０である、項目５に記載のシステム。
（項目７）
前記連続する予め規定された数のサンプルは、前記オーディオ信号の約１秒の１／１０と１秒の１／２との間の期間を表す、項目５に記載のシステム。
（項目８）
前記信号品質検出器モジュールは、
前記オーディオ信号の冒頭の検出に応答して自動タイマをリセットし、
前記複数の前記シーケンシャルサンプルを評価して、前記自動タイマが満了するまで前記オーディオ信号の前記一貫性のあるブリックウォール周波数を識別し、
前記自動タイマが満了すると、前記複数の前記シーケンシャルサンプルの評価を中止する
ように更に実行可能である、項目１に記載のシステム。
（項目９）
前記信号品質検出器モジュールは、所定の期間の間、所定の閾値未満であるオーディオ信号強度の期間を識別すると、前記信号トリートメント指示をリセットするように更に実行可能である、項目１に記載のシステム。
（項目１０）
前記サンプル成分は周波数成分であり、前記対応する信号トリートメントは、カットオフ周波数閾値を超える欠落周波数成分を有するサンプル成分に適用される周波数成分である、
前記サンプル成分は過渡変化成分であり、前記対応する信号トリートメントは、前記オーディオ信号に存在する既存の過渡変化の冒頭を強調するため、欠落過渡変化を有するサンプル成分に適用される過渡変化成分である、
前記サンプル成分は残響成分であり、前記対応する信号トリートメントは、前記オーディオ信号の減衰レートを低減するため、欠落残響を有するサンプル成分に適用される
のうちの１つまたは複数を含む、項目１に記載のシステム。
（項目１１）
前記対応する信号トリートメントは、帯域幅伸長トリートメント、過渡変化強調トリートメント、及び残響フィルトリートメントを含む複数の信号トリートメントである、項目１に記載のシステム。
（項目１２）
前記信号エンハンサモジュールは複数の信号エンハンサモジュールを含み、前記信号エンハンサモジュールのそれぞれは、前記プロセッサによって実行されて、少なくとも１つの信号トリートメントを付加するようリスナー認識サウンドステージの空間的スライスに独立して作用し、前記リスナー認識サウンドステージは前記オーディオ信号の再生中にリスナーによって認識される、項目１に記載のシステム。
（項目１３）
前記信号エンハンサモジュールは、複数の対応する信号トリートメントを生成するように構成され、前記対応する信号トリートメントは前記オーディオ信号に付加される、項目１に記載のシステム。
（項目１４）
圧縮済みオーディオ信号をトリートメントするためプロセッサによって実行可能なコンピュータ可読命令を記憶するコンピュータ可読記憶媒体であって、
オーディオ信号のシーケンシャルサンプルのシーケンスを生成するための前記プロセッサによって実行可能な命令と、
前記オーディオ信号の冒頭の複数の前記シーケンシャルサンプルにまたがる前記オーディオ信号の一貫性のあるブリックウォール周波数を識別し、前記ブリックウォール周波数に比例する信号トリートメント指示を決定するための前記プロセッサによって実行可能な命令と、
前記オーディオ信号の１つまたは複数のサンプル成分をシーケンシャルに受信し解析して、それぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分内で前記オーディオ信号の喪失部分を識別するための前記プロセッサによって実行可能な命令と、
前記信号トリートメント指示に応じたレベルで、対応する識別済み喪失部分を有するそれぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分のそれぞれについて対応する信号トリートメントを前記オーディオ信号に適用するための前記プロセッサによって実行可能な命令とを含む、コンピュータ可読記憶媒体。
（項目１５）
シーケンシャルサンプルの前記シーケンスは、高速フーリエ変換を使用して決定される周波数領域内のシーケンシャルビンを含み、前記プロセッサによって実行可能な前記命令は、前記シーケンシャルビンのうちの１つのビンを、前記ブリックウォール周波数を含む候補ビンとして識別することによって、前記一貫性のあるブリックウォール周波数を識別するための命令を更に含む、項目１４に記載のコンピュータ可読記憶媒体。
（項目１６）
前記一貫性のあるブリックウォール周波数を識別するための前記プロセッサによって実行可能な前記命令は、
スペクトルエネルギーが前記ブリックウォール周波数未満に存在することを確認するための前記プロセッサによって実行可能な命令、
所定の閾値を超える前記ブリックウォール周波数の高さが次に高い周波数のシーケンシャルビンの高さを超えることを確認するための前記プロセッサによって実行可能な命令、及び、
所定の閾値を超える前記ブリックウォール周波数のカットオフの急峻度が前記次に高い周波数のシーケンシャルビンのカットオフの急峻度を超えることを確認するための前記プロセッサによって実行可能な命令
のうちの１つまたは複数を更に含む、項目１４に記載のコンピュータ可読記憶媒体。
（項目１７）
前記信号トリートメント指示は、
（ｉ）前記ブリックウォール周波数が最小周波数閾値を超えないとき信号トリートメントなし、
（ｉｉ）前記ブリックウォール周波数が最大周波数閾値を超えるとき信号トリートメントなし、及び、
（ｉｉｉ）前記ブリックウォール周波数が前記最小周波数閾値と前記最大周波数閾値との間にあるとき、前記ブリックウォール周波数が増加するにつれて、信号トリートメントのレベルが減少すること
のうちの１つにセットされる、項目１４に記載のコンピュータ可読記憶媒体。
（項目１８）
前記プロセッサによって実行可能な前記命令は、
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を検出する前に信号トリートメントを適用しないよう、前記信号トリートメント指示をセットするための前記プロセッサによって実行可能な命令、及び、
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を示す連続する予め規定された数のサンプルを識別すると前記オーディオ信号に前記トリートメントを適用するよう、前記信号トリートメント指示をラッチするための前記プロセッサによって実行可能な命令
を更に含む、項目１４に記載のコンピュータ可読記憶媒体。
（項目１９）
前記連続する予め規定された数のサンプルは、（ｉ）２０の連続するサンプル及び（ｉｉ）前記オーディオ信号の約１秒の１／１０と１秒の１／２との間の期間を示す幾つかの連続するサンプルの一方または両方である、項目１８に記載のコンピュータ可読記憶媒体。
（項目２０）
前記プロセッサによって実行可能な前記命令は、
前記オーディオ信号の冒頭の検出に応答して自動タイマをリセットするための前記プロセッサによって実行可能な命令、
前記複数の前記シーケンシャルサンプルを評価して、前記自動タイマが満了するまで前記オーディオ信号の前記一貫性のあるブリックウォール周波数を識別するための前記プロセッサによって実行可能な命令、及び、
前記自動タイマが満了すると、前記複数の前記シーケンシャルサンプルの評価を中止するための前記プロセッサによって実行可能な命令
を更に含む、項目１４に記載のコンピュータ可読記憶媒体。
（項目２１）
前記プロセッサによって実行可能な前記命令は、所定の期間の間、所定の閾値未満であるオーディオ信号強度の期間を識別すると、前記信号トリートメント指示をリセットするための命令を更に含む、項目１４に記載のコンピュータ可読記憶媒体。
（項目２２）
前記サンプル成分は周波数成分であり、前記対応する信号トリートメントは、カットオフ周波数閾値を超える欠落周波数成分を有するサンプル成分に適用される周波数成分である、
前記サンプル成分は過渡変化成分であり、前記対応する信号トリートメントは、前記オーディオ信号に存在する既存の過渡変化の冒頭を強調するため、欠落過渡変化を有するサンプル成分に適用される過渡変化成分である、
前記サンプル成分は残響成分であり、前記対応する信号トリートメントは、前記オーディオ信号の減衰レートを低減するため、欠落残響を有するサンプル成分に適用される
のうちの１つまたは複数を含む、項目１４に記載のコンピュータ可読記憶媒体。
（項目２３）
圧縮済みオーディオ信号を処理する方法であって、
プロセッサを使用してオーディオ信号をシーケンシャルサンプルに分離すること、
前記プロセッサを使用して、前記オーディオ信号の冒頭の複数の前記シーケンシャルサンプルにまたがる前記オーディオ信号の一貫性のあるブリックウォール周波数を識別し、前記ブリックウォール周波数に比例する信号トリートメント指示を決定すること、
前記プロセッサを使用して、前記オーディオ信号の１つまたは複数のサンプル成分をシーケンシャルに解析することであって、それにより、それぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分内で前記オーディオ信号の喪失部分を識別する、シーケンシャルに解析すること、及び、
前記信号トリートメント指示に応じたレベルで、対応する識別済み喪失部分を有するそれぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分のそれぞれについて対応する信号トリートメントを、前記プロセッサを使用して前記オーディオ信号に適用すること
を含む、方法。
（項目２４）
前記シーケンシャルサンプルは、高速フーリエ変換を使用して決定される周波数領域内のシーケンシャルビンを含み、前記一貫性のあるブリックウォール周波数を識別することは、前記シーケンシャルビンのうちの１つのビンを前記ブリックウォール周波数を含む候補ビンとして識別することを含む、項目２３に記載の方法。
（項目２５）
スペクトルエネルギーが前記ブリックウォール周波数未満に存在することを確認すること、
所定の閾値を超える前記ブリックウォール周波数の高さが次に高い周波数のシーケンシャルビンの高さを超えることを確認すること、及び、
所定の閾値を超える前記ブリックウォール周波数のカットオフの急峻度が前記次に高い周波数のシーケンシャルビンのカットオフの急峻度を超えることを確認すること
のうちの１つまたは複数を更に含む、項目２３に記載の方法。
（項目２６）
前記信号トリートメント指示は、
（ｉ）前記ブリックウォール周波数が最小周波数閾値を超えないとき信号トリートメントなし、
（ｉｉ）前記ブリックウォール周波数が最大周波数閾値を超えるとき信号トリートメントなし、及び、
（ｉｉｉ）前記ブリックウォール周波数が前記最小周波数閾値と前記最大周波数閾値との間にあるとき、前記ブリックウォール周波数が増加するにつれて、信号トリートメントのレベルが減少すること
のうちの１つにセットされる、項目２３に記載の方法。
（項目２７）
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を検出する前に信号トリートメントを適用しないよう、前記信号トリートメント指示をセットすること、
前記オーディオ信号の前記一貫性のあるブリックウォール周波数を示す連続する予め規定された数のサンプルを識別すると前記オーディオ信号に前記トリートメントを適用するよう、前記信号トリートメント指示をラッチすること
を更に含む、項目２３に記載の方法。
（項目２８）
前記連続する予め規定された数のサンプルは、（ｉ）２０の連続するサンプル及び（ｉｉ）前記オーディオ信号の約１秒の１／１０と１秒の１／２との間の期間を示す幾つかの（ａ ｎｕｍｂｅｒ ｏｆ）連続するサンプルの一方または両方である、項目２７に記載の方法。
（項目２９）
前記オーディオ信号の冒頭の検出に応答して自動タイマをリセットすること、
前記複数の前記シーケンシャルサンプルを評価することであって、それにより、前記自動タイマが満了するまで前記オーディオ信号の前記一貫性のあるブリックウォール周波数を識別する、評価すること、及び、
前記自動タイマが満了すると、前記複数の前記シーケンシャルサンプルの評価を中止すること
を更に含む、項目２３に記載の方法。
（項目３０）
所定の期間の間、所定の閾値未満であるオーディオ信号強度の期間を識別すると、前記信号トリートメント指示をリセットすることを更に含む、項目２３に記載の方法。
（項目３１）
前記サンプル成分は周波数成分であり、前記対応する信号トリートメントは、カットオフ周波数閾値を超える欠落周波数成分を有するサンプル成分に適用される周波数成分である、
前記サンプル成分は過渡変化成分であり、前記対応する信号トリートメントは、前記オーディオ信号に存在する既存の過渡変化の冒頭を強調するため、欠落過渡変化を有するサンプル成分に適用される過渡変化成分である、
前記サンプル成分は残響成分であり、前記対応する信号トリートメントは、前記オーディオ信号の減衰レートを低減するため、欠落残響を有するサンプル成分に適用される
のうちの１つまたは複数を含む、項目２３に記載の方法。

【図面の簡単な説明】

【0006】

【図1】知覚的オーディオエンコーダ及びデコーダと共に使用される例示的な信号エンハンサシステムを含むブロック図である。

【図2】信号エンハンサシステムに統合される知覚的オーディオデコーダの例を含むブロック図である。

【図3】信号エンハンサシステムの例のブロック図である。

【図4】ステレオ信号のミッドサイド部分に作用する信号エンハンサシステムの例のブロック図である。

【図5】オーディオ信号の個々の空間スライスに作用する別個の信号エンハンサモジュールの例のブロック図である。

【図6】ブロックベース分解の表現を有する例示的なインパルス応答の成分を示す図である。

【図7】図３に示すリバーブフィルモジュールの例示的なブロック図である。

【図8】所与の周波数におけるサンプルの入力残響シリーズのサンプル成分の例示的な推定値を示す図である。

【図9a】信号品質解析器、トリートメントレベル調整器、及びディスプレイモジュールの例示的なブロック図である。

【図9b】ストリームについてまたはトラックについてトリートメント利得量を自動的に再調整する圧縮検出及びトリートメントアルゴリズムのプロセスの例示的なブロック図である。

【図10】帯域幅強調信号トリートメントを有する出力信号の例示的なディスプレイである。

【図11】信号エンハンサシステムによる圧縮を示すための例示的なスペクトル図（周波数領域）である。

【図12】信号エンハンサシステムによる過渡変化強調を示すための例示的なスペクトル図である。

【図13】例示的なコンピューティングシステムの図である。

【発明を実施するための形態】

【0007】

必要に応じて、本発明の詳細な実施形態が本明細書で述べられる。しかし、開示される実施形態が、種々の形態及び代替の形態で具現化することができる本発明の例示に過ぎないことが理解される。図は、必ずしも一定比例尺に従っておらず、特定のコンポーネントの詳細を示すため、幾つかの特徴を誇張または最小化することができる。したがって、本明細書で述べる特定の構造的詳細及び機能的詳細は、制限的であると解釈されるのではなく、本発明をさまざまに使用することを当業者に教示するための代表的な基礎として解釈される。

【0008】

圧縮済みオーディオ信号は、知覚的オーディオコーデック等による何らかの形態のデータ圧縮を受けたオーディオコンテンツを含む信号である。一般的な型の知覚的オーディオコーデックは、ＭＰ３、ＡＡＣ、ドルビーデジタル、及びＤＴＳを含む。これらの知覚的オーディオコーデックは、オーディオ信号の有意の部分を破棄することによってオーディオ信号のサイズを低減する。知覚的オーディオコーデックが使用されて、オーディオ信号を記憶するために必要とされる空間（メモリ）の量を低減する、または、オーディオ信号を送信または転送するために必要とされる帯域幅の量を低減する可能性がある。オーディオ信号を９０％以上圧縮することは一般的ではない。知覚的オーディオコーデックは、人間の聴覚系がどのように音を認識するかというモデルを使用する可能性がある。こうして、知覚的オーディオコーデックは、聞き取れないかまたはリスナーによる音の知覚にとって最も重要でないと思われるオーディオ信号の部分を破棄する可能性がある。結果として、知覚的オーディオコーデックは、残りの信号に関して認識される比較的良好なオーディオ品質を依然として維持しながら、オーディオ信号のサイズを低減することができる。一般に、圧縮済みオーディオ信号の認識される品質は、圧縮済み信号のビットレートに依存する可能性がある。低いビットレートは、オリジナルのオーディオ信号の大きな部分が破棄されたことを示す可能性があり、したがって、一般に、圧縮済みオーディオ信号の認識される品質はより十分でない可能性がある。

【0009】

多数の型の知覚的オーディオコーデックが存在し、各型は、オリジナルのオーディオ信号のどの部分が圧縮プロセスにおいて破棄されることになるかを決定するときに異なる基準のセットを使用する可能性がある。知覚的オーディオコーデックは、符号化及び復号化プロセスを含む可能性がある。エンコーダは、オリジナルのオーディオ信号を受信し、信号のどの部分が破棄されることになるかを決定する可能性がある。エンコーダは、その後、残りの信号を、圧縮式記憶及び／または伝送に適する形式にする可能性がある。デコーダは、圧縮済みオーディオ信号を受信し、それを復号化し、その後、復号化済みオーディオ信号を、オーディオ再生に適する形式に変換する可能性がある。ほとんどの知覚的オーディオコーデックにおいて、知覚モデルの使用を含む可能性がある符号化プロセスは、圧縮済みオーディオ信号の結果として得られる品質を決定する可能性がある。これらの場合に、デコーダは、圧縮形式からの信号（通常、何らかの形態の周波数領域表現）をオーディオ再生に適する形式に変換する形式変換器の役をする可能性がある。

【0010】

信号エンハンサシステムは、知覚的オーディオコーデックによって処理された圧縮済みオーディオ信号を修正する可能性があり、それにより、圧縮プロセスにおいて破棄または変更されたと思われる信号成分及び特性は、処理済み出力信号において回復されると認識される場合がある。本明細書で使用するとき、用語、オーディオ信号は、別途述べられない限り、オーディオコンテンツを表す電気信号または聞き取れる音を指すことができる。

【0011】

オーディオ信号が知覚的オーディオコーデックを使用して圧縮されると、破棄済み信号成分を取出すことは不可能である。しかし、信号エンハンサシステムは、圧縮済みオーディオ信号内の残りの信号成分を解析し、破棄済み成分を知覚的に置換する新しい信号成分を生成する可能性がある。

【0012】

幾つかの場合において、圧縮済みオーディオ信号のソースの品質は、オーディオソースによって明示的に指定される場合がある、またはオーディオソースに基づいて推測される場合がある。一例において、衛星無線コンテンツは、特定の品質及びレートで符号化されることがわかっている場合がある。別の例において、オーディオソースについての現在のビットレート及びコーデック情報等のメタデータは、バスメッセージによって、または、復号化されるオーディオファイルのヘッダ情報によって指定することができる。こうした場合、信号エンハンサは、オーディオソースによって指定される品質に基づいてトリートメントレベルを適用するように構成することができる。他の場合には、ソース品質は、わかっていないかまたは容易に予測可能でない場合がある。こうしたオーディオソースの幾つかの例は、ｉＰＯＤ、ＵＳＢドライブ、ブルートゥース（登録商標）接続を通じて受信されるオーディオ、補助接続を介して受信されるオーディオ、またはわかっていないミュージックストリーミングアプリケーションからのオーディオストリーミング等のミュージックプレーヤを含むことができる。こうした場合、信号エンハンサは、到来するオーディオ自体のコンテンツの特性に基づいてオーディオソースに適するトリートメントレベルを自動的に検出するように構成することができる。

【0013】

自動検出は、入力信号の冒頭の被測定品質に基づいて比例量のトリートメントを適用するように構成することができる。例えば、ブリックウォール傾斜（例えば、１２ｋＨｚを超える周波数のハードカットオフ）が検出される場合、オーディオソースを、圧縮済みであると考え、トリートメントを適用することができる。ブリックウォール傾斜が検出されない場合、オーディオソースを、未圧縮であると考え、トリートメントを、不必要であり適用されないと見なすことができる。適用される特定の量のトリートメントは、ブリックウォールの周波数カットオフポイントに依存するとすることができる。例えば、より低いカットオフ周波数は、比較的より多くの圧縮済みオーディオストリームを示し、より多くの量のトリートメントを必要とする場合があり、一方、より高いカットオフ周波数は、比較的より少ない圧縮済みオーディオストリームを示し、より少ない量のトリートメントを必要とする場合がある。幾つかの場合、カットオフ周波数が最小閾値未満である場合、信号エンハンサは、オーディオソースが、品質が低過ぎて処理されないと判定する場合があり、トリートメントが適用されない場合がある。別の可能性として、カットオフ周波数が最大閾値を超える場合、信号エンハンサは、オーディオ信号がトリートメントを必要としないほどに十分な品質があると判定する場合がある。

【0014】

オーディオトラックが十分な高周波数コンテンツを欠く場合、信号エンハンサは、オーディオ品質が低いかまたはオーディオのビットレートが低くても、トリートメントが適用されるべきでないと判定する場合がある。一例において、ピアノのオーディオトラックは、ブリックウォールが容易に検出可能でないように高周波数コンテンツを欠く場合がある。または、トラックが、記録済みレベルが低過ぎる場合、信号エンハンサは、同様に、トリートメントが適用されないと判定する場合がある。

【0015】

初期化されると、または、ギャップ（例えば、ミュートまたはトラック変化）が検出されると、信号エンハンサは、ラッチをリセットし、検出済みエンハンスメントレベルを何もなしにセットすることができる。オーディオが始動または再開すると、自動検出メカニズムは、（例えば、ブリックウォールカットオフ周波数検出を実施することによって）圧縮を探すことができる。トラックが圧縮済みであるとして識別されると、トリートメントレベルを、次のトラックまでトリートメントレベルが狭い範囲内にあるままであるようにセット（すなわち、ラッチ）することができる。したがって、このラッチ操作は、ポンピング、変動性サウンド、または、変化するトリートメントレートの他の聞き取れるアーチファクトを防止することができる。

【0016】

付加的にまたは代替的に、ギャップの検出後に、タイマが計数し始めることができる。所定の期間または所定の数のサンプル（例えば、５秒）以内に圧縮が検出されない場合、信号エンハンサは、次のギャップが検出されるまで、トリートメントを適用しないと決めることができる。これは、高周波数の突然の出現及び後続のトリートメントレベル調整によるトラックの中央における予想しないスペクトル変化を回避することができる。

【0017】

図１は、信号エンハンサシステム１１０の例を含むブロック図である。信号エンハンサシステム１１０は周波数領域または時間領域で動作する可能性がある。信号エンハンサシステム１１０はサンプラモジュール１１２を含むことができる。サンプラモジュール１１２は、入力信号（Ｘ）をリアルタイムに受信し、入力信号（Ｘ）をサンプルに分割することができる。周波数領域における動作中に、サンプラモジュール１１２は、シーケンシャルな時間領域サンプルを収集（ｃｏｌｌｅｃｔ）し、適したウィンドウ関数（ルートハンウィンドウ等）が適用され、ウィンドウ処理済みサンプルは、ＦＦＴ（高速フーリエ変換）等を使用して、周波数領域内のシーケンシャルビンに変換される。一例において、サンプラモジュール１１２は、１０２４ポイントＦＦＴ及び４４．１ｋＨｚサンプリングレートを利用することができる。同様に、信号エンハンサシステム１１０の最終ステップとして、強調済み周波数領域ビンは、逆ＦＦＴ（ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ、逆高速フーリエ変換）を使用して、サンプラモジュール１１２によって時間領域に変換される可能性があり、適した相補的ウィンドウ（ルートハンウィンドウ等）が適用されて、強調済み時間領域サンプルのブロックを生成する。少なくとも５０％等の所定の量のオーバラップが使用されて、時間領域サンプルを、周波数領域に変換する前に加算しウィンドウ処理する可能性がある。信号エンハンサシステム１１０の出力ライン１０５上の出力において、少なくとも５０％等の同様の所定のオーバラップが、周波数領域から時間領域への変換に続いて強調済み時間領域サンプルを構築するときに使用される可能性がある。代替的に、信号エンハンサシステム１１０は、時間領域サンプルのシーケンシャルブロックを使用して時間領域において動作する可能性があり、変換器を、サンプラモジュール１１２から削除（ｅｌｉｍｉｎａｔｅ）することができる。議論及び図を簡単にするため、サンプラモジュール１１２の更なる議論及び例証並びに時間・周波数変換及び周波数・時間変換は省略される。そのため、本明細書で述べるとき、シーケンシャルサンプルまたはサンプルのシーケンスは、サンプラモジュール１１２によってサンプリングされた入力信号（Ｘ）の時系列受信に対応する、時間領域サンプルの時系列シーケンスまたは周波数領域ビンの時系列シーケンスを交換可能に指すことができる。

【0018】

図１において、信号エンハンサシステム１１０は、知覚的オーディオエンコーダ１０１及び知覚的オーディオデコーダ１０３と共に使用されるものとして示される。オリジナルオーディオ信号（Ｚ）は、オーディオ信号入力ライン１００上の知覚的オーディオエンコーダ１０１に提供される可能性がある。知覚的オーディオエンコーダ１０１は、オーディオ信号成分を破棄して、圧縮済みビットストリームライン１０２上で圧縮済みオーディオビットストリーム（Ｑ）を生成することができる。知覚的オーディオデコーダ１０３は、圧縮済みオーディオビットストリーム（Ｑ）を復号化して、入力信号ライン１０４上で入力信号（Ｘ）（本明細書で入力信号（Ｘ）１０４と呼ばれることがある）を生成することができる。入力信号（Ｘ）は、オーディオ再生に適した形式のオーディオ信号であるとすることができる。信号エンハンサシステム１１０は、入力信号（Ｘ）を強調するため入力信号（Ｘ）をサンプルのシーケンスに分割して、出力信号ライン１０５上で出力信号（Ｙ）を生成するように動作することができる。サイドチェインデータは、入力信号（Ｘ）の処理に関連する情報、例えば、使用されるオーディオコーデックの型、コーデック製造業者、ビットレート、ステレオ対ジョイントステレオ符号化、サンプリングレート、ユニークな入力チャネルの数、コーディングブロックサイズ、及び、ソング／トラック識別子の指示を含むことができる。他の例において、オーディオ信号（Ｘ）または符号化／復号化プロセスに関連する任意の他の情報を、サイドチェインデータの一部として含むことができる。サイドチェインデータを、サイドチェインデータライン１０６上で知覚的オーディオデコーダ１０３から信号エンハンサシステム１１０に提供することができる。代替的にまたは付加的に、サイドチェインデータを、入力信号（Ｘ）の一部として含むことができる。

【0019】

図２は、知覚的オーディオエンコーダ及びデコーダと共に使用される信号エンハンサシステム１１０の例のブロック図である。この場合、知覚的オーディオデコーダ１０３は、信号エンハンサシステム１１０の一部として組込まれる可能性がある。結果として、信号エンハンサシステム１１０は、圧縮済みビットストリームライン１０２上で受信される圧縮済みオーディオビットストリーム（Ｑ）に直接作用することができる。代替的に、他の例では、信号エンハンサシステム１１０は、知覚的オーディオデコーダ１０３内に含まれる場合がある。この構成において、信号エンハンサシステム１１０は、圧縮済みオーディオビットストリーム（Ｑ）１０２の詳細にアクセスすることができる。

【0020】

図３は、信号エンハンサシステム１１０の例のブロック図である。図３において、信号エンハンサシステム１１０は、入力信号ライン１０４上で入力信号（Ｘ）を受信することができる信号トリートメントモジュール３００を含む。信号トリートメントモジュール３００は、対応する信号トリートメントライン３１０上に幾つかの個々のかつユニークな信号トリートメント（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、及びＳＴ７）を生成することができる。７つの信号トリートメントが示されるが、他の例において、より少ないまたはより多い数（ｎ）の信号トリートメントが可能である。信号トリートメント（ＳＴｎ）のそれぞれの相対的エネルギーレベルは、第１の総和ブロック３２１で共に加算される前に、トリートメント利得（ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、及びｇ７）３１５によって個々に調整されて、全体信号トリートメント（ＳＴＴ）３２３を生成することができる。全体信号トリートメント（ＳＴＴ）３２３のレベルは、第２の総和ブロック３２２で入力信号（Ｘ）１０４に加算される前に、全体トリートメント利得（ｇＴ）３２０によって調整することができる。

【0021】

信号トリートメントモジュール３００は、１つまたは複数のトリートメントモジュール（３０１、３０２、３０３、３０４、３０５、３０６、及び３０７）を含むことができ、トリートメントモジュールは、入力信号（Ｘ）のシーケンシャルサンプルの個々のサンプル成分に作用して、それぞれの成分のそれぞれについてサンプルごとに信号トリートメント（３１０）をシーケンシャルに生成する。シーケンシャルサンプルの個々のサンプル成分は、オーディオ信号の異なる特性に関連することができる。代替的にまたは付加的に、信号トリートメントモジュール３００は、更なるまたはより少ないトリートメントモジュール３００を含むことができる。示すモジュールは、独立している場合がある、または、モジュールを作成するため種々の組合せの任意の組合せで形成されるサブモジュールである場合がある。

【0022】

図４は、ミッドサイド成分モジュール４００によって抽出されるような、入力信号（Ｘ）のミッドサイド成分に作用する信号エンハンサシステム１１０の例である。用語「ミッドサイド」は、ステレオオーディオ信号内のオーディオ情報を指し、ステレオオーディオ信号において、左と右の両方のステレオチャネルに共通であるオーディオ情報はオーディオ情報の「ミッド（Ｍｉｄ）」信号成分であると考えられ、オーディオ情報の「サイド（Ｓｉｄｅ）」信号成分は、左ステレオチャネルと右ステレオチャネルとの間で異なるオーディオ情報である。知覚的オーディオコーデックは、知覚的オーディオコーデックの性能の改善のためにオーディオ信号のミッドサイド成分に作用する可能性がある。この状況において、エンコーダはより多くのミッド信号成分を保持しながら、より多くのサイド信号成分を破棄する可能性がある。したがって、この状況において、信号エンハンサシステム１１０の動作の最適化は、信号エンハンサシステム１１０が、ステレオ信号の左及び右チャネルに直接作用するのではなく、ステレオ入力信号（Ｘ）のミッドサイド成分に作用する場合に改善される場合がある。

【0023】

図４において、ステレオ・ミッドサイドモジュール４００は、ステレオ入力信号Ｘをミッドサイド信号構成Ｘｍｓに変換することができ、ミッドサイド信号構成Ｘｍｓを、次に、処理のためにミッドサイド信号ライン４０１上で信号エンハンサシステム１１０に提供することができる。信号エンハンサシステム１１０は、ミッドサイド信号Ｘｍｓに作用して、強調済みミッドサイド信号（Ｙｍｓ）を生成することができる。強調済みミッドサイド信号（Ｙｍｓ）を、強調済みミッドサイド信号ライン４０２上でミッドサイド・ステレオモジュール４０３に供給することができる。ミッドサイド・ステレオモジュール４０３は、強調済みミッドサイド信号（Ｙｍｓ）を、出力ライン１０５に供給されるステレオ（左及び右チャネル）出力信号（Ｙ）に変換することができる。

【0024】

図５は、空間スライス分解モジュール５００から導出することができる空間スライスストリームライン５０１上の「ｎ個の」空間スライスストリーム（ＸＳＳ１、ＸＳＳ２、ＸＳＳ３、…、ＸＳＳｎ）のセットに作用する「ｎ個の」信号エンハンサシステム１１０のセットの例である。空間スライス分解モジュール５００は、入力信号ライン１０４上でステレオまたはマルチチャネルオーディオ入力信号（Ｘ）を受信し、空間スライスストリームのセットを生成することができる。空間スライスストリームは、空間フィルタバンクの出力を含むことができ、空間フィルタバンクは、認識されるステレオまたはマルチチャネルサウンドステージ内のオーディオ信号ソースの空間ロケーションに基づいて入力信号を分解する。空間スライスストリーム５０１を生成するため入力信号を空間スライスに分解するための考えられる１つの方法は、参照によりその全体が本明細書に組込まれる、「ＳＹＳＴＥＭ ＦＯＲ ＳＰＡＴＩＡＬ ＥＸＴＲＡＣＴＩＯＮ ＯＦ ＡＵＤＩＯ ＳＩＧＮＡＬＳ」という名称の米国特許出願第１２／８９７，７０９号に記載される。

【0025】

図５において、「ｎ個の」信号エンハンサ１１０のそれぞれは、強調済み出力ストリームライン５０２上で強調済み出力ストリーム（ＹＳＳ１、ＹＳＳ２、ＹＳＳ３、…ＹＳＳｎ）を生成する。「ｎ個の」出力ストリームは、総和モジュール５０３において結合されて、出力ライン１０５上で出力信号（Ｙ）を生成する。システムの性能の改善は、個々の空間スライスストリームに対して別々の信号エンハンサシステム１１０を作用させるときに得ることができる。その理由は、各信号エンハンサシステム１１０が、オーディオ入力信号１０４のより隔離されたサンプル成分に作用し、したがって、各空間スライスストリーム（ＸＳＳｎ）について適切な信号トリートメント（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、及びＳＴ７）をよりよく導出することができるからである。任意の数の異なる信号トリートメント（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、及びＳＴ７）を、それぞれの空間スライスストリーム（ＸＳＳｎ）のそれぞれの空間スライスストリームのサンプルに含まれる異なるサンプル成分について独立して導出することができる。

【0026】

図３において、信号トリートメントモジュール３００は、オーディオ信号またはオーディオ信号から生成される空間スライスストリームのそれぞれのシーケンシャルサンプルの個々のサンプル成分について信号トリートメント（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、及びＳＴ７）を導出する１つまたは複数のトリートメントモジュール（３０１、３０２、３０３、３０４、３０５、３０６、及び３０７）を含むことができる。トリートメントモジュール（３０１、３０２、３０３、３０４、３０５、３０６、及び３０７）のそれぞれは、オーディオ信号または空間ストリームに関連する異なる特性について信号トリートメント（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、及びＳＴ７）を導出することができる。例示的なオーディオ信号特性は、帯域幅、高調波、過渡変化、拡張、残響、マスキング、及び高調波位相整列を含む。他の例では、信号トリートメントを、オーディオ信号に関連する更なるまたはより少ない特性について導出することができる。信号トリートメントを、それぞれのトリートメントモジュールの特性に対応するオーディオ信号の欠落部分について導出することができる。したがって、信号トリートメントは、サンプルのシリーズ内の個々のサンプル成分から欠落しているとして識別されるオーディオ信号の種々の異なる特性の置換部分を効果的に供給することができる。そのため、それぞれの特性の喪失部分が識別されるシリーズ内のサンプル成分のうちの一部のサンプル成分は、信号トリートメントを適用されている場合があり、一方、それぞれの特性の喪失部分が全く識別されないシーケンス内の他のサンプル成分は、信号トリートメントを適用されていない場合がある。

【0027】

帯域幅の特性がオーディオ信号の欠落部分であることに関して、比較的低いビットレートで動作するコーデックを含む一部の知覚的オーディオコーデックは、所定の閾値を超える信号成分を破棄することによって圧縮済み信号の帯域幅を制限することができるようなものである。例えば、知覚的オーディオコーデックは、１２ｋＨｚを超える等、所定の周波数を超える全ての周波数成分が、知覚的に重要でないと考え、したがって、それらを破棄することができる。帯域幅伸長モジュール３０１は、入力信号（Ｘ）に作用して、こうした所定のカットオフ周波数（Ｆｘ）を超える、信号成分または信号トリートメント（ＳＴ１）を生成することができる。帯域幅伸長モジュール３０１は、入力信号（Ｘ）を解析して、存在する場合、入力信号のカットオフ周波数（Ｆｘ）を決定することができる。カットオフ周波数（Ｆｘ）の知識が使用されて、所定のカットオフ周波数（Ｆｘ）を超える新しい信号成分を有する信号トリートメントストリーム（ＳＴ１）の発生を誘導し、それにより、オーディオ信号の対応するサンプル成分内にこの特性が存在しないことを補償することができる。

【0028】

代替的にまたは付加的に、サイドチェイン情報１０６が、図１に示すように、知覚的オーディオデコーダ１０３から入手可能である場合、カットオフ周波数（Ｆｘ）を、帯域幅伸長モジュール３０１に提供することができる。他の場合、知覚的オーディオデコーダ１０３及び信号エンハンサシステム１１０が、図２の例等において統合される場合、カットオフ周波数（Ｆｘ）を、知覚的オーディオデコーダ１０３によって帯域幅伸長モジュール３０１に直接提供することができる。

【0029】

高調波の特性がオーディオ信号の欠落または喪失部分であることに関して、比較的低いビットレートで動作するコーデックを含む一部の知覚的オーディオコーデックは、信号内の所与の時点において圧縮済み信号内の或る「中間高調波（ｍｉｄｄｌｅ ｈａｒｍｏｎｉｃｓ）」を破棄することができる。例えば、或る時点において、知覚的オーディオコーデックは、幾つかの低次高調波と共に特定のサウンドソースの基本周波数成分を保持することができる。知覚的オーディオコーデックは、サウンドソースの中間高調波の１つまたは複数を破棄しながら、信号の最高次高調波の一部または全てを同様に維持することができる。帯域内高調波フィルモジュール３０２は、入力信号（Ｘ）１０４を解析して、知覚的オーディオコーデックがオーディオ信号の１つまたは複数の中間高調波特性を破棄した事象を探索することができる。帯域内高調波フィルモジュール３０２は、オーディオ信号のサンプル成分からこの特性が欠落することに応答してオーディオ信号に適用するための新しい中間高調波を有する信号トリートメントストリーム（ＳＴ２）を生成するように動作することができる。

【0030】

過渡変化の特性がオーディオ信号の欠落部分であることに関して、比較的低いビットレートで動作するコーデックを含む一部の知覚的オーディオコーデックは、過渡変化信号の「スミアリング（ｓｍｅａｒｉｎｇ）」をもたらすことができる。この型のコーディングアーチファクトは、「プリエコー（ｐｒｅ−ｅｃｈｏ）」と述べられる可能性があり、また、過渡変化事象時に過渡変化信号がシャープアタックを有し他の信号成分に比べて比較的音量が大きいとき、最も容易に聞き取られる可能性がある。プリエコーは、過渡変化信号成分の認識される鈍化をもたらす傾向がある。過渡変化強調モジュール３０３は、この特性をオーディオ信号の成分サンプルからの欠落として識別し、過渡変化信号成分の認識されるシャープアタックを回復する信号トリートメントを導出しようとする場合がある。過渡変化強調モジュール３０３は、入力信号（Ｘ）を解析することができ、また、過渡変化事象及び過渡変化信号成分を識別して、欠落している特性を識別することができる。過渡変化強調モジュール３０３は、オーディオ信号に適用するための新しい過渡変化信号成分を含む信号トリートメントストリーム（ＳＴ３）を生成して、既存の過渡変化信号成分の冒頭の知覚を向上させるように動作することができる。

【0031】

オーディオ信号内の過渡変化を検出するための例示的な方法は以下の活動を含むことができる。時間領域入力信号サンプルの現在のブロックについてのＦＦＴビンの大きさが、計算されて、履歴バッファに記憶される。ＦＦＴビンの現在のセットの大きさは、ビンごとにＦＦＴビンの過去のセットの大きさと比較され、ここで、現在のセット及び過去のセットは、サンプルのそれぞれのシリーズのサンプル成分のシリーズを示す。ＦＦＴビンの過去のセットの大きさは、履歴バッファに前もって記憶され、この比較のために取出される。現在のＦＦＴビンの大きさが、大きさ閾値等の所定の閾値だけ過去のＦＦＴビンの大きさを超えるビンの数が計数される。カウントが、決定済みカウント閾値を超える場合、時間領域サンプルの現在のブロックが過渡変化事象を含むと判定される。２０ｄＢ等の所定の値は、過渡変化を検出するための大きさ閾値に適する場合がある。過去のＦＦＴビンは、サンプルの現在のブロックの背後の１つまたは２つのブロックから採取される可能性がある。すなわち、履歴バッファは、サンプルのサンプル成分のシーケンシャル処理において１つまたは２つの処理ブロックの遅延を示す可能性がある。

【0032】

拡張の特性がオーディオ信号の欠落または喪失部分であることに関して、比較的低いビットレートで動作するコーデックを含む一部の知覚的オーディオコーデックは、オーディオ信号が聞き取れるサウンドとして生成されるときリスナーによって認識されるステレオサウンドステージの認識される狭隘化をもたらすことができる。すなわち、オリジナルの未圧縮オーディオ信号内で極端な左または右に位置していると認識されるサウンドは、圧縮プロセス中に他のサウンドに比べて減衰する場合がある。結果として、得られるオーディオ信号は、より「モノラル（ｍｏｎｏｐｈｏｎｉｃ）」である、また、「ステレオ（ｓｔｅｒｅｏｐｈｏｎｉｃ）」でないと認識される場合がある。サウンドステージ強調モジュール３０４は、サンプル成分のシリーズにおいてこの特性に関連するオーディオ信号の欠落または喪失部分を識別し、入力信号（Ｘ）内で極端な左または右に位置していると認識される信号成分を被生成信号トリートメントとして増幅することができる。例えば、サウンドステージ強調モジュール３０４は、極端な左または右の信号成分を抽出し、これらの信号成分の増幅済みバージョンを含む信号トリートメントストリーム（ＳＴ４）を生成するように動作することができる。極端な左または右の信号成分を抽出するための考えられる１つの方法は、参照によりその全体が本明細書に組込まれる、「ＳＹＳＴＥＭ ＦＯＲ ＳＰＡＴＩＡＬ ＥＸＴＲＡＣＴＩＯＮ ＯＦ ＡＵＤＩＯ ＳＩＧＮＡＬＳ」という名称の米国特許出願第１２／８９７，７０９号に記載される。

【0033】

残響の特性がオーディオ信号の欠落または喪失部分であることに関して、比較的低いビットレートで動作するコーデックを含む一部の知覚的オーディオコーデックは、オーディオ信号において「雰囲気（ａｍｂｉｅｎｃｅ）」または「残響」特性の認識される減少をもたらすことができるようなものである。残響特性のこの減少は、全体のサウンドの認識される「鈍化（ｄｕｌｌｉｎｇ）」、並びに、オーディオ信号の喪失部分によるサウンドの詳細の認識される喪失をもたらす場合がある。残響の減少は、同様に、全体のサウンドフィールドの認識されるサイズ及び幅を減少させる場合がある。リバーブフィルモジュール３０５は、入力信号（Ｘ）をドライ信号成分と残響性信号成分に分解するように動作することができる。リバーブフィルモジュール３０５は、その後、対応するサンプル成分内でオーディオ信号の欠落部分を識別し、サンプル成分内で残響の認識されるレベルを増加させ、新しい残響性信号成分を含むことができる信号トリートメントストリーム（ＳＴ５）を生成するように動作することができ、また、オーディオ信号の一部が欠落していると判定されるサンプルのシーケンスのサンプル成分だけに適用するための増幅済み残響性信号成分を含むことができる。

【0034】

入力信号（Ｘ）をドライ信号成分と残響性信号成分に分解するための考えられる１つの方法は、共に参照によりその全体が本明細書に組込まれる、「ＳＹＳＴＥＭ ＦＯＲ ＳＥＬＥＣＴＩＶＥＬＹ ＥＸＴＲＡＣＴＩＮＧ ＣＯＭＰＯＮＥＮＴＳ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ」という名称の米国特許第８，１８０，０６７号、及び、「ＳＹＳＴＥＭ ＦＯＲ ＥＸＴＲＡＣＴＩＮＧ ＡＮＤ ＣＨＡＮＧＩＮＧ ＴＨＥ ＲＥＶＥＲＢＥＲＡＮＴ ＣＯＮＴＥＮＴ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ」という名称の米国特許第８，０３６，７６７号に記載される。

【0035】

マスク信号の特性がオーディオ信号の欠落または喪失部分であることに関して、比較的低いビットレートで動作するコーデックを含む一部の知覚的オーディオコーデックは、信号内の明瞭度及び低レベル詳細の認識される減少をもたらすことができる。これは、例えば知覚モデルによればほとんどのリスナーにとって聞き取れないと思われる信号成分を破棄する知覚的オーディオコーデックによってもたらされる場合がある。通常、知覚モデルは、或る第１の信号成分を、その第１の信号成分をマスクすることができる他の優勢な信号成分が存在する場合、聞き取れないとして識別することになる。すなわち、人間の聴覚系のマスキング特性によって優勢な信号成分は、第１の信号成分を聞き取れなくさせる（マスクする）場合がある。しかし、各リスナーのマスキング特性は、幾らか異なっており、知覚的オーディオコーデック内の知覚モデルは、１人のリスナーのマスキング特性を近似するだけである可能である。結果として、知覚的オーディオコーデックは、一部のリスナーにとって聞き取れる或る信号成分を破棄する場合がある。

【0036】

マスク式信号フィルモジュール３０６は、オーディオ信号の対応するサンプル成分の欠落部分を識別し、低レベル信号成分を、マスクされるまさに閾値に低レベル信号成分があるように増幅するように動作することができる。マスク式信号フィルモジュール３０６は、入力信号（Ｘ）を受信し、知覚モデルを適用して、各周波数について「同時マスキング閾値（ｓｉｍｕｌｔａｎｅｏｕｓ ｍａｓｋｉｎｇ ｔｈｒｅｓｈｏｌｄ）」を決定することができる。同時マスキング閾値は、或る周波数の信号成分が他の周波数の信号成分によってそこでマスクされると知覚モデルが判定するレベルを示す。例えば、１１００Ｈｚの信号成分は、１０００Ｈｚにおいて十分に音量が大きい信号成分が存在する場合、聞き取れない場合がある。この例において、同時マスキング閾値は、他の周波数（１１００Ｈｚ等）の信号成分が１０００Ｈｚの信号成分によってそこでマスクされることになるレベルを示す。したがって、１１００Ｈｚの信号成分のレベルが同時マスキング閾値を下回る場合、知覚モデルは、この信号成分がマスクされる（聞き取れない）ことになると判定する。

【0037】

継続してこの例を考えると、マスク式信号フィルモジュール３０６が、１１００Ｈｚの信号成分が同時マスキング閾値を下回ると判定し、それにより、オーディオ信号の対応するサンプル成分の喪失部分を識別する場合、マスク式信号フィルモジュール３０６は、信号トリートメントストリーム（ＳＴ６）を生成することができ、信号トリートメントストリーム（ＳＴ６）は、１１００Ｈｚの信号成分が同時マスキング閾値に達するように１１００Ｈｚの信号成分の増幅済みバージョンを含むことができる。同様に、マスク式信号フィルモジュール３０６は、全ての周波数の信号成分についてこの操作を実施して、対応するサンプル成分の喪失部分を識別し、それにより、マスク式信号フィルモジュール３０６は、種々の周波数の増幅済み信号成分を含む信号トリートメントストリーム（ＳＴ６）を生成することができるため、全ての周波数の信号成分が同時マスキング閾値に達することができる。

【0038】

同時マスキング閾値を決定するための知覚モデルの例は、共に参照によりその全体が本明細書に組込まれる、『ＳＹＳＴＥＭ ＦＯＲ ＳＥＬＥＣＴＩＶＥＬＹ ＥＸＴＲＡＣＴＩＮＧ ＣＯＭＰＯＮＥＮＴＳ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ』という名称の米国特許第８，１８０，０６７号、及び、「ＳＹＳＴＥＭ ＦＯＲ ＥＸＴＲＡＣＴＩＮＧ ＡＮＤ ＣＨＡＮＧＩＮＧ ＴＨＥ ＲＥＶＥＲＢＥＲＡＮＴ ＣＯＮＴＥＮＴ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ」という名称の米国特許第８，０３６，７６７号に記載される。一般に、知覚モデルは、所定の期間にわたる成分サンプルの生成中に（サンプルのシリーズについての成分サンプルの多数のスナップショットにわたって等で）、時間ベース聴覚マスキング推定値及び周波数ベース聴覚マスキング推定値の少なくとも一方に基づいて平滑化を実施することができる。

【0039】

高調波的に富んだ信号の基本成分及び高調波成分の位相は、所定期間にわたって互いに追従する（ｔｒａｃｋ）傾向がある可能性がある。すなわち、高調波的に富んだ信号の基本成分及び高調波成分は、何らかの方法で整列する傾向がある可能性がある。高調波位相整列の特性がオーディオ信号の欠落または喪失部分であることに関して、比較的低いビットレートで動作するコーデックを含む一部の知覚的オーディオコーデックは、所与のサウンドソースの高調波の位相に対して位相に関してその整列を喪失させることができる。サンプル成分の欠落部分としての位相整列のこの喪失は、信号の少なくとも高次高調波上で起こる可能性がある。位相整列のこの喪失を、異なる方法でリスナーが認識することができる。位相整列の喪失の１つの一般的な結果は、より高い周波数で、通常、聞き取ることができる「シューシュー音（ｓｗｏｏｓｈｉｎｇ）」である。高調波位相整列モジュール３０７は、高調波的に関連する信号成分が所定期間にわたって強制的に位相整列されるように動作することができる。高調波位相整列モジュール３０７は、入力信号（Ｘ）を解析し、（過渡変化信号成分またはノイズに似た信号成分と対照的に）調性信号成分を探し、調性信号成分が高調波的に関連するかどうかを判定することができる。更に、高調波位相整列モジュール３０７は、高調波的に関連する任意の調性成分の位相が所定期間にわたって整列するかどうかを判定することができる。対応するサンプル成分の特性、すなわち、高調波的に関連する調性成分の位相整列が、オーディオ信号の欠落部分として識別される場合、整列状態にない任意の高調波の位相を調整することができる。高調波位相整列モジュール３０７は、これらの未整列調性成分の位相整列済みバージョンを含むことができる信号トリートメントストリーム（ＳＴ７）を生成することができる。代替的にまたは付加的に、高調波位相整列モジュール３０７は、調性成分の何らかの他の形態の整列を提供することができる。

【0040】

入力信号（Ｘ）１０４がステレオまたはマルチチャネルである場合、図５を参照して述べたように、信号エンハンサ１１０によって処理される前に入力信号（Ｘ）１０４を空間スライス５０１に分解することができる。信号を空間スライスに分解するためのシステム及び方法は、参照によりその全体が本明細書に組込まれる、「ＳＹＳＴＥＭ ＦＯＲ ＳＰＡＴＩＡＬ ＥＸＴＲＡＣＴＩＯＮ ＯＦ ＡＵＤＩＯ ＳＩＧＮＡＬＳ」という名称の米国特許出願第１２／８９７，７０９号に記載される。入力信号を空間スライスに分解することは、空間スライス（ＸＳＳ１、ＸＳＳ２、ＸＳＳ３、…、ＸＳＳｎ）５０１のそれぞれに含まれる信号成分に対する種々のトリートメント（３０１、３０２、３０３、３０４、３０５、３０６、及び３０７）のより的確な適用を可能にすることができる。例えば、過渡変化信号が所与の空間スライス内に位置する場合、過渡変化強調トリートメント３０３は、他の空間スライス内の非過渡変化信号成分に影響を及ぼさない状態で、その空間スライスにおいて適用されるだけである場合がある。

【0041】

適切なトリートメントが空間スライスのそれぞれに適用されると、空間スライスのそれぞれからの強調済み出力ストリーム（ＹＳＳ１、ＹＳＳ２、ＹＳＳ３、…、ＹＳＳｎ）５０２は、総和モジュール５０３において結合されて、出力ライン１０５上で複合出力信号（Ｙ）を生成することができる。

【0042】

所与の空間スライス内の信号成分に適用される種々のトリートメントは、入力信号（Ｘ）のコンテンツが変化するにつれて、所定の期間にわたって変動する場合がある。上記例を使用して、過渡変化強調トリートメント３０３を、所与の空間スライス内のサンプル成分の一部のサンプル成分に、過渡変化信号成分がその空間スライス内で検出された期間中に適用するだけである場合がある。

【0043】

ミュージックまたはスピーチ等のオーディオ信号は、通常、或る程度の量の残響を含む。この残響は、オーディオ信号がその中で記録された部屋（例えば、コンサートホール）のせいである場合がある、または、この残響は電子的に付加される場合がある。残響のソースは、残響性システムと呼ばれる。残響の特性は、残響性システムのインパルス応答によって決定される。残響性システムのインパルス応答は、ブロックのセットに分割される可能性がある。インパルス応答推定器９１０は、入力信号に作用して、インパルス応答の周波数領域表現の知覚的に重要な推定値を生成する。一般に、インパルス応答推定器は、入力信号に作用して、インパルス応答のブロックベース推定値を生成することができる。インパルス応答のブロックベース推定値は、インパルス応答の周波数領域推定値に対応する複数のブロック推定値からなる。

【0044】

図６は、インパルス応答の例である。第１の垂直ラインは直接のサウンド成分６０２を示し、一方、残りのラインは反射を示す。各ラインの高さはその振幅を示し、時間軸（ｔ）上でのそのロケーションは、マイクロフォン等のサウンド測定デバイスにおけるその到達時間を示す。時間が経過するにつれて、反射の回数が、個々の反射を識別することがもはや可能でないポイントまで増加する。最終的に、反射は、拡散性の指数関数的減衰システムに進化する。これは、通常、インパルス応答の残響性テイル６０４と呼ばれる。

【0045】

いわゆる早期反射６０６は、直接サウンド成分６０２の直後に到達し、残響性テイルと異なる知覚効果を有する。これらの早期反射は、オーディオ信号のソースとマイクロフォンとの間の音響空間及び距離のサイズに関する知覚的キューを提供する。早期反射６０６はまた、サウンドに対して改善された明瞭度及び了解度を提供する可能性がある点で重要である。残響性テイルはまた、音響空間に関する知覚的キューを提供する。

【0046】

インパルス応答はまた、そのフーリエ変換（または何らかの他の変換）を計算することによって周波数領域で観察される可能性があるため、残響システムは、その周波数領域表現Ｈ（ω）によって完全に記述される可能性がある。変数ωは周波数を示す。インパルス応答のフーリエ表現は、大きさ応答と位相応答の両方を提供する。一般的に言えば、大きさ応答は、インパルス応答における異なる周波数成分の相対レベルに関する情報を提供し、一方、位相応答は、周波数成分の時間的態様に関する情報を提供する。

【0047】

リバーブフィルモジュール３０５は、入力信号内の残響性エネルギーの大きさの推定値の周波数領域推定値を生成することができる。残響性エネルギーの大きさのこの推定値は、入力信号から減算され、したがって、入力信号のドライオーディオ信号成分の大きさの推定値を提供する。残響性入力信号の位相が使用されて、オリジナルのドライ信号の位相を近似する。本明細書で使用するとき、用語「ドライ信号（ｄｒｙ ｓｉｇｎａｌ）」、「ドライ信号成分（ｄｒｙ ｓｉｇｎａｌ ｃｏｍｐｏｎｅｎｔ）」、「ドライオーディオ信号成分（ｄｒｙ ａｕｄｉｏ ｓｉｇｎａｌ ｃｏｍｐｏｎｅｎｔ）」、または「直接信号成分（ｄｉｒｅｃｔ ｓｉｇｎａｌ ｃｏｍｐｏｎｅｎｔ）」は、オーディオ信号内に存在する残響性エネルギーがほとんどないオーディオ信号またはオーディオ信号の一部分を指す。そのため、オリジナルのドライ信号は、ほぼ完全に直接サウンドインパルス６０２からなるため、残響性エネルギーがほとんどない場合がある。本明細書で使用するとき、用語「残響性エネルギー（ｒｅｖｅｒｂｅｒａｎｔ ｅｎｅｒｇｙ）」、「残響性入力信号（ｒｅｖｅｒｂｅｒａｎｔ ｉｎｐｕｔ ｓｉｇｎａｌ）」、「残響性成分（ｒｅｖｅｒｂｅｒａｎｔ ｃｏｍｐｏｎｅｎｔ）」、「残響性信号成分（ｒｅｖｅｒｂｅｒａｎｔ ｓｉｇｎａｌ ｃｏｍｐｏｎｅｎｔ）」、「残響成分（ｒｅｖｅｒａｔｉｏｎ ｃｏｍｐｏｎｅｎｔ）」、または「残響信号成分（ｒｅｖｅｒａｔｉｏｎ ｓｉｇｎａｌ ｃｏｍｐｏｎｅｎｔ）」は、オーディオ信号の早期反射及び残響テイルを指す。更に、オーディオ信号に関して、本明細書で使用するとき、用語「成分（ｃｏｍｐｏｎｅｎｔ）」または「複数の成分（ｃｏｍｐｏｎｅｎｔｓ）」は、１つまたは複数の成分を指す。

【0048】

インパルス応答全体を使用してオリジナルのドライ信号の位相を全体として近似するため残響性入力信号の位相が使用される場合、重大な時間領域アーチファクトを処理済み信号内で聞き取ることになる可能性がある。したがって、リバーブフィルモジュール３０５は、インパルス応答全体の推定値をブロック６０８に分割する可能性があり、また、処理は、ブロックベースの方法で実施される可能性がある。ブロック６０８の所定の長さは、処理済み出力信号の位相の誤差によって人間の耳が時間領域アーチファクトを全く認識しないほどに十分に短い可能性がある。

【0049】

所与の周波数において残響性入力信号が減衰するレートを決定するために２つの因子が組合される。第１の因子はドライ（すなわち、非残響性）サウンドソースの減衰レートであり、第２の因子は残響性システムの減衰レートである。所与の周波数における残響性システムの減衰レートは所定の期間にわたって比較的一定であるが、ドライサウンドソースの減衰レートは連続的に変動する。入力信号（Ｘ）について考えられる最も速い減衰レートは、ドライサウンドソースが所与の周波数で停止するときに起こり、その信号の減衰は、全体として残響性システムの減衰による。図６の例において、ドライサウンドソースは、例えば、早期反射６０６の時点で停止する場合がある。所与の周波数における残響性システムの減衰レートは、その周波数における残響性システムのインパルス応答によって直接決定される可能性がある。したがって、入力信号（Ｘ）は、残響性システムのインパルス応答によって左右されるレートより速いレートで減衰するべきではない。

【0050】

図７は、リバーブフィルモジュール３０５のより詳細な図である。リバーブフィルモジュール３０５は、入力信号（Ｘ）１０４を受信し、信号トリートメント３１０ ＳＴ５を出力として提供することができる。インパルス応答推定器７１０、リバーブドロップアウト検出器モジュール７１１及びリバーブドロップアウトフィルモジュール７１２、並びに分解プロセッサモジュール７１３を、リバーブフィルモジュール３０５に含むことができる。他の例において、論じた機能を達成するためのより少ないまたはより多い数のモジュールを述べることができる。

【0051】

インパルス応答推定器７１０が使用されて、入力信号（Ｘ）の残響性システムのインパルス応答の推定値を導出することができる。入力信号（Ｘ）の残響性システムのインパルス応答を推定するための考えられる１つの方法は、共に参照によりその全体が本明細書に組込まれる、「ＳＹＳＴＥＭ ＦＯＲ ＳＥＬＥＣＴＩＶＥＬＹ ＥＸＴＲＡＣＴＩＮＧ ＣＯＭＰＯＮＥＮＴＳ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ」という名称の米国特許第８，１８０，０６７号、及び、「ＳＹＳＴＥＭ ＦＯＲ ＥＸＴＲＡＣＴＩＮＧ ＡＮＤ ＣＨＡＮＧＩＮＧ ＴＨＥ ＲＥＶＥＲＢＥＲＡＮＴ ＣＯＮＴＥＮＴ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ」という名称の米国特許第８，０３６，７６７号に記載される。

【0052】

図８は、リバーブフィルモジュール３０５によって推定される可能性があるオーディオ信号の残響性成分の推定値の例である。分解プロセッサモジュール７１３は、入力信号（Ｘ）に作用して、入力信号の先に論じたサンプル成分のうちの１つのサンプル成分である入力リバーブ成分８０２を導出することができる。入力リバーブ成分８０２は、入力信号の残響性成分（残響）または特性の推定値からなることができる。入力信号（Ｘ）の入力リバーブ成分８０２を導出するための考えられる１つの方法は、共に参照によりその全体が本明細書に組込まれる、「ＳＹＳＴＥＭ ＦＯＲ ＳＥＬＥＣＴＩＶＥＬＹ ＥＸＴＲＡＣＴＩＮＧ ＣＯＭＰＯＮＥＮＴＳ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ」という名称の米国特許第８，１８０，０６７号、及び、「ＳＹＳＴＥＭ ＦＯＲ ＥＸＴＲＡＣＴＩＮＧ ＡＮＤ ＣＨＡＮＧＩＮＧ ＴＨＥ ＲＥＶＥＲＢＥＲＡＮＴ ＣＯＮＴＥＮＴ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ」という名称の米国特許第８，０３６，７６７号に記載される。予想済み減衰レート８０６は、分解プロセッサモジュール７１３によってインパルス応答からそれぞれのシーケンシャルサンプルについて直接決定することができる。図８において、入力リバーブ成分８０２は、期間（ｔ）にわたる所与の周波数におけるサンプル成分のシーケンスとして示される。入力リバーブ成分８０２が、ある時点で成長（増大）し、他の時点で減衰することが見てわかる。

【0053】

図７及び８を参照すると、リバーブドロップアウト検出器７１１は、異なる時点において入力リバーブ成分８０２の減衰レートを、予想済み減衰レート８０６と比較することができる。リバーブドロップアウト検出器７１１は、個々のサンプル成分内で、入力リバーブ成分８０２が予想済み減衰レート８０６を下回る１つまたは複数のリバーブドロップアウト８０４を、オーディオ信号の欠落または喪失部分として識別することができる。リバーブドロップアウトフィルモジュール７１２は、リバーブフィルトリートメントを信号トリートメントとして生成して、リバーブドロップアウト８０４による喪失エネルギーを補償するように動作することができる。図８に示すように、信号トリートメントは、オーディオ信号の一部が欠落しているサンプル成分に適用されるだけである。したがって、サンプル成分のシーケンスがシーケンシャルに処理されるにつれて、信号トリートメントを、入力信号の欠落または喪失部分を有するとして識別されたサンプル成分だけに選択的に適用することができる。

【0054】

図９ａは、強調コントローラモジュール９００に結合された信号エンハンサモジュール１１０のブロック図の例である。強調コントローラモジュール９００は、トリートメントレベル調整器モジュール９０１、信号品質解析器モジュール９０２、及びディスプレイモジュール９０６を含むことができる。動作中、信号トリートメントモジュール３００は、トリートメント要件インジケータを信号品質解析器９０２に提供することができる。トリートメント要件インジケータは、入力信号（Ｘ）の識別された欠落部分によって必要とされる信号トリートメントの量に関する重要な情報を、種々のトリートメントモジュール（３０１、３０２、３０３、３０４、３０５、３０６、及び３０７）から提供する可能性がある。

【0055】

考えられるトリートメント要件インジケータの一例として、帯域幅伸長モジュール３０１（図３）は、入力信号（Ｘ）のカットオフ周波数（Ｆｘ）の推定値を提供することができる。カットオフ周波数を、時折、周波数スペクトルグラフにおけるその外見のせいでブリックウォールまたはブリックウォール周波数と呼ぶことができる。ブリックウォールは、通常、１０〜１９ｋＨｚ領域内の、圧縮によって導入されるハードで急峻なカットオフ周波数を示すことができる。カットオフ周波数ポイントを超えると、入力信号（Ｘ）内に実質的に全く情報が存在しない。使用される圧縮の型または使用される圧縮の差に応じて、ブリックウォールの周波数は、トラックごとに変動するか、または更に、一トラック中に一時的に消える可能性がある。カットオフ周波数についてのより低い値は、知覚的オーディオエンコーダ１０１がオリジナルのオーディオ信号（Ｚ）１００（図１）により攻撃的に作用したことを示唆する場合があり、したがって、入力信号（Ｘ）は、信号の高周波部の有意の部分を欠落し、オーディオ信号が再生された場合にリスナーによるより低い認識される品質をもたらす場合がある。代替的にまたは付加的に、帯域幅伸長トリートメントモジュール３０１は、知覚的オーディオエンコーダ１０１によって破棄されたカットオフ周波数を超える信号の欠落エネルギーと、保持された信号のエネルギーとの比の推定値を提供することができる。この比についてのより大きな値は、オリジナルのオーディオ信号（Ｚ）１００のより有意の部分が欠落し（破棄され）、したがって、入力信号（Ｘ）が、オーディオ信号が再生された場合にリスナーによるより低い認識される品質を有する場合があることを示唆する場合がある。

【0056】

別の例として、帯域内高調波フィルモジュール３０２（図３）は、中間（帯域内）高調波がどれほど頻繁に、破棄されており、また、オーディオ信号から欠落しているかという指示を提供することができる。代替的にまたは付加的に、帯域内高調波フィルモジュール３０２は、破棄された高調波のエネルギーの推定値を提供することができる。欠落している（破棄された）帯域内高調波エネルギーのレベルがより高いことは、入力信号（Ｘ）が、オーディオ信号が再生された場合にリスナーによるより低い認識される品質を有することを示すことができる。

【0057】

別の例として、リバーブフィルモジュール３０５は、入力信号（Ｘ）内の残響性エネルギーの尺度、並びに、知覚的オーディオエンコーダ１０１によって破棄された喪失残響性エネルギーの推定値を提供することができる。欠落する残響性エネルギーのレベルが高いことは、入力信号（Ｘ）が、オーディオ信号が再生された場合にリスナーによるより低い認識される品質を有することを示すことができる。

【0058】

更に別の例として、サウンドステージ拡張モジュール３０４（図３）は、欠落しているまたは喪失したサイド（左−右）エネルギー及び知覚的オーディオエンコーダ１０１によって破棄されたミッド（左＋右）エネルギーの量の推定値を提供することができる。代替的にまたは付加的に、サウンドステージ拡張モジュール３０４は、入力信号（Ｘ）の全体エネルギーに対する極端な左または右の信号成分のエネルギーの尺度を提供することができる。極端な左または右の信号エネルギーのレベルがより低いことは、複数の部分が入力信号１０４から欠落し、オーディオ信号が再生された場合にリスナーによるより低い認識される品質をもたらすことを示すことができる。

【0059】

別の例として、過渡変化強調モジュール３０３は、過渡変化がどれほど頻繁に入力信号（Ｘ）１０４において起こるかを示すことによってオーディオ信号の欠落部分の指示を提供することができる。別の例として、マスク式信号フィルモジュール３０６は、入力信号（Ｘ）を調査し、同時マスキング閾値を下回った信号成分がどれほど頻繁に、破棄され、したがって、オーディオ信号から欠落しているかという指示を提供することができる。信号成分が頻繁に欠落している（破棄される）場合、これは、入力信号（Ｘ）が、オーディオ信号が再生された場合にリスナーによるより低い認識される品質を有する場合があることを示すことができる。

【0060】

別の例として、高調波位相整列モジュール３０７（図３）は、入力信号（Ｘ）を調査し、高調波的に関連する信号成分がどれほど頻繁に位相整列しないかという指示を提供することができる。代替的にまたは付加的に、高調波位相整列モジュール３０７は、位相整列しない高調波成分のエネルギーの尺度を提供することができる。位相整列しない高調波成分のレベルがより高いことは、入力信号（Ｘ）１０４の複数の部分が喪失されることを示唆することができ、入力信号（Ｘ）１０４は、オーディオ信号が再生された場合にリスナーによるより低い認識される品質を有する場合がある。

【0061】

信号品質解析器９０２は、トリートメント要件インジケータを受信し、信号品質インジケータを導出する。代替的にまたは付加的に、信号品質解析器９０２は、メタデータバッファ９０５からメタデータを受信することができる。メタデータは、入力信号（Ｘ）の認識される品質の直接の指示を提供することができる。メタデータバッファ９０５に含まれるメタデータを、知覚的オーディオデコーダ１０３、オーディオ信号、または何らかの他のソースによって提供することができる。代替的に、メタデータを、信号品質解析器９０２に直接提供することができ、メタデータバッファ９０５を省略することができる。メタデータは、限定はしないが、カットオフ周波数（Ｆｘ）、知覚的オーディオエンコーダ１０１によって使用される現在の処理ブロックの長さ、入力信号（Ｘ）のビットレート、及び／または、入力信号（Ｘ）のサンプリングレートを含む入力信号の起源及び特性に関する情報を提供することができる。

【0062】

受信済みトリートメント要件インジケータ及び／またはメタデータの一方または両方を使用して、信号品質解析器９０２は、入力信号（Ｘ）の認識される全体品質の推定値を導出することができる。代替的にまたは付加的に、信号品質解析器９０２は、個々の信号トリートメントに関して入力信号の認識される品質の推定値を導出することができる。

【0063】

信号エンハンサモジュール１１０が入力信号（Ｘ）に適用する信号トリートメント３１０の相対エネルギーレベルは、入力信号及び／または入力信号のサンプル成分の相対品質に応じて変動する場合がある。例えば、入力信号（Ｘ）の品質が比較的良好である状況において、信号トリートメント３１０の相対エネルギーレベルは減少する場合がある。同様に、入力信号（Ｘ）の品質が比較的低い状況において、信号トリートメント３１０の相対エネルギーレベルは相応して増加する場合がある。トリートメントレベル調整器９０１は、トリートメント利得（ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、及びｇ７）３１５の１つまたは複数を増加または減少させることによって信号トリートメント３１０の相対エネルギーレベルを独立に変更することができる。代替的にまたは付加的に、トリートメントレベル調整器９０１は、全体トリートメント利得（ｇＴ）３２０を増加または減少させることによって信号トリートメント３１０の全体的な相対エネルギーレベルを変更することができる。

【0064】

トリートメントレベル調整器９０１は、信号品質解析器９０２から１つまたは複数の信号品質インジケータをパラメータとして受信することができる。トリートメントレベル調整器９０１は、入手可能な信号品質インジケータ９０３の１つまたは複数を使用して、個々のトリートメント利得（ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、及びｇ７）３１５のそれぞれについての適切な値、並びに、全体トリートメント利得（ｇＴ）３２０についての適切な値を独立に決定することができる。代替的にまたは付加的に、信号品質解析器１００２は、入力信号（Ｘ）の認識される品質の直接の指示を提供することができるメタデータを使用して、個々のトリートメント利得（ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、及びｇ７）３１５のそれぞれについての適切な値、並びに、全体トリートメント利得（ｇＴ）３２０についての適切な値を決定することができる。こうして、種々の信号トリートメント３１０のレベルを、入力信号（Ｘ）の要件に整合するよう自動的に調整することができる。

【0065】

幾つかの場合、入力信号（Ｘ）に関するメタデータが入手不能である場合がある。したがって、信号品質解析器９０２は、ストリームについてまたはトラックについてトリートメントレベルを自動的に再調整する圧縮検出及びトリートメントアルゴリズムを利用することができる。トリートメントアルゴリズムは、ギャップ検出器９０７、ラッチ９０８、及び自動タイマ９０９を含むことができる。ギャップ検出器９０７は、トラック間の無音のギャップ並びに新しいトラックまたはオーディオ信号の冒頭を識別するように構成することができる。ラッチ９０８は、或る条件が満たされるとき、個々のトリートメント利得（ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、及びｇ７）３１５及び全体トリートメント利得（ｇＴ）３２０を選択的にロックするように構成することができる。トラックが「圧縮済み」であると識別されると、種々の信号トリートメント３１０のレベルは、次のトラックまで、狭い範囲内にセット（すなわち、ラッチ）され、その範囲内のままである。これは、ポンピングまたは変動性サウンドを防止する。ギャップ検出器９０７がギャップ（例えば、ミュートまたはトラック変更）を検出する場合、信号品質解析器９０２は、ラッチ９０８をリセットし、種々の信号トリートメント３１０のレベルを何もなしにセットすることになる。オーディオが入力信号（Ｘ）内で再開すると、圧縮検出メカニズムは、圧縮（ブリックウォール）を再び探すことになる。

【0066】

自動タイマ９０９は、新しいストリームまたはトラックがギャップ検出器９０７によって検出されるとリセットし、トリートメント利得をその間に調整することができるオーディオの始めにおいて所定の時間量だけカウントダウンするように構成することができる。したがって、自動タイマ９０９は、オーディオストリームまたはトラックの中間において適用済みトリートメントのレベルの聞き取れる変化を回避するように構成することができる。幾つかの例において、所定の時間量（例えば、５秒）以内に圧縮が全く検出されないと、種々の信号トリートメント３１０のレベルは、次のギャップが検出されるまで、何もなしのままである場合がある。これは、高周波の突然の出現によるトラックの中間における予想しないスペクトル変化を回避する。

【0067】

トリートメントレベル調整器モジュール９０１は、同様に、個々のトリートメント利得及び全体トリートメント利得を決定するとき、他のパラメータを考慮することができる。そのため、例えば、そのパラメータに基づいてトリートメントレベル調整器モジュール９０１によって、個々のトリートメント利得の或る利得を減少することができ、また、個々のトリートメント利得の或る他の利得を増加することができる。こうしたパラメータは、生成されるオーディオ信号のジャンル等の入力信号のメタデータを含むことができ、それにより、ロックミュージックのジャンルの場合、過渡変化トリートメントレベル利得が増加されて、ドラムを強調することができ、クラシックミュージックのジャンルの場合、残響トリートメントレベル利得が増加されて、ミュージックホールの効果を強調することができる。別の例において、トリートメント利得を、入力信号がミュージックに対するトークであるとき調整することができる。任意の数のトリートメントレベル利得及びパラメータを、他の例において使用することができる。トリートメントレベル調整器モジュール９０１による利得調整は、同様に、ルールベースであるとすることができ、例えば、所定の閾値を超える残響の特性についてのトリートメントが存在するとき、過渡変化強調の特性についての利得を、例えば比に基づいて相応して減少することができる。ユーザ設定が、同様にトリートメントレベル調整器モジュール９０１に適用されて、或る動作条件または動作モード下で選択的に適用されるトリートメント利得の量をもたらす（ｅｆｆｅｃｔ）ことができる。

【0068】

図９ｂは、ストリームについてまたはトラックについてトリートメント利得の量を自動的に再調整する圧縮検出及びトリートメントアルゴリズムのプロセス９５０の例示的なブロック図である。プロセス９５０を、例えば、強調コントローラモジュール９００の信号エンハンサモジュール１１０の信号品質解析器９０２によって実施することができる。プロセス９５０が使用されて、入力信号（Ｘ）の品質に関するメタデータ情報が全く入手可能でなくても、信号品質解析器９０２が、個々のトリートメント利得（ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、及びｇ７）３１５及び全体トリートメント利得（ｇＴ）３２０を、入力信号（Ｘ）の圧縮レベルにとって適切なレベルに自動的にセットすることを可能にすることができる。一例において、圧縮検出を実施するため、信号品質解析器９０２は、５１２または１０２４ポイントＦＦＴ後に周波数ビンに作用することができる。以下の例は、１０２４ポイントＦＦＴ及び４４．１ｋＨｚサンプリングレートを仮定するが、他のポイントレベルＦＦＴ及びサンプリングレートを同様に利用することができることが留意されるべきである。

【0069】

一般に、プロセス９５０は、被監視情報が高速でかつ最新であるように直接のＦＦＴ入力から任意のビンの幅広い集合体をサンプリングすることができ、また、この情報を一定ギャップ閾値と比較することができる。平均エネルギーが所定の閾値より小さい場合、プロセス９５０は、ミュートまたはトラック変更に対して入力信号（Ｘ）を判定することができる。そうでなければ、プロセス９５０は、ビンエネルギーのナイキスト周波数から見直すことに進んで、候補周波数においてエネルギーの有意の上昇が存在するかどうかを確かめる。プロセス９５０は、上昇の一番上を正確に示し、このポイントを幾つかの測定のために使用しようと試みることができる。このポイントを超えるとノイズフロアと考えられ、このポイントを下回ると信号フロアと考えられる。プロセス９５０は、候補カットオフ周波数に関して幾つかのチェックを実施して、候補カットオフ周波数がブリックウォールに十分に似ているように見えるかどうか、候補カットオフ周波数を超えて起こる有意な情報が存在しないかどうか、また、候補カットオフ周波数が、高周波数におけるランダムでまぐれ当たりの高調波またはスパイクだけではないかどうかを確かめることができる。候補カットオフ周波数は、全てのテストを切抜ける場合、或る列内の少なくとも所定の数のフレーム（例えば、一例では、連続する２０のフレーム）についてテストを全てパスしなければならない。この時点で、入力信号（Ｘ）のトリートメントは、漸増し始めることができる。トリートメントは、カットオフ周波数に比例し、それにより、より低いカットオフは、より多くのトリートメントが入力信号（Ｘ）に適用されることを意味する。トリートメントのレベルは、トラックが終了する（または、ミュートされる）まで持続する（ｐｅｒｓｉｓｔ）ことができる。新しいカットオフ周波数は、新しいカットオフ周波数が所定のパーセンテージより大きな値だけ異なり（例えば、少なくとも５％異なり）かつより大きなブリックウォール高さを有すると判定される場合等、種々の条件下で、直前に決定されたカットオフ周波数に取って代わることができる。これらの条件は、したがって、絶えず変動するトリートメントレベルによる望ましくないアーチファクトを防止することができる。

【0070】

より具体的には、オペレーション９５２にて、信号品質解析器９０２は、圧縮検出及びトリートメントアルゴリズムを始動する。例えば、信号品質解析器９０２は、ラッチ９０８をリセットし、個々のトリートメント利得３１５及び全体トリートメント利得３２０を利得なしにセットし、自動タイマ９０９を同様にリセットすることができる。信号品質解析器９０２は、有効オーディオのフレームを更に待つことができる。この監視は、例えば、入力信号（Ｘ）の２００Ｈｚ〜４ｋＨｚ領域内の任意のビンのセットの瞬時値を見ることによって実施することができる。信号品質解析器９０２は、これらのビンの平滑化済み総和が所定の一定レベルのエネルギーを超えることを確認して、新しいトラックまたはストリームが始まったと判定することができる。オーディオが始まった場合、コントロールはオペレーション９５４に進む。

【0071】

オペレーション９５４にて、信号品質解析器９０２は自動タイマ９０９を増分する。一例において、自動タイマ９０９は、トリートメント利得３１５、３２０に対する自動調整を、その間に実施することができるトラックまたはオーディオの始まりにおいて時間量を指定することができる。自動タイマ９０９が満了すると、次のギャップが検出されるまで、更なる自動調整は実施されない場合がある。信号品質解析器９０２は、ギャップが検出された後の有効オーディオの各フレームについて、オペレーション９５４にて自動タイマ９０９（使用可能である場合）を増分することができる。

【0072】

オペレーション９５６にて、信号品質解析器９０２は、入力信号（Ｘ）について候補カットオフ周波数を検出する。一例において、信号品質解析器９０２は、周波数ビンを、１９ｋＨｚから最低８ｋＨｚまでスキャンして、信号エネルギーの有意の上昇（例えば、１ＦＦＴ周波数ビンの空間におけるエネルギーの少なくとも４倍の上昇）を突止める（ｌｏｃａｔｅ）。信号エネルギーの上昇が見出される場合、信号品質解析器９０２は、エネルギーが上昇するのを停止する（例えば、エネルギーが、ビン当たり１０％より大きいレートで上昇するのを停止する）ビンを更に突止めることができる。エネルギーが上昇するのを停止するこのビンを、候補ＢｉｎＸまたはカットオフ周波数と呼ぶことができる。

【0073】

オペレーション９５８にて、信号品質解析器９０２は、カットオフ周波数を超える入力信号（Ｘ）の周波数がカットオフを確認するかどうかを判定する。１０２４ポイントＦＦＴを使用する例において、信号品質解析器９０２は、ＢｉｎＸカットオフ周波数を超える１１ビンで始まる周波数ビンを最高１９ｋＨｚまでスキャンして、ノイズフロアが何か情報を保持するかどうかを判定する。ノイズフロアが情報を保持する場合、それは、カットオフが真の圧縮誘起性ブリックウォールでないことを示す場合がある。より特定的な例として、ノイズフロアが、２つの連続するビン内で５％より大きく上昇する場合、ＢｉｎＸカットオフ周波数候補は落ちる。候補がパスする場合、コントロールはオペレーション９６８に進んで、候補ブリックウォール周波数を評価し続ける。候補が落ちると、コントロールはオペレーション９６０に進む。

【0074】

オペレーション９６０にて、信号品質解析器９０２は、候補カットオフ周波数に整合するフレーム数を何もなしにリセットする。オペレーション９６２にて、信号品質解析器９０２は、自動タイマ９０９が満了したかどうかを判定し、更なる自動調整が実施されない場合がある。自動タイマ９０９が満了しなかった場合、コントロールはオペレーション９５４に進んで、オーディオを処理し続ける。自動タイマ９０９が満了した場合、コントロールはオペレーション９６６に進んで、次のオーディオトラックまたはサウンドを識別するギャップを待つ。ギャップ検出は、オペレーション９５２に関して上述したオーディオ検出と同様に実施することができ、それにより、或るビンが所定の一定レベルのエネルギーをもはや超えないとき、信号品質解析器９０２は、ギャップを識別することができる。ギャップが検出されると、コントロールはオペレーション９６６からオペレーション９５２に進んで、自動トリートメントレベル決定プロセスを再開する。

【0075】

オペレーション９６８にて、信号品質解析器９０２は、カットオフ周波数未満の入力信号（Ｘ）の周波数がカットオフを確認するかどうかを判定する。１０２４ポイントＦＦＴを使用する例において、信号品質解析器９０２は、ＢｉｎＸ−１で始まる周波数ビンを最低ＢｉｎＸ−１００までスキャンして、５倍より大きいエネルギー低下を突止める。こうしたエネルギー低下が突止められる場合、候補ＢｉｎＸは、おそらくは、狭い高調波スパイクに過ぎず、真のブリックウォールではない場合があり、候補は落ちる。候補が、候補周波数未満のエネルギー低下を検出することなくパスする場合、コントロールはオペレーション９７０に進む。候補が落ちると、コントロールはオペレーション９６０に進む。

【0076】

オペレーション９７０にて、信号品質解析器９０２は、入力信号（Ｘ）が有効オーディオを含むかどうかを判定する。これは、例えば、全体信号エネルギーが、ブリックウォール検出を意味あるものにするのに十分な所定の閾値を超えることを保証するために実施することができる。多くの例において、十分なエネルギーの検出は、オペレーション９５２で実施される決定と同様または同一であって、検出済みギャップの端を示す入力信号（Ｘ）内でオーディオを識別することができる。入力信号（Ｘ）が有効性テストにパスした場合、コントロールはオペレーション９７２に進む。そうでなければ、コントロールはオペレーション９６０に進む。

【0077】

オペレーション９７２にて、信号品質解析器９０２は、候補ブリックウォールの高さ及び急峻度が所定の閾値を超えるかどうかを判定する。一例において、信号品質解析器９０２は、候補ブリックウォールが、次のビンの同程度のエネルギーの少なくとも２．５倍のエネルギーを有することを保証することによって急峻度を確認することができる。信号品質解析器９０２は、現在の候補ブリックウォールが、同じオーディオトラックについて過去に確認済みのどの候補ブリックウォールとも少なくとも同じほど高いことを保証することによって高さを確認することができる。候補がパスする場合、コントロールはオペレーション９７４に進む。候補が落ちる場合、コントロールはオペレーション９６０に進む。

【0078】

オペレーション９７４にて、信号品質解析器９０２は、整合フレームカウントを増分する。したがって、整合フレームカウントは、ＢｉｎＸにおいて現在の候補ブリックウォールについての全ての基準を成功裡に満たしたフレーム数を示すことができる。

【0079】

オペレーション９７６にて、信号品質解析器９０２は、整合フレームカウントが所定の閾値カウントに達したかどうかを判定する。一例において、所定の閾値カウントは、２０の連続するフレームであるとすることができる。整合フレームカウントが所定の閾値カウントに達した場合、候補を、正しいと考えることができ、コントロールはオペレーション９７８に進むことができる。そうでなければ、コントロールはオペレーション９６２に進む。

【0080】

オペレーション９７８にて、信号品質解析器９０２は、ラッチ９０８がセットされたかどうかを判定する。ラッチ９０８は、例えば、過去の候補ブリックウォールの早期の成功裡の決定によって、前もってセットされている場合がある。ラッチ９０８がセットされていない場合、コントロールはオペレーション９８０に進む。ラッチ９０８が既にセットされている場合、コントロールはオペレーション９８４に進む。

【0081】

オペレーション９８０にて、信号品質解析器９０２はラッチ９０８をセットし、オペレーション９８２にて、信号品質解析器９０２は、ブリックウォールＢｉｎＸの周波数に従ってトリートメント利得３１５及び全体トリートメント利得３２０をセットする。一例において、トリートメントレベルは、ブリックウォール周波数に基づくパーセンテージである（すなわち、より低いカットオフ周波数はより高いレベルのトリートメントを実現する）。トリートメントを、このパーセンテージに等しい強度でオリジナルのオーディオストリームと混合することができるように、トリートメント利得３１５をセットすることができ、組合せ式出力についての全体トリートメント利得３２０を、トリートメントレベルに対してスケーリングすることができる。すなわち、より高いトリートメント値は、より低いトリートメント値に比べて多くのスケーリングを受け、また、圧縮されないオーディオはスケーリングされない。したがって、ラッチ９０８がセットされると、トリートメント利得３１５、３２０は、ブリックウォール周波数に従って決定されるレベルに固定される。オペレーション９８２の後、コントロールはオペレーション９６０に進んで、オーディオについてブリックウォール検出を継続する。

【0082】

オペレーション９８４にて、信号品質解析器９０２は、候補ブリックウォールが、そのトラックについて前もって確立したカットオフ周波数より高いかどうか、または同様に、候補ブリックウォールが、前もって確立したカットオフ周波数の所定の閾値周波数内にあるかどうかを判定する。一例において、プロセス９５０は、自動タイマ９０９が満了していない限り継続するため、自動タイマ９０９が満了する前に、よりよいブリックウォールが検出される場合、そのよりよいブリックウォールを、代わりに、トリートメント利得３１５、３２０をラッチするために使用することができる。一例において、よりよいブリックウォールは、過去のカットオフ周波数に比べて高いブリックウォール高さであり、過去のカットオフ周波数に取って代わるため周波数が５％より大きく異なることを必要とされる場合がある。

【0083】

ディスプレイモジュール９０６は、入力信号（Ｘ）、出力信号（Ｙ）の品質の視覚表現、並びに、信号エンハンサモジュール１１０の性能及び／または動作の異なる態様を提供することができる。図９に示すように、ディスプレイモジュール９０６は、信号トリートメント（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、及びＳＴ７）３１０の１つまたは複数を受信し表示することができる。例えば、ディスプレイモジュール９０６は、帯域幅伸長モジュール３０１によって信号トリートメントＳＴ１を表示することができる。この場合、ディスプレイモジュール９０６は、帯域幅伸長モジュール３０１によって生成されたカットオフ周波数（Ｆｘ）を超える新しい信号成分のスペクトル表現の視覚ディスプレイを生成することができる。代替的にまたは付加的に、ディスプレイモジュール９０６は、適用される信号トリートメント３１０の全てを含む出力信号（Ｙ）のスペクトルまたは時間領域表現を表示することができる。代替的にまたは付加的に、ディスプレイモジュール９０６は、信号品質解析器９０２から１つまたは複数の信号品質インジケータを受信することができる。ディスプレイモジュール９０６は、次に、入力信号（Ｘ）の品質の視覚表現を生成することができる。ディスプレイモジュール９０６はまた、入力信号（Ｘ）に適用される信号トリートメント３１０の全体レベルの視覚表現を生成することができる。ディスプレイモジュール９０６はまた、出力信号（Ｙ）の品質の視覚表現を生成することができる。そのため、ディスプレイを観察するユーザは、入力信号（Ｘ）の品質、及び同様に、トリートメント信号が適用される程度またはレベルの視覚指示を提供される場合がある。

【0084】

図１０は、帯域幅強調の信号トリートメントがその中で指示される出力信号（Ｙ）の例示的なディスプレイである。図１０において、約１２ｋＨｚのカットオフ周波数を超えると、入力信号（Ｘ）１００２の一部分は、−１２０〜−１５０ｄＢの範囲内にある入力信号（Ｘ）１００２の部分によって示されるように、直前の符号化中に破棄されている。帯域幅伸長モジュール３０１は、欠落しているかまたは喪失したオーディオ信号の部分を識別し、同じ周波数範囲にわたって信号トリートメント１００４を提供することができる。信号トリートメント１００４は、入力信号（Ｘ）１００２の未トリートメント部分に適用される可能性がある。したがって、ユーザは、ディスプレイを観察し、未トリートメント出力信号がどのように見えたであろうかという品質の指示だけでなく、信号エンハンサシステム１１０によって提供されるトリートメントのレベル及び程度の指示もまた提供される可能性がある。他の例において、他の形態のディスプレイが生成されて、適用される１つまたは複数のトリートメントのうちの任意のトリートメントを指示することができる。

【0085】

図１１ａ及び１１ｂは、帯域幅伸長モジュール３０１の動作の例示的な結果を示す。図１１ａは、オーディオ信号が知覚的オーディオコーデックによって圧縮される前及び圧縮された後のオーディオ信号の短いブロックのスペクトル図（周波数領域）を示す。オリジナルの信号の曲線が示され、有意の信号エネルギーがナイキスト周波数まで継続することが見てわかる。圧縮済みオーディオ信号曲線は、この同じ信号であって、知覚的オーディオコーデックによって圧縮された後の、この同じ信号を示す。図１１ａにおいて、或るカットオフ周波数（Ｆｘ）を超えると、信号成分が破棄されており、残っているものが、単に低レベルノイズであることが見てわかる。

【0086】

図１１ｂは、圧縮済みオーディオ信号が帯域幅伸長モジュール３０１によって処理される前及び処理された後の圧縮済みオーディオ信号の短いブロックの例のスペクトル図を示す。ここで、圧縮済みオーディオ信号は、カットオフ周波数（Ｆｘ）を超える信号成分が破棄された状態で示される。同じ圧縮済みオーディオ信号であって、帯域幅伸長モジュール３０１によって処理された後の、同じ圧縮済みオーディオ信号の曲線が図１１ｂに含まれる。新しい信号成分がカットオフ周波数（Ｆｘ）を超えて生成されたことが見てわかる。これらの新しい信号成分は、カットオフ（Ｆｘ）未満の信号成分の少なくとも一部に基づいて及び／またはそれを使用して生成された。

【0087】

図１２ａ及び１２ｂは、過渡変化強調モジュール３０３の例示的な動作を示す。図１２ａは、過渡変化信号成分の時間領域図を示す。図１２ａの上側パネルはオリジナルの信号を示す。開始信号が、ほぼ無音であり、所定の期間にわたって減衰する鮮明な過渡変化信号がそれに続くことが見てわかる。図１２ａの下側パネルは、同様の過渡変化信号成分であって、知覚的オーディオコーデックによって圧縮された後の、同様の過渡変化信号成分を示す。過渡変化がもはや鮮明に規定されないことが見てわかる。更に、圧縮済みオーディオ信号は、ここでは、実際の過渡変化の前に到達するエネルギーを有する。これは、先に述べた、いわゆる「プリエコー（ｐｒｅ−ｅｃｈｏ）」の例である。

【0088】

図１２ｂは、例示的な過渡変化信号成分が過渡変化強調モジュール３０３によって処理される前及び処理された後の例示的な過渡変化信号成分の時間領域図を示す。図１２ｂの上側パネルは、所定の期間にわたって多数の過渡変化を有する圧縮済みオーディオ信号を示す。過渡変化が信号内でそれほど顕著でないことが見てわかる。図１２ｂの下側パネルは、同じ過渡変化信号であって、過渡変化強調モジュール３０３によって処理された後の、同じ過渡変化信号を示し、個々の過渡変化の冒頭は、ここでは、鮮明に規定され、容易に目に見える。

【0089】

図１３は、例示的なコンピューティングシステム１３００である。コンピュータシステム１３００は、命令のセットを含むことができ、命令のセットは、実行されて、コンピュータシステム１３００に、述べる方法またはコンピュータベース機能の任意の１つまたは複数を実施させる可能性がある。コンピュータシステム１３００は、独立型デバイスとして動作する場合がある、別のデバイスの一部である場合がある、または、ネットワーク等を使用して他のコンピュータシステムまたは周辺デバイスに接続される場合がある。

【0090】

ネットワーク化配備において、コンピュータシステム１３００は、サーバの能力内で、或は、サーバクライアントユーザネットワーク環境内のクライアントユーザコンピュータとして、ピア・トゥ・ピア（または分散）ネットワーク環境内のピアコンピュータシステムとして、または種々の他の方法で動作することができる。コンピュータシステム１３００はまた、例えば、乗物内のテレマティクスシステム等の種々のデバイスとして実装されるまたは種々のデバイスに組込まれる可能性がある。他の例において、任意の他の機械であって、その機械がとる行動を指定する命令のセットを（シーケンシャルにまたはその他の方法で）実行することが可能な、任意の他の機械を使用することができる。コンピュータシステム１３００は、音声、オーディオ、ビデオ、またはデータ通信を提供する電子デバイスを使用して実装することができる。単一コンピュータシステム１３００が示されるが、用語「システム（ｓｙｓｔｅｍ）」は、１つまたは複数のコンピュータ機能を実施するため、命令のセットまたは複数のセットを個々にまたは連携して実行するシステムまたはサブシステムの任意の集合体を含むことができる。

【0091】

コンピュータシステム１３００は、中央処理ユニット（ＣＰＵ）等のプロセッサ１３０２、グラフィクス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、或は、異なるまたは同じプロセッサの何らかの組合せを含むことができる。プロセッサ１３０２は、種々のシステム内のコンポーネントであるとすることができる。例えば、プロセッサ１３０２は、乗物内のヘッドユニットまたは増幅器の一部であるとすることができる。プロセッサ１３０２は、１つまたは複数の汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、デジタル回路、アナログ回路、その組合せ、或は、データを解析し処理するための現在知られているかまたは後で開発される他のデバイスであるとすることができる。プロセッサ１３０２は、手作業で生成されるかまたはプログラムされるコード等のソフトウェアプログラムを実装することができる。

【0092】

プロセッサ１３０２は、システムの少なくとも一部分を動作させ制御することができる。用語「モジュール（ｍｏｄｕｌｅ）」を、１つまたは複数の実行可能なモジュールを含むと定義することができる。モジュールは、プロセッサ１３０２等のプロセッサによって実行可能な、ソフトウェア、ハードウェア、ファームウェア、またはその何らかの組合せを含むことができる。ソフトウェアモジュールは、メモリ１３０４等のメモリまたは別のメモリデバイスに記憶された命令を含むことができ、その命令は、プロセッサ１３０２または他のプロセッサによって実行可能であるとすることができる。ハードウェアモジュールは、プロセッサ１３０２が実施するため、実行可能である、指令される、または制御される、種々のデバイス、コンポーネント、回路、ゲート、回路基板等を含むことができる。

【0093】

コンピュータシステム１３００は、バス１３０８を介して通信することができるメモリ１３０４等のメモリ１３０４を含むことができる。メモリ１３０４は、主メモリか、スタティックメモリか、またはダイナミックメモリであるとすることができる。メモリ１３０４は、種々の型の揮発性及び不揮発性記憶媒体等のコンピュータ可読記憶媒体を含むことができるが、それに限定されず、コンピュータ可読記憶媒体は、ランダムアクセスメモリ、読出し専用メモリ、プログラマブルな読出し専用メモリ、電気的にプログラマブルな読出し専用メモリ、電気的に消去可能な読出し専用メモリ、フラッシュメモリ、磁気テープまたはディスク、光媒体等を含むが、それに限定されない。一例において、メモリ１３０４は、プロセッサ１３０２用のキャッシュまたはランダムアクセスメモリを含む。代替の例において、メモリ１３０４は、プロセッサのキャッシュメモリ、システムメモリ、または他のメモリ等、プロセッサ１３０２と別個であるとすることができる。メモリ１３０４は、データを記憶するため外部記憶デバイスまたはデータベースを含むことができる。例は、ハードドライブ、コンパクトディスク（「ＣＤ」）、デジタルビデオディスク（「ＤＶＤ」）、メモリカード、メモリスティック、フロッピー（登録商標）ディスク、ユニバーサルシリアルバス（「ＵＳＢ」）メモリデバイス、またはデータを記憶するように働く任意の他のデバイスを含む。

【0094】

コンピュータシステム１３００は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、固体ディスプレイ、陰極線管（ＣＲＴ）、プロジェクタ等のメモリ１３０４、或は、決定された情報を出力するための現在知られているかまたは後で開発される他のディスプレイデバイスを更に含む場合がある、または含まない場合がある。ディスプレイ１３１０は、ユーザがプロセッサ１３０２の機能を制御するためのインタフェースとして、または特にメモリ１３０４に記憶されるソフトウェアとのインタフェースとして働くことができる。

【0095】

コンピュータシステム１３００は、ユーザが、コンピュータシステムのコンポーネントのうちの任意のコンポーネントと相互作用することを可能にするよう構成される入力デバイス１３１２を含むことができる。入力デバイス１３１２は、音声コマンドを受信するマイクロフォン、キーパッド、キーボード、または、マウスまたはジョイスティック等のカーソル制御デバイス、タッチスクリーンディスプレイ、リモートコントロール、或は、コンピュータシステム１３００と相互作用するように働く任意の他のデバイスであるとすることができる。システムのユーザは、例えば、システム及び／またはテレマティクスシステムによって考慮される基準または条件を入力することができる。

【0096】

コンピュータシステム１３００は、命令を含むコンピュータ可読媒体を含むことができ、または、ネットワーク１３２６に接続されたデバイスがネットワーク１３２６を通じて音声、ビデオ、オーディオ、画像、または任意の他のデータを通信できるように伝搬信号に応答して命令を受信し実行する。命令を、ネットワーク１３２６を通じて通信ポートまたはインタフェース１３２０を介して、或はバス１３０８を使用して送受信することができる。通信ポートまたはインタフェース１３２０は、プロセッサ１３０２の一部である場合がある、または、別個のコンポーネントである場合がある。通信ポート１３２０は、ソフトウェアで作成される場合がある、または、ハードウェアの物理的接続である場合がある。通信ポート１３２０は、ネットワーク１３２６、外部媒体、ディスプレイ１３１０、またはコンピュータシステム１３００内の任意の他のコンポーネント、或は、その組合せと接続するように構成することができる。ネットワーク１３２６との接続は、有線イーサネット（登録商標）接続等の物理的接続である場合がある、または、無線で確立される場合がある。コンピュータシステム１３００の他のコンポーネントとの更なる接続は、物理的接続である場合がある、または、無線で確立される場合がある。ネットワーク１３２６を、代替的に、バス１３０８に直接接続することができる。

【0097】

ネットワーク１３２６は、有線ネットワーク、無線ネットワーク、イーサネット（登録商標）ＡＶＢネットワーク、またはその組合せを含むことができる。無線ネットワークは、携帯電話ネットワーク、８０２．１１、８０２．１６、８０２．２０、８０２．１Ｑ、またはＷｉＭａｘネットワークであるとすることができる。更に、ネットワーク１３２６は、インターネット等のパブリックネットワーク、イントラネット等のプライベートネットワーク、またはその組合せであるとすることができ、限定はしないが、ＴＣＰ／ＩＰベースネットワーク化プロトコルを含む現在利用可能であるかまたは後で開発される種々のネットワーク化プロトコルを利用することができる。システムの１つまたは複数のコンポーネントは、ネットワーク１３２６によってまたはネットワーク１３２６を通して互いに通信することができる。

【0098】

例示的な実施形態が上述されたが、これらの実施形態が本発明の考えられる全ての形態を述べることが意図されない。むしろ、本明細書で使用される単語は、制限ではなく説明の単語であり、種々の変更を、本発明の精神及び範囲から逸脱することなく行うことができることが理解される。更に、種々の実装用の実施形態の特徴が組合されて、本発明の更なる実施形態を形成することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9a】

【図9b】

【図10】

【図11】

【図12】

【図13】