▶ フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-18
(45)【発行日】2024-10-28
(54)【発明の名称】ダウンスケールされた復号化
(51)【国際特許分類】
G10L 19/022 20130101AFI20241021BHJP
G10L 19/02 20130101ALI20241021BHJP
【ＦＩ】
G10L19/022
G10L19/02 170B
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2023139245
(22)【出願日】2023-08-29
(62)【分割の表示】P 2023122204の分割
【原出願日】2016-06-10
(65)【公開番号】P2023164893
(43)【公開日】2023-11-14
【審査請求日】2023-09-28
(31)【優先権主張番号】15172282.4
(32)【優先日】2015-06-16
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】15189398.9
(32)【優先日】2015-10-12
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】591037214
【氏名又は名称】フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(72)【発明者】
【氏名】シュネル マルクス
(72)【発明者】
【氏名】ルツキ マンフレード
(72)【発明者】
【氏名】フォトプゥルゥ エレニ
(72)【発明者】
【氏名】シュミット コンスタンティン
(72)【発明者】
【氏名】ベンドルフ コンラート
(72)【発明者】
【氏名】トマセク エイドリアン
(72)【発明者】
【氏名】アルベルト トビアス
(72)【発明者】
【氏名】ザイドル タイモン
【審査官】大野 弘
(56)【参考文献】
【文献】特開２０１４－０１３４０８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １９／０２２
Ｇ１０Ｌ １９／０２
(57)【特許請求の範囲】
【請求項1】
オーディオ信号が第２のサンプリング・レートで変換符号化されているデータストリーム（２４）から、第１のサンプリング・レートで前記オーディオ信号（２２）を復号化するように構成されるオーディオデコーダ（１０）であって、前記第１のサンプリング・レートは、前記第２のサンプリング・レートの１／Ｆであり、前記オーディオデコーダ（１０）は、前記オーディオ信号の長さＮのフレームごとに、Ｎ個のスペクトル係数（２８）を受信するように構成されたレシーバ（１２）と、
各フレームについて、前記Ｎ個のスペクトル係数（２８）から長さＮ／Ｆの低周波数部分をグラブアウトするように構成されたグラバー（１４）と、
各フレーム（３６）について、前記低周波数部分を、それぞれのフレームおよびＥ＋１個の先行するフレームに時間的に広がる長さ（Ｅ＋２）・Ｎ／Ｆの変調関数を有する逆変換を実行して長さ（Ｅ＋２）・Ｎ／Ｆの時間的部分を得るように構成されたスペクトル時間モジュレータ（１６）と、
各フレーム（３６）について、その先端に長さ１／４・Ｎ／Ｆのゼロ部分を含み、合成ウィンドウの時間的間隔の範囲内においてピークを有する、長さ（Ｅ＋２）・Ｎ／Ｆの前記合成ウィンドウを使用して、前記時間的部分をウィンドウ化するように構成されたウィンドウ化器（１８）であって、前記時間的間隔は前記ゼロ部分に後続し、且つ長さが７／４・Ｎ／Ｆであって、前記ウィンドウ化器が、長さ（Ｅ＋２）・Ｎ／Ｆのウィンドウ化された時間的部分を得る、ウィンドウ化器（１８）と、
現在のフレームの前記ウィンドウ化された時間的部分の長さ（Ｅ＋１）／（Ｅ＋２）の終端部分が、先行するフレームの前記ウィンドウ化された時間的部分の長さ（Ｅ＋１）／（Ｅ＋２）の先端と重なるように、前記フレームの前記ウィンドウ化された時間的部分を重畳加算処理するように構成された時間領域エイリアシング・キャンセラー（２０）と、
を備え、
ここで、前記逆変換は逆ＭＤＣＴまたは逆ＭＤＳＴであり、
前記合成ウィンドウは、長さ（Ｅ＋２）・Ｎの参照合成ウィンドウの、長さ１／４・Ｎのセグメントにおけるセグメント補間によって、係数Ｆでダウンサンプリングされた、ダウンサンプリングされたバージョンであり、
前記レシーバは、前記データストリーム（２４）内で伝送されるＴＮＳ係数を使用したＴＮＳ（時間ノイズ整形）合成フィルタを適用するように構成される、
オーディオデコーダ。
【請求項2】
前記合成ウィンドウは、長さ１／４・ＮＦのスプライン関数の連結である、請求項１に記載のオーディオデコーダ。【請求項3】
前記合成ウィンドウは、長さ１／４・ＮＦの３次スプライン関数の連結である、請求項１または請求項２に記載のオーディオデコーダ。【請求項4】
Ｅ＝２である、請求項１ないし請求項３のいずれかに記載のオーディオデコーダ。【請求項5】
前記逆変換は逆ＭＤＣＴである、請求項１ないし請求項４のいずれかに記載のオーディオデコーダ。【請求項6】
前記オーディオデコーダ（１０）は、記憶装置から前記補間を実行するように、または、前記合成ウィンドウを導出するように構成される、請求項１ないし請求項５のいずれかに記載のオーディオデコーダ。【請求項7】
前記オーディオデコーダ（１０）は、Ｆについて異なる値をサポートするように構成される、請求項１ないし請求項６のいずれかに記載のオーディオデコーダ。【請求項8】
Ｆは１．５以上１０以下である、請求項１ないし請求項７のいずれかに記載のオーディオデコーダ。【請求項9】
前記参照合成ウィンドウはユニモーダルである、請求項１ないし請求項８のいずれかに記載のオーディオデコーダ。【請求項10】
前記オーディオデコーダ（１０）は、前記合成ウィンドウの前記係数の過半数が前記参照合成ウィンドウの２つ以上の係数に依存するように、前記補間を実行するように構成される、請求項１ないし請求項９のいずれかに記載のオーディオデコーダ。【請求項11】
前記オーディオデコーダ（１０）は、セグメントの境界から係数２つ以上離間している前記合成ウィンドウの各係数が前記参照合成ウィンドウの２つ以上の係数に依存するように、前記補間を実行するように構成される、請求項１ないし請求項１０のいずれかに記載のオーディオデコーダ。【請求項12】
前記ウィンドウ化器が前記合成ウィンドウを使用して前記時間的部分に重み付けする際に前記ゼロ部分をスキップし、且つ前記時間領域エイリアシング・キャンセラー（２０）が、前記重畳加算処理において前記ウィンドウ化された時間的部分の対応する非重み付け部分を無視して、Ｅ＋１個のウィンドウ化された時間的部分のみが合計されて、結果として対応するフレームの前記対応する非重み付け部分とＥ＋２個のウィンドウ化された部分が前記対応するフレームの残りと合計されるように、前記ウィンドウ化器（１８）と前記時間領域エイリアシング・キャンセラーが協働する、請求項１ないし請求項１１のいずれかに記載のオーディオデコーダ。【請求項13】
オーディオ信号が第２のサンプリング・レートで変換符号化されているデータストリーム（２４）から、第１のサンプリング・レートで前記オーディオ信号（２２）を復号化するための方法であって、前記第１のサンプリング・レートは、前記第２のサンプリング・レートの１／Ｆであり、前記方法は、前記オーディオ信号の長さＮのフレームごとに、Ｎ個のスペクトル係数（２８）を受信するステップと、
各フレームについて、前記Ｎ個のスペクトル係数（２８）から長さＮ／Ｆの低周波数部分をグラブアウトするステップと、
長さ（Ｅ＋２）・Ｎ／Ｆの時間的部分を得るために、各フレーム（３６）について、前記低周波数部分をそれぞれのフレームおよびＥ＋１個の先行するフレームに時間的に広がる長さ（Ｅ＋２）・Ｎ／Ｆの変調関数を有する逆変換を実行することによってスペクトル時間変調を実行するステップと、
各フレーム（３６）について、その先端に長さ１／４・Ｎ／Ｆのゼロ部分を含み、合成ウィンドウの時間的間隔の範囲内においてピークを有する、長さ（Ｅ＋２）・Ｎ／Ｆの前記合成ウィンドウを使用して、前記時間的部分をウィンドウ化するステップであって、前記時間的間隔は、前記ゼロ部分に続き、且つ、長さ７／４・Ｎ／Ｆであって、長さ（Ｅ＋２）・Ｎ／Ｆのウィンドウ化された時間的部分が得られる、ウィンドウ化するステップと、
現在のフレームの前記ウィンドウ化された時間的部分の長さ（Ｅ＋１）／（Ｅ＋２）の終端部分が、先行するフレームの前記ウィンドウ化された時間的部分の長さ（Ｅ＋１）／（Ｅ＋２）の先端と重なるように、前記フレームの前記ウィンドウ化された時間的部分を重畳加算処理することによって時間領域エイリアシングのキャンセルを実行するステップと、
を含み、
ここで、前記逆変換は逆ＭＤＣＴまたは逆ＭＤＳＴであり、
前記合成ウィンドウは、長さ１／４・Ｎのセグメントにおけるセグメント補間によって係数Ｆでダウンサンプルされた、長さ（Ｅ＋２）・Ｎの参照合成ウィンドウのダウンサンプルされたバージョンであり、
前記Ｎ個のスペクトル係数（２８）を得るために、前記データストリーム（２４）で送信されるＴＮＳ係数を使用するＴＮＳ（時間ノイズ整形）合成フィルタが使用される、
方法。
【請求項14】
コンピュータ上で動作する場合に、請求項１３に記載の方法を実行するためのプログラムコードを有する、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、ダウンスケールされた復号化の概念に関する。
【背景技術】
【0002】
ＭＰＥＧ－４拡張 低遅延ＡＡＣ（ＭＰＥＧ－４ Ｅｎｈａｎｃｅｄ Ｌｏｗ Ｄｅｌａｙ；ＡＡＣ－ＥＬＤ）は、通常、最高４８ｋＨｚのサンプル・レートで処理され、１５ｍｓのアルゴリズムの遅延を結果として得る。いくつかのアプリケーション、たとえば、オーディオの同期録音の伝送のために、さらに低い遅延が望ましい。ＡＡＣ－ＥＬＤは、既に、より高いサンプル・レート、たとえば、９６ｋＨｚで処理することによってすでにこの種のオプションを提供する。したがって、処理モードにさらにより低い遅延、たとえば、７．５ｍｓを提供する。しかしながら、この処理モードは、高いサンプル・レートのため、不必要に高い複雑さによって進行する。
【0003】
この課題の解決は、フィルタ・バンクのダウンスケールされたバージョンを適用して、したがって、より低いサンプル・レート、たとえば、９６ｋＨｚの代わりに４８ｋＨｚでオーディオ信号をレンダーリングすることである。ダウンスケールする処理は、すでに、ＭＰＥＧ－４ ＡＡＣ－ＬＤコーデックから継承されて、すでに、そのままＡＡＣ－ＥＬＤの部分であり、ＡＡＣ－ＥＬＤの基礎として役立つ。
【0004】
しかしながら、残る問題は、どのように、特定のフィルタ・バンクのダウンスケールされたバージョンを見つけるのかということである。すなわち、ＡＡＣ－ＥＬＤデコーダのダウンスケール処理モードの明確な一致テストを可能にする間、唯一の不確定度は、ウィンドウ係数が導出される方法である。
【0005】
以下において、ＡＡＣ－（Ｅ）ＬＤコーデックのダウンスケールされた処理モードの原理が記載される。
【0006】
ダウンスケールされた処理モードまたはＡＡＣ－ＬＤが、セクション４．６．１７．２．７「より低いサンプリング・レートを使用するシステムへの適応」のＩＳＯ／ＩＥＣ １４４９６－３：２００９において、ＡＡＣ－ＬＤについて以下のように記載される。
【0007】
「特定のアプリケーションにおいて、ビットストリーム・ペイロードの名目上のサンプリング・レートが、より非常に高い（たとえば、約２０ｍｓのアルゴリズムのコーデック遅延に対応する、４８ｋＨｚ）一方、より低遅延のデコーダを、より低いサンプリング・レート（たとえば、１６ｋＨｚ）で動作しているオーディオシステムに集積するのに必要でありうる。そのような場合、復号化の後、付加的なサンプリング・レート変換処理を使用することよりむしろターゲットサンプリング・レートで直接低遅延コーデックの出力を復号化することは、有利である。
【0008】
これは、いくつかの整数ファクター（たとえば、２、３）によって、コーデックのその同じ時間／周波数の解像度を結果として得るように、フレームサイズおよびサンプリング・レートの両方のダウンスケールに割り当てることによって、近似できる。たとえば、コーデック出力は、たとえば、合成フィルタ・バンクに先行するスペクトル係数の最低３分の１（すなわち、４８０／３＝１６０）だけを保持し、逆変換サイズを次のように３分の１に低減することによって（すなわち、ウィンドウサイズ９６０／３＝３２０）、名目上４８ｋＨｚではなく１６ｋＨｚのサンプリング・レートで生成することができる。
【0009】
結果として、より低いサンプリング・レートのための復号化は、メモリ要件および計算要件の両方を低減するが、帯域制限およびサンプル・レート変換に続く全帯域幅復号化と全く同じ出力を生成しない可能性がある。
【0010】
上記のように、より低いサンプリング・レートで復号化することは、ＡＡＣ低遅延ビットストリーム・ペイロードの名目上のサンプリング・レートを意味するレベルの解釈には影響しないことに注意されたい。」
【0011】
ＡＡＣ－ＬＤは、標準のＭＤＣＴフレームワークと２つのウィンドウシェイプ、つまりサイン・ウィンドウとローオーバーラップウィンドウで動作する点に留意されたい。両方のウィンドウは式で完全に記述されているため、任意の変換長のウィンドウ係数を決定できる。
【0012】
ＡＡＣ－ＬＤと比較して、ＡＡＣ－ＥＬＤコーデックは、２つの大きな違いを示す：
・低遅延ＭＤＣＴウィンドウ（ＬＤ－ＭＤＣＴ）
・低遅延ＳＢＲツールを利用する可能性
・低遅延ＭＤＣＴウィンドウ（ＬＤ－ＭＤＣＴ）
・低遅延ＳＢＲツールを利用する可能性
【0013】
低遅延ＭＤＣＴウィンドウを使用するＩＭＤＣＴアルゴリズムは、［１］の４．６．２０．２において記載され、それは、たとえば、サイン・ウィンドウを使用する標準ＩＭＤＣＴバージョンに非常に類似する。低遅延ＭＤＣＴウィンドウ（４８０および５１２のサンプルフレームサイズ）の係数は、［１］の表４．Ａ．１５および表４．Ａ．１６において与えられる。係数は、最適化アルゴリズムの結果であるため、数式で係数を決定することはできない点に留意されたい。図９は、フレームサイズ５１２のウィンドウ形状のプロットを示す。
【0014】
低遅延ＳＢＲ（ＬＤ－ＳＢＲ）ツールがＡＡＣ－ＥＬＤコーダと共に使用される場合、ＬＤ－ＳＢＲモジュールのフィルタ・バンクも同様にダウンスケールされる。これにより、ＳＢＲモジュールが同じ周波数分解能で処理することが保証されるため、これ以上の適応は必要ない。
【0015】
したがって、上記の説明は、たとえば、ＡＡＣ－ＥＬＤでの復号化をダウンスケールするなど、復号化処理をダウンスケールする必要があることを明らかにする。ダウンスケールされた合成ウィンドウ関数の係数を新たに見つけることは可能であるが、これは厄介な作業であり、ダウンスケールされたバージョンを記憶するための追加の記憶を必要とし、非ダウンスケールされた復号化とダウンスケールされた復号化との間の適合チェックをより複雑な状態にする、あるいは、別の観点からは、たとえば、ＡＡＣ－ＥＬＤで要請されたダウンスケールの方法に従わない。ダウンスケール比、すなわち、もとのサンプリング・レートとダウンサンプルされたサンプリング・レートとの比に応じて、ダウンサンプルされた合成ウィンドウ関数を単純にダウンサンプル、すなわちもとの合成ウィンドウ関数の２番目、３番目、・・・を選び出すことにより導出できる。しかし、この手順では、それぞれ非ダウンスケールされた復号化とダウンスケールされた復号化の十分な適合性が得られない。合成ウィンドウ関数に適用されるより高度なデシメーション手順を使用すると、もとの合成ウィンドウ関数形状からの許容できない偏差が生じる。したがって、当技術分野では、改良されたダウンスケールされる復号化の概念が必要とされている。
【先行技術文献】
【非特許文献】
【0016】
【文献】ISO/IEC 14496-3:2009
【文献】M13958, "Proposal for an Enhanced Low Delay Coding Mode", October 2006, Hangzhou, China
【発明の概要】
【発明が解決しようとする課題】
【0017】
したがって、本発明の目的は、このような改良されたダウンスケールされた復号化を可能にするオーディオ復号化スキームを提供することである。
【0018】
この目的は、独立請求項の主題によって達成される。
【課題を解決するための手段】
【0019】
本発明は、ダウンスケールされたオーディオ復号化に使用される合成ウィンドウが、ダウンサンプルされたサンプリング・レートおよびもとのサンプリング・レートが逸脱するダウンサンプリング係数によるダウンサンプリング化と、フレーム長の１／４のセグメントにおけるセグメント補間を使用したダウンサンプルにより、ダウンスケールされていないオーディオ復号化に含まれる参照合成ウィンドウのダウンサンプルされたバージョンである場合に、より効果的におよび／またはより改善されたコンプライアンス維持が達成されるという知見に基づいている。
【0020】
本出願の有利な態様は、従属請求項の主題である。本出願の好ましい実施形態は、図面に関して以下に説明される。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
以下の説明は、ＡＡＣ－ＥＬＤコーデックに関するダウンスケールされた復号化のための実施形態の説明から始める。すなわち、以下の説明は、ＡＡＣ－ＥＬＤのためにダウンスケールされたモードを形成できる実施形態から始める。この記述は、同時に、本出願の実施形態の根底にある動機づけの一種の説明を形成する。その後、この説明が一般化され、それにより、本出願の一実施形態によるオーディオデコーダおよびオーディオ復号化方法が説明される。
【0023】
本願の明細書の導入部で説明したように、ＡＡＣ－ＥＬＤは低遅延ＭＤＣＴウィンドウを使用する。そのダウンスケールされたバージョン、すなわちダウンスケールされた低遅延ウィンドウを生成するために、ＡＡＣ－ＥＬＤのためのダウンスケールされたモードを形成するために後に説明される提案は、非常に高い精度を有するＬＤ－ＭＤＣＴウィンドウの完全な再構成特性（ＰＲ）を維持するセグメント・スプライン補間アルゴリズムを使用する。したがって、アルゴリズムは、［２］で説明されているように、ＩＳＯ／ＩＥＣ １４４９６－３：２００９のみならずリフティング形式で記述されているように、直接形式のウィンドウ係数を互換性のある方法で生成することができる。これは、両方の実装が１６ビット準拠の出力を生成することを意味する。
【0024】
低遅延ＭＤＣＴウィンドウの補間は、以下のように実行される。
【0025】
一般に、スプライン補間は、周波数応答とほぼ完璧な再構成特性（約１７０ｄＢ ＳＮＲ）を維持するためにダウンスケールされたウィンドウ係数を生成するために使用される。補間は、完全な再構成特性を維持するために特定のセグメントにおいて制約を受ける必要がある。変換のＤＣＴカーネルをカバーするウィンドウ係数ｃ（図１も参照、ｃ（１０２４）…ｃ（２０４８））に対しては、以下の制約が必要である。
ｉ＝０…Ｎ／２－１に対して、
１＝｜（ｓｇｎ・ｃ（ｉ）・ｃ（２Ｎ－１－ｉ）＋ｃ（Ｎ＋１）・ｃ（Ｎ－１－ｉ）｜
（１）
ここで、Ｎは、フレームサイズを意味する。いくつかの実装は、複雑さを最適化するために、異なる記号を使用することができ、ここでは、ｓｇｎによって示される。（１）の要件は、図１で説明することができる。単純にＦ＝２の場合であっても、すなわち、サンプリング・レートを半分にすると、参照合成ウィンドウの第２のウィンドウ係数を１つ置きに放棄して、ダウンスケールされた合成ウィンドウを得ることは要件を満たさないことを思い出さなければならない。
ｉ＝０…Ｎ／２－１に対して、
１＝｜（ｓｇｎ・ｃ（ｉ）・ｃ（２Ｎ－１－ｉ）＋ｃ（Ｎ＋１）・ｃ（Ｎ－１－ｉ）｜
（１）
ここで、Ｎは、フレームサイズを意味する。いくつかの実装は、複雑さを最適化するために、異なる記号を使用することができ、ここでは、ｓｇｎによって示される。（１）の要件は、図１で説明することができる。単純にＦ＝２の場合であっても、すなわち、サンプリング・レートを半分にすると、参照合成ウィンドウの第２のウィンドウ係数を１つ置きに放棄して、ダウンスケールされた合成ウィンドウを得ることは要件を満たさないことを思い出さなければならない。
【0026】
係数ｃ（０）…ｃ（２Ｎ－１）は、ダイヤモンド形状に沿ってリスト化される。フィルタ・バンクの遅延低減の原因となるウィンドウ係数のＮ／４個のゼロは、太い矢印でマークされる。図1は、ＭＤＣＴに含まれるフォールディングによって引き起こされる係数の依存性と、望ましくない依存性を避けるために補間が拘束される必要がある点を示す。
・Ｎ／２係数ごとに、補間を停止して（１）を維持する必要がある。
・さらに、補間アルゴリズムは、挿入されたゼロのためにすべてのＮ／４係数を停止する必要がある。これにより、ゼロが維持され、補間誤差が広がらず、ＰＲを維持することが保証される。
・Ｎ／２係数ごとに、補間を停止して（１）を維持する必要がある。
・さらに、補間アルゴリズムは、挿入されたゼロのためにすべてのＮ／４係数を停止する必要がある。これにより、ゼロが維持され、補間誤差が広がらず、ＰＲを維持することが保証される。
【0027】
第２の制約は、ゼロを含むセグメントだけでなく、他のセグメントに対しても必要である。ＤＣＴカーネル内のいくつかの係数が最適化アルゴリズムによって決定されなかったが、ＰＲを可能にするために式（１）によって決定されたことを知ると、ウィンドウ形状におけるいくつかの不連続性が、たとえば、図１におけるｃ（１５３６＋１２８）付近で説明される。ＰＲ誤差を最小にするために、補間は、Ｎ／４グリッドに現れるそのような点で停止することを必要とする。
【0028】
この理由により、セグメント・スプライン補間のためのＮ／４のセグメント・サイズが、ダウンスケールされたウィンドウ係数を生成するために選択される。ソース・ウィンドウ係数は、常にＮ＝５１２に使用される係数によって与えられ、Ｎ＝２４０またはＮ＝１２０のフレームサイズをもたらすダウンスケーリング演算についても同様である。基本的なアルゴリズムは、ＭＡＴＬＡＢコードとして以下に簡単に概説される。
FAC = Downscaling factor % e.g. 0.5
sb = 128; % segment size of source window
w＿down = []; % downscaled window
nSegments = length(W)/(sb);% number of segments; W=LD window coefficients for N=512
xn=((0:(FAC*sb-1))+0.5)/FAC-0.5; % spline init
for i=1:nSegments,
w＿down=[w＿down,spline([0:(sb-1)],W((i-1)*sb+(1:(sb))),xn)];
end;
FAC = Downscaling factor % e.g. 0.5
sb = 128; % segment size of source window
w＿down = []; % downscaled window
nSegments = length(W)/(sb);% number of segments; W=LD window coefficients for N=512
xn=((0:(FAC*sb-1))+0.5)/FAC-0.5; % spline init
for i=1:nSegments,
w＿down=[w＿down,spline([0:(sb-1)],W((i-1)*sb+(1:(sb))),xn)];
end;
【0029】
スプライン関数が完全に決定論的でない可能性があるため、完全アルゴリズムは、ＡＡＣ－ＥＬＤで改良されたダウンスケールモードを形成するために、ＩＳＯ／ＩＥＣ １４４９６－３：２００９に含まれる次のセクションで正確に規定される。
【0030】
換言すると、以下のセクションは、上記の考え方をＥＲ ＡＡＣ ＥＬＤにどのように適用できるか、すなわち、第１のデータレートよりも低い第２のデータレートで、低複雑なデコーダがどのようにして第１のデータレートで符号化されたＥＲ ＡＡＣ ＥＬＤビットストリームを復号化するかについての提案を提供する。ただし、以下で使用されるＮの定義は、標準に準拠していることが強調される。ここで、Ｎは、ＤＣＴカーネルの長さに対応するが、本明細書の上、請求項およびその後に説明される一般化された実施形態では、Ｎはフレーム長、すなわちＤＣＴカーネルの相互オーバーラップ長、すなわちＤＣＴカーネル長の半分に対応する。したがって、上記ではＮを５１２としたが、たとえば、以下では１０２４とする。
【0031】
以下のパラグラフは、１４４９６－３：２００９に改正を介して含めるために提案されている。
【0032】
Ａ．０ より低いサンプリング・レートを使用するシステムへの適用
特定のアプリケーションでは、ＥＲ ＡＡＣ ＬＤは追加のリサンプリングステップ（４．６．１７．２．７を参照）を避けるために再生サンプル・レートを変更することができる。ＥＲ ＡＡＣ ＥＬＤは、低遅延ＭＤＣＴウィンドウとＬＤ－ＳＢＲツールを使用して同様のダウンスケーリングステップを適用できる。ＡＡＣ－ＥＬＤがＬＤ－ＳＢＲツールで動作する場合、ダウンスケーリング係数は２の倍数に制限される。ＬＤ－ＳＢＲがなければ、ダウンスケールされたフレームサイズは整数でなければならない。
特定のアプリケーションでは、ＥＲ ＡＡＣ ＬＤは追加のリサンプリングステップ（４．６．１７．２．７を参照）を避けるために再生サンプル・レートを変更することができる。ＥＲ ＡＡＣ ＥＬＤは、低遅延ＭＤＣＴウィンドウとＬＤ－ＳＢＲツールを使用して同様のダウンスケーリングステップを適用できる。ＡＡＣ－ＥＬＤがＬＤ－ＳＢＲツールで動作する場合、ダウンスケーリング係数は２の倍数に制限される。ＬＤ－ＳＢＲがなければ、ダウンスケールされたフレームサイズは整数でなければならない。
【0033】
【0034】
fs＿window＿size = 2048; /* Number of fullscale window coefficients.
According to ISO/IEC 14496-3:2009, use 2048. For lifting implemenations,
please adjust this variable accordingly */
ds＿window＿size = N * fs＿window＿size / (1024 * F); /* downscaled window
coefficients; N determines the transformation length according to 4.6.20.2 */
fs＿segment＿size = 128;
num＿segments = fs＿window＿size / fs＿segment＿size;
ds＿segment＿size = ds＿window＿size / num＿segments;
tmp[128], y[128]; /* temporary buffers */
/* loop over segments */
for (b = 0; b < num＿segments; b++) ｛
/* copy current segment to tmp */
copy(&W＿LD[b * fs＿segment＿size], tmp, fs＿segment＿size);
/* apply cubic spline interpolation for downscaling */
/* calculate interpolating phase */
phase = (fs＿window＿size - ds＿window＿size) / (2 * ds＿window＿size);
/* calculate the coefficients c of the cubic spline given tmp */
/* array of precalculated constants */
m = ｛0.166666672, 0.25, 0.266666681, 0.267857134,
0.267942578, 0.267948717, 0.267949164｝;
n = fs＿segment＿size; /* for simplicity */
/* calculate vector r needed to calculate the coefficients c */
for (i = n - 3; i >= 0; i--)
r[i] = 3 * ((tmp[i + 2] - tmp[i + 1]) - (tmp[i + 1] - tmp[i]));
for (i = 1; i < 7; i++)
r[i] -= m[i - 1] * r[i - 1];
for(i = 7; i < n - 4; i++)
r[i] -= 0.267949194 * r[i - 1];
/* calculate coefficients c */
c[n - 2] = r[n - 3] / 6;
c[n - 3] = (r[n - 4] - c[n - 2]) * 0.25;
for (i = n - 4; i > 7; i--)
c[i] = (r[i - 1] - c[i + 1]) * 0.267949194;
for (i = 7; i > 1; i--)
c[i]=(r[i-1]-c[i+1])*m[i-1];
c[1] = r[0] * m[0];
c[0] = 2 * c[1] - c[2];
c[n-1] = 2 * c[n - 2] - c[n - 3];
/* keep original samples in temp buffer y because samples of
tmp will be replaced with interpolated samples */
copy(tmp, y, fs＿segment＿size);
/* generate downscaled points and do interpolation */
for (k = 0; k < ds＿segment＿size; k++) ｛
step = phase + k * fs＿segment＿size / ds＿segment＿size;
idx = floor(step);
diff = step - idx;
di = (c[idx + 1] - c[idx]) / 3;
bi = (y[idx + 1] - y[idx]) - (c[idx + 1] + 2 * c[idx]) / 3;
/* calculate downscaled values and store in tmp */
tmp[k] = y[idx] + diff * (bi + diff * (c[idx] + diff * di));
｝
/* assemble downscaled window */
Copy(tmp, &W＿LD＿d[b* ds＿segment＿size], ds＿segment＿size);
｝
According to ISO/IEC 14496-3:2009, use 2048. For lifting implemenations,
please adjust this variable accordingly */
ds＿window＿size = N * fs＿window＿size / (1024 * F); /* downscaled window
coefficients; N determines the transformation length according to 4.6.20.2 */
fs＿segment＿size = 128;
num＿segments = fs＿window＿size / fs＿segment＿size;
ds＿segment＿size = ds＿window＿size / num＿segments;
tmp[128], y[128]; /* temporary buffers */
/* loop over segments */
for (b = 0; b < num＿segments; b++) ｛
/* copy current segment to tmp */
copy(&W＿LD[b * fs＿segment＿size], tmp, fs＿segment＿size);
/* apply cubic spline interpolation for downscaling */
/* calculate interpolating phase */
phase = (fs＿window＿size - ds＿window＿size) / (2 * ds＿window＿size);
/* calculate the coefficients c of the cubic spline given tmp */
/* array of precalculated constants */
m = ｛0.166666672, 0.25, 0.266666681, 0.267857134,
0.267942578, 0.267948717, 0.267949164｝;
n = fs＿segment＿size; /* for simplicity */
/* calculate vector r needed to calculate the coefficients c */
for (i = n - 3; i >= 0; i--)
r[i] = 3 * ((tmp[i + 2] - tmp[i + 1]) - (tmp[i + 1] - tmp[i]));
for (i = 1; i < 7; i++)
r[i] -= m[i - 1] * r[i - 1];
for(i = 7; i < n - 4; i++)
r[i] -= 0.267949194 * r[i - 1];
/* calculate coefficients c */
c[n - 2] = r[n - 3] / 6;
c[n - 3] = (r[n - 4] - c[n - 2]) * 0.25;
for (i = n - 4; i > 7; i--)
c[i] = (r[i - 1] - c[i + 1]) * 0.267949194;
for (i = 7; i > 1; i--)
c[i]=(r[i-1]-c[i+1])*m[i-1];
c[1] = r[0] * m[0];
c[0] = 2 * c[1] - c[2];
c[n-1] = 2 * c[n - 2] - c[n - 3];
/* keep original samples in temp buffer y because samples of
tmp will be replaced with interpolated samples */
copy(tmp, y, fs＿segment＿size);
/* generate downscaled points and do interpolation */
for (k = 0; k < ds＿segment＿size; k++) ｛
step = phase + k * fs＿segment＿size / ds＿segment＿size;
idx = floor(step);
diff = step - idx;
di = (c[idx + 1] - c[idx]) / 3;
bi = (y[idx + 1] - y[idx]) - (c[idx + 1] + 2 * c[idx]) / 3;
/* calculate downscaled values and store in tmp */
tmp[k] = y[idx] + diff * (bi + diff * (c[idx] + diff * di));
｝
/* assemble downscaled window */
Copy(tmp, &W＿LD＿d[b* ds＿segment＿size], ds＿segment＿size);
｝
【0035】
Ａ．２ 低遅延ＳＢＲツールのダウンスケール
低遅延ＳＢＲツールをＥＬＤと組み合わせて使用する場合、このツールは、少なくとも２の倍数のダウンスケール係数の場合、サンプル・レートを下げるためにダウンスケールすることができる。ダウンスケール係数Ｆは、ＣＬＤＦＢ分析および合成フィルタ・バンクに使用される帯域の数を制御する。次の２つのパラグラフでは、ダウンスケールされたＣＬＤＦＢ分析および合成フィルタ・バンクについて説明する（４．６．１９．４も参照）。
低遅延ＳＢＲツールをＥＬＤと組み合わせて使用する場合、このツールは、少なくとも２の倍数のダウンスケール係数の場合、サンプル・レートを下げるためにダウンスケールすることができる。ダウンスケール係数Ｆは、ＣＬＤＦＢ分析および合成フィルタ・バンクに使用される帯域の数を制御する。次の２つのパラグラフでは、ダウンスケールされたＣＬＤＦＢ分析および合成フィルタ・バンクについて説明する（４．６．１９．４も参照）。
【0036】
４．６．２０．５．２．１ ダウンスケールされた分析ＣＬＤＦＢフィルタ・バンク
・ ダウンスケールされたＣＬＤＦＢ帯域の数Ｂ＝３２／Ｆを定義する。
・ 配列ｘのサンプルをＢ位置にシフトする。最も古いＢ個のサンプルは破棄され、Ｂ個の新しいサンプルは０からＢ－１の位置に格納される。
・ 配列ｘのサンプルにウィンドウｃｉの係数を掛けて配列ｚを得る。ウィンドウ係数ｃｉは、係数ｃの線形補間によって得られる。すなわち、以下の式である。
ｃのウィンドウ係数は表４．Ａ．９０に示される。
・サンプルを合計して２Ｂ－要素配列ｕを作成する。
・ 行列演算ＭｕによってＢ個の新しいサブバンドサンプルを計算する。ここで、
式中、ｅｘｐ（）は複素指数関数を示し、ｊは虚数単位を示す。
・ ダウンスケールされたＣＬＤＦＢ帯域の数Ｂ＝３２／Ｆを定義する。
・ 配列ｘのサンプルをＢ位置にシフトする。最も古いＢ個のサンプルは破棄され、Ｂ個の新しいサンプルは０からＢ－１の位置に格納される。
・ 配列ｘのサンプルにウィンドウｃｉの係数を掛けて配列ｚを得る。ウィンドウ係数ｃｉは、係数ｃの線形補間によって得られる。すなわち、以下の式である。
・サンプルを合計して２Ｂ－要素配列ｕを作成する。
【0037】
４．６．２０．５．２．２ ダウンスケールされた合成ＣＬＤＦＢフィルタ・バンク
・ ダウンスケールされたＣＬＤＦＢ帯域の数Ｂ＝６４／Ｆを定義する。
・ 配列ｖのサンプルを２Ｂ位置にシフトする。最も古い２Ｂ個のサンプルは破棄される。
・ Ｂ個の新しい複素数値のサブバンドサンプルに行列Ｎが乗算される。ここで、
式中、ｅｘｐ（）は複素指数関数を示し、ｊは虚数単位である。この演算の出力の実数部分は、配列ｖの０から２Ｂ－１の位置に格納される。
・ ｖからサンプルを抽出して１０Ｂ－要素配列ｇを作成する。
・ 配列ｇのサンプルにウィンドウｃｉの係数を掛けて配列ｗを生成する。ウィンドウ係数ｃｉは、係数ｃの線形補間によって得られる。すなわち、以下の式である。
ｃのウィンドウ係数は表４．Ａ．９０に示される。
・ 以下にしたがって、配列ｗのサンプルを合計してＢ個の新しい出力サンプルを計算する。
・ ダウンスケールされたＣＬＤＦＢ帯域の数Ｂ＝６４／Ｆを定義する。
・ 配列ｖのサンプルを２Ｂ位置にシフトする。最も古い２Ｂ個のサンプルは破棄される。
・ Ｂ個の新しい複素数値のサブバンドサンプルに行列Ｎが乗算される。ここで、
・ ｖからサンプルを抽出して１０Ｂ－要素配列ｇを作成する。
・ 以下にしたがって、配列ｗのサンプルを合計してＢ個の新しい出力サンプルを計算する。
【0038】
Ｆ＝２に設定すると、４．６．１９．４．３に従ってダウンサンプルされた合成フィルタ・バンクが得られることに留意されたい。したがって、ダウンサンプルされたＬＤ－ＳＢＲビットストリームを追加のダウンスケール係数Ｆで処理するためには、Ｆに２を掛ける必要がある。
【0039】
４．６．２０．５．２．３ ダウンスケールされた実数値のＣＬＤＦＢフィルタ・バンク
ＣＬＤＦＢのダウンスケールは、同様に低電力ＳＢＲモードの実数値のバージョンのために適用されうる。また、説明のために、４．６．１９．５を考慮されたい。
ダウンスケールされた実数値分析および合成フィルタ・バンクについては、４．６．２０．５．２．１および４．６．２０．２．２の説明に従い、ｃｏｓ（）のモジュレータによってＭのｅｘｐ（）モジュレータを交換する。
ＣＬＤＦＢのダウンスケールは、同様に低電力ＳＢＲモードの実数値のバージョンのために適用されうる。また、説明のために、４．６．１９．５を考慮されたい。
ダウンスケールされた実数値分析および合成フィルタ・バンクについては、４．６．２０．５．２．１および４．６．２０．２．２の説明に従い、ｃｏｓ（）のモジュレータによってＭのｅｘｐ（）モジュレータを交換する。
【0040】
Ａ．３ 低遅延ＭＤＣＴ分析
この節では、ＡＡＣ ＥＬＤエンコーダで使用される低遅延ＭＤＣＴフィルタ・バンクについて説明する。ｎが現在－ＮからＮ－１（０からＮ－１ではなく）で実行されるような長いウィンドウでは、コアＭＤＣＴアルゴリズムはほとんど変わらない。
スペクトル係数Ｘi,kは、以下のように定義される。
ここで：
ｚin ＝ ウィンドウ化された入力シーケンス
Ｎ ＝ サンプル・インデックス
Ｋ ＝ スペクトル係数インデックス
Ｉ ＝ ブロック・インデックス
Ｎ ＝ ウィンドウ長
ｎ0 ＝ （－Ｎ／２＋１）／２
ウィンドウ長Ｎ（サインウィンドウに基づく）は、１０２４または９６０である。
低遅延ウィンドウのウィンドウ長は２＊Ｎである。ウィンドウ処理は、以下のように過去に拡張されている。ｎ＝－Ｎ,…，Ｎ－１に対して、
であり、その順序を逆転させることによって、合成ウィンドウｗは分析ウィンドウとして使用される。
この節では、ＡＡＣ ＥＬＤエンコーダで使用される低遅延ＭＤＣＴフィルタ・バンクについて説明する。ｎが現在－ＮからＮ－１（０からＮ－１ではなく）で実行されるような長いウィンドウでは、コアＭＤＣＴアルゴリズムはほとんど変わらない。
スペクトル係数Ｘi,kは、以下のように定義される。
ｚin ＝ ウィンドウ化された入力シーケンス
Ｎ ＝ サンプル・インデックス
Ｋ ＝ スペクトル係数インデックス
Ｉ ＝ ブロック・インデックス
Ｎ ＝ ウィンドウ長
ｎ0 ＝ （－Ｎ／２＋１）／２
ウィンドウ長Ｎ（サインウィンドウに基づく）は、１０２４または９６０である。
低遅延ウィンドウのウィンドウ長は２＊Ｎである。ウィンドウ処理は、以下のように過去に拡張されている。ｎ＝－Ｎ,…，Ｎ－１に対して、
【0041】
Ａ．４ 低遅延ＭＤＣＴ合成
合成フィルタ・バンクは、低遅延フィルタ・バンクを採用するために、サイン・ウィンドウを使用する標準ＩＭＤＣＴアルゴリズムと比較して修正される。コアＩＭＤＣＴアルゴリズムはほとんど変更されないが、ｎが２Ｎ－１まで（Ｎ－１までではなく）実行されるように、より長いウィンドウを使用する。
ここで：
ｎ ＝ サンプル・インデックス
ｉ ＝ ウィンドウ・インデックス
ｋ ＝ スペクトル係数インデックス
Ｎ ＝ ウィンドウ長／フレーム長の２倍
ｎ0 ＝ （－Ｎ／２＋１）／２
Ｎ＝９６０または１０２４である。
合成フィルタ・バンクは、低遅延フィルタ・バンクを採用するために、サイン・ウィンドウを使用する標準ＩＭＤＣＴアルゴリズムと比較して修正される。コアＩＭＤＣＴアルゴリズムはほとんど変更されないが、ｎが２Ｎ－１まで（Ｎ－１までではなく）実行されるように、より長いウィンドウを使用する。
ｎ ＝ サンプル・インデックス
ｉ ＝ ウィンドウ・インデックス
ｋ ＝ スペクトル係数インデックス
Ｎ ＝ ウィンドウ長／フレーム長の２倍
ｎ0 ＝ （－Ｎ／２＋１）／２
Ｎ＝９６０または１０２４である。
【0042】
ウィンドウ処理と重畳加算は、以下の方法で行われる：
【0043】
長さＮのウィンドウは長さ２Ｎのウィンドウに置き換えられ、過去のオーバーラップはより大きく、将来のオーバーラップはより少なくなる（Ｎ／８の値は実際にはゼロである）。
【0044】
低遅延ウィンドウのためのウィンドウ化：
ここで、現在のウィンドウの長さは２Ｎであり、従ってｎ＝０，…，２Ｎ－１。
【0045】
【0046】
ここで、パラグラフは、１４４９６－３：２００９改正の終わりまでに含まれるように提案された。
【0047】
当然のことながら、ＡＡＣ－ＥＬＤの可能なダウンスケールされたモードについての上記説明は、本出願の一実施形態を単に表しており、いくつかの変更が可能である。一般に、本出願の実施形態は、ＡＡＣ－ＥＬＤ復号化のダウンスケールされたバージョンを実行するオーディオデコーダに限定されない。換言すれば、本出願の実施形態は、たとえば、スペクトルエンベロープのスケールファクタベースの送信、ＴＮＳ（時間ノイズシェイピング）フィルタリング、スペクトル・バンド複製（ＳＢＲ）などのＡＡＣ－ＥＬＤに特有の様々な他のタスクをサポートすることなく、または使用することなく、ダウンスケールされる方法において、逆変換処理を実行することができるオーディオデコーダを形成することによって導出されうる。
【0048】
次に、オーディオデコーダのより一般的な実施形態について説明する。ダウンスケールされたモードをサポートするＡＡＣ－ＥＬＤオーディオデコーダのための上述の概要の例は、このようにして後に説明されるオーディオデコーダの実装を表すことができる。特に、後に説明されるデコーダは図２に示され、図３は図２のデコーダによって実行されるステップを示す。
【0049】
図２のオーディオデコーダは、参照符号１０を使用して一般に示されており、レシーバ１２、グラバー１４、スペクトル時間モジュレータ１６、ウィンドウ化器１８、および時間領域エイリアシング・キャンセラー２０を含み、それら全ての言及の順序で互いに直列に接続されている。オーディオデコーダ１０のブロック１２～２０の相互作用および機能は、図３に関して以下に説明される。本出願の説明の最後に記載されているように、ブロック１２～２０は、コンピュータ・プログラム、ＦＰＧＡまたは適切にプログラムされたコンピュータ、プログラムされたマイクロプロセッサまたは特定用途向け集積回路の形態のようなソフトウェア、プログラム可能ハードウェアまたはハードウェアにより実装でき、ブロック１２～２０は、それぞれのサブルーチンや回路パス等を表す。
【0050】
以下でより詳細に概説されるように、図２のオーディオデコーダ１０は、オーディオストリーム２４からオーディオ信号２２を復号化するために、オーディオデコーダ１０の要素が適切に協働するように構成されている。オーディオデコーダ１０は、オーディオ信号２２が符号化側でデータストリーム２４に変換符号化されたサンプリング・レートの１／Ｆであるサンプリング・レートで信号２２を復号化することは注目に値する。Ｆは、たとえば、１より大きい有理数であってもよい。オーディオデコーダは、異なるもしくは可変のダウンスケーリング係数Ｆまたは固定されたスケーリング係数Ｆで動作するように構成することができる。代替案については、後で詳しく説明する。
【0051】
オーディオ信号２２が符号化またはもとのサンプリング・レートでデータストリームに変換符号化される方法は、図３の上半分に示されている。図３は、２６において水平に延びる時間軸３０および図３において垂直に走る周波数軸３２に沿ってスペクトル時間的に配置された小さなボックスまたは四角２８を使用するスペクトル係数を示す。スペクトル係数２８は、データストリーム２４内で送信される。したがって、スペクトル係数２８が得られる方法、そして、スペクトル係数２８がオーディオ信号２２を表す方法が、図３の３４に示されており、そしてそれは、時間軸３０の一部について、スペクトル係数２８が、どのようにオーディオ信号から得られるそれぞれの時間部分に属しているか、または表しているかを示す。
【0052】
特に、データストリーム２４内で送信される係数２８は、オーディオ信号２２の重複変換の係数であり、その結果、もとのまたは符号化サンプリング・レートでサンプリングされたオーディオ信号２２は、時間的に連続し、所定の長さＮの非重畳フレームに分割される。ここで、Ｎ個のスペクトル係数は、各フレーム３６についてデータストリーム２４で送信される。すなわち、変換係数２８は、臨界サンプリングされた重畳変換を用いてオーディオ信号２２から得られる。スペクトル時間スペクトログラム表示２６において、スペクトル係数２８の列の時間的シーケンスの各列は、一連のフレームのフレーム３６のそれぞれに対応する。Ｎ個のスペクトル係数２８は、結果として得られるスペクトル係数２８が属するフレーム３６にわたってだけでなく、Ｅ＋１個前のフレームにまたがり、時間的に伸びる変調関数が、スペクトル分解変換または時間スペクトル変調によって、対応するフレーム３６について得られる。ここで、Ｅは、任意の整数または０より大きい任意の偶数番号の整数でありうる。すなわち、あるフレーム３６に属する２６のスペクトログラムの１つの列のスペクトル係数２８は、変換ウィンドウに変換を適用することによって得られ、さらに、それぞれのフレームは過去に現在のフレームに関して存在するＥ＋１個のフレームを含む。３４で示された部分の中間フレーム３６に属する変換係数列２８の図３に示されているこの変換ウィンドウ３８内のオーディオ信号のサンプルのスペクトル分解は、低遅延ユニモーダルな分析を用いて達成されるＭＤＣＴまたはＭＤＳＴまたは他のスペクトル分解変換を施す前に、変換ウィンドウ３８内のスペクトルサンプルに重み付けをするためのウィンドウ関数４０を使用する。エンコーダ側遅延を低下させるために、分析ウィンドウ４０は、エンコーダが現在のフレーム３６内の最新のサンプルの対応する部分を待つ必要がないように、その時間的な前端にゼロ間隔４２を含み、この現在のフレーム３６のスペクトル係数２８を算出する。すなわち、ゼロインターバル４２内では、低遅延ウィンドウ関数４０はゼロであるか、またはゼロウィンドウ係数を有するので、現在のフレーム３６の同じ位置に配置されたオーディオサンプルは、ウィンドウ加重４０のためにフレームおよびデータストリーム２４のために変換された変換係数２８に寄与しない。すなわち、上記を要約すると、現在のフレーム３６に属する変換係数２８は、変換ウィンドウ３８の範囲内におけるオーディオ信号のサンプルのウィンドウ化およびスペクトル分解によって得られ、そしてそれは、現在のフレームだけでなく時間的な先行フレームを含み、時間的に隣接するフレームに属するスペクトル係数２８を決定するために使用される対応する変換ウィンドウと時間的にオーバーラップする。
【0053】
オーディオデコーダ１０の説明を再開する前に、これまでに提供されたデータストリーム２４内のスペクトル係数２８の伝送の説明は、スペクトル係数２８が量子化される方法に関して簡略化されている、あるいはオーディオ信号をラップ変換に供する前に、オーディオ信号２２が前処理された方法および／またはデータストリーム２４に符号化されうる。たとえば、変換符号化されたオーディオ信号２２をデータストリーム２４に有するオーディオエンコーダは、心理音響モデルを介して制御されてもよいし、心理音響モデルを使用して、量子化雑音を保持してもよく、聴者に感知できないおよび／またはマスキング閾値関数以下のスペクトル係数２８を量子化してもよく、量子化及び送信されたスペクトル係数２８がスケーリングされるスペクトル帯域のためのスケールファクタを決定する。スケールファクタは、データストリーム２４においてもシグナリングされる。あるいは、オーディオエンコーダは、ＴＣＸ（Ｔｒａｎｓｆｏｒｍ Ｃｏｄｅｄ Ｅｘｃｉｔａｔｉｏｎ：変換符号化励振）タイプのエンコーダでありうる。次に、オーディオ信号は、励起信号、すなわち線形予測残差信号に重複変換を適用することによって、スペクトル係数２８のスペクトル時間表現２６を形成する前に、線形予測分析フィルタリングを受けていたであろう。たとえば、線形予測係数もデータストリーム２４にシグナリングでき、スペクトル係数２８を得るためにスペクトル均一量子化を適用することができる。
【0054】
さらに、これまでの説明は、フレーム３６のフレーム長さおよび／または低遅延窓関数４０に関して単純化されている。実際、オーディオ信号２２は、変化するフレームサイズおよび／または異なるウィンドウ４０を使用してデータストリーム２４に符号化されうる。しかしながら、以下の説明は、オーディオ信号をデータストリームに符号化する間にエントロピー符号器がこれらのパラメータを変更する場合に容易に拡張することができるが、以下の説明は１つのウィンドウ４０と１フレーム長に集中する。
【0055】
図２のオーディオデコーダ１０およびその説明に戻ると、レシーバ１２はデータストリーム２４を受信し、それによって各フレーム３６に対してＮ個のスペクトル係数２８、すなわち図３に示す係数２８のそれぞれの列を受信する。もとの符号化サンプリング・レートまたは符号化サンプリング・レートのサンプルで測定されたフレーム３６の時間的長さは、図３の３４で示されるようにＮ個であるが、図２のオーディオデコーダ１０は、オーディオ信号２２を低減されたサンプリング・レートで復号化するように構成されていることを想起すべきである。オーディオデコーダ１０は、たとえば、以下で説明するこのダウンスケールされた復号化機能のみをサポートする。あるいは、オーディオデコーダ１０は、もとのまたは符号化サンプリング・レートでオーディオ信号を再構成することができるが、以下に説明するように、オーディオデコーダ１０の動作のモードがダウンスケールされた復号化モードと一致するように、ダウンスケールされた復号化モードと非ダウンスケールされた復号化モードとの間で切り替えられうる。たとえば、オーディオエンコーダ１０は、バッテリレベルが低い場合、再生環境能力が低下した場合等のように、ダウンスケールされた復号化モードに切り替えることができる。状況が変化するたびに、オーディオデコーダ１０は、たとえば、ダウンスケールされた復号化モードから非ダウンスケールされた復号化モードに切り替えることができる。いずれにしても、以下に説明するように、デコーダ１０のダウンスケールされた復号化処理に従って、オーディオ信号２２は、低減されたサンプリング・レートにおいて、フレーム３６が、この低減されたサンプリング・レートのサンプルにおいて測られる低い長さ、すなわち、低減されたサンプリング・レートでのＮ／Ｆサンプルの長さを有するサンプリング・レートで再構成される。
【0056】
レシーバ１２の出力は、Ｎ個のスペクトル係数のシーケンス、すなわちフレーム３６ごとにＮ個のスペクトル係数の１組、すなわち図３の1つの列である。レシーバ１２は、フレーム３６ごとにＮ個のスペクトル係数を得る際に様々なタスクを適用することができることは、データストリーム２４を形成するための変換符号化処理の上記の簡単な説明から既に明らかである。たとえば、レシーバ１２は、データストリーム２４からスペクトル係数２８を読み出すためにエントロピー復号化を使用することができる。レシーバ１２はまた、データストリーム内に供給されるスケールファクタおよび／またはデータストリーム２４内に伝達される線形予測係数によって得られるスケールファクタを用いて、データストリームから読み取られたスペクトル係数をスペクトル的に整形することができる。たとえば、レシーバ１２は、データストリーム２４から、すなわちフレームごとおよびサブバンドベースごとにスケールファクタを取得でき、データストリーム２４内で伝達されるスケールファクタをスケーリングするためにこれらのスケールファクタを使用することができる。あるいは、レシーバ１２は、各フレーム３６について、データストリーム２４内で伝達された線形予測係数からスケールファクタを導出でき、送信されたスペクトル係数２８をスケーリングするために、これらのスケールファクタを使用することができる。任意選択的に、レシーバ１２は、フレーム当たりＮ個のスペクトル係数１８のセット内のゼロ量子化部分を合成的に満たすためにギャップ充填を実行してもよい。それに加えて、またはこれに代えて、レシーバ１２は、ＴＮＳ係数をデータストリーム２４内で送信しながら、データストリームからのスペクトル係数２８の再構成を支援するために、フレームごとに送信ＴＮＳフィルタ係数にＴＮＳ合成フィルタを適用することができる。レシーバ１２の考えられる可能性のあるタスクは、可能な測定値の非限定的なリストとして理解されるべきであり、レシーバ１２は、データストリーム２４からのスペクトル係数２８の読み取りに関連してさらに実行され、または他のタスクを実行できる。
【0057】
したがって、グラバー１４は、レシーバ１２からスペクトル係数２８のスペクトログラム２６を受信し、各フレーム３６について、各フレーム３６のＮ個のスペクトル係数の低周波数部分４４、すなわちＮ／Ｆ最低周波数スペクトル係数を取り込む。
【0058】
すなわち、スペクトル時間モジュレータ１６は、グラバー１４から、スペクトログラム２６の低周波スライスに対応するフレーム３６ごとのＮ／Ｆスペクトル係数２８のストリームまたはシーケンス４６を受信し、図３のインデックス「０」を用いて示される最低周波数スペクトル係数にスペクトル的に記録され、インデックスＮ／Ｆ－１のスペクトル係数まで伸びる係数を含む。
【0059】
スペクトル時間モジュレータ１６は、各フレーム３６について、スペクトル係数２８の対応する低周波数部分４４を、図３の５０に図示されているように、それぞれのフレームとＥ＋１個前のフレームにわたって時間的に延びる長さ（Ｅ＋２）・Ｎ／Ｆの変調関数を有する逆変換４８を行いそれによって（Ｅ＋２）・Ｎ／Ｆの時間的部分、すなわち未だウィンドウ化されていない時間セグメント５２を得る。すなわち、スペクトル時間モジュレータは、たとえば、上記の代替案セクションＡ．４の提案された第１の式を用いて、同じ長さの変調関数を重み付けして合計することによって、低減されたサンプリング・レートの（Ｅ＋２）・Ｎ／Ｆサンプルの時間的時間セグメントを得ることができる。時間セグメント５２の最新のＮ／Ｆサンプルは、現在のフレーム３６に属する。変調関数は、示されるように、例えば逆変換が逆ＭＤＣＴである場合には余弦関数であり、逆変換が逆ＭＤＣＴである場合には正弦関数でありうる。
【0060】
このようにして、ウィンドウ化器５２は、各フレームごとに、時間的部分５２を受信し、その先端におけるＮ／Ｆサンプルは、それぞれの時間的部分５２の他のサンプルが対応する時間的に先行するフレームに属する間、それぞれのフレームに時間的に対応する。ウィンドウ化器１８は、各フレーム３６について、長さ（Ｅ＋２）・Ｎ／Ｆのユニモーダルな合成ウィンドウ５４を使用して、時間的部分５２をウィンドウ化し、その先端部に長さ１／４・Ｎ／Ｆのゼロ部分５６すなわち１／Ｆ・Ｎ／Ｆのゼロ値ウィンドウ係数を含み、時間的にゼロ部分５６に続いてその時間間隔、すなわちゼロ部分５２によってカバーされない時間的部分５２の時間間隔内にピーク５８を有する。後者の時間間隔は、ウィンドウ５８の非ゼロ部分と呼ぶことができ、低減されたサンプリング・レートのサンプル、すなわち７／４・Ｎ／Ｆウィンドウ係数で測定された７／４・Ｎ／Ｆの長さを有する。ウィンドウ化器１８は、たとえばウィンドウ５８を用いて時間的部分５２を重み付けする。この各時間的部分５２のウィンドウ５４による重み付けまたは乗算５８は、時間的範囲が関係する限りウィンドウ化された時間的部分６０を各フレーム３６に対して１つずつ、それぞれの時間的部分５２と一致させる。上記の提案されたセクションＡ．４において、ウィンドウ１８によって使用され得る窓処理は、ｚi,nとｘi,nとの関係式によって記述される。ｘi,nは、ウィンドウ化されていない前述の時間的部分５２に対応し、ｚi,nは、フレーム／ウィンドウのシーケンスをインデックスするウィンドウ化された時間的部分６０に対応し、ｎは、各時間的部分５２／６０内で、減少されたサンプリング・レートに従って、それぞれの部分５２／６０の位置のサンプルまたは値をインデックス付けする。
【0061】
このようにして、時間領域エイリアシング・キャンセラー２０は、ウィンドウ化器１８から一連のウィンドウ化された時間的部分６０、すなわちフレーム３６ごとに１つを受信する。キャンセラー２０は、各ウィンドウ化された時間的部分６０をその先頭のＮ／Ｆ値と対応するフレーム３６と一致するように登録することによって、フレーム３６のウィンドウ化された時間的部分６０に重畳加算処理６２を行う。この方法により、現在のフレームのウィンドウ化された時間的部分６０の長さ（Ｅ＋１）／（Ｅ＋２）の終端部分、すなわち長さ（Ｅ＋１）・Ｎ／Ｆを有する剰余は、直前の先行するフレームの時間的部分の対応する等しい長さの先端の部分とオーバーラップする。式において、時間領域エイリアシング・キャンセラー２０は、セクションＡ．４の上記提案バージョンの最後の式に示すように動作することができる。ここで、ｏｕｔi,nは、低減されたサンプリング・レートでの再構成オーディオ信号２２のオーディオサンプルに対応する。
【0062】
ウィンドウ化器１８および時間領域エイリアシング・キャンセラー２０によって実行されるウィンドウ化処理５８および重畳加算６２の処理は、図４に関して以下により詳細に示される。図４は、上で提案されたセクションＡ．４に適用された体系と図３および図４に適用された参照符号の両方を使用する。ｘ0,0からｘ0,(E+2)・N/F-1は、０番目のフレーム３６の空間時間モジュレータ１６によって得られた０番目の時間的部分５２を表す。ｘの第１のインデックスはフレーム３６を時間的順序に沿ってインデックスし、ｘの第２のインデックスは時間的順序に沿った時間的サンプル、すなわち低減されたサンプル・レートに属するサンプル間ピッチをオーダーする。そして、図４において、ｗ0からｘ0,(E+2)・N/F-1は、ウィンドウ５４のウィンドウ係数を示す。ｘの第２のインデックス、すなわちモジュレータ１６の出力としての時間的部分５２と同様に、ウィンドウ５４がそれぞれの時間的部分５２に適用される場合、ｗのインデックスはインデックス０が最も古いものに対応し、インデックス（Ｅ＋２）・Ｎ／Ｆ－１が最新のサンプル値に対応する。０番目のフレームに対してウィンドウ化された時間的部分を意味するｚ0,0からｚ0,(E+2)・N/F-1は、ｚ
0,0
＝ｘ0,0・w
0，…，ｚ0,(E+2)
・N/F-1
＝x
0,(E+2)
・
N/F-1
・W(E+2)・N/F-1によって得られるように、ウィンドウ化された時間的部分６０を得るために、ウィンドウ化器１８は、ウィンドウ５４を用いて時間的部分５２をウィンドウ化する。ｚのインデックスはｘと同じ意味を有する。このようにして、モジュレータ１６およびウィンドウ化器１８は、ｘおよびｚの第１のインデックスによってインデックスされた各フレームに対して作用する。キャンセラー２０は、１つのフレーム、ここではｕ-(E+1),0…ｕ-(E+1),N/F-1のサンプルｕを得るために、キャンセラー２０は、Ｅ＋２個の直接に連続したフレームのＥ＋２個のウィンドウ化された時間的部分６０を合算し、ウィンドウ化された時間的部分６０のサンプルを互いに１フレーム、すなわちフレーム３６当たりのサンプル数、すなわちＮ／Ｆだけオフセットする。ここでも、ｕの第１のインデックスはフレーム番号を示し、第２のインデックスはこのフレームのサンプルを時間順に並べる。キャンセラーは、連続フレーム３６内の再構成されたオーディオ信号２２のサンプルが、互いに、ｕ-(E+1),0…ｕ-(E+1),N/F-1，ｕ-E,N/F-1，ｕ-(E-1),0…によって続くように、こうして得られた再構成されたフレームを結合する。キャンセラー２２は、ｕ-(E+1),0＝ｚ0,0＋ｚ-1,N/F＋…ｚ-(E+1),(E+1)・N/F，…，ｕ-(E+1),N/F-1＝ｚ0,N/F-1＋ｚ-1,2・N/F-1＋…＋ｚ-(E+1)，(E+2)
・N/F-1によって、－（Ｅ＋１）番目のフレーム内のオーディオ信号２２の各サンプルを計算する。すなわち、現在のフレームのサンプルｕごとに（ｅ＋２）加数を加算する。
【0063】
図５は、フレーム－（Ｅ＋１）のオーディオサンプルｕに寄与するちょうどウィンドウ化されたサンプルの中で、可能性のある利用を示し、それは、ウィンドウ５４のゼロ部分５６に対応するか、または使用してウィンドウ化される。すなわち、ｚ(E+1),(E+7/4)・N/F…ｚ-(E+1),(E+2)・N/F-1はゼロ値である。したがって、Ｅ＋２加数を使用してオーディオ信号ｕの－（Ｅ＋１）番目のフレーム３６内のすべてのＮ／Ｆサンプルを得る代わりに、キャンセラー２０は、その先頭の１／４を計算することができる。すなわち、ｕ-(E+1),(E+7/4)・N/F…ｕ-(E+1),(E+2)・N/F-1は、単に、ｕ-(E+1),(E+7/4)・N/F＝ｚ0,3/4・N/F＋ｚ-1,7/4・N/F＋…＋ｚ-E,(E+3/4)・N/F，…，ｕ-(E+1),(E+2)・N/F-1＝ｚ0,N/F-1＋ｚ-1,2・N/F-1＋…＋ｚ-E,(E+1)・N/F-1によってＥ＋１加数を使用する。このようにして、ウィンドウ化器はゼロ部分５６に対する重み付け５８の性能を効果的に排除することさえできる。現在の－（Ｅ＋１）番目のフレームのサンプルｕ-(E+1),(E+7/4)・N/F…ｕ-(E+1),(E+2)・N/F-1は、Ｅ＋１加数のみを使用して得られ、一方、ｕ-(E+1),(E+1)・N/F…ｕ-(E+1),(E+7/4)・N/F-1は、Ｅ＋２加数を使用して得られる。
【0064】
かくして、上記において概説したようにして、図２のオーディオデコーダ１０は、データストリーム２４に符号化されたオーディオ信号をダウンスケールされた態様で再生する。この目的のために、オーディオデコーダ１０は、それ自体が長さ（Ｅ＋２）・Ｎの参照合成ウィンドウのダウンサンプルされたバージョンであるウィンドウ関数５４を使用する。図６に関して説明されるように、このダウンサンプルされたバージョン、すなわちウィンドウ５４は、セグメント補間を用いて、すなわち、ダウンスケールされていない状態で測定された場合、長さ１／４・Ｎのセグメントを用いてダウンサンプルされた領域では長さ１／４・Ｎ／Ｆのセグメントで、フレーム３６のフレーム長の１／４のセグメントで時間的に測定され、サンプリング・レートとは独立して表現される、Ｆの係数すなわちダウンサンプリング係数だけ参照合成ウィンドウをダウンサンプルすることによって得られる。図６を参照されたい。図６は、長さ（Ｅ＋２）・Ｎの参照合成ウィンドウ７０の下のダウンサンプルされたオーディオ復号化手順に従ってオーディオデコーダ１０によってユニモーダルに使用される合成ウィンドウ５４を示す。すなわち、参照合成ウィンドウ７０から、ダウンサンプルされた復号化のためにオーディオデコーダ１０によって実際に使用される合成ウィンドウ５４に至るダウンサンプル手順７２によって、ウィンドウ係数の数は、係数Ｆだけ低減される。図６において、図５および図６の体系が順守されている。すなわち、ｗはダウンサンプルされたバージョンのウィンドウ５４を示すために使用され、ｗ’は参照合成ウィンドウ７０のウィンドウ係数を示すために使用される。
【0065】
上述したように、ダウンサンプル７２を実行するために、参照合成ウィンドウ７０は、等しい長さのセグメント７４で処理される。番号には、（Ｅ＋２）・４個のセグメント７４がある。もとのサンプリング・レート、すなわち参照合成ウィンドウ７０のウィンドウ係数の数で測定された各セグメント７４は、１／４・Ｎ個のウィンドウ係数ｗ’長さであり、低減またはダウンサンプルされたサンプリング・レートで測定される。各セグメント７４は、１／４・Ｎ／Ｆ個のウィンドウ係数ｗ長さである。
【0066】
【0067】
たとえば、合成ウィンドウ５４は、長さ１／４・Ｎ／Ｆのスプライン関数の連結であってもよい。３次スプライン関数を使用することができる。そのような例は、セクションＡ．１で概説されており、外側のｆｏｒ－ｎｅｘｔループがセグメント７４上を順次ループする。各セグメント７４において、ダウンサンプルまたは補間７２は、「係数ｃを計算するために必要なベクトルｒを計算する」セクションの次の句の例えば最初の部分における現在のセグメント７４内の連続ウィンドウ係数ｗ’の数学的組合せを含んでいた。しかしながら、セグメントに適用される補間は、異なる方法でも選択されうる。すなわち、補間はスプラインまたは３次スプラインに限定されない。むしろ、線形補間または任意の他の補間方法を同様に使用することができる。いずれにしても、補間のセグメント実装は、別のセグメントに隣接して、ダウンスケールされた合成ウィンドウのサンプル、すなわち、ダウンスケールされた合成ウィンドウのセグメントの最外サンプルの計算に、異なるセグメントに存在している参照合成ウィンドウのウィンドウ係数に依存しないようにさせる。
【0068】
ウィンドウ化器１８は、ダウンサンプルされた合成ウィンドウ５４を、このダウンサンプルされた合成ウィンドウ５４のウィンドウ係数ｗiがダウンサンプル７２を用いて得られた後に記憶されている記憶装置から得ることができる。あるいは、図２に示すように、オーディオデコーダ１０は、参照合成ウィンドウ７０に基づいて図６のダウンサンプル７２を実行するセグメントダウンサンプラ７６を備えてもよい。
【0069】
図２のオーディオデコーダ１０は、ただ１つの固定ダウンサンプリング係数Ｆをサポートするように構成されてもよく、または異なる値をサポートしてもよいことに留意されたい。その場合、オーディオデコーダ１０は、図２に７８で示すようにＦの入力値に応答することができる。グラバー１４は、たとえば、上述したように、フレームのスペクトルごとのＮ／Ｆスペクトル値を取得するために、この値Ｆに応答することができる。同様に、オプションのセグメントダウンサンプラ７６は、上記のように動作するＦのこの値に応答もしうる。Ｓ／Ｔモジュレータ１６は、Ｆに応答して、たとえば、ダウンスケールされていない動作モードで使用されるものに対してダウンスケール／ダウンサンプルされた、変調機能のダウンスケール／ダウンサンプルされたバージョンを計算的に得る。ここで、再構成により、完全なオーディオサンプルレートが得られる。
【0070】
当然のことながら、モジュレータ１６は変調関数の適切にダウンサンプルされたバージョンを使用するので、モジュレータ１６はＦ入力７８にも応答するであろうし、低減またはダウンサンプルされたサンプリング・レートにおいて、フレームの実際の長さの適応に関しては同様のことがウィンドウ化器１８およびキャンセラー２０についても当てはまる。
【0071】
たとえば、Ｆは、１．５以上１０以下である。
【0072】
図２および図３のデコーダまたは本明細書で概説されたそれらの任意の修正は、たとえば、ＥＰ ２ ３７８ ５１６ Ｂ１に教示されているような低遅延ＭＤＣＴのリフティング実装を使用してスペクトルから時間への変換を実行するように実装されうることに留意されたい。
【0073】
図８は、リフティングの概念を使用するデコーダの実装を示す。Ｓ／Ｔモジュレータ１６は、例示的に逆ＤＣＴ－ＩＶを実行し、続いて、ウィンドウ化器１８と時間領域エイリアシング・キャンセラー２０の連結を表すブロックが示される。図８の実施例において、Ｅは２、すなわちＥ＝２である。
【0074】
モジュレータ１６は、逆タイプ－ｉｖ離散コサイン変換周波数／時間コンバータを含む。（Ｅ＋２）Ｎ／Ｆ長の時間的部分５２のシーケンスを出力する代わりに、全てＮ／Ｆ長のスペクトル４６のシーケンスから得られる長さ２・Ｎ／Ｆの時間的部分５２を出力するだけであり、これらの短縮部分５２は、ＤＣＴカーネル、すなわち、以前に記述された部分の２・Ｎ／Ｆ最新のサンプルに対応する。
【0075】
ウィンドウ化器１８は、前述したように動作し、各時間的部分５２に対してウィンドウ化された時間的部分６０を生成するが、それは単にＤＣＴカーネル上で動作する。この目的のために、ウィンドウ化器１８は、カーネル・サイズを有するｉ＝０…２Ｎ／Ｆ－１のウィンドウ関数ωiを使用する。ｉ＝０…（Ｅ＋２）・Ｎ／Ｆ－１のｗiとの関係は、後で述べるリフティング係数およびｉ＝０…（Ｅ＋２）・Ｎ／Ｆ－１のｗiの関係として記載される。
【0076】
上に適用された体系を使用して、これまでに記載された処理が得られる：
ｎ＝０，…，２Ｍ－１に対して、ｚk,n＝ωn・ｘk,n
Ｍ＝Ｎ／Ｆを再定義することにより、Ｍが図２－６の体系を用いてダウンスケールされた領域で表現されたフレームサイズに対応するようにする。ここで、しかしながら、ｚk,nおよびｘk,nは、サイズ２・Ｍを有し、図４におけるサンプルＥ・Ｎ／Ｆ…（Ｅ＋２）・Ｎ／Ｆ－１に時間的に対応するＤＣＴカーネル内のウィンドウ化された時間的部分および未だウィンドウ化されていない時間的部分のサンプルのみを含む。すなわち、ｎはサンプル・インデックスを示す整数であり、ωnはサンプル・インデックスｎに対応する実数値のウィンドウ関数の係数である。
ｎ＝０，…，２Ｍ－１に対して、ｚk,n＝ωn・ｘk,n
Ｍ＝Ｎ／Ｆを再定義することにより、Ｍが図２－６の体系を用いてダウンスケールされた領域で表現されたフレームサイズに対応するようにする。ここで、しかしながら、ｚk,nおよびｘk,nは、サイズ２・Ｍを有し、図４におけるサンプルＥ・Ｎ／Ｆ…（Ｅ＋２）・Ｎ／Ｆ－１に時間的に対応するＤＣＴカーネル内のウィンドウ化された時間的部分および未だウィンドウ化されていない時間的部分のサンプルのみを含む。すなわち、ｎはサンプル・インデックスを示す整数であり、ωnはサンプル・インデックスｎに対応する実数値のウィンドウ関数の係数である。
【0077】
キャンセラー２０の重畳加算処理は、上記の説明とは異なる方法で動作する。以下に記載の方程式または式に基づいて、中間の時間的部分ｍk（０），…ｍk（Ｍ－１）を生成する。
ｎ＝０，…，Ｍ－１に対して、ｍk,n＝ｚk,n＋ｚk-1,n+M
ｎ＝０，…，Ｍ－１に対して、ｍk,n＝ｚk,n＋ｚk-1,n+M
【0078】
図８の実装において、この装置は、リフター８０が、モジュレータおよびウィンドウ化器がモジュレータ機能の拡張および拡張がゼロ部分５６を補償するために導入された過去に向けてのカーネルを越える合成ウィンドウを処理する代わりに、ＤＣＴカーネルへの処理を制限したという事実を補償するので、モジュレータ１６およびウィンドウ化器１８の一部として解釈され得るリフター８０をさらに備える。リフター８０は、遅延器および乗算器８２および加算器８４のフレームワークを使用して、以下に記載の方程式または式に基づいて、直接に連続したフレーム対の長さＭの最終的に再構成された時間的部分またはフレームを生成する。
ｎ＝Ｍ／２，…，Ｍ－１に対して、ｕk,n＝ｍk,n＋ｌn-M/2・ｍk-1,M-1-n
および
ｎ＝０，…，Ｍ／２－１に対して、ｕk,n＝ｍk,n＋ｌM-1-n・ｏｕｔk-1,M-1-n
ここで、ｎ＝０…Ｍ－１であるｌnは、以下でより詳細に説明する方法で、ダウンスケールされた合成ウィンドウに関連する実数値のリフティング係数である。
ｎ＝Ｍ／２，…，Ｍ－１に対して、ｕk,n＝ｍk,n＋ｌn-M/2・ｍk-1,M-1-n
および
ｎ＝０，…，Ｍ／２－１に対して、ｕk,n＝ｍk,n＋ｌM-1-n・ｏｕｔk-1,M-1-n
ここで、ｎ＝０…Ｍ－１であるｌnは、以下でより詳細に説明する方法で、ダウンスケールされた合成ウィンドウに関連する実数値のリフティング係数である。
【0079】
言い換えれば、Ｅ個のフレームの過去の重なり合いのために、リフター８０のフレームワークに見られるように、Ｍ個の追加の乗算－加算演算のみが必要とされる。これらの追加演算は、しばしば「ゼロ遅延行列」と呼ばれることもある。ときにはこれらの操作は、「リフティングステップ」とも呼ばれる。図８に示す効率的な実装は、場合によっては、直接的な実装としてより効率的であり得る。より正確には、具体的な実装形態に依存して、このようなより効率的な実装は、図１９において示される実装のように、Ｍ個の動作の単純な実装の場合のように、Ｍ個の動作を節約する結果となる可能性があり、基本的に、モジュール８２０のフレームワークにおける２Ｍの操作と、リフター８３０のフレームワークにおけるＭの操作とを必要とすることを実装することが望ましい。
【0080】
ｉ＝０…（Ｅ＋２）Ｍ－１を伴う合成ウィンドウｗi上のｎ＝０…２Ｍ－１を伴うωnおよびｎ＝０…Ｍ－１を伴うｌnの依存性に関して（ここでＥ＝２）、以下の式は、それぞれの変数に続く括弧の中にこれまで使用されている添え字インデックスを置換することによるそれらの関係を説明している。
【0081】
ウィンドウｗiは、この公式において右側のピーク値、すなわちインデックス２Ｍと４Ｍ－１との間のピーク値を含むことに留意されたい。上記の式は、ダウンスケールされた合成ウィンドウのｎ＝０…（Ｅ＋２）Ｍ－１を伴う係数ｗnにｎ＝０…Ｍ－１を伴う係数ｌnおよび０，…，２Ｍ－１を伴うωnを関連付ける。見て分かるように、ｎ＝０…Ｍ－１を伴うｌnは、実際には、ダウンサンプルされた合成ウィンドウ、すなわち、ｎ＝０…（Ｅ＋１）Ｍ－１を伴うｗnの係数の３／４にのみ依存し、一方、ｎ＝０，…，２Ｍ－１を伴うωnは、ｎ＝０…（Ｅ＋２）Ｍ－１を伴うすべてのｗnに依存する。
【0082】
上述したように、ダウンサンプル７２を用いて得られた後、ウィンドウ化器１８は、このダウンサンプルされた合成ウィンドウ５４のウィンドウ係数ｗiが格納された記憶装置から、ダウンサンプルされた合成ウィンドウ５４（ｎ＝０…（Ｅ＋２）Ｍ－１を伴うｗn）を得ることができる。そして、そこから上記の関係を用いて、ｎ＝０…Ｍ－１を伴う係数ｌnおよびｎ＝０，…，２Ｍ－１を伴うωnを計算するために読み出される。しかし、あるいは、ウィンドウ化器１８は、プレダウンサンプルされた合成ウィンドウから計算されたｎ＝０…Ｍ－１を伴う係数ｌnおよびｎ＝０，…，２Ｍ－１を伴うωnを記憶装置から直接得る。あるいは、上述したように、オーディオデコーダ１０は、参照合成ウィンドウ７０に基づいて図６のダウンサンプル７２を実行するセグメントダウンサンプラ７６を備えることにより、ウィンドウ化器１８は、上記の関係／公式を用いて、ｎ＝０…Ｍ－１を伴う係数ｌnおよびｎ＝０，…，２Ｍ－１を伴うωnを計算することに基づいて、ｎ＝０…（Ｅ＋２）Ｍ－１を伴うｗnを得る。リフティング実装を使用しても、Ｆの複数の値がサポートされる。
【0083】
リフティング実装を簡単に要約すると、オーディオ信号が第２のサンプリング・レートで変換符号化されるデータストリーム２４から第１のサンプリング・レートでオーディオ信号２２を復号化するように構成されたオーディオデコーダ１０においても同様の結果が得られ、第１のサンプリング・レートは第２のサンプリング・レートの１／Ｆであり、オーディオデコーダ１０は、オーディオ信号の長さＮ個のフレームごとにＮ個のスペクトル係数２８を受信するレシーバ１２を含み、各フレームについてグラブアウトするグラバー１４は、Ｎ個のスペクトル係数２８のうちの長さＮ／Ｆの低周波数部分であり、スペクトル時間モジュレータ１６は、各フレーム３６について対象とするように構成され、低周波数部分は、長さ２・Ｎ／Ｆの時間的部分を得るために、各フレームおよび先行するフレームにわたって時間的に伸びる長さ２・Ｎ／Ｆの変調関数を有する逆変換へと変換され、そして、ｎ＝０…２Ｍ－１を伴うウィンドウ化された時間的部分ｚk,n
＝ω
n
・ｘ
k,n
を得るために、ウィンドウ化器１８は、ｎ＝０，…，２Ｍ－１に対するｚk,nに従う時間的部分ｘk,nを、各フレーム３６について、ウィンドウ化する。時間領域エイリアシング・キャンセラー２０は、ｎ＝０，…，Ｍ－１に対してｍk,n＝ｚk,n＋ｚk-1,n+Mに従う中間の時間的部分ｍk（０），…ｍk（Ｍ－１）を生成する。最後に、リフター８０は、ｎ＝Ｍ／２，…，Ｍ－１に対するｕk,n＝ｍk,n＋ｌn-M/2・ｍk-1,M-1-nおよびｎ＝０，…，Ｍ／２－１に対するｕk,n＝ｍk,n＋ｌn-M/2・out
k-1,M-1-nに従うｎ＝０…Ｍ－１を伴うオーディオ信号のフレームｕk,nを計算し、ここで、ｎ＝０…Ｍ－１を伴うｌnは、リフティング係数であり、逆変換は、逆ＭＤＣＴまたは逆ＭＤＳＴであり、そして、ｎ＝０…Ｍ－１を伴うｌnおよびｎ＝０，…，２Ｍ－１を伴うωnは、合成ウィンドウのｎ＝０…（Ｅ＋２）Ｍ－１を伴う係数ｗnに依存し、さらに、合成ウィンドウは、長さ４・Ｎの参照合成ウィンドウのダウンサンプルされたバージョンであり、１／４・Ｎの長さのセグメントのセグメント補間によって係数Ｆでダウンサンプルされる。
【0084】
図２のオーディオデコーダが低遅延ＳＢＲツールを伴う可能性がある、ダウンスケールされた復号化モードに関するＡＡＣ－ＥＬＤの拡張の提案に関する上記議論から既に判明した。たとえば、ＡＡＣ－ＥＬＤコーダが上記の提案されたダウンスケールされた動作モードをサポートするために、どのように拡張されたかについての以下の概要は、低遅延ＳＢＲツールを使用する場合に動作する。低遅延ＳＢＲツールがＡＡＣ－ＥＬＤコーダに関連して使用される場合、本出願の明細書の導入部で既に述べたように、低遅延ＳＢＲモジュールのフィルタ・バンクも同様にダウンスケールされる。これにより、ＳＢＲモジュールが同じ周波数分解能で動作することが保証され、それ以上の適応は必要ない。図７は、９６ｋＨｚで動作するＡＡＣ－ＥＬＤデコーダの信号経路の概要を示しており、フレームサイズが４８０サンプルであり、ダウンサンプルされたＳＢＲモードであり、ダウンスケーリング係数Ｆが２である。
【0085】
図７において、ビットストリームは、ＡＡＣデコーダ、逆ＬＤ－ＭＤＣＴブロック、ＣＬＤＦＢ解析ブロック、ＳＢＲデコーダおよびＣＬＤＦＢ合成ブロック（ＣＬＤＦＢ＝複素低遅延フィルタ・バンク）のシーケンスによって処理されて達する。ビットストリームは、図３ないし図６に関して先に説明したデータストリーム２４に等しい。しかし、逆低遅延ＭＤＣＴブロックの出力においてダウンスケールされたオーディオ復号化によって得られたオーディオ信号のスペクトル周波数を拡張するスペクトル拡張帯域のスペクトル複製のスペクトル整形を支援するパラメトリックＳＢＲデータを付加的に伴い、スペクトル整形はＳＢＲデコーダによって実行される。特に、ＡＡＣデコーダは、適切な構文解析およびエントロピー復号化によって必要な構文要素のすべてを検索する。ＡＡＣデコーダは、図７において逆低遅延ＭＤＣＴブロックによって具現化されるオーディオデコーダ１０のレシーバ１２と部分的に一致してもよい。図７において、Ｆは典型的には２に等しい。すなわち、図７の逆低遅延ＭＤＣＴブロックは、図２の再構成オーディオ信号２２の一例として、オーディオ信号が最初に到着したビットストリームの中へ符号化されるレートの半分でダウンサンプルされた４８ｋＨｚの時間信号を出力する。ＣＬＤＦＢ分析ブロックは、この４８ｋＨｚの時間信号、すなわち、ダウンスケールされたオーディオ復号化によって得られたオーディオ信号を、Ｎ個の帯域、ここではＮ＝１６に分割し、そして、ＳＢＲデコーダは、これらの帯域の再整形係数を計算し、それに応じてＮ帯域を再構成する。すなわち、ＡＡＣデコーダの入力に到着する入力ビットストリーム内のＳＢＲデータを介して制御され、そして、ＣＬＤＦＢ合成ブロックは、逆低遅延ＭＤＣＴブロックによって出力されたもとの復号化されたオーディオ信号に加えられるべき高周波数拡張信号を得ることによって、スペクトル領域から時間領域へと再変換する。
【0086】
ＳＢＲの標準動作は３２バンドＣＬＤＦＢを使用することに注意されたい。３２バンドＣＬＤＦＢウィンドウ係数ｃｉ32の補間アルゴリズムは、［１］の４．６．１９．４．１に既に記載されている。
ここで、ｃ64は、［１］における表４．Ａ．９０において与えられる６４個のバンドウィンドウのウィンドウ係数である。この式をさらに一般化して、より少ない数のバンドＢのウィンドウ係数を定義することができる。
ここで、Ｆは、ダウンスケール係数Ｆ＝３２／Ｂを示す。ウィンドウ係数のこの定義により、セクションＡ．２の上記の例に概説されているように、ＣＬＤＦＢ分析および合成フィルタ・バンクを完全に記述することができる。
【0087】
したがって、上記の例は、より低いサンプル・レートのシステムにコーデックを適用させるために、ＡＡＣ－ＥＬＤコーデックのいくつかの欠落した定義を提供した。これらの定義は、ＩＳＯ／ＩＥＣ １４４９６－３：２００９規格に含められうる。
【0088】
したがって、上記の議論において、それは、とりわけ以下に記載される：
【0089】
オーディオデコーダは、オーディオ信号が第２のサンプリング・レートで変換符号化されているデータストリームから、第１のサンプリング・レートでオーディオ信号を復号化するように構成することができ、第１のサンプリング・レートは、第２のサンプリング・レートの１／Ｆであり、オーディオデコーダは、オーディオ信号の長さＮのフレームごとに、Ｎ個のスペクトル係数を受信するように構成されるレシーバと、各フレームについて、Ｎ個のスペクトル係数から長さＮ／Ｆの低周波数部分をグラブアウトするように構成されるグラバーと、各フレームについて、低周波数部分を、それぞれのフレームおよびＥ＋１個の先行するフレームに時間的に広がる長さ（Ｅ＋２）・Ｎ／Ｆの変調関数を有する逆変換を実行して、長さ（Ｅ＋２）・Ｎ／Ｆの時間的部分を得るように構成されたスペクトル時間モジュレータと、各フレームについて、その先端に長さ１／４・Ｎ／Ｆのゼロ部分を含み、ユニモーダルな合成ウィンドウの時間的間隔の範囲内においてピークを有する、長さ（Ｅ＋２）・Ｎ／Ｆのユニモーダルな合成ウィンドウを使用して、時間的部分をウィンドウ化するように構成されるウィンドウ化器であって、時間的間隔は、ウィンドウ化器が、長さ（Ｅ＋２）・Ｎ／Ｆのウィンドウ化された時間的部分を得るように、ゼロ部分に続き、そして、長さ７／４・Ｎ／Ｆを有する、ウィンドウ化器と、現在のフレームのウィンドウ化された時間的部分の長さ（Ｅ＋１）／（Ｅ＋２）の終端部分が、先行するフレームのウィンドウ化された時間的部分の長さ（Ｅ＋１）／（Ｅ＋２）の先端と重なるように、フレームのウィンドウ化された時間的部分を重畳加算処理するように構成された時間領域エイリアシング・キャンセラーと、を備え、逆変換は、逆ＭＤＣＴまたは逆ＭＤＳＴであり、ユニモーダルな合成ウィンドウは、長さ（Ｅ＋２）・Ｎの参照ユニモーダル合成ウィンドウの、長さ１／４・Ｎ／Ｆのセグメントにおけるセグメント補間によって、係数Ｆでダウンサンプルされた、ダウンサンプルされたバージョンである。
【0090】
実施例に記載のオーディオデコーダにおいて、ユニモーダルな合成ウィンドウは、長さ１／４・ＮＦのスプライン関数の連結である。
【0091】
実施例に記載のオーディオデコーダにおいて、ユニモーダルな合成ウィンドウは、長さ１／４・ＮＦの３次スプライン関数の連結である。
【0092】
前述の実施例のいずれかに記載のオーディオデコーダにおいて、Ｅ＝２である。
【0093】
前述の実施例のいずれかに記載のオーディオデコーダにおいて、逆変換は、逆ＭＤＣＴである。
【0094】
前述の実施例のいずれかに記載のオーディオデコーダにおいて、ユニモーダルな合成ウィンドウの面積の８０％以上がゼロ部分に続く、長さ７／４・Ｎ／Ｆである時間的間隔の範囲内に含まれる。
【0095】
前述の実施例のいずれかに記載のオーディオデコーダにおいて、オーディオデコーダは、記憶装置から補間を実行するように、または、ユニモーダルな合成ウィンドウを導出するように構成される。
【0096】
前述の実施例のいずれかに記載のオーディオデコーダにおいて、オーディオデコーダは、Ｆについて異なる値をサポートするように構成される。
【0097】
前述の実施例のいずれかに記載のオーディオデコーダにおいて、Ｆは、１．５以上１０以下である。
【0098】
方法は、前述の実施例のいずれかに記載のオーディオデコーダによって実行される。
【0099】
コンピュータ・プログラムは、コンピュータで動作させる場合に、実施例に記載の方法を実行するためのプログラムコードを有する。
【0100】
「長さの」という用語に関しては、この用語はサンプルにおける長さを測定するものとして解釈されるべきであることに留意すべきである。ゼロ部分およびセグメントの長さに関する限り、それが整数値でありうることに留意すべきである。あるいは、それは、非整数値でもありうる。
【0101】
ピークが位置する時間間隔に関しては、図１は、Ｅ＝２およびＮ＝５１２の参照ユニモーダルな合成ウィンドウの例についてのこのピークおよび時間間隔を例示的に示していることに留意されたい。ピークはおよそサンプル番号１４０８で最大値を有し、時間間隔はサンプル番号１０２４からサンプル番号１９２０まで及ぶ。従って、時間的間隔は、ＤＣＴカーネルの７／８の長さである。
【0102】
用語「ダウンサンプルされたバージョン」に関しては、上記の明細書では、この用語の代わりに、「ダウンスケールされたバージョン」が同義語として使用されていることに留意されたい。
【0103】
「一定の間隔内の関数の面積」という用語については、同じことがそれぞれの間隔内のそれぞれの関数の定積分を示すことに留意されたい。
【0104】
Ｆの異なる値をサポートするオーディオデコーダの場合、それは、参照ユニモーダルな合成ウィンドウのそれに応じてセグメント補間されたバージョンを有する記憶装置を含むことができ、またはＦの現在アクティブな値についてセグメント補間を実行することができる。異なるセグメント補間バージョンは、補間がセグメント境界における不連続性に悪影響を及ぼさないという共通点を有する。これらは、上述したように、スプライン関数でありうる。
【0105】
上記の図１のような参照ユニモーダルな合成ウィンドウからセグメント補間によりユニモーダルな合成ウィンドウを導出することにより、４・（Ｅ＋２）個のセグメントは３次スプライン等のスプライン近似によって形成され、補間を行うにもかかわらず遅延を小さくするための手段として、合成的に導入されたためにゼロ部分が１／４・Ｎ／Ｆのピッチでユニモーダルな合成ウィンドウに存在する不連続性が保存される。
【0106】
文献
[1] ISO/IEC 14496-3:2009
[2] M13958, "Proposal for an Enhanced Low Delay Coding Mode", October 2006, Hangzhou, China
[1] ISO/IEC 14496-3:2009
[2] M13958, "Proposal for an Enhanced Low Delay Coding Mode", October 2006, Hangzhou, China
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】