発明が解決しようとする課題[発明の詳細な説明]から抜粋

本発明の目的は、オーディオ符号化の改善された概念を提供することである。 この目的は、請求項１のオーディオ符号器と、請求項１１のオーディオ復号器と、請求項２０のオーディオ符号化方法と、請求項２１のオーディオ復号化方法又は請求項２２のコンピュータプログラムによって達成される。 本発明は次のような知見に基づく。即ち、時間ドメインの符号化／復号化プロセッサは、ギャップ充填機能を有する周波数ドメインの符号化／復号化プロセッサと結合できるが、スペクトルの穴を充填するためのこのギャップ充填機能は、オーディオ信号の全帯域に亘って作動するか、又は少なくとも所定のギャップ充填周波数より高周波側で作動する。重要なことは、周波数ドメインの符号化／復号化プロセッサが、特に、正確な又は波形もしくはスペクトル値の符号化／復号化を最大周波数まで実行する立場にあり、クロスオーバー周波数までだけではないということである。更に、周波数ドメイン符号器が全帯域を高い分解能で符号化する能力により、ギャップ充填機能を周波数ドメイン符号器内に統合することが可能となる。 このように、本発明によれば、全帯域スペクトル符号器／復号器プロセッサを使用することで、帯域幅拡張を一方としコア符号化を他方とする分離に関連する課題が、コア復号器が作動する同じスペクトルドメインで帯域幅拡張を実行することにより、対処され克服され得る。そのため、全オーディオ信号領域を符号化及び復号化する全レートコア復号器が設けられる。これは、符号器側のダウンサンプラ及び復号器側のアップサンプラを必要としない。その代わり、全体の処理が全サンプリングレート又は全帯域幅ドメインで実行される。高い符号化ゲインを得るために、オーディオ信号は分析されて、高い分解能で符号化されるべき第１スペクトル部分の第１セットを発見し、この第１スペクトル部分の第１セットは、一実施形態においてオーディオ信号の調性部分を含んでもよい。他方、第２スペクトル部分の第２セットを構成しているオーディオ信号の非調性又はノイズの多い成分は、低いスペクトル分解能でパラメトリックに符号化される。次に、符号化済みのオーディオ信号は、高いスペクトル分解能で波形保存的な方法で符号化された第１スペクトル部分の第１セットと、追加的に第１セットを起源とする周波数「タイル」を使用して低い分解能でパラメトリックに符号化された第２スペクトル部分の第２セットと、を必要とするだけである。復号器側では、全帯域復号器であるコア復号器が第１スペクトル部分の第１セットを、波形保存的な方法で、即ち追加的な周波数再生成があるかどうかの知識がない状態で、復元する。しかし、そのように生成されたスペクトルは多くのスペクトルギャップを有する。これらのギャップは、後に本発明のインテリジェント・ギャップ充填（ＩＧＦ）技術を用いて充填され、そのＩＧＦは、一方ではパラメトリックデータを適用する周波数再生成を使用し、他方ではソーススペクトル領域、即ち全レートオーディオ復号器により復元された第１スペクトル部分を使用する。 更なる実施形態において、帯域幅複製又は周波数タイル充填ではなくノイズ充填だけによって復元されたスペクトル部分が、第３スペクトル部分の第３セットを構成する。符号化概念は、コア符号化／復号化を一方とし周波数再生成を他方として単一ドメインで作動するという事実に起因して、ＩＧＦは高い周波数領域を充填することに制限されずに低い周波数領域をも充填することができ、これは、周波数再生成なしのノイズ充填、又は異なる周波数領域に１つの周波数タイルを使用した周波数再生成の何れかによって達成される。 更に、ここで強調すべきは、スペクトルエネルギーに関する情報、個別のエネルギーに関する情報若しくは個別エネルギー情報、持久エネルギーに関する情報若しくは持久エネルギー情報、タイルエネルギーに関する情報若しくはタイルエネルギー情報、又は、損失エネルギーに関する情報若しくは損失エネルギー情報が、エネルギー値だけでなく、その値から最終的なエネルギー値が導出され得る（例えば絶対値の）振幅値、レベル値、又は他の任意の値をも含み得ることである。従って、エネルギーに関する情報は、例えばエネルギー値そのもの、及び／又は、レベルの値、及び／又は、振幅の値、及び／又は、絶対振幅の値などを含み得る。 更なる態様は、相関状態が、ソース領域にとって重要であるだけでなく、目標領域にとっても重要であるという知見に基づいている。更に、本発明は、ソース領域と目標領域との中で異なる相関状態が発生し得ることも認識している。例えば、高周波ノイズを有するスピーチ信号を考慮する場合、その状態は、スピーカが中央に配置されているとき、少数の倍音(overtones)を持つスピーチ信号を含む低周波数帯域が左チャネル及び右チャネルに高度に相関しているという可能性がある。しかし、右側に別の高周波ノイズがあるか又は高周波ノイズがなく、これと比較して左側に異なる高周波ノイズが存在する可能性もあるという事実に起因して、高周波部分は強度に非相関化される可能性もあり得る。従って、この状態を無視するような単純なギャップ充填操作が実行された場合、高周波部分も相関化される可能性があり、またそれにより、復元された信号内で深刻な空間的隔離アーチファクトを生じる可能性がある。この問題に対処するため、復元帯域についてのパラメトリックデータ、又は一般的には、第１スペクトル部分の第１セットを使用して復元されるべき第２スペクトル部分の第２セットについてのパラメトリックデータが、第２スペクトル部分について、又は換言すれば復元帯域について、第１又は第２の何れかの異なる２チャネル表現を識別するために計算される。符号器側においては、２チャネル識別が第２スペクトル部分について計算され、即ちその部分についてさらに復元帯域のエネルギー情報が計算される。復号器側の周波数再生成部は、次に第２スペクトル部分を再生成し、その再生成は、第１スペクトル部分の第１セットの第１部分すなわちソース領域と、スペクトル包絡エネルギー情報又は任意の他のスペクトル包絡データなど第２部分についてのパラメトリックデータとに依存し、更には第２部分すなわち考慮対象のこの復元帯域についての２チャネル識別にも依存している。 ２チャネル識別は、好ましくは各復元帯域について１つのフラグとして伝送され、このデータは符号器から復号器へと伝送され、次に復号器が、コア帯域について好適に計算されたフラグによって指示される通りにコア信号を復号化する。次に、一実施形態において、コア信号は両方の（例えば左／右の及び中央／サイドの）ステレオ表現内へと格納され、ＩＧＦ周波数タイル充填のために、インテリジェント・ギャップ充填又は復元帯域、即ち目標領域について、２チャネル識別フラグにより指示された通りの目標タイル表現に適合するようなソースタイル表現が選択される。 ここで強調すべきは、この処理がステレオ信号、即ち左チャネル及び右チャネルのためだけに役立つのではなく、多チャネル信号のためにも作動することである。多チャネル信号の場合、異なるチャネルの複数のペアが次のように処理され得る。例えば、左と右のチャネルを第１ペアとし、左サラウンドチャネルと右サラウンドチャネルを第２ペアとし、中央チャネルとＬＦＥチャネルを第３ペアとして処理され得る。例えば７．１や１１．１などのより高度な出力チャネルフォーマットについては、他のペアリングも決定され得る。 更なる態様は、復元された信号のオーディオ品質はＩＧＦを通じて改善できるという知見に基づく。なぜなら、全スペクトルがコア符号器にアクセス可能であり、その結果、例えば高スペクトル領域内の知覚的に重要な調性部分も、パラメトリック置換ではなくコア符号器によって符号化され得るからである。加えて、ギャップ充填操作が第１スペクトル部分の第１セットからの周波数タイルを使用して実行される。その第１セットとは、例えば典型的には低周波領域からの調性部分のセットであり、もし可能であれば高周波領域からの調性部分のセットでもあり得る。しかし、復号器側のスペクトル包絡調整については、復元帯域内に位置するスペクトル部分の第１セットからのスペクトル部分は、例えばスペクトル包絡調整によって更に後処理される訳ではない。コア復号器を起源としない復元帯域内の残りのスペクトル値だけが、包絡情報を用いて包絡調整されることになる。好ましくは、包絡情報は、復元帯域内の第１スペクトル部分の第１セットと同じ復元帯域内の第２スペクトル部分の第２セットとのエネルギーを示す、全帯域包絡情報であり、第２スペクトル部分の第２セットにおける後者のスペクトル値はゼロと指示され、従ってコア符号器によって符号化されることがなく、低い分解能のエネルギー情報を用いてパラメトリックに符号化される。 絶対エネルギー値は、対応する帯域の帯域幅に対して正規化されているか否かに関わらず、復号器側のアプリケーションにおいて有用かつ非常に効率的であることが分かってきた。このことは、ゲインファクタが、復元帯域における残差エネルギー、復元帯域における損失エネルギー、及び復元帯域における周波数タイル情報に基づいて計算されなければならない場合に、特に重要である。 更に、符号化済みビットストリームが、復元帯域についてのエネルギー情報をカバーするだけでなく、追加的に、最大周波数まで延びるスケールファクタ帯域のためのスケールファクタをもカバーしていることが望ましい。これにより、所定の調性部分すなわち第１スペクトル部分が利用可能である各復元帯域について、この第１スペクトル部分の第１セットが正しい振幅を用いて実際に復号化され得ることが確保される。更に、各復元帯域についてのスケールファクタに加え、この復元帯域についてのエネルギーが符号器内で生成され、復号器へと伝送される。更に、復元帯域がスケールファクタ帯域と一致することが望ましく、又は、エネルギーグループ化の場合には、復元帯域の少なくとも境界がスケールファクタ帯域の境界と一致することが望ましい。 更なる態様は、オーディオ品質におけるある種の劣化が、信号適応型周波数タイル充填スキームを適用することで修復され得るという知見に基づいている。この目的で、符号器側において、ある目標領域のための最良一致ソース領域候補を発見するための分析が実行される。目標領域についてあるソース領域を識別する一致情報と任意選択的な幾つかの追加情報とが一緒に生成され、サイド情報として復号器へと伝送される。その後、復号器は、その一致情報を使用して周波数タイル充填操作を適用する。この目的で、復号器は伝送されたデータストリーム又はデータファイルから一致情報を読み出し、所定の復元帯域について識別されたソース領域にアクセスし、その一致情報に指示されている場合にはこのソース領域データの幾つかの処理を追加的に実行して、復元帯域のための生のスペクトルデータを生成する。次に、周波数タイル充填操作のこの結果、即ち復元帯域のための生のスペクトルデータは、スペクトル包絡情報を使用して整形され、調性部分などの第１スペクトル部分をも含む復元帯域を最終的に取得する。しかし、これらの調性部分は、適応型タイル充填スキームによって生成される訳ではなく、これらの第１スペクトル部分は、オーディオ復号器又はコア復号器によって直接的に出力される。 適応型スペクトルタイル選択スキームは、低い粒度で作動してもよい。この実施形態において、１つのソース領域は、典型的にはオーバーラップしている複数のソース領域へとサブ分割され、目標領域又は復元帯域は、非オーバーラップの周波数目標領域により与えられる。次に、各ソース領域と各目標領域との間の類似性が符号器側で決定され、ソース領域と目標領域との最良一致ペアが一致情報により識別され、復号器側では、一致情報の中で識別されたソース領域が、復元帯域のための生のスペクトルデータを生成するために使用される。 高い粒度を得る目的で、各ソース領域は、類似性が最大となるラグを得るためにシフトすることが許可されている。このラグは、１つの周波数ビンと同じだけ微細であることができ、ソース領域と目標領域との間のより良好な一致度を得ることを可能にする。 更に、最良一致ペアを識別するだけでなく、この相関ラグはまた、一致情報の中で伝送されることもでき、加えて、正負符号さえも伝送され得る。符号器側において正負符号が負と決定された場合、対応する正負フラグも一致情報内で伝送され、復号器側においては、ソース領域のスペクトル値が「−１」で乗算されるか、又は複素表現では１８０度だけ「回転」される。 本発明の更なるタイルホワイトニング操作を適用する。スペクトルのホワイトニングは、粗いスペクトル包絡情報を除去し、タイル類似性を評価するために最も重要なスペクトルの微細構造を強調する。従って、クロス相関尺度を計算する前に、一方では周波数タイルが、及び／又は他方ではソース信号がホワイトニングされる。予め定義された処理を用いてタイルだけがホワイトニングされたとき、復号器に対し予め定義された同じホワイトニング処理が周波数タイルに対してＩＧＦ内で適用されるべきであることを指示する、ホワイトニングフラグが伝送される。 タイル選択に関し、相関関係のラグを使用して、再生成されたスペクトルを整数個の変換ビン分だけスペクトル的にシフトさせることが望ましい。根底にある変換に依存するが、スペクトルシフトは追加的な修正を必要とする可能性がある。奇数ラグの場合、タイルは、ＭＤＣＴ内における１つおきの帯域の周波数反転された表現を補償するために、−１／１の交互の時間的シーケンスによる乗算を通じて追加的に変調される。更に、周波数タイルを生成するとき、相関結果の正負符号が適用される。 更に、同一の復元領域又は目標領域に対してソース領域が急速変化することにより生じるアーチファクトが確実に回避されるようにする目的で、タイルプルーニング(tile pruning)及び安定化処理(stabilization)を用いることが望ましい。この目的で、異なって識別されたソース領域同士の類似性分析が実行され、あるソースタイルが他のソースタイルとある閾値以上の類似性を持って類似している場合、このソースタイルは、他のソースタイルと高い相関性を持つことから、潜在的なソースタイルのセットから削除され得る。更に、タイル選択安定化処理の一種として、現フレーム内のいずれのソースタイルも現フレーム内の目標タイルと（所与の閾値以上に）相関していない場合、前フレームからのタイルオーダーを維持することが望ましい。 更なる態様は、特にオーディオ信号内で頻繁に発生するような過渡部分を含む信号に関し、時間的ノイズ整形（ＴＮＳ）又は時間的タイル整形（ＴＴＳ）の技術と高周波復元とを組み合わせることで、品質改善及びビットレート削減を達成できる、という知見に基づく。周波数にわたる予測によって行われる符号器側のＴＮＳ／ＴＴＳ処理は、オーディオ信号の時間包絡を復元する。構成に依存して、即ち時間的ノイズ整形フィルタが、ソース周波数領域だけでなく周波数再生成復号器内で復元されるべき目標周波数領域をもカバーする周波数領域内で決定された場合、時間的包絡は、ギャップ充填開始周波数までのコアオーディオ信号に対して適用されるだけでなく、時間的包絡はまた、復元された第２スペクトル部分のスペクトル領域に対しても適用される。このように、時間的タイル整形なしでは発生し得るプリエコー又はポストエコーが低減又は除去される。これは、所定のギャップ充填開始周波数までのコア周波数領域内だけでなく、コア周波数領域より高い周波数領域内においても、逆予測を周波数にわたって適用することで達成される。この目的で、周波数にわたる予測を適用する前に、周波数再生成又は周波数タイル生成が復号器側で実行される。しかし、エネルギー情報計算がフィルタリング後のスペクトル残差値について実行されたか、又は包絡整形前の（全）スペクトル値に対して実行されたかに依存して、周波数にわたる予測はスペクトル包絡整形の前又は後に適用されることができる。 １つ以上の周波数タイルにわたるＴＴＳ処理は、ソース領域と復元領域との間の相関、２つの隣接する復元領域における相関、又は周波数タイル間の相関の連続性をさらに達成する。 一実施形態において、複素ＴＮＳ／ＴＴＳフィルタリングを使用することが望ましい。それにより、ＭＤＣＴのように臨界サンプリングされた実表現の（時間的）エイリアシングアーチファクトが防止される。複素ＴＮＳフィルタは、符号器側において、複素修正変換を得るために修正離散コサイン変換だけでなく修正離散サイン変換をも追加的に適用することで、計算され得る。それにも拘わらず、修正離散コサイン変換値だけ、即ち複素変換の実数部分だけが伝送される。しかし、復号器側においては、先行又は後続のフレームのＭＤＣＴスペクトルを使用して、変換の虚数部分を推定することが可能であり、その結果、復号器側では、複素フィルタが周波数にわたる逆予測に再度適用されることができ、具体的には、ソース領域と復元領域との間の境界、及び、復元領域内の周波数的に隣接する周波数タイル間の境界にわたる予測に適用され得る。 本発明のオーディオ符号化システムは、任意のオーディオ信号をビットレートのワイドレンジで効率的に符号化する。本発明のシステムは、高ビットレートについては透明性へと収束する一方で、低ビットレートについては知覚的混乱を最小化する。従って、符号器においては、利用可能なビットレートの大部分は、信号の知覚的に最も重要な構造だけを波形符号化することに使用され、結果として生じるスペクトルギャップは、復号器において、オリジナルスペクトルを粗く近似する信号コンテンツを用いて充填される。パラメータ主導の所謂スペクトルのインテリジェント・ギャップ充填（ＩＧＦ）を、符号器から復号器へと伝送された専用のサイド情報によって制御するために、非常に限定的なビット予算が消費される。 更なる実施形態において、時間ドメイン符号化／復号化プロセッサは、低いサンプリングレートと対応する帯域幅拡張機能とに依拠している。 更なる実施形態においては、現時点で処理されつつある周波数ドメインの符号器／復号器信号から導出される初期化データを用いて時間ドメインの符号器／復号器を初期化するために、クロスプロセッサが提供される。これにより、現時点で処理されつつあるオーディオ信号部分が周波数ドメイン符号器により処理されている場合、並行する時間ドメイン符号器が初期化されて、周波数ドメイン符号器から時間ドメイン符号器への切換えが行われたときに、この時間ドメイン符号器が処理を開始できるようになる。なぜなら、以前の信号に関係する全ての初期化データが、クロスプロセッサによって既に存在するからである。このクロスプロセッサは、好ましくは符号器側で適用され、追加的に復号器側でも適用され、また好ましくは周波数−時間変換を使用する。その変換は、ドメイン信号の所定の低帯域部分を所定の低減された変換サイズと共に選択するだけで、高い出力又は入力サンプリングレートから、低い時間ドメインコア符号器サンプリングレートへの、非常に効率的なダウンサンプリングを追加的に実行するものである。このように、高サンプリングレートから低サンプリングレートへのサンプリングレート変換が非常に効率的に実行され、低減された変換サイズでの変換によって得られたこの信号は、次に時間ドメイン符号器／復号器を初期化するために使用可能となり、その結果、時間ドメイン符号化がコントローラによって信号伝達され、かつ直前のオーディオ信号部分が周波数ドメインで符号化されていた場合に、時間ドメイン符号器／復号器が時間ドメイン符号化を即座に実行できるよう準備が整った状態になる。 このように、本発明の好ましいスペクトルギャップ充填を含む知覚的オーディオ符号器と、帯域幅拡張を持つ又は持たない時間ドメイン符号器との、切れ目ない切換えを可能にする。 このように、本発明は、周波数ドメイン符号器内でオーディオ信号からカットオフ周波数より高い高周波コンテンツを取り除くことに限定されず、寧ろ、符号器内ではスペクトルギャップを残してスペクトル帯域通過領域を信号適応的に取り除き、その後でこれらのスペクトルギャップを復号器において復元する、方法に依拠している。好ましくは、全帯域幅オーディオ符号化とスペクトルギャップ充填とを特にＭＤＣＴ変換ドメインで効率的に結合させるインテリジェント・ギャップ充填のような統合型の解決策が使用される。 このように、本発明は、スピーチ符号化及びその後続の時間ドメイン帯域幅拡張と、スペクトルギャップ充填を含む全帯域波形復号化とを、切換え可能な知覚的符号器／復号器へと結合させるための、改善された概念を提供する。 このように、既存の方法とは対照的に、新たな概念は、変換ドメイン符号器における全帯域オーディオ信号波形符号化を利用し、同時に、好ましくは時間ドメイン帯域幅拡張へと続くスピーチ符号器への切れ目ない切換えを可能にする。 本発明の更なる固定の帯域制限に起因して発生する上述した問題を回避する。この概念は、スペクトルギャップ充填を備えた周波数ドメインの全帯域波形符／復号器と、低いサンプリングレートのスピーチ符／復号器及び時間ドメイン帯域幅拡張との切換え可能な組合せを可能にする。そのような符／復号器は、オーディオ入力信号のナイキスト周波数までの全オーディオ帯域幅を提供する、上述した問題のある信号を波形符号化することができる。しかしながら、両方の符号化方式の間の切れ目ない切換えは、特にクロスプロセッサを有する実施形態により保証される。この切れ目ない切換えのために、クロスプロセッサは、符号器と復号器との両方において、全帯域可能な全レート（入力サンプリングレート）周波数ドメイン符号器と、低いサンプリングレートを有する低レートＡＣＥＬＰ符号器と、の間のクロス接続を表現するものであり、ＴＣＸのような周波数ドメイン符号器からＡＣＥＬＰのような時間ドメイン符号器へと切り換える場合に、特に適応型符号帳、ＬＰＣフィルタ又はリサンプリングステージ内のＡＣＥＬＰパラメータ及びバッファを適切に初期化する。 本発明の実施形態について、添付の図面を参照しながら以下に説明する。

課題を解決するための手段[発明の詳細な説明]から抜粋