特許 6138742 多チャンネルデジタル音声符号化装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6138742

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】多チャンネルデジタル音声符号化装置および方法

(51)【国際特許分類】

   G10L 19/038 20130101AFI20170522BHJP

   G10L 19/025 20130101ALI20170522BHJP

   H03M 7/42 20060101ALI20170522BHJP

【ＦＩ】

   G10L19/038

   G10L19/025

   H03M7/42

【請求項の数】19

【外国語出願】

【全頁数】32

(21)【出願番号】特願2014-224568(P2014-224568)

(22)【出願日】2014年11月4日

(62)【分割の表示】特願2013-195988(P2013-195988)の分割

【原出願日】2005年9月14日

(65)【公開番号】特開2015-64589(P2015-64589A)

(43)【公開日】2015年4月9日

【審査請求日】2014年12月2日

(31)【優先権主張番号】60/610,674

(32)【優先日】2004年9月17日

(33)【優先権主張国】US

(31)【優先権主張番号】11/029,722

(32)【優先日】2005年1月4日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】509047236

【氏名又は名称】デジタル ライズ テクノロジー シーオー．，エルティーディー．

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(72)【発明者】

【氏名】ヨウ、ユリ

【審査官】 五貫 昭一

(56)【参考文献】

【文献】 特開２０００−２１４８９０（ＪＰ，Ａ）

【文献】 特開平１０−５５１９９（ＪＰ，Ａ）

【文献】 特開２００２−３３００７５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／０３８

Ｇ１０Ｌ １９／０２５

Ｈ０３Ｍ ７／４２

(57)【特許請求の範囲】

【請求項1】

デジタル音声信号を符号化する方法であって、
音声信号の入力サンプルを周波数領域における音声信号を表すサブバンドサンプルに変換するように、前記入力サンプルを解析フィルタバンクを用いて処理する処理ステップと、
前記サブバンドサンプルを量子化することにより量子化インデックスを生成する生成ステップと、
複数の量子化インデックスのそれぞれに最適なコードブックを割り当て、これにより前記複数の量子化インデックスをコードブックインデックスに変換する割当ステップと、
前記コードブックインデックスをコードブックの適用範囲を規定する境界を有するセグメントに分割する分割ステップと、
コードブックインデックスの孤立したポケットをその直近のコードブックインデックスに変更することで前記孤立したポケットを除去し、これにより前記直近のコードブックの適用範囲を拡張する除去ステップと、
前記量子化インデックスを、前記除去ステップでの変更も含めて、それぞれの適用範囲内で適用可能なコードブックを用いて符号化する符号化ステップと、
前記符号化された量子化インデックスと、前記コードブックインデックスと、それぞれのコードブックの適用範囲とを含む符号化データストリームを生成するステップと、
前記符号化データストリームの記憶および送信の少なくともいずれか一方を行うステップと、
を含むことを特徴とする方法。

【請求項2】

前記処理ステップは、高周波数分解能モードと低周波数分解能モードとの間で選択的に切り替えが可能な可変分解能フィルタバンクを用いるステップを含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記処理ステップは、また、過渡を検出するステップを含み、過渡が検出されなかった場合には前記高周波数分解能モードを用い、過渡が検出された場合には前記可変分解能フィルタバンクを前記低周波数分解能モードに切り替えることを特徴とする請求項２に記載の方法。

【請求項4】

前記可変分解能フィルタバンクを前記低周波数分解能モードに切り替えると、サブバンドサンプルが準定常セグメントに分割されることを特徴とする請求項３に記載の方法。

【請求項5】

任意の分解能フィルタバンクまたは適応差分パルス符号変調（ＡＤＰＣＭ）を、前記準定常セグメントの個々のセグメント内の対応するサブバンドサンプルに適用するステップを含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記可変分解能フィルタバンクは、ショートウィンドウから隣接した別のショートウィンドウへの移行をつなぐことが可能なロングウィンドウを含み、ロングウィンドウ１つ分だけ離れた過渡を扱うように構成されていることを特徴とする請求項５に記載の方法。

【請求項7】

前記処理ステップは、過渡が検出された場合に１つのフレームにおいて複数の分解能を適用することができるように、高周波数分解能モードと、低周波数分解能モードと、中間周波数分解能モードとの間で選択的に切り替えが可能な可変分解能フィルタバンクを用いるステップを含むことを特徴とする請求項１に記載の方法。

【請求項8】

前記量子化インデックスを生成する前記生成ステップは、量子化雑音パワーがマスキング閾値を下回るようにサブバンドサンプルのグループにビットリソースを割り当てるビットアロケータによって供給されるステップサイズを用いるステップを含むことを特徴とする請求項１に記載の方法。

【請求項9】

フレームにおいて過渡が存在する場合に、量子化インデックスを再配置し、合計ビット数を減少させるステップを含むことを特徴とする請求項１に記載の方法。

【請求項10】

ランレングス符号器を用いて前記コードブックの適用境界を符号化するステップを含むことを特徴とする請求項１に記載の方法。

【請求項11】

過渡が検出された場合に、過渡セグメンテーションアルゴリズムを適用するステップを含むことを特徴とする請求項１に記載の方法。

【請求項12】

前記符号化データストリームを生成するステップは、マルチプレクサを用いて行われることを特徴とする請求項１に記載の方法。

【請求項13】

前記コードブックの適用範囲は、それぞれ異なる量子化ユニットを規定する複数のブロック量子化境界とは独立であり、任意の所与の量子化ユニット内にある全てのサブバンドサンプルは同じステップサイズを用いて量子化されることを特徴とする請求項１に記載の方法。

【請求項14】

前記コードブックの適用範囲は量子化インデックスのみに基づくことを特徴とする請求項１に記載の方法。

【請求項15】

前記符号化データストリームに前記コードブックの適用範囲を含める前に前記コードブックの適用範囲を符号化するステップを更に有することを特徴とする請求項１に記載の方法。

【請求項16】

前記処理ステップでは、複数の入力チャンネルを用いた処理を含むことを特徴とする請求項１に記載の方法。

【請求項17】

前記複数の入力チャンネルを用いた処理は、入力音声信号の左右チャンネルから和チャンネルと差チャンネルとを生成する処理を含むことを特徴とする請求項１６に記載の方法。

【請求項18】

デジタル音声信号を符号化するためのコンピュータ実行可能なプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、前記プログラムは、
音声信号の入力サンプルを周波数領域における音声信号を表すサブバンドサンプルに変換するように、前記入力サンプルを解析フィルタバンクを用いて処理する処理ステップと、
前記サブバンドサンプルを量子化することにより量子化インデックスを生成する生成ステップと、
複数の量子化インデックスのそれぞれに最適なコードブックを割り当て、これにより前記複数の量子化インデックスをコードブックインデックスに変換する割当ステップと、
前記コードブックインデックスをコードブックの適用範囲を規定する境界を有するセグメントに分割する分割ステップと、
コードブックインデックスの孤立したポケットをその直近のコードブックインデックスに変更することで前記孤立したポケットを除去し、これにより前記直近のコードブックの適用範囲を拡張する除去ステップと、
前記量子化インデックスを、前記除去ステップでの変更も含めて、それぞれの適用範囲内で適用可能なコードブックを用いて符号化する符号化ステップと、
前記符号化された量子化インデックスと、前記コードブックインデックスと、それぞれのコードブックの適用範囲とを含む符号化データストリームを生成するステップと、
前記符号化データストリームの記憶および送信の少なくともいずれか一方を行うステップと、
をコンピュータに実行させるためのプログラムを含むことを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項19】

デジタル音声信号を符号化する装置であって、
音声信号の入力サンプルを周波数領域における音声信号を表すサブバンドサンプルに変換するように、前記入力サンプルを解析フィルタバンクを用いて処理する処理手段と、
前記サブバンドサンプルを量子化することにより量子化インデックスを生成する生成手段と、
複数の量子化インデックスのそれぞれに最適なコードブックを割り当て、これにより前記複数の量子化インデックスをコードブックインデックスに変換する割当手段と、
前記コードブックインデックスをコードブックの適用範囲を規定する境界を有するセグメントに分割する分割手段と、
コードブックインデックスの孤立したポケットをその直近のコードブックインデックスに変更することで前記孤立したポケットを除去し、これにより前記直近のコードブックの適用範囲を拡張する除去手段と、
前記量子化インデックスを、前記除去手段によって行われた変更も含めて、それぞれの適用範囲内で適用可能なコードブックを用いて符号化する符号化手段と、
前記符号化された量子化インデックスと、前記コードブックインデックスと、それぞれのコードブックの適用範囲とを含む符号化データストリームを生成する手段と、
前記符号化データストリームの記憶および送信の少なくともいずれか一方を行う手段と、
を有することを特徴とする符号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、多チャンネルデジタル音声信号の符号化および複合化のための方法およびシステムに関する。より詳細には、本発明は、効率的な送信または格納のために多チャンネル音声信号のビットレートを大幅に低減しつつ、トランスペアレントな音声信号再生を実現する、すなわち、復号器側で再生される音声信号は専門的な聴取者でさえ元の信号と区別することができない、低ビットレートデジタル音声符号化システムに関する。

【背景技術】

【0002】

通常、多チャンネルデジタル符号化システムは以下の構成要素からなる：入力ＰＣＭ（パルス符号変調）サンプルの周波数表現、呼出サブバンドサンプルまたはサブバンド信号を生成する時間・周波数解析フィルタバンク；人間の耳の知覚特性に基づいて、それ未満では量子化雑音が聞こえる見込みのないマスキング閾値を算出する聴覚心理モデル；結果として得られる量子化雑音パワーがマスキング閾値未満となるようにサブバンドサンプルの各グループにビットリソースを割当てるグローバルビットアロケータ；割当てられたビットに応じてサブバンドサンプルを量子化する多数の量子化器；量子化インデックスにおける統計的冗長度を低減する多数のエントロピー符号器；および、最後に、量子化インデックスのエントロピー符号およびその他のサイド情報を完全なビットストリームにパッキングするマルチプレクサ。

【0003】

例えば、ドルビーＡＣ−３は、ウィンドウサイズの切り替えが可能な高周波数分解能ＭＤＣＴ（変形離散コサイン変換）フィルタバンクを用いて、入力ＰＣＭサンプルを周波数領域にマッピングする。定常信号は５１２ポイントのウィンドウで解析され、過渡信号は２５６ポイントのウィンドウで解析される。ＭＤＣＴからのサブバンド信号は、指数／仮数で表され、続いて量子化される。量子化を最適化し、ビット割当情報の符号化に必要なビットを低減するために、可逆的適応聴覚心理モデルが用いられている。復号器の複雑度を低減するために、エントロピー符号化は用いられていない。最後に、量子化インデックスおよびその他のサイド情報が完全なＡＣ−３ビットストリームに多重化される。ＡＣ−３で構成されるような適応ＭＤＣＴの周波数分解能は入力信号特性に良好に一致していないため、その圧縮性能は非常に限られている。圧縮性能が限られているもう１つの要因は、エントロピー符号化が用いられていないことである。

【0004】

ＭＰＥＧ１および２のレイヤＩＩＩ（ＭＰ３）では、各サブバンドフィルタの後に６ポイントと１８ポイントとの間で切り替わる適応ＭＤＣＴが続く、３２バンドのポリフェーズフィルタバンクが用いられている。そのビット割当および不均一なスカラー量子化を実現するために、複雑な聴覚心理モデルが用いられている。量子化インデックスおよびその他のサイド情報の多くの符号化には、ハフマン符号が用いられている。ハイブリッドフィルタバンクによる周波数分離が不十分であることにより、その圧縮性能は著しく限られており、アルゴリズムの複雑性は高い。

【0005】

ＤＴＳコヒーレントアコースティック（DTS Coherent Acoustics）では、３２バンドのポリフェーズフィルタバンクを用いて、入力信号の低分解能周波数表現が得られる。この不十分な周波数分解能を補うために、各サブバンドにおいてＡＤＰＣＭ（適応差分パルス符号変調）が必要に応じて用いられる。直接サブバンドサンプルに対して、あるいは、ＡＤＰＣＭによって良好な符号化利得が得られる場合には予測残余に対して、均一なスカラー量子化が適用される。必要に応じて、高周波数サブバンドに対してベクトル量子化を適用してもよい。必要に応じて、スカラー量子化インデックスおよびその他のサイド情報に対してハフマン符号を適用してもよい。ポリフェーズフィルタバンクにＡＤＰＣＭを加えた構造では、良好な時間・周波数分解能は決して得られないため、その圧縮性能は低い。

【0006】

ＭＰＥＧ２ ＡＡＣおよびＭＰＥＧ４ ＡＡＣでは、ウィンドウサイズが２５６および２０４８の間で切り替え可能な適応ＭＤＣＴフィルタバンクが用いられている。その均一なスカラー量子化およびビット割当を実現するために、聴覚心理モデルによって生成されるマスキング閾値が用いられている。量子化インデックスおよびその他のサイド情報の符号化には、ハフマン符号が用いられている。その圧縮性能をさらに向上させるために、ＴＮＳ（瞬時ノイズ整形）、利得制御（ＭＰ３と同様のハイブリッドフィルタバンク）、スペクトル予測（サブバンド内での線形予測）といったその他の多くのツールボックスが用いられているが、アルゴリズムの複雑性が著しく高くなる。

【発明の開示】

【発明が解決しようとする課題】

【0007】

したがって、効率的な送信または格納のために多チャンネル音声信号のビットレートを大幅に低減させつつ、トランスペアレントな音声信号再生を実現する低ビットレートの音声符号化システムが引き続き必要とされている。本発明は、この必要性を満たすとともに、その他の関連した利点を提供する。

【課題を解決するための手段】

【0008】

発明の要旨 以下の記載を通して、「解析／合成フィルタバンク」等の用語は、時間・周波数解析／合成を行う装置および方法を意味する。これには以下が含まれるが、これらに限定されるものではない。

【0009】

−ユニタリ変換、
−臨界標本化された、均一もしくは不均一なバンドパスフィルタの時不変または時変バンク、
−高調波または正弦波解析装置／合成装置。

【0010】

ポリフェーズフィルタバンク、ＤＦＴ（離散フーリエ変換）、ＤＣＴ（離散コサイン変換）およびＭＤＣＴは、広く用いられているフィルタバンクの一部である。「サブバンド信号またはサブバンドサンプル」等の用語は、解析フィルタバンクから出力され、合成フィルタバンクに入力される信号またはサンプルを意味する。

【0011】

本発明の目的は、多チャンネル音声信号の低ビットレート符号化を、現状技術と同レベルの圧縮性能で、かつ低いアルゴリズム複雑性で実現することである。

【0012】

符号器側において、これは以下を含む符号器によって実現される。

【0013】

１）入力ＰＣＭサンプルを、解析フィルタバンクのサブバンド数の倍数のサイズを有し、継続時間が２から５０ｍｓの範囲である準定常フレームにセグメント化するフレーマ。

【0014】

２）フレームにおける過渡の存在を検出する過渡検出器。一つの実施形態は、低周波数分解能モードにおける解析フィルタバンクのサブバンドサンプルから得られるサブバンド距離基準を閾値化することに基づいている。

【0015】

３）入力ＰＣＭサンプルをサブバンドサンプルに変換する可変分解能解析フィルタバンク。以下のうち１つを用いて実現され得る。

【0016】

ａ）高、中間および低周波数分解能モード間で動作の切り替えが可能なフィルタバンク。高周波数分解能モードは定常フレームに用いられ、中間および低周波数分解能モードは過渡を含むフレームに用いられる。過渡フレーム内では、過渡セグメントに低周波数分解能モードが適用され、フレームの残りには中間分解能モードが適用される。このフレームワークにおいては、以下の３つのタイプのフレームが存在する。

【0017】

ｉ）定常フレームを処理するための高周波数分解能モードでのみ動作するフィルタバンクを含むフレーム。

【0018】

ｉｉ）過渡フレームを扱うための中間および高時間分解能モードの両方で動作するフィルタバンクによるフレーム。

【0019】

ｉｉｉ）遅い過渡フレームを扱うための中間分解能モードでのみ動作するフィルタバンクによるフレーム。

【0020】

以下の２つの好ましい実施形態が挙げられる。

【0021】

ｉ）上記３段階の分解能が３つのＤＣＴブロック長に対応しているＤＣＴによる実施。

【0022】

ｉｉ）上記３段階の分解能が３つのＭＤＣＴブロック長またはウィンドウ長に対応しているＭＤＣＴによる実施。これらのウィンドウ間の移行をつなぐために様々なウィンドウタイプが定義される。

【0023】

ｂ）高および低分解能モード間で動作の切り替えが可能なフィルタバンクに基づくハイブリッドフィルタバンク。

【0024】

ｉ）現在のフレームにおいて過渡が存在しない場合、定常セグメントに対する高圧縮性能を保証するために、高周波数分解能モードに切り替わる。

【0025】

ｉｉ）現在のフレームにおいて過渡が存在する場合、前エコーアーティファクトを避けるために、低周波数分解能／高時間分解能モードに切り替わる。この低周波数分解能モードの後には、サブバンドサンプルを定常セグメントにセグメント化する過渡セグメント化段階がさらに続き、その後に、（選択された場合には）各定常セグメントにあわせて調整された周波数分解能を実現する任意分解能フィルタバンクまたはＡＤＰＣＭのいずれかが各サブバンドにおいて必要に応じて続く。

【0026】

２つの実施形態が挙げられ、１つはＤＣＴに、もう１つはＭＤＣＴに基づいている。

【0027】

過渡セグメント化の２つの実施形態が得られ、１つは閾値化に、もう１つはｋ平均アルゴリズムに基づいており、両方においてサブバンド距離基準が用いられている。

【0028】

２）マスキング閾値を算出する聴覚心理モデル。

【0029】

３）左右チャンネル対におけるサブバンドサンプルを和差チャンネル対に変換する、オプションの和差符号器。

【0030】

４）ソースチャンネルに対する結合チャンネルの強度スケールファクタ（ステアリングベクトル）を抽出し、結合チャンネルをソースチャンネルにマージし、結合チャンネルにおけるそれぞれのサブバンドサンプルを破棄する、オプションの結合強度符号器。

【0031】

５）サブバンドサンプルのグループに、それらの量子化雑音パワーがマスキング閾値未満となるようにビットリソースを割り当てるグローバルビットアロケータ。

【0032】

６）ビットアロケータによって供給されるステップサイズを用いて全てのサブバンドサンプルを量子化するスカラー量子化器。

【0033】

７）合計ビット数を減小させるため、フレームにおいて過渡が存在する場合に量子化インデックスを再配置するために必要に応じて用いられ得る、オプションのインタリーバ。

【0034】

８）量子化インデックスのグループに、それらの局所的統計特性に基づいて、コードブックのライブラリから最適なコードブックを割り当てるエントロピー符号器。以下のステップを含む。

【0035】

ａ）各量子化インデックスに最適なコードブックを割り当て、それにより、実質的に、量子化インデックスをコードブックインデックスに変換する。

【0036】

ｂ）これらのコードブックインデックスを、境界がコードブックの適用範囲を規定している大きいセグメントにセグメント化する。

【0037】

好ましい一実施形態について、以下に説明する。

【0038】

ｃ）量子化インデックスを、それぞれが一定数の量子化インデックスで構成されるグラニュールにブロック化する。

【0039】

ｄ）各グラニュールに対する最大コードブック要件を決定する。

【0040】

ｅ）グラニュールに、その最大コードブック要件を収容可能な最小のコードブックを割り当てる。

【0041】

ｆ）最も隣接するコードブックインデックスよりも小さいコードブックインデックスの孤立したポケットを削除する。ゼロ量子化インデックスに対応するコードブックインデックスに深い窪みを有する孤立したポケットは、この処理から除外してもよい。

【0042】

コードブックの適用範囲を符号化するための好ましい一実施形態は、ランレングス符号の使用である。

【0043】

９）エントロピーコードブック選択装置によって決定されるコードブックおよびそれらの適用可能範囲を用いて、全ての量子化インデックスを符号化するエントロピー符号器。

【0044】

１０）量子化インデックスおよびサイド情報の全てのエントロピー符号を、量子化インデックスが量子化ステップサイズに対するインデックスの前にくるような構造を有する完全なビットストリームにパッキングするマルチプレクサ。この構造により、各過渡セグメントに対する量子化ユニット数をビットストリームにパッキングする必要がなくなる。なぜなら、量子化ユニット数は、アンパッキングされた量子化インデックスから回収できるからである。

【0045】

本発明の復号器は以下を含む。

【0046】

１）ビットストリームから様々な語をアンパッキングするＤＥＭＵＸ。

【0047】

２）量子化インデックスに対するエントロピーコードブックおよびそれらのそれぞれの適用範囲をビットストリームから復号化する量子化インデックスコードブック復号器。

【0048】

３）ビットストリームから量子化インデックスを復号化するエントロピー復号器。

【0049】

４）現在のフレームにおいて過渡が存在する場合に、必要に応じて量子化インデックスを再配置する、オプションのデインタリーバ。

【0050】

５）以下のステップによって、量子化インデックスから各過渡セグメントに対する量子化ユニット数を復元する量子化ユニット数復元装置。

【0051】

ａ）各過渡セグメントに対し、非ゼロ量子化インデックスを有する最大サブバンドを見つける。

【0052】

ｂ）このサブバンドを収容可能な最小臨界帯域を見つける。これは、この過渡セグメントに対する量子化ユニット数である。

【0053】

６）全ての量子化ユニットに対する量子化ステップサイズをアンパッキングするステップサイズアンパッキング装置。

【0054】

７）量子化インデックスおよびステップサイズからサブバンドサンプルを復元する逆量子化器。

【0055】

８）結合強度スケールファクタ（ステアリングベクトル）を用いて、ソースチャンネルのサブバンドサンプルから結合チャンネルのサブバンドサンプルを復元する、オプションの結合強度復号器。

【0056】

９）和差チャンネルのサブバンドサンプルから左右チャンネルのサブバンドサンプルを復元する、オプションの和差復号器。

【0057】

１０）サブバンドサンプルから音声ＰＣＭサンプルを復元する可変分解能合成フィルタバンク。以下によって実現され得る。

【0058】

ａ）高、中間および低分解能モード間で動作の切り替えが可能な合成フィルタバンク。

【0059】

ｂ）高および低分解能モード間で切り替えが可能な合成フィルタバンクに基づくハイブリッド合成フィルタバンク。

【0060】

ｉ）ビットストリームが、現在のフレームが低周波数分解能モードの切替可能分解能解析フィルタバンクを用いて符号化されたことを示す場合、この合成フィルタバンクは二段階ハイブリッドフィルタバンクであり、第１の段階は、任意分解能合成フィルタバンクまたは逆ＡＤＰＣＭのいずれかであり、第２の段階は、高および低周波数分解能モード間で切り替えが可能な適応合成フィルタバンクの低周波数分解能モードである。

【0061】

ｉｉ）ビットストリームが、現在のフレームが高周波数分解能モードの切替可能分解能解析フィルタバンクを用いて符号化されたことを示す場合、この合成フィルタバンクは、単に、高周波数分解能モードにある切替可能分解能合成フィルタバンクである。

【0062】

最後に、本発明は、切替可能分解能解析フィルタバンクの高周波数分解能モードが符号器によって禁止され、かつその後フレームサイズが低周波数分解能モードの切替可能分解能フィルタバンクのブロック長またはその倍数に縮小される場合に使用可能となる低符号化遅延モードを実現する。

【0063】

本発明によれば、多チャンネルデジタル音声信号を符号化するための方法は、通常、多チャンネルデジタル音声信号からＰＣＭサンプルを生成し、ＰＣＭサンプルをサブバンドサンプルに変換するステップを含む。サブバンドサンプルを量子化することにより、境界を有する複数の量子化インデックスが生成される。量子化インデックスは、各量子化インデックスに、予め設計されたコードブックのライブラリから、当該量子化インデックスを収容可能な最小のコードブックを割り当てることにより、コードブックインデックスに変換される。コードブックインデックスは、格納または送信のために符号化データストリームを生成する前に、セグメント化および符号化される。

【0064】

典型的には、ＰＣＭサンプルは、継続時間が２から５０ミリ秒（ｍｓ）である準定常フレームに入力される。例えば聴覚心理モデルを用いてマスキング閾値が算出される。ビットアロケータは、量子化雑音パワーがマスキング閾値未満となるようにサブバンドサンプルのグループにビットリソースを割り当てる。

【0065】

変換ステップは、高および低周波数分解能モード未満で選択的に切り替えが可能な分解能フィルタバンクを用いるステップを含む。過渡の検出が行われ、過渡が検出されない場合には、高周波数分解能モードが用いられる。しかし、過渡が検出される場合は、分解能フィルタバンクは、低周波数分解能モードに切り替えられる。分解能フィルタバンクを低周波数分解能モードに切り替えると、サブバンドサンプルは、定常セグメントにセグメント化される。各定常セグメントに対する周波数分解能は、任意分解能フィルタバンクまたは適応差分パルス符号変調を用いて調整される。

【0066】

フレームにおいて過渡が存在する場合には、合計ビット数を減少させるために、量子化インデックスを再配置してもよい。最適なエントロピーコードブックの適用境界を符号化するために、ランレングス符号器を用いることができる。セグメンテーションアルゴリズムを用いてもよい。

【0067】

左右チャンネル対におけるサブバンドサンプルを和差チャンネル対に変換するために、和差符号器を用いてもよい。また、ソースチャンネルに対する結合チャンネルの強度スケールファクタを抽出し、結合チャンネルをソースチャンネルにマージし、結合チャンネルにおける全ての関連するサブバンドサンプルを破棄するために、結合強度符号器を用いてもよい。

【0068】

典型的には、完全なデータストリームを生成するための組み合わせステップは、符号化デジタル音声信号を復号器に格納するかまたは送信する前に、マルチプレクサを用いて行なわれる。

【0069】

音声データビットストリームを復号化するための方法は、符号化音声データストリームを受信し、デマルチプレクサ等を用いてこのデータストリームをアンパッキングするステップを含む。エントロピーコードブックインデックスおよびそれらのそれぞれの適用範囲が復号化される。これには、ランレングス復号器およびエントロピー復号器が用いられ得る。これらは、量子化インデックスの復号化にさらに用いられる。

【0070】

量子化インデックスは、現在のフレームにおいて過渡が検出される場合には、例えばデインタリーバを用いて再配置される。次に、復号化された量子化インデックスからサブバンドサンプルが復元される。低および高周波数分解能モード間で切り替えが可能な可変分解能合成フィルタバンクを用いて、復元されたサブバンドサンプルから音声ＰＣＭサンプルが復元される。データストリームが、現在のフレームが低周波数分解能モードの切替可能分解能解析フィルタバンクを用いて符号化されたことを示す場合、可変合成分解能フィルタバンクは、二段階ハイブリッドフィルタバンクとして機能し、第１の段階は、任意分解能合成フィルタバンクまたは逆適応差分パルス符号変調のいずれかを含み、第２の段階は、可変合成フィルタバンクの低周波数分解能モードである。データストリームが、現在のフレームが高周波数分解能モードの切替可能分解能解析フィルタバンクを用いて符号化されたことを示す場合、可変分解能合成フィルタバンクは、高周波数分解能モードで動作する。

【0071】

結合強度スケールファクタを用いてソースチャンネルのサブバンドサンプルから結合チャンネルのサブバンドサンプルを復元するために、結合強度復号器を用いてもよい。また、和差チャンネルのサブバンドサンプルから左右チャンネルのサブバンドサンプルを復元するために、和差復号器を用いてもよい。

【0072】

本発明により、効率的な送信のために多チャンネル音声信号のビットレートを大幅に低減しつつ、元の信号と区別できないようなトランスペアレントな音声信号再生を実現する低ビットレートのデジタル音声符号化システムが提供される。

【0073】

本発明のその他の特徴および利点は、本発明の原理を例証として示す添付の図面と併せた、以下のより詳細な説明により明らかとなるであろう。

【発明を実施するための最良の形態】

【0074】

好ましい実施形態の詳細な説明 説明のための添付の図面に示すように、本発明は、効率的な送信または格納のために多チャンネル音声信号のビットレートを大幅に低減しつつ、トランスペアレントな音声再生を実現する、低ビットレートデジタル音声符号化および復号化システムに関する。すなわち、復号化された多チャンネル音声信号のビットレートは、アルゴリズムの複雑性が低いシステムを用いることによって低減され、しかも、復号器側で再生される音声信号は、専門的な聴取者でさえ元の音声と区別することができない。

【0075】

図１に示すように、本発明の符号器５は、多チャンネル音声信号を入力として受け取り、限られたチャンネル容量を有する媒体上での送信または格納に適した大幅に低減されたビットレートのビットストリームにそれらを符号化する。復号器１０は、符号器５によって生成されたビットストリームを受信すると、これを復号化し、専門的な聴取者でさえ元の信号と区別できないような多チャンネル音声信号を復元する。

【0076】

符号器５および復号器１０の内部では、多チャンネル音声信号は、離散的なチャンネルとして処理される。すなわち、各チャンネルは、結合チャンネル符号化２が明確に指定されない限り、他のチャンネルと同様に扱われる。これを、非常に簡略化された符号器構造および復号器構造によって図１に示す。

【0077】

この非常に簡略化された符号器構造を用いて、符号化処理について以下に説明する。各チャンネルからの音声信号は、まず、解析フィルタバンク段階１においてサブバンド信号に分解される。全てのチャンネルからのサブバンド信号は、同じ周波数帯域に対応する異なるチャンネルからのサブバンド信号を混合することによりビットレートを低減するという人間の耳の知覚特性を利用する結合チャンネル符号器２に必要に応じて送られる。２において結合符号化され得るサブバンド信号は、次に、３において量子化およびエントロピー符号化される。全てのチャンネルからの量子化インデックスまたはそれらのエントロピー符号、およびサイド情報が、次に、４において、完全なビットストリームに多重化され、送信または格納される。

【0078】

復号化側では、上記ビットストリームは、まず、６においてサイド情報、および量子化インデックスまたはそれらのエントロピー符号に多重分離される。エントロピー符号は、７において復号化される（なお、ハフマン符号等の接頭コードのエントロピー復号化、および多重分離は、通常、１つの統合されたステップにおいて行なわれる）。７において、量子化インデックスおよびサイド情報内に含まれるステップサイズからサブバンド信号が復元される。結合チャンネル符号化が符号器において行なわれた場合、８において結合チャンネル復号化が行なわれる。次に、合成段階９において、各チャンネルに対する音声信号が、サブバンド信号から復元される。

【0079】

上記の非常に簡略化された符号器構造および復号器構造は、本発明において提示した符号化および復号化方法の離散的な性質を説明するためにのみ用いられている。音声信号の各チャンネルに実際に適用される符号化および復号化方法は、これらとは非常に異なり、かつより複雑である。以下において、これらの方法は、特に明記しない限り、音声信号の１つのチャンネルという状況において説明されている。

【0080】

符号器
音声信号の１つのチャンネルを符号化するための一般的な方法を図２に示し、以下に説明する。

【0081】

フレーマ１１は、入力ＰＣＭサンプルを継続時間が２から５０ｍｓの範囲である準定常フレームにセグメント化する。１つのフレームにおけるＰＣＭサンプルの正確な数は、可変分解能時間・周波数解析フィルタバンク１３で用いられる各種フィルタバンクのサブバンドの最大値の倍数でなければならない。サブバンドの最大数をＮとすると、１つのフレームにおけるＰＣＭサンプル数は、以下のようになる。

【0082】

Ｌ＝ｋ・Ｎ 但し、ｋは、正の整数である。

【0083】

過渡解析１２は、現在の入力フレームにおける過渡の存在を検出し、この情報を可変分解能解析バンク１３に送る。

【0084】

ここでは、任意の公知の過渡検出方法を用いてもよい。本発明の一実施形態において、ＰＣＭサンプルの入力フレームは、可変分解能解析フィルタバンクの低周波数分解能モードに送られる。（ｍ，ｎ）がこのフィルタバンクからの出力サンプルを示し、ｍはサブバンドインデックスであり、ｎはサブバンド領域における時間インデックスであるとする。以下の記述を通して、「過渡検出距離」等の用語は、各時間インデックス対して定義された以下の距離基準を意味する。

【0085】

【数1】

【0086】

但し、Ｍは、フィルタバンクに対するサブバンド数である。その他の種類の距離基準も同様に適用することができる。

【0087】

【数2】

【0088】

がこの距離の値の最大値および最小値であるとすると、以下の場合に過渡の存在が宣言される。

【0089】

【数3】

【0090】

但し、閾値は０.５に設定し得る。

【0091】

本発明は、可変分解能解析フィルタバンク１３を利用している。可変分解能解析フィルタバンクを実施するための多くの公知の方法が存在する。その主たるものは、高および低周波数分解能モード間で動作の切り替えが可能なフィルタバンクの使用であり、高周波数分解能モードは音声信号の定常セグメントを扱い、低周波数分解能モードは過渡を扱う。しかし、理論的および実用的な制限により、このような分解能の切替を時間的に任意に行なうことはできない。むしろ、これは、通常、フレーム境界において行なわれる、すなわち、フレームは、高周波数分解能モードまたは低周波数分解能モードのいずれかによって処理される。図７に示すように、過渡フレーム１３１に対しては、前エコーアーティファクトを避けるために、フィルタバンクは低周波数分解能モードに切り替わっている。過渡１３２それ自体は非常に短いものの、フレームの過渡前１３３および過渡後１３４のセグメントは、それよりもかなり長いため、低周波数分解能モードのフィルタバンクは、明らかに、これらの定常セグメントには不適合である。これにより、フレーム全体に対して達成され得る総符号化利得が大幅に制限される。

【0092】

この問題に対処するために、本発明により３つの方法が提案される。基本的な概念は、１つの過渡フレームの定常的な大部分に対し、切替可能な分解能構造の範囲内でより高周波数分解能を与えるということである。

【0093】

ハーフハイブリッドフィルタバンク
図３に示すように、これは、高および低周波数分解能モード間で切り替えが可能な切替可能分解能解析フィルタバンク２８で構成されるハイブリッドフィルタバンクであり、低周波数分解能モードすなわち、高時間分解能モード２４においては、この後に、過渡セグメント化セクション２５、その次に、各サブバンドにおいて、オプションである任意分解能解析フィルタバンク２６が続く。

【0094】

過渡検出器１２が過渡の存在を検出しない場合、切替可能分解能解析フィルタバンク２８は、低時間分解能モード２７に入り、これにより、強いトーン成分を有する音声信号に対して高い符号化利得を実現する高周波数分解能が確保される。

【0095】

過渡検出器１２が過渡の存在を検出すると、切替可能分解能解析フィルタバンク２８は、高時間分解能モード２４に入る。これにより、過渡は、前エコーを防ぐために良好な時間分解能で扱われることが確実となる。このようにして生成されたサブバンドサンプルは、過渡セグメント化セクション２５によって、図６に示すような準定常セグメントにセグメント化される。以下の記述を通して、「過渡セグメント」等の用語は、これらの準定常セグメントを意味する。この後に、各サブバンドにおける任意分解能解析フィルタバンク２６が続き、そのサブバンド数は、各サブバンドの各過渡セグメントのサブバンドサンプル数に等しい。

【0096】

切替可能分解能解析フィルタバンク２８は、高および低周波数分解能モード間で動作の切り替えが可能な任意のフィルタバンクを用いて実現することができる。本発明の一実施形態では、低周波数分解能および高周波数分解能に対応する短変換長および長変換長を有する一対のＤＣＴが用いられている。変換長をＭとすると、タイプ４のＤＣＴのサブバンドサンプルは以下のようにして得られる。

【0097】

【数4】

【0098】

但し、ｘ（．）は、入力ＰＣＭサンプルである。タイプ４のＤＣＴの代わりにその他の形態のＤＣＴを用いてもよい。

【0099】

ＤＣＴはブロッキングアーティファクトを生じさせやすいため、本発明のより望ましい実施形態では、以下の変形されたＤＣＴ（ＭＤＣＴ）が用いられている。

【0100】

【数5】

【0101】

但し、ｗ（．）は、ウィンドウ関数である。

【0102】

完全な復元を保証するために、ウィンドウ関数は、以下のウィンドウの各半分において動力学的に対称でなくてはならない。

【0103】

ｗ²（ｋ）＋ｗ²（Ｍ−ｋ）＝１ ｋ＝０，．．．，Ｍ−ｌの場合
ｗ²（ｋ＋Ｍ）＋ｗ²（２Ｍ−１−ｋ）＝１ ｋ＝０，．．．，Ｍ−ｌの場合
上記条件を満たす任意のウィンドウを用いることができるが、以下のサインウィンドウのみが、入力信号のＤＣ成分が第１の変換係数に集中する良好な特性を有する。

【0104】

【数6】

【0105】

ＭＤＣＴが高および低周波数モード、すなわちロングウィンドウとショートウィンドウとの間で切り替えられる場合に完全な復元を維持するためには、ロングウィンドウとショートウィンドウとの重なり部分は、同じ形状を有していなければならない。

【0106】

入力ＰＣＭサンプルの過渡特性によっては、符号器は、ロングウィンドウ（図５の第１のウィンドウ６１）を選択し、ショートウィンドウ（図５の第４のウィンドウ６４で示す）のシーケンスに切り替え、そして戻ってもよい。図５のロングからショートへ移行するロングウィンドウ６２およびショートからロングへ移行するロングウィンドウ６３は、このような切替をつなぐために必要とされる。図５のショートからショートへ移行するロングウィンドウ６５は、２つの過渡が互いに非常に近いがショートウィンドウの連続適用を保証するほど近くない場合に有用である。符号器は、ＰＣＭサンプルの復元に同じウィンドウが用いられるよう、各フレームに対して用いられたウィンドウタイプを復号器に伝える必要がある。

【0107】

ショートからショートへ移行するロングウィンドウの利点は、わずかフレーム１つ分だけ離れた過渡を扱うことができることである。図１７の上部６７に示すように、従来技術のＭＤＣＴは、少なくともフレーム２つ分隔たった間隔の過渡を扱うことができる。図１７の下部６８に示すように、このショートからショートへ移行するロングウィンドウを用いて、これをたった１フレームに短縮することができる。

【0108】

本発明では、次に、過渡セグメント化２５が行なわれる。過渡セグメント化は、その値の０から１または１から０への変化を用いて、過渡すなわちセグメント化境界の位置を示す２項関数によって表すことができる。例えば、図６の準定常セグメント化は、以下のように表すことができる。

【0109】

【数7】

【0110】

なお、Ｔ（ｎ）＝０は、時間インデックスｎにおける音声信号エネルギーが高いということを必ずしも意味せず、逆もまた同様である。以下の記述を通して、この関数Ｔ（ｎ）を、「過渡セグメント関数」等と呼ぶ。このセグメント関数によって搬送される情報は、直接または非間接的に復号器に伝えなければならない。０および１のラン長さを符号化するランレングス符号化は、効率的な選択である。上記の具体例の場合、Ｔ（ｎ）は、ランレングス符号５、５および７を用いて復号器に伝えることができる。ランレングス符号を、さらにエントロピー符号化してもよい。

【0111】

過渡セグメント化セクション２５は、任意の公知の過渡セグメント化方法を用いて実現され得る。本発明の一実施形態において、過渡セグメント化は、過渡検出距離の単純な閾値化によって達成することができる。

【0112】

【数8】

【0113】

閾値は、以下のように設定してもよい。

【0114】

【数9】

【0115】

但し、ｋは、調整可能な定数である。

【0116】

本発明のより複雑な実施形態は、以下のステップを含むｋ平均クラスタリングアルゴリズムに基づいている。

【0117】

１）可能であれば上記の閾値化アプローチの結果を用いて、過渡セグメント化関数Ｔ（ｎ）を初期化する。

【0118】

２）各クラスタの質量中心を算出する。

【数10】

【0119】

３）以下の規則に基づいて、過渡セグメント化関数Ｔ（ｎ）を割り当てる。

【0120】

【数11】

【0121】

４）ステップ２に進む。

【0122】

任意分解能解析フィルタバンク２６は、基本的にＤＣＴ等の変換であり、そのブロック長は、各サブバンドセグメントのサンプル数に等しい。１つのフレーム内に１つのサブバンド当たり３２のサブバンドサンプルが存在し、それらが（９、３、２０）としてセグメント化されるとすると、９、３、および２０のブロック長を有する３つの変換が、３つのサブバンドセグメントのそれぞれにおけるサブバンドサンプルにそれぞれ適用されることになる。以下の記述を通して、「サブバンドセグメント」等の用語は、１つのサブバンド内の１つの過渡セグメントのサブバンドサンプルを意味する。ｍ番目のサブバンドの最後のセグメント（９、３、２０）における変換は、タイプ４のＤＣＴを用いて以下のように示すことができる。

【0123】

【数12】

【0124】

この変換により、各過渡セグメント内の周波数分解能が高くなるので、良好な符号化利得が期待される。しかし、多くのケースにおいては、符号化利得は１未満であるかまたは小さすぎる。したがって、このような変換の結果を破棄して、サイド情報によってこの決定を復号器に知らせることが有益であり得る。サイド情報に関連するオーバヘッドのため、変換結果が破棄されるか否かの判定が、サブバンドセグメントのグループに基づいて行なわれる場合、すなわち、この判定を伝えるために、各サブバンドセグメントに対して１ビットを用いる代わりに、サブバンドセグメントグループに対して１ビットを用いる場合、合計符号化利得が向上し得る。

【0125】

以下の記述を通して、「量子化ユニット」等の用語は、同じ聴覚心理臨界帯域に属する過渡セグメント内のサブバンドセグメントの連続したグループを意味する。１つの量子化ユニットは、上記の判定を下すための好適なサブバンドセグメントのまとまりであり得る。これを用いる場合、１つの量子化ユニットにおける全てのサブバンドセグメントに対して合計符号化利得が算出される。符号化利得が１またはそれより高い別の閾値を超える場合、変換結果は、その量子化ユニットにおける全てのサブバンドセグメントについて保持される。そうでない場合、結果は破棄される。この判定を、上記量子化ユニットにおける全てのサブバンドセグメントについて復号器に伝えるために必要なのはたった１ビットである。

【0126】

切替可能フィルタバンク＋ＡＤＰＣＭ
図４に示すように、任意分解能解析フィルタバンク２６の代わりにＡＤＰＣＭ２９が用いられていることを除いて、基本的には図３に示されるものと同じである。サイド情報のコストを削減するため、ここでもまた、ＡＤＰＣＭを用いるべきか否かの判定は量子化ユニット等のサブバンドセグメントのグループに基づいて行なわれる。サブバンドセグメントのグループは、１組の予測係数を共有することすら可能である。ここでは、ＬＡＲ（対数領域比）、ＩＳ（逆正弦）およびＬＳＰ（線スペクトル対）等の、予測係数の量子化のための公知の方法を用いることができる。

【0127】

３モード切替可能フィルタバンク
高および低分解能モードのみを有する通常の切替可能フィルタバンクとは異なり、このフィルタバンクは、高、中間および低分解能モード間で動作の切り替えが可能である。高および低周波数分解能モードは、２モード切替可能フィルタバンクと同じタイプの原則にしたがって、それぞれ、定常フレームおよび過渡フレームへの適用が意図されている。中間分解能モードの主たる用途は、過渡フレーム内の定常セグメントにより良好な周波数分解能を与えることである。したがって、１つの過渡フレーム内では、過渡セグメントに低周波数分解能モードが適用され、フレームの残りには中間分解能モードが適用される。このことは、上記切替可能フィルタバンクは、従来技術とは異なり、単一フレーム内の音声データに対して２つの分解能モードで動作が可能であることを意味している。中間分解能モードは、滑らかな過渡を含むフレームを扱うためにも用いることができる。

【0128】

以下の記述を通して、「ロングブロック」等の用語は、高周波数分解能モードのフィルタバンクが各時刻インスタンスにおいて出力する１つのサンプルブロックを意味し、「ミディアムブロック」等の用語は、中間周波数分解能モードのフィルタバンクが各時刻インスタンスにおいて出力する１つのサンプルブロックを意味し、「ショートブロック」等の用語は、低周波数分解能モードのフィルタバンクが各時刻インスタンスにおいて出力する１つのサンプルブロックを意味する。これら３つの定義を用いて、３つのタイプのフレームを以下のように説明することができる。

【0129】

−定常フレームを扱うために高周波数分解能モードで動作するフィルタバンクによるフレーム。通常、このようなフレームは、それぞれ、１つまたはそれ以上のロングブロックで構成される。

【0130】

−過渡を含むフレームを扱うために高および中間時間分解能モードで動作するフィルタバンクによるフレーム。このようなフレームは、それぞれ、いくつかのミディアムブロックといくつかのショートブロックとで構成される。全ショートブロックに対する合計サンプル数は、１つのミディアムブロックに対するサンプル数の数に等しい。

【0131】

−滑らかな過渡を含むフレームを扱うために中間分解能モードで動作するフィルタバンクによるフレーム。このようなフレームは、いくつかのミディアムブロックで構成される。

【0132】

この新しい方法の利点を図８に示す。これは、図７の低周波数分解能モードによって処理されたセグメント（１４１、１４２、および１４３）の多くが今度は中間周波数分解能モードによって処理されることを除いて、図７に示すものと基本的に同じである。これらのセグメントは定常的であるため、低周波数分解能モードよりも中間周波数分解能モードの方が明らかに適している。したがって、より高い符号化利得が期待される。

【0133】

本発明の一実施形態では、低、中間および高周波数分解能モードに対応する小、中および大ブロック長を有する三つ組のＤＣＴが用いられている。

【0134】

ブロッキング効果の無い、本発明のより望ましい実施形態では、小、中および大ブロック長を有する三つ組のＤＣＴが用いられている。中間分解能モードの導入により、図５に示すものに加えて、図９に示すウィンドウタイプが許可される。これらのウィンドウについて以下に説明する。

【0135】

−ミディアムウィンドウ１５１。
−ロングからミディアムへ移行するロングウィンドウ１５２（ロングウィンドウからミディアムウィンドウへの移行をつなぐロングウィンドウ）。

【0136】

−ミディアムからロングへ移行するロングウィンドウ１５３（ミディアムウィンドウからロングウィンドウへの移行をつなぐロングウィンドウ）。

【0137】

−ミディアムからミディアムへ移行するロングウィンドウ１５４（ミディアムウィンドウから別のミディアムウィンドウへの移行をつなぐロングウィンドウ）。

【0138】

−ミディアムからショートへ移行するミディアムウィンドウ１５５（ミディアムウィンドウからショートウィンドウへの移行をつなぐミディアムウィンドウ）。

【0139】

−ショートからミディアムへ移行するミディアムウィンドウ１５６（ショートウィンドウからミディアムウィンドウへの移行をつなぐミディアムウィンドウ）。

【0140】

−ミディアムからショートへ移行するロングウィンドウ１５７（ミディアムウィンドウからショートウィンドウへの移行をつなぐロングウィンドウ）。

【0141】

−ショートおよびミディアムへ移行するロングウィンドウ１５８（ショートウィンドウからミディアムウィンドウへの移行をつなぐロングウィンドウ）。

【0142】

なお、図５のショートからショートへ移行するロングウィンドウ６５と同様に、ミディアムからミディアムへ移行するロングウィンドウ１５４、ミディアムからショートへ移行するロングウィンドウ１５７、およびショートからミディアムへ移行するロングウィンドウ１５８により、３モードＭＤＣＴは、１フレーム分だけ離れた過渡を扱うことが可能となる。

【0143】

図１０は、ウィンドウシーケンスのいくつかの例を示している。１６１は、本実施形態の、中間分解能１６７を用いて遅い過渡を扱うことができる能力を示し、１６２から１６６は、過渡に対して高時間分解能１６８を割り当て、同じフレーム内の定常セグメントに対して中間時間分解能１６９を割り当て、かつ定常フレームに対して高周波数分解能１７０を割り当てる能力を示している。

【0144】

ここでは、通常の和差符号化方法１４を適用することができる。例えば、このために用いる簡単な方法は以下の通りであってもよい。

【0145】

和チャンネル＝０．５（左チャンネル＋右チャンネル）
差チャンネル＝０．５（左チャンネル−右チャンネル）
ここでは、通常の結合強度符号化方法１５を用いることができる。簡単な方法は、以下の通りであってもよい。

【0146】

−ソースチャンネルをソースチャンネルと結合チャンネルとの和で置き換える。

【0147】

−それを、量子化ユニット内の元のソースチャンネルと同じエネルギーレベルに調整する。

【0148】

−当該量子化ユニット内の結合チャンネルのサブバンドサンプルを破棄し、以下のように定義されるスケールファクタ（本発明においては、「ステアリングベクトル」または「スケーリングファクタ」と言う）の量子化インデックスのみを復号器に伝える。

【0149】

【数13】

【0150】

人間の耳の知覚特性に適合させるために、ステアリングベクトルの、対数量子化といった不均一な量子化が用いられる。ステアリングベクトルの量子化インデックスにエントロピー符号化を適用することができる。

【0151】

ソースチャンネルと結合チャンネルとの相殺効果を避けるため、これらの位相差が１８０度に近い場合は、これらを合計して結合チャンネルを形成する際に、極性を付与してもよい。

【0152】

和チャンネル＝ソースチャンネル＋極性・結合チャンネル。

【0153】

上記極性は、復号器にも伝えられなければならない。

【0154】

聴覚心理モデル２３は、人間の耳の知覚特性に基づいて、音声サンプルの現在の入力フレームの、それ未満では量子化雑音が聞こえる見込みのないマスキング閾値を算出する。ここでは、任意の通常の聴覚心理モデルを用いることができるが、本発明では、聴覚心理モデルは量子化ユニットのそれぞれに対するマスキング閾値を出力する必要がある。

【0155】

グローバルビットアロケータ１６は、各量子化ユニットにおける量子化雑音パワーがそれぞれのマスキング閾値未満となるように、フレームに対して利用可能なビットリソースを各量子化ユニットに一括で割り当てる。グローバルビットアロケータ１６は、量子化ステップサイズを調整することにより、各量子化ユニットに対する量子化雑音パワーを制御する。量子化ユニット内の全てのサブバンドサンプルは、同じステップサイズを用いて量子化される。

【0156】

ここでは、あらゆる公知のビット割当方法を用いることができる。このような方法の１つは、周知の注水アルゴリズムである。その基本的な概念は、ＱＮＭＲ（量子化雑音対マスク比）が最も高い量子化ユニットを見つけ、その量子化ユニットに割り当てられたステップサイズを減少させて量子化雑音を低減させることである。このアルゴリズムは、ＱＮＭＲが全ての量子化ユニットについて１未満（もしくは任意の他の閾値）となるか、または現在のフレームに対するビットリソースがなくなるまでこのプロセスを繰り返す。

【0157】

量子化ステップサイズは、これをビットストリームにパッキングすることができるように、それ自体量子化されなければならない。人間の知覚特性に適合させるために、対数量子化といった不均一な量子化が用いられる。ステップサイズの量子化インデックスにエントロピー符号化を適用することができる。

【0158】

本発明では、グローバルビット割当１６によって与えられるステップサイズを用いて、各量子化ユニット内の全てのサブバンドサンプルを１７において量子化する。ここでは、あらゆる線形または非線形の、または均一または不均一な量子化方法を用いることができる。

【0159】

インタリービング１８は、現在のフレームにおいて過渡が存在する場合のみ、必要に応じて呼び出してもよい。ｘ（ｍ，ｎ，ｋ）が、ｍ番目の準定常セグメントおよびｎ番目のサブバンドにおけるｋ番目の量子化インデックスであるとする。（ｍ，ｎ，ｋ）は、通常、量子化インデックスが配置される順序である。インタリービングセクション１８は、量子化インデックスが（ｎ，ｍ，ｋ）として配置されるようにこれらを再配置する。この動機付けとなっているのは、このように量子化インデックスを再配置することにより、上記インデックスの符号化に必要なビット数が、インデックスのインタリービングが行なわれない場合よりも少なくなり得るということである。インタリービングを呼び出すか否かの判定は、サイド情報として復号器に伝えなければならない。

【0160】

従来の音声符号化アルゴリズムでは、エントロピーコードブックの適用範囲は量子化ユニットと同じであるため、エントロピー符号ブックは、量子化ユニット内の量子化インデックスによって決定される（図１１の上部を参照）。したがって、最適化の余地はない。

【0161】

本発明は、この点において全く異なっている。本発明では、コードブックの選定に関しては、量子化ユニットの存在は無視される。その代わりに、本発明では、１９において各量子化インデックスに最適なコードブックを割り当て、それによって、実質的に、量子化インデックスをコードブックインデックスに変換する。次に、これらのコードブックインデックスを、境界がコードブックの適用範囲を規定している、より大きいセグメントにセグメント化する。コードブックのこれらの適用範囲は、量子化ユニットによって決定されるものとは非常に異なることは明らかである。これらは量子化インデックスの長所にのみ基づいているため、結果として選択されるコードブックは、量子化インデックスにより適している。その結果、量子化インデックスを復号器に伝えるために必要なビットは少なくなる。

【0162】

このアプローチの従来技術に対する利点を図１１に示す。図１１において最も大きい量子化インデックスを参照されたい。それは量子化ユニットｄに含まれており、従来のアプローチを用いると、大きいコードブックが選択されることになる。この大きいコードブックは、量子化ユニットｄにおけるインデックスのほとんどがこれよりもかなり小さいため、明らかに最適ではない。一方、本発明の新しいアプローチを用いると、同じ量子化インデックスはセグメントＣにセグメント化され、したがって他の大きい量子化インデックスと１つのコードブックを共有している。また、セグメントＤにおける全ての量子化インデックスは小さいため、小さいコードブックが選択される。したがって、量子化インデックスの符号化に必要なビットは少なくなる。

【0163】

次に図１２を参照すると、従来技術のシステムでは、コードブックインデックスのみをサイド情報として復号器に伝えることだけが必要とされている。なぜなら、これらの適用範囲は、予め定められた量子化ユニットと同じであるからである。しかし、新しいアプローチでは、コードブックの適用範囲は量子化ユニットに依存していないため、コードブックインデックスに加えて、これらをサイド情報として復号器に伝える必要がある。適切な扱いがなされなければ、このさらなるオーバヘッドにより、サイド情報および量子化インデックスに対するビット数が全体的に増える可能性がある。したがって、コードブックインデックスをより大きいセグメントにセグメント化することは、オーバヘッドを制御するために非常に重要である。セグメントが大きくなるということは、復号器に伝える必要のあるコードブックインデックス数およびこれらの適用範囲が少なくなることを意味するからである。

【0164】

本発明の一実施形態では、コードブックの選択に対するこの新しいアプローチを実現するために以下のステップが用いられている。

【0165】

１）量子化インデックスを、それぞれがＰ個の量子化インデックスで構成されるグラニュールにブロック化する。

【0166】

２）各グラニュールに対する最大コードブック要件を決定する。対称量子化器の場合、これは、通常、各グラニュール内の量子化インデックスの最大絶対値によって表される。

【0167】

【数14】

【0168】

但し、Ｉ（．）は、量子化インデックスである。

【0169】

３）グラニュールに、最大コードブック要件を収容可能な最小のコードブックを割り当てる。

【0170】

【数15】

【0171】

４）最も隣接したコードブックインデックスよりも小さいコードブックインデックスの孤立したポケットを、これらのコードブックインデックスを最も隣接したコードブックインデックスのうち最小のコードインデックスに上げることによって削除する。これを、７１から７２、７３から７４、７７から７８、および７９から８０へのマッピングにより図１２に示す。ゼロ量子化インデックスに対応するコードブックインデックスに深い窪みを有する孤立したポケットは、この処理から除外してもよい。なぜなら、このコードブックは、転送する必要があるコードが存在しないことを示しているからである。これを、７５から７６のマッピングとして図１２に示す。

【0172】

このステップにより、復号器に伝える必要のあるコードブックインデックス数およびそれらの適用範囲は明らかに減少した。

【0173】

本発明の一実施形態では、コードブックの適用範囲を符号化するためにランレングス符号が用いられており、ランレングス符号は、エントロピー符号を用いてさらに符号化することができる。

【0174】

全ての量子化インデックスは、エントロピーコードブック選択装置１９が決定するコードブックおよびこれらのそれぞれの適用範囲を用いて２０において符号化される。

【0175】

エントロピー符号化は、各種ハフマンコードブックを用いて実現され得る。１つのコードブックにおける量子化レベル数が小さい場合、多数の量子化インデックスをまとめてブロック化し、より大きいハフマンコードブックを形成することができる。量子化レベル数が大きすぎる（例えば、２００を超える）場合は、再帰的な指標付けが用いられる。このために、大きい量子化インデックスｑは、以下のように表すことができる。

【0176】

ｑ＝ｍ・Ｍ＋ｒ
但し、Ｍはモジュラであり、ｍは商であり、ｒは剰余である。ｍおよびｒのみを復号器に伝える必要がある。これらのうちいずれかまたは両方をハフマン符号を用いて符号化することができる。

【0177】

エントロピー符号化は、各種演算コードブックを用いて実現され得る。量子化レベル数が大きすぎる（例えば、２００を超える）場合、再帰的な指標付けも用いられる。

【0178】

上記のハフマン符号化および演算符号化の代わりに、他のタイプのエントロピー符号化を用いてもよい。

【0179】

量子化インデックスの全てまたは一部を、エントロピー符号化を用いずに直接的にパッキングすることもまた望ましい選択である。

【0180】

可変分解能フィルタバンクが低および高分解能モードにある場合、量子化インデックスの統計的特性は明らかに異なるため、本発明の一実施形態では、エントロピーコードブックの２つのライブラリを用いてこれら２つのモードにある量子化インデックスをそれぞれ符号化する。中間分解能モードに対しては、第３のライブラリを用いてもよい。中間分解能モードは、高分解能モードまたは低分解能モードのいずれかとライブラリを共有してもよい。

【0181】

本発明は、全ての量子化インデックスおよびその他のサイド情報に対する全コードを完全なビットストリームに多重化２１する。サイド情報には、量子化ステップサイズ、サンプルレート、スピーカー構成、フレームサイズ、準定常セグメント長、エントロピーコードブックに対するコード等が含まれる。時刻コード等のその他の補助的な情報も、上記ビットストリームにパッキングすることができる。

【0182】

従来技術のシステムでは、各過渡セグメントに対する量子化ユニット数を復号器に伝える必要があった。なぜなら、量子化ステップサイズ、量子化インデックスコードブックおよび量子化インデックスそれ自体のアンパッキングは、量子化ユニット数に依存しているからである。しかし、本発明においては、量子化インデックスコードブックおよびその適用範囲の選択は、エントロピーコードブック選択１９の特殊な方法によって量子化ユニットから切り離されているため、量子化インデックスを量子化ユニット数が必要になる前にアンパッキングすることができるように、ビットストリームを構築することができる。量子化インデックスは、一旦アンパッキングされると、量子化ユニット数の復元に用いることができる。これを復号器において説明する。

【0183】

上記の検討を踏まえ、本発明の一実施形態では、ハーフハイブリッドフィルタバンクまたは切替可能フィルタバンク＋ＡＤＰＣＭが用いられる場合、図１６に示すようなビットストリーム構造が用いられている。これは、基本的に以下のセクションで構成される。

【0184】

−シンクワード８１：音声データのフレームの開始を示す。

【0185】

−フレームヘッダ８２：サンプルレート、正規チャンネル数、ＬＦＥ（低周波数効果）チャンネル数およびスピーカー構成等の、音声信号に関する情報を含む。

【0186】

−チャンネル１，２，．．．，Ｎ８３,８４,８５：各チャンネルに対する全ての音声データがここにパッキングされている。

【0187】

−補助データ８６：時刻コード等の補助的なデータを含む。

【0188】

−エラー検出８７：ビットストリームエラーが検出された際にエラー処理手順を行なうことができるよう、ここでエラー検出コードが挿入され、現在のフレームにおけるエラーの発生が検出される。

【0189】

各チャンネルに対する音声データは、さらに、以下のように構造化される。

【0190】

−ウィンドウタイプ９０：復号器が同じウィンドウを用いることができるように、例えば図５に示すウィンドウのような、符号器において用いられているウィンドウを示す。

【0191】

−過渡位置９１:過渡を含むフレームに対してのみ出現する。これは、各過渡セグメントの位置を示す。ランレングス符号が用いられている場合、これは、各過渡セグメントの長さがパッキングされている場所である。

【0192】

−インタリービング判定９２：量子化インデックスをデインタリーブするか否かを復号器が知ることができるように、各過渡セグメントに対する量子化インデックスがインタリーブされているか否かを示す１ビット（過渡フレームにおいてのみ）。

【0193】

−コードブックインデックスおよび適用範囲９３：エントロピーコードブック、および量子化インデックスに対するそれらのそれぞれの適用範囲に関する全ての情報を伝える。以下のセクションで構成される。

【0194】

・コードブック数１０１：現在のチャンネルの各過渡セグメントに対するエントロピーコードブック数を伝える。

【0195】

・適用範囲１０２：量子化インデックスまたはグラニュールに関して、各エントロピーコードブックに対する適用範囲を伝える。エントロピー符号を用いてこれらをさらに符号化してもよい。

【0196】

・コードブックインデックス１０３：上記インデックスをエントロピーコードブックに伝える。エントロピー符号を用いてこれらをさらに符号化してもよい。

【0197】

−量子化インデックス９４：現在のチャンネル全ての量子化インデックスに対するエントロピー符号を伝える。

【0198】

−量子化ステップサイズ９５：上記インデックスを各量子化ユニットの量子化ステップサイズに運ぶ。エントロピー符号を用いてこれをさらに符号化してもよい。

【0199】

上記に説明したように、ステップサイズインデックス数または量子化ユニット数は、４９に示すように、復号器によって量子化インデックスから復元されることになる。

【0200】

−任意分解能フィルタバンク判定９６:各量子化ユニットに対して１ビット。切替可能分解能解析フィルタバンク２８が低周波数分解能モードにある場合にのみ出現する。任意分解能フィルタバンク復元（５１または５５）を量子化ユニット内の全てのサブバンドセグメントに対して実行すべきか否かを復号器に指示する。

【0201】

−和差符号化判定９７：和差符号化された量子化ユニットの１つに対して１ビット。オプションであり、和差符号化が用いられる場合にのみ出現する。和差復号化４７を実行するか否かを復号器に指示する。

【0202】

−結合強度符号化判定およびステアリングベクトル９８：結合強度復号化を行なうか否かの情報を復号器に伝える。オプションであり、結合チャンネルの結合強度符号化された結合量子化ユニットに対してのみ、かつ、符号器によって結合強度符号化が用いられている場合にのみ出現する。以下のセクションで構成される。

【0203】

・判定１２１：各結合量子化ユニットに対して１ビットであり、量子化ユニットにおけるサブバンドサンプルに対する結合チャンネル復号化を行なうか否かを復号器に示す。

【0204】

・極性１２２：各結合量子化ユニットに対して１ビットであり、ソースチャンネルに対する結合チャンネルの極性を表す。

【0205】

【数16】

【0206】

・ステアリングベクトル１２３：結合量子化ユニット１つにつき１つのスケールファクタ。エントロピー符号化してもよい。

【0207】

−補助データ９９：ダイナミックレンジ制御についての情報等の補助的なデータを含む。

【0208】

３モード切替可能フィルタバンクが用いられている場合、ビットストリーム構造は、以下を除き、上記と同じである。

【0209】

−ウィンドウタイプ９０：復号器が同じウィンドウを用いることができるように、図５および図９に示すウィンドウのような、符号器において用いられているウィンドウを示す。なお、過渡を含むフレームについては、このウィンドウタイプは、フレームの最後のウィンドウのみを指す。なぜなら、残りのウィンドウは、このウィンドウタイプ、過渡の位置、および最後のフレームで用いられている最後のウィンドウから推測が可能であるからである。

【0210】

−過渡位置９１：過渡を含むフレームに対してのみ出現する。まず、このフレームが遅い過渡１７１を含むフレームであるか否かを示す。そうでない場合、次に、ミディアムブロック１７２およびその次にショートブロック１７３に関して、過渡位置を示す。

【0211】

−任意分解能フィルタバンク判定９６：無関係であり、したがって用いられていない。

【0212】

復号器
本発明の復号器は、基本的に符号器と逆の処理を実施する。これを図１３に示し、以下に説明する。

【0213】

デマルチプレクサ４１は、ビットストリームから、量子化インデックスおよび量子化ステップサイズ、サンプルレート、スピーカー構成および時刻コード等のサイド情報に対するコードを多重分離する。ハフマン符号等の接頭エントロピー符号が用いられている場合、このステップは、エントロピー復号化と共に１つのステップに統合される。

【0214】

量子化インデックスコードブック復号器４２は、ビットストリームから、量子化インデックスおよびこれらのそれぞれの適用範囲に対するエントロピーコードブックを復号化する。

【0215】

エントロピー復号器４３は、量子化インデックスコードブック復号器４２から供給されるエントロピーコードブックおよびそれらのそれぞれの適用範囲に基づいて、ビットストリームから量子化インデックスを復号化する。

【0216】

デインタリービング４４は、現在のフレームにおいて過渡が存在する場合にのみ、必要に応じて適用することが可能である。ビットストリームからアンパッキングされた判定ビットが符号器においてインタリービング１８が呼び出されたことを示す場合、量子化インデックスをデインタリーブする。そうでない場合は、量子化インデックスを変形を行なうことなく通過させる。

【0217】

本発明は、各過渡セグメントに対する非ゼロ量子化インデックスから量子化ユニット数を４９において復元する。ｑ（ｍ，ｎ）が、ｍ番目の過渡セグメントに対するｎ番目のサブバンドの量子化インデックスであるとすると（フレームにおいて過渡が存在しない場合、１つの過渡セグメントのみが存在する）、非ゼロ量子化インデックスを含む最大サブバンドは、各過渡セグメントに対して、以下のように求められる。

【0218】

【数17】

【0219】

１つの量子化ユニットは、周波数臨界帯域および時間的な過渡セグメントによって定義されるので、各過渡セグメントに対する量子化ユニット数は、Ｂａｎｄ_max（ｍ）を収容可能な最小臨界帯域である。Ｂａｎｄ（Ｃｂ）がＣｂ番目の臨界帯域に対する最大サブバンドであるとすると、量子化ユニット数は、各過渡セグメントｍに対して、以下のように求められる。

【0220】

【数18】

【0221】

量子化ステップサイズアンパッキング５０は、各量子化ユニットに対し、ビットストリームから量子化ステップサイズをアンパッキングする。

【0222】

逆量子化４５は、各量子化ユニットに対し、各自の量子化ステップサイズを含む量子化インデックスからサブバンドサンプルを復元する。

【0223】

ビットストリームが、符号器において結合強度符号化１５が呼び出されたことを示す場合、結合強度復号化４６は、ソースチャンネルからサブバンドサンプルをコピーし、それらに極性およびステアリングベクトルを乗じて、各結合チャンネルに対するサブバンドサンプルを復元する。

【0224】

結合チャンネル＝極性・ステアリングベクトル・ソースチャンネル
ビットストリームが、符号器において和差符号化１４が呼び出されたことを示す場合、和差復号器４７は、和差チャンネルから左右チャンネルを復元する。和差符号化１４において記述されている和差符号化例に対応して、左右チャンネルは、以下のように復元される。

【0225】

左チャンネル＝和チャンネル＋差チャンネル
右チャンネル＝和チャンネル−差チャンネル
本発明の復号器には、可変分解能合成フィルタバンク４８が組み込まれており、これは、信号の符号化に用いられた解析フィルタバンクと基本的に逆である。

【0226】

符号器において３モード切替可能分解能解析フィルタバンクが用いられている場合、これに対応する合成フィルタバンクの動作は一意的に決まり、合成処理において同じウィンドウシーケンスを用いることが必要となる。

【0227】

符号器においてハーフハイブリッドフィルタバンクまたは切替可能フィルタバンク＋ＡＤＰＣＭが用いられている場合、符号化処理は、以下のように説明される。

【0228】

・ビットストリームが、現在のフレームが高周波数分解能モードの切替可能分解能解析フィルタバンク２８を用いて符号化されたことを示す場合、切替可能分解能合成フィルタバンク５４は、これに応じて高周波数分解能モードに入り、サブバンドサンプルからＰＣＭサンプルを復元する（図１４および図１５を参照）。

【0229】

・ビットストリームが、現在のフレームが低周波数分解能モードの切替可能分解能解析フィルタバンク２８を用いて符号化されたことを示す場合、サブバンドサンプルは、まず、任意分解能合成フィルタバンク５１（図１４）または逆ＡＤＰＣＭ５５（図１５）に送られ、符号器においてどちらが用いられたかに応じて、それぞれの合成処理に供される。その後、これらの合成されたサブバンドサンプルから、低周波数分解能モードすなわち高時間分解能モード５３の切替可能分解能合成フィルタバンクによりＰＣＭサンプルが復元される。

【0230】

合成フィルタバンク５２、５１および５５は、それぞれ、解析フィルタバンク２８、２６および２９の逆である。これらの構造および動作処理は、上記解析フィルタバンクによって一意的に決まる。したがって、符号器においてどのような解析フィルタバンクが用いられても、それに対応する合成フィルタバンクを復号器において用いなければならない。

【0231】

低符号化遅延モード
切替可能分解能解析バンクの高周波数分解能モードが符号器によって却下された場合、フレームサイズは、その後、低分解能モードの切替可能分解能フィルタバンクのブロック長またはその倍数に削減される。この結果、フレームサイズは小さくなり、したがって、符号器および復号器の動作に必要な遅延は低くなる。これが、本発明の低符号化遅延モードである。

【0232】

説明のためにいくつかの実施形態を詳細に示したが、本発明の範囲および精神から逸脱することなく、各実施形態に対して様々な変形が可能である。したがって、本発明は、添付の請求項によって以外は限定されない。

【図面の簡単な説明】

【0233】

【図1】図１は、本発明による多チャンネルデジタル音声信号の符号化および復号化を示す模式図である。

【図2】図２は、本発明に従って利用される例示的な符号器の模式図である。

【図3】図３は、本発明に従って用いられる、任意分解能フィルタバンクを含む可変分解能解析フィルタバンクの模式図である。

【図4】図４は、ＡＤＰＣＭを含む可変分解能解析フィルタバンクの模式図である。

【図5】図５は、本発明による切替可能ＭＤＣＴに対して許可されたウィンドウタイプの模式図である。

【図6】図６は、本発明による過渡セグメント化を示す模式図である。

【図7】図７は、本発明による、２つの分解能モードを有する切替可能フィルタバンクの適用を示す模式図である。

【図8】図８は、本発明による、３つの分解能モードを有する切替可能フィルタバンクの適用を示す模式図である。

【図9】図９は、図５と同様の、本発明による、３つの分解能モードを有する切替可能ＭＤＣＴに対して許可された更なるウィンドウタイプの模式図である。

【図10】図１０は、本発明による、３つの分解能モードを有する切替可能ＭＤＣＴの１組のウィンドウシーケンス例を示す。

【図11】図１１は、従来技術と比較した、本発明によるエントロピーコードブックの決定を示す模式図である。

【図12】図１２は、本発明による、コードブックインデックスの大きいセグメントへのセグメント化、またはコードブックインデックスの孤立したポケットの削除を示す模式図である。

【図13】図１３は、本発明を実施する復号器の模式図である。

【図14】図１４は、本発明による、任意分解能フィルタバンクを含む可変分解能合成フィルタバンクの模式図である。

【図15】図１５は、逆ＡＤＰＣＭを含む可変分解能合成フィルタバンクの模式図である。

【図16】図１６は、本発明による、ハーフハイブリッドフィルタバンクまたは切替可能フィルタバンク＋ＡＤＰＣＭが用いられている場合のビットストリーム構造の模式図である。

【図17】図１７は、わずか１フレーム分のみ離れた過渡の扱いにおけるショートからショートへ移行するロングウィンドウの利点を示す模式図である。

【図18】図１８は、本発明による、３モード切替可能フィルタバンクが用いられている場合のビットストリーム構造の模式図である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】