特許 6054920 柔軟量子化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6054920

(24)【登録日】2016年12月9日

(45)【発行日】2016年12月27日

(54)【発明の名称】柔軟量子化

(51)【国際特許分類】

   H04N 19/70 20140101AFI20161219BHJP

   H04N 19/126 20140101ALI20161219BHJP

   H04N 19/172 20140101ALI20161219BHJP

   H04N 19/174 20140101ALI20161219BHJP

   H04N 19/176 20140101ALI20161219BHJP

   H04N 19/18 20140101ALI20161219BHJP

   H04N 19/186 20140101ALI20161219BHJP

【ＦＩ】

   H04N19/70

   H04N19/126

   H04N19/172

   H04N19/174

   H04N19/176

   H04N19/18

   H04N19/186

【請求項の数】15

【全頁数】19

(21)【出願番号】特願2014-142106(P2014-142106)

(22)【出願日】2014年7月10日

(62)【分割の表示】特願2013-77198(P2013-77198)の分割

【原出願日】2007年5月4日

(65)【公開番号】特開2014-209790(P2014-209790A)

(43)【公開日】2014年11月6日

【審査請求日】2014年7月10日

(31)【優先権主張番号】11/418,690

(32)【優先日】2006年5月5日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100153028

【弁理士】

【氏名又は名称】上田 忠

(74)【代理人】

【識別番号】100120112

【弁理士】

【氏名又は名称】中西 基晴

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(74)【代理人】

【識別番号】100119781

【弁理士】

【氏名又は名称】中村 彰吾

(74)【代理人】

【識別番号】100162846

【弁理士】

【氏名又は名称】大牧 綾子

(74)【代理人】

【識別番号】100173565

【弁理士】

【氏名又は名称】末松 亮太

(74)【代理人】

【識別番号】100138759

【弁理士】

【氏名又は名称】大房 直樹

(72)【発明者】

【氏名】チェンジエ トゥー

(72)【発明者】

【氏名】スリダー スリニバサン

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特表２００５−５２４３０４（ＪＰ，Ａ）

【文献】 特開２００３−２３０１４２（ＪＰ，Ａ）

【文献】 特開平０６−１８９２８７（ＪＰ，Ａ）

【文献】 国際公開第９８／０１０５９４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

デジタルメディア処理方法であって、
圧縮デジタルメディアデータを表すビットストリームの少なくとも一部をメモリに記憶するステップと、
量子化パラメータを前記デジタルメディアデータのブロックの変換係数に適用し、変換の逆演算を前記デジタルメディアデータの前記ブロックに適用することによって、前記ビットストリームの前記少なくとも一部を復号化するステップであって、前記量子化パラメータは、少なくとも空間次元、周波数次元、色チャネル次元にわたって選択的に変化可能であり、前記各次元にわたる前記選択的な変化は、前記ビットストリーム内の信号によって伝達される、ステップと、
を含み、
前記信号は、量子化パラメータの組から、ＡＣ係数のために使用するための、量子化パラメータの指標位置を指定する量子化パラメータ指標値を含む、
ことを特徴とする方法。

【請求項2】

前記信号は、同じ１つまたは複数の量子化パラメータがフレーム全体に適用されるかどうかを示す信号を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記信号は、同じ１つまたは複数の量子化パラメータがＤＣ係数およびＡＣ係数に適用されるかどうかを示す信号を含むことを特徴とする請求項１に記載の方法。

【請求項4】

前記信号は、同じ１つまたは複数の量子化パラメータが輝度値およびクロミナンス値に適用されるかどうかを示す信号を含むことを特徴とする請求項１に記載の方法。

【請求項5】

デジタルメディア処理方法であって、
圧縮デジタルメディアデータを表すビットストリームの少なくとも一部をメモリに記憶するステップと、
量子化パラメータを前記デジタルメディアデータのブロックの変換係数に適用し、変換の逆演算を前記デジタルメディアデータの前記ブロックに適用することによって、前記ビットストリームの前記少なくとも一部を復号化するステップであって、輝度係数およびクロミナンス係数に適用された前記量子化パラメータは、少なくとも、前記クロミナンス係数が前記輝度係数と同じ１つまたは複数の量子化パラメータを使用する第１のクロミナンス量子化モードと、前記クロミナンス係数が前記輝度係数とは異なる量子化パラメータを使用する第２のクロミナンス量子化モードとの間で選択的に変化可能である、ステップと
を含み、
ＤＣ係数とＡＣ係数に適用される前記量子化パラメータが、
少なくとも、第１の周波数量子化モードと、第２の周波数量子化モードとの間で、選択的に可変であり、
前記第１の周波数量子化モードにおいて、前記ＡＣ係数が、前記ＤＣ係数と同じ、１つ又は複数の、量子化パラメータを使用し、
前記第２の周波数量子化モードにおいて、前記ＡＣ係数が、前記ＤＣ係数とは異なった量子化パラメータを使用し、
前記第１のクロミナンス量子化モードと、前記第２のクロミナンス量子化モードが、前記ビットストリーム内の第１の構文要素によって伝達され、
前記第１の周波数量子化モードと前記第２の周波数量子化モードが、前記ビットストリーム第２の構文要素によって伝達される、
ことを特徴とする方法。

【請求項6】

前記量子化パラメータは、少なくとも、同じ１つまたは複数の量子化パラメータがフレームの全てのサブディビジョンにわたって適用される第１の空間次元量子化モードと、前記フレームのサブディビジョンが異なる量子化パラメータを使用する第２の空間次元量子化モードとの間で選択的に変化可能であることを特徴とする請求項５に記載の方法。

【請求項7】

画像復号装置であって、
符号化画像データのビットストリームの少なくとも一部を記憶するデータ記憶バッファと、
量子化パラメータを前記画像データのブロックの変換係数に適用し、変換の逆演算を前記画像データの前記ブロックに適用することによって、前記ビットストリームの前記少なくとも一部を復号化するようにプログラムされたプロセッサであって、輝度係数およびクロミナンス係数に適用された前記量子化パラメータは、少なくとも、前記クロミナンス係数が前記輝度係数と同じ１つまたは複数の量子化パラメータを使用する第１のクロマ量子化モードと、前記クロミナンス係数が前記輝度係数とは異なる量子化パラメータを使用する第２のクロマ量子化モードとの間で選択的に変化可能である、プロセッサと、
を備え、
ＤＣ係数とＡＣ係数に適用される前記量子化パラメータが、
少なくとも、第１の周波数量子化モードと、第２の周波数量子化モードとの間で、選択的に可変であり、
前記第１の周波数量子化モードにおいて、前記ＡＣ係数が、前記ＤＣ係数と同じ、１つ又は複数の、量子化パラメータを使用し、
前記第２の周波数量子化モードにおいて、前記ＡＣ係数が、前記ＤＣ係数とは異なった量子化パラメータを使用し、
前記第１のクロミナンス量子化モードと、前記第２のクロミナンス量子化モードが、前記ビットストリーム内の第１の構文要素によって伝達され、
前記第１の周波数量子化モードと前記第２の周波数量子化モードが、前記ビットストリーム第２の構文要素によって伝達される、
ことを特徴とする画像復号装置。

【請求項8】

前記量子化パラメータは、少なくとも、前記同じ１つまたは複数の量子化パラメータがフレームの全ての部分にわたって適用される第１の空間次元量子化モードと、前記フレームの異なる部分が異なる量子化パラメータを使用する第２の空間次元量子化モードとの間で選択的に変化可能であることを特徴とする請求項７に記載の画像復号装置。

【請求項9】

デジタルメディア処理方法であって、
変換の演算を前記デジタルメディアデータのブロックに適用し、量子化パラメータを前記デジタルメディアデータの前記ブロックの変換係数に適用することによって、デジタルメディアデータを符号化するステップであって、前記量子化パラメータは、少なくとも空間次元、周波数次元、および色チャネル次元にわたって選択的に変化可能である、ステップと、
符号化デジタルメディアデータのビットストリームを生成するステップであって、前記ビットストリームは、前記量子化パラメータが前記空間次元、前記周波数次元、および前記色チャネル次元にわたってどのように適用されたかを示す信号をさらに含む、ステップと、
を含み、
更に、
量子化パラメータ指標値が、量子化パラメータの組から、ＡＣ係数のために使用するための、量子化パラメータの指標位置を指定するステップを含む、
ことを特徴とする方法。

【請求項10】

デジタルメディアデータ符号化装置であって、
符号化されるデジタルメディアデータを記憶するデータ記憶バッファと、
プロセッサであって、
変換の演算をデジタルメディアデータのブロックに適用し、量子化パラメータを前記デジタルメディアデータの前記ブロックの変換係数に適用することによって、前記デジタルメディアデータを符号化し、前記量子化パラメータは、少なくとも空間次元、周波数次元、および色チャネル次元にわたって選択的に変化可能であり、
符号化デジタルメディアデータのビットストリームを生成し、前記ビットストリームは、前記量子化パラメータが前記空間次元、前記周波数次元、および前記色チャネル次元にわたってどのように適用されたかを示す信号をさらに含むようにプログラムされたプロセッサと、
を備え
前記信号は、量子化パラメータの組から、ＡＣ係数のために使用するための、量子化パラメータの指標位置を指定する量子化パラメータ指標値を含む、
ことを特徴とするデジタルメディアデータ符号化装置。

【請求項11】

請求項１０に記載のデジタルメディアデータ符号化装置であって、前記信号が、同じ１つの、又は、複数の、量子化パラメータが、フレーム全体に適用されるか否かを示す信号を含む、デジタルメディアデータ符号化装置。

【請求項12】

請求項１０に記載のデジタルメディアデータ符号化装置であって、前記信号が、同じ１つの、又は、複数の、量子化パラメータが、ＤＣ係数及びＡＣ係数に適用されるか否かを示す信号を含む、デジタルメディアデータ符号化装置。

【請求項13】

請求項１０に記載のデジタルメディアデータ符号化装置であって、前記信号が、同じ１つの、又は、複数の、量子化パラメータが、輝度値およびクロミナンス値に適用されるか否かを示す信号を含む、デジタルメディアデータ符号化装置。

【請求項14】

デジタルメディアデータ符号化装置であって、
符号化されるデジタルメディアデータを記憶するデータ記憶バッファと、
プロセッサであって、
変換の演算をデジタルメディアデータのブロックに適用し、量子化パラメータを前記デジタルメディアデータの前記ブロックの変換係数に適用することによって、
前記デジタルメディアデータを符号化し、前記量子化パラメータは、少なくとも、フレームの全てのセクションに亘って同じ量子化パラメータが適用される、第１の空間次元量子化モードと、前記フレームの異なったセクションが、異なった量子化パラメータを使用する、第２の空間次元量子化モード、との間で選択的に変化可能であり、
ＤＣ係数とＡＣ係数に適用される前記量子化パラメータが、
少なくとも、第１の周波数量子化モードと、第２の周波数量子化モードとの間で、選択的に可変であり、
前記第１の周波数量子化モードにおいて、前記ＡＣ係数が、前記ＤＣ係数と同じ、１つ又は複数の、量子化パラメータを使用し、
前記第２の周波数量子化モードにおいて、前記ＡＣ係数が、前記ＤＣ係数とは異なった量子化パラメータを使用し、
符号化デジタルメディアデータのビットストリームを生成し、当該ビットストリームが、前記第１の空間次元量子化モードか、前記第２の空間次元量子化モードか、のいずれかに従った符号化を示す第１の信号、及び、前記第１の周波数量子化モードか、前記第２の周波数量子化モードか、のいずれかに従った符号化を示す第２の信号を含む、
ようにプログラムされたプロセッサと、
を備えたことを特徴とするデジタルメディアデータ符号化装置。

【請求項15】

輝度係数およびクロミナンス係数に適用された前記量子化パラメータは、少なくとも、前記クロミナンス係数が前記輝度係数と同じ１つまたは複数の量子化パラメータを使用する第１の周波数量子化モードと、前記クロミナンス係数が前記輝度係数とは異なる量子化パラメータを使用する第２の周波数量子化モードとの間で選択的に変化可能であることを特徴とする請求項１４に記載のデジタルメディアデータ符号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルメディアを符号化／復号化する方法に関する。

【背景技術】

【0002】

１．ブロック変換ベースの符号化
変換符号化は、多くのオーディオ、画像およびビデオ圧縮システムにおいて使用する圧縮技術である。非圧縮のデジタル画像およびビデオは、典型的には二次元（２Ｄ）グリッドに配置する画像またはビデオのフレームの場所における画素またはカラーのサンプルとして表現またはキャプチャされる。これは、画像またはビデオの空間領域表現と称される。例えば、典型的な画像の形式は、グリッドとして配置される２４ビットカラー画素のサンプルのストリームからなる。各サンプルは、中でもＲＧＢまたはＹＩＱのような色空間内のグリッドでの画素位置における、色成分を表す数である。種々の画像およびビデオシステムが、サンプリングの種々の異なる色、空間および時間の分解能を使用することができる。同様に、デジタルオーディオは、典型的には時間サンプリングしたオーディオ信号のストリームとして表される。例えば、１つの典型的なオーディオ形式は、規則的な時間間隔で取られたオーディオ信号の１６ビット振幅サンプルのストリームからなる。

【0003】

圧縮されていないデジタルオーディオ、画像およびビデオ信号は、相当な記憶容量および伝送容量を消費し得る。変換符号化は、信号の空間領域表現を周波数領域（または他の類似の変換領域）表現に変換し、次いで、その変換領域表現の、特定の、一般により知覚されにくい周波数成分の分解能を低減することによって、デジタルオーディオ、画像およびビデオのサイズを縮小する。これによって、一般に、空間領域における画像またはビデオの、色または空間分解能、あるいは時間領域におけるオーディオの分解能を低減するのと比べて、生じるデジタル信号の劣化ははるかに知覚されにくくなる。

【0004】

より具体的には、図１に示す典型的なブロック変換ベースのコーデック１００は、圧縮されていないデジタル画像の画素を、各ブロックが、おそらく、他のブロックと重なり合う固定サイズの２次元ブロック（Ｘ_１、．．．Ｘｎ）に分割する。空間周波数分析を行う線形変換１２０〜１２１が各ブロックに適用され、ブロック内の間隔が置かれたサンプルが、一般に、そのブロック間隔にわたって対応する周波数帯域でのデジタル信号の強さを表す、１組の周波数（または変換）係数に変換する。圧縮では、これらの変換係数は選択的に量子化１３０（すなわち、係数値の最下位ビットを除去し、さもなければより高い分解能数セット中の値をより低い分解能にマッピングすることによって、分解能を低減）してもよく、さらに、圧縮データストリームにエントロピまたは可変長符号化１３０してもよい。復号化時に、変換係数は逆変換１７０〜１７１して、元の色／空間サンプリング画像／ビデオ信号（復元されたブロック

【0005】

【数1】

【0006】

）をほぼ復元する。

【0007】

ブロック変換１２０〜１２１は、サイズＮのベクトルｘに対する数学演算として定義できる。たいていの場合、この演算は線形乗算であり、Ｍを変換行列とする、変換領域出力ｙ＝Ｍｘを生じる。入力データが任意に長いときは、サイズＮのベクトルにセグメント化し、各セグメントにブロック変換を適用する。データ圧縮のためには、可逆ブロック変換を選択する。言い換えれば、行列Ｍは反転可能である。多次元（例えば画像やビデオなどの）においては通常、ブロック変換を分離可能な演算として実施する。データの各次元（すなわち行と列の両方）に沿って分離可能に行列乗算を適用する。

【0008】

圧縮では、変換係数（ベクトルｙの成分）を選択的に量子化（すなわち、係数値の最下位ビットを除去し、さもなければより高い分解能数セット中の値をより低い分解能にマップすることによって、分解能を低減）してもよく、さらに、圧縮データストリームにエントロピまたは可変長符号化してもよい。

【0009】

復号器１５０における復号時には、図１に示すように、これらの演算の逆（逆量子化／エントロピ復号化１６０および逆ブロック変換１７０〜１７１）を復号器１５０側にて適用する。データを復元する間、逆行列Ｍ-1（逆変換１７０〜１７１）が、乗数として変換領域データに適用される。変換領域データに適用されると、この逆変換は、ほぼ、元の時間領域または空間領域デジタルメディアを復元する。

【0010】

多くのブロック変換ベースの符号化アプリケーションにおいて、変換は、望ましくは可逆であり、量子化係数に応じて、有損失（ロシー）と無損失（ロスレス）の両方の圧縮をサポートする。例えば、量子化なしの場合（一般に量子化係数１と表す）、可逆変換を利用するコーデックは、復号時に入力データを正確に再現することができる。しかしながら、これらのアプリケーションにおける可逆性の要件は、コーデックを設計できる変換の選択を制約する。

【0011】

ＭＰＥＧやＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａなど、多くの画像およびビデオ圧縮システムは、特に、離散コサイン変換（ＤＣＴ）に基づく変換を利用する。ＤＣＴは、ほぼ最適なデータ圧縮を生じる好適なエネルギ圧縮特性を持つことが知られている。これらの圧縮システムでは、個々の画像ブロックを復元するために、圧縮システムの符号器と復号器両方の復元ループで逆ＤＣＴ（ＩＤＣＴ）を用いる。

【0012】

２．量子化
１つの可能な定義によれば、量子化とは、有損失の圧縮に共通して使用される近似非可逆マッピング関数に使用される用語であり、可能な出力値の特定の集合があり、可能な出力値の集合の各要素は、その特定の出力値の選択をもたらす関連する入力値の集合を有する。種々の量子化技術が開発され、それにはデッドゾーンを伴うまたは伴わない、スカラまたはベクトル、均一または不均一、および適応または非適応の量子化が含まれる。

【0013】

量子化演算は、基本的に符号器で実行される量子化パラメータＱＰによる偏向した除算である。逆量子化または乗算演算は、復号器で実行されるＱＰによる乗算である。これらのプロセスが一緒になって元の変換係数データ内での損失を招き、これが復号化された画像において圧縮エラーまたはアーチファクトとして現れる。単純化したコーデックでは、ＱＰの特定の固定値をフレーム内の全ての変換係数に適用することができる。これは場合によっては許容可能な解決策であるが、いくつかの欠失がある。

【0014】

人間の視覚系は全ての周波数、またはフレーム内の全ての空間位置、または全ての輝度およびクロミナンスチャネルに同等に敏感なわけではない。異なるＱＰ値を異なる係数に使用することによって、同じまたはより少ない圧縮ビット数でも視覚的に優れた符号化を提供できる。同様に、他のエラーの評価指標を適切に最適化することもできる。

【0015】

レート制御または所望のサイズの圧縮ファイルを作成するための符号器の能力は、単一のＱＰでフレーム全体にわたって機能するのは簡単ではない。

【0016】

従って、符号器が、任意の方法で画像全体にわたってＱＰを変化させることが望ましい。しかし、これは、各データパーティションに使用される実際のＱＰ値がビットストリーム内に信号伝達されなければならないことを意味する。これにより、ＱＰ信号情報の伝達のためだけに膨大な諸経費が生じ、実際には不適切である。望ましいのは、特に一般的に遭遇するシナリオにおいて望まれるのは、柔軟性がありしかもビットの面で経済的なＱＰ信号伝達の手段である。

【先行技術文献】

【特許文献】

【0017】

【特許文献1】米国特許出願１１／０１５７０７号明細書

【特許文献2】米国特許出願１１／０１５１４８号明細書

【特許文献3】米国特許出願１１／０３５９９１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0018】

要約すれば、量子化とは、ほとんどの画像およびビデオコーデックが、圧縮された画像品質および圧縮比を制御するための主要な機構である。もっともよく使われるコーデックスにサポートされた量子化方法は、特徴はあまりなく、柔軟性もほとんどなく、または追加ビットにかなりの間接費用が生じる。しばしば画像およびビデオフレームは通常均一に量子化されるか、または空間位置で量子化を変化させる能力は制限されている。この柔軟性の不足により、圧縮品質が悪化し、オンザフライでの正確なレート制御が妨げられる。一方、いくつかのコーデックは量子化方法のサポートにほとんど制約のない自由を提供する。異なる量子化部の使用を示す符号化は、符号化された媒体内で追加ビットを要し、それ自体が圧縮効率に悪影響を及ぼす可能性がある。さらに、適合する復号器を構築するプロセスでは、全ての可能性のある量子化方法の組み合わせにより生成された多数のテストに合格することが必要であり、これが負担になる。

【課題を解決するための手段】

【0019】

要約
後述の、「発明を実施するための最良の形態」では、符号化デジタルメディアデータの種々の次元に沿って量子化を変化させる能力を提供する多様な柔軟量子化技術について述べる。例えば、１つの代表的な柔軟量子化技術の実施形態は、３つの次元（１）空間位置、（２）周波数サブバンド、および（３）色チャネル、で量子化を変化させる。発明を実施するための最良の形態は、さらに、符号化デジタルメディアデータ内の柔軟量子化を効率的に信号化する方法について述べる。この量子化アプローチによる利益は、量子化関連のサイド情報によって生じる間接費用が、主要な使用シナリオに対して最小化され、一方で符号器の必要に応じて柔軟性を最大化することができることである。

【0020】

この要約は、以下の「発明を実施するための最良の形態」でさらに詳細に述べる概念を選択して簡略化した形式で紹介するために提供するものである。この要約は、請求の主題の重要な特徴または主要な特徴を確認することを意図しておらず、また、請求の主題の範囲を決定する助けとして使用されることを意図してもいない。本発明の追加の特徴および利点は、添付の図面を参照して継続する、以下の実施例の詳細な説明から明らかにされるであろう。

【図面の簡単な説明】

【0021】

【図1】従来技術における、従来型ブロック変換ベースのコーデックのブロック図である。

【図2】ブロックパターン符号化を組み込んだ、代表的な符号器のフロー図である。

【図3】ブロックパターン符号化を組み込んだ、代表的な復号器のフロー図である。

【図4】柔軟量子化技術による、ＤＣ量子化部の信号伝達のための疑似コード定義を含む表である。

【図5】柔軟量子化技術による、ローパス量子化部の信号伝達のための疑似コード定義を含む表である。

【図6】柔軟量子化技術による、ハイパス量子化部の信号伝達のための疑似コード定義を含む表である。

【図7】柔軟量子化技術による、フレーム層における量子化部の信号伝達のための疑似コード定義を含む表である。

【図8】柔軟量子化技術による、空間モードのタイル層における量子化部の信号伝達のための疑似コード定義を含む表である。

【図9】量子化技術による、周波数モードのタイル層におけるＤＣサブバンドの信号伝達のための疑似コード定義を含む表である。

【図10】柔軟量子化技術による、周波数モードのタイル層におけるローパスサブバンドの量子化部の信号伝達のための疑似コード定義を含む表である。

【図11】柔軟量子化技術による、周波数モードのタイルレイヤにおけるハイパスサブバンドの量子化部の信号伝達のための疑似コード定義を含む表である。

【図12】柔軟量子化技術による、空間モードのマクロブロック層における量子化部の信号伝達のための疑似コード定義を含む表である。

【図13】柔軟量子化技術による、周波数モードのマクロブロック層におけるローパス量子化部の信号伝達のための疑似コード定義を含む表である。

【図14】柔軟量子化技術による、周波数モードのマクロブロック層におけるハイパス量子化部の信号伝達のための疑似コード定義を含む表である。

【図15】柔軟量子化でメディア符号器／復号器を実施するための適切なコンピュータ環境のブロック図である。

【発明を実施するための形態】

【0022】

以下の記載は、空間、周波数および色次元に沿って適用される、量子化を変化させることができる効率的で柔軟性のある量子化を提供する、符号化および復号化技術に関する（以下、「柔軟量子化」と称する）。以下の記載では、デジタルメディア圧縮システムまたはコーデックとの関連でこの技術の例示的実施形態について説明する。デジタルメディアシステムは、伝送または記憶のためにデジタルメディアデータを圧縮形式に符号化し、そのデータを再生または他の処理のために復号化する。説明目的のため、柔軟量子化を組み込んだこの例示の圧縮システムは、画像またはビデオ圧縮システムである。代替として、この技術は他の二次元データ用の圧縮システムまたはコーデックに組み込むこともできる。柔軟量子化技術では、デジタルメディア圧縮システムが圧縮デジタルメディアデータを特定の符号化形式に符号化することを必要としない。

【0023】

１．符号器／復号器
図２および３は、代表的な二次元（２Ｄ）データ符号器２００および復号器３００で用いる処理を一般化した図である。図は、ブロックパターン符号化を実装する２Ｄデータ符号器および復号器を組み込む圧縮システムを一般化および簡略化した説明図である。ブロックパターン符号化を使用する代替の圧縮システムでは、この代表的な符号器および復号器に図解されるものよりも多い、または少ない処理が、２Ｄデータ圧縮に使用される。例えば、符号器／復号器は、色変換、色形式、スケーラブル符号化、無損失符号化、マクロブロックモードなどを含んでもよい。圧縮システム（符号器および復号器）は、無損失から有損失に変化する量子化パラメータに基づくことができる量子化に依存して、２Ｄデータの無損失および／または有損失圧縮を提供することができる。

【0024】

２Ｄデータ符号器２００は、該符号器への入力として表される２Ｄデータ２１０のよりコンパクトな（典型的な入力のための）表示である圧縮ビットストリーム２２０を生成する。例えば、２Ｄデータ入力は、画像、ビデオシーケンス内のフレーム、または他の二次元のデータであってもよい。２Ｄデータ符号器は入力データのフレームをブロックに分割し（図２にパーティショニング２３０として一般化して図解）、図解の実施形態ではフレームの平面全体にわたって規則的パターンを形成する重ね合わない４×４の画素ブロックである。これらのブロックは、マクロブロックと呼ばれるクラスタにグループ化されるが、この代表的な符号器では１６×１６画素のサイズである。そして、マクロブロックはタイルと呼ばれる規則的構造にグループ化される。タイルはまた、画像上に規則的なパターンを形成し、水平方向の列のタイルは一定の高さに整列され、垂直方向の列は一定の幅に整列される。代表的符号器において、タイルは水平および／または垂直方向に１６の倍数である任意のサイズとすることができる。代替の符号器の実施形態では、画像をブロック、マクロブロック、タイル、または他のサイズおよび構造の他の単位に分割することができる。

【0025】

「順重複」演算子２４０がブロック間の各エッジに適用され、その後各４×４のブロックがブロック変換２５０を使用して変換される。このブロック変換２５０は、２００４年１１月１７日出願のＳｒｉｎｉｖａｓａｎによるＲｅｖｅｒｓｉｂｌｅ Ｔｒａｎｓｆｏｒｍ Ｆｏｒ Ｌｏｓｓｙ Ａｎｄ Ｌｏｓｓｌｅｓｓ ２−Ｄ Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ（ロッシーおよびロスレス２Ｄデータ圧縮のための可逆な変換）と題する特許文献１に記載される、可逆スケールフリー２Ｄ変換であり得る。重複演算子２４０は、２００４年１１月１７日出願のＴｕらによるＲｅｖｅｒｓｉｂｌｅ Ｏｖｅｒｌａｐ Ｏｐｅｒａｔｏｒ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｌｏｓｓｌｅｓｓ Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ（効率的な損失なしデータ圧縮のための可逆重複演算子）と題する特許文献２、および２００５年１月１４日出願のＴｕらによるＲｅｖｅｅｒｓｉｂｌｅ ２−Ｄｉｍｅｎｔｉｏｎａｌ Ｐｒｅ−／Ｐｏｓｔ−Ｆｉｌｔｅｒｉｎｇ Ｆｏｒ Ｌａｐｐｅｄ Ｂｉｏｒｔｈｏｇｏｎａｌ Ｔｒａｎｓｆｏｒｍ（重複双直交変換のための可逆二次元プレ／ポストフィルタリング）と題される特許文献３に記載される可逆重複演算子であり得る。代替として、離散コサイン変換または他のブロック変換および重複演算子を利用することができる。変換に続いて、各４×４変換ブロックのＤＣ係数２６０に同様の一連の処理を施す（タイリング、順重複、次に４ｘ４ブロック変換）。得られたＤＣ変換係数およびＡＣ変換係数は、量子化２７０され、エントロピ符号化２８０され、パケット化２９０される。

【0026】

復号器は逆の処理を行う。復号器側では、それぞれのパケットから変換係数ビットが抽出３１０され、パケットから係数そのものが復号化３２０され、逆量子化３３０される。ＤＣ係数３４０は逆変換を施すことによって再生成され、ＤＣ係数の平面は、ＤＣ部ブロックのエッジ全体にわたって適用された適切な平滑化演算子を利用して「逆重複」される。続いて、４ｘ４逆変換３５０をＤＣ係数に、そしてビットストリームから復号化されたＡＣ係数３４２に適用することによって、全データが再生成される。最後に、得られた画像平面のブロックエッジは、逆重複フィルタリング３６０される。これにより、再構成２Ｄデータ出力を生成する。

【0027】

例示的実施形態において、符号器２００（図２）は入力画像を圧縮ビットストリーム２２０（例えばファイル）に圧縮し、復号器３００（図３）は、無損失または有損失符号化が採用されているかどうかに基づいて、オリジナル入力またはそれに近似するものを再構成する。符号化の処理は、後述する順重複変換（ＬＴ）の適用を伴い、順重複変換（ＬＴ）はより十分に後述する可逆二次元プレ／ポストフィルタリングによって実装される。復号化処理は、可逆二次元プレ／ポストフィルタリングを使用する逆重複変換（ＩＬＴ）の適用を伴う。

【0028】

図解のＬＴおよびＩＬＴは厳密な意味で互いに逆であり、したがってまとめて可逆重複変換と呼ぶことができる。可逆変換として、ＬＴ／ＩＬＴ対を、無損失画像圧縮に使用することができる。

【0029】

図解の符号器２００／復号器３００で圧縮された入力データ２１０は、種々の色形式の画像であり得る（例えば、ＲＧＢ／ＹＵＶ４：４：４、ＹＵＶ４：２：２またはＹＵＶ４：２：０色画像形式）。通常、入力画像は、常に、輝度（Ｙ）成分を有する。それがＲＧＢ／ＹＵＶ４：４：４、ＹＵＶ４：２：２、またはＹＵＶ４：２：０画像である場合、その画像は、Ｕ成分およびＶ成分といったクロミナンス成分も有する。画像の別個の色平面または成分は、異なる空間分解能を持つことができる。例えば、ＹＵＶ４：２：０色形式の入力画像の場合、ＵおよびＶ成分は、Ｙ成分の半分の幅と高さを有する。

【0030】

上述のように、符号器２００は、入力画像または写真をマクロブロックにタイル化する。例示的実施形態では、符号器２００は、入力画像をＹチャネルにおいて１６×１６の画素領域（「マクロブロック」と呼ぶ）にタイル化する（ＵおよびＶチャネルでは色形式に応じて１６×１６、１６ｘ８、または８×８の領域とすることができる）。各マクロブロック色平面は、４×４の画素領域またはブロックにタイル化する。したがって、この例示的な符号器の実施形態では、マクロブロックが、種々の色形式のために次のように構成される。
１．グレースケール画像では、各マクロブロックは、１６個の４×４輝度（Ｙ）ブロックを含む。
２．ＹＵＶ４：２：０形式色画像では、各マクロブロックは、１６個の４×４Ｙブロック、および４個ずつの４×４クロミナンス（ＵおよびＶ）ブロックを含む。
３．ＹＵＶ４：２：２形式色画像では、各マクロブロックは、１６個の４×４Ｙブロック、および８個ずつの４×４クロミナンス（ＵおよびＶ）ブロックを含む。
４．ＲＧＢまたはＹＵＶ４：４：４色画像では、各マクロブロックは、１６ブロックずつのＹ、ＵおよびＶチャネルを含む。

【0031】

したがって、変換後、この代表的な符号器２００／復号器３００のマクロブロックは３つの周波数サブバンド、すなわちＤＣサブバンド（ＤＣマクロブロック）、ローパスサブバンド（ローパスマクロブロック）、およびハイパスサブバンド（ハイパスマクロブロック）を有する。代表的なシステムにおいて、ローパスおよび／またはハイパスサブバンドはビットストリーム内では任意であり、よってこれらのサブバンドは全体的になくてもよい。

【0032】

さらに、圧縮データは、２つの順序、空間的順序および周波数的順序のいずれか１つの中のビットストリームに圧縮することができる。空間的順序には、タイル内の同一のマクロブロックの異なるサブバンドが共に系列化され、得られる各タイルのビットストリームは、１つのパケットに書き込まれる。周波数的順序には、タイル内の異なるマクロブロックから同一のサブバンドが共にグループ化され、したがって、タイルのビットストリームは３つのパケット、すなわちＤＣタイルパケット、ローパスタイルパケット、およびハイパスタイルパケットに書き込まれる。加えて、他のデータ層があってもよい。

【0033】

したがって、代表的なシステムでは、画像が次のような「次元」で体系化される。
空間次元：フレーム→タイル→マクロブロック
周波数次元：ＤＣ｜ローパス｜ハイパス
チャネル次元：輝度｜クロミナンス＿０｜クロミナンス＿ｌ．．．（例えば、Ｙ｜Ｕ｜Ｖ）。
上記の矢印は階層を表し、縦棒はパーティションを表す。

【0034】

代表的なシステムは、圧縮デジタルメディアデータを空間・周波数・チャネルの次元で体系化し、ここに記載する柔軟量子化アプローチは、データをより少ない、追加のまたは他の次元に沿って体系化する代替符号器／復号器システムに適用できる。例えば、柔軟量子化アプローチは、より大きい数の周波数帯域、他の色チャネル形式（例えば、ＹＩＱ、ＲＧＢなど）、追加の画像チャネル（例えば、ステレオビジョンまたは多重カメラアレイ用）を利用する符号化に適用できる。

【0035】

２．柔軟量子化概要
代表的な符号器／復号器において、量子化演算は、基本的に符号器で実行される量子化パラメータＱＰによる偏向した除算である。逆量子化または乗算演算は、復号器で実行されるＱＰによる乗算である。しかし、ここに記載する代替の柔軟量子化の実施形態は、均一または不均一、スカラまたはベクトル、デッドゾーンを伴うまたは伴わない、を含む他の形式の量子化を利用することができる。量子化／逆量子化処理は共に、元の変換係数データ内での損失を招き、これが復号化された画像において圧縮エラーまたはアーチファクトとして現れる。単純化したコーデックでは、ＱＰの特定の固定値をフレーム内の全ての変換係数に適用することができる。これはある場合には許容可能な解決策であるが、いくつかの欠失がある。

【0036】

人間の視覚系は全ての周波数、またはフレーム内の全ての空間位置、または全ての輝度およびクロミナンスチャネルに同等に敏感なわけではない。異なるＱＰ値を異なる係数に使用することによって、同じまたはより少ない圧縮ビット数でも視覚的に優れた符号化を提供できる。同様に、他のエラー評価指標を適切に最適化することもできる。

【0037】

レート制御または所望のサイズの圧縮ファイルを作成するための符号器の能力は、単一のＱＰではフレーム全体にわたって機能するのは簡単ではない。

【0038】

理想的には、したがって、符号器が画像全体にわたって任意の方法でＱＰを変化させることが可能であるべきである。しかし、これは、各データパーティション（マクロブロック／タイル／チャネル／サブバンド等）に使用されるＱＰの実効値がビットストリーム内に示されなければならないことを意味する。これにより、膨大な間接費用がＱＰ信号伝達情報の伝達のためだけに生じ、実際には不適切である。望ましいものは、特に、一般的に遭遇するシナリオで好適なのは、柔軟性があり、しかもビットの面で経済的な信号伝達ＱＰ手段である。

【0039】

本願明細書に述べる柔軟量子化技術は、符号化デジタルメディアデータの種々のパーティションまたは次元に沿って量子化を変化させる能力を提供する。例えば、代表的な符号器２００／復号器３００システムの１つの柔軟量子化技術の実装は、３つの次元（ｉ）空間位置、（ｉｉ）周波数サブバンド、および（ｉｉｉ）色チャネル、で量子化を変化させる。しかし、柔軟量子化技術の他の代替の実装においては、量子化をデータのより少ない、追加の、または他の次元またはパーティションにわたって変化させることができる。これは、符号化デジタルメディアデータ内の柔軟量子化を効率的に信号化する方法を含む。この量子化アプローチによる利益は、量子化関連のサイド情報によって生じる間接費用が、主要な使用シナリオに対して最小化され、一方で符号器の必要に応じて柔軟性を最大化することができることである。

【0040】

柔軟量子化技術は、量子化の微細空間粒度制御を提供する。１つの特別な実施形態では、柔軟量子化は、フレーム、タイル、またはマクロブロックまで適用される量子化全体の制御を可能にする。フレームが均一に量子化されない場合、各タイルを均一に量子化することができる。タイルが均一に量子化されない場合、各マクロブロックは異なって量子化されるであろう。

【0041】

柔軟量子化は、さらに周波数サブバンド次元に沿った量子化制御を可能にする。１つの特別な実施形態では、柔軟量子化は、サブバンドモードを含み、周波数サブバンド間の量子化関係を特定する。サブバンドは、均一に、または一部のみ均一に（ローパスサブバンドはＤＣサブバンド量子化部を使用して、および／または、ハイパスサブバンドはローパス量子化部を利用して）、または独立して、量子化することができる。

【0042】

柔軟量子化はまた、データのチャネル次元に沿って適用される量子化全体の制御を可能にする。１つの特別な実施形態では、柔軟量子化はチャネルモードを含み、色チャネル間の量子化関係を特定する。チャネルは、均一に、または部分的に均一に（クロミナンスチャネルは均一に、輝度は独立して）、または独立して、量子化することができる。

【0043】

ここに記載する柔軟量子化はまた、圧縮デジタルメディアデータのサイド情報内で、主要な使用シナリオにとって重要な、空間、周波数サブバンドおよびチャネル全体の上記量子化制御の組み合わせを効率的に信号伝達する技術を提供する。さらに、柔軟量子化技術は、デジタルメディアデータ内の可能性のある量子化部の定義されたサブセットから指標付けすることによって、量子化部の選択を効率的に定義する方法を提供する。

【0044】

３．空間次元の柔軟量子化
空間次元においては、代表的な符号器／復号器の柔軟量子化技術によって３つの選択が提供される。
・フレーム全体を同一の量子化規則を使用して符号化することができる。
・別法では、タイル全体を同一の量子化規則を使用して符号化することができ、フレーム内の異なるタイルが異なる量子化規則を使用することができる。
・別法では、タイル内の各マクロブロックを同一の量子化規則を使用して符号化することができ、タイル内の異なるマクロブロックが異なる量子化規則を使用することができる。

【0045】

これらの可能性を信号伝達する１つの手段は下記のとおりである。バイナリ信号がビットストリーム内に、第１の可能性が真であるかどうかを示すフレームレベルで送信される。真でない場合、固定長のシンボルがビットストリーム内を、タイルに利用される量子化規則の数を示す各タイル内に送信される。タイルが１つ以上の量子化規則を利用する場合、可変長のシンボルが、マクロブロックが利用する量子化規則を示す、対応するタイル内の各マクロブロック内に送信される。復号器は、符号器と調和する方法でビットストリームを解釈する。

【0046】

代表的な符号器２００／復号器３００は、上記の信号伝達の変形を利用する。ここではＸＸＸ＿ＦＲＡＭＥ＿ＵＭＩＦＯＲＭとラベル表示される汎用構文要素によって表されるバイナリ信号は、フレームレベル（ここでＸＸＸは、量子化制御の特別な周波数サブバンドまたはチャネル次元を特定するプレースホルダである）で送信されるだけである。タイルレベルでは、他とは区別される量子化部規則の数が、フレームレベル構文要素（ＸＸＸ＿ＦＲＡＭＥ＿ＵＮＩＦＯＲＭ）が偽のときのみ、タイルレベル構文要素（ＸＸＸ＿ＱＵＡＮＴＩＺＥＲＳ）で送信される。この数が１に等しいとき、これは規則が１つだけあり、したがってタイル内の全てのマクロブロックが、同一の量子化規則で均一に符号化され（選択２を示す）、そうでなければ、第３の可能性の選択を示すことを意味する。

【0047】

４．周波数帯域にわたる柔軟量子化
周波数帯域にわたる柔軟量子化では、代表的な符号器２００／復号器３００のビットストリーム構文が２つのスイッチを定義する。
・ローパスマクロブロックが、同一の空間位置でＤＣマクロブロックと同じ量子化規則を利用する。これは、構文要素ＵＳＥ＿ＤＣ＿ＱＵＡＮＴＩＺＥＲに対応する。
・ハイパスマクロブロックが、同一の空間位置でローパスマクロブロックと同じ量子化規則を利用する。これは、構文要素ＵＳＥ＿ＬＰ＿ＱＵＡＮＴＩＺＥＲに対応する。

【0048】

これらのスイッチは、フレーム全体が同一の量子化規則を利用するときはフレーム層において有効であり、または他の場合はタイル層において有効である。これらのスイッチは、マクロブロック層では有効ではない。タイル内の全てのマクロブロックは、よって、周波数帯域にわたって同一の規則に従う。バイナリシンボルは、適切な（フレームまたはタイル）層において各スイッチに送信される。

【0049】

５．画像チャネル全体にわたる柔軟量子化
チャネル全体にわたる柔軟量子化では、代表的な符号器２００／復号器３００のビットストリーム構文は３つの選択を許可する。
・全てのチャネル−輝度およびクロミナンスが同一の量子化規則を有する。これは、汎用構文要素ＸＸＸ＿ＣＨ＿ＭＯＤＥ＝＝ＣＨ＿ＵＮＩＦＯＲＭによって示される。
・輝度は１つの量子化規則に従い、全てのクロミナンスチャネルは異なる量子化規則に従い、ＸＸＸ＿ＣＨ＿ＭＯＤＥ＝＝ＣＨ＿ＭＩＸＥＤで示される。
・全てのチャネルは異なる量子化規則を自由に選択でき、ＸＸＸ＿ＣＨ＿ＭＯＤＥ＝＝ＣＨ＿ＩＮＤＥＰＥＮＤＥＮＴで示される。

【0050】

６．組み合わせ柔軟量子化
代表的な符号器２００／復号器３００は、図４〜１４に示されるコードテーブルに定義されるビットストリーム構文を使用するが、このビットストリーム構文は上述の次元全体にわたる柔軟量子化オプションからの特定の選択を効率的に符号化することができる。空間、周波数サブバンドおよびチャネル次元のそれぞれ全体にわたる利用可能ないくつかの量子化オプションを用いると、利用可能な量子化オプションの順列の数は大きくなる。３つの次元全体にわたる柔軟量子化の複雑さに加えて、代表的な符号器２００／復号器３００のビットストリームを空間または周波数的順序で配列することができるという事実がある。しかし、これが利用可能な量子化オプションを変化させることはなく、信号のシリアル化に影響するだけである。図４〜１４で定義される構文は、組み合わせ柔軟量子化規則の効率的な符号化を提供する。

【0051】

代表的な符号器／復号器の構文で定義されるような組み合わせ量子化規則のいくつかの顕著な特徴は、以下の通りである。

【0052】

ＤＣ量子化は、マクロブロックベースで変化させることができない。これにより、逆スケーリング演算を行う必要なしに、量子化ＤＣ値の差動符号化を可能にする。比較的小さな量子化部で画像タイルのＤＣバンドを符号化することは、ＡＣ（ローパスおよびハイパス）バンドが量子化を変化させることで符号化されるときでさえ、それほどビットレートに影響しない。

【0053】

スケールの一端において、フレーム内の全ての変換係数が同一の量子化パラメータを利用する。スケールの他方端において、全てのチャネルのローパスおよびハイパス量子化規則を、タイル／フレームの各マクロブロックに対して独立して変化させることができる。唯一の制限は、他とは区別されるローパスおよびハイパス量子化部規則（全てのチャネルをカバーする）の数がそれぞれ１６に制限されるということである。そのような各規則で、各チャネルに対する量子化パラメータの独自の値を特定することができる。

【0054】

これらの両極端の間で、図４〜１４に示す構文テーブルによって特定するように、いくつかの組み合わせが可能である。

【0055】

７．量子化部パラメータの指標付け
代表的な符号器／復号器の特定の量子化パラメータ（ＱＰ）は、調和したスケールに基づく。量子化部パラメータ指標（ＱＰＩ）の８ビット値が、比較的大きくてよいＱＰの値に対応する。指標付けの第２レベルを実行し、マクロブロック全体にわたって変化するＱＰＩを効率的な方法で符号化できる。

【0056】

さらに特に、符号器２００は１〜１６の間のＱＰＩ「ベクトル」を含むビットストリームの集合を定義することができる。各ＱＰＩベクトルは１つまたは複数のＱＰＩ値からなり、これに基づいてＸＸＸ＿ＣＨＡＮＮＥＬ＿ＭＯＤＥが選択される。このような集合が、周波数帯域スイッチに基づいてＤＣ、ローパスおよびハイパスサブバンドに対して定義される。さらに、ただ１つのＤＣ量子化部がタイルチャネルに許容されるため、ＤＣの集合は、ただ１つのＱＰＩベクトルを持つ。これらの集合の符号化は、図４〜６に示すテーブルに定義される。

【0057】

図７〜１１の表に示すように、ＤＣ、ローパスおよびハイパス周波数サブバンドのＱＰＩベクトル集合の信号伝達は、以下のように起こる。他の符号化モードに基づいて、各集合の濃度（すなわち、集合内のＱＰＩベクトルの数）が、対応するタイルまたはフレームの開始におけるローパスおよびハイパスサブバンドのために示される。ＤＣ集合の濃度は、１である。疑似コード表において濃度を表す構文要素は、「ＸＸＸ＿ＱＵＡＮＴＩＺＥＲＳ」とラベルされる。（実際には、ＸＸＸ＿ＱＵＡＮＴＩＺＥＲＳ−１はビットストリーム内に送信される。）表内で「ＸＸＸ＿ＱＵＡＮＴＩＺＥＲ」とラベル表示された構文要素は、ＱＰＩ集合の符号化を表し、ＱＰＩ集合は図４〜６に示す表内に定義される。

【0058】

マクロブロックレベルにおいて、所望のＱＰＩベクトルの指標ＱＩのみをＱＰＩ集合内から送信すれば十分である。図１２〜１４の表は、マクロブロックベースでＱＩを送信する構文を定義する。ＱＩに対応する構文要素は、「ＸＸＸ＿ＱＵＡＮＴＩＺＥＲ＿ＩＮＤＥＸ」とラベル表示する。ＱＩを信号伝達するのに可変長符号を使用する。まず、１ビットシンボルが送信され、ＱＩがゼロか否かを表す。ゼロでなければ、ｃｅｉｌ（ｌｏｇ２（ＸＸＸ＿ＱＵＡＮＴＩＺＥＲＳ−１））で与えられる長さの固定長符号が送信され、ゼロではない特定のＱＩを表す。これにより、マクロブロックにつき１ビットという低さで「デフォルト」の量子化規則（ＱＩ＝０）の効率的な符号化が可能になる。ＸＸＸ＿ＱＵＡＮＴＩＺＥＲＳが１のとき、ＸＸＸ＿ＱＵＡＮＴＩＺＥＲ＿ＩＮＤＥＸは一意的にゼロであり、したがってＱＩは信号伝達される必要がない。

【0059】

８．拡張機能
柔軟量子化の上記の説明は、代表的な符号器および復号器、および構文における実施形態に限定されている。しかし、この技術の原理は他のデジタルメディア圧縮システムおよびフォーマットにも拡張できる。例えば、代表的な符号器／復号器は、３つのみの周波数サブバンド（ＤＣ、ローパスおよびハイパス）を有する。しかし、より一般的には、柔軟量子化の代替の実施形態は、直接的方法で多数の周波数サブバンドに拡張できる。同様に、代替柔軟量子化実施形態は、サブマクロブロック（ブロック等）レベルで量子化指標（ＱＩ）情報を送信することによるなどして、より微細な空間粒度で量子化部を変化させることができる。柔軟量子化技術の基本原理に対する多数の拡張が同一のフレームワーク内で可能である。

【0060】

９．コンピュータ環境
柔軟量子化の上述の処理技術は、種々の任意のデジタルメディア符号化および／または復号化システムで実現可能であり、これには、他の例の中でも（サーバ、デスクトップ、ラップトップ、ノート、等を含む種々のフォームファクタの）コンピュータ、デジタルメディアレコーダおよびプレーヤ、画像およびビデオキャプチャ装置（カメラ、スキャナ、等）、通信機器（電話、携帯電話、電子会議機器、等）、ディスプレイ、プリントまたは他のプレゼンテーション装置等が含まれる。柔軟量子化技術は、ハードウェア電気回路、デジタルメディア処理ハードウェアを制御するファームウェア、また図１５に示すようなコンピュータまたは他のコンピュータ環境内で実行する通信ソフトウェアで実施可能である。

【0061】

図１５は、記載の実施例を実装可能な適切なコンピュータ環境（１５００）を一般化した例を図解している。本発明は、さまざまな汎用または専用のコンピュータ環境で実装できるものであり、コンピュータ環境（１５００）は、本発明の使用または機能の範囲についていかなる制限も示唆することを意図していない。

【0062】

図１５を参照すると、コンピュータ環境（１５００）は、少なくとも１つの処理装置（１５１０）およびメモリ（１５２０）を含む。図１５において、この最も基本的な構造（１５３０）が、点線内に含まれる。処理装置（１５１０）は、コンピュータ実行可能命令を実行し、実プロセッサまたは仮想プロセッサであり得る。マルチプロセシングシステムにおいて、複数の処理装置が、コンピュータ実行可能命令を実行し処理能力を増加させる。メモリ（１５２０）は、揮発性メモリ（例えば、レジスタ、キャッシュ、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等）、またはこの２つの組み合わせであり得る。メモリ（１５２０）は、記載のデジタルメディア符号化／復号化を柔軟量子化技術によって実装するソフトウェア（１５８０）を記憶する。

【0063】

コンピュータ環境は、追加の特徴を有してもよい。例えば、コンピュータ環境（１５００）は、記憶装置（１５４０）、１つまたは複数の入力装置（１５５０）、１つまたは複数の出力装置（１５６０）、および１つまたは複数の通信接続部（１５７０）を含む。バス、コントローラ、またはネットワーク等の相互接続機構（図示せず）が、コンピュータ環境（１５００）のコンポーネントを相互接続する。典型的には、オペレーティングシステムソフトウェア（図示せず）が、コンピュータ環境（１５００）中で実行する他のソフトウェアのオペレーティング環境を提供し、コンピュータ環境（１５００）のコンポーネントのアクティビティを調整する。

【0064】

記憶装置（１５４０）は、着脱可能または着脱不能であってもよく、磁気ディスク、磁気テープまたはカセット、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、または情報を記憶するために使用できる、およびコンピュータ環境（１５００）内でアクセスできる、任意の他の媒体を含む。記憶装置（１５４０）は、記載のデジタルメディア符号化／復号化を柔軟量子化技術によって実装するソフトウェア（１５８０）に対する命令を記憶する。

【0065】

入力装置（１５５０）は、キーボード、マウス、ペン、またはトラックボール等のタッチ入力装置、音声入力装置、スキャニング装置、またはコンピュータ環境（１５００）に入力を与える別の装置であってもよい。オーディオに関しては、入力装置（１５５０）は、マイクロホンまたはマイクロホン配列から、アナログまたはデジタル形式でオーディオ入力を受けとるサウンドカードまたは同様の装置、またはコンピュータ環境にオーディオサンプルを提供するＣＤ−ＲＯＭリーダであってもよい。出力装置（１５６０）は、ディスプレイ、プリンタ、スピーカ、ＣＤライタ、またはコンピュータ環境（１５００）からの出力を与える別の装置であってもよい。

【0066】

通信接続部（１５７０）は、別のコンピューティングエンティティへの通信媒体全体の通信を可能にする。通信媒体は、コンピュータ実行可能命令、圧縮オーディオまたはビデオ情報、または他のデータ等の情報を変調データ信号で伝達する。変調データ信号は、信号内の情報を符号化する方法で１つまたは複数の特徴がセットまたは変更された信号である。限定ではなく例として、通信媒体は、電気、光、無線周波数（ＲＦ）、赤外線、音響または他のキャリアで実施される有線または無線技術を含む。

【0067】

柔軟量子化技術による、記載のデジタルメディア符号化／復号化は、ここではコンピュータ読取可能媒体の一般的文脈で記載することができる。コンピュータ読取可能媒体は、コンピュータ環境内でアクセス可能な任意の利用可能な媒体である。限定ではなく例として、コンピュータ環境（１５００）では、コンピュータ読取可能媒体は、メモリ（１５２０）、記憶装置（１５４０）、通信媒体およびこれらの任意の組み合わせを含む。

【0068】

柔軟量子化技術による、記載のデジタルメディア符号化／復号化は、ここではプログラムモジュールに含まれ、目的の実または仮想プロセッサ上のコンピュータ環境で実行されるもの等のコンピュータ実行可能命令の一般的文脈の中で記載することができる。一般的に、プログラムモジュールは、ルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造等のように、特定のタスクを実行し、または特定の抽象データ型を実施するものを含む。プログラムモジュールの機能は、種々の実施例に記載したようなプログラムモジュール間で組み合わせられても、または分割されてもよい。プログラムモジュールのためのコンピュータ実行可能命令は、ローカルまたは分散型コンピュータ環境内で実行することができる。

【0069】

提示の目的で、詳細な説明では、「決定する」、「生成する」、「調節する」および「適用する」等の用語を使用してコンピュータ環境内のコンピュータ演算を説明している。これらの用語は、コンピュータが実行する演算の高レベルな抽象表現であり、人間による行動と混同されるべきではない。これらの用語に対応する実際のコンピュータ演算は、実施形態によって変化する。

【0070】

我々の発明を適用可能な、多くの可能性のある実施例を考慮して、我々は我々の発明として、上述の請求項およびその等価物の範囲および精神の中にあるすべての実施例を請求する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】