特許 6953497 ビデオ符号化方法、ビデオ復号方法、ビデオエンコーダ、及びビデオデコーダ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6953497

(24)【登録日】2021年10月1日

(45)【発行日】2021年10月27日

(54)【発明の名称】ビデオ符号化方法、ビデオ復号方法、ビデオエンコーダ、及びビデオデコーダ

(51)【国際特許分類】

   H04N 19/593 20140101AFI20211018BHJP

   H04N 19/12 20140101ALI20211018BHJP

   H04N 19/159 20140101ALI20211018BHJP

   H04N 19/176 20140101ALI20211018BHJP

   H04N 19/61 20140101ALI20211018BHJP

【ＦＩ】

   H04N19/593

   H04N19/12

   H04N19/159

   H04N19/176

   H04N19/61

【請求項の数】12

【全頁数】28

(21)【出願番号】特願2019-200786(P2019-200786)

(22)【出願日】2019年11月5日

(62)【分割の表示】特願2018-163393(P2018-163393)の分割

【原出願日】2011年12月21日

(65)【公開番号】特開2020-18022(P2020-18022A)

(43)【公開日】2020年1月30日

【審査請求日】2019年11月5日

(31)【優先権主張番号】61/425,670

(32)【優先日】2010年12月21日

(33)【優先権主張国】US

(31)【優先権主張番号】61/449,528

(32)【優先日】2011年3月4日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】ボッセン， フランク， ジャン

(72)【発明者】

【氏名】カヌムリ サンディープ

【審査官】 鉢呂 健

(56)【参考文献】

【文献】 特許第６６１５２９０（ＪＰ，Ｂ２）

【文献】 特開平０５−０９５５３８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０３１０６７７（ＵＳ，Ａ１）

【文献】 Sandeep Kanumuri et al.，Enhancements to Intra Coding， Joint Collaborative Team on Video Coding (JCT-VC)，2011年01月22日，[JCTVC-D235] (version 3)

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

平面モードの下で対象ブロック内のピクセル値を予測するためのビデオ符号化方法であり、ビデオエンコーダのプロセッサによって実行されるコンピュータ実行可能な複数のステップを含むビデオ符号化方法であって、
前記対象ブロックの外側かつ上側にある水平境界ピクセルそれぞれのピクセル値と、前記対象ブロックの外側かつ左側にある垂直境界ピクセルのうちの１つのピクセルであって前記対象ブロックに隣接する前記垂直境界ピクセルのうち最も下にあるピクセルのピクセル値との間の線形補間を用いて第１の予測値を計算するステップと、
前記垂直境界ピクセルそれぞれのピクセル値と、前記水平境界ピクセルのうちの１つのピクセルであって前記対象ブロックに隣接する前記水平境界ピクセルのうち最も右にあるピクセルのピクセル値との間の線形補間を用いて第２の予測値を計算するステップと、
前記第１の予測値と前記第２の予測値とを平均して、予測ブロック内の予測ピクセル値の各々を導出するステップと、
を含み、
前記対象ブロック内の右下のピクセルの予測値はシグナリングされない、ビデオ符号化方法。

【請求項2】

前記予測ブロックと前記対象ブロックとの間の残差をシグナリングするステップ、
をさらに含む請求項１に記載のビデオ符号化方法。

【請求項3】

前記平面モード以外の予測モードの下で生成された残差を変換するときに変換カーネルの主セットＨ^Ｎ（ｉ，ｊ）が使用され、前記平面モードの下で生成された残差を変換するときに変換カーネルの副セットＧ^Ｎ（ｉ，ｊ）が使用されるように、変換カーネルの前記主セットＨ^Ｎ（ｉ，ｊ）から変換カーネルの前記副セットＧ^Ｎ（ｉ，ｊ）に切り替えるステップと、
変換カーネルの前記副セットＧ^Ｎ（ｉ，ｊ）を用いて、前記平面モードの下で生成された前記残差を変換するステップと、
をさらに含む請求項２に記載のビデオ符号化方法。

【請求項4】

サイズＮ×Ｎの変換カーネルの前記副セットＧ^Ｎ（ｉ，ｊ）が、サイズＭ×Ｍの変換カーネルの主セットＨ^Ｍ（ｉ，ｊ）によって定義され、ここで、Ｍ＞Ｎである請求項３に記載のビデオ符号化方法。

【請求項5】

平面モードの下で対象ブロック内のピクセル値を予測するためのビデオ復号方法であり、ビデオデコーダのプロセッサによって実行されるコンピュータ実行可能な複数のステップを含むビデオ復号方法であって、
前記対象ブロックの外側かつ上側にある水平境界ピクセルそれぞれのピクセル値と、前記対象ブロックの外側かつ左側にある垂直境界ピクセルのうちの１つのピクセルであって前記対象ブロックに隣接する前記垂直境界ピクセルのうち最も下にあるピクセルのピクセル値との間の線形補間を用いて第１の予測値を計算するステップと、
前記垂直境界ピクセルそれぞれのピクセル値と、前記水平境界ピクセルのうちの１つのピクセルであって前記対象ブロックに隣接する前記水平境界ピクセルのうち最も右にあるピクセルのピクセル値との間の線形補間を用いて第２の予測値を計算するステップと、
前記第１の予測値と前記第２の予測値とを平均して、予測ブロック内の予測ピクセル値の各々を導出するステップと、
を含み、
前記対象ブロック内の右下のピクセルの予測値は、前記垂直境界ピクセル及び前記水平境界ピクセルのみから導出され、
エンコーダからの前記対象ブロック内の前記右下のピクセルの前記予測値はシグナリングされない、ビデオ復号方法。

【請求項6】

エンコーダにおいて前記平面モードの下で生成された、エンコーダからシグナリングされた残差を復号するステップと、
復号された前記残差を前記予測ブロックに加算して画像データを再構築するステップと、
をさらに含む請求項５に記載のビデオ復号方法。

【請求項7】

平面モードの下で対象ブロック内のピクセル値を予測するビデオエンコーダであって、
コンピュータシステムのプロセッサと、
前記プロセッサによって実行可能なプログラムを記憶するメモリと、
を備え、
前記プロセッサは、
前記対象ブロックの外側かつ上側にある水平境界ピクセルそれぞれのピクセル値と、前記対象ブロックの外側かつ左側にある垂直境界ピクセルのうちの１つのピクセルであって前記対象ブロックに隣接する前記垂直境界ピクセルのうち最も下にあるピクセルのピクセル値との間の線形補間を用いて第１の予測値を計算し、
前記垂直境界ピクセルそれぞれのピクセル値と、前記水平境界ピクセルのうちの１つのピクセルであって前記対象ブロックに隣接する前記水平境界ピクセルのうち最も右にあるピクセルのピクセル値との間の線形補間を用いて第２の予測値を計算し、
前記第１の予測値と前記第２の予測値とを平均して、予測ブロック内の予測ピクセル値の各々を導出し、
前記対象ブロック内の右下のピクセルの予測値はシグナリングされない、
ビデオエンコーダ。

【請求項8】

前記プロセッサは、前記予測ブロックと前記対象ブロックとの間の残差をシグナリングする、請求項７に記載のビデオエンコーダ。

【請求項9】

前記プロセッサは、
前記平面モード以外の予測モードの下で生成された残差を変換するときに変換カーネルの主セットＨ^Ｎ（ｉ，ｊ）が使用され、前記平面モードの下で生成された残差を変換するときに変換カーネルの副セットＧ^Ｎ（ｉ，ｊ）が使用されるように、変換カーネルの前記主セットＨ^Ｎ（ｉ，ｊ）から変換カーネルの前記副セットＧ^Ｎ（ｉ，ｊ）に切り替え、
変換カーネルの前記副セットＧ^Ｎ（ｉ，ｊ）を用いて、前記平面モードの下で生成された前記残差を変換する、
請求項８に記載のビデオエンコーダ。

【請求項10】

サイズＮ×Ｎの変換カーネルの前記副セットＧ^Ｎ（ｉ，ｊ）が、サイズＭ×Ｍの変換カーネルの主セットＨ^Ｍ（ｉ，ｊ）によって定義され、ここで、Ｍ＞Ｎである請求項９に記載のビデオエンコーダ。

【請求項11】

平面モードの下で対象ブロック内のピクセル値を予測するビデオデコーダであって、
コンピュータシステムのプロセッサと、
前記プロセッサによって実行可能なプログラムを記憶するメモリと、
を備え、
前記プロセッサは、
前記対象ブロックの外側かつ上側にある水平境界ピクセルそれぞれのピクセル値と、前記対象ブロックの外側かつ左側にある垂直境界ピクセルのうちの１つのピクセルであって前記対象ブロックに隣接する前記垂直境界ピクセルのうち最も下にあるピクセルのピクセル値との間の線形補間を用いて第１の予測値を計算し、
前記垂直境界ピクセルそれぞれのピクセル値と、前記水平境界ピクセルのうちの１つのピクセルであって前記対象ブロックに隣接する前記水平境界ピクセルのうち最も右にあるピクセルのピクセル値との間の線形補間を用いて第２の予測値を計算し、
前記第１の予測値と前記第２の予測値とを平均して、予測ブロック内の予測ピクセル値の各々を導出し、
前記対象ブロック内の右下のピクセルの予測値は、前記垂直境界ピクセル及び前記水平境界ピクセルのみから導出され、
エンコーダからの前記対象ブロック内の前記右下のピクセルの前記予測値はシグナリングされない、
ビデオデコーダ。

【請求項12】

前記プロセッサは、
エンコーダからシグナリングされた残差を復号し、
復号された前記残差を前記予測ブロックに加算する、
請求項１１に記載のビデオデコーダ。

【発明の詳細な説明】

【技術分野】

【0001】

[0002]本発明は、ビデオ符号化に関し、特に、低複雑性平面予測モード符号化（ｌｏｗ ｃｏｍｐｌｅｘｉｔｙ ｐｌａｎａｒ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ ｃｏｄｉｎｇ）によって拡張されたフレーム内予測に関する。

【0002】

［関連出願］
[0001]本特許明細書は、２０１０年１２月２１日に出願された米国特許仮出願第６１／４２５，６７０号及び２０１１年３月４日に出願された米国特許仮出願第６１／４４９，５２８号の、合衆国法典第３５編（米国特許法）第１１９条（ｅ）項の下での出願日の利益を主張するものであり、これらの仮出願の内容全体は、参照により本明細書に援用される。

【背景技術】

【0003】

[0003]デジタルビデオは、非圧縮式にデジタルビデオシーケンス（例えば、一連のフレーム）の１つ１つのフレームを表すために大量のデータを必要とする。帯域幅の制限のために、非圧縮デジタルビデオをコンピュータネットワークを介して送信することはほとんどの応用で実現不可能である。さらに、非圧縮デジタルビデオは、大量の記憶スペースを必要とする。デジタルビデオは、必要なストレージを減らし、必要な帯域幅を減らすために、通常、何らかの方法で符号化される。

【0004】

[0004]デジタルビデオを符号化するための１つの技術は、フレーム間予測、即ちインター予測（ｉｎｔｅｒ−ｐｒｅｄｉｃｔｉｏｎ）である。インター予測は、異なるフレームの間の時間的な冗長性を利用する。ビデオの時間的に隣接するフレームは、一般的に、ほとんど同じままであるピクセルのブロックを含む。符号化プロセス中、動きベクトルが、あるフレームのピクセルのブロックの別のフレームの同様のピクセルのブロックへの動きを相互に関連付ける。したがって、システムは、そのピクセルのブロックを２回符号化することを求められず、むしろ、そのピクセルのブロックを１回符号化し、他方のピクセルのブロックを予測するために動きベクトルを提供する。

【0005】

[0005]デジタルビデオを符号化するための別の技術は、フレーム内予測、即ちイントラ予測（ｉｎｔｒａ−ｐｒｅｄｉｃｔｉｏｎ）である。イントラ予測は、その他のフレームのピクセルを参照することなくフレーム又はそのフレームの一部を符号化する。イントラ予測は、フレーム内のピクセルのブロックの間の空間的な冗長性を利用する。空間的に隣接するピクセルのブロックは一般的に同様の属性を有するので、隣接するブロックの間の空間的な相関を参照することによって符号化プロセスの効率が改善される。この相関は、隣接するブロックで使用される予測モード（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）に基づいて対象ブロックの予測によって利用され得る。

【0006】

[0006]一般的に、エンコーダはピクセル予測器（ｐｉｘｅｌ ｐｒｅｄｉｃｔｏｒ）を備え、ピクセル予測器はインター予測器（ｉｎｔｅｒ−ｐｒｅｄｉｃｔｏｒ）、イントラ予測器（ｉｎｔｒａ−ｐｒｅｄｉｃｔｏｒ）、及びモードセレクタを備える。インター予測器は、動き補償された参照フレームに基づいて、受信された画像に関する予測を実行する。イントラ予測器は、現在のフレーム又はピクチャの既に処理された部分に基づいて、受信された画像に関する予測を実行する。イントラ予測器は、複数の異なるイントラ予測モードをさらに備え、それぞれの予測モードの下で予測を実行する。インター予測器及びイントラ予測器からの出力は、モードセレクタに供給される。

【0007】

[0007]モードセレクタは、インター予測符号化か、又はイントラ予測符号化か、どちらの符号化方法が使用されるべきかを判定し、イントラ予測符号化が使用されるべきであるときは、複数のイントラ予測モードの中でイントラ予測符号化のどのモードが使用されるべきかを判定する。判定プロセスにおいて、モードセレクタは、コスト関数を使用して、どの符号化方法又はどのモードが符号化の効率及び処理のコストに関して最も効率のよい結果をもたらすかを分析する。

【0008】

[0008]イントラ予測モードは、ＤＣモード及び方向モード（ｄｉｒｅｃｔｉｏｎａｌ ｍｏｄｅ）を含む。ＤＣモードは、ピクセル値がブロック中で一定であるブロックを適切に表す。方向モードは、特定の方向の縞模様を有するブロックを表すのに適している。画像が平滑で、その画像のピクセル値がブロック内で徐々に変化する別の画像パターンが存在する。ＤＣモード及び方向モードは、画像コンテンツ内の小さく緩やかな変化を予測するのには向いておらず、特に低〜中ビットレートにおいてやっかいなブロッキングアーティファクト（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）をもたらす可能性がある。これは、緩やかに変化するピクセル値を有するブロックが符号化されるときに、ブロックのＡＣ係数が０に量子化される傾向がある一方、ＤＣ係数が非ゼロの値を有するからである。

【0009】

[0009]この問題に対処するために、Ｈ．２６４／ＡＶＣ規格の下でのイントラ予測モードは、小さな平面の傾きでピクセル値が徐々に変化する平滑な画像を有するブロックを表すための平面モード（ｐｌａｎａｒ ｍｏｄｅ）をさらに含む。Ｈ．２６４／ＡＶＣ規格の平面モードの下では、平面の傾きが推定され、デコーダにビットストリームでシグナリングされる。

【発明の概要】

【0010】

[0010]本発明は、イントラ予測符号化の符号化効率を改善することができる低複雑性平面モード符号化を提供する。本発明においては、平面予測モードの下で、エンコーダが、第１の予測値及び第２の予測値を計算する。第１の予測値は、水平境界ピクセルそれぞれの値と垂直境界ピクセルのうちの１つの値との間の線形補間を用いて計算される。第２の予測値は、垂直境界ピクセルそれぞれの値と水平境界ピクセルのうちの１つの値との間の線形補間を用いて計算される。エンコーダは、さらに、第１の予測値と第２の予測値とを平均して、予測ブロック内の予測ピクセル値それぞれを導出する。

【0011】

[0011]本発明の一態様において、エンコーダは、予測ブロックと対象ブロックの間の残差をビットストリームでデコーダにシグナリングする。

【0012】

[0012]本発明の別の態様においては、変換カーネルの主セットＨ^Ｎ（ｉ，ｊ）が、変換カーネルの副セットＧ^Ｎ（ｉ，ｊ）に切り替えられる。エンコーダは、変換カーネルの副セットＧ^Ｎ（ｉ，ｊ）を用いて残差を変換する。

【0013】

[0013]変換カーネルの副セットＧ^Ｎ（ｉ，ｊ）は、以下の式、すなわち、

【数1】

と、

【数2】

と、

【数3】

のうちの１つによって定義され得る。

【0014】

[0014]本発明の別の態様においては、サイズＮ×Ｎの変換カーネルの副セットＧ^Ｎ（ｉ，ｊ）が、サイズＭ×Ｍの変換カーネルの主セットＨ^Ｍ（ｉ，ｊ）によって定義され、ここで、Ｍ＞Ｎである。特に、変換カーネルの副セットＧ^Ｎ（ｉ，ｊ）は、
サイズ２Ｎ×２Ｎの変換カーネル（Ｈ^２Ｎ）がサポートされる場合、
Ｇ^Ｎ（ｉ，ｊ）＝ｋ_ｉ×Ｈ^２Ｎ（２ｉ，Ｎ＋１−ｊ）
によって定義され、
サイズ２Ｎ×２Ｎの変換カーネル（Ｈ^２Ｎ）がサポートされない場合、
Ｇ^Ｎ（ｉ，ｊ）＝Ｈ^Ｎ（ｉ，ｊ）
によって定義されてもよい。

【0015】

[0015]本発明は、復号に使用される低複雑性平面モード符号化も提供する。平面モードの下で、デコーダは、第１の予測値及び第２の予測値を計算する。第１の予測値は、水平境界ピクセルそれぞれの値と垂直境界ピクセルのうちの１つの値との間の線形補間を用いて計算される。第２の予測値は、垂直境界ピクセルそれぞれの値と水平境界ピクセルのうちの１つの値との間の線形補間を用いて計算される。次に、デコーダは、第１の予測値と第２の予測値とを平均して、予測ブロック内の予測ピクセル値それぞれを導出することを実行する。デコーダは、エンコーダにおいて平面モードの下で生成された、エンコーダからシグナリングされた残差を復号し、復号された残差を予測ブロックに加算して画像データを再構築する。

【図面の簡単な説明】

【0016】

【図1】本発明が実装され得る例示的なハードウェアアーキテクチャを示すブロック図である。

【図2】本発明が適用され得るビデオエンコーダの全体像を示すブロック図である。

【図3】本発明が適用され得るビデオデコーダの全体像を示すブロック図である。

【図4】本発明の一実施形態によるエンコーダの機能モジュールを示すブロック図である。

【図5】本発明の一実施形態によるビデオエンコーダによって実行される符号化プロセスを示す流れ図である。

【図6】本発明の一実施形態によるデコーダの機能モジュールを示すブロック図である。

【図7】本発明の一実施形態によるビデオデコーダによって実行される復号プロセスを示す図である。

【図8】８×８ピクセルＰ（ｉ，ｊ）と該ピクセルＰ（ｉ，ｊ）を予測するために使用される参照ピクセルとを含む対象ブロックの概略図である。

【図9】ＪＣＴ−ＶＣ Ａ１１９で提案された平面モード符号化による予測ピクセルを生成するプロセスを示す概略図である。

【図10】本発明の平面モード符号化による予測ピクセルを生成するプロセスを示す概略図である。

【図11】本発明の平面モード符号化による予測ピクセルを生成するプロセスを示す別の概略図である。

【図12】変換カーネルの主セットと変換カーネルの副セットとの間を切り替えるプロセスを示す流れ図である。

【発明を実施するための形態】

【0017】

[0028]図１は、本発明が実装され得るコンピュータ１００の例示的なハードウェアアーキテクチャを示す。図１に示されるハードウェアアーキテクチャは、本発明の実施形態を実装するビデオエンコーダとビデオデコーダの両方に共通であってもよいことに留意されたい。コンピュータ１００は、プロセッサ１０１と、メモリ１０２と、ストレージデバイス１０５と、１つ又は複数の入出力（Ｉ／Ｏ）デバイス１０６を含み、これらはローカルインターフェース１０７経由で互いに通信可能に接続されている。ローカルインターフェース１０７は、当該技術分野で知られているように、例えば、１つ若しくは複数のバス、又は、その他の有線接続若しくは無線接続であってもよいが、これらに限定されない。

【0018】

[0029]プロセッサ１０１は、ソフトウェア、特に、メモリ１０２に記憶されたソフトウェアを実行するためのハードウェアデバイスである。プロセッサ１０１は、任意の特別製の若しくは市販のプロセッサ、中央演算処理装置（ＣＰＵ）、コンピュータ１００に関連するいくつかのプロセッサの中の補助プロセッサ、（マイクロチップ若しくはチップセットの形態の）半導体に基づくマイクロプロセッサ、又はソフトウェア命令を実行するための一般的な任意のデバイスであってもよい。

【0019】

[0030]メモリ１０２は、揮発性メモリ要素（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭなどのＲＡＭ））及び不揮発性メモリ要素（例えば、ＲＯＭ、ハードドライブ、テープ、ＣＤＲＯＭなど）のうちのいずれか１つ又はそれらの組み合わせを含み得るコンピュータ可読媒体を含む。さらに、メモリ１０２は、電子的、磁気的、光学的、及び／又はその他の種類のストレージ媒体を組み込んでもよい。コンピュータ可読媒体は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを記憶するか、伝達するか、伝搬するか、又は転送することができる任意の手段であってもよい。メモリ１０２は、さまざまな構成要素が互いに離れて置かれるが、プロセッサ１０１によってアクセスされ得る分散型アーキテクチャを有してもよいことに留意されたい。

【0020】

[0031]メモリ１０２内のソフトウェア１０３は、１つ又は複数の別々のプログラムを含んでもよく、それらのプログラムのそれぞれは、以下で説明されるようにコンピュータ１００の論理的機能を実装するための実行可能命令の順序付けられたリストを含む。図１の例において、メモリ１０２内のソフトウェア１０３は、本発明によるコンピュータ１００のビデオ符号化又はビデオ復号機能を定義する。加えて、必須ではないが、メモリ１０２がオペレーティングシステム（Ｏ／Ｓ）１０４を含むことも可能である。オペレーティングシステム１０４は、基本的に、コンピュータプログラムの実行を制御し、スケジューリング、入出力の制御、ファイル及びデータの管理、メモリの管理、並びに通信の制御及び関連するサービスを提供する。

【0021】

[0032]コンピュータ１００のストレージデバイス１０５は、固定式のストレージデバイス又は可搬型のストレージデバイスを含む多くの異なる種類のストレージデバイスのうちの１つであってもよい。例として、ストレージデバイス１０５は、磁気テープ、ディスク、フラッシュメモリ、揮発性メモリ、又は異なるストレージデバイスであってもよい。加えて、ストレージデバイス１０５は、セキュアデジタルメモリカード又は任意のその他の取り外し可能なストレージデバイス１０５であってもよい。

【0022】

[0033]Ｉ／Ｏデバイス１０６は、入力デバイス、例えば、タッチスクリーン、キーボード、マウス、スキャナ、マイクロホン、又はその他の入力デバイスを含み得るがこれらに限定されない。さらに、Ｉ／Ｏデバイス１０６は、出力デバイス、例えば、ディスプレイ又はその他の出力デバイスも含み得るがこれらに限定されない。Ｉ／Ｏデバイス１０６は、入力と出力の両方によって通信するデバイス、例えば、変調器／復調器（例えば、別のデバイス、システム、若しくはネットワークにアクセスするためのモデム）、無線周波数（ＲＦ）、無線若しくはその他のトランシーバ、電話インターフェース、ブリッジ、ルータ、又は入力と出力の両方として機能するその他のデバイスをさらに含み得るがこれらに限定されない。

【0023】

[0034]当業者によってよく知られているように、ビデオ圧縮は、ビデオシーケンス内の冗長な情報を削除することによって実現される。多くの異なるビデオ符号化規格が存在し、それらのビデオ符号化規格の例には、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３、及びＨ．２６４／ＡＶＣが含まれる。本発明は、どの特定のビデオ符号化規格の応用にも限定されるように意図されていないことに留意されたい。しかし、本発明の以下の説明は、参照により本明細書に援用されるＨ．２６４／ＡＶＣ規格の例を用いて与えられる。Ｈ．２６４／ＡＶＣは、最も新しいビデオ符号化規格であり、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６１、及びＨ．２６３などの従来の符号化規格と比べて著しい性能の改善を実現する。

【0024】

[0035]Ｈ．２６４／ＡＶＣにおいては、ビデオの各フレーム又は各ピクチャは、いくつかのスライスに分解可能とされている。それから、スライスは、マクロブロックと呼ばれる１６×１６ピクセルのブロックに分割され、そして、マクロブロックは、８×１６、１６×８、８×８、４×８、８×４から４×４ピクセルまでのブロックにさらに分割され得る。Ｈ．２６４／ＡＶＣによってサポートされる５種類のスライスが存在する。Ｉスライスにおいては、すべてのマクロブロックが、イントラ予測を用いて符号化される。Ｐスライスでは、マクロブロックは、イントラ又はインター予測を用いて符号化可能とされている。Ｐスライスは、マクロブロックごとに１つの動き補償予測（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）（ＭＣＰ）信号のみが使用されることを可能にする。Ｂスライスでは、マクロブロックは、イントラ又はインター予測を用いて符号化可能とされている。予測ごとに２つのＭＣＰ信号が使用され得る。ＳＰスライスは、Ｐスライスが異なるビデオストリームの間で効率的に切り替えられることを可能にする。ＳＩスライスは、ランダムアクセス又は誤り回復のためのＳＰスライスに完全に一致するが、ただし、イントラ予測のみを使用する。

【0025】

[0036]図２は、本発明が適用され得るビデオエンコーダの全体像を示す。図２に示されるブロックは、メモリ１０２内のソフトウェア１０３を実行するプロセッサ１０１によって実現される機能モジュールを表す。ビデオフレームのピクチャ２００が、ビデオエンコーダ２０１に与えられる。ビデオエンコーダは、マクロブロック２００Ａ単位でピクチャ２００を処理する。各マクロブロックは、ピクチャ２００のいくつかのピクセルを含む。各マクロブロックで、変換係数への変換が実行され、その後に変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）への量子化が続く。さらに、符号化ステップをピクセルデータに対して直接実行するのではなく、そのピクセルデータの予測されたピクセル値に対する差に対して実行し、それによってより容易に圧縮される小さな値を得るようにイントラ予測又はインター予測が使用される。

【0026】

[0037]各スライスに関して、エンコーダ２０１は、それぞれのスライスのマクロブロックの符号化されたバージョンを形成するいくつかのシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を生成する。変換係数レベル、又は飛ばされる変換係数レベルを示す有意性マップ（ｓｉｇｎｉｆｉｃａｎｃｅ ｍａｐ）などの、変換係数の符号化に関連するシンタックス要素のうちのすべての残差データ要素は、残差データシンタックス要素（ｒｅｓｉｄｕａｌ ｄａｔａ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）と呼ばれる。これらの残差データシンタックス要素に加えて、エンコーダ２０１によって生成されるシンタックス要素はそれぞれ、各マクロブロックがどのように符号化されたか、及び各マクロブロックがどのように復号されなければならないかに関する制御情報を含む制御情報シンタックス要素（ｃｏｎｔｒｏｌ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を含む。換言すると、シンタックス要素は、２つのカテゴリーに分けることができる。第１のカテゴリーでは、制御情報シンタックス要素は、例えば、マクロブロックの種類と、サブマクロブロックの種類と、空間的な種類と時間的な種類の両方の予測モードに関する情報と、スライスに基づく及びマクロブロックに基づく制御情報とに関連する要素を含む。第２のカテゴリーでは、量子化された変換係数のブロック内のすべての有意な係数の位置を示す有意性マップ、及び量子化ステップに対応するレベルの単位で示される有意な係数の値などのすべての残差データ要素が組み合わされ、残差データシンタックス要素となる。

【0027】

[0038]エンコーダ２０１は、シンタックス要素を符号化し、各スライスに関する算術的な符号語を生成するエントロピーコーダを備える。スライスに関する算術的な符号語を生成するとき、エントロピーコーダは、ビデオ信号のビットストリームのシンタックス要素のデータ値の間の統計的な依存関係を利用する。エンコーダ２０１は、ピクチャ２００のスライスに関する符号化されたビデオ信号を図３に示されるビデオデコーダ３０１に出力する。

【0028】

[0039]図３は、本発明が適用され得るビデオデコーダの全体像を示す。同様に、図３に示されるブロックは、メモリ１０２内のソフトウェア１０３を実行するプロセッサ１０１によって実現される機能モジュールを表す。ビデオデコーダ３０１は、符号化されたビデオ信号を受信し、初めに、その信号をエントロピー復号してシンタックス要素に戻す。デコーダ３０１は、ピクチャ３００内のピクセルのピクチャサンプル３００Ａをマクロブロックごとに、次いでスライスごとに再構築するためにシンタックス要素を使用する。

【0029】

[0040]図４は、ビデオエンコーダ２０１の機能モジュールを示す。これらの機能モジュールは、メモリ１０２内のソフトウェア１０３を実行するプロセッサ１０１によって実現される。入力ビデオピクチャは、色差（「クロマ」）及び輝度（「ルマ（ｌｕｍａ）」）（その他の成分、例えば、色相、彩度、及び明度があり得る）などの、元の色の成分を表すサンプル点によって定義される未加工の（非圧縮の）ビデオ画像のフレーム又はフィールドである。入力ビデオピクチャは、それぞれがピクチャの色のルマ成分の１６×１６ピクセルから成る正方形ピクチャ領域を表すマクロブロック４００に分割される。入力ビデオピクチャは、それぞれがピクチャの色の２つのクロマ成分のそれぞれの８×８ピクセルを表すマクロブロックにも分けられる。通常のエンコーダの動作において、入力されるマクロブロックは、インター又はイントラ予測を用いて時間的又は空間的に予測され得る。しかし、考察を目的として、マクロブロック４００はすべてＩスライス型のマクロブロックであり、イントラ予測のみを施されると仮定される。

【0030】

[0041]イントラ予測は、イントラ予測モジュール４０１によってなされ、イントラ予測モジュール４０１の動作は、以下で詳細に検討される。イントラ予測モジュール４０１は、既に符号化され、再構築され、フレームメモリ４０３に記憶された隣接するブロックの水平及び垂直の境界ピクセルから予測ブロック４０２を生成する。対象ブロック４００と予測ブロック４０２との間の差である予測ブロック４０２の残差４０４が、変換モジュール４０５によって変換され、次いで、量子化器４０６によって量子化される。変換モジュール４０５は、残差４０４を変換係数のブロックに変換する。量子化器４０６は、変換係数を量子化された変換係数４０７に量子化する。それから、量子化された変換係数４０７が、エントロピー符号化モジュール４０８によってエントロピー符号化され、符号化されたビデオ信号４０９として（選択されたイントラ予測モードに関連するその他の情報と一緒に）送信される。

【0031】

[0042]ビデオエンコーダ２０１は、対象ブロックに対するイントラ予測を実行するための復号機能を含む。復号機能は逆量子化器４１０及び逆変換モジュール４１１を含み、逆量子化器４１０及び逆変換モジュール４１１は、量子化された変換係数４０７に対する逆量子化及び逆変換を実行して復号された予測残差４１２を生成し、この予測残差４１２が予測ブロック４０２に加算される。復号された予測残差４１０と予測ブロック４０２との合計が再構築されたブロック４１３であり、再構築されたブロック４１３はフレームメモリ４０３に記憶される。再構築されたブロック４１３は、フレームメモリ４０３から読み出され、次の対象ブロック４００の復号のための予測ブロック４０２を生成するために、イントラ予測モジュール４０１によって使用される。デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）が、再構築された画像からブロッキングアーティファクトを除去するためにフレームメモリ４０３の入力又は出力のどちらかに任意で配置されてもよい。

【0032】

[0043]図５は、ビデオエンコーダ２０１によって実行されるプロセスを示す流れ図である。Ｈ．２６４／ＡＶＣ規格によれば、イントラ予測は、既に符号化され、再構築された隣接するブロックの境界ピクセル（「参照ピクセル」）の補間処理により、複数の予測モードの下で対象ブロック４００の各ピクセルを予測することを含む。予測モードは、それぞれが対象ブロック４００の特定のピクセルを予測するための異なる命令又はアルゴリズムに関連付けられた正の整数０、１、２．．．によって識別される。イントラ予測モジュール４０１は、それぞれの予測モードの下でイントラ予測を実行し、異なる予測ブロックを生成する。全探索（「ＦＳ」）アルゴリズムの下では、予測モードの中で予測残差４０４を最小化するか又はより少ない予測残差４０４をもたらす最適な予測モードを見つけるために、生成された予測ブロックそれぞれが対象ブロック４００と比較される（ステップ５０１）。最適な予測モードの識別情報が圧縮され（ステップ５０２）、その他の制御情報シンタックス要素とともにデコーダ３０１にシグナリングされる。

【0033】

[0044]各予測モードは、口頭で説明されるように予測の全体的な方向によって説明され得る（すなわち、水平方向上、垂直方向及び斜め方向左下）。予測方向は、図式的には角度方向によって説明され得る。予測モードに対応する角度は、目標ピクセルを予測するために使用される参照ピクセルの加重平均位置（ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ ｌｏｃａｔｉｏｎ）から目標ピクセル位置への方向に全体的に関連する。ＤＣ予測モードにおいては、予測ブロック４０２は、予測ブロック４０２の各ピクセルが一様に参照ピクセルの平均値に設定されるように生成される。

【0034】

[0045]再び図５に目を向けると、イントラ予測モジュール４０１が、予測ブロック４０２を取得し、その予測ブロック４０２が、残差４０４を得るために対象ブロック４００から引かれる（ステップ５０３）。変換モジュール４０５が、残差４０４を変換係数のブロックに変換する（ステップ５０４）。量子化器４０６が、変換係数を量子化された変換係数に量子化する。エントロピー符号化モード４０８が、最適な予測モードの圧縮された識別子と一緒に送信される量子化された変換係数をエントロピー符号化する（ステップ５０６）。逆量子化器４１０が、量子化された変換係数を逆量子化する（ステップ５０７）。逆変換モジュール４１１が、逆変換を実行して復号された予測残差４１２を導出し（ステップ５０８）、その復号された予測残差４１２が予測ブロック４０２に加算されて再構築されたブロック４１３となる（ステップ５０９）。

【0035】

[0046]図６は、ビデオデコーダ３０１の機能モジュールを示す。これらの機能モジュールは、メモリ１０２内のソフトウェア１０３を実行するプロセッサ１０１によって実現される。エンコーダ２０１からの符号化されたビデオ信号が、最初にエントロピーデコーダ６００によって受信され、エントロピー復号されて量子化された変換係数６０１に戻る。量子化された変換係数６０１は、予測残差６０４を生成するために逆量子化器６０２によって逆量子化され、逆変換モジュール６０３によって逆変換される。イントラ予測モジュール６０５は、エンコーダ２０１によって選択された予測モードを知らされる。選択された予測モードに応じて、イントラ予測モジュール６０５は、既に再構築され、フレームメモリ６０７に記憶された隣接するブロックの境界ピクセルを用いて、図５のステップ５０３で実行されるイントラ予測プロセスと同様のイントラ予測プロセスを実行して予測ブロック６０６を生成する。予測ブロック６０６は、復号されたビデオ信号のブロック６０８を再構築するために、予測残差６０４に加算される。再構築されたブロック６０８は、次のブロックの予測で使用するためにフレームメモリ６０７に記憶される。

【0036】

[0047]図７は、ビデオデコーダ３０１によって実行されるプロセスを示す流れ図である。ビデオデコーダ３０１が、ビデオエンコーダ２０１からシグナリングされた最適な予測モードの識別情報を復号する（ステップ７０１）。復号された予測モードを使用して、イントラ予測モジュール６０５が、既に再構築され、フレームメモリ６０７に記憶された隣接するブロックの境界ピクセルを用いて、予測ブロック６０６を生成する（ステップ７０２）。エントロピーデコーダ６００が、エンコーダ２０１からの符号化されたビデオ信号を復号して量子化された変換係数６０１に戻す（ステップ７０３）。逆量子化器６０２が、量子化された変換係数を変換係数に逆量子化する（ステップ７０４）。逆変換モジュール６０３が、変換係数を予測残差６０４に逆変換し（ステップ７０５）、その予測残差６０４が、復号されたビデオ信号のブロック６０８を再構築するために、予測ブロック６０６に加算される（ステップ７０６）。

【0037】

[0048]ビデオエンコーダ２０１によって実行される符号化プロセスが、図８を参照してさらに説明され得る。図８は、８×８ピクセルＰ（ｉ，ｊ）を含む対象ブロックと、ピクセルＰ（ｉ，ｊ）を予測するために使用される参照ピクセルとの概略図である。図８において、参照ピクセルは、１７個の水平ピクセル及び１７個の垂直ピクセルから成り、左上のピクセルは、水平の境界と垂直の境界に共通である。したがって、３２個の異なるピクセルが、対象ブロックに関する予測ピクセルを生成するために利用可能である。図８は８×８のブロックが予測されることを示すが、以下の説明は、異なる構成のさまざまな数のピクセルに適用可能になるように一般化されることに留意されたい。例えば、予測されるべきブロックは、ピクセルの４×４の配列を含み得る。予測ブロックは、ピクセルの８×８の配列、ピクセルの１６×１６の配列、又はピクセルのさらに大きな配列も含み得る。正方配列と長方形配列の両方を含むその他のピクセルの構成も、予測ブロックを構成し得る。

【0038】

[0049]ピクセルのブロック（｛Ｐ（ｉ，ｊ）：１≦ｉ，ｊ≦Ｎ｝）が、水平参照ピクセル及び垂直参照ピクセル（｛Ｐ（ｉ，０）：０≦ｉ≦２Ｎ｝∪｛Ｐ（０，ｊ）：０≦ｊ≦２Ｎ｝）を用いてイントラ予測符号化されるものとする。Ｐ_Ｏ（ｉ，ｊ）が対象ブロックの元のピクセル値を表し、Ｐ_Ｐ（ｉ，ｊ）が予測されたピクセル値を表し、Ｐ_Ｒ（ｉ，ｊ）が残差値を表し、Ｐ_Ｑ（ｉ，ｊ）が圧縮された残差値を表し、Ｐ_Ｃ（ｉ，ｊ）がピクセルＰ（ｉ，ｊ）の圧縮された値を表す場合、以下の式がそれらの関係を定義する。

【数4】

【数5】

は、順変換カーネルを表すＮ×Ｎ行列である。

【数6】

は、逆変換カーネルを表すＮ×Ｎ行列である。Ｐ_Ｔ（１：Ｎ，１：Ｎ）は、ビットストリームの変換及び量子化された残差信号を表す。Ｑ_Ｆ（）は、量子化演算を表し、Ｑ_Ｉ（）は逆量子化演算を表す。

【0039】

[0050]予測されたピクセル値Ｐ_Ｐ（ｉ，ｊ）は、参照ピクセル
｛Ｐ（ｉ，０）：０≦ｉ≦２Ｎ｝∪｛Ｐ（０，ｊ）：０≦ｊ≦２Ｎ｝
を用いて実行されるイントラ予測モードによって決定される。Ｈ．２６４／ＡＶＣは、Ｉｎｔｒａ＿４×４予測、Ｉｎｔｒａ＿８×８予測、及びＩｎｔｒａ＿１６×１６予測をサポートする。Ｉｎｔｒａ＿４×４予測は、垂直予測モード（ｖｅｒｔｉｃａｌ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、水平予測モード（ｈｏｒｉｚｏｎｔａｌ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、ＤＣ予測モード、及び６つの角度の予測モードを含む９つの予測モードの下で実行される。Ｉｎｔｒａ＿８×８予測は、Ｉｎｔｒａ＿４×４予測で実行される９つの予測モードの下で実行される。Ｉｎｔｒａ＿１６×１６予測は、垂直予測モード、水平予測モード、ＤＣ予測モード、及び平面予測モードを含む４つの予測モードの下で実行される。例えば、ＤＣ予測モード、垂直予測モード、及び水平予測モードの下で導出される予測されたピクセル値Ｐ_Ｐ（ｉ，ｊ）は、以下のように定義される。
ＤＣ予測モード：

【数7】

垂直予測モード：
Ｐ_Ｐ（ｉ，ｊ）＝Ｐ_Ｃ（０，ｊ），∀１≦ｉ，ｊ≦Ｎ
水平予測モード：
Ｐ_Ｐ（ｉ，ｊ）＝Ｐ_Ｃ（ｉ，０），∀１≦ｉ，ｊ≦Ｎ

【0040】

[0051]最近、提案番号ＪＣＴ−ＶＣ Ａ１１９が映像符号化共同研究部会（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＪＣＴ−ＶＣ）に提出され、この提案は、参照により本明細書に援用される。提案番号ＪＣＴ−ＶＣ Ａ１１９は、小さな平面の傾きで徐々に変化するピクセル値を予測するために線形補間演算と双線形補間（ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）演算の組み合わせを使用する低複雑性平面モード演算を提案する。提案された平面モードのプロセスが、図９に概略的に示される。プロセスは、予測されるべきブロック内の右下のピクセルの値Ｐ_Ｐ（Ｎ，Ｎ）を特定することから始まる。次に、ブロック内の最下行の予測されるピクセル値Ｐ_Ｐ（Ｎ，ｊ）を得るために値Ｐ_Ｐ（Ｎ，Ｎ）と参照ピクセル値Ｐ_Ｃ（Ｎ，０）の間で線形補間が実行される。同様に、ブロック内の最右列の予測されるピクセル値Ｐ_Ｐ（ｉ，Ｎ）を得るために値Ｐ_Ｐ（Ｎ，Ｎ）と参照ピクセル値Ｐ_Ｃ（０，Ｎ）の間で線形補間が実行される。その後、ブロック内のピクセル値の残りＰ_Ｐ（ｉ，ｊ）を得るために、予測されたピクセル値Ｐ_Ｐ（Ｎ，ｊ）及びＰ_Ｐ（ｉ，Ｎ）並びに参照ピクセル値Ｐ_Ｃ（ｉ，０）及びＰ_Ｃ（０，ｊ）の間で双線形補間が実行される。提案された平面モードのプロセスは、
右列：

【数8】

最下行：

【数9】

ピクセルの残り：

【数10】

といった式によって表され得る。

【0041】

[0052]ＪＣＴ−ＶＣ Ａ１１９で提案された平面モードのプロセスで見つかる可能性がある解決されるべき２つの問題が存在する。提案されたプロセスにおいては、右下のピクセルの値Ｐ_Ｐ（Ｎ，Ｎ）がデコーダにビットストリームでシグナリングされ、デコーダにおいて対象ブロックを復号するために使用される。換言すれば、デコーダが、提案された平面モードの下で予測を実行するために右下のピクセルの値を必要とする。また、提案された方法では、残差が平面モードの下で導出されず、したがって、デコーダにシグナリングされない。残差のシグナリングの省略は、送信されるべき符号化されたビデオデータの削減に寄与することができるが、平面モードの適用を低ビットレートのビデオ符号化に制限する。

【0042】

[0053]本発明による平面モードは、ＪＣＴ−ＶＣ Ａ１１９で提案された平面モードのプロセスに関連する上述の問題を解決するように設計される。本発明の一実施形態によれば、右下のピクセルの値Ｐ_Ｐ（Ｎ，Ｎ）が、参照ピクセルから導出される。したがって、右下のピクセルのピクセル値Ｐ_Ｐ（Ｎ，Ｎ）をデコーダにシグナリングする必要がない。本発明の別の実施形態においては、平面モードの下で形成された予測ブロックが、残差を導出するために使用され、その残差が、デコーダにシグナリングするために変換され、量子化される。通常の離散コサイン変換（ＤＣＴ）、及び中間的な又は粗い量子化パラメータを用いた量子化の適用は、平面モードの下で得られた残差からゼロであるＡＣ係数及び非ゼロのＤＣ係数を生じる傾向がある。これを避けるために、本発明の実施形態は、平面モードの下で得られた残差を変換するために、主変換カーネルの代わりに副変換カーネルを使用する。また、別の実施形態は、平面モードの下で適応的な量子化を実行し、量子化パラメータが、対象ブロック中の空間的な動き（ｓｐａｔｉａｌ ａｃｔｉｖｉｔｙ）に応じて適応的に変化する。

【0043】

[0054]本発明の一実施形態においては、右下のピクセルの値Ｐ_Ｐ（Ｎ，Ｎ）が、参照ピクセルから計算される。値Ｐ_Ｐ（Ｎ，Ｎ）は、以下の３つの方法のうちの１つにしたがって計算される。
方法１：
Ｐ_Ｐ（Ｎ，Ｎ）＝（（Ｐ_Ｃ（Ｎ，０）＋Ｐ_Ｃ（０，Ｎ））＞＞１）
ここで、演算子「＞＞」は、ローテーションあり又はローテーションなしの右シフト演算を表す。

【0044】

[0055]方法２：
Ｐ_Ｐ（Ｎ，Ｎ）＝ｗ_ｈ×Ｐ_Ｃ（Ｎ，０）＋ｗ_ｖ×Ｐ_Ｃ（０，Ｎ）
ここで、ｗ_ｈ及びｗ_ｖは、Ｐ_Ｃ（０，１：Ｎ）及びＰ_Ｃ（１：Ｎ，０）を用いて決定された重みである。例えば、ｗ_ｈ及びｗ_ｖは以下のように計算される。

【数11】

ここで、演算子「ｖａｒ（）」は、分散を計算する演算を表す。

【0045】

[0056]方法３：

【数12】

ここで、

【数13】

であり、

【数14】

である。ｙ＝ｆ（ｘ_０，ｘ_１，．．．，ｘ_２Ｎ）は、ある算術演算を表す。本発明の一実施形態において、この算術演算は、

【数15】

と定義される。本発明の別の実施形態においては、この算術演算は、単純に、ｙ＝ｆ（ｘ_０，ｘ_１，．．．，ｘ_２Ｎ）＝ｘ_２Ｎと定義される。本発明において、右下のピクセルの値Ｐ_Ｐ（Ｎ，Ｎ）はデコーダにシグナリングされないことに留意されたい。その代わりに、デコーダが、エンコーダによって採用された方法にしたがって値Ｐ_Ｐ（Ｎ，Ｎ）を計算し、エンコーダによって採用された方法は事前に決められていてもよく、又は、その方法の識別情報がデコーダにシグナリングされてもよい。

【0046】

[0057]図１０は、上述の方法１が実施される、本発明の実施形態による平面モードの下で実行されるピクセル値を予測するプロセスを示す概略図である。プロセスは、方法１を使用してブロック内の右下のピクセルの値Ｐ_Ｐ（Ｎ，Ｎ）を計算することから始まる。値Ｐ_Ｐ（Ｎ，Ｎ）が計算された後、ブロック内の最下行の予測されるピクセル値Ｐ_Ｐ（Ｎ，ｊ）を得るために値Ｐ_Ｐ（Ｎ，Ｎ）と参照ピクセル値Ｐ_Ｃ（Ｎ，０）の間で線形補間が実行される。同様に、ブロック内の最右列の予測されるピクセル値Ｐ_Ｐ（ｉ，Ｎ）を得るために値Ｐ_Ｐ（Ｎ，Ｎ）と参照ピクセル値Ｐ_Ｃ（０，Ｎ）の間で線形補間が実行される。その後、ブロック内のピクセル値の残りＰ_Ｐ（ｉ，ｊ）を得るために、予測されたピクセル値Ｐ_Ｐ（Ｎ，ｊ）及びＰ_Ｐ（ｉ，Ｎ）並びに参照ピクセル値Ｐ_Ｃ（ｉ，０）及びＰ_Ｃ（０，ｊ）の間で双線形補間が実行される。以下の式及び図１１によって示されるように、方法１は、対象ブロック内のピクセル値Ｐ_Ｐ（ｉ，ｊ）を予測する演算を単純化することができる。

【数16】

ここで、小数の精度が必要とされる場合、

【数17】

であり、

【数18】

である。

【0047】

[0058]上記の式は、ブロック内のピクセル値Ｐ_Ｐ（ｉ，ｊ）を計算するために値Ｎで割ることを必要とする。以下のように整数計算を用いることによって除算を避けることができる。

【数19】

ここで、

【数20】

であり、

【数21】

である。
整数の精度で十分な場合、ピクセル値Ｐ_Ｐ（ｉ，ｊ）は、

【数22】

によって表されてもよく、ここで、

【数23】

であり、

【数24】

である。

【0048】

[0059]方法１は以下のように修正され得る。

【数25】

ここで、ｙ＝ｆ（ｘ_０，ｘ_１，．．．，ｘ_２Ｎ）は、ある算術演算を表す。本発明の一実施形態において、この算術演算は、

【数26】

と定義される。本発明の別の実施形態においては、この算術演算は、単純に、ｙ＝ｆ（ｘ_０，ｘ_１，．．．，ｘ_２Ｎ）＝ｘ_２Ｎと定義される。

【0049】

[0060]方法１は以下のようにさらに修正され得る。

【数27】

ここで、ｙ＝ｇ（ｉ，ｘ_０，ｘ_１，．．．，ｘ_２Ｎ）は、以下の４つの式のうち１つによって定義され得る関数を表す。
式１：
ｙ＝ｇ（ｉ，ｘ_０，ｘ_１，．．．，ｘ_２Ｎ）＝ｘ_２Ｎ
式２：
ｙ＝ｇ（ｉ，ｘ_０，ｘ_１，．．．，ｘ_２Ｎ）＝ｘ_{（Ｎ＋ｉ）}
式３：

【数28】

式４：

【数29】

ここで、

【数30】

は、フィルタが配列［ｘ_０，ｘ_１，．．．ｘ_２Ｎ］に適用されるときの

【数31】

のフィルタリングされた値である。本発明の一実施形態において、フィルタは、３タップフィルタ（３−ｔａｐ ｆｉｌｔｅｒ）

【数32】

であってもよい。

【0050】

[0061]上記の実施形態においては、垂直及び水平参照ピクセル
｛Ｐ（ｉ，０）：０≦ｉ≦２Ｎ｝∪｛Ｐ（０，ｊ）：０≦ｊ≦２Ｎ｝
が予測のためにすべて利用可能であると仮定される。参照ピクセルは、対象ブロックがスライス又はフレームの境界に位置する場合、利用できない可能性がある。垂直参照ピクセル
｛Ｐ（ｉ，０）：０≦ｉ≦２Ｎ｝
は予測に利用できないが、水平参照ピクセル
｛Ｐ（０，ｊ）：０≦ｊ≦２Ｎ｝
は利用可能である場合、予測のための垂直参照ピクセルを生成するために割り当て
Ｐ_Ｃ（ｉ，０）＝Ｐ_Ｃ（０，１），∀１≦ｉ≦２Ｎ
が行われる。水平参照ピクセル
｛Ｐ（０，ｊ）：０≦ｉ≦２Ｎ｝
は予測に利用できないが、垂直参照ピクセル
｛Ｐ（ｉ，０）：０≦ｊ≦２Ｎ｝
は利用可能である場合、予測のための水平参照ピクセルを生成するために割り当て
Ｐ_Ｃ（０，ｊ）＝Ｐ_Ｃ（１，０），∀１≦ｊ≦２Ｎ
が行われる。垂直参照ピクセルも水平参照ピクセルも予測に利用できない場合、垂直参照ピクセルと水平参照ピクセルの両方を生成するために割り当て
Ｐ_Ｃ（ｉ，０）＝Ｐ_Ｃ（０，ｊ）＝（１＜＜（Ｎ_ｂ−１）），∀１≦ｉ，ｊ≦２Ｎ
が行われる。この式において、Ｎ_ｂは、ピクセル値を表現するために使用されるビット深度を表す。

【0051】

[0062]本発明の一実施形態においては、その他の予測モードの下で生成される予測ブロックと同様に、平面モードの下で生成された予測ブロックが、残差Ｐ_Ｒ（１：Ｎ，１：Ｎ）を導出するために使用され、残差Ｐ_Ｒ（１：Ｎ，１：Ｎ）が、変換モジュール４０５によって変換され、量子化器４０６によって量子化される。変換及び量子化された残差Ｐ_Ｔ（１：Ｎ，１：Ｎ）は、ビットストリームでデコーダにシグナリングされる。また、変換及び量子化された残差Ｐ_Ｔ（１：Ｎ，１：Ｎ）は、逆変換モジュール４１０及び逆量子化器４１１によって逆変換及び逆量子化されて圧縮された残差Ｐ_Ｑ（１：Ｎ，１：Ｎ）になり、その圧縮された残差Ｐ_Ｑ（１：Ｎ，１：Ｎ）は、後続の対象ブロックを予測する際に使用するためにフレームメモリ４０３に記憶される。

【0052】

[0063]変換及び量子化された残差全体Ｐ_Ｔ（１：Ｎ，１：Ｎ）が、ビットストリームでデコーダにシグナリングされ得る。代替的に、残差の一部Ｐ_Ｔ（１：Ｋ，１：Ｋ）のみが、ビットストリームでデコーダにシグナリングされてもよい。ＫはＮ未満であり（Ｋ＜Ｎ）、事前に決められた値、例えば１に設定される。Ｋの値が、ビットストリームでデコーダにシグナリングされ得る。デコーダは、残差の一部Ｐ_Ｔ（１：Ｋ，１：Ｋ）のみを受信する場合、残差の一部を復号し、残差の残りの部分に０を設定する。残差の一部しかデコーダにシグナリングされないが、残差全体Ｐ_Ｔ（１：Ｎ，１：Ｎ）が、後続の対象ブロックを予測する目的で、圧縮された残差Ｐ_Ｑ（１：Ｎ，１：Ｎ）を導出するために逆変換され、逆量子化される。

【0053】

[0064]さらに、本発明の別の実施形態においては、量子化パラメータが、平面モードの下で生成された残差を量子化するために適応的に変更される。平面モードが、小さな平面の傾きでピクセル値が徐々に変化する平滑な画像を有するブロックに適用される。そのような平滑なブロックからの残差は、中間的な又は粗い量子化パラメータによって０に量子化される傾向がある。量子化が非ゼロの係数を生じることを保証するために、本発明の実施形態においては、平面モードの下で生成された残差が量子化されるとき、量子化パラメータがより細かい量子化パラメータに切り替えられる。平面モードの下で生成された残差を量子化するために使用される量子化パラメータ（ＱＰ_{Ｐｌａｎａｒ}）は、基本量子化パラメータ（ＱＰ_{ｂａｓｅＰ}）を用いて定義され得る。ＱＰ_{ｂａｓｅＰ}は、より細かい量子化パラメータを表す事前に決められた値に設定され得る。ＱＰ_{ｂａｓｅＰ}は、デコーダに知られていない場合、ビットストリームでデコーダにシグナリングされるか、又はより詳細には、Ｈ．２６４／ＡＶＣで定義されたように設定されるスライスヘッダ若しくはピクチャパラメータでシグナリングされてもよい。

【0054】

[0065]本発明の一実施形態において、ＱＰ_{Ｐｌａｎａｒ}は、単にＱＰ_{ｂａｓｅＰ}に設定される（ＱＰ_{Ｐｌａｎａｒ}＝ＱＰ_{ｂａｓｅＰ}）。ＱＰ_{Ｐｌａｎａｒ}は、ＱＰ_{ｂａｓｅＰ}とＱＰ_Ｎとの合計によって定義されてもよく（ＱＰ_{Ｐｌａｎａｒ}＝ＱＰ_{ｂａｓｅＰ}＋ＱＰ_Ｎ）、ここで、ＱＰ_Ｎは、Ｎの値に関連してＱＰ_Ｎの値を一覧化するルックアップテーブルを用いて決定される。ＱＰ_{Ｐｌａｎａｒ}は、代替的に、ＱＰ_{Ｐｌａｎａｒ}＝ＱＰ_{ｂａｓｅＰ}＋ＱＰ_ｄｉｆｆ（Ｎ）と定義されてもよい。ＱＰ_ｄｉｆｆ（Ｎ）は、値Ｎに応じて決まり、ビットストリームでデコーダにシグナリングされるか、又はより詳細には、Ｈ．２６４／ＡＶＣで定義されたように設定されるスライスヘッダ若しくはピクチャパラメータでシグナリングされる。デコーダは、そのデコーダのビデオコーデック方式でサポートされる値Ｎのそれぞれに関してビットストリームからＱＰ_ｄｉｆｆ（Ｎ）を決定する。

【0055】

[0066]本発明の別の実施形態においては、差分量子化パラメータ（ＱＰ_{ｄｅｌｔａ}）を追加することによって、ＱＰ_{ｂａｓｅＰ}が、ＱＰ_{ｂａｓｅＰ}＝ＱＰ_{ｂａｓｅＰ}＋ＱＰ_{ｄｅｌｔａ}と修正される。ＱＰ_{ｄｅｌｔａ}は、空間的な動きに対して適応的にＱＰ_{ｂａｓｅＰ}を調整するためにブロック又はブロックのグループ内の空間的な動きから決定される。ＱＰ_{ｄｅｌｔａ}は、ビットストリームでデコーダにシグナリングされる。ＱＰ_{ｄｅｌｔａ}は、ブロック内の空間的な動きから決定されるので、ブロック内の画像の内容によってはゼロになってもよく、平面予測モードに関するＱＰ_{ｂａｓｅＰ}に影響しない。

【0056】

[0067]さらに、本発明の別の実施形態においては、ＱＰ_{Ｐｌａｎａｒ}は、平面モード以外の予測モードの下で生成された残差を量子化するために使用される通常量子化パラメータＱＰ_{ｎｏｒｍａｌ}を用いて決定される。そのような実施形態において、ＱＰ_{Ｐｌａｎａｒ}は、以下の５つの方法のうちの１つによって決定される。
１．ＱＰ_{Ｐｌａｎａｒ}＝ＱＰ_{ｎｏｒｍａｌ}
２．ＱＰ_{Ｐｌａｎａｒ}＝ＱＰ_{ｎｏｒｍａｌ}＋ＱＰ_Ｎ
ここで、ＱＰ_Ｎは、Ｎの値に関連してＱＰ_Ｎの値を一覧化するルックアップテーブルから決定される。
３．ＱＰ_{Ｐｌａｎａｒ}＝ＱＰ_{ｎｏｒｍａｌ}＋ＱＰ_ｄｉｆｆ（Ｎ）
ここで、ＱＰ_ｄｉｆｆ（Ｎ）は、値Ｎに応じて決まり、ビットストリームでデコーダにシグナリングされる。
４．ＱＰ_{Ｐｌａｎａｒ}＝ＱＰ_{ｎｏｒｍａｌ}＋ＱＰ_{ｄｅｌｔａ}
ここで、ＱＰ_{ｄｅｌｔａ}は、ＱＰ_{ｎｏｒｍａｌ}を適応的に調整するためにブロック又はブロックのグループ内の空間的な動きから決定され、ビットストリームでデコーダにシグナリングされる。
５．ＱＰ_{Ｐｌａｎａｒ}＝ＱＰ_{ｎｏｒｍａｌ}＋ＱＰ_Ｎ＋ＱＰ_{ｄｅｌｔａ}

【0057】

[0068]本発明の別の実施形態においては、変換モジュール４０５及び逆変換モジュール４１０が、順変換カーネル及び逆変換カーネルの主セット

【数33】

を使用する代わりに、平面モードの下で生成された残差の順変換及び逆変換のために順変換カーネル及び逆変換カーネルの副セット

【数34】

を使用する。変換カーネルの主セットは、平面モード以外の予測モードの下で生成された残差を変換するために使用され、高周波エネルギーが存在するブロックに適する。一方、平面予測モードにかけられるべきブロックは、そのブロック内に小さな空間的な動きを有し、平滑な画像を有するブロック用に適合された変換カーネルを必要とする。この実施形態において、変換モジュール４０５及び逆変換モジュール４１０は、図１２に示されるように、変換カーネルの主セットと変換カーネルの副セットの間を切り替え、平面モード以外の予測モードの下で生成された残差を変換するときは変換カーネルの主セットを使用し、一方、平面予測モードの下で生成された残差を変換するときは変換カーネルの副セットを使用する。しかし、変換カーネルの副セットは、平面予測モードの下で生成された残差を変換することに限定されず、平面モード以外の予測モードの下で生成された残差を変換するために使用され得ることに留意されたい。

【0058】

[0069]順変換カーネルの副セット

【数35】

は、以下の選択肢のうちの１つから導出される固定小数点近似（ｆｉｘｅｄ−ｐｏｉｎｔ ａｐｐｒｏｘｉｍａｔｉｏｎ）であってもよい。
選択肢１（タイプ７ ＤＳＴ）：

【数36】

選択肢２（タイプ４ ＤＳＴ）：

【数37】

選択肢３（ＤＣＴとしてよく知られているタイプ２ ＤＣＴ）：

【数38】

選択肢４：
サイズ２Ｎ×２Ｎの変換カーネル

【数39】

がビデオコーデックによってサポートされる場合、

【数40】

そうでない場合は、

【数41】

したがって、選択肢４においては、ビデオコーデックでサポートされる最小変換サイズ及び最大変換サイズが４×４及び３２×３２である場合、サイズ４×４の変換カーネルの副セットは、サイズ８×８の変換カーネルの主セットから導出される。同様に、サイズ８×８の変換カーネルの副セットは、サイズ１６×１６の変換カーネルの主セットから導出され、サイズ１６×１６の変換カーネルの副セットは、サイズ３２×３２の変換カーネルの主セットから導出される。しかし、サポートされる最大サイズが３２×３２であるサイズの制限のために、サイズ３２×３２の変換カーネルの副セットは、サイズ３２×３２の変換カーネルの主セットから導出される。

【0059】

[0070]倍率ｋ_ｉは、

【数42】

を満たすように定義され得る。倍率ｋ_ｉは、Ｈ．２６４／ＡＶＣで使用される量子化パラメータを調整するために使用され得る。逆変換カーネルの副セット

【数43】

は、順変換カーネル

【数44】

を用いて、

【数45】

から導出可能であり、ここで、Ｉ^ＮはサイズＮ×Ｎの単位行列を表す。

【0060】

[0071]変換カーネルの主セットが性質

【数46】

を満たす場合は、選択肢４で定義された変換カーネルの副セットが好ましい。選択肢４は、副セットが主セットから導出され得るので、変換カーネルの副セットが変換カーネルの主セットと別に記憶される必要がないという点で有利である。サイズ２Ｎ×２Ｎの変換カーネルの主セット

【数47】

がタイプ２のＤＣＴの近似である場合、上記の性質が満たされ、サイズＮ×Ｎの変換カーネルの副セット

【数48】

はタイプ４のＤＳＴの近似であってもよい。変換カーネルの主セットが上記の性質を満たさない場合は、選択肢１で定義された変換カーネルの副セットが好ましい。

【0061】

[0072]平面予測モードが、２つの方法のうちの１つで選択され得る。第１の方法においては、平面予測モードの下で生成された予測ブロックが、その他の予測モードで生成された予測ブロックとともに符号化効率に関して評価される。平面モードの下で生成された予測ブロックが予測ブロックの中で最良の符号化効率を示す場合、平面モードが選択される。或いは、平面モードが、単独で符号化効率に関して評価される。平面予測モードは、画像が平滑で、その画像の平面の傾きが小さい領域に対して好ましい。したがって、対象ブロックの内容が、ブロック内の高周波エネルギーの量と、ブロックの端に沿った画像の不連続性とを調べるために分析される。高周波エネルギーの量が閾値未満であり、ブロックの端に沿って大きな不連続性が見られない場合、平面モードが選択される。そうでない場合、その他の予測モードの下で生成された予測ブロックが、１つのモードを選択するために評価される。どちらの場合も、平面予測モードの選択が、ビットストリームでデコーダにシグナリングされる。

【0062】

[0073]本発明の多くの変更形態及び修正形態が、上述の説明を読んだ後、当業者に間違いなく明らかになるであろうが、例として示され、説明されたどの特定の実施形態も限定とみなされるように全く意図されていないことを理解されたい。したがって、さまざまな実施形態の詳細に関する言及は、本発明に必須と考えられる特徴だけをそれ自体で記載する特許請求の範囲を限定するように意図されていない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】