知財求人 - 知財ポータルサイト「IP Force」
▶ アリババ ダモ （ハンジョウ） テクノロジー カンパニー，リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-12
(54)【発明の名称】ビデオ符号化における変換係数の残差符号予測の改良
(51)【国際特許分類】
H04N 19/48 20140101AFI20240905BHJP
【ＦＩ】
H04N19/48
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024514612
(86)(22)【出願日】2022-09-29
(85)【翻訳文提出日】2024-04-26
(86)【国際出願番号】 SG2022050706
(87)【国際公開番号】W WO2023055300
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/250,202
(32)【優先日】2021-09-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/296,370
(32)【優先日】2022-01-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523475516
【氏名又は名称】アリババ ダモ （ハンジョウ） テクノロジー カンパニー，リミテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】サーヴァー，モハメド ゴラム
(72)【発明者】
【氏名】イエ，ヤン
(72)【発明者】
【氏名】チェン，ジエ
(72)【発明者】
【氏名】リャオ，ルーリン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MC33
(57)【要約】
残差係数のソート順序と、ＴＢの拡張された領域とを利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。変換係数レベルが大きいほど符号予測精度が高くなるので、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、残差係数レベル値の代わりに対応するＱＩｄｘ値に基づいて、１次元配列内のＴＢの変換係数符号をソートする。最大から最小の順に並べられた対応するＱＩｄｘ値に応じた最初のｎ個の符号が、残差符号予測方法を使用して予測され、残りの符号はＥＰビンによってシグナリングされる。符号予測エリアも、変換ブロック内の左上の４×４領域に限定されず、最大で３２×３２のサイズの領域まで拡張され、ＶＶＣ規格符号化器は、その領域の最大寸法をＶＶＣ規格復号器にブロックのシンタックス構造でシグナリングする。
【特許請求の範囲】
【請求項1】
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに通信可能に結合されたメモリと、
を備え、前記メモリは、前記１つまたは複数のプロセッサによって実行された場合に、関連付けられた動作を実行する、前記１つまたは複数のプロセッサによって実行可能なフロントエンドアプリケーションを記憶し、前記動作は、
ソートされた順序の現在のブロックの変換係数の最大のそれぞれの量子化インデックスに対応する前記現在のブロックの複数の変換係数符号を予測することと、
エントロピー符号化器によって、前記予測された複数の変換係数符号の残差を前記現在のブロックのシンタックス構造でシグナリングすることと、
を含む、コンピューティングシステム。
【請求項2】
前記動作は、前記予測された複数の変換係数符号以外の前記現在のブロックの変換係数符号の符号化をバイパスすることと、
予測された複数の変換係数符号の前記シグナリングされた残差と、符号化がバイパスされた変換係数符号の等確率バイナリ列シグナリングとを含む符号化されたブロックを出力することと、
をさらに含む、請求項１に記載のコンピューティングシステム。
【請求項3】
前記動作は、符号化がバイパスされた変換係数符号をシグナリングする前に、予測された各変換係数符号の残差をビットストリームでシグナリングすることと、
前記シグナリングされた残差に続いて、符号化がバイパスされた変換係数符号を前記ビットストリームでシグナリングすることと、
をさらに含む、請求項２に記載のコンピューティングシステム。
【請求項4】
前記現在のブロックの前記変換係数の前記量子化インデックスを、配列の要素としてラスタスキャン順序で記録することと、前記配列の前記要素を大きさ順にソートして、ソートされた配列を生成することと、
をさらに含む、請求項１に記載のコンピューティングシステム。
【請求項5】
最大の量子化インデックスに対応する前記現在のブロックの複数の変換係数符号を予測することは、前記ソートされた配列の末尾にある複数の要素に記録された量子化インデックスに対応する各変換係数を予測することを含む、請求項４に記載のコンピューティングシステム。
【請求項6】
前記予測された複数の変換係数符号は、前記現在のブロックのある領域に限定され、前記現在のブロックの前記領域の幅は、固定の幅および前記現在のブロックの幅のうちの小さい方の値であり、
前記現在のブロックの前記領域の高さは、固定の高さおよび前記現在のブロックの高さのうちの小さい方の値である、
請求項１に記載のコンピューティングシステム。
【請求項7】
前記動作は、前記現在のブロックの前記シンタックス構造で前記固定の幅および前記固定の高さをシグナリングすることをさらに含む、請求項６に記載のコンピューティングシステム。
【請求項8】
変換係数符号は最大許容限度まで予測され、前記最大許容限度は８よりも大きく、
前記動作は、前記現在のブロックのシンタックス構造で前記最大許容限度をシグナリングすることをさらに含む、
請求項１に記載のコンピューティングシステム。
【請求項9】
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに通信可能に結合されたメモリと、
を備え、前記メモリは、前記１つまたは複数のプロセッサによって実行された場合に、関連付けられた動作を実行する、前記１つまたは複数のプロセッサによって実行可能なフロントエンドアプリケーションを記憶し、前記動作は、
エントロピー復号器によって、現在のブロックの複数のエントロピー符号化された変換係数を復号して、前記現在のブロックの復号された変換係数を生成することと、
ソートされた順序の前記現在のブロックの再構成された残差の前記変換係数の最大のそれぞれの量子化インデックスに対応する前記現在のブロックの再構成された残差の予測された複数の変換係数符号の残差に基づいて前記現在のブロックを再構成することと、
を含む、コンピューティングシステム。
【請求項10】
前記動作は、前記エントロピー復号器によって、前記現在のブロックのシンタックス構造から、予測された変換係数符号の複数の残差をパースすることと、
前記復号された変換係数、および変換係数符号の前記複数の残差を、逆量子化および逆変換して、前記現在のブロックの再構成された残差を生成することと、
をさらに含む、請求項９に記載のコンピューティングシステム。
【請求項11】
前記現在のブロックの再構成された残差の変換係数の量子化インデックスを、配列の要素としてラスタスキャン順序で記録することと、前記配列の前記要素を大きさ順にソートして、ソートされた配列を生成することと、
をさらに含む、請求項１０に記載のコンピューティングシステム。
【請求項12】
前記現在のブロックの再構成された残差を生成することは、最大の量子化インデックスに対応する前記現在のブロックの再構成された残差の複数の変換係数符号を選択することを含み、前記ソートされた配列の末尾にある複数の要素に記録された量子化インデックスに対応する各変換係数を予測することを含む、請求項１１に記載のコンピューティングシステム。
【請求項13】
前記現在のブロックの前記再構成された残差と、前記複数の変換係数符号を含む予測信号とを加算して、再構成されたブロックを生成することをさらに含む、請求項１１に記載のコンピューティングシステム。
【請求項14】
前記予測された複数の変換係数符号は、前記現在のブロックのある領域に限定され、前記現在のブロックの前記領域の幅は、固定の幅および前記現在のブロックの幅のうちの小さい方の値であり、
前記現在のブロックの前記領域の高さは、固定の高さおよび前記現在のブロックの高さのうちの小さい方の値である、
請求項９に記載のコンピューティングシステム。
【請求項15】
前記動作は、前記現在のブロックのシンタックス構造から、前記固定の幅および前記固定の高さをパースすることをさらに含む、請求項１４に記載のコンピューティングシステム。
【請求項16】
ビデオシーケンスに関連付けられたビットストリームを記憶する非一時的コンピュータ可読記憶媒体であって、前記ビットストリームは、ソートされた順序の符号化されたブロックの変換係数の最大のそれぞれの量子化インデックスに対応する前記符号化されたブロックの予測された複数の変換係数符号の残差
を含む、非一時的コンピュータ可読記憶媒体。
【請求項17】
前記ビットストリームは、符号化がバイパスされた変換係数符号の等確率バイナリ列シグナリングをさらに含み、前記符号化がバイパスされた変換係数符号は、前記複数の変換係数符号以外の前記符号化されたブロックの変換係数符号を含む、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
【請求項18】
ビットストリームは、予測された複数の変換係数符号の前記残差と、後続する等確率バイナリ列とを含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
【請求項19】
前記ビットストリームは、前記予測された複数の変換係数符号が制限される、前記符号化されたブロックの領域の固定の幅および固定の高さをさらに含む、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
【請求項20】
前記ビットストリームは、予測された変換係数符号の最大許容限度をさらに含む、請求項１６に記載の非一時的コンピュータ可読記憶媒体。【発明の詳細な説明】
【技術分野】
【0001】
関連出願
[0001] 本ＰＣＴ出願は、２０２１年９月２９日に出願された米国仮特許出願第６３／２５０，２０２号に対する優先権を主張し、また、２０２２年１月４日に出願された米国仮特許出願第６３／２９６，３７０号に対する優先権を主張し、それぞれが引用により本明細書に組み込まれている。
[0001] 本ＰＣＴ出願は、２０２１年９月２９日に出願された米国仮特許出願第６３／２５０，２０２号に対する優先権を主張し、また、２０２２年１月４日に出願された米国仮特許出願第６３／２９６，３７０号に対する優先権を主張し、それぞれが引用により本明細書に組み込まれている。
【背景技術】
【0002】
[0002] ２０２０年に、ＩＴＵ－Ｔビデオ符号化専門家グループ（「ＩＴＵ－Ｔ ＶＣＥＧ：Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ」）およびＩＳＯ／ＩＥＣ動画像専門家グループ（「ＩＳＯ／ＩＥＣ ＭＰＥＧ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ」）の共同ビデオ専門家チーム（「ＪＶＥＴ：Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ」）が、次世代ビデオコーデック仕様であるバーサタイルビデオコーディング（「ＶＶＣ」）の最終ドラフトを発行した。この仕様は、Ｈ．２６４／ＡＶＣ（高度ビデオ符号化：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）およびＨ．２６５／ＨＥＶＣ（高効率ビデオ符号化：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの以前の規格に比べて、ビデオ符号化のパフォーマンスをさらに向上させる。ＪＶＥＴは、拡張圧縮モデル（「ＥＣＭ：Ｅｎｈａｎｃｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｏｄｅｌ」）という名の下に収集されている、ＶＶＣ規格自体の範囲を超える追加技術の提案を継続している。
【0003】
[0003] ＡＶＣ、ＨＥＶＣ、およびＶＶＣ規格のそれぞれにおいて、離散コサイン変換（「ＤＣＴ：ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ」）技術は、効率的なビデオ符号化のための基本的な画像圧縮技術である。画像は符号化ブロックに分割され、各符号化ブロックに対して予測計算が実行されて、予測ユニットおよび残差が導出され、次いで、残差に対して変換計算が実行されて、係数の配列が導出される。残差係数に基づいて、復号器は、予測ユニットおよび変換係数に基づいて画像を再構成して、最終的に、再構成されたピクチャを送信用のビットストリームに出力し得る。再構成されたピクチャを送信することにより、ビデオストリームの送信に必要なビットレートが削減され、これによりレート向上が実現される。
【0004】
[0004] 残差係数にさらに予測、符号化、復号も施すことで、圧縮効率がさらに向上した。これは、エントロピー符号化器のコンテキスト依存２値算術コーデック（「ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ－Ｓｅｎｓｉｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅｃ」）の形態で実装される。しかしながら、当業者には理解される課題のため、従来、各残差係数の符号は予測または符号化の対象とされておらず、「符号ビット」として送信されており、これらのビットは、送信されるビットストリームのかなりの部分を占め続けているので、さらなるビットレート向上を実現するための継続的な取り組みの標的のままとなっている。
【0005】
[0005] 本明細書の執筆時点で、ＥＣＭ（２０２１年１０月の動画像専門家グループ（「ＭＰＥＧ」）の第１３６回会合で「拡張圧縮モデル３（ＥＣＭ３）のアルゴリズム記述」として発表）の最新のドラフトには、残差係数符号に予測、符号化、および復号を施す提案が含まれている。しかしながら、ビデオ符号化においてさらに大きなビットレート向上および圧縮効率を実現するために、また、結果として得られるビットレート向上が予測精度の損失によって大きく相殺されないように、符号予測の提案の改良を継続することが望ましい。
【発明の概要】
【0006】
[0006] 添付の図面を参照して詳細に説明する。図において、参照番号の左端の桁は、その参照番号が最初に登場する図を識別する。異なる図における同じ参照番号の使用は、類似または同一の項目または特徴を示す。
【図面の簡単な説明】
【0007】
【図1A】[0007]本開示の例示的な実施形態によるビデオ符号化プロセスの例示的なブロック図である。
【図1B】[0007]本開示の例示的な実施形態によるビデオ復号プロセスの例示的なブロック図である。
【図2】[0008]ＥＣＭ３提案による１６×８ピクセルのサイズのＴＵの４×４領域を示す図である。
【図3】[0009]ＥＣＭ３提案による、予測される符号を決定するためのＴＵの４×４領域のスキャン順序を示す図である。
【図4A】[0010]ＥＣＭ３提案による８×４のＴＵの残差境界予測の例を示す図である。
【図4B】[0010]ＥＣＭ３提案による８×４のＴＵの残差境界予測の例を示す図である。
【図5】[0011]ＥＣＭ３提案による導出された予測された境界残差を示す図である。
【図6A】[0012]本開示の例示的な実施形態による残差符号予測方法における勾配ベースの境界残差符号予測プロセスの利用を示す図である。
【図6B】[0012]本開示の例示的な実施形態による残差符号予測方法における勾配ベースの境界残差符号予測プロセスの利用を示す図である。
【図7】[0013]最上行の予測されるピクセルに対する８つの最近傍の間のいくつかの相関パターンを示す図である。
【図8A-C】[0014]本開示の斜め右モードによるＴＢの例示的な残差境界予測を示す図である。
【図8D-F】[0014]本開示の斜め右モードによるＴＢの例示的な残差境界予測を示す図である。
【図9A-C】[0015]本開示の斜め左モードによるＴＢの例示的な残差境界予測を示す図である。である。
【図9D-F】[0015]本開示の斜め左モードによるＴＢの例示的な残差境界予測を示す図である。
【図10A-C】[0016]本開示の第１の混合モードによるＴＢの例示的な残差境界予測を示す図である。
【図10D-F】[0016]本開示の第１の混合モードによるＴＢの例示的な残差境界予測を示す図である。
【図11A-C】[0017]本開示の第２の混合モードによるＴＢの例示的な残差境界予測を示す図である。
【図11D-F】[0017]本開示の第２の混合モードによるＴＢの例示的な残差境界予測を示す図である。
【図12A-C】[0018]本開示の第３の混合モードによるＴＢの残差境界予測の例を示す図である。
【図12D-F】[0018]本開示の第３の混合モードによるＴＢの残差境界予測の例を示す図である。
【図13A-C】[0019]本開示の第４の混合モードによるＴＢの残差境界予測の例を示す図である。
【図13D-F】[0019]本開示の第４の混合モードによるＴＢの残差境界予測の例を示す図である。
【図14A-C】[0020]本開示の第５の混合モードによるＴＢの残差境界予測の例を示す図である。
【図14D-F】[0020]本開示の第５の混合モードによるＴＢの残差境界予測の例を示す図である。
【図15A-C】[0021]本開示の第６の混合モードによるＴＢの残差境界予測の例を示す図である。
【図15D-F】[0021]本開示の第６の混合モードによるＴＢの残差境界予測の例を示す図である。
【図16】[0022]本開示の例示的な実施形態による、テンプレートと比較される再構成された近傍のブロックのサンプルの一例を示す図である。
【図17】[0023]本開示の例示的な実施形態による、ＴＢの符号を第１のグループおよび第２のグループに分類する一例を示す図である。
【図18】[0024]本開示の例示的な実施形態によるＴＢ依存のＭ×Ｎ符号予測領域の一例を示す図である。
【図19】[0025]本開示の例示的な実施形態によるソート順序を利用する残差符号予測方法の一例を示す図である。
【図20】[0026]２つの量子化器間の同じ残差係数レベルに対する量子化インデックスの不一致を示す図である。
【図21】[0027]ＥＣＭ３提案によるビットストリームシグナリング順序を示す図である。
【図22】[0028]ＥＣＭ３提案によるビットストリームシグナリング順序の結果を示す図である。
【図23】[0029]本開示の例示的な実施形態によるソート順序を利用する残差符号予測方法のための２パスビットストリームシグナリング方法を示す図である。
【図24】[0030]予測される符号を決定するためにＴＢの４×４領域のスキャン順序に適用されるジグザグスキャン順序を示す図である。
【図25】[0031]本開示の例示的な実施形態によるＭ＝Ｎ＝２の拡張された境界の一例を示す図である。
【図26】[0032]境界拡張を伴う不連続性測定の一例を示す図である。
【図27】[0033]残差符号予測を実装するための本明細書に記載のプロセスおよび方法を実装するための例示的なシステムを示す図である。
【発明を実施するための形態】
【0008】
[0034] ＶＶＣビデオ符号化規格（「ＶＶＣ規格」）およびその中に記載されている動き予測に従って、コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令は、ＶＶＣ規格によって記述された符号化器の動作と、ＶＶＣ規格によって記述された復号器の動作とを実行するように１つまたは複数のプロセッサを構成するために、コンピューティングシステムの１つまたは複数のプロセッサによって実行可能である。ＶＶＣ規格によるこれらの符号化器動作および復号器動作の一部について、後でさらに詳細に説明するが、これらの以降の説明は、ＶＶＣ規格による符号化器動作および復号器動作を網羅するものとして理解されるべきではない。続いて、「ＶＶＣ規格符号化器」および「ＶＶＣ規格復号器」は、これらのそれぞれの動作（これらは、例として、符号化器または復号器の「参照実装」と呼ばれ得る）を実行するように１つまたは複数のプロセッサを構成する、コンピュータ可読記憶媒体に記憶されたそれぞれのコンピュータ可読命令を記述するものとする。
【0009】
[0035] さらに、本開示の例示的な実施形態によれば、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、ＶＶＣ規格で規定されていない動作を実行するように１つまたは複数のプロセッサを構成するために、コンピューティングシステムの１つまたは複数のプロセッサによって実行可能な、コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令をさらに含む。ＶＶＣ規格符号化器は、符号化器の参照実装の動作に限定されるものとして理解されるべきではなく、本明細書に記載のさらなる動作を実行するようにコンピューティングシステムの１つまたは複数のプロセッサを構成するさらなるコンピュータ可読命令を含むものとして理解されるべきである。ＶＶＣ規格復号器は、復号器の参照実装の動作に限定されるものとして理解されるべきではなく、本明細書に記載のさらなる動作を実行するようにコンピューティングシステムの１つまたは複数のプロセッサを構成するさらなるコンピュータ可読命令を含むものと理解されるべきである。
【0010】
【0011】
[0037] 符号化プロセス１００では、ＶＶＣ規格符号化器は、画像ソース１０２から１つまたは複数の入力ピクチャを入力として受け取るようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。入力ピクチャは、フォトセンサアレイなどの画像キャプチャデバイスによってサンプリングされたある数のピクセルを含み、ピクチャの元の解像度で色データを記憶する複数の色チャネル（たとえば、ＲＧＢ色チャネル）の非圧縮ストリームを含み、各チャネルは、あるビット数を使用してピクチャの各ピクセルの色データを記憶する。ＶＶＣ規格符号化器は、この非圧縮色データを圧縮形式で記憶するようにコンピューティングシステムの１つまたは複数のプロセッサを構成し、色データは、ピクチャの元の解像度よりも低い解像度で記憶され、ルマ（「Ｙ」）チャネル、ならびにルマチャネルよりも解像度の低い２つのクロマ（「Ｕ」および「Ｖ」チャネル）として符号化される。
【0012】
[0038] ＶＶＣ規格符号化器は、分割構造に従って元のピクチャをユニットおよびサブユニットに分割するようにコンピューティングシステムの１つまたは複数のプロセッサを構成することによって、ピクチャ（画像ソース１０２から受け取られる他のピクチャと区別して「現在のピクチャ」と呼ばれる符号化中のピクチャ）を符号化する。ＶＶＣ規格符号化器は、ピクチャをマクロブロック（「ＭＢ」）に細分化するようにコンピューティングシステムの１つまたは複数のプロセッサを構成し、各ＭＢは１６×１６ピクセルの寸法を有し、ＭＢはさらにパーティションに細分化され得る。ＶＶＣ規格符号化器は、ピクチャを符号化ツリーユニット（「ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ」）に細分化するようにコンピューティングシステムの１つまたは複数のプロセッサを構成し、ＣＴＵのルマおよびクロマコンポーネントは、さらに符号化ツリーブロック（「ＣＴＢ：ｃｏｄｉｎｇ ｔｒｅｅ ｂｌｏｃｋ」）に細分化され得、ＣＴＢはさらに符号化ユニット（「ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ」）に細分化される。あるいは、ＶＶＣ規格符号化器は、ピクチャをＮ×Ｎピクセルのユニットに細分化するようにコンピューティングシステムの１つまたは複数のプロセッサを構成し、次いでこのユニットはさらにサブユニットに細分化され得る。ピクチャのこれらの最大の細分化されたユニットのそれぞれは、本開示のために、一般に「ブロック」と呼び得る。
【0013】
[0039] ＣＵはルマサンプルの１つのブロックとクロマサンプルの２つの対応するブロックとを使用して符号化され、ピクチャはモノクロではなく、１つの符号化ツリーを使用して符号化される。
【0014】
[0040] ＶＶＣ規格符号化器は、４×４ピクセルの倍数の寸法を有するパーティションにブロックを細分化するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。たとえば、ブロックのパーティションは、８×４ピクセル、４×８ピクセル、８×８ピクセル、１６×８ピクセル、または８×１６ピクセルの寸法を有し得る。
【0015】
[0041] ＶＶＣ規格符号化器は、フル解像度の元のピクチャのピクセルの色情報ではなく、ピクチャのブロックおよびその細分化の色情報を符号化することにより、入力ピクチャよりも低い解像度でピクチャの色情報を符号化して、入力ピクチャよりも少ないビットで色情報を記憶するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。
【0016】
[0042] さらに、ＶＶＣ規格符号化器は、現在のピクチャのブロックに対して動き予測を実行するようにコンピューティングシステムの１つまたは複数のプロセッサを構成することによってピクチャを符号化する。動き予測符号化とは、イントラ予測１０４またはインター予測１０６に従って、ピクセルデータではなく動き情報および予測ユニット（「ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ」）を使用して、現在のピクチャのブロック（符号化前の元のピクチャのブロックは「入力ブロック」と呼ばれる）の画像データを記憶することを指す。
【0017】
[0043] 動き情報は、動きベクトル、および現在のピクチャまたは参照ピクチャのブロックへの参照など、ピクチャのブロック構造またはそのユニットもしくはサブユニットの動きを記述するデータを指す。ＰＵは、ＭＢまたはＣＴＵなどの、ピクチャの複数のブロック構造のうちの１つのブロック構造に対応する１つのユニットまたは複数のサブユニットを指し得、ブロックは、ピクチャデータに基づいて分割され、ＶＶＣ規格に従って符号化される。ＰＵに対応する動き情報は、本明細書に記載のように、ＶＶＣ規格符号化器によって符号化される動き予測を記述し得る。
【0018】
[0044] ＶＶＣ規格符号化器は、最初に復号されるブロックがピクチャの最上端かつ最左端のブロックであるラスタスキャン順序など、ブロック間の符号化順序でピクチャの各ブロックに対して動き予測情報を符号化するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。符号化中のブロックは、同じピクチャ内の他のブロックと区別して「現在のブロック」と呼ばれる。
【0019】
[0045] イントラ予測１０４によれば、コンピューティングシステムの１つまたは複数のプロセッサは、同じピクチャの１つまたは複数の他のブロックの動き情報およびＰＵを参照することによってブロックを符号化するように構成される。イントラ予測符号化によれば、コンピューティングシステムの１つまたは複数のプロセッサは、現在のブロックの空間的に近傍のブロックからの空間的に近傍のサンプルに基づいて現在のブロックの動き情報を符号化することによってイントラ予測１０４（空間予測とも呼ばれる）計算を実行する。
【0020】
[0046] インター予測１０６によれば、コンピューティングシステムの１つまたは複数のプロセッサは、１つまたは複数の他のピクチャの動き情報およびＰＵを参照することによってブロックを符号化するように構成される。コンピューティングシステムの１つまたは複数のプロセッサは、インター予測符号化の目的で、以前に符号化および復号された１つまたは複数のピクチャを参照ピクチャバッファに記憶するように構成され、これらの記憶されたピクチャは参照ピクチャと呼ばれる。
【0021】
[0047] １つまたは複数のプロセッサは、１つまたは複数の参照ピクチャからのサンプルに基づいて現在のブロックの動き情報を符号化することによってインター予測１０６（時間予測または動き補償予測とも呼ばれる）計算を実行するように構成される。インター予測は、さらに単方向予測または双方向予測に従って計算され得、単方向予測では、１つの参照ピクチャを指す１つの動きベクトルのみを使用して、現在のブロックの予測信号を生成する。双方向予測では、各動きベクトルがそれぞれの参照ピクチャを指す２つの動きベクトルを使用して、現在のブロックの予測信号を生成する。
【0022】
[0048] ＶＶＣ規格符号化器は、ＶＶＣ規格復号器の参照のために、現在のブロックの予測信号を識別するための参照インデックスを含むようにＣＵを符号化するようコンピューティングシステムの１つまたは複数のプロセッサを構成する。コンピューティングシステムの１つまたは複数のプロセッサは、インター予測インジケータを含むようにＣＵを符号化することができる。インター予測インジケータは、リスト０と呼ばれる第１の参照ピクチャリストを参照するリスト０予測、リスト１と呼ばれる第２の参照ピクチャリストを参照するリスト１予測、またはリスト０およびリスト１とそれぞれ呼ばれる両方の参照ピクチャリストを参照する双方向予測を示す。
【0023】
[0049] インター予測インジケータがリスト０予測またはリスト１予測を示す場合、コンピューティングシステムの１つまたは複数のプロセッサは、リスト０またはリスト１それぞれによって参照される参照ピクチャバッファの参照ピクチャを参照する参照インデックスを含めてＣＵを符号化するように構成される。インター予測インジケータが双方向予測を示す場合、コンピューティングシステムの１つまたは複数のプロセッサは、リスト０によって参照される参照ピクチャバッファの第１の参照ピクチャを参照する第１の参照インデックスと、リスト１によって参照される参照ピクチャの第２の参照ピクチャを参照する第２の参照インデックスとを含めてＣＵを符号化するように構成される。
【0024】
[0050] ＶＶＣ規格符号化器は、ピクチャの現在のブロックを個別に符号化して、それぞれの予測ブロックを出力するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。ＶＶＣ規格によれば、ＣＴＵは１２８×１２８のルマサンプル（加えて、クロマフォーマットに応じて、対応するクロマサンプル）の大きさにすることができる。ＣＴＵは、四分木、二分木、または三分木に従ってＣＵにさらに分割され得る。コンピューティングシステムの１つまたは複数のプロセッサは、符号化モード（イントラモードまたはインターモード）、インター符号化されたブロックの動き情報（参照インデックス、動きベクトルなど）、および量子化された残差係数などの符号化パラメータセットを分割構造のリーフノードのシンタックス構造に最終的に記録するように構成される。
【0025】
[0051] 予測ブロックが出力された後、ＶＶＣ規格符号化器は、符号化モード（すなわち、イントラまたはインター予測）、イントラ予測モードまたはインター予測モード、および動き情報などの符号化パラメータセットをエントロピー符号化器１２４（後述）に送るようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。
【0026】
[0052] ＶＶＣ規格は、ＣＵの符号化パラメータセットを記録するためのセマンティクスを提供する。たとえば、上記の符号化パラメータセットに関して、ＣＵのｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇは、インター符号化されたブロックでは０に設定され、イントラ符号化されたブロックでは１に設定され、ＣＵのｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇは、ＣＵのインター予測でマージモードが使用されるか否かを示すために設定され、ＣＵのｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇおよびｃｕ＿ａｆｆｉｎｅ＿ｔｙｐｅ＿ｆｌａｇは、ＣＵのインター予測でアフィン動き補償が使用されるか否かを示すために設定され、ｍｖｐ＿ｌ０＿ｆｌａｇおよびｍｖｐ＿ｌ１＿ｆｌａｇは、リスト０またはリスト１それぞれにおける動きベクトルインデックスを示すために設定され、ｒｅｆ＿ｉｄｘ＿ｌ０およびｒｅｆ＿ｉｄｘ＿ｌ１は、リスト０またはリスト１それぞれにおける参照ピクチャインデックスを示すために設定される。ＶＶＣ規格には、本開示の範囲を越えている他の様々な情報、フラグ、およびオプションを記録するためのセマンティクスが含まれていることを理解されるべきである。
【0027】
[0053] ＶＶＣ規格符号化器は、１つまたは複数のモード決定および符号化器制御設定１０８、たとえば、レート制御設定をさらに実装する。コンピューティングシステムの１つまたは複数のプロセッサは、イントラ予測またはインター予測の後に、レート歪み最適化方法に基づいて、現在のブロックに対して最適化された予測モードを選択することによってモード決定を実行するように構成される。
【0028】
[0054] レート制御設定は、異なるピクチャに異なる量子化パラメータ（「ＱＰ：ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ」）を割り当てるようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。ＱＰの大きさは、（後述するように）１つまたは複数のプロセッサによる符号化中にピクチャ情報が量子化されるスケールを決定し、ひいては、符号化プロセス１００が符号化中にシーケンスのＭＢから（スケールのステップ間に情報が位置するために）ピクチャ情報を破棄する程度を決定する。
【0029】
[0055] ＶＶＣ規格符号化器は、減算器１１０をさらに実装する。コンピューティングシステムの１つまたは複数のプロセッサは、入力ブロックと予測ブロックとの差を計算することによって減算演算を実行するように構成される。最適化された予測モードに基づいて、入力ブロックから予測ブロックが減算される。入力ブロックと予測ブロックとの差は、予測残差、または簡潔にするために「残差」と呼ばれる。
【0030】
[0056] 予測残差に基づいて、ＶＶＣ規格符号化器は変換１１２をさらに実装する。コンピューティングシステムの１つまたは複数のプロセッサは、係数（これは「残差係数」、「変換係数」などと呼ばれ得る）の配列を導出するために、行列算術演算によって残差に対して変換演算を実行して、それにより、現在のブロックを変換ブロック（「ＴＢ：ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ」）として符号化するように構成される。変換係数は、サブブロックに適用され得る、対角反転、垂直反転、または回転などのいくつかの空間変換のうちの１つを表す係数を指し得る。
【0031】
[0057] 係数は、後でさらに詳細に説明するように、絶対値および符号の２つの構成要素として記憶できることが理解されるべきである。
【0032】
[0058] ＰＵおよびＴＢなどのＣＵのサブブロックは、上述のようなサブブロック寸法の任意の組み合わせで配置することができる。ＶＶＣ規格符号化器は、ＣＵをＴＢの階層構造である残差四分木（「ＲＱＴ：ｒｅｓｉｄｕａｌ ｑｕａｄｔｒｅｅ」）に細分化するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。ＲＱＴは、各レベルのサブブロックにわたる動き予測および残差符号化の順序を提供し、ＲＱＴの各レベルを再帰的に下降する。
【0033】
[0059] ＶＶＣ規格符号化器は量子化１１４をさらに実装する。コンピューティングシステムの１つまたは複数のプロセッサは、量子化行列および上記で割り当てられたＱＰに基づいて、行列算術演算によって残差係数に対して量子化演算を実行するように構成される。ある区間内にある残差係数は保持され、その区間ステップ外にある残差係数は破棄される。
【0034】
[0060] ＶＶＣ規格符号化器は、逆量子化１１６および逆変換１１８をさらに実装する。コンピューティングシステムの１つまたは複数のプロセッサは、上述の量子化演算および変換演算の逆の行列算術演算によって、量子化された残差係数に対して逆量子化演算および逆変換演算を実行するように構成される。逆量子化演算および逆変換演算により、再構成された残差が得られる。
【0035】
[0061] ＶＶＣ規格符号化器は加算器１２０をさらに実装する。コンピューティングシステムの１つまたは複数のプロセッサは、予測ブロックと再構成された残差とを加算することによって加算演算を実行して、再構成されたブロックを出力するように構成される。
【0036】
[0062] ＶＶＣ規格符号化器はループフィルタ１２２をさらに実装する。コンピューティングシステムの１つまたは複数のプロセッサは、デブロッキングフィルタ、サンプル適応オフセット（「ＳＡＯ：ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ」）フィルタ、および適応ループフィルタ（「ＡＬＦ：ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ」）などのループフィルタを、再構成されたブロックに適用して、フィルタリングされた再構成されたブロックを出力するように構成される。
【0037】
[0063] ＶＶＣ規格符号化器はさらに、フィルタリングされた再構成されたブロックを復号済みピクチャバッファ（「ＤＰＢ：ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ」）２００に出力するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。ＤＰＢ２００は、インター予測に関して上述したように、コンピューティングシステムの１つまたは複数のプロセッサによって、現在のピクチャ以外のピクチャを符号化する際の参照ピクチャとして使用される再構成されたピクチャを記憶する。
【0038】
[0064] ＶＶＣ規格符号化器はエントロピー符号化器１２４をさらに実装する。コンピューティングシステムの１つまたは複数のプロセッサは、エントロピー符号化を実行するように構成され、コンテキスト依存２値算術コーデック（「ＣＡＢＡＣ」）に従って、量子化された残差係数を構成するシンボルは、バイナリ列（以下、「ビン」）へのマッピングによって符号化され、これは圧縮されたビットレートの出力ビットストリームで送信することができる。符号化された量子化された残差係数のシンボルは、残差係数の絶対値を含む（これらの絶対値を以降「残差係数レベル」と呼ぶ）。
【0039】
[0065] しかしながら、残差係数レベルは予測および符号化されるが、残差係数符号は、等確率（以下、「ＥＰ：ｅｑｕｉｐｒｏｂａｂｌｅ」）状態を示すビンを使用してシグナリングされる（値が０の係数は符号を有さないので、シグナリングされる必要がないことを理解されるべきである）。ＶＶＣ規格符号化器は、計算上の課題（当該課題は、当業者には理解されると思われるが、本開示の例示的な実施形態を理解するためにここで繰り返す必要はない）のため、残差係数符号を予測するようにコンピューティングシステムの１つまたは複数のプロセッサを構成しない。これらの理由から、ＣＡＢＡＣは、残差係数符号の符号化をバイパスして、出力ビットストリームにおいて符号ごとに１ビットを追加して送信するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。
【0040】
[0066] したがって、エントロピー符号化器は、ブロックの残差係数レベルを符号化し、残差係数符号の符号化をバイパスし、残差係数符号を符号化されたブロックと共に記録し、符号化されたブロックのシンタックス構造内に符号化される、たとえば、符号化モード、イントラ予測モードまたはインター予測モード、および動き情報などの符号化パラメータセット（たとえば、ピクチャヘッダに含まれているピクチャパラメータセット（「ＰＰＳ」）、ならびに複数のピクチャのシーケンスに含まれているシーケンスパラメータセット（「ＳＰＳ」））を記録し、符号化されたブロックを出力するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。
【0041】
[0067] ＶＶＣ規格符号化器は、エントロピー符号化器１２４から符号化されたブロックで構成される符号化されたピクチャを出力するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。符号化されたピクチャは送信バッファに出力され、最終的にＶＶＣ規格符号化器からの出力用のビットストリームにパックされる。
【0042】
[0068] 復号プロセス１５０では、ＶＶＣ規格復号器は、ビットストリームから１つまたは複数の符号化されたピクチャを入力として受け取るようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。
【0043】
[0069] ＶＶＣ規格復号器は、エントロピー復号器１５２を実装する。コンピューティングシステムの１つまたは複数のプロセッサは、エントロピー復号を実行するように構成され、ＣＡＢＡＣに従って、シンボルからビンへのマッピングを逆にすることによってビンが復号され、それによってエントロピー符号化された量子化された残差係数が復元される。エントロピー復号器１５２は、量子化された残差係数を出力し、符号化がバイパスされた残差係数符号を出力し、ＰＰＳおよびＳＰＳなどのシンタックス構造も出力する。
【0044】
[0070] ＶＶＣ規格復号器は、逆量子化１５４および逆変換１５６をさらに実装する。コンピューティングシステムの１つまたは複数のプロセッサは、上述の量子化演算および変換演算の逆の行列算術演算によって、復号された量子化された残差係数に対して逆量子化演算および逆変換演算を実行するように構成される。逆量子化演算および逆変換演算により、再構成された残差が得られる。
【0045】
[0071] さらに、エントロピー符号化器１２４によってＰＰＳおよびＳＰＳなどのシンタックス構造に記録された（あるいは、帯域外送信によって受信された、または復号器内に符号化された）符号化パラメータセットと、符号化パラメータセットに含まれる符号化モードとに基づいて、ＶＶＣ規格復号器は、再構成された残差にイントラ予測１５６（すなわち、空間予測）を適用するか、動き補償予測１５８（すなわち、時間予測）を適用するかを判定する。
【0046】
[0072] 符号化パラメータセットがイントラ予測を指定している場合、ＶＶＣ規格復号器は、符号化パラメータセットで指定された予測情報を使用してイントラ予測１５８を実行するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。これにより、イントラ予測１５８は予測信号を生成する。
【0047】
[0073] 符号化パラメータセットがインター予測を指定している場合、ＶＶＣ規格復号器は、ＤＰＢ２００からの参照ピクチャを使用して動き補償予測１６０を実行するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。これにより、動き補償予測１６０は予測信号を生成する。
【0048】
[0074] ＶＶＣ規格復号器は加算器１６２をさらに実装する。加算器１６２は、再構成された残差および予測信号に対して加算演算を実行して、再構成されたブロックを出力するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。
【0049】
[0075] ＶＶＣ規格復号器はループフィルタ１６４をさらに実装する。コンピューティングシステムの１つまたは複数のプロセッサは、たとえば、デブロッキングフィルタ、ＳＡＯフィルタ、ＡＬＦなどのループフィルタを、再構成されたブロックに適用して、フィルタリングされた再構成されたブロックを出力するように構成される。
【0050】
[0076] ＶＶＣ規格復号器は、フィルタリングされた再構成されたブロックをＤＢＰ２００に出力するようにコンピューティングシステムの１つまたは複数のプロセッサをさらに構成する。上述したように、ＤＰＢ２００は、動き補償予測に関して上述したように、コンピューティングシステムの１つまたは複数のプロセッサによって、現在のピクチャ以外のピクチャを符号化する際の参照ピクチャとして使用される、再構成されたピクチャを記憶する。
【0051】
[0077] ＶＶＣ規格復号器は、再構成されたピクチャをＤＰＢからコンピューティングシステムのユーザが閲覧可能なディスプレイに、たとえば、テレビのディスプレイ、パーソナルコンピューティングモニタ、スマートフォンのディスプレイ、タブレットのディスプレイなどに出力するようにコンピューティングシステムの１つまたは複数のプロセッサをさらに構成する。
【0052】
[0078] したがって、上述の符号化プロセス１００および復号プロセス１５０に示すように、ＶＶＣ規格符号化器およびＶＶＣ規格復号器はそれぞれ、ＶＶＣ仕様に従う動き予測符号化を実装する。ＶＶＣ規格符号化器およびＶＶＣ規格復号器はそれぞれ、ＶＶＣ規格によって記述された動き補償予測に従ってＤＰＢの以前の再構成されたピクチャに基づいて、再構成されたピクチャを生成するようにコンピューティングシステムの１つまたは複数のプロセッサを構成し、以前の再構成されたピクチャは、本明細書に記載の動き補償予測における参照ピクチャとして機能する。
【0053】
[0079] 上記で説明したように、符号化されたブロックがビットストリームで送信されるときに、伝送ビットレートのかなりの部分が残差係数符号の送信によって消費され、各符号は１ビットでシグナリングされ（これらのビットを以降「符号ビット」と呼ぶ）、ＶＶＣ規格は、さらなる圧縮を実現するためにこれらの符号ビットをさらに圧縮するための技術を提供していない。ＶＶＣ仕様（２０２１年１０月の動画像専門家グループ（「ＭＰＥＧ」）の第１３６回会合で「拡張圧縮モデル３（ＥＣＭ３）のアルゴリズム記述」として発表）の範囲を超える圧縮技術を開発するためのＪＶＥＴの継続的な取り組みでは、残差係数符号（以下、簡略化のため「符号」）にも予測および符号化を施すことによって、この動作を置き換えることが提案されている（以降、「残差符号予測」技術または「符号予測」技術と呼び、さらなる詳細は後述する）。
【0054】
[0080] ＥＣＭ３は、近傍のＴＢの境界線にまたがって頻繁に発生する符号間の高い相関（この相関は変換演算後に残っている）に基づく残差符号予測技術を提案している。ＥＣＭ３提案は、他のブロックの近傍にあるＴＢの行および列の符号を予測するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供し、近傍のＴＢには冗長な情報が含まれるので、これにより個々のＴＢを符号化する際のビットが節約され得る。さらに、ＴＢ内では、そのサイズに関係なく、ＴＢの最上端かつ最左端の４×４領域内の符号のみが予測され（その結果、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、後述するように、近傍の再構成されたブロックを予測に使用し得る）、同じＴＢの他の符号は依然としてＥＰビンによってシグナリングされる。
【0055】
[0081] 本開示の例示的な実施形態を理解する目的で、ＥＣＭ３の残差符号予測の提案について以下でさらに詳しく説明する。
【0056】
[0082] 図２は１６×８ピクセルのサイズのＴＢの４×４領域を示しており、ＥＣＭ３提案によれば、残差符号予測技術はこの領域内の符号のみを予測する。
【0057】
[0083] さらに、ＥＣＭ３の残差符号予測によれば、各ＴＢについて、最大数以下の符号が予測され得る。予測される符号の最大数が変数ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓで表されると仮定する。ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓの値は、ＳＰＳを通じて復号器に向けてシグナリングされる。ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓの許容値は０～８であり、両端の値を含む。ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓの値が０の場合、符号予測方法はそのシーケンスに対して無効化される。ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓが８に等しい場合、ＴＢに対して最大で８つの符号が予測される。左上の４×４領域の符号の数が最大許容値（ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓ）よりも大きい場合、後述するように、ラスタスキャン順序で決定された最初のｍａｘＮｕｍＰｒｅｄＳｉｇｎｓ個の符号のみが予測される。
【0058】
[0084] 図３は、ＥＣＭ３提案による、予測される符号を決定するためのＴＢの最上端かつ最左端の４×４領域のスキャン順序を示す。ＴＢの４×４領域はまず、残差係数をラスタスキャン順序でスキャンすることによって１次元配列に変換され、この配列内で、（ラスタスキャン順序で）最初のｎ個の符号が予測される。図３が示すように、ラスタスキャン順序で最初の８個（ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓ＝＝８と仮定）の符号が予測され、続いて符号化され、残りの後続の符号はＣＡＢＡＣバイパスモードでＥＰビンとして伝達される。この方法では、一部の符号はシグナリングされるのではなく、予測および符号化されるので、送信時の符号ビットが節約される。値が０の係数には符号がないので、予測もシグナリングも必要ないことを理解されるべきである。
【0059】
[0085] 各符号は正または負のいずれかであるので、ｎ個の符号が予測される場合、２ｎ個の可能な符号値の組み合わせが存在する。したがって、ＥＣＭ３に従って実装されるＶＶＣ規格符号化器およびＶＶＣ規格復号器はそれぞれ、２ｎ回の単純化された残差境界再構成を実行することによって、予測された符号を再構成することができる（したがって、ｎを小さい値に抑えることで、高い計算複雑性が生じなくなる）。境界残差は、近傍の再構成されたブロックと、復号プロセスにおいて予測処理を受けている現在のブロックとから予測され、ブロックはラスタスキャン順序で復号および再構成されるので、現在のブロックが復号される前に、上の近傍のブロックと左の近傍のブロックとが既に以前に復号および再構成されており、それらの近傍のブロックの再構成されたピクセルはＶＶＣ規格符号化器およびＶＶＣ規格復号器の両方で利用可能である。
【0060】
[0086] 特定の境界再構成について、ブロックの最左端かつ最上端の残差値のみが、逆量子化およびそれに続く逆変換から再作成される。符号値の各組み合わせの残差境界再構成は仮説と呼ばれる。ｎが予測される符号の数を表す場合、仮説の数は２ｎであり、境界残差再構成は２ｎ回実行される。
【0061】
[0087] 図４Ａおよび図４Ｂは、ＥＣＭ３提案による８×４のＴＢの残差境界予測の例を示す。境界の最上行の残差は、上の最初の行（図４Ａに示す）または上の最初の２行（図４Ｂに示す）の再構成された近傍から予測され、左列の残差は、左の最初の列（図４Ａに示す）または左の最初の２列の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。図４Ａによれば、上の行および左の列の境界残差は次のように予測される。
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－Ｐ０，ｙ
【0062】
[0088] 図４Ｂによれば、上の行および左の列の境界残差は次のように予測される。
ＲｅｓＰｒｅｄｘ，０＝－Ｒｘ，－２＋２Ｒｘ，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝－Ｒ－２，ｙ＋２Ｒ－１，ｙ－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝－Ｒｘ，－２＋２Ｒｘ，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝－Ｒ－２，ｙ＋２Ｒ－１，ｙ－Ｐ０，ｙ
【0063】
[0089] ここで、ＲｅｓＰｒｅｄｘ，ｙは、ＴＢの位置（ｘ，ｙ）の予測された境界残差を表す（図４Ａおよび図４Ｂに濃い影で示す）。Ｒｘ，ｙは位置（ｘ，ｙ）の近傍のブロックの再構成されたピクセルを表し、Ｐｘ，ｙは位置（ｘ，ｙ）における現在のブロックの予測信号を表す。
【0064】
[0090] 図５は、図４Ｂに示すＥＣＭ３提案による上記の式から導出された予測された境界残差を示す。ＴＢの最上行では、垂直方向にそれぞれ１ピクセルおよび２ピクセルだけオフセットされた２つの再構成された近傍のピクセルに基づいて、予測された境界残差が決定される。ＴＢの最左行では、水平方向にそれぞれ１ピクセルおよび２ピクセルだけオフセットされた２つの再構成された近傍のピクセルに基づいて、予測された境界残差が決定される。
【0065】
[0091] ２ｎ個の仮説を決定し、予測された境界残差を決定すると、符号化器および復号器は、予測された境界残差に対して各仮説をテストして、どの仮説がコスト関数を最小化するかを決定し得る。ここでのコスト関数は、近傍のブロック間の不連続性が高いほどコストが高くなるように構成される。コスト関数は、次のように、予測された残差と、仮説の再構成された残差との差分絶対値和（「ＳＡＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ」）として定義される。
【0066】
【数1】
【0067】
[0092] ここで、ＲｅｓＰｒｅｄｘ，ｙは上記で定義したとおりであり、符号が予測されるＴＢの左上の位置を表す（０，０）にも従い、ＲｅｓＲｅｃｘ，ｙは、位置（ｘ，ｙ）における２ｎ個の仮説のうちのある仮説の各再構成された残差の候補であり、ｗおよびｈはＴＢの幅および高さである。
【0068】
[0093] 予測された各符号を導出するために、符号化器および復号器は各仮説（すなわち、候補）について上記のコスト関数を評価し、最小のコストをもたらす仮説が符号の予測子として選択される。
【0069】
[0094] 最後に、ＥＣＭ３の残差符号予測によれば、予測された符号はビットストリーム内でＥＰシグナリングされなくなり、予測が正しかったか否かを示す「残差」（関連するＣＡＢＡＣコンテキストを使用してシグナリングされる）に置き換えられる。本開示では、変数ｅｒｒＳｉｇｎＰｒｅｄを使用して、符号の「残差」を定義する。ｅｒｒＳｉｇｎＰｒｅｄの値が０に等しいことは、予測された符号が実際の符号と同じであることを示し、ｅｒｒＳｉｇｎＰｒｅｄの値が１に等しいことは、予測された符号が実際の符号と異なることを示す。
【0070】
[0095] さらに、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、予測されるｎ個の符号のうちの各符号を１つずつ予測し、その後の予測を行う際に、以前の予測のｅｒｒＳｉｇｎＰｒｅｄ値を参照することを理解されるべきである。ＥＣＭ３によれば、予測された符号は、ラスタスキャン順序でのブロックの最初のｎ個の符号である（後で図２１を参照して詳しく説明する）。
【0071】
[0096] 最初の予測された符号について、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、以前のｅｒｒＳｉｇｎＰｒｅｄ値を有さない。ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、２ｎ個の仮説のそれぞれについて上記のコスト関数を評価し、それらの中で最小のコストをもたらす仮説を選択し、その仮説の最初の符号を現在のブロックの最初の符号の予測子として指定する。次いで、最初の符号の予測が正しいか否かを示すための、最初の符号のｅｒｒＳｉｇｎＰｒｅｄフラグがシグナリングされる。
【0072】
[0097] 第２の予測された符号について、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、最初の予測された符号に対して以前に決定されたｅｒｒＳｉｇｎＰｒｅｄ値を知っているため、最初の符号の実際の値を導出することができるので、残りのｎ－１個の符号について評価すべき仮説は２ｎ－１個だけである。ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、２ｎ－１個の仮説のそれぞれについて上記のコスト関数を評価し、その中で最小のコストをもたらす仮説を選択し、その仮説の第２の符号（すなわち、残りのｎ－１個の符号のうちの最初の符号）を現在のブロックの第２の符号の予測子として指定する。次いで、第２の符号の予測が正しいか否かを示すための、第２の符号のｅｒｒＳｉｇｎＰｒｅｄフラグがシグナリングされる。
【0073】
[0098] 第３の予測された符号について、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、第２の予測された符号に対して以前に決定されたｅｒｒＳｉｇｎＰｒｅｄ値を知っているため、最初の符号の実際の値と共に、第２の符号の実際の値を導出することができるので、残りのｎ－２個の符号について評価すべき仮説は２ｎ－２個だけである。ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、２ｎ－２個の仮説のそれぞれについて上記のコスト関数を評価し、その中で最小のコストをもたらす仮説を選択し、その仮説の第３の符号（すなわち、残りのｎ－２個の符号のうちの最初の符号）を現在のブロックの第３の符号の予測子として指定する。次いで、第３の符号の予測が正しいか否かを示すための、第３の符号のｅｒｒＳｉｇｎＰｒｅｄフラグがシグナリングされる。
【0074】
[0099] ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、最後の予測された符号まで、後続の予測された符号ごとに上記の工程を繰り返す。最後の予測された符号について、符号化器および復号器は、他の全ての予測された符号に対して以前に決定された全てのｅｒｒＳｉｇｎＰｒｅｄ値を知っているため、他の全ての符号の実際の値を導出することができるので、残りの１つの符号について評価すべき仮説は２つだけである。符号化器および復号器は、両方の仮説について上記のコスト関数を評価し、その中で最小のコストをもたらす仮説を選択し、その仮説の最後の符号（すなわち、残りの符号）を現在のブロックの最後の符号の予測子として指定する。次いで、最後の符号の予測が正しいか否かを示すための、最後の符号のｅｒｒＳｉｇｎＰｒｅｄフラグがシグナリングされる。
【0075】
[00100] しかしながら、上述したように、ＥＣＭ３の残差符号予測には依然として欠点がある。境界残差は上の近傍の再構成されたピクセルまたは左の近傍の再構成されたピクセルから予測されるので、ブロックの画像データに斜め方向の目に見える境界線が含まれている場合、予測は正確でない場合がある。さらに、ＴＢの左上の４×４領域のみに基づいて残差符号予測を実行することには依然として制限があり、より大きなビットレート向上を実現するには、より多くの残差係数符号を予測することが望ましい。さらに、ラスタスキャン順序で最初のｎ個の符号のみを予測することにも制限があり、計算の複雑さを過度に増加させることなく、より多くの符号を予測することが望ましい。
【0076】
[00101] さらに、上記のコスト関数は、全ての場合において各仮説の実際のコストを正確に測定するわけではなく、たとえば、近傍のＴＢの境界線にエッジが一致するオブジェクトが画像に含まれている場合、近傍のＴＢの境界線にまたがって残差係数符号間に高い相関があるという仮定が成り立たなくなり、近傍のＴＢに冗長な情報が含まれているという仮定が成り立たなくなる。
【0077】
[00102] そこで、本開示の例示的な実施形態は、いくつかの点でＥＣＭ３を超える改善をもたらす残差符号予測方法を提供する。
【0078】
[00103] １つまたは複数の態様において、本開示の例示的な実施形態は、勾配ベースの境界残差符号予測プロセスを利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0079】
[00104] １つまたは複数の態様において、本開示の例示的な実施形態は、マルチモーダル残差境界予測を利用する残差符号予測方法を実装し、シグナリングによる；予測されるテンプレートの計算による；およびシグナリングの導出による、残差境界予測をさらに構成するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0080】
[00105] １つまたは複数の態様において、本開示の例示的な実施形態は、マルチモーダル残差境界予測を利用して２段階残差符号予測を実行する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0081】
[00106] １つまたは複数の態様において、本開示の例示的な実施形態は、ＴＢ全体またはＴＢの拡張された領域にわたって符号予測を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0082】
[00107] １つまたは複数の態様において、本開示の例示的な実施形態は、拡張された最大数の予測された符号を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0083】
[00108] １つまたは複数の態様において、本開示の例示的な実施形態は、残差係数のソート順序を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0084】
[00109] １つまたは複数の態様において、本開示の例示的な実施形態は、非ラスタスキャン順序を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0085】
[00110] １つまたは複数の態様において、本開示の例示的な実施形態は、拡張された境界に対して境界予測を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0086】
[00111] １つまたは複数の態様において、本開示の例示的な実施形態は、拡張された範囲の残差シグナリングを利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0087】
[00112] 続いて、本開示の例示的な実施形態の上記の態様のそれぞれをさらに詳細に説明する。
【0088】
【0089】
[00114] ＥＣＭ３提案によれば、垂直方向にオフセットされたまたは水平方向にオフセットされた再構成された近傍のサンプルに基づいて、予測された境界残差が決定される。しかしながら、符号化されたビデオビットストリームでは、近傍のＴＢの境界線にまたがる残差係数符号間の相関が、垂直方向および水平方向だけでなく、斜め方向にも発生し得（すなわち、近傍の分割されたブロックにまたがる目に見える斜めの境界線を有するオブジェクトが画像に含まれている場合）、ＥＣＭ３の残差符号予測では、これらの斜めの相関が見落とされる傾向がある。
【0090】
[00115] したがって、図６Ａおよび図６Ｂが示すように、本開示の例示的な実施形態によれば、ＶＶＣ規格符号化器およびＶＶＣ規格復号器はそれぞれ、予測されるピクセルの最も近い８つの再構成された近傍のサンプルから境界残差を予測するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。予測されるピクセルがＴＢの最上行にある場合と、ＴＢの最左列にある場合との両方を示しており、予測されるピクセルにＸとラベル付けし、その最近傍にＣ～ＥおよびＪ～Ｎとラベル付けしている。
【0091】
[00116] 予測された残差ＲｅｓＰｒｅｄは、次のように３つの近傍Ｃ、Ｄ、およびＥの加重平均から予測（Ｐ）を減算することによって計算される。
【0092】
【数2】
【0093】
[00117] Ｗ０、Ｗ１、およびＷ２は重み係数であり、３つの方向の勾配値の逆数として計算される。
【0094】
【数3】
および
【0095】
【数4】
【0096】
[00118] ８つの最近傍の分布を考慮すると、残差係数符号間の相関の３つの一般的なパターン、すなわち、斜めに左から右へ、斜めに右から左へ、および垂直（最上行）または水平（最左列）のいずれかが観察され得ることを理解されるべきである。図７は、最上行の予測されるピクセルの８つの最近傍間でこれらのパターンがどのように発生し得るかを示している。これらのパターンは、最左列の予測されるピクセルについても同様に回転して発生する。
【0097】
[00119] ３つの発生方向の勾配は次のように計算される。
Ｇｒａｄ０＝（Ｊ－Ｃ）２＋（Ｋ－Ｄ）２＋（Ｌ－Ｅ）２
Ｇｒａｄ１＝（Ｋ－Ｃ）２＋（Ｌ－Ｄ）２＋（Ｍ－Ｅ）２
Ｇｒａｄ２＝（Ｌ－Ｃ）２＋（Ｍ－Ｄ）２＋（Ｎ－Ｅ）２
Ｇｒａｄ０＝（Ｊ－Ｃ）２＋（Ｋ－Ｄ）２＋（Ｌ－Ｅ）２
Ｇｒａｄ１＝（Ｋ－Ｃ）２＋（Ｌ－Ｄ）２＋（Ｍ－Ｅ）２
Ｇｒａｄ２＝（Ｌ－Ｃ）２＋（Ｍ－Ｄ）２＋（Ｎ－Ｅ）２
【0098】
[00120] Ｇｒａｄ０は斜め右方向に発生するパターンの勾配を表し、Ｇｒａｄ１は垂直方向に発生するパターンの勾配を表し、Ｇｒａｄ２は斜め左方向に発生するパターンの勾配を表す。Ｇｒａｄ０の値が低い場合、予測されるピクセルＸの値は近傍Ｃにより類似しており、Ｇｒａｄ１の値が低い場合、予測されるピクセルＸの値は近傍Ｄにより類似しており、Ｇｒａｄ２の値が低い場合、予測されるピクセルＸの値は近傍Ｅにより類似していると想定される。
【0099】
[00121] ＴＢの最左列に沿った予測されるピクセルにおける勾配を計算するための工程は、上記の説明から同様に導出され得る。
【0100】
[00122] ＥＣＭ３提案によれば、図４Ａ、図４Ｂ、および図５を参照して上述した残差境界予測は、全てのＴＢに対して一様に実行され、この方法では、特にブロックの画像データに顕著なテクスチャおよび境界線が含まれる場合、あらゆる種類の画像内容に対して最適な圧縮パフォーマンスが得られるわけではない。したがって、本開示の例示的な実施形態は、様々な画像内容に対する残差境界予測方法の精度を向上させるために、マルチモーダル残差境界予測を提供する。
【0101】
[00123] 本開示の例示的な実施形態によれば、ＶＶＣ規格符号化器は、複数の残差符号予測モードの中の各モードをチェックし、モードを選択し、選択されたモードをＶＶＣ規格復号器に向けてシグナリングするようにコンピューティングデバイスの１つまたは複数のプロセッサを構成する。本開示の例示的な実施形態は、特定のモードおよび特定の数のモードに限定されるものとして解釈されるべきではない。例として、９つの符号予測モードについて以下に説明し、ここで、上述したＥＣＭ３の残差境界予測方法を「デフォルトモード」と表す。
【0102】
[00124] 本開示の例示的な実施形態による他の符号予測モードは、「斜め右モード」、「斜め左モード」、「第１の混合モード」（最上行の斜め右モードと最左列の斜め左モードとの両方を含む）、「第２の混合モード」（最上行の斜め左モードと最左列の斜め右モードとの両方を含む）、「第３の混合モード」（最上行のデフォルトモードと最左列の斜め左モードとの両方を含む）、「第４の混合モード」（最上行のデフォルトモードと最左列の斜め右モードとの両方を含む）、「第５の混合モード」（最上行の斜め右モードと最左列のデフォルトモードとの両方を含む）、および「第６の混合モード」（最上行の斜め左モードと最左列のデフォルトモードとの両方を含む）として説明する。
【0103】
[00125] 図８Ａ、図８Ｂ、図８Ｃ、図８Ｄ、図８Ｅ、および図８Ｆは、本開示の斜め右モードによる現在のブロック８００（ここでは、ＴＢ）の例示的な残差境界予測を示す。図８Ａ、図８Ｂ、および図８Ｃが示すように、本開示の例示的な実施形態によるＶＶＣ規格符号化器は、２つの近傍の行および２つの近傍の列ではなく斜め右モードを選択するようにコンピューティングデバイスの１つまたは複数のプロセッサを構成し、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の行８０６および左の最初の列８０８の再構成された近傍のみから予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２および最左列８０４の両方の各残差は、その左上のそれぞれの異なる再構成されたサンプルから、たとえば、例として、次のように予測される。
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ－１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－１－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ－１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－１－Ｐ０，ｙ
【0104】
[00126] しかしながら、図８Ｄ、図８Ｅ、および図８Ｆが示すように、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の２行８０６および８１０ならびに左の最初の２列８０８および８１２の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２および最左列８０４の両方の各残差は、その左上のそれぞれの２つの異なる再構成されたサンプルピクセルから、たとえば、例として、次のように予測される。
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ－１，－１－Ｒｘ－２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ－１－Ｒ－２，ｙ－２－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ－１，－１－Ｒｘ－２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ－１－Ｒ－２，ｙ－２－Ｐ０，ｙ
【0105】
[00127] ここでは（上述したように、参照を容易にするためにここで繰り返す）、ＲｅｓＰｒｅｄｘ，ｙは、ＴＢの位置（ｘ，ｙ）の予測された境界残差を表す（図８Ａ、図８Ｂ、図８Ｃ、図８Ｄ、図８Ｅ、および図８Ｆに濃い影で示す）。Ｒｘ，ｙは位置（ｘ，ｙ）の近傍のブロックの再構成されたピクセルを表し、Ｐｘ，ｙは位置（ｘ，ｙ）における現在のブロックの予測信号を表す。
【0106】
[00128] 図９Ａ、図９Ｂ、図９Ｃ、図９Ｄ、図９Ｅ、および図９Ｆは、本開示の斜め左モードによる現在のブロック８００（ここでは、ＴＢ）の残差境界予測の例を示す。図８Ａ、図８Ｂ、および図８Ｃと同様に、図９Ａ、図９Ｂ、および図９Ｃでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の行８０６および左の最初の列８０８の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、その右上のそれぞれの異なる再構成されたサンプルから予測され、最左列８０４の各残差は、その左下のそれぞれの異なる再構成されたサンプルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ＋１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ＋１－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ＋１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ＋１－Ｐ０，ｙ
【0107】
[00129] しかしながら、図８Ｄ、図８Ｅ、および図８Ｆと同様に、図９Ｄ、図９Ｅ、および図９Ｆでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の２行８０６および８１０ならびに左の最初の２列８０８および８１２の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、その右上のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、最左列８０４の各残差は、その左下のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ＋１，－１－Ｒｘ＋２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ＋１－Ｒ－２，ｙ＋２－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ＋１，－１－Ｒｘ＋２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ＋１－Ｒ－２，ｙ＋２－Ｐ０，ｙ
【0108】
[00130] ここでは（上述したように、参照を容易にするためにここで繰り返す）、ＲｅｓＰｒｅｄｘ，ｙは、ＴＢの位置（ｘ，ｙ）の予測された境界残差を表す（図９Ａ、図９Ｂ、図９Ｃ、図９Ｄ、図９Ｅ、および図９Ｆに濃い影で示す）。Ｒｘ，ｙは位置（ｘ，ｙ）の近傍のブロックの再構成されたピクセルを表し、Ｐｘ，ｙは位置（ｘ，ｙ）における現在のブロックの予測信号を表す。
【0109】
[00131] 図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄ、図１０Ｅ、および図１０Ｆは、本開示の第１の混合モードによる現在のブロック８００（ここでは、ＴＢ）の残差境界予測の例を示す。図８Ａ、図８Ｂ、図８Ｃ、図９Ａ、図９Ｂ、および図９Ｃと同様に、図１０Ａ、図１０Ｂ、および図１０Ｃでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の行８０６および左の最初の列８０８の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、その左上のそれぞれの異なる再構成されたサンプルから予測され、最左列８０４の各残差は、その左下のそれぞれの異なる再構成されたサンプルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ－１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ＋１－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ－１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ＋１－Ｐ０，ｙ
【0110】
[00132] しかしながら、図８Ｄ、図８Ｅ、図８Ｆ、図９Ｄ、図９Ｅ、および図９Ｆと同様に、図１０Ｄ、図１０Ｅ、および図１０Ｆでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の２行８０６および８１０ならびに左の最初の２列８０８および８１２の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、その左上のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、最左列８０４の各残差は、その左下のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ－１，－１－Ｒｘ－２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ＋１－Ｒ－２，ｙ＋２－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ－１，－１－Ｒｘ－２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ＋１－Ｒ－２，ｙ＋２－Ｐ０，ｙ
【0111】
[00133] ここでは（上述したように、参照を容易にするためにここで繰り返す）、ＲｅｓＰｒｅｄｘ，ｙは、ＴＢの位置（ｘ，ｙ）の予測された境界残差を表す（図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄ、図１０Ｅ、および図１０Ｆに濃い影で示す）。Ｒｘ，ｙは位置（ｘ，ｙ）の近傍のブロックの再構成されたピクセルを表し、Ｐｘ，ｙは位置（ｘ，ｙ）における現在のブロックの予測信号を表す。
【0112】
[00134] 図１１Ａ、図１１Ｂ、図１１Ｃ、図１１Ｄ、図１１Ｅ、および図１１Ｆは、本開示の第２の混合モードによる現在のブロック８００（ここでは、ＴＢ）の残差境界予測の例を示す。図８Ａ、図８Ｂ、図８Ｃ、図９Ａ、図９Ｂ、図９Ｃ、図１０Ａ、図１０Ｂ、および図１０Ｃと同様に、図１１Ａ、図１１Ｂ、および図１１Ｃでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の行８０６および左の最初の列８０８の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、その右上のそれぞれの異なる再構成されたサンプルから予測され、最左列８０４の各残差は、その左上のそれぞれの異なる再構成されたサンプルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ＋１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－１－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ＋１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－１－Ｐ０，ｙ
【0113】
[00135] しかしながら、図８Ｄ、図８Ｅ、図８Ｆ、図９Ｄ、図９Ｅ、図９Ｆ、図１０Ｄ、図１０Ｅ、および図１０Ｆと同様に、図１１Ｄ、図１１Ｅ、および図１１Ｆでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の２行８０６および８１０ならびに左の最初の２列８０８および８１２の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、その右上のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、最左列８０４の各残差は、その左上のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ＋１，－１－２Ｒｘ＋２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ－１－Ｒ－２，ｙ－２－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ＋１，－１－２Ｒｘ＋２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ－１－Ｒ－２，ｙ－２－Ｐ０，ｙ
【0114】
[00136] ここでは（上述したように、参照を容易にするためにここで繰り返す）、ＲｅｓＰｒｅｄｘ，ｙは、ＴＢの位置（ｘ，ｙ）の予測された境界残差を表す（図１１Ａ、図１１Ｂ、図１１Ｃ、図１１Ｄ、図１１Ｅ、および図１１Ｆに濃い影で示す）。Ｒｘ，ｙは位置（ｘ，ｙ）の近傍のブロックの再構成されたピクセルを表し、Ｐｘ，ｙは位置（ｘ，ｙ）における現在のブロックの予測信号を表す。
【0115】
[00137] 図１２Ａ、図１２Ｂ、図１２Ｃ、図１２Ｄ、図１２Ｅ、および図１２Ｆは、本開示の第３の混合モードによる現在のブロック８００（ここでは、ＴＢ）の残差境界予測の例を示す。図８Ａ、図８Ｂ、図８Ｃ、図９Ａ、図９Ｂ、図９Ｃ、図１０Ａ、図１０Ｂ、図１０Ｃ、図１１Ａ、図１１Ｂ、および図１１Ｃと同様に、図１２Ａ、図１２Ｂ、および図１２Ｃでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の行８０６および左の最初の列８０８の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、上のそれぞれの異なる再構成されたサンプルピクセルから予測され、最左列８０４の各残差は、その左下のそれぞれの異なる再構成されたサンプルピクセルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ＋１－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ＋１－Ｐ０，ｙ
【0116】
[00138] しかしながら、図８Ｄ、図８Ｅ、図８Ｆ、図９Ｄ、図９Ｅ、図９Ｆ、図１０Ｄ、図１０Ｅ、図１０Ｆ、図１１Ｄ、図１１Ｅ、および図１１Ｆと同様に、図１２Ｄ、図１２Ｅ、および図１２Ｆでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の２行８０６および８１０ならびに左の最初の２列８０８および８１２の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、上のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、最左列８０４の各残差は、その左下のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ，－１－Ｒｘ，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ＋１－Ｒ－２，ｙ＋２－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ，－１－Ｒｘ，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ＋１－Ｒ－２，ｙ＋２－Ｐ０，ｙ
【0117】
[00139] ここでは（上述したように、参照を容易にするためにここで繰り返す）、ＲｅｓＰｒｅｄｘ，ｙは、ＴＢの（ｘ，ｙ）位置の予測された境界残差を表す（図１２Ａ、図１２Ｂ、図１２Ｃ、図１２Ｄ、図１２Ｅ、および図１２Ｆに濃い影で示す）。Ｒｘ，ｙは位置（ｘ，ｙ）の近傍のブロックの再構成されたピクセルを表し、Ｐｘ，ｙは（ｘ，ｙ）位置における現在のブロックの予測信号を表す。
【0118】
[00140] 図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄ、図１３Ｅ、および図１３Ｆは、本開示の第４の混合モードによる現在のブロック８００（ここでは、ＴＢ）の残差境界予測の例を示す。図８Ａ、図８Ｂ、図８Ｃ、図９Ａ、図９Ｂ、図９Ｃ、図１０Ａ、図１０Ｂ、図１０Ｃ、図１１Ａ、図１１Ｂ、図１１Ｃ、図１２Ａ、図１２Ｂ、および図１２Ｃと同様に、図１３Ａ、図１３Ｂ、および図１３Ｃでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の行８０６および左の最初の列８０８の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、上のそれぞれの異なる再構成されたサンプルピクセルから予測され、最左列８０４の各残差は、その左上のそれぞれの異なる再構成されたサンプルピクセルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－１－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－１－Ｐ０，ｙ
【0119】
[00141] しかしながら、図８Ｄ、図８Ｅ、図８Ｆ、図９Ｄ、図９Ｅ、図９Ｆ、図１０Ｄ、図１０Ｅ、図１０Ｆ、図１１Ｄ、図１１Ｅ、図１１Ｆ、図１２Ｄ、図１２Ｅ、および図１２Ｆと同様に、図１３Ｄ、図１３Ｅ、および図１３Ｆでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の２行８０６および８１０ならびに左の最初の２列８０８および８１２の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、上のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、最左列８０４の各残差は、その左上のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ，－１－２Ｒｘ，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ－１－Ｒ－２，ｙ－２－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ，－１－２Ｒｘ，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ－１－Ｒ－２，ｙ－２－Ｐ０，ｙ
【0120】
[00142] ここでは（上述したように、参照を容易にするためにここで繰り返す）、ＲｅｓＰｒｅｄｘ，ｙは、ＴＢの（ｘ，ｙ）位置の予測された境界残差を表す（図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄ、図１３Ｅ、および図１３Ｆに濃い影で示す）。Ｒｘ，ｙは位置（ｘ，ｙ）の近傍のブロックの再構成されたピクセルを表し、Ｐｘ，ｙは（ｘ，ｙ）位置における現在のブロックの予測信号を表す。
【0121】
[00143] 図１４Ａ、図１４Ｂ、図１４Ｃ、図１４Ｄ、図１４Ｅ、および図１４Ｆは、本開示の第５の混合モードによる現在のブロック８００（ここでは、ＴＢ）の残差境界予測の例を示す。図８Ａ、図８Ｂ、図８Ｃ、図９Ａ、図９Ｂ、図９Ｃ、図１０Ａ、図１０Ｂ、図１０Ｃ、図１１Ａ、図１１Ｂ、図１１Ｃ、図１２Ａ、図１２Ｂ、図１２Ｃ、図１３Ａ、図１３Ｂ、および図１３Ｃと同様に、図１４Ａ、図１４Ｂ、および図１４Ｃでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の行および左の最初の列の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、その左上のそれぞれの異なる再構成されたサンプルピクセルから予測され、最左列８０４の各残差は、その左のそれぞれの異なる再構成されたサンプルピクセルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ－１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ－１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－Ｐ０，ｙ
【0122】
[00144] しかしながら、図８Ｄ、図８Ｅ、図８Ｆ、図９Ｄ、図９Ｅ、図９Ｆ、図１０Ｄ、図１０Ｅ、図１０Ｆ、図１１Ｄ、図１１Ｅ、図１１Ｆ、図１２Ｄ、図１２Ｅ、図１２Ｆ、図１３Ｄ、図１３Ｅ、および図１３Ｆと同様に、図１４Ｄ、図１４Ｅ、および図１４Ｆでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の２行８０６および８１０ならびに左の最初の２列８０８および８１２の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、その左上のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、最左列８０４の各残差は、その左のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ－１，－１－Ｒｘ－２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ－Ｒ－２，ｙ－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ－１，－１－Ｒｘ－２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ－Ｒ－２，ｙ－Ｐ０，ｙ
【0123】
[00145] ここでは（上述したように、参照を容易にするためにここで繰り返す）、ＲｅｓＰｒｅｄｘ，ｙは、ＴＢの（ｘ，ｙ）位置の予測された境界残差を表す（図１４Ａ、図１４Ｂ、図１４Ｃ、図１４Ｄ、図１４Ｅ、および図１４Ｆに濃い影で示す）。Ｒｘ，ｙは位置（ｘ，ｙ）の近傍のブロックの再構成されたピクセルを表し、Ｐｘ，ｙは（ｘ，ｙ）位置における現在のブロックの予測信号を表す。
【0124】
[00146] 図１５Ａ、図１５Ｂ、図１５Ｃ、図１５Ｄ、図１５Ｅ、および図１５Ｆは、本開示の第６の混合モードによる現在のブロック８００（ここでは、ＴＢ）の残差境界予測の例を示す。図８Ａ、図８Ｂ、図８Ｃ、図９Ａ、図９Ｂ、図９Ｃ、図１０Ａ、図１０Ｂ、図１０Ｃ、図１１Ａ、図１１Ｂ、図１１Ｃ、図１２Ａ、図１２Ｂ、図１２Ｃ、図１３Ａ、図１３Ｂ、図１３Ｃ、図１４Ａ、図１４Ｂ、および図１４Ｃと同様に、図１５Ａ、図１５Ｂ、および図１５Ｃでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の行８０６および左の最初の列８０８の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行８０２の各残差は、その右上のそれぞれの異なる再構成されたサンプルピクセルから予測され、最左列８０４の各残差は、その左のそれぞれの異なる再構成されたサンプルピクセルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ＋１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝Ｒｘ＋１，－１－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝Ｒ－１，ｙ－Ｐ０，ｙ
【0125】
[00147] しかしながら、図８Ｄ、図８Ｅ、図８Ｆ、図９Ｄ、図９Ｅ、図９Ｆ、図１０Ｄ、図１０Ｅ、図１０Ｆ、図１１Ｄ、図１１Ｅ、図１１Ｆ、図１２Ｄ、図１２Ｅ、図１２Ｆ、図１３Ｄ、図１３Ｅ、図１３Ｆ、図１４Ｄ、図１４Ｅ、および図１４Ｆと同様に、図１５Ｄ、図１５Ｅ、および図１５Ｆでは、境界の最上行８０２の残差および最左列８０４の残差は、上の最初の２行８０６および８１０ならびに左の最初の２列８０８および８１２の再構成された近傍から予測される。ここで、（０，０）は符号が予測されるＴＢの左上の位置を示す。最上行の各残差は、その右上のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、最左列の各残差は、その左のそれぞれの２つの異なる再構成されたサンプルピクセルから予測され、たとえば、例として、次のように行われる。
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ＋１，－１－２Ｒｘ＋２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ－Ｒ－２，ｙ－Ｐ０，ｙ
ＲｅｓＰｒｅｄｘ，０＝２Ｒｘ＋１，－１－２Ｒｘ＋２，－２－Ｐｘ，０
ＲｅｓＰｒｅｄ０，ｙ＝２Ｒ－１，ｙ－Ｒ－２，ｙ－Ｐ０，ｙ
【0126】
[00148] ここでは（上述したように、参照を容易にするためにここで繰り返す）、ＲｅｓＰｒｅｄｘ，ｙは、ＴＢの（ｘ，ｙ）位置の予測された境界残差を表す（図１５Ａ、図１５Ｂ、図１５Ｃ、図１５Ｄ、図１５Ｅ、および図１５Ｆに濃い影で示す）。Ｒｘ，ｙは位置（ｘ，ｙ）の近傍のブロックの再構成されたピクセルを表し、Ｐｘ，ｙは（ｘ，ｙ）位置における現在のブロックの予測信号を表す。
【0127】
[00149] 上記で説明した９つの符号予測モードを以下の表１にまとめる。
【0128】
【表1】
【0129】
[00150] ＶＶＣ規格符号化器およびＶＶＣ規格復号器が複数の境界予測モード（たとえば、限定はしないが、表１に示す９つの予測モード）を実装する例示的な実施形態によれば、ＶＶＣ規格符号化器は、最終的な符号化のためにどの予測モードが選択されるかをシグナリングする必要がある。ＶＶＣ規格はマルチモーダル残差境界予測を含まないので、本開示の例示的な実施形態は、符号化されたブロックのシンタックス構造での境界予測モードのシグナリングを実装するＶＶＣ規格符号化器と、符号化されたブロックのシンタックス構造からの境界予測モードのパースを実装するＶＶＣ規格復号器とをさらに提供する。
【0130】
[00151] コンピューティングシステムの１つまたは複数のプロセッサは、ＴＢレベルのシンタックス構造、および／またはＣＵレベルのシンタックス構造、および／またはＣＴＵレベルのシンタックス構造、および／またはスライスレベルのシンタックス構造、および／またはピクチャレベルのシンタックス構造、ならびに／あるいはシーケンスレベルのシンタックス構造で境界予測モードをシグナリングするように構成することができる。境界予測モードのシグナリングがＴＢレベルのシンタックス構造である場合、各ＴＢについて、符号化器はレート歪みコストを最小化することにより境界予測モードを選択して、復号器に向けてシグナリングする。
【0131】
[00152] 例として、本開示の例示的な実施形態は、ＶＶＣ規格によるブロックセマンティクスに２つのシンタックス要素を導入する。各ＴＢについて、ＶＶＣ規格符号化器は、そのＴＢの残差符号予測にデフォルトモードが適用されるか否かを示すための第１のフラグ（本明細書での参照のために、ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇと呼ぶ）をＴＢのシンタックス構造でシグナリングするようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇの値が１に等しい場合、ＶＶＣ規格符号化器は最終的な符号化にデフォルトモードを適用する。
【0132】
[00153] ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇの値が０に等しい場合、ＶＶＣ規格符号化器は、ＶＶＣ規格符号化器がＴＢの残差符号予測にどの非デフォルト境界予測モードを適用するかを示すための３ビット（以下の表２に従う）を使用する第２のフラグ（本明細書での参照のために、ｂｏｒｄｅｒＭｏｄｅＩｄｃと呼ぶ）をＴＢのシンタックス構造でシグナリングするようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。値ｂｏｒｄｅｒＭｏｄｅＩｄｃは、そのＴＢに使用される境界予測モードを示す。ｂｏｒｄｅｒＭｏｄｅＩｄｃ値の一例を以下の表２に示す。
【0133】
【表2】
【0134】
[00154] 例として、ＶＶＣ規格符号化器はさらに、次の疑似コードに従って境界予測モードのシグナリングを実装することができる。
各変換ブロックについて
ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇをシグナリングする
ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇ＝＝０の場合
ｂｏｒｄｅｒＭｏｄｅＩｄｃをシグナリングする
各変換ブロックについて
ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇをシグナリングする
ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇ＝＝０の場合
ｂｏｒｄｅｒＭｏｄｅＩｄｃをシグナリングする
【0135】
[00155] しかしながら、ブロックシンタックス構造での境界予測モードのシグナリングを実装するＶＶＣ規格符号化器は、符号化された各ピクチャにシグナリングビットを追加するので、ビットストリーム送信に追加のオーバーヘッドが導入され、圧縮効率が影響を受け得る。シグナリングオーバーヘッドを削減するために、本開示の例示的な実施形態による上記のマルチモーダル残差境界予測は、テンプレートベースの境界モード導出をさらに提供し得る。
【0136】
[00156] 本開示の例示的な実施形態によれば、ＶＶＣ規格符号化器およびＶＶＣ規格復号器はそれぞれ、再構成された近傍のブロックのサンプルを複数のテンプレートと比較して、複数のテンプレートのうちのいずれかが、実際の再構成された近傍のブロックに最も適合するかを評価することによって、シグナリングなしのテンプレートベースの境界予測モードの導出を実装する。近傍のブロックは、符号化順序に従って、現在のブロックの符号化前および復号前に再構成されるので、現在のブロックの符号化プロセス中および復号プロセス中に符号化器および復号器によってアクセス可能である。
【0137】
[00157] 図１６は、テンプレートと比較される再構成された近傍のブロックのサンプルの一例を示す（白色で強調表示した上方の近傍ブロック境界のサンプルと、別途白色で強調表示した左の近傍ブロックのサンプルとを含む）。上の最初の３つの近傍の再構成されたピクセルの行と、左の最初の３つの近傍の再構成されたピクセルの列を使用して、各境界予測モードのコストを計算する。表１および表２を参照して上述した各境界予測モードについて、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、それぞれの境界予測モードを現在のブロックの対応するサンプルに逆に適用することによってモードテンプレートを生成するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。
【0138】
[00158] 換言すれば、モードテンプレートは、各境界予測モードについて、その境界予測モードが現在のブロックの対応するサンプルに適合する場合の、再構成された近傍のブロックのサンプルの理想的な期待値を記述する。
【0139】
[00159] 各境界予測モードの適合性は、モードテンプレートと、再構成された近傍のブロックの対応するサンプルとのコスト関数を計算することによって評価される。例として、モードテンプレートと、再構成された近傍のブロックの対応するサンプルとの間で、それぞれの境界予測モードのコストとして、ＳＡＤが次のように計算される。
【0140】
【数5】
【0141】
[00160] あるいは、変換差分絶対値和（「ＳＡＴＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｔｒａｎｓｆｏｒｍ ｄｉｆｆｅｒｅｎｃｅｓ」）などの他のコスト関数もＳＡＤの代わりに使用することができる。
【0142】
[00161] ここで、Ｒｘ，ｙは位置（ｘ，ｙ）の近傍のブロックの再構成されたピクセルを表す。（０，０）は、現在のブロックの左上のサンプルの位置を表し、図１６に矢印で示している。ＰｒｅｄＴｅｍｐｌａｔｅｘ，ｙは、それぞれの各境界予測モードに基づいて位置（ｘ，ｙ）で生成されたモードテンプレート値を表す。それぞれの各境界予測モードのモードテンプレートの計算を以下の表３にまとめる。
【0143】
【表3】
【0144】
[00162] 各境界予測モードのコスト関数を計算した後、最適なコスト関数出力を有する境界予測モードが最も適合するものとして決定され、現在のブロックに選択される。
【0145】
[00163] あるいは、本開示の例示的な実施形態は、残差符号予測にデフォルトモードが適用されるか否かを示すための第１のフラグ（たとえば、上述のｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇ）をシンタックス構造でシグナリングすることなく、マルチモーダル残差境界予測を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。このようにして、ビットストリーム送信で１ビットが節約され、シグナリングのオーバーヘッドがさらに削減される。
【0146】
[00164] 明示的なシグナリングの代わりに、第１のフラグは、変換係数レベルの総和のパリティビットから導出される。例として、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、次の疑似コードに従って境界予測モードの暗黙的なシグナリングを実装することができる。
各ＴＢについて
変換係数レベルの絶対値の総和を計算する
総和が偶数の場合
ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇ＝１を設定する
そうでない場合、
ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇ＝０を設定する
各ＴＢについて
変換係数レベルの絶対値の総和を計算する
総和が偶数の場合
ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇ＝１を設定する
そうでない場合、
ｄｅｆａｕｌｔ＿ｍｏｄｅ＿ｆｌａｇ＝０を設定する
【0147】
[00165] この異なる方法によって暗黙的にシグナリングされる第１のフラグを決定することによって、第１のフラグおよび第２のフラグの両方がシグナリングされる上述のＶＶＣ規格復号器と実質的に同様にＶＶＣ規格復号器を実装できることが理解されるべきである。
【0148】
[00166] ＶＶＣ規格符号化器はさらに、変換係数レベルの絶対値の総和が偶数である場合にデフォルトモードを使用し、そうでない場合にはデフォルトモードを使用しないという条件を満たすようにビットストリームを出力するようコンピューティングデバイスの１つまたは複数のプロセッサを構成する。
【0149】
[00167] また、本開示の例示的な実施形態は、マルチモーダル残差境界予測を利用する２段階残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0150】
[00168] ２段階符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器によれば、コンピューティングシステムの１つまたは複数のプロセッサは、２段階でＴＢの符号を予測および再構成するように構成される。まず、ＴＢの符号は２つの異なるグループに分類される。ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、第１のグループの符号を予測するためにデフォルトモードのみを適用し、第２のグループの符号を予測するために上述の複数の境界予測モードを適用する。
【0151】
[00169] 図１７は、ＴＢの符号を第１のグループおよび第２のグループに分類する一例を示す。
【0152】
[00170] 本発明の実施形態によるＴＢに対して実行される２段階残差符号予測方法は、以下の工程を含み得る。
【0153】
[00171] 第１の工程では、コンピューティングシステムの１つまたは複数のプロセッサは、ｎ個の未知の符号を第１のグループおよび第２のグループの間で分類するように構成される。提案する方法が特定の分類またはグループ化方法に限定されないことを理解されるべきである。たとえば、最初のｎ／２個の符号が第１のグループに分類され、残りが第２のグループに分類され得る。あるいは、分類またはグループ化は、符号が交互に各グループに分類されるインターリーブ方式で実行され得る。
【0154】
[00172] 続いて、第１のグループの符号に対してデフォルトモードの符号予測を実行し、これらの符号に関するデフォルトモードの符号予測誤差を計算して、第１のグループの符号に最も適合するモード（デフォルトモードか他の符号予測モードかを問わない）が選択される。これは後続の工程に従って実装される。
【0155】
[00173] 後続の工程では、コンピューティングシステムの１つまたは複数のプロセッサは、デフォルトの符号予測モードを適用して、第１のグループの符号を予測し、第１のグループの符号を再構成する。したがって、第１のグループの実際の符号はこのとき既知となる。
【0156】
[00174] 後続の工程では、コンピューティングシステムの１つまたは複数のプロセッサは、次のように、第１のグループの符号予測誤差に基づいて第２のグループの符号予測モードを選択する。
【0157】
[00175] コンピューティングシステムの１つまたは複数のプロセッサは、各符号予測モードについて第１のグループの符号を予測し、次いで、各非符号予測モードについてのそれぞれの予測誤差（すなわち、前の工程の再構成に基づく正しい符号の数）を計算する。
【0158】
[00176] コンピューティングシステムの１つまたは複数のプロセッサは、全ての符号予測モードの中から、予測誤差が最小の符号予測モードを、選択された符号予測モードとして選択する。
【0159】
[00177] 後続の工程では、コンピューティングシステムの１つまたは複数のプロセッサは、選択された符号予測モードを適用して、第２のグループの符号を予測し、第２のグループの符号を再構成する。
【0160】
[00178] １つまたは複数の態様において、本開示の例示的な実施形態は、ＴＢ全体またはＴＢの拡張された領域にわたって符号予測を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0161】
[00179] ＥＣＭ３では、符号予測はＴＢの左上の４×４領域に限定される。対照的に、本開示の例示的な実施形態は、現在のブロック内の予測された符号の位置を限定せずに（すなわち、変換ブロック内の左上の４×４領域に限定せずに）、符号予測エリアを変換ブロック全体に拡張する。換言すれば、予測されたＴＢの符号の数が最大許容限度以下である限り、ＴＢの符号を予測することができる。最大許容限度はｍａｘＮｕｍＰｒｅｄＳｉｇｎｓで表される。
【0162】
[00180] あるいは、符号予測領域（Ｍ×Ｎ）は、変換ブロックの幅および高さに依存する。図１８は、ＴＢ依存のＭ×Ｎ符号予測領域の一例を示しており、Ｍの値は４またはＴＢの幅の４分の１の大きい方であり、Ｎの値は４またはＴＢの高さの４分の１の大きい方であり、それぞれ次のように計算される。
【0163】
【数6】
【0164】
[00181] コンピューティングシステムの１つまたは複数のプロセッサは、（ｘ＜Ｍ ＆＆ ｙ＜Ｎ）の場合に、本明細書に記載の残差符号予測を適用して符号を予測し、ここで、（ｘ，ｙ）は予測される符号の水平および垂直位置である。そうでない場合、１つまたは複数のプロセッサは、予測なしでＥＰビンによって符号をシグナリングする。
【0165】
[00182] あるいは、符号予測領域（Ｍ×Ｎ）は固定である。ｍａｘＭおよびｍａｘＮがそれぞれＭおよびＮの最大値であると仮定する。ｍａｘＭおよびｍａｘＮの値は固定値（すなわち、ｍａｘＭ＝ｍａｘＮ＝３２）にすることができ、符号化器および復号器の両方に対して事前に定義することができる。ＭおよびＮの値は次のように決定され得る。
Ｍ＝ｍａｘ（ｍａｘＭ，ｗｉｄｔｈ）
Ｎ＝ｍａｘ（ｍａｘＮ，ｈｅｉｇｈｔ）
Ｍ＝ｍａｘ（ｍａｘＭ，ｗｉｄｔｈ）
Ｎ＝ｍａｘ（ｍａｘＮ，ｈｅｉｇｈｔ）
【0166】
[00183] あるいは、ＭおよびＮの値は次のように決定され得る。
Ｍ＝ｍｉｎ（ｍａｘＭ，ｗｉｄｔｈ）
Ｎ＝ｍｉｎ（ｍａｘＮ，ｈｅｉｇｈｔ）
Ｍ＝ｍｉｎ（ｍａｘＭ，ｗｉｄｔｈ）
Ｎ＝ｍｉｎ（ｍａｘＮ，ｈｅｉｇｈｔ）
【0167】
[00184] コンピューティングシステムの１つまたは複数のプロセッサは、（ｘ＜Ｍ ＆＆ ｙ＜Ｎ）の場合に、本明細書に記載の残差符号予測を適用して符号を予測し、ここで、（ｘ，ｙ）は予測される符号の水平および垂直位置である。そうでない場合、１つまたは複数のプロセッサは、予測なしでＥＰビンによって符号をシグナリングする。
【0168】
[00185] あるいは、ＶＶＣ規格符号化器は、Ｍの最大値（ｍａｘＭと表す）およびＮの最大値（ｍａｘＮと表す）を、ＳＰＳ、ＰＰＳなどのシンタックス構造でＶＶＣ規格復号器に向けてシグナリングする。ＭおよびＮの値は、ｍａｘＭおよびｍａｘＮ、ならびに現在のＴＢの幅および高さから次のように導出することができる。
Ｍ＝ｍａｘ（ｍａｘＭ，ｗｉｄｔｈ）
Ｎ＝ｍａｘ（ｍａｘＮ，ｈｅｉｇｈｔ）
Ｍ＝ｍａｘ（ｍａｘＭ，ｗｉｄｔｈ）
Ｎ＝ｍａｘ（ｍａｘＮ，ｈｅｉｇｈｔ）
【0169】
[00186] あるいは、ＭおよびＮの値は次のように導出することができる。
Ｍ＝ｍｉｎ（ｍａｘＭ，ｗｉｄｔｈ）
Ｎ＝ｍｉｎ（ｍａｘＮ，ｈｅｉｇｈｔ）
Ｍ＝ｍｉｎ（ｍａｘＭ，ｗｉｄｔｈ）
Ｎ＝ｍｉｎ（ｍａｘＮ，ｈｅｉｇｈｔ）
【0170】
[00187] コンピューティングシステムの１つまたは複数のプロセッサは、ＴＢの最初の符号を予測する前にＮｕｍＰｒｅｄＳｉｇｎをゼロとして初期化し、次いで、（ｘ＜Ｍ ＆＆ ｙ＜Ｎ ＆＆ ＮｕｍＰｒｅＳｉｇｎ＜ｍａｘＮｕｍＰｒｅＳｉｇｎｓ）の場合に、本明細書に記載の残差符号予測を適用して符号を予測し、ここで、（ｘ，ｙ）は予測される符号の水平および垂直位置であり、ＮｕｍＰｒｅＳｉｇｎを１ずつインクリメントする。そうでない場合、１つまたは複数のプロセッサは、予測なしでＥＰビンによって符号をシグナリングする。
【0171】
[00188] １つまたは複数の態様において、本開示の例示的な実施形態は、拡張された最大数の予測された符号を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0172】
[00189] ＥＣＭ３では、ＴＢの予測された符号の最大数（ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓ）が復号器に向けてシグナリングされ、最大許容値は８である。本開示の例示的な実施形態によれば、最大数は１６まで増加され得る。あるいは、予測された符号の最大数（ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓ）の値をピクチャごとに変更し、スライスヘッダおよび／またはピクチャヘッダなどのシンタックス構造でシグナリングすることもできる。
【0173】
[00190] １つまたは複数の態様において、本開示の例示的な実施形態は、残差係数に基づく符号ソート順序を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0174】
[00191] 一般に、変換係数レベルの絶対値が大きいほど符号予測精度が高くなる。そこで、本開示の例示的な実施形態は、図３を参照して上述したように、２Ｄの変換係数レベルが１次元の係数レベル配列に記憶される残差符号予測方法を提供する。
【0175】
[00192] 後続の工程では、コンピューティングシステムの１つまたは複数のプロセッサは、係数レベルの絶対値順に配列をソートする。配列は絶対値の降順でソートされ、最大の絶対値を有する残差係数レベルがソートされた配列の先頭に配置され、最小の絶対値を有する残差係数レベルが配列の末尾に配置される。ソートされた配列内の対応する配列位置に応じた最初のｎ個の符号が、残差符号予測方法を使用して予測され、残りの符号はＥＰビンによってシグナリングされる。
【0176】
[00193] 図１９は、本開示の例示的な実施形態によるソート順序を利用する残差符号予測方法の一例を示す。この方法により、ＴＢ内の最大の残差係数レベルの符号が予測に関して優先される。
【0177】
[00194] あるいは、本開示の例示的な実施形態は、残差係数レベルに基づかない符号ソート順序を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。これは、ＥＣＭ３によれば、２つの量子化器（Ｑ０およびＱ１）が実装されるために、レベルの絶対値が、逆量子化されたＤＣＴ変換係数レベルを必ずしも一貫して表さない場合があるという観察によって動機付けられている。同じレベルの値であっても、量子化インデックス（ＱＩｄｘ：ｑｕａｎｔｉｚａｔｉｏｎ ｉｎｄｅｘ）が異なり得る。
【0178】
[00195] 図２０は、２つの量子化器間の同じ残差係数レベルに対する量子化インデックスの不一致を示す。同じレベル値に対して、再構成ポイントが異なり得ることが示されている。
【0179】
[00196] したがって、符号のソートを改良して符号予測精度をさらに向上させるために、（残差係数レベル値の代わりに）対応するＱＩｄｘ値に基づいて符号のソートが実行される。変換係数レベルのＱＩｄｘは次のように計算することができる。
【0180】
[00197] ＱＩｄｘ＝（ａｂｓ（ｌｅｖｅｌ）＜＜１）－（ｓｔａｔｅ＆１）
【0181】
[00198] ここで、ｌｅｖｅｌという変数は量子化された変換係数レベルの値であり、「ｓｔａｔｅ」はレベルの依存量子化状態を表す。量子化状態については、Ｈ．Ｓｃｈｗａｒｚ、Ｐ．Ｈａａｓｅ、Ｔ．Ｎｇｕｙｅｎ、Ｊ．Ｐｆａｆｆ、Ｄ．Ｍａｒｐｅ、Ｔ．Ｗｉｅｇａｎｄ、「ＥＥ２－４．１：Ｒｅｓｕｌｔｓ ｆｏｒ ｄｅｐｅｎｄｅｎｔ ｑｕａｎｔｉｚａｔｉｏｎ ｗｉｔｈ ８ ｓｔａｔｅｓ」、ＪＶＥＴ－Ｖ００８２、２０２１年４月にさらに詳細に記載されている。同じ量子化パラメータの場合、より大きいＱＩｄｘは、逆量子化後のより大きい変換係数レベルを表す。したがって、最大から最小の順に並べられた対応するＱＩｄｘ値に応じた最初のｎ個の符号が、残差符号予測方法を使用して予測され、残りの符号はＥＰビンによってシグナリングされる。
【0182】
[00199] 続いて、予測された符号は、復号器による後の処理のために、ビットストリームでシグナリングされる必要がある。しかしながら、図４Ａおよび図４Ｂを参照して上述したように、ＥＣＭ３提案によれば、ラスタスキャン順序で決定される最初のｍａｘＮｕｍＰｒｅｄＳｉｇｎｓ個の符号が予測されるので、図２１に示すように、ラスタスキャン順序でブロックの最初の８つの非ゼロの符号が予測され、それらのｅｒｒＳｉｇｎＰｒｅｄフラグによってシグナリングされ、残りの４つの非ゼロの符号は予測されず、ＥＰビンによってシグナリングされる。
【0183】
[00200] ＥＣＭ３によれば、予測された係数レベルのｅｒｒＳｉｇｎＰｒｅｄフラグおよび予測されなかった係数のＥＰビンシグナリングは両方とも、元のラスタスキャン順序でシグナリングされる。図２１は、予測された符号のｅｒｒＳｉｇｎＰｒｅｄフラグが最初にビットストリーム内でシグナリングされ、その後、残りの予測されなかった符号のＥＰビン信号が続くことを示している。
【0184】
[00201] しかしながら、残差係数のソート順を利用する上述の残差符号予測方法によれば、予測される符号は必ずしもラスタスキャン順序での最初のＮ個の符号であるとは限らず、この結果を図２２に示す。したがって、予測された符号および予測されなかった符号がラスタスキャン順序でビットストリーム内に符号化された場合、それらは図２２に示すように交互配置されるだろう。
【0185】
[00202] この問題を解決するために、１つまたは複数の態様において、本開示の例示的な実施形態は、図２３に示すように、ソート順序を利用する残差符号予測方法のための２パスビットストリームシグナリング方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。第１のパスでは、ブロックの符号に対して予測された各ｅｒｒＳｉｇｎＰｒｅｄフラグが、予測されなかった各符号をシグナリングする前に、ラスタスキャン順序またはレベルの絶対値の順序で、ビットストリームでシグナリングされる。第２のパスでは、残りの予測されなかった各符号が、それぞれラスタスキャン順序で、ＥＰビン信号でシグナリングされ、ＥＰビン信号は、符号に対して予測されたフラグの後に続く。
【0186】
[00203] ビットストリームを処理するように構成されたＣＡＢＡＣエントロピー復号器の場合、ＥＰビン信号が一緒にグループ化されると有益である。エントロピー復号器１５２は、予測された符号の符号化された残差およびバイパス符号化された符号のビットストリームをパースしている間に、現在パース中のビンが、予測された符号の符号化された残差であるか、またはバイパス符号化された符号であるかを判定する。予測された符号の符号化された残差は全て、バイパス符号化された符号の前にパースされる。エントロピー復号器１５２は、符号の残差およびバイパス符号化された符号をパースし、それらをバッファに記憶する。その後、再構成プロセスにおいて、ＶＶＣ規格復号器は、符号選択を実行して符号の残差を割り当て、バイパス符号化された符号を係数に正しく割り当てることができる。エントロピー復号器１５２は、パースプロセスにおいて符号選択を実行する必要がなく、後で再構成プロセスにおいて符号選択を実行することができる。
【0187】
[00204] １つまたは複数の態様において、本開示の例示的な実施形態は、予測に非ラスタスキャン順序を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。図２４は、予測される符号を決定するためにＴＢの４×４領域のスキャン順序に適用されるジグザグスキャン順序を示す（図３に示すラスタスキャン順序を置き換える）。
【0188】
[00205] １つまたは複数の態様において、本開示の例示的な実施形態は、拡張された境界に対して境界予測を利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0189】
[00206] ＥＣＭ３によれば、仮説再構成および境界予測は全て、ＴＢの最上行８０２および最左列８０４に対してのみ実行される。そこで、本開示の例示的な実施形態は、拡張された境界領域に対する境界予測を提供する。一実施形態では、境界エリアは変換ブロック全体に拡張される。他の実施形態では、境界エリアは、Ｍ個の最上行８１４およびＮ個の最左列８１６に拡張される（Ｍ＝Ｎ＝１は、ＥＣＭ３によって確立される境界エリアを表す）。ＭおよびＮの値は固定にすることができる（たとえば、Ｍ＝Ｎ＝２）。ＭおよびＮの値は、スライス／ピクチャレベルまたはＳＰＳレベルで復号器に向けてシグナリングすることもできる。
【0190】
[00207] 図２５は、本開示の例示的な実施形態による、Ｍ＝Ｎ＝２の拡張された境界の一例を示す。
【0191】
[00208] 拡張境界予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器は、コスト関数を２つのサブコスト関数の和として計算するようにコンピューティングシステムの１つまたは複数のプロセッサを構成し、各サブコスト関数は、近傍のブロックおよび現在のブロックのそれぞれの異なる行にわたる不連続性、または近傍のブロックおよび現在のブロックのそれぞれの異なる列にわたる不連続性を測定する。第１のサブコスト関数は、Ｒ－２、Ｒ－１、および候補の最初の行（または上の境界ではなく左の境界の最初の列）の間の不連続性を測定する。第２のサブコスト関数は、Ｒ－１と、候補の最初の行（または上の境界ではなく左の境界の最初の列）と、候補の２番目の行（または上の境界ではなく左の境界の２番目の列）との間の不連続性を測定する。
【0192】
[00209] コスト計算の例を以下に示す。
【0193】
【数7】
【0194】
[00210] ここで、ＲｅｓＰｒｅｄｘ，ｙはＴＢの位置（ｘ，ｙ）の予測された境界残差（図２５に濃い影で示す）を指し、ＲｅｓＲｅｃｘ，ｙは位置（ｘ，ｙ）における仮説の再構成された残差の候補（図５を参照して上述）を指す。（０，０）は符号が予測されるＴＢの左上の位置を表し、ｗおよびｈはＴＢの幅および高さであり、Ｐｘ，ｙは位置（ｘ，ｙ）における予測サンプルである。
【0195】
【数8】
【0196】
[00211] 図２６は、境界拡張を伴う不連続性測定の一例を示す。
【0197】
[00212] １つまたは複数の態様において、本開示の例示的な実施形態は、拡張された範囲の残差シグナリングを利用する残差符号予測方法を実装するＶＶＣ規格符号化器およびＶＶＣ規格復号器を提供する。
【0198】
[00213] ＥＣＭ３によれば、予測された符号ごとに、符号化器は符号の残差ｅｒｒＳｉｇｎＰｒｅｄを復号器に向けてシグナリングするように構成される。ｅｒｒＳｉｇｎＰｒｅｄの値が０に等しい場合、予測された符号の値は実際の符号の値と同じである。ｅｒｒＳｉｇｎＰｒｅｄの値が１に等しい場合、予測された符号の値は実際の符号の値と同じではない。
【0199】
[00214] ルマコンポーネントのｅｒｒＳｉｇｎＰｒｅｄを符号化するために使用される４つのコンテキスト変数があり、クロマコンポーネントのｅｒｒＳｉｇｎＰｒｅｄを符号化するために４つのコンテキストモデルが使用される。コンテキスト変数の導出は、ＣＵがイントラ符号化されるかインター符号化されるか、および予測される符号がＤＣの符号であるかＡＣの符号であるかによって異なる。ＥＣＭ３によれば、コンテキストインデックスは次のように導出される。
各ＴＢについて：
ｉｎｔ ｃｔｘＯｆｆｓｅｔ＝ＣＵ：：ｉｓＩｎｔｒａ（＊ｔｕ．ｃｕ）？０：２；
予測された各符号について
（ｘ，ｙ）が符号化される符号の（ＴＢの左上の位置からの）水平および垂直位置であると仮定する
ｃｔｘＩｄｃ＝（ｘ＝＝０ ＆＆ ｙ＝＝０）？０：１
ｃｔｘＩｄｃ＋＝ｃｔｘＯｆｆｓｅｔ
各ＴＢについて：
ｉｎｔ ｃｔｘＯｆｆｓｅｔ＝ＣＵ：：ｉｓＩｎｔｒａ（＊ｔｕ．ｃｕ）？０：２；
予測された各符号について
（ｘ，ｙ）が符号化される符号の（ＴＢの左上の位置からの）水平および垂直位置であると仮定する
ｃｔｘＩｄｃ＝（ｘ＝＝０ ＆＆ ｙ＝＝０）？０：１
ｃｔｘＩｄｃ＋＝ｃｔｘＯｆｆｓｅｔ
【0200】
[00215] しかしながら、上記は、変換ブロックの予測された符号の数が増加すると、符号予測方法の精度が低下するというさらなる観察を考慮していない。したがって、本開示の例示的な実施形態によれば、変換ブロックの予測された符号の数が所定の閾値よりも大きい場合に、信号コンテキストのシンタックス構造に追加のコンテキスト変数が導入される。提案する方法では、ルマに６つのコンテキストを使用し、クロマに６つのコンテキストを使用する。ＶＶＣ規格符号化器は、次の疑似コードに従ってコンテキストインデックスの導出を実装することができる。
各ＴＢについて：
ｉｎｔ ｃｔｘＯｆｆｓｅｔ＝ＣＵ：：ｉｓＩｎｔｒａ（＊ｔｕ．ｃｕ）？０：３；
予測された各符号について
（ｘ，ｙ）が符号化される符号の（ＴＢの左上の位置からの）水平および垂直位置であると仮定する
ｃｔｘＩｄｃ＝（ｘ＝＝０ ＆＆ ｙ＝＝０）？０：１
ｃｔｘＩｄｃ＋＝（（ｘ｜｜ｙ） ＆＆ ｎｕｍＳｉｇｎｓ＜Ｔｈ）？１：０
ｃｔｘＩｄｃ＋＝ｃｔｘＯｆｆｓｅｔ
各ＴＢについて：
ｉｎｔ ｃｔｘＯｆｆｓｅｔ＝ＣＵ：：ｉｓＩｎｔｒａ（＊ｔｕ．ｃｕ）？０：３；
予測された各符号について
（ｘ，ｙ）が符号化される符号の（ＴＢの左上の位置からの）水平および垂直位置であると仮定する
ｃｔｘＩｄｃ＝（ｘ＝＝０ ＆＆ ｙ＝＝０）？０：１
ｃｔｘＩｄｃ＋＝（（ｘ｜｜ｙ） ＆＆ ｎｕｍＳｉｇｎｓ＜Ｔｈ）？１：０
ｃｔｘＩｄｃ＋＝ｃｔｘＯｆｆｓｅｔ
【0201】
[00216] さらに、ＴＢの予測された符号の数に応じて、いくつかのコンテキストモデルのうちの１つが選択され得る。たとえば、ＴＢの予測された符号の数が閾値Ａよりも大きい場合、第１のコンテキストモデルが使用され、ＴＢの予測された符号の数が閾値Ａ以下であるが閾値Ｂよりも大きい場合、第２のコンテキストモデルが使用され、ＴＢの予測された符号の数が閾値Ｂ以下の場合、第３のコンテキストモデルが使用され、以下同様である。
【0202】
[00217] あるいは、ＶＶＣ規格符号化器は、次の疑似コードに従って、ＴＢ内の予測される符号の数と現在のビンの順序とに応じたコンテキストインデックスの導出を実装することができる。
各ＴＢについて：
ｉｎｔ ｃｔｘＯｆｆｓｅｔ＝ＣＵ：：ｉｓＩｎｔｒａ（＊ｔｕ．ｃｕ）？０：ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓ；
ｃｔｘＩｄｃ＝ｎｕｍＳｉｇｎｓ；
ｃｔｘＩｄｃ＝ｃｔｘＩｄｃ＋ｃｔｘＯｆｆｓｅｔ；
予測された各符号について：
ｃｔｘＩｄｃを使用して現在のビンを符号化または復号する
ｃｔｘＩｄｃ＝ｃｔｘＩｄｃ＋１；
各ＴＢについて：
ｉｎｔ ｃｔｘＯｆｆｓｅｔ＝ＣＵ：：ｉｓＩｎｔｒａ（＊ｔｕ．ｃｕ）？０：ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓ；
ｃｔｘＩｄｃ＝ｎｕｍＳｉｇｎｓ；
ｃｔｘＩｄｃ＝ｃｔｘＩｄｃ＋ｃｔｘＯｆｆｓｅｔ；
予測された各符号について：
ｃｔｘＩｄｃを使用して現在のビンを符号化または復号する
ｃｔｘＩｄｃ＝ｃｔｘＩｄｃ＋１；
【0203】
[00218] ここで、ｍａｘＮｕｍＰｒｅｄＳｉｇｎｓは、現在シーケンスに対して予測される符号の最大数を表し、ｎｕｍＳｉｇｎｓは、現在のＴＢ内の予測される符号の数を表す。
【0204】
[00219] 本開示の例示的な実施形態による残差符号予測方法は、予測間の境界ピクセルの除外をさらに実行し得る。上記のように、近傍のＴＢの境界線にエッジが一致するオブジェクトが画像に含まれている場合、近傍のＴＢの境界線にまたがって残差係数符号間に高い相関があるという仮定が成り立たなくなり、近傍のＴＢに冗長な情報が含まれているという仮定が成り立たなくなる。
【0205】
[00220] ＥＣＭ３提案のコスト関数のこの制限を克服するために、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、コスト関数評価から一部の境界ピクセルを除外し、特に近傍のＴＢに対して内容が不連続である境界ピクセルを除外する残差符号予測方法を実装する。
【0206】
[00221] 図４Ａおよび図４Ｂを参照して上述したように、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、予測されるｎ個の符号のうちの各符号を１つずつ予測するようにコンピューティングシステムの１つまたは複数のプロセッサを構成し、最初の予測された符号について、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、ＥＣＭ３提案に従って２ｎ個の仮説のそれぞれについてコスト関数を評価するようにコンピューティングシステムの１つまたは複数のプロセッサを構成し、コスト関数評価は、全ての境界ピクセルを含む境界ピクセルセットＮを含む。
【0207】
[00222] ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、それらの中で最小のコストをもたらす仮説を選択し、その仮説の最初の符号を現在のブロックの最初の符号の予測子として指定するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。次いで、最初の符号の予測が正しいか否かを示すための、最初の符号のｅｒｒＳｉｇｎＰｒｅｄフラグがシグナリングされる。
【0208】
[00223] 続いて、最初の符号の予測が誤っている（すなわち、現在のブロックの符号が、選択された仮説、および選択された仮説で予測された現在のブロックの対応する符号と比較して誤って予測された）と仮定し、以降、予測子として指定された仮説をＡと呼び、正しい仮説をＢと呼ぶ。
【0209】
[00224] 仮説ＡおよびＢのそれぞれについて、ＶＶＣ規格符号化器およびＶＶＣ規格復号器は、各境界ピクセルの予測された残差と再構成された残差との差を計算および比較するようにコンピューティングシステムの１つまたは複数のプロセッサを構成する。すなわち、境界ピクセルｐについて、仮説Ａの予測された残差と再構成された残差との差がｄｉｆｆ＿Ａ（ｐ）として計算され、仮説Ｂの予測された残差と再構成された残差との差がｄｉｆｆ＿Ｂ（ｐ）として計算される。次に、ｄｉｆｆ＿Ｂ（ｐ）とｄｉｆｆ＿Ａ（ｐ）の差としてｄｉｆｆ＿Ａ＿Ｂ（ｐ）が計算される。ｄｉｆｆ＿Ｂ（ｐ）がｄｉｆｆ＿Ａ（ｐ）よりも大きい場合（すなわち、ｄｉｆｆ＿Ａ＿Ｂ（ｐ）が０よりも大きい場合）、ｐは境界ピクセルセットＮから除外される。
【0210】
[00225] 例として、仮説Ｂの予測された残差と再構成された残差との間に、仮説Ａよりも大きな差をもたらす各ピクセルは、境界ピクセルセットＮから除外される。
【0211】
[00226] 他の例として、仮説Ｂの予測された残差と再構成された残差との間に、仮説Ａよりも大きな差をもたらす各ピクセルのうち、仮説Ａの差と仮説Ｂの差との間の差の大きさが最大のｋ個のピクセルのみが（すなわち、ｋ個のピクセルはｄｉｆｆ＿Ａ＿Ｂ（）の最大値である）、境界ピクセルセットＮから除外される。境界ピクセルを除外した後、残りのピクセルは、次のビンを予測する際の境界ピクセルセットＮとして使用される。
【0212】
[00227] したがって、誤った予測をもたらす各符号予測工程は、前の予測と次の予測との間での境界ピクセルセットＮからの１つまたは２つ以上の境界ピクセルの除外をトリガし、残りの境界ピクセルのみが次の符号の予測に使用される。除外された境界ピクセルは、近傍のＴＢと内容が不連続であるために、コスト関数の信頼性が低くなるピクセルとして理解することができる。そのようなピクセルを除外することにより、コスト関数の精度を向上させ、それに応じて予測精度を向上させることができる。
【0213】
[00228] 当業者は、本開示の上記の態様の全てがそれらの任意の組み合わせで同時に実装され得、本開示の全ての態様が本開示のさらに他の実施形態として組み合わせて実装され得ることを理解するであろう。
【0214】
[00229] 図２７は、残差符号予測を実装するための上述のプロセスおよび方法を実装するための例示的なシステム２７００を示す。
【0215】
[00230] 本明細書に記載の技術およびメカニズムは、システム２７００の複数のインスタンスによって、ならびに他の任意のコンピューティングデバイス、システム、および／または環境によって実装され得る。図２７に示すシステム２７００は、システムの一例にすぎず、上述のプロセスおよび／または手順を実行するために利用される任意のコンピューティングデバイスの使用または機能の範囲に関するいかなる制限も示唆することを意図したものではない。実施形態での使用に適し得る他のよく知られているコンピューティングデバイス、システム、環境、および／または構成には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、ゲームコンソール、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）および特定用途向け集積回路（「ＡＳＩＣ」）を使用した実装、ならびに／あるいは同様のものが含まれるが、これらに限定されない。
【0216】
[00231] システム２７００は、１つまたは複数のプロセッサ２７０２と、プロセッサ２７０２に通信可能に結合されたシステムメモリ２７０４とを含み得る。プロセッサ２７０２は、１つまたは複数のモジュールおよび／またはプロセスを実行して、プロセッサ２７０２に様々な機能を実行させ得る。いくつかの実施形態では、プロセッサ２７０２は、中央処理装置（「ＣＰＵ」）、グラフィックス処理装置（「ＧＰＵ」）、ＣＰＵおよびＧＰＵの両方、または当技術分野で知られている他の処理ユニットもしくはコンポーネントを含み得る。さらに、プロセッサ２７０２のそれぞれは、独自のローカルメモリを所持し得、これもプログラムモジュール、プログラムデータ、ならびに／あるいは１つまたは複数のオペレーティングシステムを記憶し得る。
【0217】
[00232] システム２７００の正確な構成およびタイプに応じて、システムメモリ２７０４は、たとえばＲＡＭなどの揮発性、たとえばＲＯＭ、フラッシュメモリ、小型ハードドライブ、メモリカードなどの不揮発性、またはそれらの組み合わせであり得る。システムメモリ２７０４は、プロセッサ２７０２によって実行可能な１つまたは複数のコンピュータ実行可能モジュール２７０６を含み得る。
【0218】
[00233] モジュール２７０６は、符号化器２７０８および復号器２７１０のうちの１つまたは複数を含み得るが、これらに限定されない。
【0219】
[00234] 符号化器２７０８は、上述した本開示の例示的な実施形態の任意の、一部の、または全ての態様を実装し、上述の動作を実行するようにプロセッサ９０２を構成するためにプロセッサ９０２によって実行可能であるＶＶＣ規格符号化器であり得る。
【0220】
[00235] 復号器２７１０は、上述した本開示の例示的な実施形態の任意の、一部の、または全ての態様を実装し、上述の動作を実行するようにプロセッサ２７０２を構成するためにプロセッサ２７０２によって実行可能であるＶＶＣ規格符号化器であり得る。
【0221】
[00236] システム２７００は、画像ソースデータおよびビットストリームデータを受け取り、再構成されたピクチャを参照ピクチャバッファあるいはＤＢＰおよび／または表示バッファに出力するための入力／出力（Ｉ／Ｏ）インターフェース２７４０をさらに含み得る。システム２７００はまた、システム２７００がネットワーク（図示せず）を介して他のデバイス（図示せず）と通信することを可能にする通信モジュール２７５０を含み得る。ネットワークには、インターネット、有線ネットワークまたは直接有線接続などの有線媒体、音響、無線周波数（「ＲＦ」）、赤外線、および他の無線媒体などの無線媒体が含まれ得る。
【0222】
[00237] 上述の方法の一部または全ての動作は、以下に定義するように、コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令を実行することによって実施することができる。本説明および特許請求の範囲で使用する「コンピュータ可読命令」という用語には、ルーチン、アプリケーション、アプリケーションモジュール、プログラムモジュール、プログラム、コンポーネント、データ構造、アルゴリズムなどが含まれる。コンピュータ可読命令は、シングルプロセッサまたはマルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ、パーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサベースのプログラム可能な家庭用電化製品、それらの組み合わせなどを含む様々なシステム構成で実装することができる。
【0223】
[00238] コンピュータ可読記憶媒体は、揮発性メモリ（たとえば、ランダムアクセスメモリ（「ＲＡＭ」））および／または不揮発性メモリ（たとえば、読み取り専用メモリ（「ＲＯＭ」）、フラッシュメモリなど）を含み得る。コンピュータ可読記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュールなどの不揮発性記憶装置を提供し得るフラッシュメモリ、磁気記憶装置、光記憶装置、および／またはテープ記憶装置を含むがこれらに限定されない追加のリムーバブル記憶装置および／または非リムーバブル記憶装置も含まれ得る。
【0224】
[00239] 非一時的コンピュータ可読記憶媒体は、コンピュータ可読媒体の一例である。コンピュータ可読媒体には、少なくとも２つのタイプのコンピュータ可読媒体、すなわち、コンピュータ可読記憶媒体および通信媒体が含まれる。コンピュータ可読記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意のプロセスまたは技術で実装される揮発性および不揮発性のリムーバブルおよび非リムーバブル媒体が含まれる。コンピュータ可読記憶媒体には、相変化メモリ（「ＰＲＡＭ」）、スタティックランダムアクセスメモリ（「ＳＲＡＭ」）、ダイナミックランダムアクセスメモリ（「ＤＲＡＭ」）、他のタイプのランダムアクセスメモリ（「ＲＡＭ」）、読み取り専用メモリ（「ＲＯＭ」）、電気的に消去可能なプログラマブル読み取り専用メモリ（「ＥＥＰＲＯＭ」）、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読み取り専用メモリ（「ＣＤ－ＲＯＭ」）、デジタルバーサタイルディスク（「ＤＶＤ」）または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいはコンピューティングデバイスによるアクセスのために情報を記憶するために使用することができる他の非伝送媒体が含まれるが、これらに限定されない。対照的に、通信媒体は、搬送波または他の伝送メカニズムなどの変調データ信号内のコンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを具現化し得る。本明細書で使用するコンピュータ可読記憶媒体は、たとえば、電波または他の自由伝播電磁波、導波管または他の伝送媒体（たとえば、光ファイバケーブルを通る光パルス）を伝播する電磁波、またはワイヤを介して伝播する電気信号などの一時的な信号そのものとして解釈されないものとする。
【0225】
[00240] １つまたは複数のプロセッサによって実行された場合に、図１Ａ～図２６を参照して上述した動作を実行し得る、１つまたは複数の非一時的コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令。一般に、コンピュータ可読命令には、特定の機能を実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。動作を説明する順序は、限定として解釈されることを意図したものではなく、任意の数の説明した動作を任意の順序でおよび／または並行して組み合わせて、プロセスを実装することができる。
【0226】
[00241] 本主題は、構造的特徴および／または方法論的行為に特有の文言で説明してきたが、添付の特許請求の範囲で定義した主題は、必ずしも説明した特定の特徴または行為に限定されないことは理解されたい。むしろ、特定の特徴および行為は、特許請求の範囲を実施する例示的な形態として開示している。
【0227】
[00242] 本開示の例示的な実施形態を少なくとも以下の条項によってさらに記載する。
【0228】
[00243] Ａ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）の最上行（８０２）および現在のブロック（８００）の最左列（８０４）の残差係数符号を予測することを含み、少なくとも、最上行（８０２）の残差係数符号が、それぞれの左上の再構成されたサンプルもしくはそれぞれの右上の再構成されたサンプルから予測されるか、または最左列（８０４）の残差係数符号が、それぞれの左上の再構成されたサンプルもしくはそれぞれの左下の再構成されたサンプルから予測される、方法。
【0229】
[00244] Ｂ．最上行（８０２）の残差係数符号は、それぞれの左上の再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの左上の再構成されたサンプルから予測される、段落Ａに記載の方法。
【0230】
[00245] Ｃ．最上行（８０２）の残差係数符号は、それぞれの左上の２つの再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの左上の２つの再構成されたサンプルから予測される、段落Ｂに記載の方法。
【0231】
[00246] Ｄ．最上行（８０２）の残差係数符号は、それぞれの左下の再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの右上の再構成されたサンプルから予測される、段落Ａに記載の方法。
【0232】
[00247] Ｅ．最上行（８０２）の残差係数符号は、それぞれの左下の２つの再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの右上の２つの再構成されたサンプルから予測される、段落Ｄに記載の方法。
【0233】
[00248] Ｆ．最上行（８０２）の残差係数符号は、それぞれの左下の再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの左上の再構成されたサンプルから予測される、段落Ａに記載の方法。
【0234】
[00249] Ｇ．最上行（８０２）の残差係数符号は、それぞれの左下の２つの再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの左上の２つの再構成されたサンプルから予測される、段落Ｆに記載の方法。
【0235】
[00250] Ｈ．最上行（８０２）の残差係数符号は、それぞれの左上の再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの右上の再構成されたサンプルから予測される、段落Ａに記載の方法。
【0236】
[00251] Ｉ．最上行（８０２）の残差係数符号は、それぞれの左上の２つの再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの右上の２つの再構成されたサンプルから予測される、段落Ｈに記載の方法。
【0237】
[00252] Ｊ．最上行（８０２）の残差係数符号は、それぞれの左下の再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの上の再構成されたサンプルから予測される、段落Ａに記載の方法。
【0238】
[00253] Ｋ．最上行（８０２）の残差係数符号は、それぞれの左下の２つの再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの上の２つの再構成されたサンプルから予測される、段落Ｊに記載の方法。
【0239】
[00254] Ｌ．最上行（８０２）の残差係数符号は、それぞれの左上の再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの上の再構成されたサンプルから予測される、段落Ａに記載の方法。
【0240】
[00255] Ｍ．最上行（８０２）の残差係数符号は、それぞれの左上の２つの再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの上の２つの再構成されたサンプルから予測される、段落Ｌに記載の方法。
【0241】
[00256] Ｎ．最上行（８０２）の残差係数符号は、それぞれの左の再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの左上の再構成されたサンプルから予測される、段落Ａに記載の方法。
【0242】
[00257] Ｏ．最上行（８０２）の残差係数符号は、それぞれの左の２つの再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの左上の２つの再構成されたサンプルから予測される、段落Ｎに記載の方法。
【0243】
[00258] Ｐ．最上行（８０２）の残差係数符号は、それぞれの左の再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの右上の再構成されたサンプルから予測される、段落Ａに記載の方法。
【0244】
[00259] Ｑ．最上行（８０２）の残差係数符号は、それぞれの左の２つの再構成されたサンプルから予測され、最左列（８０４）の残差係数符号は、それぞれの右上の２つの再構成されたサンプルから予測される、段落Ｐに記載の方法。
【0245】
[00260] Ｒ．１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）のシンタックス構造で境界予測モードフラグをシグナリングすること、あるいは、１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）のシンタックス構造から境界予測モードフラグをパースすることのうちの１つをさらに含む、段落Ａ～Ｑのいずれか１つに記載の方法。
【0246】
[00261] Ｓ．１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）のシンタックス構造で非デフォルト境界予測モードフラグをシグナリングすること、あるいは、１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）のシンタックス構造から非デフォルト境界予測モードフラグをパースすることのうちの１つをさらに含む、段落Ｒに記載の方法。
【0247】
[00262] Ｔ．１つまたは複数のプロセッサ（２７０２）によって、非デフォルト境界予測モードフラグをシグナリングすることなく、現在のブロック（８００）のシンタックス構造で境界予測モードフラグをシグナリングすること、あるいは、１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）の変換係数レベルの総和のパリティビットから非デフォルト予測モードフラグを決定することのうちの１つをさらに含む、段落Ｒに記載の方法。
【0248】
[00263] Ｕ．１つまたは複数のプロセッサ（２７０２）によって、複数の境界予測モードについて、それぞれの複数の対応するモードテンプレートを、現在のブロック（８００）の最上行（８０２）および最左列（８０４）にそれぞれ基づいて生成することと、１つまたは複数のプロセッサ（２７０２）によって、複数のモードテンプレートのそれぞれについて、モードテンプレートと、再構成された近傍のブロックの対応するサンプルとのコスト関数を計算することと、対応するモードテンプレートに対して最適なコスト関数出力を有する境界予測モードを選択することと、をさらに含む、段落Ａ～Ｔのいずれか１つに記載の方法。
【0249】
[00264] Ｖ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）の第１の複数の残差係数符号および第２の複数の残差係数符号を分類することと、１つまたは複数のプロセッサ（２７０２）によって、デフォルトの符号予測モードによって第１の複数の残差係数符号を予測することと、１つまたは複数のプロセッサ（２７０２）によって、第１の複数の残差係数符号を再構成することと、１つまたは複数のプロセッサ（２７０２）によって、複数の符号予測モードによって第１の複数の残差係数符号を予測することと、１つまたは複数のプロセッサ（２７０２）によって、複数の符号予測モードのそれぞれの中から、最小の予測誤差を有する符号予測モードを選択することと、１つまたは複数のプロセッサ（２７０２）によって、選択された符号予測モードによって第２の複数の残差係数符号を予測することと、を含む、方法。
【0250】
[00265] Ｗ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）内の予測される残差係数符号の位置の制限なく、現在のブロック（８００）の残差係数符号を予測することを含む方法。
【0251】
[00266] Ｘ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）の残差係数符号を予測することを含み、予測された残差係数符号は現在のブロック（８００）のある領域に限定され、現在のブロック（８００）のその領域の幅は、４と、現在のブロック（８００）の幅の４分の１とのうちの大きい方の値であり、現在のブロック（８００）のその領域の高さは、４と、現在のブロック（８００）の高さの４分の１とのうちの大きい方の値である、方法。
【0252】
[00267] Ｙ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）の残差係数符号を予測することを含み、予測された残差係数符号は、現在のブロック（８００）のある領域に限定され、現在のブロック（８００）のその領域の幅は、固定の幅と現在のブロック（８００）の幅とのうちの大きい方の値であり、現在のブロック（８００）のその領域の高さは、固定の高さと現在のブロック（８００）の高さとのうちの大きい方の値である、方法。
【0253】
[00268] Ｚ．残差係数符号は最大許容限度まで予測され、最大許容限度は８よりも大きく、最大許容限度は現在のブロック（８００）のシンタックス構造でシグナリングされる、段落Ｙに記載の方法。
【0254】
[00269] ＡＡ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）の残差係数レベルを大きさ順にソートすることと、１つまたは複数のプロセッサ（２７０２）によって、ソートされた順序の現在のブロック（８００）の最大の残差係数レベルに対応する現在のブロック（８００）の複数の残差係数符号を予測することと、を含む、方法。
【0255】
[00270] ＡＢ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）の残差係数の量子化ステップを大きさ順にソートすることと、１つまたは複数のプロセッサ（２７０２）によって、ソートされた順序の現在のブロック（８００）の残差係数の最大の量子化ステップに対応する現在のブロック（８００）の複数の残差係数符号を予測することと、を含む、方法。
【0256】
[00271] ＡＣ．１つまたは複数のプロセッサ（２７０２）によって、予測されなかった残差係数符号をシグナリングする前に、予測された各残差係数符号に関するフラグをビットストリームでシグナリングすることと、１つまたは複数のプロセッサ（２７０２）によって、シグナリングされたフラグに続いて、予測されなかった残差係数符号をシグナリングすることと、をさらに含む、段落ＡＢまたはＡＣに記載の方法。
【0257】
[00272] ＡＤ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、ラスタスキャン順序以外の順序で現在のブロック（８００）の残差係数符号を予測することを含む、方法。
【0258】
[00273] ＡＥ．現在のブロック（８００）の残差係数符号は、ジグザグスキャン順序で予測される、段落ＡＤに記載の方法。
【0259】
[00274] ＡＦ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）の複数の最上行（８１４）および現在のブロック（８００）の複数の最左列（８１６）の残差係数符号を予測することを含む、方法。
【0260】
[00275] ＡＧ．１つまたは複数のプロセッサ（２７０２）によって、残差係数符号を予測することは、１つまたは複数のプロセッサ（２７０２）によって、コスト関数を２つのサブコスト関数の和として計算することを含み、各サブコスト関数は、近傍のブロックおよび現在のブロック（８００）のそれぞれ異なる行にわたって、または近傍のブロックおよび現在のブロック（８００）のそれぞれ異なる列にわたって測定する、請求項ＡＦに記載の方法。
【0261】
[00276] ＡＨ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、現在のブロック（８００）の残差係数符号を予測することと、１つまたは複数のプロセッサ（２７０２）によって、予測された残差係数符号の数に従って、現在のブロックのシンタックス構造で複数のコンテキストモデルのうちの１つをシグナリングすることと、を含む、方法。
【0262】
[00277] ＡＩ．コンピューティングシステム（２７００）の１つまたは複数のプロセッサ（２７０２）によって、境界ピクセルセットに基づいて現在のブロック（８００）の境界ピクセルに対する現在のブロック（８００）の複数の残差係数符号のうちの１つを予測することと、１つまたは複数のプロセッサ（２７０２）によって、複数の仮説のそれぞれに従ってコスト関数を評価することと、１つまたは複数のプロセッサ（２７０２）によって、最小のコスト関数出力をもたらす複数の仮説の中から選択された仮説を選択することと、１つまたは複数のプロセッサ（２７０２）によって、選択された仮説と比較して最初の符号が誤って予測されたと判定することと、１つまたは複数のプロセッサ（２７０２）によって、境界ピクセルの予測された残差と再構成された残差との差を計算することと、１つまたは複数のプロセッサ（２７０２）によって、予測された残差と再構成された残差との差の大きさが上位の１つまたは複数の境界ピクセルを、後続の残差符号予測のための境界ピクセルセットから除外することと、を含む、方法。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8A-C】
【図8D-F】
【図9A-C】
【図9D-F】
【図10A-C】
【図10D-F】
【図11A-C】
【図11D-F】
【図12A-C】
【図12D-F】
【図13A-C】
【図13D-F】
【図14A-C】
【図14D-F】
【図15A-C】
【図15D-F】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【国際調査報告】