▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-23
(45)【発行日】2023-10-31
(54)【発明の名称】スキップしたブロックを変換するための残差コーディング
(51)【国際特許分類】
H04N 19/18 20140101AFI20231024BHJP
H04N 19/12 20140101ALI20231024BHJP
H04N 19/136 20140101ALI20231024BHJP
【ＦＩ】
H04N19/18
H04N19/12
H04N19/136
【請求項の数】
15
(21)【出願番号】P 2022510897
(86)(22)【出願日】2020-08-20
(65)【公表番号】
(43)【公表日】2022-10-26
(86)【国際出願番号】 CN2020110150
(87)【国際公開番号】W WO2021032145
(87)【国際公開日】2021-02-25
【審査請求日】2022-03-03
(31)【優先権主張番号】PCT/CN2019/101608
(32)【優先日】2019-08-20
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．
【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ザン，リー
(72)【発明者】
【氏名】ザン，カイ
(72)【発明者】
【氏名】シュイ，ジィジォン
(72)【発明者】
【氏名】リュウ，ホンビン
(72)【発明者】
【氏名】ワン，ユエ
【審査官】久保 光宏
(56)【参考文献】
【文献】Marta Karczewicz, et al.，"CE7: Sign context, level mapping, and bitplane coding for TS residual coding (CE7-3.7, CE7-3.8, CE7-3.9, CE7-3.10, and CE7-3.11)"，Document: JVET-O0122-v3, [online]，JVET-O0122 (version 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年07月04日，Pages 1-23，[令和5年2月20日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=6726> and <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0122-v3.zip>.，(See document file "JVET-O0122-v3.docx" in the zip file "JVET-O0122-v3.zip".)
【文献】村上 篤道（外２名）編，「高効率映像符号化技術 HEVC/H.265とその応用」，第１版，日本，株式会社オーム社，2013年02月25日，第１４５頁，ISBN: 978-4-274-21329-8.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
学術文献等データベース（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
ビデオデータを処理する方法であって、当該方法は、ビデオの現在のブロックと前記ビデオのビットストリームとの間の変換について、有意係数フラグがゼロに等しいかどうかに基づいて、レベルマッピング操作又はレベル再マッピング操作を有効にするかどうかを決定するステップであって、前記有意係数フラグは、前記現在のブロックの残差係数が、ゼロより大きい絶対レベルを有するかどうかを示し、前記レベルマッピング操作又は前記レベル再マッピング操作は、前記残差係数の第１の表現と、前記残差係数の隣接する残差係数に基づく前記残差係数の第２の表現との間の変更を含む、前記決定するステップと、
前記決定に基づいて、前記レベルマッピング操作又は前記レベル再マッピング操作を選択的に使用して前記変換を実行するステップと、を含む、
方法。
【請求項2】
前記現在のブロックは、前記現在のブロックの前記残差係数に対する変換操作がスキップされる、変換スキップ（ＴＳ）モードでコード化される、請求項１に記載の方法。
【請求項3】
前記レベルマッピング操作又は前記レベル再マッピング操作は、前記有意係数フラグがゼロに等しいことに応答して、無効にされる、請求項１又は２に記載の方法。
【請求項4】
前記レベルマッピング操作又は前記レベル再マッピング操作が有効にされるかどうかは、係数レベルの絶対値がゼロに等しいかどうかにさらに基づく、請求項１又は２に記載の方法。
【請求項5】
前記レベルマッピング操作又は前記レベル再マッピング操作は、前記係数レベルの前記絶対値がゼロに等しいことに応答して、無効にされる、請求項４に記載の方法。
【請求項6】
前記レベルマッピング操作又は前記レベル再マッピング操作が有効にされるかどうかは、係数レベルの絶対値と、前記係数レベルの残りの絶対値との組合せがゼロに等しいかどうかにさらに基づく、請求項１又は２に記載の方法。
【請求項7】
前記レベルマッピング操作又は前記レベル再マッピング操作は、前記組合せがゼロに等しいことに応答して、無効にされる、請求項６に記載の方法。
【請求項8】
前記レベルマッピング操作又は前記レベル再マッピング操作は、前記有意係数フラグがゼロに等しくないことに応答して、有効にされる、請求項１乃至３のいずれか一項に記載の方法。
【請求項9】
前記レベルマッピング操作又は前記レベル再マッピング操作は、前記係数レベルの前記絶対値がゼロに等しくないことに応答して、有効にされる、請求項４又は５に記載の方法。
【請求項10】
前記レベルマッピング操作又は前記レベル再マッピング操作は、前記組合せがゼロに等しくないことに応答して、有効にされる、請求項６又は７に記載の方法。
【請求項11】
前記変換は、前記現在のブロックを前記ビットストリームに符号化することを含む、請求項１乃至１０のいずれか一項に記載の方法。
【請求項12】
前記変換は、前記ビットストリームから前記現在のブロックを復号化することを含む、請求項１乃至１０のいずれか一項に記載の方法。
【請求項13】
プロセッサと、その上に命令を含む非一時的なメモリとを含むビデオデータを処理するための機器であって、前記命令が前記プロセッサによって実行されると、該プロセッサに、ビデオの現在のブロックと前記ビデオのビットストリームとの間の変換について、有意係数フラグがゼロに等しいかどうかに基づいて、レベルマッピング操作又はレベル再マッピング操作を有効にするかどうかを決定することであって、前記有意係数フラグは、前記現在のブロックの残差係数がゼロより大きい絶対レベルを有するかどうかを示し、前記レベルマッピング操作又は前記レベル再マッピング操作は、前記残差係数の第１の表現と、前記残差係数の隣接する残差係数に基づく前記残差係数の第２の表現との間の変更を含む、前記決定すること、及び
前記決定に基づいて、前記レベルマッピング操作又は前記レベル再マッピング操作を選択的に使用して前記変換を実行すること、を行わせる、
機器。
【請求項14】
命令を格納する非一時的なコンピュータ可読記憶媒体であって、前記命令がプロセッサによって実行されると、該プロセッサに、ビデオの現在のブロックと前記ビデオのビットストリームとの間の変換について、有意係数フラグがゼロに等しいかどうかに基づいて、レベルマッピング操作又はレベル再マッピング操作を有効にするかどうかを決定することであって、前記有意係数フラグは、前記現在のブロックの残差係数がゼロより大きい絶対レベルを有するかどうかを示し、前記レベルマッピング操作又は前記レベル再マッピング操作は、前記残差係数の第１の表現と、前記残差係数の隣接する残差係数に基づく前記残差係数の第２の表現との間の変更を含む、前記決定すること、及び
前記決定に基づいて、前記レベルマッピング操作又は前記レベル再マッピング操作を選択的に使用して変換を実行すること、を行わせる、
非一時的なコンピュータ可読記憶媒体。
【請求項15】
ビデオ処理機器によって実行される方法によって生成されるビデオのビットストリームを格納する方法であって、当該方法は、前記ビデオの現在のブロックについて、有意係数フラグがゼロに等しいかどうかに基づいて、レベルマッピング操作又はレベル再マッピング操作を有効にするかどうかを決定するステップであって、前記有意係数フラグは、前記現在のブロックの残差係数がゼロより大きい絶対値レベルを有するかどうかを示し、前記レベルマッピング操作又は前記レベル再マッピング操作は、前記残差係数の第１の表現と、前記残差係数の隣接する残差係数に基づく前記残差係数の第２の表現との間の変更を含む、前記決定するステップと、
前記決定に基づいて、前記レベルマッピング操作又は前記レベル再マッピング操作を選択的に使用して前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読媒体に格納するステップと、を含む、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、２０２０年８月２０日に出願した国際特許出願第ＰＣＴ／ＣＮ２０２０／１１０１５０号に基づいており、この国際出願は、２０１９年８月２０日に出願した国際特許出願第ＰＣＴ／ＣＮ２０１９／１０１６０８号の優先権及びその利益を主張している。前述の全ての特許出願は、その全体が参照により本明細書に組み込まれる。
本願は、２０２０年８月２０日に出願した国際特許出願第ＰＣＴ／ＣＮ２０２０／１１０１５０号に基づいており、この国際出願は、２０１９年８月２０日に出願した国際特許出願第ＰＣＴ／ＣＮ２０１９／１０１６０８号の優先権及びその利益を主張している。前述の全ての特許出願は、その全体が参照により本明細書に組み込まれる。
【0002】
この特許文書は、ビデオコーディング（coding）技術、装置、及びシステムに関する。
【背景技術】
【0003】
ビデオ圧縮の進歩にもかかわらず、デジタルビデオは、依然としてインターネット及び他のデジタル通信ネットワーク上で最大の帯域幅使用を占めている。ビデオを受信及び表示することができる接続状態のユーザ装置の数が増えるにつれて、デジタルビデオの使用に対する帯域幅の需要は増加し続けるものと予想される。
【発明の概要】
【0004】
デジタルビデオコーディング、具体的には、変換スキップブロックコーディングツールを使用するビデオコーディング及びデコーディングに関連する装置、システム、及び方法を開示する。
【0005】
例示的な一態様では、ビデオ処理の方法を開示する。この方法は、ビデオの現在のブロックとビデオのビットストリーム表現との間のコンバート（conversion）に関して、規則に基づいてレベルマッピング操作又はレベル再マッピング操作を有効にするかどうかを決定するステップであって、レベルマッピング操作又はレベル再マッピング操作には、現在のブロックの残差係数の第１の表現と、残差係数の隣接する残差係数に基づく現在のブロックの残差係数の第２の表現との間の変更が含まれる、決定するステップと；決定に基づいてレベルマッピング操作又はレベル再マッピング操作を選択的に使用してコンバートを実行するステップと；を含む。
【0006】
別の例示的な態様では、ビデオ処理の方法を開示する。この方法は、規則に基づいて、レベルマッピング操作又はレベル再マッピング操作中に予測子として使用される１つ又は複数の以前に復号化した係数を決定するステップであって、レベルマッピング操作又はレベル再マッピング操作には、残差係数の第１の表現と、残差係数の隣接する残差係数に基づく現在のブロックの残差係数の第２の表現との間の変更が含まれ、１つ又は複数の以前に復号化した係数は、復号化順序又はスキャン順序に従って使用される、決定するステップと；１つ又は複数の以前に復号化した係数を使用して、ビデオの現在のブロックとビデオのビットストリーム表現との間のコンバートを実行するステップと；を含む。
【0007】
別の例示的な態様では、ビデオ処理の方法を開示する。この方法は、ビデオの現在のブロックとビデオのビットストリーム表現との間のコンバートを実行するステップを含み、ビットストリーム表現は、現在のブロックのビデオユニットの係数のサブセットの絶対値がＭより大きいことを示すために構文要素をビットストリームに含めることを定めるフォーマット規則に準拠し、Ｍは整数である。
【0008】
別の例示的な態様では、ビデオ処理の方法を開示する。この方法は、ビデオの現在のブロックとビットストリーム表現との間のコンバートに関するレベル再計算の有効化に関連する条件が満たされるかどうかを判定するステップと；判定に基づいてレベル再計算は選択的に使用されるコンバートを実行するステップであって、レベル再計算には、残差係数の第１の表現と、コンバート中に使用される現在のブロックの残差係数の第２の表現との間の変更が含まれる、実行するステップと；を含む。
【0009】
別の例示的な態様では、ビデオ処理の別の方法を開示する。この方法は、ビデオの現在のブロックとビットストリーム表現との間のコンバートに関するレベル再計算を実行するための条件が満たされるかどうかを判定するステップであって、レベル再計算には、残差係数の第１の表現と、コンバート中に使用される現在のブロックの残差係数の第２の表現との間の変更が含まれる、判定するステップと；規則に基づいて、レベル再計算中に予測子として使用される１つ又は複数の復号化した係数を決定するステップと；１つ又は複数の復号化した係数を使用してコンバートを実行するステップと；を含む。
【0010】
別の例示的な態様では、ビデオ処理の別の方法を開示する。この方法は、ビデオの現在のブロックとコード化した（coded）表現との間のコンバートに関して、現在のブロックに対応するビデオユニットの絶対係数のサブセットが全てＭより大きいかどうかを判定するステップであって、Ｍは整数である、判定するステップと；判定に基づいてコンバートを実行するステップと；を含む。
【0011】
別の例示的な態様では、ビデオ処理の別の方法を開示する。この方法は、ビデオの現在のブロックとビットストリーム表現との間のコンバートに関するレベル再計算の有効化に関連する規則が満たされるかどうかを判定するステップであって、コンバートはブロック差分パルス符号変調（ＢＤＰＣＭ）コーディングツールを使用する、判定するステップと；判定に基づいてレベル再計算が選択的に使用されるコンバートを実行するステップであって、レベル再計算には、残差係数の第１の表現と、コンバート中に使用される現在のブロックの残差係数の第２の表現との間の変更が含まれる、実行するステップと；を含む。
【0012】
別の例示的な態様では、ビデオ処理の別の方法を開示する。この方法は、ビデオの現在のブロックとビットストリーム表現との間のコンバートに関するレベル再計算の有効化に関連する規則が満たされるかどうかを判定するステップであって、コンバートはパレットコーディングモードに基づく、判定するステップと；判定に基づいてレベル再計算が選択的に使用されるコンバートを実行するステップであって、レベル再計算は、コンバート中にパレットインデックス又はエスケープシンボルの第１の表現と、パレットインデックス又はエスケープシンボルの第２の表現との間の変更が含まれる、実行するステップと；を含む。
【0013】
さらに別の例示的な態様では、ビデオ処理の別の方法を開示する。この方法は、現在のブロックと現在のブロックのビットストリーム表現との間のコンバートが、現在のブロックの係数に対する変換操作をスキップする変換スキップモードに基づくことを決定するステップと；係数及び規則に基づいて、コンバートのコンテキストモデルを決定するステップと；変換スキップモードを使用して及びコンテキストモデルに基づいてコンバートを実行するステップと；を含む。
【0014】
さらに別の代表的な態様では、上記の方法は、プロセッサ実行可能コードの形態で具体化され、コンピュータ可読プログラム媒体に格納される。
【0015】
さらに別の代表的な態様では、上記の方法を実行するように構成又は動作可能な装置を開示する。装置は、この方法を実施するようにプログラムされたプロセッサを含み得る。
【0016】
さらに別の代表的な態様では、ビデオデコーダ機器は、本明細書に記載の方法を実施することができる。
【0017】
開示する技術の上記及び他の態様及び特徴は、図面、説明、及び特許請求の範囲でより詳細に説明する。
【図面の簡単な説明】
【0018】
【図1】例示的なビデオエンコーダ実施態様のブロック図である。
【図2】ＪＭＥ（Joint Exploration Model）の２次変換の例を示す図である。
【図3】例示的又は縮小した２次変換（ＲＳＴ）を示す図である。
【図4】順方向及び逆方向の縮小変換の例を示す図である。
【図5】１６×４８マトリックスを用いた順方向ＲＳＴ８×８プロセスの例を示す図である。
【図6】サブブロック変換モードＳＢＴ－Ｖ及びＳＢＴ－Ｈの図である。
【図7】対角の直立スキャン順序（例えば、ＣＧとしての４×４）を示す図である。
【図8】８×８ブロック（ＣＧサイズ：４×４）の例の対角の直立スキャンを示す図である。
【図9】確率モデルを選択するために使用されるテンプレートの図である。
【図10】従属量子化の提案するアプローチで使用される２つのスカラー量子化器の図である。
【図11】提案する従属量子化のための状態遷移及び量子化器選択の例を示す図である。
【図12】現在の係数値Ｘ、隣接する左の係数値Ｘ０、及び隣接する上（above）の係数値Ｘ１の例を示す図である。
【図13】パレットモードでコード化したブロックの例を示す図である。
【図14】パレットエントリを通知するためのパレット予測子の使用を示す図である。
【図15】水平方向及び垂直方向トラバース・スキャンの例を示す図である。
【図16】パレットインデックスのコーディング例を示す図である。
【図17】ビデオ処理のためのハードウェアプラットフォームの例示的な実施態様のブロック図である。
【図18】ビデオ処理の例示的な方法のフローチャートである。
【図19】ビデオデコーダの例を示すブロック図である。
【図20】本明細書に開示する様々な技術を実施することができる例示的なビデオ処理システムを示すブロック図である。
【図21】本開示の技術を利用することができる例示的なビデオコーディングシステムを示すブロック図である。
【図22】ビデオエンコーダの例を示すブロック図である。
【図23】ビデオ処理の例示的な方法のフローチャートである。
【図24】ビデオ処理の例示的な方法のフローチャートである。
【図25】ビデオ処理の例示的な方法のフローチャートである。
【発明を実施するための形態】
【0019】
開示する技術の実施形態は、既存のビデオコーディング規格（例えば、ＨＥＶＣ、Ｈ．２６５）及び圧縮性能を向上させる将来の規格に適用することができる。段落の見出しは、説明の読み易さを高めるために本文書で使用しており、議論又は実施形態（及び／又は実施態様）をそれぞれの段落のみに限定するものではない。
【0020】
１．概要
この文書は、画像／ビデオコーディング技術に関連している。具体的には、画像／ビデオコーディングの残差コーディングに関連している。その技術は、ＨＥＶＣのような既存のビデオコーディング規格、又は最終化される規格（多用途ビデオコーディング）に適用することができる。また、その技術は、将来のビデオコーディング規格又はビデオコーデックにも適用することができる。
この文書は、画像／ビデオコーディング技術に関連している。具体的には、画像／ビデオコーディングの残差コーディングに関連している。その技術は、ＨＥＶＣのような既存のビデオコーディング規格、又は最終化される規格（多用途ビデオコーディング）に適用することができる。また、その技術は、将来のビデオコーディング規格又はビデオコーデックにも適用することができる。
【0021】
２．最初の議論
ビデオコーディング規格は、主に、よく知られているＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ規格の開発を通じて進化してきた。ＩＴＵ－ＴはＨ．２６１及びＨ．２６３を作成し、ＩＳＯ／ＩＥＣはＭＰＥＧ－１及びＭＰＥＧ－４Ｖｉｓｕａｌを作成し、２つの組織は共同でＨ．２６２／ＭＰＥＧ－２ビデオ及びＨ．２６４／ＭＰＥＧ－４ＡＶＣ（Advanced Video Coding）及びＨ．２６５／ＨＥＶＣ規格を作成した。Ｈ．２６２以降、ビデオコーディング規格は、時間予測及び変換コーディングが利用されるハイブリッドビデオコーディング構造に基づいている。ＨＥＶＣを超えた将来のビデオコーディング技術を探求するために、２０１５年にＶＣＥＧ及びＭＰＥＧが共同でＪＶＥＴ（Joint Video Exploration Team）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Joint Exploration Model）という名前のリファレンスソフトウェアに組み込まれている。２０１８年４月に、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）の合同ビデオエキスパートチーム（ＪＶＥＴ）が設立され、ＨＥＶＣと比較して５０％のビットレート削減を目標としたＶＶＣ規格に取り組んでいる。
ビデオコーディング規格は、主に、よく知られているＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ規格の開発を通じて進化してきた。ＩＴＵ－ＴはＨ．２６１及びＨ．２６３を作成し、ＩＳＯ／ＩＥＣはＭＰＥＧ－１及びＭＰＥＧ－４Ｖｉｓｕａｌを作成し、２つの組織は共同でＨ．２６２／ＭＰＥＧ－２ビデオ及びＨ．２６４／ＭＰＥＧ－４ＡＶＣ（Advanced Video Coding）及びＨ．２６５／ＨＥＶＣ規格を作成した。Ｈ．２６２以降、ビデオコーディング規格は、時間予測及び変換コーディングが利用されるハイブリッドビデオコーディング構造に基づいている。ＨＥＶＣを超えた将来のビデオコーディング技術を探求するために、２０１５年にＶＣＥＧ及びＭＰＥＧが共同でＪＶＥＴ（Joint Video Exploration Team）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Joint Exploration Model）という名前のリファレンスソフトウェアに組み込まれている。２０１８年４月に、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）の合同ビデオエキスパートチーム（ＪＶＥＴ）が設立され、ＨＥＶＣと比較して５０％のビットレート削減を目標としたＶＶＣ規格に取り組んでいる。
【0022】
ＶＶＣドラフトの最新バージョン、すなわち、多用途ビデオコーディング（委員会ドラフト）は、以下で見つけることができる：
http：//phenix.it-sudparis.eu/jvet/doc_end_user/documents/15_Gothenburg/wg11/JVET-O2001-v14.zip
http：//phenix.it-sudparis.eu/jvet/doc_end_user/documents/15_Gothenburg/wg11/JVET-O2001-v14.zip
【0023】
ＶＴＭと名付けられたＶＶＣの最新の参照ソフトウェアは、以下で見つけることができる：
https：//vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-5.0
https：//vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-5.0
【0024】
２．１． 典型的なビデオコーデックのコーディングフロー
図１は、ＶＶＣのエンコーダブロック図の例を示しており、これには、デブロッキングフィルタ（ＤＦ）、サンプル適応オフセット（ＳＡＯ）、及びＡＬＦの３つのインループ（in-loop）フィルタリングブロックが含まれている。予め規定したフィルタを使用するＤＦとは異なり、ＳＡＯ及びＡＬＦは、現在のピクチャの元のサンプルを利用し、オフセットを追加し、有限インパルス応答（ＦＩＲ）フィルタを適用することにより、元のサンプルと再構成したサンプルとの間の平均二乗誤差を減らし、コード化した（coded）サイド情報が、オフセット及びフィルタ係数を通知する。ＡＬＦは、各ピクチャの最後の処理段階にあり、以前の段階で作成したアーティファクトをキャッチして修正しようとするツールと見なすことができる。
図１は、ＶＶＣのエンコーダブロック図の例を示しており、これには、デブロッキングフィルタ（ＤＦ）、サンプル適応オフセット（ＳＡＯ）、及びＡＬＦの３つのインループ（in-loop）フィルタリングブロックが含まれている。予め規定したフィルタを使用するＤＦとは異なり、ＳＡＯ及びＡＬＦは、現在のピクチャの元のサンプルを利用し、オフセットを追加し、有限インパルス応答（ＦＩＲ）フィルタを適用することにより、元のサンプルと再構成したサンプルとの間の平均二乗誤差を減らし、コード化した（coded）サイド情報が、オフセット及びフィルタ係数を通知する。ＡＬＦは、各ピクチャの最後の処理段階にあり、以前の段階で作成したアーティファクトをキャッチして修正しようとするツールと見なすことができる。
【0025】
２．２． ＶＶＣでの変換コーディング
２．２．１． ＶＶＣのマルチ変換セット（ＭＴＳ）
２．２．１．１ 明示的なマルチ変換セット（ＭＴＳ）
ＶＴＭ４では、最大６４×６４のサイズの大きなブロックサイズの変換が有効になり、これは主に、高解像度ビデオ、例えば１０８０ｐ及び４Ｋシーケンスに役立つ。サイズ（幅又は高さ、又は幅と高さとの両方）が６４に等しい変換ブロックでは、高周波数の変換係数がゼロにされるため、低周波数の係数のみが保持される。例えば、Ｍがブロック幅でありＮがブロック高さであるＭ×Ｎ変換ブロックについて、Ｍが６４に等しい場合に、変換係数の左の３２列のみが維持される。同様に、Ｎが６４に等しい場合に、変換係数の上の３２行のみが維持される。変換スキップモードを大きなブロックに使用するときに、値をゼロにすることなくブロック全体が使用される。
２．２．１． ＶＶＣのマルチ変換セット（ＭＴＳ）
２．２．１．１ 明示的なマルチ変換セット（ＭＴＳ）
ＶＴＭ４では、最大６４×６４のサイズの大きなブロックサイズの変換が有効になり、これは主に、高解像度ビデオ、例えば１０８０ｐ及び４Ｋシーケンスに役立つ。サイズ（幅又は高さ、又は幅と高さとの両方）が６４に等しい変換ブロックでは、高周波数の変換係数がゼロにされるため、低周波数の係数のみが保持される。例えば、Ｍがブロック幅でありＮがブロック高さであるＭ×Ｎ変換ブロックについて、Ｍが６４に等しい場合に、変換係数の左の３２列のみが維持される。同様に、Ｎが６４に等しい場合に、変換係数の上の３２行のみが維持される。変換スキップモードを大きなブロックに使用するときに、値をゼロにすることなくブロック全体が使用される。
【0026】
ＨＥＶＣで採用されているＤＣＴ－ＩＩに加えて、マルチ変換選択（ＭＴＳ）スキームが、インターコード化したブロックとイントラコード化したブロックとの両方の残差コーディングに使用される。そのＭＴＳスキームは、ＤＣＴ８／ＤＳＴ７から選択した複数の変換を使用する。新しく導入する変換行列は、ＤＳＴ－ＶＩＩ及びＤＣＴ－ＶＩＩＩである。以下の表１は、選択したＤＳＴ／ＤＣＴの基底関数を示している。
【表1】
【0027】
変換行列の直交性を維持するために、変換行列は、ＨＥＶＣの変換行列よりも正確に量子化される。変換した係数の中間値を１６ビットの範囲内に保つために、水平変換後及び垂直変換後に、全ての係数は、１０ビットである必要がある。
【0028】
ＭＴＳスキームを制御するために、個別の有効化フラグが、ＳＰＳレベルでイントラ及びインターにそれぞれ指定される。ＭＴＳがＳＰＳで有効になっている場合に、ＭＴＳが適用されるか否かを示すためにＣＵレベルフラグが通知される。ここでは、ＭＴＳはルマ（luma：輝度）にのみ適用される。ＭＴＳ ＣＵレベルフラグは、次の条件が満たされた場合に通知される。
－ 幅と高さとの両方が３２以下
－ ＣＢＦフラグが１に等しい
－ 幅と高さとの両方が３２以下
－ ＣＢＦフラグが１に等しい
【0029】
ＭＴＳ ＣＵフラグがゼロに等しい場合に、次に、ＤＣＴ２が両方向に適用される。しかしながら、ＭＴＳ ＣＵフラグが１に等しい場合に、次に、水平方向及び垂直方向それぞれの変換タイプを示すために、他の２つのフラグが追加で通知される。変換及びシグナリングのマッピングテーブルが表２に示される。変換行列の精度に関して、８ビットの1次変換コアが使用される。従って、４ポイントＤＣＴ２及びＤＳＴ－７，８ポイント、１６ポイント及び３２ポイントＤＣＴ２を含む、ＨＥＶＣで使用される全ての変換コアは同じままになる。また、６４ポイントＤＣＴ２、４ポイントＤＣＴ－８、８ポイント、１６ポイント、３２ポイントＤＳＴ－７及びＤＣＴ－８を含む他の変換コアは、８ビットの１次変換コアを使用する。
【表2】
【0030】
大きなサイズのＤＳＴ－７及びＤＣＴ－８の複雑さを軽減するために、サイズ（幅又は高さ、又は幅と高さとの両方）が３２に等しいＤＳＴ－７及びＤＣＴ－８ブロックでは、高周波数の変換係数はゼロにされる。１６×１６の低周波数領域内の係数のみが保持される。
【0031】
異なる変換が適用される場合に加えて、ＶＶＣは、ＨＥＶＣのＴＳの概念に似た変換スキップ（ＴＳ）と呼ばれるモードもサポートする。ＴＳはＭＴＳの特殊なケースとして扱われる。
【0032】
２．２．２． ＪＶＥＴ－Ｎ０１９３で提案される縮小２次変換（ＲＳＴ）
２．２．２．１． ＪＥＭの分離不可能な２次変換（ＮＳＳＴ）
ＪＥＭでは、２次変換が、順方向１次変換と量子化との間に（エンコーダで）、及び逆量子化と逆１次変換との間に（デコーダ側で）適用される。図２に示されるように、４×４（又は８×８）の２次変換は、ブロックサイズに応じて実行される。例えば、４×４の２次変換は小さなブロック（つまり、ｍｉｎ（最小）（幅，高さ）＜８）に適用され、８×８の２次変換は８×８ブロック毎に大きなブロック（つまり、ｍｉｎ（幅，高さ）＞４）に適用される。
２．２．２．１． ＪＥＭの分離不可能な２次変換（ＮＳＳＴ）
ＪＥＭでは、２次変換が、順方向１次変換と量子化との間に（エンコーダで）、及び逆量子化と逆１次変換との間に（デコーダ側で）適用される。図２に示されるように、４×４（又は８×８）の２次変換は、ブロックサイズに応じて実行される。例えば、４×４の２次変換は小さなブロック（つまり、ｍｉｎ（最小）（幅，高さ）＜８）に適用され、８×８の２次変換は８×８ブロック毎に大きなブロック（つまり、ｍｉｎ（幅，高さ）＞４）に適用される。
【0033】
分離不可能な変換の適用は、例として入力を使用して次のように説明される。分離不可能な変換を適用するには、４×４入力ブロックＸ
は、最初にベクトルＸ→として表される。
【数1】
【数2】
【0034】
分離不可能な変換は、Ｆ→＝Ｔ・Ｘ→として計算され、ここで、Ｆ→は変換係数ベクトルを示し、Ｔは１６×１６変換行列である。その後、１６×１係数ベクトルＦ→は、そのブロックのスキャン順序（水平、垂直、又は対角）を使用して４×４ブロックとして再編成される。インデックスが小さい係数は、小さいスキャンインデックスを用いて４×４係数ブロックに配置される。合計３５個の変換セットがあり、変換セット毎に３つの分離不可能な変換行列（カーネル）が使用される。イントラ予測モードから変換セットへのマッピングは予め規定される。変換セット毎に、選択した分離不可能な２次変換（ＮＳＳＴ）候補は、明示的に通知される２次変換インデックスによってさらに指定される。インデックスは、変換係数の後にイントラＣＵ毎に１回ビットストリームで通知される。
【0035】
２．２．２．２． ＪＶＥＴ－Ｎ０１９３の縮小２次変換（ＲＳＴ）
ＲＳＴ（別名ＬＦＮＳＴ（Low Frequency Non-Separable Transform））はＪＶＥＴ－Ｋ００９９で導入され、４つの変換セット（３５個の変換セットではなく）マッピングがＪＶＥＴ－Ｌ０１３３で導入された。このＪＶＥＴ－Ｎ０１９３では、１６×６４（さらに１６×４８に縮小）及び１６×１６マトリックスが採用されている。表記上の便宜のために、１６×６４（１６×４８に縮小）変換はＲＳＴ８×８として示され、１６×１６変換はＲＳＴ４×４として示される。図３は、ＲＳＴの例を示している。
ＲＳＴ（別名ＬＦＮＳＴ（Low Frequency Non-Separable Transform））はＪＶＥＴ－Ｋ００９９で導入され、４つの変換セット（３５個の変換セットではなく）マッピングがＪＶＥＴ－Ｌ０１３３で導入された。このＪＶＥＴ－Ｎ０１９３では、１６×６４（さらに１６×４８に縮小）及び１６×１６マトリックスが採用されている。表記上の便宜のために、１６×６４（１６×４８に縮小）変換はＲＳＴ８×８として示され、１６×１６変換はＲＳＴ４×４として示される。図３は、ＲＳＴの例を示している。
【0036】
２．２．２．２．１． ＲＳＴ計算
縮小変換（ＲＴ）の主な考え方は、Ｎ次元ベクトルを異なる空間のＲ次元ベクトルにマッピングすることであり、ここで、Ｒ／Ｎ（Ｒ＜Ｎ）は縮小係数である。
縮小変換（ＲＴ）の主な考え方は、Ｎ次元ベクトルを異なる空間のＲ次元ベクトルにマッピングすることであり、ここで、Ｒ／Ｎ（Ｒ＜Ｎ）は縮小係数である。
【0037】
ＲＴ行列は次のようなＲ×Ｎ行列である。
【数3】
【0038】
ここで、変換のＲ行はＮ次元空間のＲ基底である。ＲＴの逆変換行列は、その順変換の転置である。順方向及び逆方向のＲＴが図４に示されている。
【0039】
この寄与では、縮小係数４（１／４サイズ）のＲＳＴ８×８が適用される。このため、従来の８×８の分離不可能な変換行列サイズである６４×６４の代わりに、１６×６４の直接（direct）行列が使用される。換言すると、６４×１６の反転（invert）ＲＳＴ行列は、デコーダ側で使用され、８×８の左上の領域にコア（１次）変換係数を生成する。順方向ＲＳＴ８×８は、１６×６４（又は８×８ブロックの場合は８×６４）行列を使用するため、所与の８×８領域内の左上の４×４領域にのみ非ゼロ係数を生成する。換言すると、ＲＳＴが適用される場合に、次に、左上の４×４領域を除く８×８領域の係数はゼロのみになる。ＲＳＴ４×４の場合に、１６×１６（又は４×４ブロックの場合は８×１６）の直接行列乗算が適用される。
【0040】
反転ＲＳＴは、次の２つの条件が満たされた場合に条件付きで適用される。
－ ブロックサイズが所与のしきい値以上（Ｗ＞＝４＆＆Ｈ＞＝４）
－ 変換スキップモードフラグがゼロに等しい
－ ブロックサイズが所与のしきい値以上（Ｗ＞＝４＆＆Ｈ＞＝４）
－ 変換スキップモードフラグがゼロに等しい
【0041】
変換係数ブロックの幅（Ｗ）と高さ（Ｈ）との両方が４より大きい場合に、次に、ＲＳＴ８×８は変換係数ブロックの左上の８×８領域に適用される。それ以外の場合に、ＲＳＴ４×４は、変換係数ブロックの左上のｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に適用される。
【0042】
ＲＳＴインデックスが０に等しい場合に、ＲＳＴは適用されない。それ以外の場合に、ＲＳＴが適用され、そのカーネルはＲＳＴインデックスを用いて選択される。ＲＳＴの選択方法及びＲＳＴインデックスのコーディングについては後で説明する。
【0043】
さらに、ＲＳＴは、イントラスライスとインタースライスとの両方のイントラＣＵ、及びルマとクロマ（chroma：色差）との両方に適用される。デュアル（dual）ツリーが有効になっている場合に、ルマとクロマのＲＳＴインデックスは別々に通知される。インタースライスの（デュアルツリーが無効になっている）場合に、単一のＲＳＴインデックスが、通知され、ルマとクロマとの両方に使用される。
【0044】
２．２．２．２．２． ＲＳＴの制限
ＩＳＰモードが選択されると、ＲＳＴが無効にされ、ＲＳＴが全ての実行可能なパーティションブロックに適用されたとしても性能の改善が僅かであったため、ＲＳＴインデックスは通知されない。さらに、ＩＳＰで予測された残差に対してＲＳＴを無効にすると、符号化の複雑さが軽減される可能性がある。
ＩＳＰモードが選択されると、ＲＳＴが無効にされ、ＲＳＴが全ての実行可能なパーティションブロックに適用されたとしても性能の改善が僅かであったため、ＲＳＴインデックスは通知されない。さらに、ＩＳＰで予測された残差に対してＲＳＴを無効にすると、符号化の複雑さが軽減される可能性がある。
【0045】
２．２．２．２．３． ＲＳＴ選択
ＲＳＴ行列は、４つの変換セットから選択され、各変換セットは、２つの変換から構成される。どの変換セットが適用されるかは、イントラ予測モードから次のように決定される。
１）３つのＣＣＬＭモードのいずれかが示されている場合に、変換セット０が選択される。
２）それ以外の場合に、変換セットの選択は表３に従って実行される。
ＲＳＴ行列は、４つの変換セットから選択され、各変換セットは、２つの変換から構成される。どの変換セットが適用されるかは、イントラ予測モードから次のように決定される。
１）３つのＣＣＬＭモードのいずれかが示されている場合に、変換セット０が選択される。
２）それ以外の場合に、変換セットの選択は表３に従って実行される。
【表3】
【0046】
イントラ予測モード（IntraPredMode）として示される、テーブルにアクセスするためのインデックスは、広角イントラ予測に使用される変換したモードインデックスである［－１４，８３］の範囲を有する。
【0047】
２．２．２．２．４． 縮小した寸法のＲＳＴ行列
更なる単純化として、同じ変換セット構成で１６×６４の代わりに１６×４８行列が適用され、各行列は、右下４×４ブロックを除く左上８×８ブロック内の３つの４×４ブロックから４８個の入力データを取得する（図５）。
更なる単純化として、同じ変換セット構成で１６×６４の代わりに１６×４８行列が適用され、各行列は、右下４×４ブロックを除く左上８×８ブロック内の３つの４×４ブロックから４８個の入力データを取得する（図５）。
【0048】
図５は、１６×４８マトリックスを用いた順方向ＲＳＴ８×８プロセスの例を示している。
【0049】
２．２．３． サブブロック変換
cu_cbfが１に等しいインター予測ＣＵの場合に、残差ブロック全体又は残差ブロックの一部が復号化されているかどうかを示すために、cu_sbt_flagが通知され得る。前者の場合に、インターＭＴＳ情報はさらに解析され、ＣＵの変換タイプが決定される。後者の場合（つまり、ＳＢＴが有効になっている場合）に、残差ブロックの一部は推定適応変換でコード化され、残差ブロックの他の部分はゼロになる。ＳＢＴは、インター－イントラモードと三角予測モードとの組合せには適用されない。
cu_cbfが１に等しいインター予測ＣＵの場合に、残差ブロック全体又は残差ブロックの一部が復号化されているかどうかを示すために、cu_sbt_flagが通知され得る。前者の場合に、インターＭＴＳ情報はさらに解析され、ＣＵの変換タイプが決定される。後者の場合（つまり、ＳＢＴが有効になっている場合）に、残差ブロックの一部は推定適応変換でコード化され、残差ブロックの他の部分はゼロになる。ＳＢＴは、インター－イントラモードと三角予測モードとの組合せには適用されない。
【0050】
サブブロック変換では、位置依存変換は、ＳＢＴ－Ｖ及びＳＢＴ－Ｈ（常にＤＣＴ-２を使用するクロマＴＢ）のルマ変換ブロックに適用される。ＳＢＴ－Ｈ及びＳＢＴ－Ｖの２つの位置は、異なるコア変換に関連付けられる。より具体的には、各ＳＢＴ位置の水平変換及び垂直変換が図６に指定される。例えば、ＳＢＴ－Ｖ位置０の水平変換及び垂直変換は、それぞれＤＣＴ－８及びＤＳＴ－７である。残差ＴＵの片側が３２より大きい場合に、対応する変換はＤＣＴ－２として設定される。従って、サブブロック変換は、残差ブロックのＴＵタイリング、ｃｂｆ、並びに水平変換及び垂直変換を共同で指定し、これは、ブロックの主要な残差がブロックの片側にある場合の構文ショートカットと見なされ得る。
【0051】
図６は、サブブロック変換モードＳＢＴ－Ｖ及びＳＢＴ－Ｈの図である。
【0052】
２．２．４． 量子化残差ドメインブロック差分パルス符号変調符号化（ＱＲ－ＢＤＰＣＭ）
量子化残差ドメインＢＤＰＣＭ（以下、ＱＲ－ＢＤＰＣＭと表記）と呼ばれる、ＨＥＶＣにおけるＢＤＰＣＭの分散が、ＶＶＣで使用される。ＢＤＰＣＭとは異なり、イントラ予測は、イントラ予測と同様に、予測方向（水平又は垂直予測）でサンプルをコピーすることにより、ブロック全体で行われる。残差は量子化され、量子化した残差とその予測子（水平又は垂直）の量子化値との間のデルタがコード化される。
量子化残差ドメインＢＤＰＣＭ（以下、ＱＲ－ＢＤＰＣＭと表記）と呼ばれる、ＨＥＶＣにおけるＢＤＰＣＭの分散が、ＶＶＣで使用される。ＢＤＰＣＭとは異なり、イントラ予測は、イントラ予測と同様に、予測方向（水平又は垂直予測）でサンプルをコピーすることにより、ブロック全体で行われる。残差は量子化され、量子化した残差とその予測子（水平又は垂直）の量子化値との間のデルタがコード化される。
【0053】
サイズＭ（幅）×Ｎ（高さ）のブロックの場合に、ｒｉ，ｊ、０＜＝ｉ＜＝Ｍ－１、０＜＝ｊ＜＝Ｎ－１を、上（above）又は左のブロック境界サンプルからのフィルタリングしていないサンプルを使用して、イントラ予測を水平方向に（予測ブロックを横切る左の隣接ピクセル値を１行ずつコピーする）又は垂直方向に（予測ブロックの各行に上部（top）の隣接行をコピーする）実行した後の予測残差とする。Ｑ（ｒｉ，ｊ）、０＜＝ｉ＜＝Ｍ－１、０＜＝ｊ＜＝Ｎ－１が残差ｒｉ，ｊの量子化バージョンを表すとする。ここで、残差は元のブロック値と予測ブロック値との間の差である。次に、ブロックＤＰＣＭが量子化した残差サンプルに適用され、要素ｒ～
ｉ，ｊを有する修正したＭ×ＮアレイＲ～が生成される。垂直ＢＤＰＣＭが通知される場合に：
【数4】
【0054】
水平予測の場合に、同様の規則が適用され、残りの量子化したサンプルは次のように取得される。
【数5】
【0055】
残りの量子化したサンプルｒ～
ｉ，ｊはデコーダに送信される。
【0056】
デコーダ側では、上記の計算が逆になり、Ｑ（ｒｉ，ｊ）、０＜＝ｉ＜＝Ｍ－１、０＜＝ｊ＜＝Ｎ－１が生成される。垂直予測の場合に、
【数6】
【0057】
水平の場合に、
【数7】
【0058】
逆量子化した残差Ｑ－１（Ｑ（ｒｉ，ｊ））がイントラブロック予測値に追加され、再構成したサンプル値が生成される。
【0059】
ＱＲ－ＢＤＰＣＭでは常に変換スキップが使用される。
【0060】
２．３． 係数のエントロピーコーディング
２．３．１． 変換を適用したブロックの係数コーディング
ＨＥＶＣでは、コーディングブロックの変換係数は、重複しない係数グループ（ＣＧ、又はサブブロック）を使用してコード化され、各ＣＧにはコーディングブロックの４×４ブロックの係数が含まれる。コーディングブロック内のＣＧ、及びＣＧ内の変換係数は、予め規定したスキャン順序に従ってコード化される。
２．３．１． 変換を適用したブロックの係数コーディング
ＨＥＶＣでは、コーディングブロックの変換係数は、重複しない係数グループ（ＣＧ、又はサブブロック）を使用してコード化され、各ＣＧにはコーディングブロックの４×４ブロックの係数が含まれる。コーディングブロック内のＣＧ、及びＣＧ内の変換係数は、予め規定したスキャン順序に従ってコード化される。
【0061】
コーディングブロック内のＣＧ、及びＣＧ内の変換係数は、予め規定したスキャン順序に従ってコード化される。ＣＧとＣＧ内の係数とは両方とも、対角の直立（diagonal up-right）スキャン順序に従う。４×４ブロック及び８×８スキャン順序の例が図７及び図８にそれぞれ示されている。
【0062】
図７は、対角の直立スキャン順序を示している（例えば、ＣＧとしての４×４）。
【0063】
図８は、８×８ブロック（ＣＧサイズ：４×４）の例の対角の直立スキャンを示している。
【0064】
コーディング順序は逆のスキャン順序（すなわち、図８のＣＧ３からＣＧ０への復号化）であり、１つのブロックを復号化するときに、最後の非ゼロ係数の座標が最初に復号化されることに留意されたい。
【0065】
少なくとも１つの非ゼロ変換係数を含むＣＧの変換係数レベルのコーディングは、マルチスキャンパスに分離され得る。ＶＶＣ３では、ＣＧ毎に、通常のコード化したビン及びバイパスコード化したビンがコーディング順に分離される。最初に、サブブロックの全ての通常のコード化したビンが送信され、その後、バイパスコード化したビンが送信される。サブブロックの変換係数レベルは、スキャン位置を５回通過するときに次のようにコード化される。
パス１：重要（有意）性のコーディング（sig_flag）、１より大きいフラグ（greater 1 flag）（gt1_flag）、パリティ（par_level_flag）、２より大きいフラグ（greater 2 flag）（gt2_flag）がコーディング順に処理される。sig_flagが１に等しい場合に、最初に（絶対レベルが１より大きいかどうかを指定する）gt1_flagがコード化される。gt1_flagが１に等しい場合に、par_flagが追加でコード化される（それは、絶対レベルから２を引いたパリティを指定する）。
パス２：残りの絶対レベル（剰余）のコーディングは、gt2_flagが１に等しい又はgt1_flagが１に等しい全てのスキャン位置で処理される。非２値化構文要素は、Golomb-Riceコードで２値化され、結果として得られるビンは、算術コーディングエンジンのバイパスモードでコード化される。
パス３：第１のパスでsig_flagがコード化されていない（通常のコード化したビンの制限に達したため）係数の絶対レベル（absLevel）は、Golomb-Riceコードを使用して算術コーディングエンジンのバイパスモードで完全にコード化される。
パス４：sig_coeff_flagが１に等しい全てのスキャン位置の符号（sign_flag）のコーディング。
パス１：重要（有意）性のコーディング（sig_flag）、１より大きいフラグ（greater 1 flag）（gt1_flag）、パリティ（par_level_flag）、２より大きいフラグ（greater 2 flag）（gt2_flag）がコーディング順に処理される。sig_flagが１に等しい場合に、最初に（絶対レベルが１より大きいかどうかを指定する）gt1_flagがコード化される。gt1_flagが１に等しい場合に、par_flagが追加でコード化される（それは、絶対レベルから２を引いたパリティを指定する）。
パス２：残りの絶対レベル（剰余）のコーディングは、gt2_flagが１に等しい又はgt1_flagが１に等しい全てのスキャン位置で処理される。非２値化構文要素は、Golomb-Riceコードで２値化され、結果として得られるビンは、算術コーディングエンジンのバイパスモードでコード化される。
パス３：第１のパスでsig_flagがコード化されていない（通常のコード化したビンの制限に達したため）係数の絶対レベル（absLevel）は、Golomb-Riceコードを使用して算術コーディングエンジンのバイパスモードで完全にコード化される。
パス４：sig_coeff_flagが１に等しい全てのスキャン位置の符号（sign_flag）のコーディング。
【0066】
４×４サブブロックでは、３２個以下の通常コード化したビン（sig_flag、par_flag、gt1_flag、及びgt2_flag）が符号化又は復号化されることが保証されている。２×２クロマ・サブブロックの場合に、通常のコード化されるビンの数は８に制限される。
【0067】
非２値化構文要素の残り（パス３内）をコーディングするためのRiceパラメータ（ricePar）は、ＨＥＶＣと同様に導出される。各サブブロックの開始時に、riceParは０に等しく設定される。構文要素の残りをコーディングした後に、Riceパラメータは予め規定した式に従って修正される。非２値化構文要素absLevel（パス４）をコーディングするために、ローカルテンプレートの絶対値sumAbsの合計が決定される。変数ricePar及びposZeroは、テーブル・ルックアップによる依存量子化及びsumAbsに基づいて決定される。中間変数codeValueは次のように導出される。
－ absLevel[k]が０に等しい場合に、codeValueは、posZeroに等しく設定される。
－ それ以外の場合に、absLevel[k]がposZero以下である場合に、codeValueは、absLevel[k]-１に等しく設定される。
－ それ以外の場合（absLevel[k]がposZeroより大きい場合）に、codeValueは、absLevel[k]に等しく設定される。
codeValueの値は、RiceパラメータriceParを含むGolomb-Riceコードを使用してコード化される。
－ absLevel[k]が０に等しい場合に、codeValueは、posZeroに等しく設定される。
－ それ以外の場合に、absLevel[k]がposZero以下である場合に、codeValueは、absLevel[k]-１に等しく設定される。
－ それ以外の場合（absLevel[k]がposZeroより大きい場合）に、codeValueは、absLevel[k]に等しく設定される。
codeValueの値は、RiceパラメータriceParを含むGolomb-Riceコードを使用してコード化される。
【0068】
２．３．１．１． 係数コーディングのためのコンテキストモデリング
変換係数レベルの絶対値に関連する構文要素の確率モデルの選択は、ローカルネイバー（local neighborhood）における絶対レベル又は部分的に再構成した絶対レベルの値に依存する。使用されるテンプレートが図９に示されている。
変換係数レベルの絶対値に関連する構文要素の確率モデルの選択は、ローカルネイバー（local neighborhood）における絶対レベル又は部分的に再構成した絶対レベルの値に依存する。使用されるテンプレートが図９に示されている。
【0069】
図９は、確率モデルを選択するために使用されるテンプレートの図である。黒い四角は現在のスキャン位置を示し、パターンで示されている四角は使用されるローカルネイバーを表す。
【0070】
選択した確率モデルは、ローカルネイバーの絶対レベル（又は部分的に再構成した絶対レベル）と、ローカルネイバーの０より大きい絶対レベルの数（１に等しいsig_coeff_flagsの数によって与えられる）の合計とに依存する。コンテキストモデリング及び２値化処理は、ローカルネイバーに対する次の対策に依存する。
・numSig：ローカルネイバーの非ゼロのレベルの数；
・sumAbs1：ローカルネイバーの第１のパス後に部分的に再構成した絶対レベル（absLevel1）の合計；
・sumAbs：ローカルネイバーの再構成した絶対レベルの合計；
・対角位置（ｄ）：変換ブロック内の現在のスキャン位置の水平座標と垂直座標との合計。
・numSig：ローカルネイバーの非ゼロのレベルの数；
・sumAbs1：ローカルネイバーの第１のパス後に部分的に再構成した絶対レベル（absLevel1）の合計；
・sumAbs：ローカルネイバーの再構成した絶対レベルの合計；
・対角位置（ｄ）：変換ブロック内の現在のスキャン位置の水平座標と垂直座標との合計。
【0071】
numSig、sumAbs1、及びdの値に基づいて、sig_flag、par_flag、gt1_flag、及びgt2_flagをコーディングするための確率モデルが選択される。abs_remainderを２値化するためのRiceパラメータは、sumAbs及びnumSigの値に基づいて選択される。
【0072】
２．３．１．２． 依存量子化（Dependent Quantization：ＤＱ）
さらに、同じＨＥＶＣスカラー量子化が、依存スケール量子化と呼ばれる新しい概念で使用される。依存スカラー量子化とは、変換係数の許容可能な再構成値のセットが、再構成順序で現在の変換係数レベルに先行する変換係数レベルの値に依存するアプローチを指す。このアプローチの主な効果は、ＨＥＶＣで使用される従来の独立したスカラー量子化と比較して、許容可能な再構成ベクトルがＮ次元ベクトル空間に密にパックされることである（Ｎは変換ブロック内の変換係数の数を表す）。つまり、Ｎ次元単位ボリュームあたりの許容可能な再構成ベクトルの所与の平均数に対して、入力ベクトルと最も近い再構成ベクトルとの間の平均歪みが減少する。依存スカラー量子化のアプローチは、（ａ）異なる再構成レベルで２つのスカラー量子化器を規定し、（ｂ）２つのスカラー量子化器の間を切り替えるプロセスを規定することによって実現される。
さらに、同じＨＥＶＣスカラー量子化が、依存スケール量子化と呼ばれる新しい概念で使用される。依存スカラー量子化とは、変換係数の許容可能な再構成値のセットが、再構成順序で現在の変換係数レベルに先行する変換係数レベルの値に依存するアプローチを指す。このアプローチの主な効果は、ＨＥＶＣで使用される従来の独立したスカラー量子化と比較して、許容可能な再構成ベクトルがＮ次元ベクトル空間に密にパックされることである（Ｎは変換ブロック内の変換係数の数を表す）。つまり、Ｎ次元単位ボリュームあたりの許容可能な再構成ベクトルの所与の平均数に対して、入力ベクトルと最も近い再構成ベクトルとの間の平均歪みが減少する。依存スカラー量子化のアプローチは、（ａ）異なる再構成レベルで２つのスカラー量子化器を規定し、（ｂ）２つのスカラー量子化器の間を切り替えるプロセスを規定することによって実現される。
【0073】
図１０は、従属量子化の提案するアプローチで使用される２つのスカラー量子化器の図解である。
【0074】
使用される２つのスカラー量子化器は、Ｑ０及びＱ１によって示され、図１０に示されている。利用可能な再構成レベルの位置は、量子化ステップサイズΔによって一意に指定される。使用されるスカラー量子化器（Ｑ０又はＱ１）は、ビットストリームで明示的に通知されない。代わりに、現在の変換係数に使用される量子化器は、コーディング／再構成の順序で現在の変換係数に先行する変換係数レベルのパリティによって決定される。
【0075】
図１１は、提案する従属量子化のための状態遷移及び量子化器選択の例を示している。
【0076】
図１１に示されるように、２つのスカラー量子化器（Ｑ０及びＱ１）間の切り替えは、４つの状態を含む状態マシンを介して実現される。状態は、０、１、２、３の４つの異なる値を取ることができる。これは、コーディング／再構成の順序で現在の変換係数に先行する変換係数レベルのパリティによって一意に決定される。変換ブロックの逆量子化の開始時に、状態は０に設定される。変換係数はスキャン順序で（つまり、エントロピー復号化されるのと同じ順序で）再構成される。現在の変換係数が再構成された後に、状態は図１１に示されるように更新され、ここで、ｋは変換係数レベルの値を示す。
【0077】
２．３．２． ＴＳコード化ブロック及びＱＲ－ＢＤＰＣＭコード化ブロックの係数コーディング
ＱＲ－ＢＤＰＣＭは、ＴＳコード化ブロックのコンテキストモデリング方法に従う。
ＱＲ－ＢＤＰＣＭは、ＴＳコード化ブロックのコンテキストモデリング方法に従う。
【0078】
２．３．２．１． レベルマッピング及び再マッピング
ＲＤＰＣＭが現在のコーディングユニットに適用されない場合に、絶対係数レベル、absCoeffLevelは、以下の方法によってコード化される修正されるレベルにマッピングされ、これは、現在の残差サンプルの左及び上（above）の量子化した残差サンプルの値に依存する。Ｘ０が現在の係数の左側の絶対係数レベルを示し、Ｘ１が上の係数の絶対係数レベルを示すものとする。絶対係数レベルabsCoeffで係数を表すために、マッピングされたabsCoeffModがコード化され、これは次のように導出される。
・エンコーダ側でのレベルマッピング、absCoeffは量子化した絶対係数であり、absCoeffModはビットストリームで送信される量子化した絶対係数である。
・デコード側でのレベルの再マッピング、absCoeffModはビットストリームからの復号値であり、absCoeffは逆量子化プロセスで使用される絶対係数である。
ＲＤＰＣＭが現在のコーディングユニットに適用されない場合に、絶対係数レベル、absCoeffLevelは、以下の方法によってコード化される修正されるレベルにマッピングされ、これは、現在の残差サンプルの左及び上（above）の量子化した残差サンプルの値に依存する。Ｘ０が現在の係数の左側の絶対係数レベルを示し、Ｘ１が上の係数の絶対係数レベルを示すものとする。絶対係数レベルabsCoeffで係数を表すために、マッピングされたabsCoeffModがコード化され、これは次のように導出される。
・エンコーダ側でのレベルマッピング、absCoeffは量子化した絶対係数であり、absCoeffModはビットストリームで送信される量子化した絶対係数である。
【数8】
【数9】
【0079】
さらに、ＶＴＭ５．０におけるabs_level_gt1_flagのコンテキスト導出は、上（above）の隣接係数及び左の隣接係数（図１２のＸ０及びＸ１）の情報を利用する以下の方法に置き換えられる。ＲＤＰＣＭが現在のコーディングユニットに適用されない場合に、Ｘ０とＸ１との両方がゼロである場合にコンテキストオフセット０が使用され、２つの隣接する係数の一方のみが非ゼロである場合にコンテキストオフセット１が使用され、Ｘ０とＸ１との両方が非ゼロである場合にコンテキストオフセット２が使用される。ＲＤＰＣＭが現在のコーディングユニットに適用される場合に、コンテキストオフセット３が使用される。
【0080】
２．３．２．２． 符号コンテキストモデリング
ＶＴＭ５．０における符号コーディングコンテキスト導出は、上（above）の隣接係数及び左の隣接係数の符号（sign）情報を利用して符号コーディングコンテキストオフセットを導出する以下の方法に置き換えられる。
ＶＴＭ５．０における符号コーディングコンテキスト導出は、上（above）の隣接係数及び左の隣接係数の符号（sign）情報を利用して符号コーディングコンテキストオフセットを導出する以下の方法に置き換えられる。
【0081】
図１２は、現在の係数値Ｘ、隣接する左の係数値Ｘ０、及び隣接する上（above）の係数値Ｘ１の例を示している。
【0082】
図１２に示されるように、Ｘ０は左の隣接係数値であり、Ｘ１は上（above）の隣接係数値である。ＲＤＰＣＭが現在のコーディングユニットに適用されない場合に：Ｘ０とＸ１との両方がゼロ又は非ゼロであるが符号が反対である場合に、コンテキストオフセット０が使用され、Ｘ０とＸ１との両方が非負である場合に、コンテキストオフセット１が使用され、それ以外の場合にコンテキストオフセット２が使用される。ＲＤＰＣＭが現在のコーディングユニットに適用される場合に：Ｘ０とＸ１との両方がゼロ又は非ゼロであるが符号が反対である場合に、コンテキストオフセット３が使用され、Ｘ０とＸ１との両方が非負である場合に、コンテキストオフセット４が使用され、それ以外の場合に、コンテキストオフセット５が使用される。これは以下の表によって要約することができる。
【表4】
【0083】
２．３．２．３． コーディングパス
ＴＳ残差をコーディングする修正した変換係数レベル。非ゼロの係数が含まれている場合に、各ＣＧをコード化するためにマルチパスが適用される。
・１回目のパス：必要に応じて、０より大きいフラグ（sig_coeff_flag）、符号フラグ（coeff_sign_flag）、１より大きいフラグ（abs_level_gtx_flag[0]）、及びパリティフラグ（par_level_flag）をコード化する。
・２回目～５回目のパス：
〇ｊ番目のパスでは、（２＊ｊ）より大きなフラグ（abs_level_gtx_flag[j-1]）をコード化する
・６回目のパス：係数の大きさ（magnitude）の残りの部分（abs_remainder）をコード化する。
ＴＳ残差をコーディングする修正した変換係数レベル。非ゼロの係数が含まれている場合に、各ＣＧをコード化するためにマルチパスが適用される。
・１回目のパス：必要に応じて、０より大きいフラグ（sig_coeff_flag）、符号フラグ（coeff_sign_flag）、１より大きいフラグ（abs_level_gtx_flag[0]）、及びパリティフラグ（par_level_flag）をコード化する。
・２回目～５回目のパス：
〇ｊ番目のパスでは、（２＊ｊ）より大きなフラグ（abs_level_gtx_flag[j-1]）をコード化する
・６回目のパス：係数の大きさ（magnitude）の残りの部分（abs_remainder）をコード化する。
【0084】
２．３．２．４． 非ＴＳ残差コーディングと比較した変更の要約
通常の残差コーディングの場合と比較して、ＴＳの残差コーディングには、以下の変更が含まれる。
１）最後のｘ／ｙ位置のシグナリングなし、
２）以前の全てのフラグが０に等しい場合に、最後のサブブロックを除く全てのサブブロックに対してコード化したcoded_sub_block_flag、
３）縮小したテンプレートを用いたsig_coeff_flagコンテキストモデリング、
４）abs_level_gtX_flag[0]及びpar_level_flagの単一コンテキストモデル、
５）符号フラグ、５、７、９より大きい追加フラグのコンテキストモデリング、
６）残りの２値化処理のための修正したRiceパラメータの導出、
７）サンプル毎のコンテキストコード化したビンの数、１つのブロック内のサンプル毎に２つのビンの制限。
通常の残差コーディングの場合と比較して、ＴＳの残差コーディングには、以下の変更が含まれる。
１）最後のｘ／ｙ位置のシグナリングなし、
２）以前の全てのフラグが０に等しい場合に、最後のサブブロックを除く全てのサブブロックに対してコード化したcoded_sub_block_flag、
３）縮小したテンプレートを用いたsig_coeff_flagコンテキストモデリング、
４）abs_level_gtX_flag[0]及びpar_level_flagの単一コンテキストモデル、
５）符号フラグ、５、７、９より大きい追加フラグのコンテキストモデリング、
６）残りの２値化処理のための修正したRiceパラメータの導出、
７）サンプル毎のコンテキストコード化したビンの数、１つのブロック内のサンプル毎に２つのビンの制限。
【0085】
２．３．２．５． 構文及びセマンティクス
７．３．８．１０ 変換単位の構文
７．３．８．１１ 残差コーディング構文
コンテキストコード化したビンの数は、各ＣＧのサンプル毎に２ビン以下に制限される。
７．３．８．１０ 変換単位の構文
【表5】
【表6】
【表7】
【0086】
２．４． ＨＥＶＣ画面コンテンツコーディング拡張機能（ＨＥＶＣ－ＳＣＣ）のパレットモード
２．４．１． パレットモードの概念
パレットモードの背後にある基本的な考え方は、ＣＵ内のピクセルが、代表的な色値の小さなセットによって表されるということである。このセットはパレットと呼ばれる。また、エスケープシンボルに続いて（場合によっては量子化した）成分値を通知することにより、パレットの外側にあるサンプルを示すこともできる。この種のピクセルはエスケープピクセルと呼ばれる。パレットモードが図１３に示されている。図１３に示されるように、３つの色成分（ルマ及び２つのクロマ成分）を有する各ピクセルについて、パレットへのインデックスが作成され、パレット内の作成された値に基づいてブロックを再構成することができる。図１３において、「ｘ」と記されたブロックは、入力ブロックのそれらの領域がパレット値０と１との間のサンプル値を有することを示し、「ｙ」と記されたブロックは、入力ブロックのその領域がパレット値３と４との間にサンプル値を有することを示す。
２．４．１． パレットモードの概念
パレットモードの背後にある基本的な考え方は、ＣＵ内のピクセルが、代表的な色値の小さなセットによって表されるということである。このセットはパレットと呼ばれる。また、エスケープシンボルに続いて（場合によっては量子化した）成分値を通知することにより、パレットの外側にあるサンプルを示すこともできる。この種のピクセルはエスケープピクセルと呼ばれる。パレットモードが図１３に示されている。図１３に示されるように、３つの色成分（ルマ及び２つのクロマ成分）を有する各ピクセルについて、パレットへのインデックスが作成され、パレット内の作成された値に基づいてブロックを再構成することができる。図１３において、「ｘ」と記されたブロックは、入力ブロックのそれらの領域がパレット値０と１との間のサンプル値を有することを示し、「ｙ」と記されたブロックは、入力ブロックのその領域がパレット値３と４との間にサンプル値を有することを示す。
【0087】
図１３は、パレットモードでコード化したブロックの例を示している。
【0088】
２．４．２． パレットエントリのコーディング
パレットエントリのコーディングのために、パレット予測子が維持される。パレットの最大サイズ及びパレット予測子は、ＳＰＳで通知される。ＨＥＶＣ－ＳＣＣでは、paltte_predictor_initializer_present_flagがＰＰＳに導入される。このフラグが１である場合に、パレット予測子を初期化するためのエントリがビットストリームで通知される。パレット予測子は、各ＣＴＵ行、各スライス、及び各タイルの先頭で初期化される。パレット予測子は、paltte_predictor_initializer_present_flagの値に応じて、０にリセットされるか、又はＰＰＳで通知されるパレット予測子の初期化エントリを使用して初期化される。ＨＥＶＣ－ＳＣＣでは、サイズ０のパレット予測子の初期化子が有効になり、ＰＰＳレベルでパレット予測子の初期化を明示的に無効にできるようになった。
パレットエントリのコーディングのために、パレット予測子が維持される。パレットの最大サイズ及びパレット予測子は、ＳＰＳで通知される。ＨＥＶＣ－ＳＣＣでは、paltte_predictor_initializer_present_flagがＰＰＳに導入される。このフラグが１である場合に、パレット予測子を初期化するためのエントリがビットストリームで通知される。パレット予測子は、各ＣＴＵ行、各スライス、及び各タイルの先頭で初期化される。パレット予測子は、paltte_predictor_initializer_present_flagの値に応じて、０にリセットされるか、又はＰＰＳで通知されるパレット予測子の初期化エントリを使用して初期化される。ＨＥＶＣ－ＳＣＣでは、サイズ０のパレット予測子の初期化子が有効になり、ＰＰＳレベルでパレット予測子の初期化を明示的に無効にできるようになった。
【0089】
パレット予測子の各エントリについて、それ（エントリ）が現在のパレットの一部であるかどうかを示すために再利用フラグが通知される。これは図１４に示されている。再利用フラグは、ゼロのランレングス（run-length）コーディングを使用して送信される。この後に、新しいパレットエントリの数は、次数０の指数Golomb（ＥＧ）コード、つまりＥＧ－０を使用して通知される。最後に、新しいパレットエントリの成分値が通知される。
【0090】
図１４は、パレットエントリを通知するためのパレット予測子の使用を示している。
【0091】
２．４．３． パレットインデックスのコーディング
パレットインデックスは、図１５に示されるように、水平方向及び垂直方向トラバース・スキャンを使用してコード化される。スキャン順序は、palette_transpose_flagを使用してビットストリームで明示的に通知される。サブセクションの残りの部分では、スキャンが水平であると想定される。
パレットインデックスは、図１５に示されるように、水平方向及び垂直方向トラバース・スキャンを使用してコード化される。スキャン順序は、palette_transpose_flagを使用してビットストリームで明示的に通知される。サブセクションの残りの部分では、スキャンが水平であると想定される。
【0092】
図１５は、水平方向及び垂直方向トラバース・スキャンの例を示している。
【0093】
パレットインデックスは、２つのパレットサンプルモード：‘COPY_LEFT’及び‘COPY_ABOVE’を使用してコード化される。‘COPY_LEFT’モードでは、パレットインデックスは復号化したインデックスに割り当てられる。‘COPY_ABOVE’モードでは、上（above）の行のサンプルのパレットインデックスがコピーされる。‘COPY_LEFT’モードと‘COPY_ABOVE’モードとの両方で、同じモードを使用してコード化される後続のサンプルの数を指定する実行値が通知される。
【0094】
パレットモードでは、エスケープサンプルのインデックスの値はパレットエントリの数である。また、エスケープシンボルが‘COPY_LEFT’又は‘COPY_ABOVE’モードでの実行の一部である場合に、エスケープの成分値はエスケープシンボル毎に通知される。パレットインデックスのコーディングが図１６に示されている。
【0095】
この構文順序は、以下のように達成される。最初に、ＣＵのインデックス値の数が通知される。これに続いて、切り捨てられた２値化コーディングを使用してＣＵ全体の実際のインデックス値が通知される。インデックスの数とインデックス値との両方がバイパスモードでコード化される。これにより、インデックス関連のバイパスビンがグループ化される。次に、パレットサンプルモード（必要な場合）及び実行がインターリーブ方法で通知される。最後に、ＣＵ全体のエスケープサンプルに対応するエスケープ成分値が一緒にグループ化され、バイパスモードでコード化される。エスケープサンプルの２値化処理は、３次のＥＧコーディング、つまりＥＧ－３である。
【0096】
インデックス値を通知した後に、追加の構文要素、last_run_type_flagが通知される。この構文要素は、インデックスの数と組み合わせて、ブロック内の最後の実行に対応する実行値を通知する必要性をなくす。
【0097】
ＨＥＶＣ-ＳＣＣでは、パレットモードは、４：２：２、４：２：０、及びモノクロクロマフォーマットに対しても有効にされる。パレットエントリ及びパレットインデックスのシグナリングは、全てのクロマフォーマットで略同じである。非モノクロフォーマットの場合に、各パレットエントリは３つの成分で構成される。モノクロフォーマットの場合に、各パレットエントリは単一の成分で構成される。サブサンプリングされたクロマ方向の場合、クロマサンプルは２で割り切れるルマ・サンプルインデックスに関連付けられる。ＣＵのパレットインデックスを再構成した後に、サンプルに関連付けられる成分が１つだけの場合に、パレットエントリの最初の成分のみが使用される。シグナリングの唯一の違いは、エスケープの成分値である。エスケープサンプル毎に、通知されるエスケープ成分値の数は、そのサンプルに関連付けられる成分の数によって異なる場合がある。
【0098】
さらに、パレットインデックスコーディングにはインデックス調整プロセスがある。パレットインデックスを通知する場合に、左の隣接インデックス又は上（above）の隣接インデックスは現在のインデックスとは異なる必要がある。従って、１つの可能性を除くことにより、現在のパレットインデックスの範囲を１だけ減らすことができる。その後、インデックスは切り捨てられた２値化（ＴＢ）の２値化処理で通知される。
【0099】
この部分に関連するテキストは、以下のように示され、ここで、CurrPaletteIndexは、現在のパレットインデックスであり、adjustedRefPaletteIndexは、予測インデックスである。変数PaletteIndexMap[xC][yC]は、CurrentPaletteEntriesによって表されるアレイへのインデックスであるパレットインデックスを指定する。アレイ・インデックスｘＣ、ｙＣは、ピクチャの左上のルマ・サンプルに対するサンプルの位置（ｘＣ、ｙＣ）を指定する。PaletteIndexMap[xC][yC]の値は、０からMaxPaletteIndexまでの範囲（境界を含む）でなければならない。
【0100】
変数adjustedRefPaletteIndexは以下のように導出される：
【数10】
【0101】
CopyAboveIndicesFlag[xC][yC]が０に等しい場合に、変数CurrPaletteIndexは次のように導出される。
【数11】
【0102】
２．４．４． ＶＶＣのパレットモード
２．４．４．１． デュアルツリーのパレット
ＶＶＣでは、デュアルツリーコーディング構造がイントラスライスのコーディングに使用されるので、ルマ成分及び２つのクロマ成分は、異なるパレット及びパレットインデックスを有し得る。さらに、２つのクロマ成分は、同じパレット及びパレットインデックスを共有する。
２．４．４．１． デュアルツリーのパレット
ＶＶＣでは、デュアルツリーコーディング構造がイントラスライスのコーディングに使用されるので、ルマ成分及び２つのクロマ成分は、異なるパレット及びパレットインデックスを有し得る。さらに、２つのクロマ成分は、同じパレット及びパレットインデックスを共有する。
【0103】
２．４．４．２． 別モードとしてのパレット
ＪＶＥＴ-Ｎ０２５８及び現在のＶＴＭでは、コーディングユニットの予測モードは、MODE_INTRA、MODE_INTER、MODE_IBC、及びMODE_PLTであり得る。それに応じて、予測モードの２値化処理が変更される。
ＪＶＥＴ-Ｎ０２５８及び現在のＶＴＭでは、コーディングユニットの予測モードは、MODE_INTRA、MODE_INTER、MODE_IBC、及びMODE_PLTであり得る。それに応じて、予測モードの２値化処理が変更される。
【0104】
ＩＢＣがオフにされるときに、Ｉタイル上で、１つの第１のビンが、現在の予測モードがMODE_PLTであるか否かを示すために使用される。Ｐ／Ｂタイルでは、第１のビンは、現在の予測モードがMODE_INTRAであるか否かを示すために使用される。そうでない場合に、現在の予測モードがMODE_PLT又はMODE_INTERであることを示すために１つの追加のビンが使用される。
【0105】
ＩＢＣがオンにされるときに、Ｉタイル上で、第１のビンは、現在の予測モードがMODE_IBCであるか否かを示すために使用される。そうでない場合に、第２のビンは、現在の予測モードがMODE_PLTであるか又はMODE_INTRAであるかを示すために使用される。Ｐ／Ｂタイルでは、第１のビンは、現在の予測モードがMODE_INTRAであるか否かを示すために使用される。イントラモードの場合に、第２のビンは、現在の予測モードがMODE_PLT又はMODE_INTRAであることを示すために使用される。そうでない場合に、第２のビンは、現在の予測モードがMODE_IBC又はMODE_INTERであることを示すために使用される。
【0106】
３．実施形態によって解決される技術的課題
現在の設計には、以下の問題がある。
１．レベルマッピング／再マッピングの現在の設計では、再マッピングプロセスが常に実行されるため、復号化した係数をゼロに等しくすることはできない。
ａ．例えば、復号化したAbsLevelPassX[xC][yC]+abs_remainder[n]が０に等しい場合に、復号化した有意フラグが０に等しい場合でも、７．３．８．１１サブ節に従って、TransCoeffLevelは－１にリセットされる。
ｂ.一方、マッピングプロセスは、非ゼロの係数にのみ適用されるため、このようなエンコーダ制約が必要になり得る。それ以外の場合に、同じ値「１」は、係数が０に等しいか、又は予測子に等しい等、様々な方法で解釈される場合がある。
２．符号フラグ／１より大きいフラグのコンテキストモデリングは、２つの空間ネイバー（neighbor）に依存する。しかしながら、異なるコーディングブロックの場合に、空間ネイバーに関する相関は、スキャン順序で現在のブロックに隣接するブロックに比べて弱い可能性がある。
３．パレットインデックスのコーディングは、上（above）のサンプル又は左のサンプルのいずれかからの情報に純粋に基づいている。上（above）のネイバーと左のネイバーとの両方の関係は十分に活用されていない。
４．我々の解析によると、様々なコンテキストでの現在の係数と隣接する係数の相関関係は次の通りである。
見てわかるように、同じビン値は、異なるコンテキストの下で異なる確率に関連付けられ得る。関連する確率が比較的低い場合（コンテキストオフセットが２に等しい場合等）、コンテキストコード化したビンの効率も低くなる。
現在の設計には、以下の問題がある。
１．レベルマッピング／再マッピングの現在の設計では、再マッピングプロセスが常に実行されるため、復号化した係数をゼロに等しくすることはできない。
ａ．例えば、復号化したAbsLevelPassX[xC][yC]+abs_remainder[n]が０に等しい場合に、復号化した有意フラグが０に等しい場合でも、７．３．８．１１サブ節に従って、TransCoeffLevelは－１にリセットされる。
ｂ.一方、マッピングプロセスは、非ゼロの係数にのみ適用されるため、このようなエンコーダ制約が必要になり得る。それ以外の場合に、同じ値「１」は、係数が０に等しいか、又は予測子に等しい等、様々な方法で解釈される場合がある。
２．符号フラグ／１より大きいフラグのコンテキストモデリングは、２つの空間ネイバー（neighbor）に依存する。しかしながら、異なるコーディングブロックの場合に、空間ネイバーに関する相関は、スキャン順序で現在のブロックに隣接するブロックに比べて弱い可能性がある。
３．パレットインデックスのコーディングは、上（above）のサンプル又は左のサンプルのいずれかからの情報に純粋に基づいている。上（above）のネイバーと左のネイバーとの両方の関係は十分に活用されていない。
４．我々の解析によると、様々なコンテキストでの現在の係数と隣接する係数の相関関係は次の通りである。
【表8】
【0107】
４．例示的な実施形態及び技術
以下の項目のリストは、一般的な概念を説明するための例として考慮すべきである。これらの項目は、狭い意味で解釈すべきではない。さらに、これらの項目は任意の方法で組み合わせることができる。
以下の項目のリストは、一般的な概念を説明するための例として考慮すべきである。これらの項目は、狭い意味で解釈すべきではない。さらに、これらの項目は任意の方法で組み合わせることができる。
【0108】
以下の議論において、ＣＵは、単一のツリーコーディング構造を有する３色成分全てに関連する情報を含み得る。又は、ＣＵは、単色コーディングでルマ色成分にのみ関連する情報を含み得る。又は、ＣＵは、デュアルツリーコーディング構造を有するルマ色成分（例えば、ＹＣｂＣｒフォーマットのＹ成分又はＧＢＲフォーマットのＧ成分）にのみ関連する情報を含み得る。又は、ＣＵは、デュアルツリーコーディング構造を有する２つのクロマ成分（例えば、ＹＣｂＣｒフォーマットのＣｂ及びＣｒ成分又はＧＢＲフォーマットのＢ及びＲ成分）にのみ関連付する情報を含み得る。
【0109】
以下の説明において、「ブロック」は、コーディングユニット（ＣＵ）又は変換ユニット（ＴＵ）又はコーディングブロック（ＣＢ）又は変換ブロック（ＴＢ）を指し得る。
レベルマッピング／再マッピングの有効化に関連
１．復号化した残差係数のレベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスを有効にするかどうかは、復号値が０に等しくないかどうかによって異なり得る。
ａ．一例では、復号値（例えば、AbsLevelPassX[xC][yC]又はsig_coeff_flag[xC][yC]又はAbsLevelPassX[xC][yC]+abs_remainder[n]）が０に等しい場合に、レベルマッピング／再マッピングプロセスはスキップされる。
ｂ.一例では、レベルマッピング／再マッピングプロセスは、復号値（例えば、AbsLevelPassX[xC][yC]又はsig_coeff_flag[xC][yC]又はAbsLevelPassX[xC][yC]+abs_remainder[n]）が０に等しくないという条件下で呼び出される。
ｃ.一例では、適合ビットストリームは、量子化値又はレベルマッピングの前にコード化される値が０に等しい場合に、コード化した有意フラグ（例えば、sig_coeff_flag）が０に等しくなければならないことを満たすものとする。
２．レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスを有効にするかどうかは、現在のブロック及び／又は隣接ブロック（近接（adjacent）又は非近接（non-adjacent）ブロック）の復号化した残差情報に依存し得る。
ａ．一例では、レベル再マッピングを適用するかどうかは、現在のブロックが非ＢＤＰＣＭ ＴＳモードでコード化されているという条件に加えて、オンザフライ（on-the-fly）で導出される。
３．レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスを有効にするかどうかは、ビデオユニットで通知されるサイド情報に依存し得る。
ａ．一例では、少なくとも１つの復号値が現在のブロックを再構成するべく使用される前に再マッピングすべきかどうかを示すために、フラグが通知され得る。
ｂ．一例では、ビデオユニットは、ＣＴＵ（例えば、ＶＰＤＵ）／ＣＴＵ／ＣＴＢ／複数のＣＴＵ／複数のＣＵ／ＣＴＵ行／タイル／ブリック／スライス／ピクチャ、サブピクチャ／シーケンス／ビュー等のサブ領域である。
ｃ．一例では、提案する方法を有効にするかどうか、及び／又は提案する方法をどの様に有効にするかは、シーケンスパラメータセット／ビューパラメータセット／適応パラメータセット／ピクチャパラメータセット／ピクチャヘッダ／スライスヘッダ／ＣＵ／ＰＵ／ＴＵ／ＣＴＵ／ＣＴＢ等で通知され得る。
４．レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスを有効にするかどうかは、色フォーマット／色成分に依存し得る。
ａ．例えば、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは、ルマ成分にのみ適用でき、クロマ成分には適用できない。
ｂ．例えば、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは、色フォーマットが４：２：０である場合に、ルマ成分にのみ適用でき、クロマ成分には適用できない。
ｃ．例えば、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは、色フォーマットが４：４：４である場合、又は個別の色平面（color plane：カラープレーン）コーディングが使用される場合にのみ、全ての色成分をクロメート処理することができる。
５．レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスを有効にするかどうかは、ブロックの寸法Ｗ×Ｈに依存し得る。
ａ．例えば、Ｗ＊Ｈ＞＝Ｔ１又はＷ＊Ｈ＞Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｂ．例えば、Ｗ＊Ｈ＜＝Ｔ１又はＷ＊Ｈ＜Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｃ．例えば、Ｍｉｎ（最小）（Ｗ，Ｈ）＞＝Ｔ１又はＭｉｎ（Ｗ，Ｈ）＞Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｄ．例えば、Ｍａｘ（最大）（Ｗ，Ｈ）＜＝Ｔ１又はＭａｘ（Ｗ，Ｈ）＜Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｅ．例えば、Ｍｉｎ（Ｗ，Ｈ）＜＝Ｔ１又はＭｉｎ（Ｗ，Ｈ）＜Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｆ．例えば、Ｍａｘ（Ｗ，Ｈ）＞＝Ｔ１又はＭａｘ（Ｗ，Ｈ）＞Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｇ．例えば、Ｗ＞＝Ｔ１及びＨ＞＝Ｔ２の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｈ．例えば、Ｗ＜＝Ｔ１及びＨ＜＝Ｔ２の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｉ．Ｔ１及びＴ２は、上記の箇条書き（bullet）の整数である。
６．２つの空間的に隣接する復号化した係数（左又は上（above））を使用してレベルマッピング／再マッピングプロセスで使用される予測子を決定する代わりに、復号化／スキャン順序に従って１つ又は複数の復号化した係数を使用することを提案する。
ａ．一例では、最近のＫ個の復号化した係数が利用される。
ｂ．一例では、最近のＭ個の（Ｍ＞Ｋ）復号化した係数のうちのＫ個の復号化した係数が利用される。
ｃ．一例では、Ｋは、予め規定されるか、又は通知され得る。
ｄ．一例では、Ｋは、復号化した情報に基づいてオンザフライで導出され得る。
ｅ．一例では、Ｋは、既に復号化した係数の数に依存し得る。
ｉ．例えば、Ｓ個の係数は既に復号化されている。次に、ＫはＫ＝Ｍｉｎ（Ｓ，Ｍ）として導出され、ここで、Ｍは２等の固定数である。
構文要素に関連
７．構文要素は、ビデオユニット内の絶対係数のサブセットが全てＭより大きいかどうかを示すようにコード化することができ、ここで、Ｍは整数である。
ａ．一例では、ビデオユニットは、係数グループ（ＣＧ、例えば、４×４）／変換ブロック／変換ユニット／予測ブロック／コーディングブロックである。
ｂ．一例では、サブセットはスキャン順序に基づいて規定される。
ｉ．一例では、サブセットは、順方向スキャン順序に従った最初のＬ個の係数を含み得る。
ｉｉ．一例では、サブセットは、順方向スキャン順序に従った最後のＬ個の係数、又はビデオユニットの復号化順序に従った最初のＬ個の係数を含み得る。
ｃ．一例では、サブセットは座標に基づいて規定される。
ｉ．一例では、サブセットは、長方形領域内の係数を含み得る。
ｉｉ．一例では、サブセットは、正方形領域内の係数を含み得る。
ｄ．一例では、サブセットは、コード化されるモード情報／ブロック寸法に基づいて規定される。
ｉ．一例では、現在のブロックがＱＲ－ＢＤＰＣＭ又はＢＤＰＣＭの他の分散（variance）でコード化され、垂直方向に予測される場合に、サブセットは最上行のサブセットとして規定される。
ｉｉ．一例では、現在のブロックがＱＲ－ＢＤＰＣＭ又はＢＤＰＣＭの他の分散でコード化され、水平方向に予測される場合に、サブセットは左端の列のサブセットとして規定される。
ｅ．一例では、Ｍは０、１、２、３、４、５に等しい。
コンテキストモデリングに関連
８．レベルマッピング／再マッピングの概念は、他の非ＴＳコード化ブロック（例えば、ＢＤＰＣＭコード化ブロック）にも適用できる場合がある。
ａ．あるいはまた、さらに、規定した位置にある残差に対してのみ、レベルマッピング／再マッピングプロセスが適用される。
ｉ．一例では、規定した位置は、予測方向に依存し得る。
１）一例では、垂直予測方向に関して、第１の行に位置する残差をマッピング／再マッピングすることができる。
２）一例では、水平予測方向に関して、第１の列に位置する残差をマッピング／再マッピングすることができる。
ｂ．あるいはまた、さらに、予測的にコード化していない残差に対してのみ、レベルマッピング／再マッピングプロセスが適用される。
ｉ．一例では、垂直予測方向に関して、第１の行に位置する残差をマッピング／再マッピングすることができる。
ｉｉ．一例では、水平予測方向に関して、第１の列に位置する残差をマッピング／再マッピングすることができる。
９．レベルマッピング／再マッピングプロセスを利用して、パレットインデックスをコード化する、又はパレットモードでシンボルコーディングをエスケープすることができる。
ａ．一例では、以前にコード化したパレットインデックスの最大値に基づいて、パレットインデックスは、エンコーダ側でマッピングされ、デコーダ側で再マッピングされ得る。
ｂ．一例では、マッピング及び再マッピングプロセスは、全てのパレットコード化ブロックに対して呼び出され得る。
ｉ．あるいはまた、それらプロセスは特定の条件下で呼び出すこともできる。
１０．以前にコード化した係数／パレットインデックス等を表すパラメータａｉを使用して、コンテキストモデリングプロセスで関数ｆ（ａ０，ａ１，・・・，）を使用することを提案する。
ａ．一例では、関数ｆは、最大又は最小関数として規定することができる。
ｂ．パラメータａｉは、現在のサンプル／係数及び一部のネイバー（近接又は非近接）をカバーするテンプレート内のパラメータであり得る。
ｉ．一例では、パレットインデックスコーディングの場合に、左及び上（above）のパレットインデックスは両方とも、インデックスをコード化するために関数ｆに基づいて利用され得る。
ｃ．パラメータａｉは、現在のサンプル／係数に対してスキャン／復号化順序のパラメータであり得る。
１１．符号（sign）フラグ又は他の構文要素のコーディングのコンテキストモデリングに２つの空間的に隣接する復号化した係数（左又は上（above））を使用する代わりに、復号化／スキャン順序に従って１つ又は複数の復号化した係数を使用することを提案する。
ａ．一例では、最近のＫ個（例えば、Ｋ＝２）の復号化した係数が利用される。
ｂ．一例では、最近のＭ個（Ｍ＞Ｋ）の復号化した係数のうちのＫ個の復号化した係数が利用される。
ｃ．一例では、Ｋは、予め規定されるか、又は通知され得る。
ｄ．一例では、Ｋは、復号化した情報に基づいてオンザフライで導出され得る。
ｅ．一例では、Ｋは、既に復号化した係数の数に依存し得る。
ｉ．例えば、Ｓ個の係数が既に復号化されている。次に、ＫはＫ＝Ｍｉｎ（Ｓ，Ｍ）として導出され、ここで、Ｍは２等の固定数である。
１２．符号フラグ又は他の構文要素のコーディングのコンテキストモデリングに２つの空間的に隣接する復号化した係数（左又は上（above））を使用する代わりに、予測方向に従って１つ又は複数の復号化した係数を使用することを提案する。
ａ．一例では、垂直予測方向を有するＢＤＰＣＭコード化ブロックの場合に、同じ列内の以前に復号化した係数を利用することができる。
ｂ．一例では、水平予測方向を有するＢＤＰＣＭコード化ブロックの場合に、同じ行内の以前に復号化した係数を利用することができる。
ｃ．一例では、垂直予測方向を有するＢＤＰＣＭコード化ブロックの場合に、同じ行内の以前に復号化した係数を利用することができる。
ｄ．一例では、水平予測方向を有するＢＤＰＣＭコード化ブロックの場合に、同じ列内の以前に復号化した係数を利用することができる。
１３．同じ２値化処理（例えば、「０」は正の値を示し、「１」は負の値を示す）で符号フラグをコーディングする代わりに、隣接ブロックからの情報に基づいて、又は選択したコンテキストに基づいて等、符号値を動的に設定することを提案する（つまり、復号化したビン値は、様々なセマンティクスに解釈され得る）。
ａ．一例では、エンコーダ側では、符号化されるビン値は、現在の係数の符号情報が以前にコード化した係数の符号情報の大部分と同じであるかどうかに基づく。
ｂ．一例では、選択したコンテキストがネイバーの大部分が負を表している場合に（例えば、２つのネイバーがチェックされ、２つのネイバーが両方とも負である場合、又は一方が負であり、他方がゼロに等しい場合に）、「１」に等しい復号化したビンは正の値を示し、「０」は負の値を示し得る。
ｉ．あるいはまた、さらに、選択したコンテキストがネイバーの大部分が正を表している場合に（例えば、２つのネイバーがチェックされ、２つのネイバーが両方とも正である場合、又は一方が正であり、他方がゼロに等しい場合に）、「０」に等しい復号化したビンは正の値を示し、「１」は負の値を示し得る。
ｃ．一例では、選択したコンテキストがネイバーの大部分が負を表している場合に（例えば、２つのネイバーがチェックされ、２つのネイバーが両方とも負である場合、又は一方が負であり、他方がゼロに等しい場合に）、「０」に等しい復号化したビンは正の値を示し、「１」は負の値を示し得る。
ｉ．あるいはまた、さらに、選択したコンテキストがネイバーの大部分が正を表している場合に（例えば、２つのネイバーがチェックされ、２つのネイバーが両方とも正である場合、又は一方が正であり、他方がゼロに等しい場合に）、「１」に等しい復号化したビンは正の値を示し、「０」は負の値を示し得る。
一般的な使用法
１４．提案する方法を有効にするかどうか、及び／又はどの箇条書きを適用するかについての指標は、ビデオユニットレベルで通知することができる。
ａ．一例では、ビデオユニットは、タイル／ブリック／スライス／ピクチャ／サブピクチャ／シーケンス／ビュー等であり得る。
ｂ．一例では、提案する方法を有効にするかどうか、及び／又は提案する方法をどの様に有効にするかは、シーケンスパラメータセット／ビューパラメータセット／適応パラメータセット／ピクチャパラメータセット／ピクチャヘッダ／スライスヘッダで通知することができる。
ｃ．一例では、提案する方法を有効にするかどうか、及び／又は提案する方法をどの様に有効にするかは、ビデオコンテンツが画面コンテンツであるかどうかを示すために使用される１つの構文要素等の他の構文要素によって制御され得る。
１５．提案する方法を有効にするかどうか、及び／又は提案する方法をどの様に有効にするかは、ブロック寸法、スライスタイプ／ピクチャタイプ／時間層（temporal layer）インデックス／ビデオコンテンツ／色成分／パーティション分割ツリータイプ／コード化モード／変換情報等のコーディング情報に依存し得る。
ｄ．一例では、幅がＴ１以下で高さがＴ２以下のブロックについて、提案する方法を適用することができる。
ｅ．一例では、幅がＴ１以下で又は高さがＴ２以下のブロックについて、提案する方法を適用することができる。
ｆ．一例では、幅×高さがＴ３以下のブロックについて、提案する方法を適用することができる。
レベルマッピング／再マッピングの有効化に関連
１．復号化した残差係数のレベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスを有効にするかどうかは、復号値が０に等しくないかどうかによって異なり得る。
ａ．一例では、復号値（例えば、AbsLevelPassX[xC][yC]又はsig_coeff_flag[xC][yC]又はAbsLevelPassX[xC][yC]+abs_remainder[n]）が０に等しい場合に、レベルマッピング／再マッピングプロセスはスキップされる。
ｂ.一例では、レベルマッピング／再マッピングプロセスは、復号値（例えば、AbsLevelPassX[xC][yC]又はsig_coeff_flag[xC][yC]又はAbsLevelPassX[xC][yC]+abs_remainder[n]）が０に等しくないという条件下で呼び出される。
ｃ.一例では、適合ビットストリームは、量子化値又はレベルマッピングの前にコード化される値が０に等しい場合に、コード化した有意フラグ（例えば、sig_coeff_flag）が０に等しくなければならないことを満たすものとする。
２．レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスを有効にするかどうかは、現在のブロック及び／又は隣接ブロック（近接（adjacent）又は非近接（non-adjacent）ブロック）の復号化した残差情報に依存し得る。
ａ．一例では、レベル再マッピングを適用するかどうかは、現在のブロックが非ＢＤＰＣＭ ＴＳモードでコード化されているという条件に加えて、オンザフライ（on-the-fly）で導出される。
３．レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスを有効にするかどうかは、ビデオユニットで通知されるサイド情報に依存し得る。
ａ．一例では、少なくとも１つの復号値が現在のブロックを再構成するべく使用される前に再マッピングすべきかどうかを示すために、フラグが通知され得る。
ｂ．一例では、ビデオユニットは、ＣＴＵ（例えば、ＶＰＤＵ）／ＣＴＵ／ＣＴＢ／複数のＣＴＵ／複数のＣＵ／ＣＴＵ行／タイル／ブリック／スライス／ピクチャ、サブピクチャ／シーケンス／ビュー等のサブ領域である。
ｃ．一例では、提案する方法を有効にするかどうか、及び／又は提案する方法をどの様に有効にするかは、シーケンスパラメータセット／ビューパラメータセット／適応パラメータセット／ピクチャパラメータセット／ピクチャヘッダ／スライスヘッダ／ＣＵ／ＰＵ／ＴＵ／ＣＴＵ／ＣＴＢ等で通知され得る。
４．レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスを有効にするかどうかは、色フォーマット／色成分に依存し得る。
ａ．例えば、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは、ルマ成分にのみ適用でき、クロマ成分には適用できない。
ｂ．例えば、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは、色フォーマットが４：２：０である場合に、ルマ成分にのみ適用でき、クロマ成分には適用できない。
ｃ．例えば、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは、色フォーマットが４：４：４である場合、又は個別の色平面（color plane：カラープレーン）コーディングが使用される場合にのみ、全ての色成分をクロメート処理することができる。
５．レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスを有効にするかどうかは、ブロックの寸法Ｗ×Ｈに依存し得る。
ａ．例えば、Ｗ＊Ｈ＞＝Ｔ１又はＷ＊Ｈ＞Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｂ．例えば、Ｗ＊Ｈ＜＝Ｔ１又はＷ＊Ｈ＜Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｃ．例えば、Ｍｉｎ（最小）（Ｗ，Ｈ）＞＝Ｔ１又はＭｉｎ（Ｗ，Ｈ）＞Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｄ．例えば、Ｍａｘ（最大）（Ｗ，Ｈ）＜＝Ｔ１又はＭａｘ（Ｗ，Ｈ）＜Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｅ．例えば、Ｍｉｎ（Ｗ，Ｈ）＜＝Ｔ１又はＭｉｎ（Ｗ，Ｈ）＜Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｆ．例えば、Ｍａｘ（Ｗ，Ｈ）＞＝Ｔ１又はＭａｘ（Ｗ，Ｈ）＞Ｔ１の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｇ．例えば、Ｗ＞＝Ｔ１及びＨ＞＝Ｔ２の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｈ．例えば、Ｗ＜＝Ｔ１及びＨ＜＝Ｔ２の場合に、レベルマッピング（エンコーダ側）又はレベル再マッピング（デコーダ側）プロセスは有効にならない。
ｉ．Ｔ１及びＴ２は、上記の箇条書き（bullet）の整数である。
６．２つの空間的に隣接する復号化した係数（左又は上（above））を使用してレベルマッピング／再マッピングプロセスで使用される予測子を決定する代わりに、復号化／スキャン順序に従って１つ又は複数の復号化した係数を使用することを提案する。
ａ．一例では、最近のＫ個の復号化した係数が利用される。
ｂ．一例では、最近のＭ個の（Ｍ＞Ｋ）復号化した係数のうちのＫ個の復号化した係数が利用される。
ｃ．一例では、Ｋは、予め規定されるか、又は通知され得る。
ｄ．一例では、Ｋは、復号化した情報に基づいてオンザフライで導出され得る。
ｅ．一例では、Ｋは、既に復号化した係数の数に依存し得る。
ｉ．例えば、Ｓ個の係数は既に復号化されている。次に、ＫはＫ＝Ｍｉｎ（Ｓ，Ｍ）として導出され、ここで、Ｍは２等の固定数である。
構文要素に関連
７．構文要素は、ビデオユニット内の絶対係数のサブセットが全てＭより大きいかどうかを示すようにコード化することができ、ここで、Ｍは整数である。
ａ．一例では、ビデオユニットは、係数グループ（ＣＧ、例えば、４×４）／変換ブロック／変換ユニット／予測ブロック／コーディングブロックである。
ｂ．一例では、サブセットはスキャン順序に基づいて規定される。
ｉ．一例では、サブセットは、順方向スキャン順序に従った最初のＬ個の係数を含み得る。
ｉｉ．一例では、サブセットは、順方向スキャン順序に従った最後のＬ個の係数、又はビデオユニットの復号化順序に従った最初のＬ個の係数を含み得る。
ｃ．一例では、サブセットは座標に基づいて規定される。
ｉ．一例では、サブセットは、長方形領域内の係数を含み得る。
ｉｉ．一例では、サブセットは、正方形領域内の係数を含み得る。
ｄ．一例では、サブセットは、コード化されるモード情報／ブロック寸法に基づいて規定される。
ｉ．一例では、現在のブロックがＱＲ－ＢＤＰＣＭ又はＢＤＰＣＭの他の分散（variance）でコード化され、垂直方向に予測される場合に、サブセットは最上行のサブセットとして規定される。
ｉｉ．一例では、現在のブロックがＱＲ－ＢＤＰＣＭ又はＢＤＰＣＭの他の分散でコード化され、水平方向に予測される場合に、サブセットは左端の列のサブセットとして規定される。
ｅ．一例では、Ｍは０、１、２、３、４、５に等しい。
コンテキストモデリングに関連
８．レベルマッピング／再マッピングの概念は、他の非ＴＳコード化ブロック（例えば、ＢＤＰＣＭコード化ブロック）にも適用できる場合がある。
ａ．あるいはまた、さらに、規定した位置にある残差に対してのみ、レベルマッピング／再マッピングプロセスが適用される。
ｉ．一例では、規定した位置は、予測方向に依存し得る。
１）一例では、垂直予測方向に関して、第１の行に位置する残差をマッピング／再マッピングすることができる。
２）一例では、水平予測方向に関して、第１の列に位置する残差をマッピング／再マッピングすることができる。
ｂ．あるいはまた、さらに、予測的にコード化していない残差に対してのみ、レベルマッピング／再マッピングプロセスが適用される。
ｉ．一例では、垂直予測方向に関して、第１の行に位置する残差をマッピング／再マッピングすることができる。
ｉｉ．一例では、水平予測方向に関して、第１の列に位置する残差をマッピング／再マッピングすることができる。
９．レベルマッピング／再マッピングプロセスを利用して、パレットインデックスをコード化する、又はパレットモードでシンボルコーディングをエスケープすることができる。
ａ．一例では、以前にコード化したパレットインデックスの最大値に基づいて、パレットインデックスは、エンコーダ側でマッピングされ、デコーダ側で再マッピングされ得る。
ｂ．一例では、マッピング及び再マッピングプロセスは、全てのパレットコード化ブロックに対して呼び出され得る。
ｉ．あるいはまた、それらプロセスは特定の条件下で呼び出すこともできる。
１０．以前にコード化した係数／パレットインデックス等を表すパラメータａｉを使用して、コンテキストモデリングプロセスで関数ｆ（ａ０，ａ１，・・・，）を使用することを提案する。
ａ．一例では、関数ｆは、最大又は最小関数として規定することができる。
ｂ．パラメータａｉは、現在のサンプル／係数及び一部のネイバー（近接又は非近接）をカバーするテンプレート内のパラメータであり得る。
ｉ．一例では、パレットインデックスコーディングの場合に、左及び上（above）のパレットインデックスは両方とも、インデックスをコード化するために関数ｆに基づいて利用され得る。
ｃ．パラメータａｉは、現在のサンプル／係数に対してスキャン／復号化順序のパラメータであり得る。
１１．符号（sign）フラグ又は他の構文要素のコーディングのコンテキストモデリングに２つの空間的に隣接する復号化した係数（左又は上（above））を使用する代わりに、復号化／スキャン順序に従って１つ又は複数の復号化した係数を使用することを提案する。
ａ．一例では、最近のＫ個（例えば、Ｋ＝２）の復号化した係数が利用される。
ｂ．一例では、最近のＭ個（Ｍ＞Ｋ）の復号化した係数のうちのＫ個の復号化した係数が利用される。
ｃ．一例では、Ｋは、予め規定されるか、又は通知され得る。
ｄ．一例では、Ｋは、復号化した情報に基づいてオンザフライで導出され得る。
ｅ．一例では、Ｋは、既に復号化した係数の数に依存し得る。
ｉ．例えば、Ｓ個の係数が既に復号化されている。次に、ＫはＫ＝Ｍｉｎ（Ｓ，Ｍ）として導出され、ここで、Ｍは２等の固定数である。
１２．符号フラグ又は他の構文要素のコーディングのコンテキストモデリングに２つの空間的に隣接する復号化した係数（左又は上（above））を使用する代わりに、予測方向に従って１つ又は複数の復号化した係数を使用することを提案する。
ａ．一例では、垂直予測方向を有するＢＤＰＣＭコード化ブロックの場合に、同じ列内の以前に復号化した係数を利用することができる。
ｂ．一例では、水平予測方向を有するＢＤＰＣＭコード化ブロックの場合に、同じ行内の以前に復号化した係数を利用することができる。
ｃ．一例では、垂直予測方向を有するＢＤＰＣＭコード化ブロックの場合に、同じ行内の以前に復号化した係数を利用することができる。
ｄ．一例では、水平予測方向を有するＢＤＰＣＭコード化ブロックの場合に、同じ列内の以前に復号化した係数を利用することができる。
１３．同じ２値化処理（例えば、「０」は正の値を示し、「１」は負の値を示す）で符号フラグをコーディングする代わりに、隣接ブロックからの情報に基づいて、又は選択したコンテキストに基づいて等、符号値を動的に設定することを提案する（つまり、復号化したビン値は、様々なセマンティクスに解釈され得る）。
ａ．一例では、エンコーダ側では、符号化されるビン値は、現在の係数の符号情報が以前にコード化した係数の符号情報の大部分と同じであるかどうかに基づく。
ｂ．一例では、選択したコンテキストがネイバーの大部分が負を表している場合に（例えば、２つのネイバーがチェックされ、２つのネイバーが両方とも負である場合、又は一方が負であり、他方がゼロに等しい場合に）、「１」に等しい復号化したビンは正の値を示し、「０」は負の値を示し得る。
ｉ．あるいはまた、さらに、選択したコンテキストがネイバーの大部分が正を表している場合に（例えば、２つのネイバーがチェックされ、２つのネイバーが両方とも正である場合、又は一方が正であり、他方がゼロに等しい場合に）、「０」に等しい復号化したビンは正の値を示し、「１」は負の値を示し得る。
ｃ．一例では、選択したコンテキストがネイバーの大部分が負を表している場合に（例えば、２つのネイバーがチェックされ、２つのネイバーが両方とも負である場合、又は一方が負であり、他方がゼロに等しい場合に）、「０」に等しい復号化したビンは正の値を示し、「１」は負の値を示し得る。
ｉ．あるいはまた、さらに、選択したコンテキストがネイバーの大部分が正を表している場合に（例えば、２つのネイバーがチェックされ、２つのネイバーが両方とも正である場合、又は一方が正であり、他方がゼロに等しい場合に）、「１」に等しい復号化したビンは正の値を示し、「０」は負の値を示し得る。
一般的な使用法
１４．提案する方法を有効にするかどうか、及び／又はどの箇条書きを適用するかについての指標は、ビデオユニットレベルで通知することができる。
ａ．一例では、ビデオユニットは、タイル／ブリック／スライス／ピクチャ／サブピクチャ／シーケンス／ビュー等であり得る。
ｂ．一例では、提案する方法を有効にするかどうか、及び／又は提案する方法をどの様に有効にするかは、シーケンスパラメータセット／ビューパラメータセット／適応パラメータセット／ピクチャパラメータセット／ピクチャヘッダ／スライスヘッダで通知することができる。
ｃ．一例では、提案する方法を有効にするかどうか、及び／又は提案する方法をどの様に有効にするかは、ビデオコンテンツが画面コンテンツであるかどうかを示すために使用される１つの構文要素等の他の構文要素によって制御され得る。
１５．提案する方法を有効にするかどうか、及び／又は提案する方法をどの様に有効にするかは、ブロック寸法、スライスタイプ／ピクチャタイプ／時間層（temporal layer）インデックス／ビデオコンテンツ／色成分／パーティション分割ツリータイプ／コード化モード／変換情報等のコーディング情報に依存し得る。
ｄ．一例では、幅がＴ１以下で高さがＴ２以下のブロックについて、提案する方法を適用することができる。
ｅ．一例では、幅がＴ１以下で又は高さがＴ２以下のブロックについて、提案する方法を適用することができる。
ｆ．一例では、幅×高さがＴ３以下のブロックについて、提案する方法を適用することができる。
【0110】
上記の技術を使用するいくつかの実施形態は、例示の目的で説明している。
５．実施形態
５．１．実施形態＃１
この実施形態は、レベル再マッピングプロセスを有効にするかどうかが、復号値に依存するかどうかの例を示し、（例えば、AbsLevelPassX[xC][yC]又はsig_coeff_flag[xC][yC]又は（AbsLevelPassX[xC][yC]+abs_remainder[n]））は０に等しくない。
ＶＶＣ ＷＤと比較した変更は、太字の斜体のテキストで強調表示される。
７．３．８．１１ 残差コーディング構文
５．実施形態
５．１．実施形態＃１
この実施形態は、レベル再マッピングプロセスを有効にするかどうかが、復号値に依存するかどうかの例を示し、（例えば、AbsLevelPassX[xC][yC]又はsig_coeff_flag[xC][yC]又は（AbsLevelPassX[xC][yC]+abs_remainder[n]））は０に等しくない。
ＶＶＣ ＷＤと比較した変更は、太字の斜体のテキストで強調表示される。
７．３．８．１１ 残差コーディング構文
【表9】
【0111】
図１７は、ビデオ処理機器１７００のブロック図である。機器１７００は、本明細書で説明する方法のうちの１つ又は複数を実施するために使用され得る。機器１７００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等で具体化することができる。機器１７００は、１つ又は複数のプロセッサ１７０２、１つ又は複数のメモリ１７０４、及びビデオ処理ハードウェア１７０６を含むことができる。プロセッサ１７０２は、本文書で説明する１つ又は複数の方法を実施するように構成され得る。１つ又は複数のメモリ１７０４は、本明細書で説明する方法及び技術を実施するために使用されるデータ及びコードを格納するために使用され得る。ビデオ処理ハードウェア１７０６は、ハードウェア回路において、本文書で説明するいくつかの技術を実施するために使用され得る。いくつかの実施形態では、ビデオ処理ハードウェア１７０６は、少なくとも部分的にプロセッサ１７０２、例えばグラフィックスコプロセッサの内部にあり得る。
【0112】
以下の解決策は、いくつかの実施形態において好ましい解決策として実施され得る。
【0113】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目１）で説明した追加の技術と一緒に実施され得る。
【0114】
１．ビデオ処理の方法（例えば、図１８に示される方法１８００）は、ビデオの現在のブロックとビットストリーム表現との間のコンバート（conversion）に関して、レベル再計算の有効化に関連する条件が満たされるかどうかを判定するステップ（１８０２）と；判定に基づいてレベル再計算が選択的に使用されるコンバートを実行するステップ（１８０４）と；を含み、レベル再計算には、残差係数の第１の表現と、コンバート中に使用される現在のブロックの残差係数の第２の表現との間の変更が含まれる。
【0115】
２．条件は、コンバート中の残差係数の復号値に依存する、解決策１の方法。
【0116】
３．条件は、残差係数の復号値がゼロに等しくないことである、解決策２の方法。
【0117】
４．条件は、残差係数の復号値がゼロに等しいということである、解決策２の方法。
【0118】
５．条件が満たされないためにレベル再計算を無効にするステップをさらに含む、解決策４の方法。
【0119】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目２）で説明した追加の技術と一緒に実施され得る。
【0120】
６．条件は、コンバート中に使用される現在のブロックのコーディングモードに依存する、解決策１の方法。
【0121】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目３）で説明した追加の技術と一緒に実施され得る。
【0122】
７．条件は、コンバートに使用される現在のブロックに関するサイド情報（side information）に基づく、解決策１の方法。
【0123】
８．サイド情報には、レベル再計算が現在のブロックのコンバートのために有効にされることを通知する構文要素が含まれる、解決策７の方法。
【0124】
９．構文要素はビデオ領域レベルに含まれ、ビデオ領域には現在のブロックが含まれる、解決策８の方法。
【0125】
１０．ビデオ領域には、ビデオの単一のコーディングツリーユニット又は複数のコーディングユニット、或いは行又はタイル又はブリック又はスライス又はピクチャ又はサブピクチャ又はシーケンス又はビューが含まれる、解決策９の方法。
【0126】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目４）で説明した追加の技術と一緒に実施され得る。
【0127】
１１．条件は、現在のブロックが属するビデオの色フォーマット又は色成分にさらに依存する、解決策１～１０のいずれか１つの方法。
【0128】
１２．条件は、レベル再計算が、ルマブロックに対して有効にされ、クロマブロックに対して無効にされることである、解決策１１の方法。
【0129】
１３．条件は、レベル再計算が４：４：４フォーマットに対してのみ有効であるということである、解決策１１又は１２の方法。
【0130】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目５）で説明した追加の技術と一緒に実施され得る。
【0131】
１４．条件は、現在のブロックの寸法に基づく、解決策１～１３のいずれか１つの方法。
【0132】
１５．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、条件は、現在のブロックがＷ＊Ｈ＞＝Ｔ１を満たすため、レベル再計算が無効にされるということであり、Ｔ１は整数である、解決策１４の方法。
【0133】
１６．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、条件は、現在のブロックがＷ＊Ｈ＞＝Ｔ１を満たすため、レベル再計算が有効にされるということであり、Ｔ１は整数である、解決策１４の方法。
【0134】
１７．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、条件は、ｍｉｎ（Ｗ，Ｈ）＞＝Ｔ１のため、レベル再計算が無効にされるということであり、Ｔ１は整数である、解決策１４の方法。
【0135】
１８．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、条件は、ｍｉｎ（Ｗ，Ｈ）＞＝Ｔ１のため、レベル再計算が有効にされるということであり、Ｔ１は整数である、解決策１４の方法。
【0136】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目６）で説明した追加の技術と一緒に実施され得る。
【0137】
１９．ビデオ処理の方法であって、ビデオの現在のブロックとビットストリーム表現との間のコンバートに関するレベル再計算を実行するための条件が満たされるかどうかを判定するステップであって、レベル再計算には、残差係数の第１の表現と、コンバート中に使用される現在のブロックの残差係数の第２の表現との間の変更が含まれる、判定するステップと；規則に基づいて、レベルの再計算中に予測子として使用される１つ又は複数の復号化した係数を決定するステップと；１つ又は複数の復号化した係数を使用してコンバートを実行するステップと；を含む。
【0138】
２０．規則は、１つ又は複数の復号化した係数の数及び／又はアイデンティティを定める、解決策１９の方法。
【0139】
２１．規則は、最新のＫ個の復号化した係数を使用することを定め、Ｋは整数である、解決策２０の方法。
【0140】
２２．Ｋは、コード化した表現において構文要素を介して通知される、解決策２１の方法。
【0141】
２３．Ｋは、コード化した表現で通知されない、解決策２１の方法。
【0142】
２４．Ｋは、現在のブロックのコンバートの状態に基づいて決定可能である、解決策２１の方法。
【0143】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目７）で説明した追加の技術と一緒に実施され得る。
【0144】
２５．ビデオ処理の方法であって、ビデオの現在のブロックとコード化した表現との間のコンバートに関して、現在のブロックに対応するビデオユニットの絶対係数のサブセットが全てＭより大きいかどうかを判定するステップであって、Ｍは整数である、判定するステップと；判定に基づいてコンバートを実行するステップと；を含む。
【0145】
２６．ビデオユニットは、現在のブロックの係数グループである、解決策２５の方法。
【0146】
２７．ビデオユニットは、現在のブロックの変換ブロック又は予測ブロック又はコーディングブロックである、解決策２５の方法。
【0147】
２８．サブセットは、コンバートで使用される係数のスキャン順序に基づく、解決策２５～２７のいずれか１つの方法。
【0148】
２９．サブセットは、ビデオユニットを構成するピクセルの座標に基づく、解決策２５～２８のいずれか１つの方法。
【0149】
３０．サブセットは、現在のブロックのコード化モードに基づく、解決策２５～２９のいずれか１つの方法。
【0150】
３１．サブセットは、現在のブロックの寸法に基づく、解決策２５～３０のいずれか１つの方法。
【0151】
３２．Ｍはゼロである、解決策２５～３１のいずれか１つの方法。
【0152】
３３．Ｍは１である、解決策２５～３１のいずれか１つの方法。
【0153】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目８）で説明した追加の技術と一緒に実施され得る。
【0154】
３４．ビデオ処理の方法であって、ビデオの現在のブロックとビットストリーム表現との間のコンバートに関するレベル再計算の有効化に関連する規則が満たされるかどうかを判定するステップであって、コンバートは、ブロック差分パルス符号変調（ＢＤＰＣＭ）コーディングツールを使用する、判定するステップと；判定に基づいてレベル再計算が選択的に使用されるコンバートを実行するステップであって、レベル再計算には、残差係数の第１の表現と、コンバート中に使用される現在のブロックの残差係数の第２の表現との間の変更が含まれる、実行するステップと；を含む。
【0155】
３５．規則は、レベル再計算が残差ブロックの特定の位置に対してのみ実行されることを定める、解決策３４の方法。
【0156】
３６．規則は、現在のブロックの予測不可能にコード化された残差係数に対してのみレベル再計算を適用することを定める、解決策３４の方法。
【0157】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目９）で説明した追加の技術と一緒に実施され得る。
【0158】
３７．ビデオ処理の方法であって、ビデオの現在のブロックとビットストリーム表現との間のコンバートに関するレベル再計算の有効化に関連する規則が満たされるかどうかを判定するステップであって、コンバートはパレットコーディングモードに基づく、判定するステップと；判定に基づいてレベル再計算が選択的に使用されるコンバートを実行するステップであって、レベル再計算には、コンバート中にパレットインデックス又はエスケープシンボルの第１の表現とパレットインデックス又はエスケープシンボルの第２の表現との間の変更が含まれる、実行するステップと；を含む。
【0159】
３８．規則は、レベル再計算が以前のブロックに対して実行されたレベル再計算に基づくことをさらに定める、解決策３７の方法。
【0160】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目１０）で説明した追加の技術と一緒に実施され得る。
【0161】
３９．コンバートは、コンテキストモデリング関数ｆ（ａ０，ａ１，・・・，）をさらに使用し、パラメータａｉは、以前にコード化したパレットインデックスの係数を表す、解決策１～３８のいずれか１つの方法。
【0162】
４０．パラメータａｉの順序が、現在のブロックに使用されるスキャン順序の関数である、解決策３９の方法。
【0163】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目１１、１２）で説明した追加の技術と一緒に実施され得る。
【0164】
４１．ビデオ処理の方法であって、現在のブロックと現在のブロックのビットストリーム表現との間のコンバートが、現在のブロックの係数に対する変換操作がスキップされる変換スキップモードに基づいていると判定するステップと；係数及び規則に基づいてコンバートのコンテキストモデルを決定するステップと；変換スキップモードを使用してコンテキストモデルに基づいてコンバートを実行するステップと；を含む。
【0165】
４２．規則は、コンテキストモデルを決定するために係数の復号化又はスキャン順序を使用することを定める、解決策４１の方法。
【0166】
４３．規則は、最新のＫ個の係数を使用することを定める、解決策４２の方法。
【0167】
４４．規則は、コンテキストモデルを決定するために係数の予測方向を使用することを定める、解決策４１の方法。
【0168】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目１３）で説明した追加の技術と一緒に実施され得る。
【0169】
４５．方法の使用は、構文要素を使用してコード化した表現で通知される、解決策１～４４のいずれか１つの方法。
【0170】
４６．構文要素は、シーケンスパラメータセット／ビューパラメータセット、適応パラメータセット、ピクチャパラメータセット、ピクチャヘッダ、又はスライスヘッダに含められる、解決策４５の方法。
【0171】
以下の解決策は、前のセクションでリスト化した項目（例えば、項目１４）で説明した追加の技術と一緒に実施され得る。
【0172】
４７．方法は、コーディング条件に基づいて選択的に使用される、解決策１～４６のいずれか１つの方法。
【0173】
４８．コーディング条件は、コーディング情報又はブロック寸法又はスライスタイプ又はピクチャタイプ又は時間層インデックス又はビデオコンテンツ又は色成分又はパーティション分割ツリータイプ又はコード化モード又は変換情報である、解決策４７の方法。
【0174】
４９．コンバートは、ビデオをコード化した表現に符号化することを含む、解決策１～４８のいずれか１つの方法。
【0175】
５０．コンバートは、コード化した表現を復号化して、ビデオのピクセル値を生成することを含む、解決策１～４８のいずれか１つの方法。
【0176】
５１．解決策１～５０のうちの１つ又は複数に記載される方法を実施するように構成されたプロセッサを含むビデオ復号化機器。
【0177】
５２．解決策１～５０のうちの１つ又は複数に記載される方法を実施するように構成されたプロセッサを含むビデオ符号化機器。
【0178】
５３．コンピュータコードを格納したコンピュータプログラム製品であって、コードがプロセッサによって実行されると、プロセッサに、解決策１～５０のいずれかに記載される方法を実施させる、コンピュータプログラム製品。
【0179】
５４．本文書で説明する方法、装置又はシステム。
【0180】
開示する技術のいくつかの実施形態は、ビデオ処理ツール又はモードを有効にするための決定又は判定を行うことを含む。一例では、ビデオ処理ツール又はモードが有効である場合に、エンコーダは、ビデオのブロックの処理でツール又はモードを使用又は実装するが、ツール又はモードの使用に基づいて結果として得られるビットストリームを必ずしも修正しない場合がある。つまり、ビデオのブロックからビデオのビットストリーム表現へのコンバートは、決定又は判定に基づいて有効にされたときに、ビデオ処理ツール又はモードを使用する。別の例では、ビデオ処理ツール又はモードが有効である場合に、デコーダは、ビットストリームがビデオ処理ツール又はモードに基づいて修正されたことを認識してビットストリームを処理する。すなわち、ビデオのビットストリーム表現からビデオのブロックへのコンバートは、決定又は判定に基づいて有効にされたビデオ処理ツール又はモードを使用して実行される。
【0181】
開示する技術のいくつかの実施形態は、ビデオ処理ツール又はモードを無効にする決定又は判定を行うことを含む。一例では、ビデオ処理ツール又はモードが無効である場合に、エンコーダは、ビデオのブロックをビデオのビットストリーム表現にコンバートする際にツール又はモードを使用しない。別の例では、ビデオ処理ツール又はモードが無効である場合に、デコーダは、決定又は判定に基づいて無効にされたビデオ処理ツール又はモードを使用してビットストリームが修正されていないことを認識してビットストリームを処理する。
【0182】
図２１は、本開示の技術を利用することができる例示的なビデオコーディングシステム１００を示すブロック図である。図２１に示されるように、ビデオコーディングシステム１００は、ソース（source：送信元）装置１１０及び宛先（destination：送信先）装置１２０を含み得る。ソース装置１１０は、符号化したビデオデータを生成し、ビデオ符号化装置と呼ばれ得る。宛先装置１２０は、ソース装置１１０によって生成された符号化したビデオデータを復号化することができ、ビデオ復号化装置と呼ばれ得る。ソース装置１１０は、ビデオソース１１２、ビデオエンコーダ１１４、及び入力／出力（Ｉ／Ｏ）インターフェイス１１６を含み得る。
【0183】
ビデオソース１１２は、ビデオキャプチャ装置、ビデオコンテンツプロバイダからビデオデータを受信するためのインターフェイス、及び／又はビデオデータを生成するためのコンピュータグラフィックスシステム、又はそのようなソースの組合せ等のソースを含み得る。ビデオデータは、１つ又は複数のピクチャを含み得る。ビデオエンコーダ１１４は、ビデオソース１１２からのビデオデータを符号化して、ビットストリームを生成する。ビットストリームは、ビデオデータのコード化した表現を形成するビットのシーケンスを含み得る。ビットストリームには、コード化したピクチャ及び関連データが含まれ得る。コード化したピクチャは、ピクチャのコード化した表現である。関連データには、シーケンスパラメータセット、ピクチャパラメータセット、及び他の構文構造が含まれ得る。Ｉ／Ｏインターフェイス１１６には、変調器／復調器（モデム）及び／又は送信機が含まれ得る。符号化したビデオデータは、ネットワーク１３０ａを通じてＩ／Ｏインターフェイス１１６を介して宛先装置１２０に直接送信され得る。符号化したビデオデータはまた、宛先装置１２０によるアクセスのために記憶媒体／サーバ１３０ｂに格納され得る。
【0184】
宛先装置１２０は、Ｉ／Ｏインターフェイス１２６、ビデオデコーダ１２４、及び表示装置１２２を含み得る。
【0185】
Ｉ／Ｏインターフェイス１２６は、受信機及び／又はモデムを含み得る。Ｉ／Ｏインターフェイス１２６は、ソース装置１１０又は記憶媒体／サーバ１３０ｂから符号化したビデオデータを取得することができる。ビデオデコーダ１２４は、符号化したビデオデータを復号化することができる。表示装置１２２は、復号化したビデオデータをユーザに表示することができる。表示装置１２２は、宛先装置１２０と統合され得るか、又は宛先装置１２０の外部にあり、外部表示装置とインターフェイスするように構成される。
【0186】
ビデオエンコーダ１１４及びビデオデコーダ１２４は、高効率ビデオコーディング（ＨＥＶＣ）規格、多用途ビデオコーディング（ＶＶＭ）規格、及び他の現在及び／又は将来の規格等のビデオ圧縮規格に従って動作することができる。
【0187】
【0188】
ビデオエンコーダ２００は、本開示の技術のいずれか又は全てを実行するように構成され得る。図２２の例では、ビデオエンコーダ２００は、複数の機能コンポーネントを含む。本開示で説明する技術は、ビデオエンコーダ２００の様々なコンポーネントの間で共有され得る。いくつかの例では、プロセッサは、本開示で説明する技術のいずれか又は全てを実行するように構成され得る。
【0189】
ビデオエンコーダ２００の機能コンポーネントは、パーティションユニット２０１、（モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５、及び内部予測ユニット２０６を含み得る）予測ユニット２０２、残差生成ユニット２０７、変換ユニット２０８、量子化ユニット２０９、逆量子化ユニット２１０、逆変換ユニット２１１、再構成ユニット２１２、バッファ２１３、及びエントロピー符号化ユニット２１４を含み得る。
【0190】
他の例では、ビデオエンコーダ２００は、より多くの、より少ない、又は異なる機能コンポーネントを含み得る。一例では、予測ユニット２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含み得る。ＩＢＣユニットは、少なくとも１つの参照ピクチャが、現在のビデオブロックが配置されているピクチャであるＩＢＣモードで予測を行うことができる。
【0191】
さらに、動き推定ユニット２０４及び動き補償ユニット２０５等のいくつかのコンポーネントは、高度に統合され得るが、説明のために図２２の例では別々に示されている。
【0192】
パーティションユニット２０１は、ピクチャを１つ又は複数のビデオブロックにパーティション分割することができる。ビデオエンコーダ２００及びビデオデコーダ３００は、様々なビデオブロックサイズをサポートすることができる。
【0193】
モード選択ユニット２０３は、例えばエラー結果に基づいて、イントラ又はインターのコーディングモードの１つを選択し、結果として得られるイントラ又はインターコード化したブロックを、残差生成ユニット２０７に提供して残差ブロックデータを生成し、またそのブロックを再構成ユニット２１２に提供して参照ピクチャとして使用するために符号化したブロックを再構成する。いくつかの例では、モード選択ユニット２０３は、予測がインター予測信号及びイントラ予測信号に基づく、イントラ及びインター予測（ＣＩＩＰ）モードの組合せを選択することができる。モード選択ユニット２０３はまた、インター予測の場合に、ブロックの動きベクトルの解像度（例えば、サブピクセル又は整数ピクセルの精度）を選択することができる。
【0194】
現在のビデオブロックに対してインター予測を行うために、動き推定ユニット２０４は、バッファ２１３からの１つ又は複数の参照フレームを現在のビデオブロックと比較することによって、現在のビデオブロックの動き情報を生成することができる。動き補償ユニット２０５は、現在のビデオブロックに関連するピクチャ以外のバッファ２１３からのピクチャの動き情報及び復号化したサンプルに基づいて、現在のビデオブロックの予測ビデオブロックを決定することができる。
【0195】
動き推定ユニット２０４及び動き補償ユニット２０５は、例えば、現在のビデオブロックがＩスライス、Ｐスライス、又はＢスライスのいずれであるかに応じて、現在のビデオブロックに対して異なる動作を実行することができる。
【0196】
いくつかの例では、動き推定ユニット２０４は、現在のビデオブロックに対して一方向予測を行うことができ、動き推定ユニット２０４は、リスト０又はリスト１の参照ピクチャを検索して、現在のビデオブロックの参照ビデオブロックを探すことができる。次に、動き推定ユニット２０４は、参照ビデオブロックを含むリスト０又はリスト１の参照ピクチャを示す参照インデックスと、現在のビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルとを生成することができる。動き推定ユニット２０４は、参照インデックス、予測方向インジケータ、及び動きベクトルを、現在のビデオブロックの動き情報として出力することができる。動き補償ユニット２０５は、現在のビデオブロックの動き情報によって示される参照ビデオブロックに基づいて、現在のブロックの予測されるビデオブロックを生成することができる。
【0197】
他の例では、動き推定ユニット２０４は、現在のビデオブロックに対して双方向予測を行うことができ、動き推定ユニット２０４は、リスト０内の参照ピクチャを検索して、現在のビデオブロックの参照ビデオブロックを探すことができ、また、リスト１内の参照ピクチャを検索して、現在のビデオブロックの別の参照ビデオブロックを探すことができる。次に、動き推定ユニット２０４は、参照ビデオブロックを含むリスト０及びリスト１内の参照ピクチャを示す参照インデックスと、参照ビデオブロックと現在のビデオブロックとの間の空間変位を示す動きベクトルとを生成することができる。動き推定ユニット２０４は、現在のビデオブロックの参照インデックス及び動きベクトルを、現在のビデオブロックの動き情報として出力することができる。動き補償ユニット２０５は、現在のビデオブロックの動き情報によって示される参照ビデオブロックに基づいて、現在のビデオブロックの予測されるビデオブロックを生成することができる。
【0198】
いくつかの例では、動き推定ユニット２０４は、デコーダの復号化処理のために動き情報の完全なセットを出力することができる。
【0199】
いくつかの例では、動き推定ユニット２０４は、現在のビデオの動き情報の完全なセットを出力しない場合がある。むしろ、動き推定ユニット２０４は、別のビデオブロックの動き情報を参照して、現在のビデオブロックの動き情報を通知することができる。例えば、動き推定ユニット２０４は、現在のビデオブロックの動き情報が隣接するビデオブロックの動き情報と十分に類似していると判定することができる。
【0200】
一例では、動き推定ユニット２０４は、現在のビデオブロックに関連する構文構造において、現在のビデオブロックが別のビデオブロックと同じ動き情報を有することをビデオデコーダ３００に示す値を示すことができる。
【0201】
別の例では、動き推定ユニット２０４は、現在のビデオブロックに関連する構文構造において、別のビデオブロック及び動きベクトル差（ＭＶＤ）を識別することができる。動きベクトル差は、現在のビデオブロックの動きベクトルと示されたビデオブロックの動きベクトルとの間の差（相違）を示す。ビデオデコーダ３００は、示されたビデオブロックの動きベクトル及び動きベクトル差を使用して、現在のビデオブロックの動きベクトルを決定することができる。
【0202】
上記のように、ビデオエンコーダ２００は、動きベクトルを予測的に通知することができる。ビデオエンコーダ２００によって実施され得る予測シグナリング技術の２つの例には、高度な動きベクトル予測（ＡＭＶＰ）及びマージモードシグナリングが含まれる。
【0203】
イントラ予測ユニット２０６は、現在のビデオブロックに対してイントラ予測を行うことができる。イントラ予測ユニット２０６が現在のビデオブロックに対してイントラ予測を行うときに、イントラ予測ユニット２０６は、同じピクチャ内の他のビデオブロックの復号化したサンプルに基づいて、現在のビデオブロックの予測データを生成することができる。現在のビデオブロックの予測データには、予測されるビデオブロック及び様々な構文要素が含まれ得る。
【0204】
残差生成ユニット２０７は、現在のビデオブロックの予測されるビデオブロックを現在のビデオブロックから差し引く（例えば、マイナス記号で示される）ことによって、現在のビデオブロックの残差データを生成することができる。現在のビデオブロックの残差データは、現在のビデオブロック内のサンプルの異なるサンプルコンポーネントに対応する残差ビデオブロックを含み得る。
【0205】
他の例では、例えばスキップモードにおいて、現在のビデオブロックに関して現在のビデオブロックの残差データがない場合があり、残差生成ユニット２０７は減算動作を実行しない場合がある。
【0206】
変換処理ユニット２０８は、１つ又は複数の変換を現在のビデオブロックに関連する残差ビデオブロックに適用することによって、現在のビデオブロックに対して１つ又は複数の変換係数ビデオブロックを生成することができる。
【0207】
変換処理ユニット２０８が現在のビデオブロックに関連する変換係数ビデオブロックを生成した後に、量子化ユニット２０９は、現在のビデオブロックに関連する１つ又は複数の量子化パラメータ（ＱＰ）値に基づいて、現在のビデオブロックに関連する変換係数ビデオブロックを量子化することができる。
【0208】
逆量子化ユニット２１０及び逆変換ユニット２１１は、逆量子化及び逆変換をそれぞれ変換係数ビデオブロックに適用して、変換係数ビデオブロックから残差ビデオブロックを再構成することができる。再構成ユニット２１２は、再構成した残差ビデオブロックを、予測ユニット２０２によって生成された１つ又は複数の予測ビデオブロックからの対応するサンプルに追加して、（バッファ２１３に格納するために）現在のブロックに関連する再構成ビデオブロックを生成することができる。
【0209】
再構成ユニット２１２がビデオブロックを再構成した後に、ループフィルタリング動作を実行して、ビデオブロック内のビデオブロッキングアーチファクトを低減することができる。
【0210】
エントロピー符号化ユニット２１４は、ビデオエンコーダ２００の他の機能コンポーネントからデータを受信することができる。エントロピー符号化ユニット２１４がデータを受信すると、エントロピー符号化ユニット２１４は、１つ又は複数のエントロピー符号化操作を実行して、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力することができる。
【0211】
【0212】
ビデオデコーダ３００は、本開示の技術のいずれか又は全てを実行するように構成され得る。図１９の例では、ビデオデコーダ３００は、複数の機能コンポーネントを含む。本開示で説明する技術は、ビデオデコーダ３００の様々なコンポーネントの間で共有され得る。いくつかの例では、プロセッサは、本開示で説明する技術のいずれか又は全てを実行するように構成され得る。
【0213】
図１９の例では、ビデオデコーダ３００は、エントロピー復号化ユニット３１０、動き補償ユニット３０２、イントラ予測ユニット３０３、逆量子化ユニット３０４、逆変換ユニット３０５、及び再構成ユニット３０６及びバッファ３０７を含む。いくつかの例では、ビデオエンコーダ３００は、ビデオエンコーダ２００（図２２）に関して説明する符号化パスと一般に逆の復号化パスを実行する。
【0214】
エントロピー復号化ユニット３１０は、符号化したビットストリームを検索（retrive：取得）することができる。符号化したビットストリームは、エントロピー符号化ビデオデータ（例えば、ビデオデータの符号化したブロック）を含み得る。エントロピー復号化ユニット３１０は、エントロピー符号化ビデオデータを復号化することができ、エントロピー復号化ビデオデータから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を決定することができる。動き補償ユニット３０２は、例えば、ＡＭＶＰ及びマージモードを実行することによって、そのような情報を決定することができる。
【0215】
動き補償ユニット３０２は、動きを補償したブロックを生成し得、おそらく補間フィルタに基づいて補間を実行し得る。サブピクセル精度で使用される補間フィルタの識別子は、構文要素に含まれ得る。
【0216】
動き補償ユニット３０２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用される補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算することができる。動き補償ユニット３０２は、受信した構文情報に従ってビデオエンコーダ２００によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成することができる。
【0217】
動き補償ユニット３０２は、いくつかの構文情報を使用して、符号化したビデオシーケンスのフレーム及び／又はスライスを符号化するために使用されるブロックのサイズ、符号化したビデオシーケンスのピクチャの各マクロブロックがどの様にパーティション分割されるかを記述するパーティション情報、各パーティションがどの様に符号化されるかを示すモード、各インター符号化したブロックの１つ又は複数の参照フレーム（及び参照フレームリスト）、及び符号化したビデオシーケンスを復号化する他の情報を決定することができる。
【0218】
イントラ予測ユニット３０３は、例えばビットストリームで受信したイントラ予測モードを使用して、空間的に近接するブロックから予測ブロックを形成することができる。逆量子化ユニット３０３は、ビットストリームで提供され、エントロピー復号化ユニット３１０によって復号化した量子化したビデオブロック係数を逆量子化、すなわち、量子化解除（de-quantize）する。逆変換ユニット３０３は、逆変換を適用する。
【0219】
再構成ユニット３０６は、残差ブロックを、動き補償ユニット２０２又はイントラ予測ユニット３０３によって生成された対応する予測ブロックと合計して、復号化したブロックを形成することができる。必要に応じて、ブロック性アーティファクトを除去するために、デブロッキングフィルタを適用して、復号化したブロックをフィルタリングすることもできる。次に、復号化したビデオブロックは、バッファ３０７に格納され、これは、後続の動き補償／イントラ予測のための参照ブロックを提供し、また、表示装置上に提示するための復号化したビデオを生成する。
【0220】
本文書において、「ビデオ処理」という用語は、ビデオ符号化、ビデオ復号化、ビデオ圧縮又はビデオ解凍を指し得る。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から対応するビットストリーム表現への、又はその逆へのコンバート中に適用され得る。現在のビデオブロックのビットストリーム表現、又はコード化した表現は、例えば、構文によって規定されるように、ビットストリーム内の異なる場所に同じ場所に配置されるか、又はビットストリームに広がっているビットに対応し得る。例えば、ビデオブロックは、変換及びコード化したエラー残差値の観点から、またヘッダのビット及びビットストリームの他のフィールドを使用して符号化することができる。さらに、コンバート中に、デコーダは、上記の解決策で説明しているように、決定に基づいて、いくつかのフィールドが存在するか、又は存在しない可能性があるということを認識してビットストリームを解析することができる。同様に、エンコーダは、特定の構文フィールドが含まれるか含まれないかを判定し、それに応じて、構文フィールドをコード化した表現に含めるか又はこれから除外することによって、コード化した表現を生成することができる。
【0221】
図２０は、本明細書で開示する様々な技術が実施され得る例示的なビデオ処理システム２０００を示すブロック図である。様々な実施態様は、システム２０００のコンポーネントのいくつか又は全てを含み得る。システム２０００は、ビデオコンテンツを受信するための入力２００２を含み得る。ビデオコンテンツは、生の又は非圧縮形式、例えば、８又は１０ビットの多成分ピクセル値で受信され得るか、又は圧縮又は符号化したフォーマットであり得る。入力２００２は、ネットワークインターフェイス、周辺バスインターフェイス、又はストレージインターフェイスを表すことができる。ネットワークインターフェイスの例には、イーサネット、パッシブ光ネットワーク（ＰＯＮ）等の有線インターフェイス、及びＷｉ－Ｆｉ又はセルラーインターフェイス等の無線インターフェイスが含まれる。
【0222】
システム２０００は、本文書で説明する様々なコーディング又は符号化方法を実施し得るコーディングコンポーネント２００４を含み得る。コーディングコンポーネント２００４は、ビデオの入力２００２からコーディングコンポーネント２００４の出力への平均ビットレートを低減して、ビデオのコード化した表現を生成することができる。従って、コーディング技術は、ビデオ圧縮又はビデオトランスコーディング技術と呼ばれることもある。コーディングコンポーネント２００４の出力は、コンポーネント２００６によって表されるように、格納又は接続した通信を介して送信され得る。入力２００２で受信したビデオの格納又は通信されたビットストリーム（又はコード化した）表現は、コンポーネント２００８によって使用され、ディスプレイ・インターフェイス２０１０に送られるピクセル値又は表示可能なビデオを生成することができる。ビットストリーム表現からユーザが見ることができるビデオを生成するプロセスは、ビデオ解凍と呼ばれることもある。さらに、特定のビデオ処理操作は「コーディング」操作又はツールと呼ばれるが、コーディングツール又は操作はエンコーダで使用され、コーディングの結果を逆転させる対応するデコードツール又は操作は、デコーダによって実行されることが理解されよう。
【0223】
周辺バスインターフェイス又はディスプレイ・インターフェイスの例には、ユニバーサルシリアルバス（ＨＢＳ）又は高品位マルチメディアインターフェイス（ＨＤＭＩ（登録商標））又はディスプレイポート等が含まれ得る。ストレージインターフェイスの例には、ＳＡＴＡ（serial advanced technology attachment）、ＰＣＩ、ＩＤＥインターフェイス等が含まれる。本文書で説明する技術は、携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び／又はビデオ表示を実行することができる他の装置等の様々な電子装置で具体化することができる。
【0224】
図２３は、ビデオ処理方法２３００を示しており、この方法は、ビデオの現在のブロックとビデオのビットストリーム表現との間のコンバートに関して、規則に基づいてレベルマッピング操作又はレベル再マッピング操作を有効にするかどうかを決定するステップ（２３０２）であって、レベルマッピング操作又はレベル再マッピング操作には、現在のブロックの残差係数の第１の表現と、残差係数の隣接する残差係数に基づく現在のブロックの残差係数の第２の表現との間の変更が含まれる、決定するステップと；決定に基づいてレベルマッピング操作又はレベル再マッピング操作を選択的に使用してコンバートを実行するステップ（２３０４）と；を含む。
【0225】
図２４は、ビデオ処理方法２４００を示しており、この方法は、規則に基づいて、レベルマッピング操作又はレベル再マッピング操作中に予測子として使用される１つ又は複数の以前に復号化した係数を決定するステップ（２４０２）であって、レベルマッピング操作又はレベル再マッピング操作には、残差係数の第１の表現と、残差係数の隣接する残差係数に基づく現在のブロックの残差係数の第２の表現との間の変更が含まれ、１つ又は複数の以前に復号化した係数は、復号化順序又はスキャン順序に従って使用される、決定するステップと；１つ又は複数の以前に復号化した係数を使用してビデオの現在のブロックとビデオのビットストリーム表現との間のコンバートを実行する（２４０４）ステップと；を含む。
【0226】
図２５は、ビデオ処理方法２５００を示しており、この方法は、ビデオの現在のブロックとビデオのビットストリーム表現との間のコンバートを実行するステップ（２５０２）を含み、ビットストリーム表現は、現在のブロックのビデオユニットの係数のサブセットの絶対値がＭより大きいことを示すために構文要素がビットストリームに含められることを定めるフォーマット規則に準拠し、Ｍは整数である。
【0227】
以下のセクションは、番号が付けられた例示的なビデオ処理技術を説明する。
【0228】
１．ビデオ処理の方法は、ビデオの現在のブロックとビデオのビットストリーム表現との間のコンバートに関して、規則に基づいてレベルマッピング操作又はレベル再マッピング操作を有効にするかどうかを決定するステップであって、レベルマッピング操作又はレベル再マッピング操作には、現在のブロックの残差係数の第１の表現と、残差係数の隣接する残差係数に基づく現在のブロックの残差係数の第２の表現との間の変更が含まれる、決定するステップと；決定に基づいてレベルマッピング操作又はレベル再マッピング操作を選択的に使用してコンバートを実行するステップと；を含む。
【0229】
２．規則は、レベルマッピング操作又はレベル再マッピング操作が有効にされるかどうかが、残差係数の復号値又は残差係数の信号値がゼロに等しくないかどうかに基づくことを定める、例１の方法。
【0230】
３．規則は、残差係数の復号値又は残差係数の信号値がゼロに等しいことに応答して、レベルマッピング操作又はレベル再マッピング操作が無効にされることを定める、例１の方法。
【0231】
４．残差係数の復号値又は残差係数の信号値は、残差係数がゼロより大きい絶対レベルを有するかどうかを示す有意な係数フラグの値をビットストリーム表現に含む、例２又は３の方法。
【0232】
５．残差係数の復号値又は残差係数の信号値は、係数レベルの絶対値を含む、例２又は３の方法。
【0233】
６Ａ．残差係数の復号値又は残差係数の信号値は、係数レベルの第１の絶対値と、残差係数の残りの大きさ（magnitude）の第２の絶対値との組合せを含む、例２又は３の方法。
【0234】
６Ｂ．残差係数の復号値又は残差係数の信号値は、残差係数の残りの大きさを含む、例２又は３の方法。
【0235】
７．残差係数の量子化値又はレベルマッピング操作を適用する前にコード化される残差係数の値がゼロに等しい場合に、ビットストリーム表現で示される有意な係数フラグは、ゼロに等しく、有意な係数フラグは、残差係数の絶対レベルがゼロより大きいかどうかを示す、例１の方法。
【0236】
８．規則は、レベルマッピング操作又はレベル再マッピング操作が有効にされるかどうかが、現在のブロック又は現在のブロックの隣接ブロックのいずれかの復号化した残差情報に依存することを定める、例１の方法。
【0237】
９．隣接ブロックは、現在のブロックに近接して配置された近接する隣接ブロックである、又は隣接ブロックは、現在のブロックに近接していない非近接状態の隣接ブロックである、例８の方法。
【0238】
１０．規則は、レベルマッピング操作又はレベル再マッピング操作が有効にされるかどうかが、コンバート中に使用される現在のブロックのコーディングモードに基づいて判定可能であるかどうかを定める、例８の方法。
【0239】
１１．コーディングモードは、現在のブロックの残差係数に対する変換操作がスキップされる非ブロック差分パルス符号変調（非ＢＤＰＣＭ）トランスポートスキップ（ＴＳ）モードを含む、例１０の方法。
【0240】
１２．規則は、レベルマッピング操作又はレベル再マッピング操作が有効にされるかどうかが、現在のブロックのサイド情報に基づくことを定め、サイド情報は、現在のブロックを含むビデオ領域レベルで通知される、例１の方法。
【0241】
１３．サイド情報は、レベルマッピング操作又はレベル再マッピング操作が現在のブロックのコンバートに対して有効にされるかどうかを通知する構文要素に関連付けられる、例１２の方法。
【0242】
１４．ビデオ領域レベルには、コーディングツリーユニット（ＣＴＵ）のサブ領域が含まれる、例１２の方法。
【0243】
１５．コーディングツリーユニット（ＣＴＵ）のサブ領域には、仮想パイプラインデータユニット（ＶＰＤＵ）、単一のコーディングツリーユニット（ＣＴＵ）、コーディングツリーブロック（ＣＴＢ）、複数のコーディングツリーユニット（ＣＴＵ）、複数のコーディングユニット（ＣＵ）、コーディングツリーユニット（ＣＴＵ）の行、タイル、ブリック、スライス、ピクチャ、サブピクチャ、シーケンス、又はビデオのビューが含まれる、例１４の方法。
【0244】
１６．レベルマッピング操作又はレベル再マッピング操作が有効にされるかどうかが、ビットストリーム表現において、ビデオのシーケンスパラメータセット、ビューパラメータセット、適応パラメータセット、ピクチャパラメータセット、ピクチャヘッダ、スライスヘッダ、コーディングユニット（ＣＵ）、ピクチャユニット（ＰＵ）、変換ユニット（ＴＵ）、コーディングツリーユニット（ＣＴＵ）、又はコーディングツリーブロック（ＣＴＢ）で示される、例１２の方法。
【0245】
１７．規則は、レベルマッピング操作又はレベル再マッピング操作が有効にされるかどうかが、現在のブロックが属するビデオの色フォーマット又は色成分に基づくことを定める、例１の方法。
【0246】
１８．規則は、レベルマッピング操作又はレベル再マッピング操作が、ルマブロックに対して有効にされ、クロマブロックに対して無効にされることを定める、例１７の方法。
【0247】
１９．規則は、ビデオの色フォーマットが４：２：０フォーマットである場合に、レベルマッピング操作又はレベル再マッピング操作が、ルマブロックに対して有効にされ、クロマブロックに対して無効にされることを定める、例１７の方法。
【0248】
２０．規則は、ビデオの色フォーマットが４：４：４フォーマットである場合、又は別個の色平面コーディングモードがコンバート中に使用されている場合に、レベルマッピング操作又はレベル再マッピング操作が、全ての色成分に対して有効にされることを定める、例１７の方法。
【0249】
２１．規則は、レベルマッピング操作又はレベル再マッピング操作が有効にされるかどうかが、現在のブロックの寸法に基づくことを定める、例１の方法。
【0250】
２２．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、規則は、現在のブロックがＷ＊Ｈ＞＝Ｔ１を満たすため、レベルマッピング操作又はレベル再マッピング操作が無効にされることを定め、Ｔ１は整数である、例２１の方法。
【0251】
２３．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、規則は、現在のブロックがＷ＊Ｈ＜＝Ｔ１を満たすため、レベルマッピング操作又はレベル再マッピング操作が無効にされることを定め、Ｔ１は整数である、例２１の方法。
【0252】
２４．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、規則は、ｍｉｎ（Ｗ，Ｈ）＞＝Ｔ１のため、レベルマッピング操作又はレベル再マッピング操作が無効にされることを定め、Ｔ１は整数である、例２１の方法。
【0253】
２５．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、規則は、ｍａｘ（Ｗ，Ｈ）＜＝Ｔ１のため、レベルマッピング操作又はレベル再マッピング操作が無効にされることを定め、Ｔ１は整数である、例２１の方法。
【0254】
２６．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、規則は、ｍｉｎ（Ｗ，Ｈ）＜＝Ｔ１のため、レベルマッピング操作又はレベル再マッピング操作が無効にされることを定め、Ｔ１は整数である、例２１の方法。
【0255】
２７．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、規則は、ｍａｘ（Ｗ，Ｈ）＞＝Ｔ１のため、レベルマッピング操作又はレベル再マッピング操作が無効にされることを定め、Ｔ１は整数である、例２１の方法。
【0256】
２８．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、規則は、Ｗ＞＝Ｔ１及びＨ＞＝Ｔ２のため、レベルマッピング操作又はレベル再マッピング操作が無効にされることを定め、Ｔ１及びＴ２は整数である、例２１の方法。
【0257】
２９．現在のブロックの寸法には高さＨ及び幅Ｗが含まれ、規則は、Ｗ＜＝Ｔ１及びＨ＜＝Ｔ２のため、レベルマッピング操作又はレベル再マッピング操作が無効にされることを定め、Ｔ１及びＴ２は整数である、例２１の方法。
【0258】
３０．ビデオ処理の方法であって、規則に基づいて、レベルマッピング操作又はレベル再マッピング操作中に予測子として使用される１つ又は複数の以前に復号化した係数を決定するステップであって、レベルマッピング操作又はレベル再マッピング操作には、残差係数の第１の表現と、残差係数の隣接する残差係数に基づく現在のブロック残差係数の第２の表現との間の変更が含まれ、１つ又は複数の以前に復号化した係数は、復号化順序又はスキャン順序に従って使用される、決定するステップと；１つ又は複数の以前に復号化した係数を使用してビデオの現在のブロックとビデオのビットストリーム表現との間のコンバートを実行するステップと；を含む。
【0259】
３１．規則は、最新のＫ個の以前に復号化した係数を使用することを定め、Ｋは整数である、例３０の方法。
【0260】
３２．規則は、最新のＭ個の以前に復号化した係数のうちのＫ個の以前に復号化した係数が使用されることを定め、Ｋ及びＭは整数であり、ＭはＫより大きい、例３０の方法。
【0261】
３３．１つ又は複数の以前に復号化した係数のいくつかが、ビットストリーム表現において構文要素を介して通知される、例３０の方法。
【0262】
３４．１つ又は複数の以前に復号化した係数のいくつかが、予め規定される、例３０の方法。
【0263】
３５．１つ又は複数の以前に復号化した係数のいくつかが、現在のブロックの復号化した情報に基づいて決定可能である、例３０の方法。
【0264】
３６．１つ又は複数の以前に復号化した係数のいくつかが、復号化した残差係数の数に依存する、例３０の方法。
【0265】
３７．数はＳ又はＭの最小値であり、Ｓは復号化した残差係数の数であり、Ｍは固定数である、例３６の方法。
【0266】
３８．ビデオ処理の方法であって、ビデオの現在のブロックとビデオのビットストリーム表現との間のコンバートを実行するステップを含み、ビットストリーム表現は、現在のブロックのビデオユニットの係数のサブセットの絶対値がＭより大きいことを示すために構文要素をビットストリームに含めることを定めるフォーマット規則に準拠し、Ｍは整数である。
【0267】
３９．ビデオユニットは、現在のブロックの係数グループ又は変換ブロック又は予測ブロック又はコーディングブロックである、例３８の方法。
【0268】
４０．サブセットは、コンバートで使用されるスキャン順序に基づく、例３８の方法。
【0269】
４１．サブセットには、順方向スキャン順序に従った最初のＬ個の係数が含まれ、Ｌは整数である、例４０の方法。
【0270】
４２．サブセットには、順方向スキャン順序に従った最後のＬ個の係数が含まれ、Ｌは整数である、例４０の方法。
【0271】
４３．サブセットには、ビデオユニットの復号化順序に従った最初のＬ個の係数が含まれ、Ｌは整数である、例４０の方法。
【0272】
４４．サブセットは、ビデオユニットを構成するピクセルの座標に基づく、例３８の方法。
【0273】
４５．サブセットには、ビデオユニットの長方形領域内の係数が含まれる、例４４の方法。
【0274】
４６．サブセットには、ビデオユニットの正方形領域内の係数が含まれる、例４４の方法。
【0275】
４７．サブセットは、現在のブロックのコード化モードに基づく、例３８の方法。
【0276】
４８．サブセットは、現在のブロックがブロック差分パルス符号変調（ＢＤＰＣＭ）コーディングツール又は量子化残差ドメインＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）コーディングツールでコード化されていることに応答して、及び現在のブロックが垂直方向に予測されていることに応答して、最上行の係数を含むように規定される、例４７の方法。
【0277】
４９．サブセットは、現在のブロックがブロック差分パルス符号変調（ＢＤＰＣＭ）コーディングツール又は量子化残差ドメインＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）コーディングツールでコード化されていることに応答して、及び現在のブロックが水平方向に予測されていることに応答して、左端の行の係数を含むように規定される、例４７の方法。
【0278】
５０．サブセットは、現在のブロックの寸法に基づく、例３８の方法。
【0279】
５１．Ｍは、０、１、２、３、４、又は５に等しい、例３８の方法。
【0280】
５２．現在のブロックは、非変換スキップコード化ブロックである、例１の方法。
【0281】
５３．コンバートは、現在のブロックに対してブロック差分パルス符号変調（ＢＤＰＣＭ）コーディングツールを使用する、例５２の方法。
【0282】
５４．規則は、レベルマッピング操作又はレベル再マッピング操作が、残差係数の特定の位置に対してのみ実行されることを定める、例５２の方法。
【0283】
５５．特定の位置は、予測方向に依存する、例５４の方法。
【0284】
５６．残差係数は、予測方向が垂直であることに応答して第１の行に配置される、例５５の方法。
【0285】
５７．残差係数は、予測方向が水平であることに応答して第１の列に配置される、例５５の方法。
【0286】
５８．規則は、レベルマッピング操作又はレベル再マッピング操作が、予測不可能にコード化された残差係数に対してのみ有効にされることを定める、例５２の方法。
【0287】
５９．残差係数は、垂直予測方向の第１の行に配置される、例５８の方法。
【0288】
６０．残差係数は、水平予測方向の第１の列に配置される、例５８の方法。
【0289】
６１．コンバートは、パレットコーディングモードに基づく、例１の方法。
【0290】
６２．規則は、パレットインデックスが、ビデオの以前のブロックからの以前にコード化したパレットインデックスの最大値に基づくことをさらに定める、例６１の方法。
【0291】
６３．規則は、レベルマッピング操作又はレベル再マッピングが、ビデオの全てのパレットコード化ブロックに対して有効にされることをさらに定める、例６１の方法。
【0292】
６４．規則は、レベルマッピング操作又はレベル再マッピングが、指定された条件下で有効にされることをさらに定める、例６１の方法。
【0293】
６５．コンバートは、残差係数が現在のブロックの隣接ブロックの残差情報に依存するコンテキストモデリングプロセスをさらに使用し、コンテキストモデリングプロセスは、コンテキストモデリング関数ｆ（ａ０，ａ１，・・・，）を用いて使用し、パラメータａｉは、以前にコード化した係数又はパレットインデックスを表し、ｉはゼロ以上である。
【0294】
６６．コンテキストモデリング関数ｆ（ａ０，ａ１，・・・，）は、最大関数又は最小関数である、例６５の方法。
【0295】
６７．パラメータａｉには、現在のサンプル又は係数、及び現在のブロックの少なくともいくつかの隣接ブロックをカバーするテンプレートが含まれる、例６５の方法。
【0296】
６８．パレットインデックスコーディングに関して、パレットインデックスは、コンテキストモデリング関数ｆ（ａ０，ａ１，・・・，）に基づいて、左パレットインデックス及び上（above）パレットインデックスを使用してコード化される、例６７の方法。
【0297】
６９．パレットインデックスコーディングに関して、パレットインデックスは、コンテキストモデリング関数ｆ（ａ０，ａ１，・・・，）に基づいて、左パレットインデックス及び上（above）パレットインデックスを使用してコード化される、例６７の方法。
【0298】
７０．パラメータａｉの順序が、現在のブロックに使用されるスキャン順序の関数である、例６５の方法。
【0299】
７１．１つ又は複数の復号化した係数が、コンバート中にコンテキストモデリングプロセスの構文要素を取得するために使用され、１つ又は複数の復号化した係数は、復号化順序又はスキャン順序に従って使用される、例１の方法。
【0300】
７２．構文要素には、コーディング符号（coding sign）フラグが含まれる、例７１の方法。
【0301】
７３．最新のＫ個の復号化した係数が使用され、Ｋは整数である、例７１の方法。
【0302】
７４．最新のＭ個の復号化した係数のうちのＫ個の復号化した係数が使用され、Ｋ及びＭは整数であり、ＭはＫよりも大きい、例７１の方法。
【0303】
７５．１つ又は複数の復号化した係数のいくつかが、ビットストリーム表現において構文要素を介して通知される、例７１の方法。
【0304】
７６．１つ又は複数の復号化した係数のいくつかが、予め規定される、例７１の方法。
【0305】
７７．１つ又は複数の復号化した係数のいくつかが、現在のブロックの復号化した情報に基づいて決定可能である、例７１の方法。
【0306】
７８．１つ又は複数の復号化した係数のいくつかが、復号化した残差係数の数に依存する、例７１の方法。
【0307】
７９．数はＳ又はＭの最小値であり、Ｓは復号化した残差係数の数であり、Ｍは固定数である、例７８の方法。
【0308】
８０．１つ又は複数の復号化した係数が、コンバート中にコンテキストモデリングプロセスの構文要素を取得するために使用され、１つ又は複数の復号化した係数は、予測方向に従って使用される、例１の方法。
【0309】
８１．構文要素には、コーディング符号フラグが含まれる、例８０の方法。
【0310】
８２．１つ又は複数の復号化した係数は、現在のブロックが垂直予測方向のブロック差分パルス符号変調（ＢＤＰＣＭ）コード化ブロックであることに応答して、現在のブロックの列と同じ列にある１つ又は複数の以前に復号化した係数である、例８０の方法。
【0311】
８３．１つ又は複数の復号化した係数は、現在のブロックが水平予測方向のブロック差分パルス符号変調（ＢＤＰＣＭ）コード化ブロックであることに応答して、現在のブロックの行と同じ行にある１つ又は複数の以前に復号化した係数である、例８０の方法。
【0312】
８４．１つ又は複数の復号化した係数は、現在のブロックが垂直予測方向のブロック差分パルス符号変調（ＢＤＰＣＭ）コード化ブロックであることに応答して、現在のブロックの行と同じ行にある１つ又は複数の以前に復号化した係数である、例８０の方法。
【0313】
８５．１つ又は複数の復号化した係数は、現在のブロックが水平予測方向のブロック差分パルス符号変調（ＢＤＰＣＭ）コード化ブロックであることに応答して、現在のブロックの列と同じ列にある１つ又は複数の以前に復号化した係数である、例８０の方法。
【0314】
８６．１つ又は複数の復号化した係数は、コンバート中にコンテキストモデリングプロセスの構文要素を取得するために使用され、構文要素の値は、現在のブロックの隣接ブロック情報に従って、又は選択したコンテキストに従って動的に設定される、例１の方法。
【0315】
８７．構文要素の値は、現在の係数の符号情報が、ビデオの以前にコード化した係数の符号情報の大部分と同じであるかどうかに基づく、例８６の方法。
【0316】
８８．隣接ブロックの大部分を表す選択したコンテキストが負であることに応答して、構文要素の値は、正の値を示すために１に等しく、構文要素の値は、負の値を示すためにゼロに等しい、例８６の方法。
【0317】
８９．隣接ブロックの大部分は、２つの隣接ブロックが負であることに応答して、又は１つの隣接ブロックが負であり、別の隣接ブロックがゼロに等しいことに応答して、負である、例８８の方法。
【0318】
９０．隣接ブロックの大部分を表す選択したコンテキストが正であることに応答して、構文要素の値は、正の値を示すためにゼロに等しく、構文要素の値は、負の値を示すために１に等しい、例８６の方法。
【0319】
９１．隣接ブロックの大部分は、２つの隣接ブロックが正であることに応答して、又は１つの隣接ブロックが正であり、別の隣接ブロックがゼロに等しいことに応答して、正である、例９０の方法。
【0320】
９２．隣接ブロックの大部分を表す選択したコンテキストが負であることに応答して、構文要素の値は、正の値を示すためにゼロに等しく、構文要素の値は、負の値を示すために１に等しい、例８６の方法。
【0321】
９３．隣接ブロックの大部分は、２つの隣接ブロックが負であることに応答して、又は１つの隣接ブロックが負であり、別の隣接ブロックがゼロに等しいことに応答して、負である、例９２の方法。
【0322】
９４．隣接ブロックの大部分を表す選択したコンテキストが正であることに応答して、構文要素の値は、正の値を示すために１に等しく、構文要素の値は、負の値を示すためにゼロに等しい、例８６の方法。
【0323】
９５．隣接ブロックの大部分は、２つの隣接ブロックが正であることに応答して、又は１つの隣接ブロックが正であり、別の隣接ブロックがゼロに等しいことに応答して、正である、例９４の方法。
【0324】
９６．レベルマッピング操作又はレベル再マッピング操作が現在のブロックに対して有効にされるかどうかが、ビデオユニットレベルで示される、例１～９５のいずれか１つの方法。
【0325】
９７．ビデオユニットには、タイル、ブリック、スライス、ピクチャ、サブピクチャ、シーケンス、ビューが含まれる、例９６の方法。
【0326】
９８．レベルマッピング操作又はレベル再マッピング操作が有効にされるかどうか、及びレベル再マッピング操作を有効にするプロセスが、シーケンスパラメータセット、ビューパラメータセット、適応パラメータセット、ピクチャパラメータセット、ピクチャヘッダ、又はスライスヘッダで通知される、例９６の方法。
【0327】
９９．レベルマッピング操作又はレベル再マッピング操作が有効にされるかどうか、及びレベルマッピング操作又はレベル再マッピング操作が有効化されるプロセスが、構文要素によって示される、例９６の方法。
【0328】
１００．構文要素は、ビデオに関連するビデオコンテンツが画面コンテンツであるかどうかを示す、例９９の方法。
【0329】
１０１．レベルマッピング操作又はレベル再マッピング操作が有効にされるかどうかが、現在のブロックのコーディング情報に基づく、例１～９５のいずれか１つの方法。
【0330】
１０２．コーディング情報には、現在のブロックのブロック寸法、スライスタイプ、ピクチャタイプ、時間層インデックス、ビデオコンテンツ、色成分、パーティション分割ツリータイプ、コード化モード、又は変換情報が含まれる、例１０１の方法。
【0331】
１０３．レベルマッピング操作又はレベル再マッピング操作は、現在のブロックの幅がＴ１以下であり、及び現在のブロックの高さがＴ２以下であることに応答して、有効にされる、例１０１の方法。
【0332】
１０４．レベルマッピング操作又はレベル再マッピング操作は、現在のブロックの幅がＴ１以下であるか、又は現在のブロックの高さがＴ２以下であることに応答して、有効にされる、例１０１の方法。
【0333】
１０５．レベルマッピング操作又はレベル再マッピング操作は、現在のブロックの幅×現在のビデオブロックの高さがＴ３以下であることに応答して、有効にされる、例１０１の方法。
【0334】
１０６．コンバートには、現在のブロックをビットストリーム表現に符号化することが含まれる、例１～１０７のいずれか１つの方法。
【0335】
１０７．コンバートには、ビットストリーム表現を復号化して現在のブロックのピクセル値を生成することが含まれる、例１～１０７のいずれか１つの方法。
【0336】
１０８．例１～１０７のうちの１つ又は複数に記載の方法を実施するように構成されたプロセッサを含むビデオ復号化機器。
【0337】
１０９．例１～１０７のうちの１つ又は複数に記載の方法を実施するように構成されたプロセッサを含むビデオ符号化機器。
【0338】
１１０．コンピュータコードを格納したコンピュータプログラム製品であって、そのコードがプロセッサによって実行されると、プロセッサに、例１～１０７のいずれかに記載の方法を実施させる。
【0339】
本文書で説明する本開示及び他の解決策、例、実施形態、モジュール、及び機能的動作は、本文書に開示される構造及びそれらの構造的均等物、或いはそれらの１つ又は複数の組合せを含む、デジタル電子回路、又はコンピュータソフトウェア、ファームウェア、又はハードウェアに実装することができる。開示した他の実施形態は、１つ又は複数のコンピュータプログラム製品、すなわち、データ処理機器による実行のために、又はデータ処理機器の動作を制御するためにコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ又は複数のモジュールとして実装することができる。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリ装置、機械可読伝播信号に影響を与える物質の組成物、又はそれらの１つ又は複数の組合せであり得る。「データ処理機器」という用語は、例えば、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ又はコンピュータを含む、データを処理するための全ての機器、装置、及びマシンを包含する。機器は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、或いはそれらの１つ又は複数の組合せを構成するコードを含むことができる。伝播される信号は、適切な受信機機器に送信するための情報を符号化するために生成される、人工的に生成される信号、例えば、マシンによって生成された電気、光、又は電磁信号である。
【0340】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル又は解釈された言語を含む任意の形式のプログラミング言語で書くことができ、スタンドアロンプログラム、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、又は他のユニットを含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応しているわけではない。プログラムは、他のプログラム又はデータを保持するファイルの一部（例えば、マークアップ言語ドキュメントに保存された１つ又は複数のスクリプト）、問題のプログラム専用の単一のファイル、又は複数の調整されたファイル（例えば、１つ又は複数のモジュール、サブプログラム、又はコードの一部を格納するファイル）に格納することができる。コンピュータプログラムは、１台のコンピュータ、又は複数のコンピュータで実行されるように展開でき、複数のコンピュータは、１つのサイトに配置されるか、複数のサイトに分散され、通信ネットワークによって相互接続される。
【0341】
本文書で説明するプロセス及び論理フローは、１つ又は複数のコンピュータプログラムを実行して、入力データを操作し、出力を生成することによって機能を実行する１つ又は複数のプログラム可能なプロセッサによって実行することができる。プロセス及び論理フローは、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）等の特殊用途の論理回路によって実行することもでき、機器を実装することもできる。
【0342】
コンピュータプログラムの実行に適したプロセッサには、例として、汎用目的のマイクロプロセッサと特殊目的のマイクロプロセッサとの両方、及び任意の種類のデジタルコンピュータの任意の１つ又は複数のプロセッサが含まれる。一般に、プロセッサは、読み取り専用メモリ又はランダムアクセスメモリ、或いはその両方から命令及びデータを受け取る。コンピュータの重要な要素は、命令を実行するためのプロセッサと、命令及びデータを格納するための１つ又は複数のメモリ装置である。一般に、コンピュータはまた、データを記憶するための１つ又は複数の大容量記憶装置、例えば、磁気、磁気光ディスク、又は光ディスクを含むか、又はデータを受信するか、又はデータを転送するか、或いはその両方に動作可能に結合される。しかしながら、コンピュータにそのような装置が必要なわけではない。コンピュータプログラムの命令及びデータを格納するのに適したコンピュータ可読媒体には、あらゆる形態の不揮発性メモリ、媒体及びメモリ装置が含まれ、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリ装置等の半導体メモリ装置；例えば、内蔵ハードディスク又はリムーバブルディスク等の磁気ディスク；光磁気ディスク；及びＣＤ ＲＯＭ及びＤＶＤ－ＲＯＭディスクが含まれる。プロセッサ及びメモリは、特別な目的の論理回路によって補完又は組み込むことができる。
【0343】
この特許文書は多くの詳細を含むが、これらは、主題の範囲又は特許請求の範囲の制限として解釈すべきではなく、むしろ特定の技術の特定の実施形態に固有であり得る特徴の説明として解釈すべきである。別個の実施形態の文脈でこの特許文書で説明している特定の特徴は、単一の実施形態において組み合わせて実施することもできる。逆に、単一の実施形態の文脈で説明した様々な特徴は、複数の実施形態で別々に、又は任意の適切なサブコンビネーションで実施することもできる。さらに、特徴は、特定の組合せで作用するものとして上で説明し、最初にそのように主張しても、主張した組合せからの１つ又は複数の特徴は、場合によっては組合せから切り出され得、主張した組合せは、サブコンビネーション又はサブコンビネーションの変形を対象とし得る。
【0344】
同様に、操作が特定の順序で図面に示されているが、これは、望ましい結果を達成するために、そのような操作が示される特定の順序又は連続した順序で実行されること、又は図示される全ての操作が実行されることを要求するものとして理解すべきではない。さらに、この特許文書で説明した実施形態における様々なシステムコンポーネントの分離は、全ての実施形態においてそのような分離を必要とするものとして理解すべきではない。
【0345】
少数の実施態様及び例のみを説明しており、他の実施態様、拡張、及び変形は、この特許文書に説明及び図示していることに基づいて行うことができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】