特許 7391199 映像コーディングツールのレベルベースシグナリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-24

(45)【発行日】2023-12-04

(54)【発明の名称】映像コーディングツールのレベルベースシグナリング

(51)【国際特許分類】

   H04N 19/70 20140101AFI20231127BHJP

   H04N 19/186 20140101ALI20231127BHJP

   H04N 19/103 20140101ALI20231127BHJP

   H04N 19/157 20140101ALI20231127BHJP

【ＦＩ】

H04N19/70

H04N19/186

H04N19/103

H04N19/157

【請求項の数】 12

(21)【出願番号】P 2022520782

(86)(22)【出願日】2020-10-09

(65)【公表番号】

(43)【公表日】2022-12-05

(86)【国際出願番号】 CN2020119912

(87)【国際公開番号】W WO2021063418

(87)【国際公開日】2021-04-08

【審査請求日】2022-04-04

(31)【優先権主張番号】PCT/CN2019/109837

(32)【優先日】2019-10-05

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(73)【特許権者】

【識別番号】520477474

【氏名又は名称】バイトダンス インコーポレイテッド

【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．

【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ザン，カイ

(72)【発明者】

【氏名】ザン，リー

(72)【発明者】

【氏名】リュウ，ホンビン

(72)【発明者】

【氏名】デン，ジピン

(72)【発明者】

【氏名】シュイ，ジィジォン

(72)【発明者】

【氏名】ワン，ユエ

【審査官】久保 光宏

(56)【参考文献】

【文献】国際公開第２０１７／１５１３４３（ＷＯ，Ａ１）

【文献】Benjamin Bross, et al.，"Versatile Video Coding (Draft 6)"，Document: JVET-O2001-vE, [online]，JVET-O2001 (version 14)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年07月31日，Pages 3-12,35-54,94-97,115,116,127,128，[令和5年4月17日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=7824> and <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O2001-v14.zip>.，(See document file "JVET-O2001-vE.docx" in the zip file "JVET-O2001-v14.zip".)

【文献】Benjamin Bross, et al.，"Versatile Video Coding (Draft 6)"，Document: JVET-O2001-vE, [online]，JVET-P0239 (version 1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年09月25日，Pages 37-40,45,46,95,96,108，[令和5年4月17日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=8028> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0239-v1.zip>.，(See document file "JVET-P0239.spec_text-v1.docx" in the zip file "JVET-P0239-v1.zip".)

【文献】Wade Wan, et al.，"AHG17: Picture Header"，Document: JVET-P0239-v1, [online]，JVET-P0239 (version 1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年09月25日，Pages 1-8，[令和5年4月17日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=8028> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0239-v1.zip>.，(See document file "JVET-P0239-v1.docx" in the zip file "JVET-P0239-v1.zip".)

【文献】Recommendation ITU-T H.264 (01/2012)，[online], ITU-T，2012年01月13日，Pages 19,20,42,43,72，[令和4年5月3日検索], インターネット, <URL: https://www.itu.int/rec/T-REC-H.264-201201-S/en>.

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

ＣＳＤＢ（日本国特許庁）

学術文献等データベース（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

映像データを処理する方法であって、
映像の映像ユニットと前記映像のビットストリームとの間での変換のために、第１のシンタックス要素及び第２のシンタックス要素を決定するステップと、
前記決定に基づいて前記変換を実行するステップと、
を有し、
前記第１のシンタックス要素と前記第２のシンタックス要素は等価な機能を持ち、
前記第１のシンタックス要素は、前記映像ユニットにおける第１レベルにて前記ビットストリームに含められ、前記第２のシンタックス要素は、前記映像ユニットにおける第２レベルにて前記ビットストリームに含められ、
前記第１レベルはピクチャヘッダであり且つ前記第２レベルはスライスヘッダ、シーケンスパラメータセット若しくはピクチャパラメータセットであり、又は、前記第１レベルはスライスヘッダであり且つ前記第２レベルはシーケンスパラメータセット若しくはピクチャパラメータセットであり、
前記第１のシンタックス要素は、ルママッピング及びクロマスケーリングを有するコーディングツールが有効にされるかを規定して前記スライスヘッダに含められ、前記第２のシンタックス要素は、前記コーディングツールが有効にされるかを規定して前記シーケンスパラメータセットに含められ、前記第２のシンタックス要素が前記シーケンスパラメータセットに含められないとき、前記第１のシンタックス要素は前記スライスヘッダに含められず、
クロマ残差のジョイントコーディングが有効にされるかを規定する第３のシンタックス要素が前記シーケンスパラメータセットに含められるかが、前記シーケンスパラメータセットのカラーフォーマットに依存する、
方法。

【請求項2】

前記第１のシンタックス要素は、明示的スケーリングリストの使用が有効にされるかを規定して前記スライスヘッダに含められ、前記第２のシンタックス要素は、前記明示的スケーリングリストの使用が有効にされるかを規定して前記シーケンスパラメータセットに含められ、
前記第２のシンタックス要素が前記シーケンスパラメータセットに含められないとき、前記第１のシンタックス要素は前記スライスヘッダに含められない、
請求項１に記載の方法。

【請求項3】

前記第１のシンタックス要素は、ＡＬＦが有効にされるかを規定して前記スライスヘッダに含められ、前記第２のシンタックス要素は、ＡＬＦが有効にされるかを規定して前記シーケンスパラメータセットに含められ、
前記第２のシンタックス要素が前記シーケンスパラメータセットに含められないとき、前記第１のシンタックス要素は前記スライスヘッダに含められない、
請求項１に記載の方法。

【請求項4】

前記第１のシンタックス要素は、フルペルのみのｍｍｖｄが有効にされるかを規定して前記ピクチャヘッダに含められ、前記第２のシンタックス要素は、フルペルのみのｍｍｖｄが有効にされるかを規定して前記シーケンスパラメータセットに含められ、
前記第２のシンタックス要素が前記シーケンスパラメータセットに含められないとき、前記第１のシンタックス要素は前記ピクチャヘッダに含められない、
請求項１に記載の方法。

【請求項5】

前記シーケンスパラメータセットのカラーフォーマットが４：０：０である場合、前記第３のシンタックス要素は前記シーケンスパラメータセットに含められず、前記シーケンスパラメータセットのカラーフォーマットが４：２：０、４：２：２、又は４：４：４である場合、前記第３のシンタックス要素は前記シーケンスパラメータセットに含められる、請求項１に記載の方法。

【請求項6】

クロマ残差のジョイントコーディングが有効にされることを前記第３のシンタックス要素が規定するとき、前記シーケンスパラメータセットとは異なるレベルで前記ビットストリーム内にjoint_cbcr_sign_flagが含められ、
クロマ残差のジョイントコーディングが有効にされないことを前記第３のシンタックス要素が規定するとき、前記ビットストリーム内に前記joint_cbcr_sign_flagは含められない、
請求項１に記載の方法。

【請求項7】

sps_explicit_mts_intra_enabled_flag及びsps_explicit_mts_inter_enabled_flagが存在するかを規定するsps_mts_enabled_flagが前記シーケンスパラメータセットに含められ、
複数変換選択ＭＴＳが全てのピクチャに対して無効にされるかを指し示す第４のシンタックス要素が前記ビットストリームに含められる、
請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

前記変換は、前記映像ユニットを前記ビットストリームへと符号化することを含む、請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

前記変換は、前記ビットストリームから前記映像ユニットを復号することを含む、請求項１乃至７のいずれか一項に記載の方法。

【請求項10】

プロセッサと、命令を有する非一時的なメモリと、を有する映像データを処理する装置であって、前記命令は、前記プロセッサによる実行を受けて、前記プロセッサに、
映像の映像ユニットと前記映像のビットストリームとの間での変換のために、第１のシンタックス要素及び第２のシンタックス要素を決定させ、
前記決定に基づいて前記変換を実行させ、
前記第１のシンタックス要素と前記第２のシンタックス要素は等価な機能を持ち、
前記第１のシンタックス要素は、前記映像ユニットにおける第１レベルにて前記ビットストリームに含められ、前記第２のシンタックス要素は、前記映像ユニットにおける第２レベルにて前記ビットストリームに含められ、
前記第１レベルはピクチャヘッダであり且つ前記第２レベルはスライスヘッダ、シーケンスパラメータセット若しくはピクチャパラメータセットであり、又は、前記第１レベルはスライスヘッダであり且つ前記第２レベルはシーケンスパラメータセット若しくはピクチャパラメータセットであり、
前記第１のシンタックス要素は、ルママッピング及びクロマスケーリングを有するコーディングツールが有効にされるかを規定して前記スライスヘッダに含められ、前記第２のシンタックス要素は、前記コーディングツールが有効にされるかを規定して前記シーケンスパラメータセットに含められ、前記第２のシンタックス要素が前記シーケンスパラメータセットに含められないとき、前記第１のシンタックス要素は前記スライスヘッダに含められず、
クロマ残差のジョイントコーディングが有効にされるかを規定する第３のシンタックス要素が前記シーケンスパラメータセットに含められるかが、前記シーケンスパラメータセットのカラーフォーマットに依存する、
装置。

【請求項11】

命令を格納した非一時的なコンピュータ読み取り可能記憶媒体であって、前記命令は、プロセッサに、
映像の映像ユニットと前記映像のビットストリームとの間での変換のために、第１のシンタックス要素及び第２のシンタックス要素を決定させ、
前記決定に基づいて前記変換を実行させ、
前記第１のシンタックス要素と前記第２のシンタックス要素は等価な機能を持ち、
前記第１のシンタックス要素は、前記映像ユニットにおける第１レベルにて前記ビットストリームに含められ、前記第２のシンタックス要素は、前記映像ユニットにおける第２レベルにて前記ビットストリームに含められ、
前記第１レベルはピクチャヘッダであり且つ前記第２レベルはスライスヘッダ、シーケンスパラメータセット若しくはピクチャパラメータセットであり、又は、前記第１レベルはスライスヘッダであり且つ前記第２レベルはシーケンスパラメータセット若しくはピクチャパラメータセットであり、
前記第１のシンタックス要素は、ルママッピング及びクロマスケーリングを有するコーディングツールが有効にされるかを規定して前記スライスヘッダに含められ、前記第２のシンタックス要素は、前記コーディングツールが有効にされるかを規定して前記シーケンスパラメータセットに含められ、前記第２のシンタックス要素が前記シーケンスパラメータセットに含められないとき、前記第１のシンタックス要素は前記スライスヘッダに含められず、
クロマ残差のジョイントコーディングが有効にされるかを規定する第３のシンタックス要素が前記シーケンスパラメータセットに含められるかが、前記シーケンスパラメータセットのカラーフォーマットに依存する、
コンピュータ読み取り可能記憶媒体。

【請求項12】

映像のビットストリームを格納する方法であって、
前記映像の映像ユニットについて、第１のシンタックス要素及び第２のシンタックス要素を決定するステップと、
前記決定に基づいて前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ読み取り可能記録媒体に格納するステップと、
を有し、
前記第１のシンタックス要素と前記第２のシンタックス要素は等価な機能を持ち、
前記第１のシンタックス要素は、前記映像ユニットにおける第１レベルにて前記ビットストリームに含められ、前記第２のシンタックス要素は、前記映像ユニットにおける第２レベルにて前記ビットストリームに含められ、
前記第１レベルはピクチャヘッダであり且つ前記第２レベルはスライスヘッダ、シーケンスパラメータセット若しくはピクチャパラメータセットであり、又は、前記第１レベルはスライスヘッダであり且つ前記第２レベルはシーケンスパラメータセット若しくはピクチャパラメータセットであり、
前記第１のシンタックス要素は、ルママッピング及びクロマスケーリングを有するコーディングツールが有効にされるかを規定して前記スライスヘッダに含められ、前記第２のシンタックス要素は、前記コーディングツールが有効にされるかを規定して前記シーケンスパラメータセットに含められ、前記第２のシンタックス要素が前記シーケンスパラメータセットに含められないとき、前記第１のシンタックス要素は前記スライスヘッダに含められず、
クロマ残差のジョイントコーディングが有効にされるかを規定する第３のシンタックス要素が前記シーケンスパラメータセットに含められるかが、前記シーケンスパラメータセットのカラーフォーマットに依存する、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０１９年１０月５日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／１０９８３７号の優先権及び利益を主張するものである２０２０年１０月９日に出願された国際特許出願ＰＣＴ／ＣＮ２０２０／１１９９１２号の国内移行出願である。上記出願の開示全体を、この出願の開示の一部として援用する。

【0002】

この特許文書は、映像コーティング技術、装置及びシステムに関する。

【背景技術】

【0003】

現在、より良い圧縮比を提供するため、又はより低い複雑さ若しくは並列化実装を可能にする映像符号化及び復号スキームを提供するために、現行のビデオコーデック技術の性能を向上させるための努力が進められている。産業界の専門家が最近、幾つかの新しい映像コーディングツールを提案しており、それらの有効性を判定するためのテストが現在進行中である。

【発明の概要】

【0004】

デジタル映像コーティング、そして具体的には、動きベクトルの管理に関係する装置、システム及び方法が記載される。記載される方法は、既存の映像符号化標準（例えば、ハイエフィシェンシビデオコーディング（High Efficiency Video Coding，ＨＥＶＣ）若しくはバーサタイルビデオコーディング（Versatile Video Coding））及び将来の映像符号化標準若しくはビデオコーデックに適用され得る。

【0005】

代表的な一態様において、開示される技術は、映像処理のための方法を提供するために使用され得る。この方法は、映像と該映像のビットストリーム表現との間での変換のために、該映像のカラーフォーマットに基づいて、ジョイントＣｂ－Ｃｒ残差コーディングツールの使用をシグナリングする方式を決定することを含む。この方法はまた、該決定に基づいて上変換を実行することを含む。

【0006】

代表的な他の一態様において、開示される技術は、映像処理のための方法を提供するために使用され得る。この方法は、映像と該映像のビットストリーム表現との間での変換を実行することを含む。当該ビットストリーム表現は、当該ビットストリーム表現内の第１の映像ユニットに第１のシンタックス要素が含められる場合に、第２の映像ユニット内の対応する第２のシンタックス要素が当該ビットストリーム表現に含められるかを規定するフォーマットルールに準拠する。

【0007】

代表的な他の一態様において、開示される技術は、映像処理のための方法を提供するために使用され得る。この方法は、映像の領域と該映像のビットストリーム表現との間での変換を実行することを含む。当該変換において、複数変換選択（ＭＴＳ）コーディングツールが上記領域の全てのブロックに対して無効にされるかを指し示す第１のシンタックス要素が上記ビットストリーム表現に含められる。

【0008】

代表的な他の一態様において、開示される技術は、映像処理のための方法を提供するために使用され得る。この方法は、映像と該映像のビットストリーム表現との間での変換のために、変換スキップモードでコーディングされるブロックの第１の最大ブロックサイズをシグナリングすることのルールを、変換コーディングされるブロックの第２の最大ブロックサイズに基づいて決定することを含む。この方法はまた、該決定に基づいて上記変換を実行することを含む。

【0009】

代表的な他の一態様において、開示される技術は、映像処理のための方法を提供するために使用され得る。この方法は、映像のクロマコンポーネントのブロックと該映像のビットストリーム表現との間での変換を、クロマブロックの最終的な予測が、パーティションに基づく重みを用いて該クロマブロックの複数の予測を混合することによって決定される分割モードコーディングツールを用いて実行することを含む。当該変換において、上記重みは、当該ブロックのクロマコンポーネントにおけるクロマサンプル位置のタイプに基づいて決定される。

【0010】

代表的な他の一態様において、開示される技術は、映像処理のための方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、参照ピクチャの解像度及び／又はサイズが現在映像ブロックの解像度及び／又はサイズと異なる場合、現在映像ブロックを用いて予測される一群の隣接又は非隣接サンプルに同一の補間フィルタが適用される。

【0011】

代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、参照ピクチャの解像度及び／又はサイズが現在映像ブロックの解像度及び／又はサイズと異なる場合、現在映像ブロックを用いて予測されるブロックは、現在ブロックに関係する整数値動き情報を用いることのみ許される。

【0012】

代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、参照ピクチャの解像度及び／又はサイズが現在映像ブロックの解像度及び／又はサイズと異なる場合、現在映像ブロックを用いて予測されるブロックを導出するために補間フィルタが適用され、該補間フィルタはルールに基づいて選択される。

【0013】

代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、参照ピクチャの解像度及び／又はサイズが現在映像ブロックの解像度及び／又はサイズと異なる場合、デブロッキングフィルタを選択的に適用し、該デブロッキングフィルタの強さが、現在映像ブロックの解像度及び／又はサイズに対する参照ピクチャの解像度及び／又はサイズに関係するルールに従って設定される。

【0014】

代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、現在映像ブロックの参照ピクチャが、現在映像ブロックの寸法に基づくルールに従ってリサンプリングされる。

【0015】

代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、現在映像ブロックへのコーディングツールの使用が、現在映像ブロックの解像度／サイズに対する現在映像ブロックの参照ピクチャの解像度／サイズに応じて選択的に有効又は無効にされる。

【0016】

代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、複数の映像ブロックと該複数の映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、第１の適合ウィンドウが第１の映像ブロックに対して画成され、第２の適合ウィンドウが第２の映像ブロックに対して画成され、第２の適合ウィンドウに対する第１の適合ウィンドウの幅及び／又は高さの比が、少なくとも適合ビットストリームに基づくルールに従う。

【0017】

代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、複数の映像ブロックと該複数の映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、第１の適合ウィンドウが第１の映像ブロックに対して画成され、第２の適合ウィンドウが第２の映像ブロックに対して画成され、第２の適合ウィンドウに対する第１の適合ウィンドウの幅及び／又は高さの比が、少なくとも適合ビットストリームに基づくルールに従う。

【0018】

さらに、代表的な一態様において、プロセッサと、命令を有する非一時的なメモリと、を有する映像システム内の装置が開示される。当該命令は、当該プロセッサによる実行を受けて、当該プロセッサに、開示される方法のうちのいずれか１つ以上を実行させる。

【0019】

代表的な一態様において、ここに記載される方法を実装するように構成されたプロセッサを有する映像復号装置が開示される。

【0020】

代表的な一態様において、ここに記載される方法を実装するように構成されたプロセッサを有する映像符号化装置が開示される。

【0021】

また、非一時的なコンピュータ読み取り可能媒体に格納されたコンピュータプログラムプロダクトであって、開示される方法のうちの１つ以上を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。

【0022】

開示される技術の上述の及び他の態様及び特徴が、図面、明細書、及び特許請求の範囲に更に詳細に記載される。

【図面の簡単な説明】

【0023】

【図1】サブブロック動きベクトル（ＶＳＢ）及び動きベクトル差の一例を示している。

【図2】１６個の４×４領域に分割された１６×１６映像ブロックの一例を示している。

【図3A】サンプル内の特定の位置の一例を示している。

【図3B】サンプル内の特定の位置の他の一例を示している。

【図3C】サンプル内の特定の位置の更なる他の一例を示している。

【図4A】現在サンプル及びその参照サンプルの位置の一例を示している。

【図4B】現在サンプル及びその参照サンプルの位置の他の一例を示している。

【図5】本文書に記載されるビジュアルメディア復号又はビジュアルメディア符号化技術を実装するためのハードウェアプラットフォームの一例のブロック図である。

【図6】映像コーディングのための方法の一例のフローチャートを示している。

【図7】開示される技術が実装され得る映像処理システムの一例のブロック図である。

【図8】映像コーティングシステムの一例を示すブロック図である。

【図9】本開示の一部の実施形態に従ったエンコーダを示すブロック図である。

【図10】本開示の一部の実施形態に従ったデコーダを示すブロック図である。

【図11】本技術に従ったよる映像処理の一方法のフローチャート表現である。

【図12】本技術に従ったよる映像処理の他の一方法のフローチャート表現である。

【図13】本技術に従ったよる映像処理の他の一方法のフローチャート表現である。

【図14】本技術に従ったよる映像処理の他の一方法のフローチャート表現である。

【図15】本技術に従ったよる映像処理の更なる他の一方法のフローチャート表現である。

【発明を実施するための形態】

【0024】

１． ＨＥＶＣ／Ｈ．２６５における映像符号化
映像符号化標準は、主に、周知のＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ標準の開発を通じて発展してきた。ＩＴＵ－ＴがＨ．２６１及びＨ．２６３を作成し、ＩＳＯ／ＩＥＣがＭＰＥＧ－１及びＭＰＥＧ－４ Ｖｉｓｕａｌを作成出し、そして、これら２つの組織が共同で、Ｈ．２６２／ＭＰＥＧ－２ Ｖｉｄｅｏ及びＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）及びＨ．２６５／ＨＥＶＣ標準を作成した。Ｈ．２６２以来、映像符号化標準は、時間予測に加えて変換符号化が利用されるハイブリッド映像符号化構造に基づいている。ＨＥＶＣの先の将来の映像符号化技術を探求するため、２０１５年にＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Joint Video Exploration Team）を設立した。それ以来、数多くの新しい方法が、ＪＶＥＴによって採用され、共同探索モデルＪＥＭ（Joint Exploration Model）と名付けられたリファレンスソフトウェアに入れられてきた。２０１８年４月には、ＨＥＶＣと比較して５０％のビットレート低減を目指すＶＶＣ標準に取り組むべく、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）との間でＪＶＥＴ（Joint Video Expert Team）を発足させた。

【0025】

２． 概説
２．１． 適応解像度変更（Adaptive Resolution Change；ＡＲＣ）
ＡＶＣ及びＨＥＶＣは、ＩＤＲ又はイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを導入する必要なしに解像度を変更する能力を持っておらず、そのような能力は、適応解像度変更（ＡＲＣ）と称され得る。以下を含めて、ＡＲＣ機能の恩恵を受けるユースケース又は適用シナリオが存在する。

【0026】

－ ビデオ電話及び会議におけるレート適応。変化するネットワーク状態に対して、コーディングされる映像を適応させるため、ネットワーク状態が悪化して利用可能な帯域幅が小さくなるときに、エンコーダは、より低解像度のピクチャを符号化することによって、それに適応し得る。現在、ピクチャ解像度を変えることは、ＩＲＡＰピクチャの後にしか行うことができず、これは幾つかの問題を有する。妥当な品質のＩＲＡＰピクチャは、インター符号化ピクチャよりも遥かに大きく、それに対応して、復号するのがいっそう複雑になり、時間及びリソースのコストがかかる。このことは、ローディングの理由でデコーダによって解像度変更が要求される場合に問題となる。それはまた、低遅延のバッファ条件を破壊してオーディオ再同期を強制し得るとともに、ストリームのエンド・ツー・エンド遅延が少なくとも一時的に増加することになる。これは、乏しいユーザ体験を与え得る。

【0027】

－ マルチパーティビデオ会議におけるアクティブスピーカ変化。マルチパーティビデオ会議では、アクティブスピーカが、残りの会議参加者に対する映像よりも大きい映像サイズで示されることが一般的である。アクティブスピーカが変わるとき、各参加者に対するピクチャ解像度も調節される必要があり得る。ＡＲＣ機能を持つことの必要性は、アクティブスピーカのそのような変化が頻繁に発生する場合にいっそう重要になる。

【0028】

－ ストリーミングにおける高速スタート。ストリーミングアプリケーションでは、表示を始める前に、アプリケーションが、ある一定長さの復号ピクチャに至るまでバッファリングするのが一般的である。より低い解像度でビットストリームを始めることは、アプリケーションが、より速く表示を開始するのに十分なピクチャをバッファ内に持つことを可能にする。

【0029】

－ ストリーミングにおける適応ストリームスイッチング。ダイナミックアダプティブストリーミング・オーバ・ＨＴＴＰ（ＤＡＳＨ）仕様は、＠ｍｅｄｉａＳｔｒｅａｍＳｔｒｕｃｔｕｒｅＩｄという名称の機能を含んでいる。これは、例えばＨＥＶＣにおける関連ＲＡＳＬピクチャを伴うＣＲＡピクチャといった、復号不可能なリーディングピクチャを有するオープンＧＯＰランダムアクセスポイントで、異なる表現間での切り換えを可能にする。同じ映像の２つの異なる表現が異なるビットレートを持つが、空間分解能は同じで、それらが同じ値の＠ｍｅｄｉａＳｔｒｅａｍＳｔｒｕｃｔｕｒｅＩｄを持つとき、関連ＲＡＳＬピクチャを伴うＣＲＡピクチャにて２つの表現間の切り換えを行うことができ、切り換え位置のＣＲＡピクチャに伴うＲＡＳＬピクチャを許容可能な品質で復号することができ、それ故にシームレスな切り換えを可能にする。ＡＲＣを用いることで、＠ｍｅｄｉａＳｔｒｅａｍＳｔｒｕｃｔｕｒｅＩｄ機能はまた、異なる空間解像度を持つＤＡＳＨ表現間での切り換えにも使用できる。

【0030】

ＡＲＣはダイナミック解像度変換としても知られている。

【0031】

ＡＲＣはまた、例えばＨ．２６３付属書Ｐなどの参照ピクチャリサンプリング（Reference Picture Resampling；ＲＰＲ）の特殊なケースと見なすこともできる。

【0032】

２．２． Ｈ．２６３付属書Ｐにおける参照ピクチャリサンプリング
このモードは、予測のために使用する前に参照ピクチャをワープさせるアルゴリズムを記述する。これは、予測されているピクチャとは異なるソースフォーマットを持つ参照ピクチャをリサンプリングするのに有用であり得る。これはまた、参照ピクチャの形状、サイズ、及び位置をワープさせることによって、グローバル動き推定又は回転運動の推定に使用されることができる。使用されるワープパラメータ及びリサンプリングアルゴリズをシンタックスが含む。参照ピクチャリサンプリングモードの最も単純な動作レベルは、アップサンプリング及びダウンサンプリングプロセスにＦＩＲフィルタを適用すればよいときの黙示的なファクタ４のリサンプリングである。この場合、その使用は、新たなピクチャのサイズ（ピクチャヘッダにて示される）が先行ピクチャのサイズと異なるときに理解されるので、追加のシグナリングオーバヘッドは必要とされない。

【0033】

２．３． ＶＶＣにおける適合ウィンドウ（Conformance Window）
ＶＶＣにおける適合ウィンドウは矩形を定めている。適合ウィンドウの内側のサンプルは関心画像に属する。適合ウィンドウの外側のサンプルは出力時に破棄され得る。

【0034】

適合ウィンドウが適用されるとき、ＲＰＲにおけるスケーリング比は適合ウィンドウに基づいて導出される。
ピクチャパラメータセットＲＢＳＰシンタックス
（外１）

【0035】

２．４． 参照ピクチャリサンプリング（ＲＰＲ）
一部の実施形態において、ＡＲＣは、参照ピクチャリサンプリング（ＲＰＲ）としても知られている。ＲＰＲでは、コロケートピクチャが現在ピクチャと異なる解像度を持つ場合に、ＴＭＶＰが無効にされる。その他に、参照ピクチャが現在ピクチャと異なる解像度を持つ場合に、ＢＤＯＦ及びＤＭＶＲが無効にされる。

【0036】

参照ピクチャが現在ピクチャとは異なる解像度を持つ場合に通常のＭＣを扱うために、補間セクションが以下のように定義される：

８．５．６．３ 分数サンプル補間プロセス
８．５．６．３．１ 全般
このプロセスへの入力は以下である：
－ 現在ピクチャの左上ルマサンプルに対して現在コーディングサブブロックの左上サンプルを規定するルマ位置（xSb，ySb）、
－ 現在コーディングサブブロックの幅を規定する変数sbWidth、
－ 現在コーディングサブブロックの高さを規定する変数sbHeight、
－ 動きベクトルオフセットmvOffset、
－ 精緻化動きベクトルrefMvLX、
－ 選択された参照ピクチャサンプルアレイrefPicLX、
－ ハーフサンプル補間フィルタインデックスhpelIfIdx、
－ 双方向オプティカルフローフラグbdofFlag、
－ 現在ブロックのカラー成分インデックスを規定する変数cIdx。
このプロセスの出力は以下である：
－ 予測サンプル値の（sbWidth＋brdExtSize）×（sbHeight＋brdExtSize）配列predSamplesLX。
予測ブロック境界拡張サイズbrdExtSizeは、次のように導出される：
brdExtSize=(bdofFlag||(inter_affine_flag[xSb][ySb]&&sps_affine_prof_enabled_flag))?2:0 (8-752)
変数fRefWidthは、ルマサンプル単位で参照ピクチャのPicOutputWidthLに等しく設定される。
変数fRefHeightは、ルマサンプル単位で参照ピクチャのPicOutputHeightLに等しく設定される。
動きベクトルmvLXは、（refMvLX－mvOffset）に等しく設定される。
－ cIdxが０に等しい場合、以下が適用される：
－ スケーリング係数及びそれらの固定小数点表現が、次のように定義される
hori_scale_fp=((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL (8-753)
vert_scale_fp=((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightL (8-754)
－ （xIntL，yIntL）をフルサンプル単位で与えられるルマ位置とし、（xFracL，yFracL）を１／１６サンプル単位で与えられるオフセットとする。これらの変数は、参照サンプル配列refPicLXの内側の分数サンプル位置を規定するためにこの節でのみ使用される；
－ 参照サンプルパディングのための境界ブロックの左上座標（xSbInt_L，ySbInt_L）が、（xSb＋（mvLX［０］＞＞４），ySb＋（mvLX［１］＞＞４））に等しく設定される；
－ 予測ルマサンプル配列preSamplesLXの内側の各ルマサンプル位置（ｘ_Ｌ＝０．．sbWidth－１＋brdExtSize，ｙ_Ｌ＝０．．sbHeight－１＋brdExtSize）について、対応する予測ルマサンプル値preSamplesLX［ｘ_Ｌ］［ｙ_Ｌ］が、次のように導出される：
－ （refxSb_L，refySb_L）及び（refx_L，refy_L）を、１／１６サンプル単位で与えられる動きベクトル（refMvLX[0]，refMvLX[1]）によって指されるルマ位置とする。変数refxSb_L、refx_L、refySb_L、及びrefy_Lは、次のように導出される：
refxSb_L=((xSb<<4)+refMvLX[0])*hori_scale_fp (8-755)
refx_L=((Sign(refxSb)*((Abs(refxSb)+128)>>8)
+x_L*((hori_scale_fp+8)>>4))+32)>>6 (8-756)
refySb_L=((ySb<<4)+refMvLX[1])*vert_scale_fp (8-757)
refy_L=((Sign(refySb)*((Abs(refySb)+128)>>8)+y_L*
((vert_scale_fp+8)>>4))+32)>>6 (8-758)
－ 変数xInt_L、yInt_L、xFrac_L、及びyFrac_Lは、次のように導出される：
xInt_L=refx_L>>4 (8-759)
yInt_L=refy_L>>4 (8-760)
xFrac_L=refx_L&15 (8-761)
yFrac_L=refy_L&15 (8-762)
－ bdofFlagがTRUEに等しく又は（sps_affine_prof_enabled_flagがTRUEに等しく且つinter_affine_flag[xSb][ySb]がTRUEに等しく）、且つ以下の条件のうち１つ以上が真である場合、第８．５．６．３．３節に規定されるルマ整数サンプルフェッチングプロセスを、（xInt_L＋（xFrac_L＞＞３）－１），yInt_L＋（yFrac_L＞＞３）－１）及びrefPicLXを入力として呼び出すことによって、予測ルマサンプル値preSamplesLX[x_L][y_L]が導出される：
－ ｘ_Ｌが０に等しい
－ ｘ_ＬがsbWidth＋１に等しい
－ ｙ_Ｌが０に等しい
－ ｙ_ＬがsbHeight＋１に等しい；
－ そうでない場合、第８．５．６．３．２節に規定されるルマサンプル８タップ補間フィルタリングプロセスを、（xIntL-（brdExtSize＞０？ １：０），yIntL-（brdExtSize＞０？ １：０））、（xFracL，yFracL）、（xSbInt_L，ySbInt_L）、refPicLX、hpelIfIdx、sbWidth、sbHeight、及び（xSb，ySb）を入力として呼び出すことによって、予測ルマサンプル値preSamplesLX[x_L][y_L]が導出される；
－ それ以外の場合（cIdxが０に等しくない）、以下が適用される：
－ （xIntC，yIntC）をフルサンプル単位で与えられるクロマ位置とし、（xFracC，yFracC）を１／３２サンプル単位で与えられるオフセットとする。これらの変数は、参照サンプル配列refPicLXの内側の一般的な分数サンプル位置を規定するためにこの節でのみ使用される；
－ 参照サンプルパディングのための境界ブロックの左上座標（xSbIntC，ySbIntC）が、（（xSb／SubWidthC）＋（mvLX［０］＞＞５），（ySb／SubHeightC）＋（mvLX［１］＞＞５））に等しく設定される；
－ 予測クロマサンプル配列preSamplesLXの内側の各クロマサンプル位置（xC＝０．．sbWidth－１，yC＝０．．sbHeight－１）について、対応する予測クロマサンプル値preSamplesLX［xC］［yC］が、次のように導出される：
－ （refxSbC，refySbC）及び（refxC，refyC）を、１／３２サンプル単位で与えられた動きベクトル（mvLX[0]、mvLX[1]）によって指されるクロマ位置とする。変数refxSb_C、refySb_C、refx_C、及びrefy_Cが、次のように導出される：
refxSb_C=((xSb/SubWidthC<<5)+mvLX[0])*hori_scale_fp (8-763)
refx_C=((Sign(refxSbC)*((Abs(refxSbC)+256)>>9)
+xC*((hori_scale_fp+8)>>4))+16)>>5 (8-764)
refySb_C=((ySb/SubHeightC<<5)+mvLX[1])*vert_scale_fp (8-765)
refy_C=((Sign(refySbC)*((Abs(refySbC)+256)>>9)
+yC*((vert_scale_fp+8)>>4))+16)>>5 (8-766)
－ 変数xInt_C、yInt_C、xFrac_C、及びyFrac_Cが、次のように導出される：
xInt_C=refxC>>5 (8-767)
yInt_C=refyC>>5 (8-768)
xFrac_C=refyC&31 (8-769)
yFrac_C=refyC&31 (8-770)
－ ８．５．６．３．４節に規定されるプロセスを、（xIntC，yIntC）、（xFracC，yFracC）、（xSbIntC，ySbIntC）、sbWidth、sbHeight、及びrefPicLXを入力として呼び出すことによって、予測サンプル値preSamplesLX［xC］［yC］が導出される；

８．５．６．３．２ ルマサンプル補間フィルタリングプロセス
このプロセスへの入力は以下である：
－ フルサンプル単位のルマ位置（xInt_L，yInt_L）、
－ 分数サンプル単位のルマ位置（xFrac_L，yFrac_L）、
－ 参照ピクチャの左上のルマサンプルに対して、参照サンプルパディングのための境界ブロックの左上サンプルを規定する、フルサンプル単位のルマ位置（xSbInt_L，ySbInt_L）、
－ ルマ参照サンプル配列refPicLX_L、
－ ハーフサンプル補間フィルタインデックスhpelIfIdx、
－ 現在サブブロックの幅を規定する変数sbWidth、
－ 現在サブブロックの高さを規定する変数sbHeight、
－ 現在ピクチャの左上ルマサンプルに対して現在サブブロックの左上サンプルを規定するルマ位置（xSb，ySb）；
このプロセスの出力は、予測ルマサンプル値preSampleLX_Lである；
変数shift1、shift2、及びshift3が、次のように導出される：
－ 変数shift1はＭｉｎ（４，BitDepth_Y－８）に等しく設定され、変数shift2は６に等しく設定され、変数shift3はＭａｘ（２，１４－BitDepth_Y）に等しく設定される；
－ 変数picWがpic_width_in_luma_samplesに等しく設定され、変数picHがpic_height_in_luma_samplesに等しく設定される；
xFrac_L又はyFrac_Lに等しい各１／１６分数サンプル位置ｐに対するルマ補間フィルタ係数ｆ_Ｌ［ｐ］が、次のように導出される：
－ MotionModelIdc［xSb］［ySb］が０より大きく、且つsbWidth及びsbHeightが両方とも４に等しい場合、ルマ補間フィルタ係数ｆ_Ｌ［ｐ］は表２で規定される；
－ そうでない場合、ルマ補間フィルタ係数ｆ_Ｌ［ｐ］はhpelIfIdxに応じて表１で規定される；
フルサンプル単位のルマ位置（xInt_i，yInt_i）が、ｉ＝０．．７に対して次のように導出される：
－ subpic_treated_as_pic_flag［SubPicIdx］が１に等しい場合、以下が適用される：
xInt_i=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xInt_L+i-3)
(8-771)
yInt_i=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yInt_L+i-3)
(8-772)
－ そうでない場合（subpic_treated_as_pic_flag［SubPicIdx］が０に等しい）場合、以下が適用される：
xInt_i=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xInt_L+i-3:
xInt_L+i-3) (8-773)
yInt_i=Clip3(0,picH-1,yInt_L+i-3) (8-774)
フルサンプルユニットのルマの位置は更に、ｉ＝０．．７に対して、次のように変更される：
xInt_i=Clip3(xSbInt_L-3,xSbInt_L+sbWidth+4,xInt_i) (8-775)
yInt_i=Clip3(ySbInt_L-3,ySbInt_L+sbHeight+4,yInt_i) (8-776)
予測ルマサンプル値presampleLX_Lが、次のように導出される：
－ xFrac_L及びyFrac_Lの両方が０に等しい場合、predSampleLX_Lの値は次のように導出される：
predSampleLX_L=refPicLXL[xInt3][yInt3]<<shift3 (8-777)
－ そうでなく、xFrac_Lが０に等しくなく且つyFrac_Lが０に等しい場合、predSampleLX_Lの値は次のように導出される：

【数1】

－ そうでなく、xFrac_Lが０に等しく且つyFrac_Lが０に等しくない場合、predSampleLX_Lの値は次のように導出される：

【数2】

－ そうでなく、xFrac_Lが０に等しくなく且つyFrac_Lが０に等しくない場合、predSampleLX_Lの値は次のように導出される：
－ ｎ＝０．．７のサンプル配列temp［ｎ］が、次のように導出される：

【数3】

－ 予測ルマサンプル値predSampleLX_Lが、次のように導出される：

【数4】

【表1】

【表2】

８．５．６．３．３ ルマ整数サンプルフェッチングプロセス
このプロセスへの入力は以下である：
－ フルサンプル単位のルマ位置（xInt_L，yInt_L）、
－ ルマ参照サンプル配列refPicLX_L
このプロセスの出力は予測ルマサンプル値preSampleLX_Lである；
変数shiftがＭａｘ（２，１４－BitDepth_Y）に等しく設定される；
変数picWがpic_width_in_luma_samplesに等しく設定され、変数picHがpic_height_in_luma_samplesに等しく設定される；
フルサンプル単位のルマ位置（xInt，yInt）が、次のように導出される：
xInt=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag? (8-782)
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xInt_L):xIntL)
yInt=Clip3(0,picH-1,yInt_L) (8-783)
予測ルマサンプル値predSampleLXLが、次のように導出される：
predSampleLX_L=refPicLX_L[xInt][yInt]<<shift3 (8-784)

８．５．６．３．４ クロマサンプル補間プロセス
このプロセスへの入力は以下である：
－ フルサンプル単位のクロマ位置（xInt_C，yInt_C）、
－ １／３２分数サンプル単位のクロマ位置（xFrac_C，yFrac_C）、
－ 参照ピクチャの左上クロマサンプルに対して参照サンプルパディングのための境界ブロックの左上サンプルを規定するフルサンプル単位のクロマ位置（xSbIntC，ySbIntC）、
－ 現在サブブロックの幅を規定する変数sbWidth、
－ 現在サブブロックの高さを規定する変数sbHight、
－ クロマ参照サンプル配列refPicLX_C；
このプロセスの出力は予測クロマサンプル値predSampleLX_Cである；
変数shift1、shift2、及びshift3が、次のように導出される：
－ 変数shift1はＭｉｎ（４，BitDepth_C－８）に等しく設定され、変数shift2は６に等しく設定され、変数shift3はＭａｘ（２，１４－BitDepth_C）に等しく設定される；
－ 変数picW_Cがpic_width_in_luma_samples／SubWidthCに等しく設定され、変数picH_Cがpic_height_in_luma_samples／SubHeightCに等しく設定される；
xFrac_C又はyFrac_Cに等しい各１／３２分数サンプル位置ｐに対するクロマ補間フィルタ係数ｆ_Ｃ［ｐ］は、表３で規定される；
変数xOffsetが、（（sps_ref_wrapavarunce_offset_minus1＋１）＊MinCbSizeY）／SubWidthCに等しく設定される；
フルサンプル単位のクロマ位置（xInt_i，yInt_i）が、ｉ＝０．．３に対して、次のように導出される：
－ subpic_treated_as_pic_flag［SubPicIdx］が１に等しい場合、以下が適用される：
xInt_i=Clip3(SubPicLeftBoundaryPos/SubWidthC,
SubPicRightBoundaryPos/SubWidthC,xInt_L+i) (8-785)
yInt_i=Clip3(SubPicTopBoundaryPos/SubHeightC,
SubPicBotBoundaryPos/SubHeightC,yInt_L+i) (8-786)
－ そうでない場合（subpic_treated_as_pic_flag［subPicIdx］が０に等しい）、以下が適用される：
xInt_i=Clip3(0,picW_C-1,sps_ref_wraparound_enabled_flag?
ClipH(xOffset,picW_C,xInt_C+i-1):xInt_C+i-1) (8-787)
yInt_i=Clip3(0,picH_C-1,yInt_C+i-1) (8-788)
フルサンプル単位のクロマ位置（xInt_i，yInt_i）が更に、ｉ＝０．．３に対して、次のように変更される：
xInt_i=Clip3(xSbIntC-1,xSbIntC+sbWidth+2,xInt_i) (8-789)
yInt_i=Clip3(ySbIntC-1,ySbIntC+sbHeight+2,yInt_i) (8-790)
予測クロマサンプル値presampleLX_Cが、次のように導出される：
－ xFrac_C及びyFrac_Cの両方が０に等しい場合、predSampleLX_Cの値は次のように導出される：
predSampleLX_C=refPicLX_C[xInt₁][yInt₁]<<shift3 (8-791)
－ そうでなく、xFrac_Cが０に等しくなく且つyFrac_Cが０に等しい場合、predSampleLX_Cの値は次のように導出される：

【数5】

－ そうでなく、xFrac_Cが０に等しく且つyFrac_Cが０に等しくない場合、predSampleLX_Cの値は次のように導出される：

【数6】

－ そうでなく、xFrac_Cが０に等しくなく且つyFrac_Cが０に等しくない場合、predSampleLX_Cの値は次のように導出される：
－ ｎ＝０．．３のサンプル配列temp［ｎ］が、次のように導出される：

【数7】

－ 予測クロマサンプル値predSampleLX_Cが、次のように導出される：
predSampleLX_C=(f_C[yFrac_C][0]*temp[0]+f_C[yFrac_C][1]*temp[1]+
f_C[yFrac_C][2]*temp[2]+f_C[yFrac_C][3]*temp[3])>>shift2
(8-795)

【表3】

【0037】

２．５． 精緻化サブブロックベースアフィン動き補償予測
ここに開示される技術は、オプティカルフローを用いてサブブロックベースアフィン動き補償予測を精緻化する方法を含む。サブブロックベースアフィン動き補償が実行された後、予測サンプルが、オプティカルフロー方程式によって導出された差分を付えることによって精緻化され、これを、オプティカルフローでの予測精緻化（prediction refinement with optical flow；ＰＲＯＦ）と呼ぶ、提案する方法は、メモリアクセス帯域幅を増加させることなく、ピクセルレベル粒度でインター予測を達成することができる。

【0038】

動き補償のより細かい粒度を達成するために、この寄稿は、オプティカルフローを用いてサブブロックベースアフィン動き補償予測を精緻化する方法を提案する。サブブロックベースアフィン動き補償が実行された後、オプティカルフロー方程式によって導出された差分を付えることによって、ルマ予測サンプルが精緻化される。提案するＰＲＯＦ（prediction refinement with optical flow）は、以下の４つのステップとして記述される。

【0039】

ステップ１） サブブロックベースアフィン動き補償を実行して、サブブロック予測Ｉ（ｉ，ｊ）を生成する。

【0040】

ステップ２） 各サンプル位置で３タップフィルタ［－１，０，１］を用いて、サブブロック予測の空間勾配ｇ_ｘ（ｉ，ｊ）及びｇ_ｙ（ｉ，ｊ）を計算する：
ｇ_ｘ（ｉ，ｊ）＝Ｉ（ｉ＋１，ｊ）－Ｉ（ｉ－１，ｊ）
ｇ_ｙ（ｉ，ｊ）＝Ｉ（ｉ，ｊ＋１）－Ｉ（ｉ，ｊ－１）
この勾配計算のために、サブブロック予測がサイドごと１ピクセルだけ拡張される。メモリ帯域幅及び複雑さを抑制するために、拡張される境界上のピクセルは、参照ピクチャ内の最も近い整数ピクセル位置からコピーされる。従って、パディング領域のための追加の補間は回避される。

【0041】

ステップ３） オプティカルフロー方程式によってルマ予測精緻化（ΔＩと表記）：
ΔＩ（ｉ，ｊ）＝ｇ_ｘ（ｉ，ｊ）＊Δｖ_ｘ（ｉ，ｊ）＋ｇ_ｙ（ｉ，ｊ）＊Δｖ_ｙ（ｉ，ｊ）
が計算され、ここで、デルタＭＶ（Δｖ（ｉ，ｊ）と表記）は、図１に示すように、サンプル位置（ｉ，ｊ）について計算されたピクセルＭＶ（ｖ（ｉ，ｊ）と表記）と、ピクセル（ｉ，ｊ）が属するサブブロックのサブブロックＭＶとの間の差分である。

【0042】

アフィンモデルパラメータ及びサブブロック中心に対するピクセル位置はサブブロックごとに変化されないので、最初のサブブロックについてΔｖ（ｉ，ｊ）を計算し、それを同一ＣＵ内の他のサブブロックに対して再利用することができる。ピクセル位置からサブブロックの中心までの水平方向及び垂直方向のオフセットをｘ及びｙとすると、Δｖ（ｘ，ｙ）を、次式：

【数8】

によって導出することができる。
４パラメータアフィンモデルでは、

【数9】

であり、
６パラメータアフィンモデルでは、

【数10】

であり、ここで、（ｖ_０ｘ，ｖ_０ｙ）、（ｖ_１ｘ，ｖ_１ｙ）、（ｖ_２ｘ，ｖ_２ｙ）は、左上、右上、及び左下の制御点（コントロールポイント）動きベクトルであり、ｗ及びｈはＣＵの幅及び高さである。

【0043】

ステップ４） 最後に、このルマ予測精緻化がサブブロック予測Ｉ（ｉ，ｊ）に足し合わされる。最終的な予測Ｉ’が、次式：
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＋ΔＩ（ｉ，ｊ）
として生成される。

【0044】

以下、一部詳細を説明する。

【0045】

ａ） ＰＲＯＦのための勾配導出方法
一部の実施形態において、勾配は、各参照リストについてサブブロック（ＶＴＭ－４．０における４×４サブブロック）ごとに計算される。各サブブロックについて、参照ブロックの最も近い整数サンプルをフェッチして、サンプルの４辺の外側のラインをパディングする。

【0046】

現在サブブロックについてのＭＶを（ＭＶｘ，ＭＶｙ）とする。次いで、（ＦｒａｃＸ，ＦｒａｃＹ）＝（ＭＶｘ＆１５，ＭＶｙ＆１５）として分数部分が計算される。整数部分は（ＩｎｔＸ，ＩｎｔＹ）＝（ＭＶｘ＞＞４， ＭＶｙ＞＞４）として計算される。オフセット（ＯｆｆｓｅｔＸ，ＯｆｆｓｅｔＹ）が：
ＯｆｆｓｅｔＸ＝ＦｒａｃＸ＞７？ １：０；
ＯｆｆｓｅｔＹ＝ＦｒａｃＹ＞７？ １：０；
として導出される。

【0047】

現在サブブロックの左上座標が（ｘＣｕｒ，ｙＣｕｒ）であり、現在サブブロックの寸法がＷ×Ｈであるとする。次いで、（ｘＣｏｒ０，ｙＣｏｒ０）、（ｘＣｏｒ１，ｙＣｏｒ１）、（ｘＣｏｒ２，ｙＣｏｒ２）、及び（ｘＣｏｒ３，ｙＣｏｒ３）が：
（ｘＣｏｒ０，ｙＣｏｒ０）＝（ｘＣｕｒ＋ＩｎｔＸ＋ＯｆｆｓｅｔＸ－１，
ｙＣｕｒ＋ＩｎｔＹ＋ＯｆｆｓｅｔＹ－１）；
（ｘＣｏｒ１，ｙＣｏｒ１）＝（ｘＣｕｒ＋ＩｎｔＸ＋ＯｆｆｓｅｔＸ－１，
ｙＣｕｒ＋ＩｎｔＹ＋ＯｆｆｓｅｔＹ＋Ｈ）；
（ｘＣｏｒ２，ｙＣｏｒ２）＝（ｘＣｕｒ＋ＩｎｔＸ＋ＯｆｆｓｅｔＸ－１，
ｙＣｕｒ＋ＩｎｔＹ＋ＯｆｆｓｅｔＹ）；
（ｘＣｏｒ３，ｙＣｏｒ３）＝（ｘＣｕｒ＋ＩｎｔＸ＋ＯｆｆｓｅｔＸ＋Ｗ，
ｙＣｕｒ＋ＩｎｔＹ＋ＯｆｆｓｅｔＹ）；
として計算される。

【0048】

ｘ＝０．．Ｗ－１、ｙ＝０．．Ｈ－１でのＰｒｅｄＳａｍｐｌｅ［ｘ］［ｙ］がサブブロックの予測サンプルを格納するとする。次いで、パディングサンプルが：
ＰｒｅｄＳａｍｐｌｅ［ｘ］［－１］＝
（Ｒｅｆ（ｘＣｏｒ０＋ｘ，ｙＣｏｒ０）＜＜Ｓｈｉｆｔ０）－
Ｒｏｕｎｄｉｎｇ， ｆｏｒ ｘ＝－１．．Ｗ；
ＰｒｅｄＳａｍｐｌｅ［ｘ］［Ｈ］＝
（Ｒｅｆ（ｘＣｏｒ１＋ｘ，ｙＣｏｒ１）＜＜Ｓｈｉｆｔ０）－
Ｒｏｕｎｄｉｎｇ， ｆｏｒ ｘ＝－１．．Ｗ；
ＰｒｅｄＳａｍｐｌｅ［－１］［ｙ］＝
（Ｒｅｆ（ｘＣｏｒ２，ｙＣｏｒ２＋ｙ）＜＜Ｓｈｉｆｔ０）－
Ｒｏｕｎｄｉｎｇ， ｆｏｒ ｙ＝０．．Ｈ－１；
ＰｒｅｄＳａｍｐｌｅ［Ｗ］［ｙ］＝
（Ｒｅｆ（ｘＣｏｒ３，ｙＣｏｒ３＋ｙ）＜＜Ｓｈｉｆｔ０）－
Ｒｏｕｎｄｉｎｇ， ｆｏｒ ｙ＝０．．Ｈ－１
として導出され、ここで、Ｒｅｃは参照ピクチャを表す。Ｒｏｕｎｄｉｎｇは整数であり、この例示的なＰＲＯＦ実装では２^１３に等しい。Ｓｈｉｆｔ０＝Ｍａｘ（２，（１４－ＢｉｔＤｅｐｔｈ））であり、ＰＲＯＦは、ＶＴＭ－４．０におけるＢＩＯとは異なり、勾配の精度を上げることを試みるものであり、ここでは、勾配は、入力ルマサンプルと同じ精度で出力される。

【0049】

ＰＲＯＦでの勾配は、以下のように計算される：
Ｓｈｉｆｔ１＝Ｓｈｉｆｔ０－４
ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］）＞＞Ｓｈｉｆｔ１
ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝（ｐｒｅｄ Ｓａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］）＞＞Ｓｈｉｆｔ１
理解されるべきことには、ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］は、補間後の精度を保つ。

【0050】

ｂ） ＰＲＯＦのためのΔｖ導出方法
Δｖ（ｐｏｓＸ＝０．．Ｗ－１、ｐｏｓＹ＝０．．Ｈ－１でｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］及びｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］と表記）の導出は、以下のように記述されることができる。

【0051】

現在ブロックの寸法がｃｂＷｉｄｔｈ×ｃｂＨｅｉｇｈｔであり、制御点動きベクトルの数がｎｕｍＣｐＭｖであり、そして、ｃｐＩｄｘ＝０．．ｎｕｍＣｐＭｖ－１で、制御点動きベクトルがｃｐＭｖＬＸ［ｃｐＩｄｘ］であり、Ｘは２つの参照リストを表す０又は１であるとする。

【0052】

変数ｌｏｇ２ＣｂＷ及びｌｏｇ２ＣｂＨが、次のように導出される：
ｌｏｇ２ＣｂＷ＝Ｌｏｇ２（ｃｂＷｉｄｔｈ）
ｌｏｇ２ＣｂＨ＝Ｌｏｇ２（ｃｂＨｅｉｇｈｔ）
変数ｍｖＳｃａｌｅＨｏｒ、ｍｖＳｃａｌｅＶｅｒ、ｄＨｏｒＸ、及びｄＶｅｒＸが、次のように導出される：
ｍｖＳｃａｌｅＨｏｒ＝ｃｐＭｖＬＸ［０］［０］＜＜７
ｍｖＳｃａｌｅＶｅｒ＝ｃｐＭｖＬＸ［０］［１］＜＜７
ｄＨｏｒＸ＝（ｃｐＭｖＬＸ［１］［０］-ｃｐＭｖＬＸ［０］［０］）＜＜（７-ｌｏｇ２ＣｂＷ）
ｄＶｅｒＸ＝（ｃｐＭｖＬＸ［１］［１］-ｃｐＭｖＬＸ［０］［１］）＜＜（７-ｌｏｇ２ＣｂＷ）

【0053】

変数ｄＨｏｒＹ及びｄＶｅｒＹが、次のように導出される：
－ ｎｕｍＣｐＭｖが３に等しい場合、以下が適用される：
ｄＨｏｒＹ＝（ｃｐＭｖＬＸ［２］［０］-ｃｐＭｖＬＸ［０］［０］）＜＜（７-ｌｏｇ２ＣｂＨ）
ｄＶｅｒＹ＝（ｃｐＭｖＬＸ［２］［１］-ｃｐＭｖＬＸ［０］［１］）＜＜（７-ｌｏｇ２ＣｂＨ）
－ そうでない場合（ｎｕｍＣｐＭｖが２に等しい）、以下が適用される：
ｄＨｏｒＹ＝-ｄＶｅｒＸ
ｄＶｅｒＹ＝ｄＨｏｒＸ

【0054】

変数ｑＨｏｒＸ、ｑＶｅｒＸ、ｑＨｏｒＹ、及びｑＶｅｒＹが：
ｑＨｏｒＸ＝ｄＨｏｒＸ＜＜２；
ｑＶｅｒＸ＝ｄＶｅｒＸ＜＜２；
ｑＨｏｒＹ＝ｄＨｏｒＹ＜＜２；
ｑＶｅｒＹ＝ｄＶｅｒＹ＜＜２；
として導出される。

【0055】

ｄＭｖＨ［０］［０］及びｄＭｖＶ［０］［０］が：
ｄＭｖＨ［０］［０］＝（（ｄＨｏｒＸ＋ｄＨｏｒＹ）＜＜１）－（（ｑＨｏｒＸ＋ｑＨｏｒＹ）＜＜１）；
ｄＭｖＶ［０］［０］＝（（ｄＶｅｒＸ＋ｄＶｅｒＹ）＜＜１）－（（ｑＶｅｒＸ＋ｑＶｅｒＹ）＜＜１）；
として計算される。

【0056】

１からＷ－１までのｘＰｏｓについて、ｄＭｖＨ［ｘＰｏｓ］［０］及びｄＭｖＶ［ｘＰｏｓ］［０］が：
ｄＭｖＨ［ｘＰｏｓ］［０］＝ｄＭｖＨ［ｘＰｏｓ－１］［０］＋ｑＨｏｒＸ；
ｄＭｖＶ［ｘＰｏｓ］［０］＝ｄＭｖＶ［ｘＰｏｓ－１］［０］＋ｑＶｅｒＸ；
として導出される。

【0057】

１からＨ－１までのｙＰｏｓについて、以下が適用される：
ｘＰｏｓ＝０．．Ｗ－１で、ｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ］＝ｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ－１］＋ｑＨｏｒＹ
ｘＰｏｓ＝０．．Ｗ－１で、ｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ］＝ｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ－１］＋ｑＶｅｒＹ

【0058】

最後に、ｐｏｓＸ＝０．．Ｗ－１、ｐｏｓＹ＝０．．Ｈ－１でのｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ］及びｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ］が：
ｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ］＝ＳａｔＳｈｉｆｔ（ｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ］，７＋２－１）；
ｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ］＝ＳａｔＳｈｉｆｔ（ｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ］，７＋２－１）；
として右シフトされ、ここで、ＳａｔＳｈｉｆｔ（ｘ，ｎ）及びＳｈｉｆｔ（ｘ，ｎ）は：

【数11】

として定義される。

【0059】

一例において、ｏｆｆｓｅｔ０及び／又はｏｆｆｓｅｔ１は、（１＜＜ｎ）＞＞１に設定される。

【0060】

ｃ）ＰＲＯＦのためのΔＩ導出方法
サブブロックの内側の位置（ｐｏｓＸ，ｐｏｓＹ）について、その対応するΔｖ（ｉ，ｊ）を、（ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］，ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］）と表記する。その対応する勾配を（ｇｒａｄｉｅｎｔＨ［ｐｏｓＸ］［ｐｏｓＹ］，ｇｒａｄｉｅｎｔＶ［ｐｏｓＸ］［ｐｏｓＹ］）と表記する。

【0061】

次いで、ΔＩ（ｐｏｓＸ，ｐｏｓＹ）が、次のように導出される：
（ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］，ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］）が、以下のようにクリッピングされる：
ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］＝Ｃｌｉｐ３（－３２７６８，３２７６７，ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］）；
ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］＝Ｃｌｉｐ３（－３２７６８，３２７６７，ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］）；
ΔＩ（ｐｏｓＸ，ｐｏｓＹ）＝ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］×ｇｒａｄｉｅｎｔＨ［ｐｏｓＸ］［ｐｏｓＹ］＋ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］×ｇｒａｄｉｅｎｔＶ［ｐｏｓＸ］［ｐｏｓＹ］；
ΔＩ（ｐｏｓＸ，ｐｏｓＹ）＝Ｓｈｉｆｔ（ΔＩ（ｐｏｓＸ，ｐｏｓＹ），１＋１＋４）；
ΔＩ（ｐｏｓＸ，ｐｏｓＹ）＝Ｃｌｉｐ３（－（２^１３－１），２^１３－１，ΔＩ（ｐｏｓＸ，ｐｏｓＹ））。

【0062】

ｄ）ＰＲＯＦのためのＩ’導出方法
現在ブロックが双予測又は重み付け予測としてコーディングされない場合、
Ｉ’（ｐｏｓＸ，ｐｏｓＹ）＝Ｓｈｉｆｔ（（Ｉ（ｐｏｓＸ，ｐｏｓＹ）＋ΔＩ（ｐｏｓＸ，ｐｏｓＹ））），Ｓｈｉｆｔ０、
Ｉ’（ｐｏｓＸ，ｐｏｓＹ）＝ＣｌｉｐＳａｍｐｌｅ（Ｉ’（ｐｏｓＸ，ｐｏｓＹ））
であり、ここで、ＣｌｉｐＳａｍｐｌｅは、サンプル値を妥当な出力サンプル値へとクリッピングする。そして、Ｉ’（ｐｏｓＸ，ｐｏｓＹ）がインター予測値として出力される；
そうでない場合（現在ブロックが双予測又は重み付け予測としてコーディングされる）、Ｉ’（ｐｏｓＸ，ｐｏｓＹ）は格納されて、他の予測値及び／又は重み付け値に従ってインター予測値を生成するのに使用されることになる。

【0063】

２．６． スライスヘッダ例
（外２）

２．７． シーケンスパラメータセット例
（外３）

２．８．ピクチャパラメータセット例
（外４）

２．９．適応パラメータセット例
（外５）

（外６）

（外７）

（外８）

【0064】

２．１０． ピクチャヘッダ例
一部の実施形態において、ピクチャヘッダは、以下の特性を有するように設計される。

【0065】

１． ピクチャヘッダＮＡＬユニットの時間ＩＤ及びレイヤＩＤが、そのピクチャヘッダを含むレイヤアクセスユニットの時間ＩＤ及びレイヤＩＤと同じである。

【0066】

２． ピクチャヘッダＮＡＬユニットが、その関連ピクチャの最初のスライスを含むＮＡＬユニットに先行する。これは、ピクチャヘッダと、そのピクチャヘッダに関連付けられたピクチャのスライスとの間の関連付けを、ピクチャヘッダＩＤがピクチャヘッダ内でシグナリングされてスライスヘッダから参照されることを必要とせずに確立する。

【0067】

３． ピクチャヘッダＮＡＬユニットが、ピクチャレベルのパラメータセット、又は例えばＤＰＳ、ＶＰＳ、ＳＰＳ、ＰＰＳなどの、より高いレベルのものに続く。これは結果として、それらのパラメータセットがピクチャ内又はアクセスユニット内で繰り返されない／存在しないことを必要とする。

【0068】

４． ピクチャヘッダが、その関連ピクチャのピクチャタイプについての情報を含む。ピクチャタイプは、以下（網羅的なリストではない）を定義するのに使用され得る：
ａ． ピクチャはＩＤＲピクチャである；
ｂ． ピクチャはＣＲＡピクチャである；
ｃ． ピクチャはＧＤＲピクチャである；
ｄ． ピクチャは非ＩＲＡＰ、非ＧＤＲピクチャであり、Ｉスライスのみを含む；
ｅ． ピクチャは非ＩＲＡＰ、非ＧＤＲピクチャであり、Ｐスライス及びＩスライスのみを含むことができる；
ｆ． ピクチャは非ＩＲＡＰ、非ＧＤＲピクチャであり、Ｂスライス、Ｐスライス、及び／又はＩスライスのいずれかを含む。

【0069】

５． スライスヘッダ内でのピクチャレベルシンタックス要素のシグナリングをピクチャヘッダに移動させる。

【0070】

６． 同一ピクチャの全てのスライスに対して典型的に同じであるスライスヘッダ内の非ピクチャレベルシンタックス要素を、ピクチャヘッダ内でシグナリングする。それらのシンタックス要素がピクチャヘッダ内に存在しないとき、それらはスライスヘッダ内でシグナリングされてもよい。

【0071】

一部の実装において、必須ピクチャヘッダコンセプトが、ピクチャの最初のＶＣＬ ＮＡＬユニットとしてピクチャ当たり一度伝送されるように使用される。現行ではスライスヘッダ内にあるシンタックス要素をこのピクチャヘッダに移動させることも提案される。機能的にピクチャヘッダ当たり一度だけ伝送される必要があるシンタックス要素は、所与のピクチャに対して何度も送信される（例えば、スライスヘッダ内のシンタックス要素はスライス当たり一度伝送される）代わりに、ピクチャヘッダに移動され得る。ピクチャ内で同じであるように制約されるスライスヘッダシンタックス要素を移動させる。

【0072】

それらのシンタックス要素は既に、ピクチャの全てのスライスで同じであるように制約されている。主張しておくことには、それらのフィールドをピクチャヘッダに移動させて、それらがスライス当たり一回ではなくピクチャ当たり一回のみシグナリングされるようにすることは、それらのシンタックス要素の機能を何ら変えることなく、不要で冗長なビット伝送を回避することになる。

【0073】

１． 一部の実装では、以下のセマンティック制約が存在する。

【0074】

存在する場合に、スライスヘッダシンタックス要素slice_pic_parameter_set_id、non_reference_picture_flag、colour_plane_id、slice_pic_order_cnt_lsb、recovery_poc_cnt、no_output_of_prior_pics_flag、pic_output_flag、及びslice_temporal_mvp_enabled_flagの各々の値は、ある符号化ピクチャの全てのスライスヘッダで同じである。従って、これらのシンタックス要素の各々をピクチャヘッダに移動させて、不要な冗長ビットを回避し得る。

【0075】

recovery_poc_cnt及びno_output_of_prior_pics_flagは、この寄稿ではピクチャヘッダに移動されない。スライスヘッダにおけるそれらの存在は、スライスヘッダnal_unit_typeの条件付きチェックに依存し、それ故に、これらのシンタックス要素をピクチャヘッダに移動させることを望む場合には、それらを調べることを提案する。

【0076】

２． 一部の実装では、以下のセマンティック制約が存在する。

【0077】

存在する場合に、slice_lmcs_aps_idの値は、ピクチャの全てのスライスに対して同じである。

【0078】

存在する場合に、slice_scaling_list_aps_idの値は、ピクチャの全てのスライスに対して同じである。従って、これらのシンタックス要素の各々をピクチャヘッダに移動させて、不要な冗長ビットを回避し得る。

【0079】

一部の実施形態において、これらシンタックス要素は、現行では、ピクチャの全てのスライスで同じであるようには制約されていない。全スライスヘッダにて多数のシンタックス要素を処理することには複雑さの影響があると主張されるとき、ＶＶＣ全体設計を単純化するためにどのシンタックス要素をピクチャヘッダに移動させることができるかを決定すべく、これらのシンタックス要素の予想される用法を評価することを提案する。

【0080】

１． 以下のシンタックス要素をピクチャヘッダに移動させることを提案する。現行では、これらについて、異なるスライスに対して異なる値を持つという制約はないが、主張しておくことには、これらの予想される用法はピクチャレベルで変化し得るので、全スライスヘッダ内でこれらを伝送することには、利益がない／最小限であるとともに、符号化損失が存在する：
ａ． six_minus_max_num_merge_cand
ｂ． five_minus_max_num_subblock_merge_cand
ｃ． slice_fpel_mmvd_enabled_flag
ｄ． slice_disable_bdof_dmvr_flag
ｅ． max_num_merge_cand_minus_max_num_triangle_cand
ｆ． slice_six_minus_max_num_ibc_merge_cand

【0081】

２． 以下のシンタックス要素をピクチャヘッダに移動させることを提案する。現行では、これらについて、異なるスライスに対して異なる値を持つという制約はないが、主張しておくことには、これらの予想される用法はピクチャレベルで変化し得るので、全スライスヘッダ内でこれらを伝送することには、利益がない／最小限であるとともに、符号化損失が存在する：
ａ． partition_constraints_override_flag
ｂ． slice_log2_diff_min_qt_min_cb_luma
ｃ． slice_max_mtt_hierarchy_depth_luma
ｄ． slice_log2_diff_max_bt_min_qt_luma
ｅ． slice_log2_diff_max_tt_min_qt_luma
ｆ． slice_log2_diff_min_qt_min_cb_chroma
ｇ． slice_max_mtt_hierarchy_depth_chroma
ｈ． slice_log2_diff_max_bt_min_qt_chroma
ｉ． slice_log2_diff_max_tt_min_qt_chroma

【0082】

これらのシンタックス要素の一部に関連する条件付きチェック“slice_type==I”は、ピクチャヘッダへの移動に伴って削除されている。

【0083】

３． 以下のシンタックス要素をピクチャヘッダに移動させることを提案する。現行では、これらについて、異なるスライスに対して異なる値を持つという制約はないが、主張しておくことには、これらの予想される用法はピクチャレベルで変化し得るので、全スライスヘッダ内でこれらを伝送することには、利益がない／最小限であるとともに、符号化損失が存在する：
ａ． mvd_l1_zero_flag

【0084】

これらのシンタックス要素の一部に関連する条件付きチェック“slice_type==B”は、ピクチャヘッダへの移動に伴って削除されている。

【0085】

４． 以下のシンタックス要素をピクチャヘッダに移動させることを提案する。現行では、これらについて、異なるスライスに対して異なる値を持つという制約はないが、主張しておくことには、これらの予想される用法はピクチャレベルで変化し得るので、全スライスヘッダ内でこれらを伝送することには、利益がない／最小限であるとともに、符号化損失が存在する：
ａ． dep_quant_enabled_flag
ｂ． sign_data_hiding_enabled_flag

【0086】

３．既存の実装の欠点
ＤＭＶＲ及びＢＩＯは、動きベクトルを精緻化する際に元の信号が関与せず、このことが、不正確な動き情報を有すコーディングブロックを生じさせることがある。また、ＤＭＶＲ及びＢＩＯは動き精緻化後の分数動きベクトルを使用するときがあるのに対し、スクリーン映像は整数動きベクトルを有するのが通常であり、これは、現行の動き情報をより不正確にし、コーディング性能を悪化させる。

【0087】

ＶＶＣでＲＰＲが適用されるとき、ＲＰＲ（ＡＲＣ）は以下の問題を有し得る。

【0088】

１． ＲＰＲでは、ブロック内の隣接し合うサンプルに対して補間フィルタが異なることがあり、これはＳＩＭＤ（単一命令複数データ）実装に望ましくない。

【0089】

２． 境界領域がＲＰＲを考慮しない。

【0090】

３． 「適合クロッピングウィンドウオフセットパラメータは出力でのみ適用される。内部復号プロセスは全て、クロッピングされてないピクチャサイズに適用される。」と注意書きされている。しかしながら、それらのパラメータは、ＲＰＲが適用されるときに復号プロセスで使用されることがある。

【0091】

４． 参照サンプル位置を導出するときに、ＲＰＲは、２つの適合ウィンドウ間の比のみを考慮する。しかし、２つの適合ウィンドウ間の左上オフセット差も考慮されるべきである。

【0092】

５． ＶＶＣでは参照ピクチャの幅／高さと現在ピクチャの幅／高さとの比が制約されている。しかしながら、参照ピクチャの適合ウィンドウの幅／高さと現在ピクチャの適合ウィンドウの幅／高さとの比は制約されていない。

【0093】

６． 全てのシンタックス要素がピクチャヘッダ内で適切に扱われているわけではない。

【0094】

７． 現行のＶＶＣにおいては、ＴＰＭ、ＧＥＯ予測モードで、映像シーケンスのクロマサンプル位置タイプに関係なくクロマ混合重みが導出されている。例えば、ＴＰＭ／ＧＥＯにおいて、クロマ重みがルマ重みから導出される場合、クロマ信号のサンプリングに一致するように、ルマ重みをダウンサンプリングする必要があり得る。クロマダウンサンプリングは、通常、ＩＴＵ－Ｒ ＢＴ．６０１又はＩＴＵ－Ｒ ＢＴ．７０９コンテナで広く使用されているものであるクロマサンプル位置タイプ０を仮定して適用される。しかしながら、これは、異なるクロマサンプル位置タイプが使用される場合に、クロマサンプルとダウンサンプリングされたルマサンプルとの間にミスアライメントを生じさせ、コーディング性能を低下させてしまい得る。

【0095】

４． 技術及び実施形態の例
以下に記載される詳細な実施形態は、一般的概念を説明するための例とみなされるべきである。これらの実施形態は狭義に解釈されるべきではない。さらに、これらの実施形態は、何らかのやり方で組み合わされることができる。

【0096】

以下に記載される方法はまた、以下に記載されるＤＭＶＲ及びＢＩＯに加えて、他のデコーダ動き情報導出技術にも適用可能であり得る。

【0097】

動きベクトルを（ｍｖ＿ｘ，ｍｖ＿ｙ）と表記し、ｍｖ＿ｘは水平成分、ｍｖ＿ｙは垂直成分である。

【0098】

この開示において、ピクチャの解像度（又は寸法、幅／高さ、又はサイズ）は、符号化／復号ピクチャの解像度（又は寸法、幅／高さ、又はサイズ）を指すことができ、あるいは符号化／復号ピクチャの適合ウィンドウの解像度（又は寸法、幅／高さ、又はサイズ）を指してもよい。
ＲＰＲにおける動き補償
１． 参照ピクチャの解像度が現在ピクチャとは異なるとき、又は参照ピクチャの幅及び／又は高さが現在ピクチャのそれよりも大きいとき、現在ブロックの一群のサンプル（サンプルのグループ）（少なくとも２つのサンプル）についての予測値は、同じ水平及び／又は垂直補間フィルタを用いて生成され得る：
ａ． 一例において、該グループは、ブロックの領域内の全てのサンプルを有し得る：
ｉ． 例えば、ブロックは、互いに重なり合わないＳ個のＭ×Ｎ矩形に分割され得る。各Ｍ×Ｎ矩形がグループである。図２に示す例において、１６×１６ブロックを、各々がグループである１６個の４×４矩形に分割することができる；
ｉｉ． 例えば、Ｎ個のサンプルを有する行がグループである。Ｎは、ブロック幅以下の整数である。一例において、Ｎは、４又は８又はブロック幅である；
ｉｉｉ． 例えば、Ｎ個のサンプルを有する列がグループである。Ｎは、ブロック高さ以下の整数である。一例において、Ｎは、４又は８又はブロック高さである；
ｉｖ． Ｍ及び／又はＮは、予め定められてもよいし、あるいは例えばブロック寸法／符号化情報などに基づいてオンザフライで導出されてもよいし、あるいはシグナリングされてもよい；
ｂ． 一例において、グループ内のサンプルは、同じＭＶ（共有ＭＶと表記する）を持ち得る；
ｃ． 一例において、グループ内のサンプルは、同じ水平成分（共有水平成分と表記する）を有するＭＶを持ち得る；
ｄ． 一例において、グループ内のサンプルは、同じ垂直成分（共有垂直成分と表記する）を有するＭＶを持ち得る；
ｅ． 一例において、グループ内のサンプルは、水平成分の同じ分数部分（共有分数水平成分と表記する）を有するＭＶを持ち得る：
ｉ． 例えば、第１のサンプルに対するＭＶが（ＭＶ１ｘ，ＭＶ１ｙ）であり、第２のサンプルに対するＭＶが（ＭＶ２ｘ，ＭＶ２ｙ）であるとすると、ＭＶ１ｘ＆（２^Ｍ－１）がＭＶ２ｘ＆（２^Ｍ－１）に等しいことを満足すべきであり、ここで、ＭはＭＶ精度を表す。例えば、Ｍ＝４である；
ｆ． 一例において、グループ内のサンプルは、垂直成分の同じ分数部分（共有分数垂直成分と表記する）を有するＭＶを持ち得る：
ｉ． 例えば、第１のサンプルに対するＭＶが（ＭＶ１ｘ，ＭＶ１ｙ）であり、第２のサンプルに対するＭＶが（ＭＶ２ｘ，ＭＶ２ｙ）であるとすると、ＭＶ１ｙ＆（２^Ｍ－１）がＭＶ２ｙ＆（２^Ｍ－１）に等しいことを満足すべきであり、ここで、ＭはＭＶ精度を表す。例えば、Ｍ＝４である；
ｇ． 一例において、予測されるグループ内のサンプルについて、先ず、現在ピクチャ及び参照ピクチャ（例えば、ＪＶＥＴ－Ｏ２００１－ｖ１４の８．５．６．３．１で導出される参照ピクチャ（例えば、（ｒｅｆｘ_Ｌ，ｒｅｆｙ_Ｌ））に従って、ＭＶ_ｂと表記する動きベクトルが導出される。次いで、ＭＶ_ｂを更に、例えば上の箇条書きなどの要件を満たすようにＭＶ’に変更する（例えば、丸める／切り捨てる／クリッピングする）ことができ、ＭＶ’が、サンプルの予測サンプルを導出するのに使用されることになる：
ｉ． 一例において、ＭＶ’は、ＭＶ_ｂと同じ整数部分を持ち、ＭＶ’の小数部分は、共有分数水平成分及び／又は共有分数垂直部分であるように設定される；
ｉｉ． 一例において、ＭＶ’は、共有分数水平成分及び／又は共有分数垂直成分のうちＭＶ_ｂに近い方に設定される；
ｈ． 共有動きベクトル（及び／又は共有水平成分及び／又は共有垂直成分、及び／又は共有分数水平成分及び／又は共有分数垂直成分）は、グループ内の特定のサンプルの共有動きベクトル（及び／又は共有水平成分及び／又は共有垂直成分、及び／又は共有分数水平成分及び／又は共有分数垂直成分）に設定され得る：
ｉ． 例えば、特定のサンプルは、例えば図３Ａに示す“Ａ”、“Ｂ”、“Ｃ”及び“Ｄ”など、矩形のグループのコーナーにあるとし得る；
ｉｉ． 例えば、特定のサンプルは、例えば図３Ａに示す“Ｅ”、“Ｆ”、“Ｇ”及び“Ｈ”など、矩形のグループの中心にあるとし得る；
ｉｉｉ． 例えば、特定のサンプルは、例えば図３Ｂ及び３Ｃに示す“Ａ”及び“Ｄ”など、行形状又は列形状のグループの一端にあるとし得る；
ｉｖ． 例えば、特定のサンプルは、例えば図３Ｂ及び３Ｃに示す“Ｂ”及び“Ｃ”など、行形状又は列形状のグループの中央にあるとし得る；
ｖ． 一例において、特定のサンプルの動きベクトルは、箇条書きｇで述べたＭＶ_ｂとし得る；
ｉ． 共有動きベクトル（及び／又は共有水平成分及び／又は共有垂直成分、及び／又は共有分数水平成分及び／又は共有分数垂直成分）は、そのグループ内の全てのサンプルと異なる位置にある仮想サンプルの動きベクトル（及び／又は水平成分及び／又は垂直成分、及び／又は分数水平成分及び／又は分数垂直成分）であるように設定され得る：
ｉ． 一例において、仮想サンプルはグループ内にはないが、グループ内の全てのサンプルをカバーする領域内に位置する：
１） あるいは、仮想サンプルは、グループ内の全てのサンプルをカバーする領域の外側、例えば、該領域の右下の位置の隣、に位置する；
ｉｉ． 一例において、仮想サンプルのＭＶは、実際のサンプルと同じようにして導出されるが、複数の異なる位置で導出される；
ｉｉｉ． 図３Ａ－３Ｃ内の“Ｖ”は、仮想サンプルの３つの例を示している；
ｊ． 共有ＭＶ（及び／又は共有水平成分及び／又は共有垂直成分、及び／又は共有分数水平成分及び／又は共有分数垂直成分）は、複数のサンプル及び／又は仮想サンプルのＭＶ（及び／又は水平成分及び／又は垂直成分、及び／又は分数水平成分及び／又は分数垂直成分）の関数であるように設定され得る：
ｉ． 例えば、共有ＭＶ（及び／又は共有水平成分及び／又は共有垂直成分、及び／又は共有分数水平成分及び／又は共有分数垂直成分）は、グループ内のサンプルの全て若しくは一部の、又は図３Ａのサンプル“Ｅ”、“Ｆ”、“Ｇ”、“Ｈ”の、又は図３Ａのサンプル“Ｅ”、“Ｈ”の、又は図３Ａのサンプル“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”の、又は図３Ａのサンプル“Ａ”、“Ｄ”の、又は図３Ｂのサンプル“Ｂ”、“Ｃ”の、又は図３Ｂのサンプル“Ａ”、“Ｄ”の、又は図３Ｃのサンプル“Ｂ”、“Ｃ”の、又は図３Ｃのサンプル“Ａ”、“Ｄ”のＭＶ（及び／又は水平成分及び／又は垂直成分、及び／又は分数水平成分及び／又は分数垂直成分）の平均であるように設定され得る。
２． 参照ピクチャの解像度が現在ピクチャとは異なるとき、又は参照ピクチャの幅及び／又は高さが現在ピクチャのそれよりも大きいとき、整数ＭＶのみが、現在ブロックの予測ブロックを導出する動き補償プロセスを実行するのを許されることを提案する：
ａ． 一例において、予測されるサンプルに対する複合動きベクトルは、使用される前に整数ＭＶに丸められる；
ｂ． 一例において、予測されるサンプルに対する複合動きベクトルは、復号動きベクトルに最も近い整数ＭＶに丸められる；
ｃ． 一例において、予測されるサンプルに対する複合動きベクトルは、水平方向に復号動きベクトルに最も近い整数ＭＶに丸められる；
ｄ． 一例において、予測されるサンプルに対する複合動きベクトルは、垂直方向に復号動きベクトルに最も近い整数ＭＶに丸められる。
３． 現在ブロック内のサンプルに対する動き補償プロセスで使用される動きベクトル（例えば、上の箇条書きで述べた共有ＭＶ／共有水平又は垂直又は分数成分／ＭＶ’）は、復号ピクチャバッファに格納されて、現在ピクチャ／異なるピクチャ内の後続ブロックの動きベクトル予測に利用され得る：
ａ． あるいは、現在ブロック内のサンプルに対する動き補償プロセスで使用される動きベクトル（例えば、上の箇条書きで述べた共有ＭＶ／共有水平又は垂直又は分数成分／ＭＶ’）は、現在ピクチャ／異なるピクチャ内の後続ブロックの動きベクトル予測に利用されることを禁止されてもよい：
ｉ． 一例において、復号動きベクトル（例えば、上の箇条書きにおけるＭＶ_ｂ）が、現在ピクチャ／異なるピクチャ内の後続ブロックの動きベクトル予測に利用され得る；
ｂ． 一例において、現在ブロック内のサンプルに対する動き補償プロセスで使用される動きベクトルは、フィルタリングプロセス（例えば、デブロッキングフィルタ／ＳＡＯ／ＡＬＦ）で利用され得る：
ｉ． あるいは、復号動きベクトル（例えば、上の箇条書きにおけるＭＶ_ｂ）が、フィルタリングプロセスに利用されてもよい；
ｃ． 一例において、このようなＭＶは、サブブロックレベルで導出されて、各サブブロックに対して記憶され得る。
４． 現在ブロックの予測ブロックを導出する動き補償プロセスで使用される補間フィルタが、参照ピクチャの解像度が現在ピクチャとは異なるか、又は参照ピクチャの幅及び／又は高さが現在ピクチャのそれよりも大きいかに応じて選択され得ることを提案する：
ａ． 一例において、条件Ａが満たされるときに、より少ないタップを有する補間フィルタを適用することができ、条件Ａは、現在ピクチャ及び／又は参照ピクチャの寸法に依存する：
ｉ． 一例において、条件Ａは、参照ピクチャの解像度が現在ピクチャとは異なることである；
ｉｉ． 一例において、条件Ａは、参照ピクチャの幅及び／又は高さが現在ピクチャのそれよりも大きいことである；
ｉｉｉ． 一例において、条件Ａは、Ｗ１＞ａ＊Ｗ２及び／又はＨ１＞ｂ＊Ｈ２であり、ここで、（Ｗ１，Ｈ１）は参照ピクチャの幅及び高さを表し、（Ｗ２，Ｈ２）は現在ピクチャの幅及び高さを表し、ａ及びｂは２つの係数であり、例えば、ａ＝ｂ＝１．５である；
ｉｖ． 一例において、条件Ａは、双予測が使用されるかにも依存し得る；
ｖ． 一例において、１タップフィルタが適用される。換言すれば、フィルタリングなしの整数ピクセルが補間結果として出力される；
ｖｉ． 一例において、参照ピクチャの解像度が現在ピクチャとは異なるとき、双線形フィルタが適用される；
ｖｉｉ． 一例において、参照ピクチャの解像度が現在ピクチャとは異なるとき、又は参照ピクチャの幅及び／又は高さが現在ピクチャのそれよりも大きいとき、４タップフィルタ又は６タップフィルタが適用される：
１） ６タップフィルタは、アフィン動き補償にも使用され得る；
２） ４タップフィルタは、クロマサンプルに対する補間にも使用され得る；
ｂ． 一例において、参照ピクチャの解像度が現在ピクチャとは異なるとき、又は参照ピクチャの幅及び／又は高さが現在ピクチャのそれよりも大きいとき、補間を実行するためにパディングサンプルが使用される；
ｃ． 箇条書き４に開示される方法を適用するかどうか、及び／又はどのように適用するかは、カラー成分に依存し得る：
ｉ． 例えば、当該方法はルマコンポーネントのみに適用される；
ｄ． 箇条書き４に開示される方法を適用するかどうか、及び／又はどのように適用するかは、補間フィルタリング方向に依存し得る：
ｉ． 例えば、当該方法は水平フィルタリングのみに適用される；
ｉｉ． 例えば、当該方法は垂直フィルタリングのみに適用される。
５． 参照ピクチャの解像度が現在ピクチャとは異なるとき、又は参照ピクチャの幅及び／又は高さが現在ピクチャのそれよりも大きいとき、予測ブロック生成のための二段階プロセスが適用されることを提案する：
ａ． 第１段階にて、現在ピクチャ及び参照ピクチャの幅及び／又は高さに応じて参照ピクチャ内の領域のアップサンプリング又はダウンサンプリングによって、仮想参照ブロックが生成される；
ｂ． 第２段階にて、現在ピクチャ及び参照ピクチャの幅及び／又は高さとは無関係に補間フィルタリングを適用することによって、仮想参照ブロックから予測サンプルが生成される。
６． 一部の実施形態においてのような参照サンプルパディングのための境界ブロックの左上座標（ｘＳｂＩｎｔ_Ｌ，ｙＳｂＩｎｔ_Ｌ）の計算が、現在ピクチャ及び参照ピクチャの幅及び／又は高さに応じて導出され得ることを提案する：
ａ． 一例において、フルサンプル単位のルマ位置が：
ｘＩｎｔ_ｉ＝Ｃｌｉｐ３（ｘＳｂＩｎｔ_Ｌ－Ｄｘ，ｘＳｂＩｎｔ_Ｌ＋ｓｂＷｉｄｔｈ＋Ｕｘ，ｘＩｎｔ_ｉ）、
ｙＩｎｔ_ｉ＝Ｃｌｉｐ３（ｙＳｂＩｎｔ_Ｌ－Ｄｙ，ｙＳｂＩｎｔ_Ｌ＋ｓｂＨｅｉｇｈｔ＋Ｕｙ，ｙＩｎｔ_ｉ）
のように変更され、ここで、Ｄｘ及び／又はＤｙ、及び／又はＵｘ及び／又はＵｙは、現在ピクチャ及び参照ピクチャの幅及び／又は高さに依存し得る；
ｂ． 一例において、フルサンプル単位のクロマ位置が：
ｘＩｎｔｉ＝Ｃｌｉｐ３（ｘＳｂＩｎｔ_Ｃ－Ｄｘ，ｘＳｂＩｎｔ_Ｃ＋ｓｂＷｉｄｔｈ＋Ｕｘ，ｘＩｎｔｉ）、
ｙＩｎｔｉ＝Ｃｌｉｐ３（ｙＳｂＩｎｔ_Ｃ－Ｄｙ，ｙＳｂＩｎｔ_Ｃ＋ｓｂＨｅｉｇｈｔ＋Ｕｙ，ｙＩｎｔｉ）
のように変更され、ここで、Ｄｘ及び／又はＤｙ、及び／又はＵｘ及び／又はＵｙは、現在ピクチャ及び参照ピクチャの幅及び／又は高さに依存し得る。
７． 現在ピクチャと同じ参照ピクチャ解像度に基づく動きベクトルをブロック用に記憶／使用することに代えて、解像度差を考慮に入れた実際の動きベクトルを使用することを提案する：
ａ． あるいは、さらに、動きベクトルを用いて予測ブロックを生成するときに、現在ピクチャ及び参照ピクチャの解像度（例えば、（ｒｅｆｘ_Ｌ，ｒｅｆｙ_Ｌ））に従って動きベクトルを更に変更する必要はない。
ＲＰＲと他のコーディングツールとの間の相互作用
８． フィルタリングプロセス（例えば、デブロッキングフィルタ）を適用すべきか／どのように適用するかは、参照ピクチャの解像度及び／又は現在ピクチャの解像度に依存し得る：
ａ． 一例において、デブロッキングフィルタにおける境界強度（ＢＳ）設定が、動きベクトル差に加えて解像度差を考慮に入れ得る：
ｉ． 一例において、現在ピクチャ及び参照ピクチャの解像度に応じてスケーリングされた動きベクトル差を用いて境界強度を決定し得る；
ｂ． 一例において、ブロックＡの少なくとも１つの参照ピクチャの解像度がブロックＢの少なくとも１つの参照ピクチャの解像度と異なる（又はそれよりも小さい若しくは大きい）場合に、ブロックＡとブロックＢとの間の境界に対するデブロッキングフィルタの強さが、それら２つのブロックに対して同じ解像度が使用される場合と比較して異なるように（例えば、増加されて／減少されて）設定され得る；
ｃ． 一例において、ブロックＡの少なくとも１つの参照ピクチャの解像度がブロックＢの少なくとも１つの参照ピクチャの解像度と異なる（又はそれよりも小さい若しくは大きい）場合に、ブロックＡとブロックＢの間の境界が、フィルタリングされるべきとしてマークされる（例えば、ＢＳが２に設定される）；
ｄ． 一例において、ブロックＡ及び／又はブロックＢの少なくとも１つの参照ピクチャの解像度が現在ピクチャの解像度と異なる（又はそれよりも小さい若しくは大きい）場合に、ブロックＡとブロックＢとの間の境界に対するデブロッキングフィルタの強さが、参照ピクチャ及び現在ピクチャに同じ解像度が使用される場合と比較して異なるように（例えば、増加されて／減少されて）設定され得る；
ｅ． 一例において、２つのブロックの間の境界が、それら２つのうちの少なくとも一方のブロックの少なくとも１つの参照ピクチャが現在のピクチャの解像度と異なる解像度を持つ場合に、フィルタリングされるべきとしてマークされる（例えば、ＢＳが２に設定される）。
９． サブピクチャが存在するとき、適合ビットストリームは、参照ピクチャが現在ピクチャと同じ解像度を持たなければならないことを満たすべきであるとし得る：
ａ． あるいは、参照ピクチャが現在ピクチャとは異なる解像度を持つとき、現在ピクチャにサブピクチャは存在しない；
ｂ． あるいは、現在ピクチャ内のサブピクチャに対して、現在ピクチャとは異なる解像度を有する参照ピクチャを使用することが禁止される：
ｉ． あるいは、さらに、異なる解像度を有する参照ピクチャを除外するために参照ピクチャ管理が呼び出され得る。
１０． 一例において、異なる解像度を有するピクチャに対して別々にサブピクチャ（例えば、１つのピクチャをどのように複数のサブピクチャにスプリットするか）が定義され得る：
一例において、参照ピクチャが現在ピクチャとは異なる解像度を持つ場合、現在ピクチャのサブピクチャをスケーリング及び／又はオフセットすることによって、参照ピクチャ内の対応するサブピクチャを導出することができる。
１１． 参照ピクチャが現在ピクチャの解像度とは異なる解像度を持つとき、ＰＲＯＦ（オプティカルフローでの予測精緻化）を有効にすることができる：
ａ． 一例において、一群のサンプルに対して、一組のＭＶ（ＭＶ_ｇと表記する）が生成され、箇条書き１に記載したように動き補償に使用され得る。一方、各サンプルに対してＭＶ（ＭＶ_ｐと表記する）を導出することができ、ＭＶ_ｐとＭＶ_ｇとの間の差（例えば、ＰＲＯＦで使用されるΔｖに対応する）が、勾配（例えば、動き補償ブロックの空間勾配）と共に、予測精緻化を導出するために使用され得る；
ｂ． 一例において、ＭＶ_ｐは、ＭＶ_ｇとは異なる精度を有し得る。例えば、ＭＶ_ｐは、１／Ｎペル（Ｎ＞０）精度でのものであることができ、Ｎ＝３２、６４などである；
ｃ． 一例において、ＭＶ_ｇは、内部ＭＶ精度（例えば、１／１６ペル）とは異なる精度でのものであることができる；
ｄ． 一例において、予測精緻化が予測ブロックに足し合わされて、精緻化予測ブロックを生成する；
ｅ． 一例において、このような方法は各予測方向で適用され得る；
ｆ． 一例において、このような方法は片予測の場合にのみ適用され得る；
ｇ． 一例において、このような方法は片予測又は／及び双予測で適用され得る；
ｈ． 一例において、このような方法は、参照ピクチャが現在ピクチャとは異なる解像度を持つ場合にのみ適用され得る。
１２． 参照ピクチャの解像度が現在ピクチャのそれとは異なるとき、現在ブロックの予測ブロックを導出する動き補償プロセスを実行するのに、ブロック／サブブロックに対して１つのＭＶのみが利用され得ることを提案する：
ａ． 一例において、ブロック／サブブロックに対する唯一のＭＶは、ブロック／サブブロック内の各サンプルに関連する全てのＭＶの関数（例えば、平均）として定められ得る；
ｂ． 一例において、ブロック／サブブロックに対する唯一のＭＶは、ブロック／サブブロック内の選択されたサンプル（例えば、中心サンプル）に関連する選択されたＭＶとして定められ得る；
ｃ． 一例において、４×４ブロック又はサブブロック（例えば、４×１）に対して唯一のＭＶが使用され得る；
ｄ． 一例において、ブロックベースの動きベクトルに起因する精度損失を補償するために、更にＢＩＯが適用され得る。
１３． 参照ピクチャの幅及び／又は高さが現在ピクチャのそれとは異なるとき、ブロックベースの動きベクトルをシグナリングしない怠惰（レイジー）モードが適用され得る：
ａ． 一例において、動きベクトルもシグナリングされず、動き補償プロセスは静止画像の純粋な解像度変化の場合を近似する；
ｂ． 一例において、解像度が変化するときに、ピクチャ／タイル／ブリック／ＣＴＵレベルで動きベクトルのみがシグナリングされ、関係するブロックがその動きベクトルを使用し得る。
１４． アフィン予測モード及び／又は非アフィン予測モードでコーディングされるブロックについて、参照ピクチャの幅及び／又は高さが現在ピクチャのそれとは異なるとき、動き補償を近似するためにＰＲＯＦが適用され得る：
ａ． 一例において、ＰＲＯＦは、参照ピクチャの幅及び／又は高さと現在ピクチャのそれとが異なるときに有効にされ得る；
ｂ． 一例において、一組のアフィン運動が、指し示された動きと、スケーリングされてＰＲＯＦによって使用される解像度とを組み合わせることによって生成され得る。
１５． 参照ピクチャの幅及び／又は高さが現在ピクチャのそれとは異なるとき、動き補償を近似するために、インターウィーブ予測（例えば、ＪＶＥＴ－Ｋ０１０２で提案されているような）が適用され得る：
ａ． 一例において、解像度変化（ズーミング）がアフィン運動として表現され、インターウィーブ動き予測が適用され得る。
１６． 現在ピクチャの幅及び／又は高さが、同じＩＲＡＰ期間内のＩＲＡＰピクチャのそれとは異なるとき、ＬＭＣＳ及び／又はクロマ残差スケーリングが無効にされ得る：
ａ． 一例において、ＬＭＣＳが無効にされるとき、例えばｓｌｉｃｅ＿ｌｍｃｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｌｉｃｅ＿ｌｍｃｓ＿ａｐｓ＿ｉｄ、及びｓｌｉｃｅ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇなどのスライスレベルフラグは、シグナリングされずに０であると推定され得る；
ｂ． 一例において、クロマ残差スケーリングが無効にされるとき、例えばｓｌｉｃｅ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇなどのスライスレベルフラグは、シグナリングされずに０であると推定され得る。
ＲＰＲについての制約
１７． ＲＰＲは、ブロック寸法制約を有するコーディングブロックに適用され得る：
ａ． 一例において、Ｍをブロック幅、Ｎをブロック高さとして、Ｍ×Ｎコーディングブロックについて、Ｍ＊Ｎ＜Ｔ又はＭ＊Ｎ＜＝Ｔであるとき（例えばＴ＝２５６など）、ＲＰＲは使用されないとし得る；
ｂ． 一例において、Ｍ＜Ｋ（又はＭ＜＝Ｋ）（例えばＫ＝１６など）及び／又はＮ＜Ｌ（又はＮ＜＝Ｌ）（例えばＬ＝１６など）であるとき、ＲＰＲは使用されないとし得る。
１８． アクティブ参照ピクチャ（又はその適合ウィンドウ）の幅及び／又は高さと現在ピクチャ（又はその適合ウィンドウ）のそれとの間の比を制約するために、ビットストリーム適合が付加され得る。ｒｅｆＰｉｃＷ及びｒｅｆＰｉｃＨが参照ピクチャの幅及び高さを表し、ｃｕｒＰｉｃＷ及びｃｕｒＰｉｃＨが現在ピクチャの幅及び高さを表すとする：
ａ． 一例において、（ｒｅｆＰｉｃＷ÷ｃｕｒＰｉｃＷ）が整数に等しいとき、その参照ピクチャはアクティブ参照ピクチャとしてマークされ得る：
ｉ． あるいは、（ｒｅｆＰｉｃＷ÷ｃｕｒＰｉｃＷ）が分数に等しいとき、その参照ピクチャは利用可能でないとしてマークされ得る；
ｂ． 一例において、例えばＸ＝１／２など、Ｘは分数を表し、例えばｎ＝１，２，３，４，…など、ｎは整数を表すとして、（ｒｅｆＰｉｃＷ÷ｃｕｒＰｉｃＷ）が（Ｘ＊ｎ）に等しいとき、その参照ピクチャはアクティブ参照ピクチャとしてマークされ得る：
ｉ． 一例において、（ｒｅｆＰｉｃＷ÷ｃｕｒＰｉｃＷ）が（Ｘ＊ｎ）に等しくないとき、その参照ピクチャは利用可能でないとしてマークされ得る。
１９． Ｍ×Ｎブロックに対してコーディングツール（例えば、双予測／全体的な三角予測モード（ＴＰＭ）／ＴＰＭにおける混合プロセス）を有効にすべきか及び／又はどのように有効にするかが、参照ピクチャ（又はそれらの適合ウィンドウ）の解像度及び／又は現在ピクチャ（又はその適合ウィンドウ）の解像度に依存し得る：
ａ． 一例において、Ｍ＊Ｎ＜Ｔ又はＭ＊Ｎ＜＝Ｔ（例えばＴ＝６４など）である；
ｂ． 一例において、Ｍ＜Ｋ（又はＭ＜＝Ｋ）（例えばＫ＝１６など）及び／又はＮ＜Ｌ（又はＮ＜＝Ｌ）（例えばＬ＝１６など）である；
ｃ． 一例において、少なくとも１つの参照ピクチャの幅／高さが現在ピクチャとは異なるとき、コーディングツールは許可されない：
ｉ． 一例において、ブロックの少なくとも１つの参照ピクチャの幅／高さが現在ピクチャのそれよりも大きいとき、コーディングツールは許可されない；
ｄ． 一例において、ブロックの各参照ピクチャの幅／高さが現在ピクチャのそれとは異なるとき、コーディングツールは許可されない：
ｉ． 一例において、各参照ピクチャの幅／高さが現在ピクチャのそれよりも大きいとき、コーディングツールは許可されない；
ｅ． あるいは、さらに、コーディングツールが許可されないとき、動き補償は、片予測として１つのＭＶで行われ得る。
適合ウィンドウ関連
２０． Ｎは１より大きい正の整数であるとして、適合クロッピングウィンドウオフセットパラメータ（例えば、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ）が、１ペルに代えてＮペル精度でシグナリングされる：
ａ． 一例において、実際のオフセットは、シグナリングされたオフセットにＮを乗じたものとして導出され得る；
ｂ． 一例において、Ｎは４又は８に設定される。
２１． 適合クロッピングウィンドウオフセットパラメータが出力で適用されるのみではないことを提案する。特定の内部復号プロセスが、クロッピングされたピクチャサイズ（すなわち、ピクチャ内の適合ウィンドウの解像度）に依存し得る。
２２． 第１の映像ユニットにおいてと、第２の映像ユニットにおいてとで、（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ，ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）と表記されるピクチャの幅及び／又は高さが同じであるとき、第１の映像ユニット（例えば、ＰＰＳ）においてと、第２の映像ユニットにおいてとで、適合クロッピングウィンドウオフセットパラメータが異なり得ることを提案する。
２３． 第１の映像ユニットにおいてと、第２の映像ユニットにおいてとで、（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ，ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）と表記されるピクチャの幅及び／又は高さが異なるとき、適合ビットストリームでは、第１の映像ユニット（例えば、ＰＰＳ）においてと、第２の映像ユニットにおいてとで、適合クロッピングウィンドウオフセットパラメータが同じであるべきことを提案する：
ａ． 第１の映像ユニットにおいてと、第２の映像ユニットにおいてとで、（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ，ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）と表記されるピクチャの幅及び／又は高さが同じであろうとなかとろうと、適合ビットストリームでは、第１の映像ユニット（例えば、ＰＰＳ）においてと、第２の映像ユニットにおいてとで、適合クロッピングウィンドウオフセットパラメータが同じであるべきことを提案する。
２４． 第１の映像ユニット（例えば、ＰＰＳ）に規定される適合ウィンドウの幅及び高さをそれぞれＷ１及びＨ１と表記するとする。第２の映像ユニット（例えば、ＰＰＳ）に規定される適合ウィンドウの幅及び高さをそれぞれＷ２及びＨ２と表記する。第１の映像ユニット（例えば、ＰＰＳ）に規定される適合ウィンドウの左上の位置をＸ１及びＹ１と表記する。第２の映像ユニット（例えば、ＰＰＳ）に規定される適合ウィンドウの左上の位置をＸ２及びＹ２と表記する。第１の映像ユニット（例えば、ＰＰＳ）に規定される符号化／復号ピクチャの幅及び高さ（例えば、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ及びｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）をそれぞれＰＷ１及びＰＨ１と表記する。第２の映像ユニット（例えば、ＰＰＳ）に規定される符号化／復号ピクチャの幅及び高さをそれぞれＰＷ２及びＰＨ２と表記する：
ａ． 一例において、適合ビットストリームではＷ１／Ｗ２がＸ１／Ｘ２に等しくあるべきである：
ｉ． あるいは、適合ビットストリームではＷ１／Ｘ１がＷ２／Ｘ２に等しくあるべきである；
ｉｉ． あるいは、適合ビットストリームではＷ１＊Ｘ２がＷ２＊Ｘ１に等しくあるべきである；
ｂ． 一例において、適合ビットストリームではＨ１／Ｈ２がＹ１／Ｙ２に等しくあるべきである：
ｉ． あるいは、適合ビットストリームではＨ１／Ｙ１がＨ２／Ｙ２に等しくあるべきである；
ｉｉ． あるいは、適合ビットストリームではＨ１＊Ｙ２がＨ２＊Ｙ１に等しくあるべきである；
ｃ． 一例において、適合ビットストリームではＰＷ１／ＰＷ２がＸ１／Ｘ２に等しくあるべきである：
ｉ． あるいは、適合ビットストリームではＰＷ１／Ｘ１がＰＷ２／Ｘ２に等しくあるべきである；
ｉｉ． あるいは、適合ビットストリームではＰＷ１＊Ｘ２がＰＷ２＊Ｘ１に等しくあるべきである；
ｄ． 一例において、適合ビットストリームではＰＨ１／ＰＨ２がＹ１／Ｙ２に等しくあるべきである：
ｉ． あるいは、適合ビットストリームではＰＨ１／Ｙ１がＰＨ２／Ｙ２に等しくあるべきである；
ｉｉ． あるいは、適合ビットストリームではＰＨ１＊Ｙ２がＰＨ２＊Ｙ１に等しくあるべきである；
ｅ． 一例において、適合ビットストリームではＰＷ１／ＰＷ２がＷ１／Ｗ２に等しくあるべきである：
ｉ． あるいは、適合ビットストリームではＰＷ１／Ｗ１がＰＷ２／Ｗ２に等しくあるべきである；
ｉｉ． あるいは、適合ビットストリームではＰＷ１＊Ｗ２がＰＷ２＊Ｗ１に等しくあるべきである；
ｆ． 一例において、適合ビットストリームではＰＨ１／ＰＨ２がＨ１／Ｈ２に等しくあるべきである：
ｉ． あるいは、適合ビットストリームではＰＨ１／Ｈ１がＰＨ２／Ｈ２に等しくあるべきである；
ｉｉ． あるいは、適合ビットストリームではＰＨ１＊Ｈ２がＰＨ２＊Ｈ１に等しくあるべきである；
ｇ． 適合ビットストリームでは、ＰＷ１がＰＷ２よりも大きい場合、Ｗ１はＷ２よりも大きくなければならない；
ｈ． 適合ビットストリームでは、ＰＷ１がＰＷ２よりも小さい場合、Ｗ１はＷ２よりも小さくなければならない；
ｉ． 適合ビットストリームでは、（ＰＷ１－ＰＷ２）＊（Ｗ１－Ｗ２）は０以上でなければならない；
ｊ． 適合ビットストリームでは、ＰＨ１がＰＨ２よりも大きい場合、Ｈ１はＨ２よりも大きくなければならない；
ｋ． 適合ビットストリームでは、ＰＨ１がＰＨ２よりも小さい場合、Ｈ１はＨ２よりも小さくなければならない；
ｌ． 適合ビットストリームでは、（ＰＨ１－ＰＨ２）＊（Ｈ１－Ｈ２）は０以上でなければならない；
ｍ． 適合ビットストリームでは、ＰＷ１＞＝ＰＷ２である場合、Ｗ１／Ｗ２はＰＷ１／ＰＷ２以下（又は以上）でなければならない；
ｎ． 適合ビットストリームでは、ＰＨ１＞＝ＰＨ２である場合、Ｈ１／Ｈ２はＰＨ１／ＰＨＷ２以下（又は以上）でなければならない。
２５． 現在ピクチャの適合ウィンドウの幅及び高さをそれぞれＷ及びＨと表記するとする。参照ピクチャの適合ウィンドウの幅及び高さをそれぞれＷ’及びＨ’と表記する。適合ビットストリームは、以下の制約の少なくとも１つに従うべきである：
ａ． Ｗ＊ｐｗ＞＝Ｗ’； ｐｗは例えば２などの整数である；
ｂ． Ｗ＊ｐｗ＞Ｗ’； ｐｗは例えば２などの整数である；
ｃ． Ｗ’＊ｐｗ’＞＝Ｗ； ｐｗ’は例えば８などの整数である；
ｄ． Ｗ’＊ｐｗ’＞Ｗ； ｐｗ’は例えば８などの整数である；
ｅ． Ｈ＊ｐｈ＞＝Ｈ’； ｐｈは例えば２などの整数である；
ｆ． Ｈ＊ｐｈ＞Ｈ’； ｐｈは例えば２などの整数である；
ｇ． Ｈ’＊ｐｈ’＞＝Ｈ； ｐｈ’は例えば８などの整数である；
ｈ． Ｈ’＊ｐｈ’＞Ｈ； ｐｈ’は例えば８などの整数である；
ｉ． 一例において、ｐｗはｐｗ’に等しい；
ｊ． 一例において、ｐｈはｐｈ’に等しい；
ｋ． 一例において、ｐｗはｐｈに等しい；
ｌ． 一例において、ｐｗ’はｐｈ’に等しい；
ｍ． 一例において、上の小箇条書きは、Ｗ及びＨがそれぞれ現在ピクチャの幅及び高さを表すときに、適合ビットストリームによって満足される必要があるとし得る。Ｗ’及びＨ’は、参照ピクチャの幅及び高さを表す。
２６． 適合ウィンドウパラメータが部分的にシグナリングされることを提案する：
ａ． 一例において、ピクチャの適合ウィンドウの左上サンプルは、そのピクチャにおけるそれと同じである；
ｂ． 例えば、ＶＶＣで定義されるｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔは、シグナリングされずに０であると推定される；
ｃ． 例えば、ＶＶＣで定義されるｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔは、シグナリングされずに０であると推定される。
２７． 参照サンプルの位置（例えば、ＶＶＣで定義される（ｒｅｆｘ_Ｌ，ｒｅｆｙ_Ｌ））の導出が、現在ピクチャ及び／又は参照ピクチャの適合ウィンドウの左上の位置（例えば、ＶＶＣで定義される（ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ，ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ））に依存し得ることを提案する。図４は、（ａ）ＶＶＣにおいてと同様に、及び（ｂ）及び提案する方法において導出されるサンプル位置の例を示している。破線の矩形が適合ウィンドウを表している：
ａ． 一例において、依存性は、現在ピクチャの幅及び／又は高さと参照ピクチャのそれとが異なるときにのみ存在する；
ｂ． 一例において、参照サンプルの水平位置（例えば、ＶＶＣで定義されるＲｅｆｘ_Ｌ）の導出は、現在ピクチャ及び／又は参照ピクチャの適合ウィンドウの左位置（例えば、ＶＶＣで定義されるｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ）に依存し得る：
ｉ． 一例において、現在ピクチャ内の適合ウィンドウの左上の位置に対する現在サンプルの水平位置（ｘＳｂ’と表記）が計算され、参照サンプルの位置を導出するために使用される：
１） 例えば、ｘＳｂ’＝ｘＳｂ－（ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＜＜Ｐｒｅｃ）が計算され、参照サンプルの位置を導出するために使用される。ここで、ｘＳｂは現在ピクチャ内の現在サンプルの水平位置を表す。ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔは現在ピクチャの適合ウィンドウ内の左上サンプルの水平位置を表す。ＰｒｅｃはｘＳｂ及びｘＳｂ’の精度を表し、ここで、（ｘＳｂ＞＞Ｐｒｅｃ）は、現在ピクチャに対する現在サンプルの実際の水平座標を示し得る。例えば、Ｐｒｅｃ＝０又はＰｒｅｃ＝４である；
ｉｉ． 一例において、参照ピクチャ内の適合ウィンドウの左上の位置に対する参照サンプルの水平位置（Ｒｘ’と表記）が計算される：
１） Ｒｘ’の計算は、ｘＳｂ’、及び／又は動きベクトル、及び／又はリサンプリング比に依存し得る；
ｉｉｉ． 一例において、参照ピクチャに対する参照サンプルの水平位置（Ｒｘと表記）が、Ｒｘ’に依存して計算される：
１） 例えば、Ｒｘ＝Ｒｘ’＋（ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＿ｒｅｆ＜＜Ｐｒｅｃ）が計算され、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＿ｒｅｆは、参照ピクチャの適合ウィンドウ内の左上サンプルの水平位置を表す。Ｐｒｅｃは、Ｒｘ及びＲｘ’の精度を表す。例えば、Ｐｒｅｃ＝０又はＰｒｅｃ＝４である；
ｉｖ． 一例において、Ｒｘは、ｘＳｂ’、及び／又は動きベクトル、及び／又はリサンプリング比に依存して直接計算され得る。換言すれば、Ｒｘ’及びＲｘについての導出の２つのステップが一ステップの計算へと結合される；
ｖ． 現在ピクチャ及び／又は参照ピクチャの適合ウィンドウの左位置（例えば、ＶＶＣで定義されるｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ）を使用すべきか、及び／又はどのように使用するかは、カラー成分及び／又はカラーフォーマットに依存し得る：
１） 例えば、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔを、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＝ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＊ＳｕｂＷｉｄｔｈＣとして改訂することができ、ここで、ＳｕｂＷｉｄｔｈＣは、カラー成分の水平方向のサンプリングステップを定義する。例えば、ＳｕｂＷｉｄｔｈＣはルマコンポーネントに対して１に等しい。ＳｕｂＷｉｄｔｈＣは、カラーフォーマットが４：２：０又は４：２：２である場合、クロマコンポーネントに対しては２に等しい；
２） 例えば、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔを、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＝ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ／ＳｕｂＷｉｄｔｈＣとして改訂することができ、ここで、ＳｕｂＷｉｄｔｈＣは、カラー成分の水平方向のサンプリングステップを定義する。例えば、ＳｕｂＷｉｄｔｈＣはルマコンポーネントに対して１に等しい。ＳｕｂＷｉｄｔｈＣは、カラーフォーマットが４：２：０又は４：２：２である場合、クロマコンポーネントに対しては２に等しい；
ｃ． 一例において、参照サンプルの垂直位置（例えば、ＶＶＣで定義されるＲｅｆｙ_Ｌ）の導出は、現在ピクチャ及び／又は参照ピクチャの適合ウィンドウの上位置（例えば、ＶＶＣで定義されるｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ）に依存し得る：
ｉ． 一例において、現在ピクチャ内の適合ウィンドウの左上の位置に対する現在サンプルの垂直位置（ｙＳｂ’と表記）が計算され、参照サンプルの位置を導出するために使用される：
１） 例えば、ｙＳｂ’＝ｙＳｂ－（ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ＜＜Ｐｒｅｃ）が計算され、参照サンプルの位置を導出するために使用される。ここで、ｙＳｂは現在ピクチャ内の現在サンプルの垂直位置を表す。ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔは現在ピクチャの適合ウィンドウ内の左上サンプルの垂直位置を表す。ＰｒｅｃはｙＳｂ及びｙＳｂ’の精度を表す。例えば、Ｐｒｅｃ＝０又はＰｒｅｃ＝４である；
ｉｉ． 一例において、参照ピクチャ内の適合ウィンドウの左上の位置に対する参照サンプルの垂直位置（Ｒｙ’と表記）が計算される：
１） Ｒｙ’の計算は、ｙＳｂ’、及び／又は動きベクトル、及び／又はリサンプリング比に依存し得る；
ｉｉｉ． 一例において、参照ピクチャに対する参照サンプルの垂直位置（Ｒｙと表記）が、Ｒｙ’に依存して計算される：
１） 例えば、Ｒｙ＝Ｒｙ’＋（ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ＿ｒｅｆ＜＜Ｐｒｅｃ）が計算され、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ＿ｒｅｆは、参照ピクチャの適合ウィンドウ内の左上サンプルの垂直位置を表す。Ｐｒｅｃは、Ｒｙ及びＲｙ’の精度を表す。例えば、Ｐｒｅｃ＝０又はＰｒｅｃ＝４である；
ｉｖ． 一例において、Ｒｙは、ｙＳｂ’、及び／又は動きベクトル、及び／又はリサンプリング比に依存して直接計算され得る。換言すれば、Ｒｙ’及びＲｙについての導出の２つのステップが一ステップの計算へと結合される；
ｖ． 現在ピクチャ及び／又は参照ピクチャの適合ウィンドウの上位置（例えば、ＶＶＣで定義されるｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ）を使用すべきか、及び／又はどのように使用するかは、カラー成分及び／又はカラーフォーマットに依存し得る：
１） 例えば、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔを、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ＝ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ＊ＳｕｂＨｅｉｇｈｔＣとして改訂することができ、ここで、ＳｕｂＨｅｉｇｈｔＣは、カラー成分の垂直方向のサンプリングステップを定義する。例えば、ＳｕｂＨｅｉｇｈｔＣはルマコンポーネントに対して１に等しい。ＳｕｂＨｅｉｇｈｔＣは、カラーフォーマットが４：２：０である場合、クロマコンポーネントに対しては２に等しい；
２） 例えば、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔを、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ＝ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ／ＳｕｂＨｅｉｇｈｔＣとして改訂することができ、ここで、ＳｕｂＨｅｉｇｈｔＣは、カラー成分の垂直方向のサンプリングステップを定義する。例えば、ＳｕｂＨｅｉｇｈｔＣはルマコンポーネントに対して１に等しい。ＳｕｂＨｅｉｇｈｔＣは、カラーフォーマットが４：２：０である場合、クロマコンポーネントに対しては２に等しい；
２８． 参照サンプルの水平座標の整数部分が［ｍｉｎＷ，ｍａｘＷ］にクリッピングされ得ることを提案する。参照ピクチャの適合ウィンドウの幅及び高さをそれぞれＷ及びＨと表記するとする。参照ピクチャの適合ウィンドウの幅及び高さをＷ’及びＨ’と表記する。参照ピクチャ内の適合ウィンドウの左上の位置を（Ｘ０，Ｙ０）と表記する：
ａ． 一例において、ｍｉｎＷは０に等しい；
ｂ． 一例において、ｍｉｎＷはＸ０に等しい；
ｃ． 一例において、ｍａｘＷはＷ－１に等しい；
ｄ． 一例において、ｍａｘＷはＷ’－１に等しい；
ｅ． 一例において、ｍａｘＷはＸ０＋Ｗ’－１に等しい；
ｆ． 一例において、ｍｉｎＷ及び／又はｍａｘＷは、カラーフォーマット及び／又はカラー成分に基づいて変更されてもよい：
ｉ． 例えば、ｍｉｎＷはｍｉｎＷ＊ＳｕｂＣに変更される；
ｉｉ． 例えば、ｍｉｎＷはｍｉｎＷ／ＳｕｂＣに変更される；
ｉｉｉ． 例えば、ｍａｘＷはｍａｘＷ＊ＳｕｂＣに変更される；
ｉｖ． 例えば、ｍａｘＷはｍａｘＷ＊ＳｕｂＣに変更される；
ｖ． 一例において、ＳｕｂＣはルマコンポーネントに対して１に等しい；
ｖｉ． 一例において、カラーフォーマットが４：２：０である場合、ＳｕｂＣはクロマコンポーネントに対して２に等しい；
ｖｉｉ． 一例において、カラーフォーマットが４：２：２である場合、ＳｕｂＣはクロマコンポーネントに対して２に等しい；
ｖｉｉｉ． 一例において、カラーフォーマットが４：４：４である場合、ＳｕｂＣはクロマコンポーネントに対して１に等しい；
ｇ． 一例において、クリッピングを行うべきか、及び／又はどのように行うかは、現在ピクチャ（又はその中の適合ウィンドウ）の寸法及び参照ピクチャ（又はその中の適合ウィンドウ）の寸法に依存し得る：
ｉ． 一例において、クリッピングは、現在ピクチャ（又はその中の適合ウィンドウ）の寸法と参照ピクチャ（又はその中の適合ウィンドウ）の寸法とが異なるときにのみ行われる。
２９． 参照サンプルの垂直座標の整数部分が［ｍｉｎＨ，ｍａｘＨ］にクリッピングされ得ることを提案する。参照ピクチャの適合ウィンドウの幅及び高さをそれぞれＷ及びＨと表記するとする。参照ピクチャの適合ウィンドウの幅及び高さをＷ’及びＨ’と表記する。参照ピクチャ内の適合ウィンドウの左上の位置を（Ｘ０，Ｙ０）と表記する：
ａ． 一例において、ｍｉｎＨは０に等しい；
ｂ． 一例において、ｍｉｎＨはＹ０に等しい；
ｃ． 一例において、ｍａｘＨはＨ－１に等しい；
ｄ． 一例において、ｍａｘＨはＨ’－１に等しい；
ｅ． 一例において、ｍａｘＨはＹ０＋Ｈ’－１に等しい；
ｆ． 一例において、ｍｉｎＨ及び／又はｍａｘＨは、カラーフォーマット及び／又はカラー成分に基づいて変更されてもよい：
ｉ． 例えば、ｍｉｎＨはｍｉｎＨ＊ＳｕｂＣに変更される；
ｉｉ． 例えば、ｍｉｎＨはｍｉｎＨ／ＳｕｂＣに変更される；
ｉｉｉ． 例えば、ｍａｘＨはｍａｘＨ＊ＳｕｂＣに変更される；
ｉｖ． 例えば、ｍａｘＨはｍａｘＨ＊ＳｕｂＣに変更される；
ｖ． 一例において、ＳｕｂＣはルマコンポーネントに対して１に等しい；
ｖｉ． 一例において、カラーフォーマットが４：２：０である場合、ＳｕｂＣはクロマコンポーネントに対して２に等しい；
ｖｉｉ． 一例において、カラーフォーマットが４：２：２である場合、ＳｕｂＣはクロマコンポーネントに対して１に等しい；
ｖｉｉｉ． 一例において、カラーフォーマットが４：４：４である場合、ＳｕｂＣはクロマコンポーネントに対して１に等しい；
ｇ． 一例において、クリッピングを行うべきか、及び／又はどのように行うかは、現在ピクチャ（又はその中の適合ウィンドウ）の寸法及び参照ピクチャ（又はその中の適合ウィンドウ）の寸法に依存し得る：
ｉ． 一例において、クリッピングは、現在ピクチャ（又はその中の適合ウィンドウ）の寸法と参照ピクチャ（又はその中の適合ウィンドウ）の寸法とが異なるときにのみ行われる。
以下の説明では、第１のシンタックス要素と第２のシンタックス要素との２つのシンタックス要素が等価な機能を持つが、異なる映像ユニット（例えば、ＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／ピクチャヘッダなど）でシグナリングされ得る場合に、第１のシンタックス要素は第２のシンタックス要素に“対応する”と言う。
３０． シンタックス要素が第１の映像ユニット（例えば、ピクチャヘッダ又はＰＰＳ）内でシグナリングされ、より高いレベル（例えばＳＰＳなど）又はより低いレベル（例えばスライスヘッダなど）の第２の映像ユニットで、対応するシンタックス要素がシグナリングされないことを提案する：
ａ． あるいは、第１のシンタックス要素が第１の映像ユニット（例えば、ピクチャヘッダ又はＰＰＳ）内でシグナリングされ得るとともに、対応する第２のシンタックス要素が、より低いレベル（例えばスライスヘッダなど）の第２の映像ユニット内でシグナリングされ得る：
ｉ． あるいは、第２のシンタックス要素がその後にシグナリングされるかを通知するインジケータが第２の映像ユニット内でシグナリングされ得る；
ｉｉ． 一例において、第２の映像ユニット（例えばスライスヘッダなど）に関連するスライスは、第２のものがシグナリングされる場合に第１のものの代わりに第２のシンタックス要素のインジケーションに続き得る；
ｉｉｉ． 第１の映像ユニットに関連するいずれかのスライス（又は他の映像ユニット）内で第２のシンタックス要素がシグナリングされるかを通知するために、第１のシンタックス要素に関連するインジケータが第１の映像ユニット内でシグナリングされてもよい；
ｂ． あるいは、第１のシンタックス要素が、より高いレベル（例えばＶＰＳ／ＳＰＳ／ＰＰＳなど）の第１の映像ユニット内でシグナリングされ得るとともに、対応する第２のシンタックス要素が、第２の映像ユニット（例えばピクチャヘッダなど）内でシグナリングされ得る：
ｉ． あるいは、第２のシンタックス要素がその後にシグナリングされるかを通知するインジケータがシグナリングされ得る；
ｉｉ． 一例において、第２の映像ユニットに関連するピクチャ（これは複数のスライスに分割され得る）が、第２のものがシグナリングされる場合に第１のものの代わりに第２のシンタックス要素のインジケーションに続き得る；
ｃ． ピクチャヘッダ内の第１のシンタックス要素は、セクション２．６で規定されるようなスライスヘッダ内の第２のシンタックス要素（しかし、例えばｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｃａｂａｃ＿ｉｎｉｔ＿ｆｌａｇ、ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ、ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ、ｓｌｉｃｅ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ｂｄｏｆ＿ｄｍｖｒ＿ｆｌａｇ、ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ、ｓｌｉｃｅ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｌｉｃｅ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄ、ｓｌｉｃｅ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｓｉｇｎ＿ｆｌａｇ、ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａ、…などに限られる）と等価な機能を持ち得るが、ピクチャの全てのスタイスを制御し得る；
ｄ． セクション２．６で規定されるようなＳＰＳ内の第１のシンタックス要素は、ピクチャヘッダ内の第２のシンタックス要素（しかし、例えばｓｐｓ＿ｂｄｏｆ＿ｄｍｖｒ＿ｓｌｉｃｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｉｓｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｍｒｌ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｍｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ…などに限られる）と等価な機能を持ち得るが、関連するピクチャ（これは複数のスライスに分割され得る）のみを制御し得る；
ｅ． セクション２．７で規定されるようなＰＰＳ内の第１のシンタックス要素は、ピクチャヘッダ内の第２のシンタックス要素（しかし、例えばｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｃａｂａｃ＿ｉｎｉｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｒｐｌ１＿ｉｄｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ…などに限られる）と等価な機能を持ち得るが、関連するピクチャ（これは複数のスライスに分割され得る）のみを制御し得る。
３１． この開示（箇条書き１－箇条書き２９）において、用語“適合ウィンドウ”は、例えば“スケーリングウィンドウ”などの他の用語で置き換えられてもよい。スケーリングウィンドウは、適合ウィンドウとは異なるようにシグナリングされてもよく、ＲＰＲのための参照サンプル位置を導出するのに使用されるスケーリング比及び／又は左上オフセットを導出するために使用される：
ａ． 一例において、スケーリングウィンドウは、適合ウィンドウによって制約され得る。例えば、適合ビットストリームでは、スケーリングウィンドウは適合ウィンドウに含まれなければならない。
３２． 変換スキップコーディングされるブロックの許容最大ブロックサイズをシグナリングすべきか、及び／又はどのようにシグナリングするかは、変換コーディングされるブロックの最大ブロックサイズに依存し得る：
ａ． あるいは、変換スキップコーディングされるブロックの最大ブロックサイズは、適合ビットストリームにおいて変換コーディングされるブロックの最大ブロックサイズよりも大きくすることはできない。
３３． ジョイントＣｂ－Ｃｒ残差（Joint Cb-Cr Residue；ＪＣＣＲ）コーディングを有効にすることのインジケーション（例えばｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇなど）をシグナリングすべきか、及び／又はどのようにシグナリングするかは、カラーフォーマット（例えば４：０：０、４：２：０など）に依存し得る：
ａ． 例えば、カラーフォーマットが４：０：０である場合、ジョイントＣｂ－Ｃｒ残差（ＪＣＣＲ）を有効にすることのインジケーションはシグナリングされないとし得る。例示的なシンタックス設計は以下の通りである：
（外９）

ＴＰＭ／ＧＥＯにおけるクロマ混合マスク生成のためのダウンサンプリングフィルタタイプ
３４． クロマサンプルについての混合重み導出に使用されるダウンサンプリングフィルタのタイプが、映像ユニットレベル（例えばＳＰＳ／ＶＰＳ／ＰＰＳ／ＰＰＳ／ピクチャヘッダ／サブピクチャ／スライス／スライスヘッダ／タイル／ブリック／ＣＴＵ／ＶＰＤＵレベルなど）でシグナリングされ得る：
ａ． 一例において、コンテンツの異なるクロマフォーマットタイプを切り換えるために、ハイレベルフラグがシグナリングされ得る：
ｉ． 一例において、クロマフォーマットタイプ０とクロマフォーマットタイプ２との間で切り換えるために、ハイレベルフラグがシグナリングされ得る；
ｉｉ． 一例において、ＴＰＭ／ＧＥＯ予測モードにおける左上のダウンサンプリングルマ重みが左上ルマ重みとコロケートである（すなわち、クロマサンプル位置タイプ０）かを規定するために、フラグがシグナリングされ得る；
ｉｉｉ． 一例において、ＴＰＭ／ＧＥＯ予測モードにおける左上ダウンサンプリングルマサンプルが左上ルマサンプルと水平方向にはコロケートであるが、左上ルマサンプルに対して０．５単位のルマサンプルだけ垂直方向にシフトされている（すなわち、クロマサンプル位置タイプ２）かを規定するために、フラグがシグナリングされ得る；
ｂ． 一例において、ダウンサンプリングフィルタのタイプは、４：２：０クロマフォーマット及び／又は４：２：２クロマフォーマットに対してシグナリングされ得る；
ｃ． 一例において、ＴＰＭ／ＧＥＯ予測に使用されるクロマダウンサンプリングフィルタのタイプを規定するために、フラグがシグナリングされ得る：
ｉ． 一例において、このフラグは、ＴＰＭ／ＧＥＯ予測モードにおけるクロマ重み導出のためにダウンサンプリングフィルタＡを使用するのかダウンサンプリングフィルタＢを使用するのかについてシグナリングされ得る。
３５． クロマサンプルについての混合重み導出に使用されるダウンサンプリングフィルタのタイプが、映像ユニットレベル（例えばＳＰＳ／ＶＰＳ／ＰＰＳ／ＰＰＳ／ピクチャヘッダ／サブピクチャ／スライス／スライスヘッダ／タイル／ブリック／ＣＴＵ／ＶＰＤＵレベルなど）で導出され得る：
ａ． 一例において、クロマサブサンプリングフィルタタイプとコンテンツのクロマフォーマットタイプとの間の対応関係を規定するために、ルックアップテーブルが規定され得る。
３６． 異なるクロマサンプル位置タイプの場合に、特定のダウンサンプリングフィルタがＴＰＭ／ＧＥＯ予測モードに使用され得る：
ａ． 一例において、特定のクロマサンプル位置タイプ（例えば、クロマサンプル位置タイプ０）の場合に、ＴＰＭ／ＧＥＯのクロマ重みは、コロケート左上ルマ重みからサブサンプリングされ得る；
ｂ． 一例において、特定のクロマサンプル位置タイプ（例えば、クロマサンプル位置タイプ０又は２）の場合に、特定のＸタップフィルタ（Ｘは、例えばＸ＝６又は５などの定数）が、ＴＰＭ／ＧＥＯ予測モードにおけるクロマ重みサブサンプリングに使用され得る。
３７． 映像ユニット（例えば、ＳＰＳ、ＰＰＳ、ピクチャヘッダ、スライスヘッダなど）内で、全てのブロック（スライス／ピクチャ）に対して複数変換選択（Multiple Transform Selection；ＭＴＳ）が無効にされるかを指し示す第１のシンタックス要素（例えばフラグなど）がシグナリングされ得る。ＭＴＳは、複数の変換の中からのレート歪みコストを最大化する変換の選択に基づく：
ａ． イントラコーディングされるブロック（スライス／ピクチャ）にＭＴＳをどのように適用するか（例えば、ＭＴＳを有効にする／ＭＴＳを無効にする／黙示的ＭＴＳ／明示的ＭＴＳなど）を指し示す第２のシンタックス要素が、第１のシンタックス要素に基づいて条件付きでシグナリングされる。例えば、第２のシンタックス要素は、全てのブロック（スライス／ピクチャ）に対してＭＴＳが無効にされることを第１のシンタックス要素が指し示す場合にのみシグナリングされる；
ｂ． インターコーディングされるブロック（スライス／ピクチャ）にＭＴＳをどのように適用するか（例えば、ＭＴＳを有効にする／ＭＴＳを無効にする／黙示的ＭＴＳ／明示的ＭＴＳなど）を指し示す第３のシンタックス要素が、第１のシンタックス要素に基づいて条件付きでシグナリングされる。例えば、第３のシンタックス要素は、全てのブロック（スライス／ピクチャ）に対してＭＴＳが無効にされるのではないことを第１のシンタックス要素が指し示す場合にのみシグナリングされる；
ｃ． 例示的なシンタックス設計は以下の通りである：
（外１０）

ｄ． 第３のシンタックス要素は、サブブロック変換（Sub-Block Transform；ＳＢＴ）が適用されるか否かに基づいて条件付きでシグナリングされ得る。
例示的なシンタックス設計は以下の通りである：
（外１１）

ｅ． 例示的なシンタックス設計は以下の通りである：
（外１２）

【0099】

５． 更なる実施形態
以下では、テキスト変更を、下線付きの太字のイタリック体で示す。

【0100】

５．１． 適合ウィンドウについての制約の実施形態
（外１３）

【0101】

５．２． 参照サンプル位置導出の実施形態１
（外１４）

【0102】

５．３． 参照サンプル位置導出の実施形態２
（外１５）

【0103】

５．４． 参照サンプル位置導出の実施形態３
（外１６）

【0104】

５．５． 参照サンプル位置クリッピングの実施形態１
（外１７）

【0105】

５．６． 参照サンプル位置クリッピングの実施形態２
（外１８）

【0106】

６． 開示技術の実装例
図５は、映像処理装置５００のブロック図である。装置５００は、ここに記載される方法のうちの１つ以上を実装するために使用され得る。装置５００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信器にて具現化され得る。装置５００は、１つ以上のプロセッサ５０２、１つ以上のメモリ５０４、及び映像処理ハードウェア５０６を含み得る。（１つ以上の）プロセッサ５０２は、本文書に記載される１つ以上の方法を実行するように構成され得る。（１つ以上の）メモリ５０４は、ここに記載される方法及び技術を実行するのに使用されるデータ及びコードを格納するために使用され得る。映像処理ハードウェア５０６は、本文書に記載される一部の技術をハードウェア回路にて実装するために使用されることができ、また、部分的に又は完全にプロセッサ５０２の一部（例えば、グラフィックスプロセッサコアＧＰＵ又は他の信号処理回路）であることができる。

【0107】

本文書において、用語“映像処理”又はコーディングは、映像符号化、映像復号、映像圧縮、又は映像解凍を指し得る。例えば、映像圧縮アルゴリズムが、映像のピクセル表現から対応するビットストリーム表現への変換又はその逆の変換において適用され得る。現在映像ブロックのビットストリーム表現は、例えば、シンタックスによって規定されるように、ビットストリーム内で一緒に置かれたビット又は複数の異なる場所に散らされたビットのいずれかに対応する。例えば、変換され符号化されたエラー残差値に関して、ビットストリーム内のヘッダ及び他のフィールドの中のビットを用いて、マクロブロックを符号化し得る。

【0108】

理解されることには、開示される方法及び技術は、本文書に開示される技術の使用を可能にすることによって、例えばスマートフォン、ラップトップ、デスクトップ、及び類似の装置などの映像処理装置に組み込まれたビデオエンコーダ及び／又はデコーダの実施形態に利益をもたらすことになる。

【0109】

図６は、映像処理の方法６００の一例のフローチャートである。方法６００は、６１０にて、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、参照ピクチャの解像度及び／又はサイズが現在映像ブロックの解像度及び／又はサイズと異なる場合、現在映像ブロックを用いて予測される一群の隣接又は非隣接サンプルに同一の補間フィルタが適用される。

【0110】

一部の実施形態を以下の項ベースのフォーマットを用いて記載する。

【0111】

１． 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、参照ピクチャの解像度及び／又はサイズが前記現在映像ブロックの解像度及び／又はサイズと異なる場合、前記現在映像ブロックを用いて予測される一群の隣接又は非隣接サンプルに同一の補間フィルタが適用される、ステップ、
を有する方法。

【0112】

２． 前記同一の補間フィルタは垂直補間フィルタである、項１に記載の方法。

【0113】

３． 前記同一の補間フィルタは水平補間フィルタである、項１に記載の方法。

【0114】

４． 前記一群の隣接又は非隣接サンプルは、前記現在映像ブロックのある領域内に位置する全てのサンプルを含む、項１に記載の方法。

【0115】

５． 前記現在映像ブロックは、各々がサイズＭ×Ｎである複数の矩形に分割される、項４に記載の方法。

【0116】

６． Ｍ及び／又はＮは予め決められている、項５に記載の方法。

【0117】

７． Ｍ及び／又はＮは、前記現在映像ブロックの寸法から導出される、項５に記載の方法。

【0118】

８． Ｍ及び／又はＮは、前記現在映像ブロックの前記符号化表現内でシグナリングされる、項５に記載の方法。

【0119】

９． 前記一群のサンプルは同じ動きベクトルを共有する、項１に記載の方法。

【0120】

１０． 前記一群のサンプルは、同じ水平成分、及び／又は水平成分の同じ分数部分を共有する、項９に記載の方法。

【0121】

１１． 前記一群のサンプルは、同じ垂直成分、及び／又は垂直成分の同じ分数部分を共有する、項９に記載の方法。

【0122】

１２． 前記同じ動きベクトル又はその成分は、前記参照ピクチャの前記解像度、前記参照ピクチャの前記サイズ、前記現在映像ブロックの前記解像度、前記現在映像ブロックの前記サイズ、又は精度値、のうちの１つに少なくとも基づく１つ以上のルールを満たす、項９乃至１１のいずれかに記載の方法。

【0123】

１３． 前記同じ動きベクトル又はその成分は、前記現在映像ブロック内に位置するサンプルの動き情報に相当する、項９乃至１１のいずれかに記載の方法。

【0124】

１４． 前記同じ動きベクトル又はその成分は、前記一群の内側又は外側に位置する仮想サンプルの動き情報に設定される、項９乃至１１のいずれかに記載の方法。

【0125】

１５． 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、参照ピクチャの解像度及び／又はサイズが前記現在映像ブロックの解像度及び／又はサイズと異なる場合、前記現在映像ブロックを用いて予測されるブロックは、前記現在ブロックに関係する整数値動き情報を用いることのみ許される、ステップ、
を有する方法。

【0126】

１６． 前記整数値動き情報は、前記現在映像ブロックの元の動き情報を丸めることによって導出される、項１５に記載の方法。

【0127】

１７． 前記現在映像ブロックの前記元の動き情報は、水平方向及び／又は垂直方向にある、項１５に記載の方法。

【0128】

１８． 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、参照ピクチャの解像度及び／又はサイズが前記現在映像ブロックの解像度及び／又はサイズと異なる場合、前記現在映像ブロックを用いて予測されるブロックを導出するために補間フィルタが適用され、該補間フィルタはルールに基づいて選択される、ステップ、
を有する方法。

【0129】

１９． 前記ルールは、前記現在映像ブロックの前記解像度及び／又は前記サイズに対する前記参照ピクチャの前記解像度及び／又は前記サイズに関係する、項１８に記載の方法。

【0130】

２０． 前記補間フィルタは垂直補間フィルタである、項１８に記載の方法。

【0131】

２１． 前記補間フィルタは水平補間フィルタである、項１８に記載の方法。

【0132】

２２． 前記補間フィルタは、１タップフィルタ、双線形フィルタ、４タップフィルタ、又は６タップフィルタのうちの１つである、項１８に記載の方法。

【0133】

２３． 前記補間フィルタは、前記変換の他のステップの一部として使用される、項２２に記載の方法。

【0134】

２４． 前記補間フィルタは、パディングサンプルの使用を含む、項１８に記載の方法。

【0135】

２５． 前記補間フィルタの使用は、前記現在映像ブロックのサンプルのカラー成分に依存する、項１８に記載の方法。

【0136】

２６． 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、参照ピクチャの解像度及び／又はサイズが前記現在映像ブロックの解像度及び／又はサイズと異なる場合、デブロッキングフィルタを選択的に適用し、該デブロッキングフィルタの強さが、前記現在映像ブロックの前記解像度及び／又は前記サイズに対する前記参照ピクチャの前記解像度及び／又は前記サイズに関係するルールに従って設定される、ステップ、
を有する方法。

【0137】

２７． 前記デブロッキングフィルタの前記強さは映像ブロックごとに変化する、項２７に記載の方法。

【0138】

２８． 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、前記現在映像ブロックのサブピクチャが存在する場合、適合ビットストリームは、前記現在映像ブロックの前記解像度及び／又は前記サイズに対する前記参照ピクチャの前記解像度及び／又は前記サイズに関係するルールを満たす、ステップ、
を有する方法。

【0139】

２９． 前記現在映像ブロックを１つ以上のサブピクチャにスプリットするステップであり、当該スプリットすることは、少なくとも、前記現在映像ブロックの前記解像度に依存する、ステップ、
を更に有する項２８に記載の方法。

【0140】

３０． 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、前記現在映像ブロックの参照ピクチャが、前記現在映像ブロックの寸法に基づくルールに従ってリサンプリングされる、ステップ、
を有する方法。

【0141】

３１． 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、前記現在映像ブロックへのコーディングツールの使用が、前記現在映像ブロックの解像度／サイズに対する前記現在映像ブロックの参照ピクチャの解像度／サイズに応じて選択的に有効又は無効にされる、ステップ、
を有する方法。

【0142】

３２． 前記一群のサンプルは適合ウィンドウ内に位置する、以上の項のいずれかに記載の方法。

【0143】

３３． 前記適合ウィンドウは矩形の形状である、項３２に記載の方法。

【0144】

３４． 前記解像度は、前記符号化／復号映像ブロックの解像度、又は前記符号化／復号映像ブロック内の前記適合ウィンドウの解像度に関する、以上の項のいずれかに記載の方法。

【0145】

３５． 前記サイズは、前記符号化／復号映像ブロックのサイズ、又は前記符号化／復号映像ブロック内の前記適合ウィンドウのサイズに関する、以上の項のいずれかに記載の方法。

【0146】

３６． 前記寸法は、前記符号化／復号映像ブロックの寸法、又は前記符号化／復号映像ブロック内の前記適合ウィンドウの寸法に関する、以上の項のいずれかに記載の方法。

【0147】

３７． 前記適合ウィンドウは、適合クロッピングウィンドウパラメータのセットによって画成される、項３２に記載の方法。

【0148】

３８． 適合クロッピングウィンドウパラメータのセットのうちの少なくとも一部が、前記符号化表現内で黙示的又は明示的にシグナリングされる、項３７に記載の方法。

【0149】

３９． 適合クロッピングウィンドウパラメータの前記セットは、前記符号化表現内でシグナリングされることを許されない、以上の項のいずれかに記載の方法。

【0150】

４０． 前記参照サンプルの位置は、前記適合ウィンドウ内の前記現在映像ブロックの左上サンプルに対して導出される、以上の項のいずれかに記載の方法。

【0151】

４１． 映像処理の方法であって、
複数の映像ブロックと前記複数の映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、第１の適合ウィンドウが第１の映像ブロックに対して画成され、第２の適合ウィンドウが第２の映像ブロックに対して画成され、前記第２の適合ウィンドウに対する前記第１の適合ウィンドウの幅及び／又は高さの比が、少なくとも適合ビットストリームに基づくルールに従う、ステップ、
を有する方法。

【0152】

４２． 項１乃至４１のいずれかに記載の方法を実装するように構成されたプロセッサを有する映像復号装置。

【0153】

４３． 項１乃至４１のいずれかに記載の方法を実装するように構成されたプロセッサを有する映像符号化装置。

【0154】

また、非一時的なコンピュータ読み取り可能媒体に格納されたコンピュータプログラムプロダクトであって、開示される方法のうちの１つ以上を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。

【0155】

４４． コンピュータコードを格納したコンピュータプログラムプロダクトであって、前記コードは、プロセッサによって実行されるときに、該プロセッサに項１乃至４１のいずれかに記載の方法を実行させる、コンピュータプログラムプロダクト。

【0156】

４５． 本文書に記載の方法、装置、又はシステム。

【0157】

図７は、ここに開示される様々な技術が実装され得る映像処理システム７００の一例を示すブロック図である。様々な実装は、システム７００のコンポーネントの一部又は全てを含み得る。システム７００は、映像コンテンツを受信する入力７０２を含み得る。映像コンテンツは、例えば８ビット又は１０ビットのマルチコンポーネント（多成分）ピクセル値といった、ロー（未加工）又は未圧縮のフォーマットで受信されてもよいし、あるいは圧縮又は符号化されたフォーマットで受信されてもよい。入力７０２は、ネットワークインタフェース、周辺バスインタフェース、又はストレージインタフェースを表し得る。ネットワークインタフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）などの有線インタフェース、及びＷｉ－Ｆｉ（登録商標）若しくはセルラーインタフェースなどの無線インタフェースを含む。

【0158】

システム７００は、本文書に記載される様々なコーディング又は符号化方法を実装し得るコーディングコンポーネント７０４を含み得る。コーディングコンポーネント７０４は、入力７０２からコーディングコンポーネント７０４の出力まで映像の平均ビットレートを低減させて、映像の符号化表現を生成し得る。コーディング技術は、それ故に、映像圧縮技術又は映像トランスコーディング技術と呼ばれることがある。コーディングコンポーネント７０４の出力は、格納されるか、コンポーネント７０６によって表されるように接続されて通信を介して伝送されるかし得る。入力７０２で受信された映像の格納又は通信されるビットストリーム（又は符号化）表現は、ディスプレイインタフェース７１０に送られるピクセル値又は表示可能映像を生成するためにコンポーネント７０８によって使用され得る。ビットストリーム表現からユーザが見ることができる映像を生成するプロセスは、映像解凍と呼ばれることがある。また、特定の映像処理操作が“コーディング”の操作又はツールとして参照されることがあるが、理解されることには、コーディングのツール又は操作はエンコーダで使用され、コーディングの結果を裏返す対応する復号のツール又は操作がデコーダで実行されることになる。

【0159】

周辺バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）又は高精細マルチメディアインタフェース（ＨＤＭＩ（登録商標））又はディスプレイポート（Displayport）などを含み得る。ストレージインタフェースの例は、ＳＡＴＡ（serial advanced technology attachment）、ＰＣＩ、ＩＤＥインタフェースなどを含む。本文書に記載される技術は、例えば携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実行することが可能な他の装置などの、種々のエレクトロニクス装置にて具現化され得る。

【0160】

図８は、この開示の技術を利用し得る映像コーティングシステム１００の一例を示すブロック図である。

【0161】

図８に示すように、映像コーティングシステム１００は、ソース装置１１０及びデスティネーション装置１２０を含み得る。ソース装置１１０は、符号化映像データを生成し、映像符号化装置として参照され得る。デスティネーション装置１２０は、ソース装置１１０によって生成された符号化映像データを復号することができ、映像復号装置として参照され得る。

【0162】

ソース装置１１０は、映像ソース１１２、ビデオエンコーダ１１４、及び入力／出力（Ｉ／Ｏ）インタフェース１１６を含み得る。

【0163】

映像ソース１１２は、例えば、映像キャプチャ装置、映像コンテンツプロバイダから映像データを受信するインタフェース、及び／又は映像データを生成するコンピュータグラフィックスシステム、又はそのようなソースの組み合わせなどの、ソースを含み得る。映像データは、１つ以上のピクチャを有し得る。ビデオエンコーダ１１４は、映像ソース１１２からの映像データを符号化してビットストリームを生成する。ビットストリームは、映像データの符号化表現を形成する一連のビットを含み得る。ビットストリームは、符号化ピクチャ及び関連データを含み得る。符号化ピクチャはピクチャの符号化表現である。関連データは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含み得る。Ｉ／Ｏインタフェース１１６は、変調器／復調器（モデム）及び／又は送信器を含み得る。符号化映像データは、Ｉ／Ｏインタフェース１１６を介し、ネットワーク１３０ａを通じて直接、デスティネーション装置１２０に伝送され得る。符号化映像データはまた、デスティネーション装置１２０によるアクセスのためにストレージ媒体／サーバ１３０ｂ上に格納されてもよい。

【0164】

デスティネーション装置１２０は、Ｉ／Ｏインタフェース１２６、ビデオデコーダ１２４、及び表示装置１２２を含み得る。

【0165】

Ｉ／Ｏインタフェース１２６は、受信器及び／又はモデムを含み得る。Ｉ／Ｏインタフェース１２６は、ソース装置１１０又はストレージ媒体／サーバ１３０ｂから符号化映像データを取得し得る。ビデオデコーダ１２４は符号化映像データを復号し得る。表示装置１２２は、復号映像データをユーザに表示し得る。表示装置１２２は、デスティネーション装置１２０と一体化されてもよいし、あるいは、外部表示装置とインタフェースするように構成されたデスティネーション装置１２０の外部にあってもよい。

【0166】

ビデオエンコーダ１１４及びビデオデコーダ１２４は、例えばハイエフィシェンシビデオコーディング（ＨＥＶＣ）標準、バーサタイルビデオコーディング（ＶＶＣ）標準、及び他の現行の及び／又は将来の標準などの、映像圧縮標準に従って動作し得る。

【0167】

図９は、図８に示したシステム１００内のビデオエンコーダ１１４とし得るものであるビデオエンコーダ２００の一例を示すブロック図である。

【0168】

ビデオエンコーダ２００は、この開示の技術のうちのいずれか又は全てを実行するように構成され得る。図９の例において、ビデオエンコーダ２００は、複数の機能コンポーネントを含んでいる。この開示に記載される技術は、ビデオエンコーダ２００の様々なコンポーネントの間で共有され得る。一部の例において、プロセッサが、この開示に記載される技術のうちのいずれか又は全てを実行するように構成され得る。

【0169】

ビデオエンコーダ２００の機能コンポーネントは、分割ユニット２０１と、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５、及びイントラ予測ユニット２０６を含み得る予測ユニット２０２と、残差生成ユニット２０７と、変換ユニット２０８と、量子化ユニット２０９と、逆量子化ユニット２１０と、逆変換ユニット２１１と、再構成ユニット２１２と、バッファ２１３と、エントロピー符号化ユニット２１４とを含み得る。

【0170】

他の例において、ビデオエンコーダ２００は、より多くの、より少ない、又は異なる機能コンポーネントを含んでもよい。一例において、予測ユニット２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含んでいてもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが、現在映像ブロックが位置するところのピクチャである、というＩＢＣモードで予測を実行し得る。

【0171】

また、例えば動き推定ユニット２０４及び動き補償ユニット２０５などの一部のコンポーネントは、図５の例では説明の目的で別々に表されているが、高度に集積されることができる。

【0172】

分割ユニット２０１は、ピクチャを１つ以上の映像ブロックに分割し得る。ビデオエンコーダ２００及びビデオデコーダ３００は、様々な映像ブロックサイズをサポートし得る。

【0173】

モード選択ユニット２０３は、例えば誤差結果に基づいて、イントラ又はインターである複数のコーティングモードのうちの１つを選択し、得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成する残差生成ユニット２０７と、参照ピクチャとしての使用のために符号化ブロックを再構成する再構成ユニット２１２とに提供し得る。一部の例において、モード選択ユニット２０３は、予測がインター予測信号及びイントラ予測信号に基づくものである組み合わせイントラ・インター予測（combination of intra and inter predication；ＣＩＩＰ）モードを選択してもよい。モード選択ユニット２０３はまた、インター予測の場合に、ブロックに対する動きベクトルの分解能（例えば、サブピクセル又は整数ピクセルの精度）を選択し得る。

【0174】

現在映像ブロックに対してインター予測を実行するために、動き推定ユニット２０４が、バッファ２１３からの１つ以上の参照フレームを現在映像ブロックと比較することによって、現在映像ブロックについての動き情報を生成し得る。動き補償ユニット２０５が、現在映像ブロックに関連付けられたピクチャ以外の、バッファ２１３からのピクチャの動き情報及び復号サンプルに基づいて、現在映像ブロックについての予測映像ブロックを決定し得る。

【0175】

動き推定ユニット２０４及び動き補償ユニット２０５は、例えば、現在映像ブロックがＩスライス内にあるか、Ｐスライス内にあるか、それともＢスライス内にあるかに応じて、現在映像ブロックに対して異なる演算を実行し得る。

【0176】

一部の例において、動き推定ユニット２０４は、現在映像ブロックに対して片方向予測を実行することができ、動き推定ユニット２０４は、現在映像ブロックに対する参照映像ブロックについてリスト０又はリスト１の参照ピクチャを探索し得る。そして、動き推定ユニット２０４は、参照映像ブロックを含んだリスト０又はリスト１内の参照ピクチャを指し示す参照インデックスと、現在映像ブロックと参照映像ブロックとの間の空間変位を指し示す動きベクトルとを生成し得る。動き推定ユニット２０４は、現在映像ブロックの動き情報として、上記参照インデックスと、予測方向インジケータと、上記動きベクトルとを出力し得る。現在映像ブロックの動き情報によって示される参照映像ブロックに基づいて、動き補償ユニット２０５が現在ブロックの予測映像ブロックを生成し得る。

【0177】

他の例において、動き推定ユニット２０４は、現在映像ブロックに対して双方向予測を実行することができ、動き推定ユニット２０４は、現在映像ブロックに対する参照映像ブロックについてリスト０内の参照ピクチャを探索し得るとともに、現在映像ブロックに対するもう１つの参照映像ブロックについてリスト１内の参照ピクチャも探索し得る。そして、動き推定ユニット２０４は、参照映像ブロックを含んだリスト０内の及びリスト１内の参照ピクチャを指し示す参照インデックスと、それら参照映像ブロックと現在映像ブロックとの間の空間変位を指し示す動きベクトルとを生成し得る。動き推定ユニット２０４は、現在映像ブロックの動き情報として、それら参照インデックスと、現在映像ブロックの上記動きベクトルとを出力し得る。現在映像ブロックの動き情報によって示される参照映像ブロックに基づいて、動き補償ユニット２０５が現在ブロックの予測映像ブロックを生成し得る。

【0178】

一部の例において、動き推定ユニット２０４は、デコーダの復号処理のために、動き情報の完全なセットを出力し得る。

【0179】

一部の例において、動き推定ユニット２０４は、現在映像についての動き情報の完全なセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、別の映像ブロックの動き情報を参照して現在映像ブロックの動き情報をシグナリングしてもよい。例えば、動き推定ユニット２０４は、現在映像ブロックの動き情報が隣接映像ブロックの動き情報と十分に似ていると判定し得る。

【0180】

一例において、動き推定ユニット２０４は、現在映像ブロックに関連付けられるシンタックス構造内で、現在映像ブロックが別の映像ブロックと同じ動き情報を持つことをビデオデコーダ３００に示す値を指し示し得る。

【0181】

他の一例において、動き推定ユニット２０４は、現在映像ブロックに関連付けられるシンタックス構造内で、別の映像ブロックと動きベクトル差（ＭＶＤ）とを特定してもよい。動きベクトル差は、現在映像ブロックの動きベクトルと、指し示される映像ブロックの動きベクトルとの間の差を示す。ビデオデコーダ３００は、指し示された映像ブロックの動きベクトルと動きベクトル差とを用いて、現在映像ブロックの動きベクトルを決定し得る。

【0182】

上述のように、ビデオエンコーダ２００は、動きベクトルを予測的にシグナリングし得る。ビデオエンコーダ２００によって実装され得る予測的シグナリング技術の２つの例は、アドバンスト動きベクトル予測（ＡＭＶＰ）及びマージモードシグナリングを含む。

【0183】

イントラ予測ユニット２０６は、現在映像ブロックに対してイントラ予測を実行し得る。イントラ予測ユニット２０６が現在映像ブロックに対してイントラ予測を実行するとき、イントラ予測ユニット２０６は、同じピクチャ内の他の映像ブロックの復号サンプルに基づいて、現在映像ブロックについての予測データを生成し得る。現在映像ブロックについての予測データは、予測映像ブロックと様々なシンタックス要素とを含み得る。

【0184】

残差生成ユニット２０７は、現在映像ブロックの（１つ以上の）予測映像ブロックを現在映像ブロックから差し引くことによって（例えば、マイナス符号によって示される）、現在映像ブロックについての残差データを生成し得る。現在映像ブロックの残差データは、現在映像ブロック内のサンプルの異なるサンプル成分に対応する残差映像ブロックを含み得る。

【0185】

他の例では、例えばスキップモードにおいて、現在映像ブロックのために現在映像ブロックについての残差データが存在しないことがあり、残差生成ユニット２０７は減算演算を実行しないことがある。

【0186】

変換処理ユニット２０８は、現在映像ブロックに関連する残差映像ブロックに１つ以上の変換を適用することによって、現在映像ブロックについての１つ以上の変換係数映像ブロックを生成し得る。

【0187】

変換処理ユニット２０８が現在映像ブロックに関する変換係数映像ブロックを生成した後、量子化ユニット２０９が、現在映像ブロックに関する変換係数映像ブロックを、現在映像ブロックに関する１つ以上の量子化パラメータ（ＱＰ）値に基づいて量子化し得る。

【0188】

逆量子化ユニット２１０及び逆変換ユニット２１１が、変換係数映像ブロックに、それぞれ、逆量子化及び逆変換を適用して、変換係数映像ブロックから残差映像ブロックを再構成し得る。再構成ユニット２１２が、再構成された残差映像ブロックを、予測ユニット２０２によって生成された１つ以上の予測映像ブロックからの対応するサンプルに足し合わせて、バッファ２１３に記憶される現在ブロックに関する再構成映像ブロックを生成し得る。

【0189】

再構成ユニット２１２が映像ブロックを再構成した後、映像ブロック内の映像ブロッキングアーチファクトを低減させるために、ループフィルタリング演算が実行され得る。

【0190】

エントロピー符号化ユニット２１４が、ビデオエンコーダ２００の他の機能コンポーネントからデータを受信し得る。エントロピー符号化ユニット２１４がデータを受信すると、エントロピー符号化ユニット２１４は、１つ以上のエントロピー符号化演算を実行してエントロピー符号化データを生成し、そして、エントロピー符号化データを含むビットストリームを出力し得る。

【0191】

図１０は、図８に示したシステム１００内のビデオデコーダ１２４とし得るものであるビデオデコーダ３００の一例を示すブロック図である。

【0192】

ビデオデコーダ３００は、この開示の技術のうちのいずれか又は全てを実行するように構成され得る。図１０の例において、ビデオデコーダ３００は、複数の機能コンポーネントを含んでいる。この開示に記載される技術は、ビデオデコーダ３００の様々なコンポーネントの間で共有され得る。一部の例において、プロセッサが、この開示に記載される技術のうちのいずれか又は全てを実行するように構成され得る。

【0193】

図１０の例において、ビデオデコーダ３００は、エントロピー復号ユニット３０１、動き補償ユニット３０２、イントラ予測ユニット３０３、逆量子化ユニット３０４、逆変換ユニット３０５、再構成ユニット３０６、及びバッファ３０７を含んでいる。ビデオデコーダ３００は、一部の例において、ビデオエンコーダ２００（例えば、図９）に関して説明した符号化パスに対して概ね逆の復号パスを実行し得る。

【0194】

エントロピー復号ユニット３０１が符号化ビットストリームを取り出し得る。符号化ビットストリームは、エントロピー符号化された映像データ（例えば、映像データの符号化ブロック）を含み得る。エントロピー復号ユニット３０１はエントロピー符号化映像データを復号することができ、エントロピー復号された映像データから、動き補償ユニット３０２が、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他のモーション情報を含む動き情報を決定し得る。動き補償ユニット３０２は、例えば、ＡＭＶＰ及びマージモードを実行することによって、そのような情報を決定し得る。

【0195】

動き補償ユニット３０２は、場合により補間フィルタに基づく補間を実行して、動き補償ブロックを生成し得る。サブピクセル精度で使用される補間フィルタに関する識別子がシンタックス要素に含められ得る。

【0196】

動き補償ユニット３０２は、映像ブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間値を計算し得る。動き補償ユニット３０２は、ビデオエンコーダ２００によって使用された補間フィルタを、受信したシンタックス情報に従って決定し、その補間フィルタを用いて予測ブロックを生成し得る。

【0197】

動き補償ユニット３０２は、シンタックス情報の一部を用いて、符号化映像シーケンスのフレーム及び／又はスライスを符号化するのに使用されるブロックのサイズ、符号化映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述するパーティション情報、各パーティションがどのように符号化されるかを指し示すモード、各インター符号化ブロックに関する１つ又は複数の参照フレーム（及び参照フレームリスト）、及び符号化映像シーケンスを復号するための他の情報を決定し得る。

【0198】

イントラ予測ユニット３０３は、例えばビットストリーム内で受信した、イントラ予測モードを用いて、空間的に隣接するブロックから予測ブロックを形成し得る。逆量子化ユニット３０３が、ビットストリーム内で提供されてエントロピー復号ユニット３０１によって復号された量子化された映像ブロック係数を逆量子化する、すなわち、量子化解除する。逆変換ユニット３０３が逆変換を適用する。

【0199】

再構成ユニット３０６が、残差ブロックを、動き補償ユニット３０２又はイントラ予測ユニット３０３によって生成された対応する予測ブロックと足し合わせて、復号ブロックを形成し得る。望まれる場合、ブロックアーチファクトを除去するために復号ブロックをフィルタリングするよう、デブロッキングフィルタも適用され得る。そして、復号映像ブロックがバッファ３０７に格納され、それが、後の動き補償のための参照ブロックを提供する。

【0200】

図１１は、本技術に従った映像処理の一方法のフローチャート表現である。方法１１００は、動作１１１０にて、映像と該映像のビットストリーム表現との間での変換のために、該映像のカラーフォーマットに基づいて、ジョイントＣｂ－Ｃｒ残差コーディングツールの使用をシグナリングする方式を決定することを含む。方法１１００はまた、動作１１２０にて、該決定に基づいて上記変換を実行することを含む。

【0201】

一部の実施形態において、上記方式は、カラーフォーマットが非ゼロの値を持つことをシンタックス要素が指し示す場合に、ジョイントＣｂ－Ｃｒ残差コーディングツールの使用のシグナリングがビットストリーム表現に含められることを規定する。一部の実施形態において、カラーフォーマットが非ゼロの値を持つことをシンタックス要素が指し示す場合、ジョイントＣｂ－Ｃｒ残差コーディングツールに使用されるクロマサンプルの座標が、対応するルマサンプルのスケーリング座標に基づいて決定される。一部の実施形態において、２つのクロマアレイのサンプルが座標（ｘ／ＳｕｂＷｉｄｔｈＣ，ｙ／ＳｕｂＨｅｉｇｈｔＣ）を持ち、（ｘ，ｙ）は、対応するルマサンプルの座標であり、ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣはスケーリング係数である。一部の実施形態において、上記方式は、映像のカラーフォーマットが４：０：０である場合に、ジョイントＣｂ－Ｃｒ残差コーディングツールの使用のシグナリングがビットストリーム表現において省略されることを規定する。

【0202】

図１２は、本技術に従った映像処理の一方法のフローチャート表現である。方法１２００は、動作１２１０にて、映像と該映像のビットストリーム表現との間での変換を実行することを含む。当該ビットストリーム表現は、当該ビットストリーム表現内の第１の映像ユニットに第１のシンタックス要素が含められる場合に、第２の映像ユニット内の対応する第２のシンタックス要素が当該ビットストリーム表現に含められるかを規定するフォーマットルールに準拠する。

【0203】

一部の実施形態において、第１の映像ユニットは、ピクチャヘッダ又はピクチャパラメータセットを有する。一部の実施形態において、第２の映像ユニットは、スライスヘッダ又はスライスパラメータセットを有する。一部の実施形態において、第１の映像ユニットは、ビデオパラメータセット、スライスパラメータセット、又はピクチャパラメータセットを有する。一部の実施形態において、第２の映像ユニットはピクチャヘッダを有する。

【0204】

一部の実施形態において、上記フォーマットルールは、ビットストリーム表現内の第１の映像ユニットに第１のシンタックス要素が含められる場合に、第２の映像ユニット内の第２のシンタックス要素がビットストリーム表現において省略されることを規定する。一部の実施形態において、上記フォーマットルールは、ビットストリーム表現内の第１の映像ユニットに第１のシンタックス要素が含められる場合に、第２の映像ユニット内の第２のシンタックス要素がビットストリーム表現に含められることを規定する。一部の実施形態において、第２のシンタックス要素がその後にシグナリングされるかを指し示すインジケータが第２の映像ユニットに含められる。一部の実施形態において、当該ビットストリーム表現に第２のシンタックス要素が含められる場合、第２の映像ユニットに関連するスライスは、第１のシンタックス要素を考慮することなく、第２のシンタックス要素のインジケータに従って処理される。一部の実施形態において、第１の映像ユニットに関連付けられた第２の映像ユニットに第２のシンタックス要素が含められるかを指し示すインジケータが、第１の映像ユニットに含められる。

【0205】

一部の実施形態において、第１の映像ユニットはピクチャヘッダであり、第２の映像ユニットはスライスヘッダであり、ピクチャヘッダ内の第１のシンタックス要素は、スライスヘッダ内の第２のシンタックス要素と機能的に等価である。一部の実施形態において、第１の映像ユニットはスライスパラメータセットであり、第２の映像ユニットはピクチャヘッダであり、スライスパラメータセット内の第１のシンタックス要素は、ピクチャヘッダ内の第２のシンタックス要素と機能的に等価である。一部の実施形態において、第１の映像ユニットはピクチャパラメータセットであり、第２の映像ユニットはピクチャヘッダであり、ピクチャパラメータセット内の第１のシンタックス要素は、ピクチャヘッダ内の第２のシンタックス要素と機能的に等価である。

【0206】

図１３は、本技術に従った映像処理の一方法のフローチャート表現である。方法１３００は、動作１３１０にて、映像の領域と該映像のビットストリーム表現との間での変換を実行することを含む。当該変換において、複数変換選択（Multiple Transform Selection；ＭＴＳ）コーディングツールが領域の全てのブロックに対して無効にされるかを指し示す第１のシンタックス要素がビットストリーム表現に含められる。

【0207】

一部の実施形態において、上記領域は、スライス、ピクチャ、又はシーケンスの全体を有する。一部の実施形態において、当該変換において、イントラコーディングされるブロックにＭＴＳコーディングツールを適用する方式を指し示す第２のシンタックス要素が、第１のシンタックス要素に基づいて条件付きでビットストリーム表現に含められる。一部の実施形態において、第２のシンタックス要素は、ＭＴＳコーディングツールが領域内の全てのブロックに対して無効にされるのでないことを第１のシンタックス要素が指し示す場合に、ビットストリーム表現に含められる。一部の実施形態において、当該変換において、インターコーディングされるブロックにＭＴＳコーディングツールを適用する方式を指し示す第３のシンタックス要素が、第１のシンタックス要素に基づいて条件付きでビットストリーム表現に含められる。一部の実施形態において、第３のシンタックス要素は、ＭＴＳコーディングツールが領域内の全てのブロックに対して無効にされるのでないことを第１のシンタックス要素が指し示す場合に、ビットストリーム表現に含められる。一部の実施形態において、第３のシンタックス要素は、サブブロック変換コーディングツールの適用可能性に更に基づいて条件付きでビットストリーム表現に含められる。一部の実施形態において、第２のシンタックス要素はｓｐｓ＿ｉｎｔｒａ＿ｍｔｓ＿ｓｅｌｅｃｔｉｏｎを有し、第３のシンタックス要素はｓｐｓ＿ｉｎｔｅｒ＿ｍｔｓ＿ｓｅｌｅｃｔｉｏｎを有する。一部の実施形態において、ＭＴＳコーディングツールは、複数の変換の中からの変換の選択に基づく。

【0208】

図１４は、本技術に従った映像処理の一方法のフローチャート表現である。方法１４００は、動作１４１０にて、映像と該映像のビットストリーム表現との間での変換のために、変換スキップモードでコーディングされるブロックの第１の最大ブロックサイズをシグナリングすることのルールを、変換コーディングされるブロックの第２の最大ブロックサイズに基づいて決定することを含む。方法１４００はまた、動作１４２０にて、該決定に基づいて上記変換を実行することを含む。一部の実施形態において、上記ルールは、第１の最大ブロックサイズが第２の最大ブロックサイズ以下であることを規定する。

【0209】

図１５は、本技術に従った映像処理の一方法のフローチャート表現である。方法１５００は、動作１５１０にて、映像のクロマコンポーネントのブロックと該映像のビットストリーム表現との間での変換を、クロマブロックの最終的な予測が、パーティションに基づく重みを用いて該クロマブロックの複数の予測を混合することによって決定される分割モードコーディングツールを用いて実行することを含む。当該変換において、上記重みは、当該ブロックのクロマコンポーネントにおけるクロマサンプル位置のタイプに基づいて決定される。

【0210】

一部の実施形態において、第１タイプのクロマサンプル位置を有するクロマコンポーネントの重みは、ブロックのルマコンポーネントにおけるルマサンプル位置に使用される重みに基づいて決定される。一部の実施形態において、該ルマサンプル位置は、コロケートの左上ルマサンプル位置である。一部の実施形態において、クロマサンプル位置の第１タイプはクロマサンプル位置タイプ０を有する。一部の実施形態において、第１タイプのクロマサンプル位置を有するクロマコンポーネントの重みは、ブロックのルマコンポーネントにおけるルマサンプル位置に使用される重みからサブサンプリングされる。

【0211】

一部の実施形態において、重みを決定するためにダウンサンプリングフィルタが使用され、該ダウンサンプリングフィルタは、ブロックのクロマコンポーネントにおけるクロマサンプル位置のタイプに基づいて決定される。一部の実施形態において、該ダウンサンプリングフィルタはＸ－タップフィルタを有し、Ｘは正の整数である。一部の実施形態において、Ｘは５又は６である。

【0212】

一部の実施形態において、上記パーティションのうちの少なくとも１つのパーティションは非矩形パーティションである。一部の実施形態において、上記パーティションのうちの少なくとも１つのパーティションは、角度付きエッジを持つ。一部の実施形態において、上記ダウンサンプリングフィルタは、インジケーションルールに従ってビットストリーム表現の映像ユニット内で指し示される。一部の実施形態において、該映像ユニットは、スライスパラメータセット、ビデオパラメータセット、ピクチャパラメータセット、ピクチャヘッダ、サブピクチャ、スライス、スライスヘッダ、タイル、ブリック、コーディングツリーユニット、仮想パイプラインデータユニットを有する。

【0213】

一部の実施形態において、ダウンサンプリングフィルタのタイプは、ビットストリーム表現内の第１のシンタックス要素によって指し示される。一部の実施形態において、映像の相異なるクロマフォーマットタイプ間での切り換えを指し示す第２のシンタックス要素がビットストリーム表現に含められる。一部の実施形態において、これら相異なるクロマフォーマットタイプは、クロマフォーマットタイプ０又はクロマフォーマットタイプ２のうちの少なくとも一方を有する。一部の実施形態において、領域の左上位置におけるダウンサンプリングされたルマ重みが、対応するルマ重みとコロケートであるかを指し示す第３のシンタックス要素が、ビットストリーム表現に含められる。一部の実施形態において、該第３のシンタックス要素はクロマサンプル位置タイプ０を指し示す。一部の実施形態において、領域の左上位置にあるダウンサンプリングされたルマサンプルが、対応するルマサンプルと水平方向でコロケートであり、且つ該対応するルマサンプルに対して垂直方向に０．５ユニットだけシフトされるか、を指し示す第３のシンタックス要素が、ビットストリーム表現に含められる。一部の実施形態において、該第３のシンタックス要素はクロマサンプル位置タイプ２を指し示す。一部の実施形態において、上記インジケーションルールは、映像のカラーフォーマットが４：２：０又は４：２：２である場合にダウンサンプリングフィルタのタイプが第１のシンタックス要素に含められることを規定する。一部の実施形態において、上記インジケーションルールは、ビットストリーム表現内の別のシンタックス要素が、第１タイプのダウンサンプリングフィルタが使用されるのか、それとも第２のタイプのダウンサンプリングフィルタが使用されるのかを指し示すことを規定する。

【0214】

一部の実施形態において、ダウンサンプリングフィルタのタイプは、ビットストリーム表現の映像ユニットに基づいて導出される。一部の実施形態において、ダウンサンプリングフィルタとコンテンツのクロマフォーマットタイプとの間の対応関係を規定するためにルックアップテーブルが使用される。

【0215】

一部の実施形態において、上記分割モードコーディングツールは、三角形パーティションモードツールに対応する。一部の実施形態において、上記分割モードコーディングツールは、幾何学的パーティションモードツールに対応する。

【0216】

一部の実施形態において、上記変換は、映像をビットストリーム表現に符号化することを含む。一部の実施形態において、上記変換は、ビットストリーム表現を映像に復号することを含む。

【0217】

開示される技術の一部の実施形態は、映像処理ツール又はモードを有効にする決定を行うことを含む。一例において、映像処理ツール又はモードが有効にされるとき、エンコーダは、映像のブロックの処理においてそのツール又はモードを使用又は実装することになるが、必ずしも、そのツール又はモードの使用に基づいて、結果として生じるビットストリームを変更するわけではない。すなわち、映像のブロックから映像のビットストリーム表現への変換は、映像処理ツール又はモードを、それが決定に基づいて有効にされるときに使用することになる。他の一例において、映像処理ツール又はモードが有効にされるとき、デコーダは、その映像処理ツール又はモードに基づいてビットストリームが変更されていることを知って、ビットストリームを処理することになる。すなわち、映像のビットストリーム表現から映像のブロックへの変換は、決定に基づいて有効にされていた映像処理ツール又はモードを用いて実行されることになる。

【0218】

開示される技術の一部の実施形態は、映像処理ツール又はモードを無効にする決定を行うことを含む。一例において、映像処理ツール又はモードが無効にされるとき、エンコーダは、映像のブロックの映像のビットストリームへの変換においてそのツール又はモードを使用しないことになる。他の一例において、映像処理ツール又はモードが無効にされるとき、デコーダは、決定に基づいて無効にされていた映像処理ツール又はモードを用いてはビットストリームが変更されていないことを知って、ビットストリームを処理することになる。

【0219】

開示される及びその他のソリューション、この文書に記述される例、実施形態、モジュール及び機能動作は、この文書に開示されている構造及びそれらに構造的に均等なものを含め、デジタル電子回路、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアにて、あるいはこれらのうちの１つ以上の組み合わせにて実施されることができる。開示される及びその他の実施形態は、１つ以上のコンピュータプログラムプロダクトとして実装されることができ、すなわち、データ処理装置による実行のための、又はデータ処理装置の動作を制御するための、コンピュータ読み取り可能媒体にエンコードされたコンピュータプログラム命令の１つ以上のモジュールとして実装されることができる。コンピュータ読み取り可能媒体は、機械読み取り可能記憶装置、機械読み取り可能記憶基板、メモリ装置、機械読み取り可能な伝搬信号を生じさせる物質の組成、又はそれらのうちの１つ以上の組み合わせとすることができる。用語“データ処理装置”は、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含め、データを処理するあらゆる装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの１つ以上の組み合わせを構成するコードといった、問題としているコンピュータプログラムのための実行環境を作り出すコードを含むことができる。伝播される信号は、人工的に生成される信号であり、例えば、適切な受信器装置への伝送のために情報をエンコードするために生成される機械生成による電気信号、光信号、又は電磁信号である。

【0220】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル型又はインタープリタ型の言語を含め、如何なる形態のプログラミング言語で記述されてもよく、また、スタンドアロンプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとして、を含め、如何なる形態で展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラム若しくはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に格納されてもよいし、問題としているプログラムに専用の単一ファイルに格納されてもよいし、あるいは、複数の連携ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を格納するファイル）に格納されてもよい。コンピュータプログラムは、１つのコンピュータ上で実行されるように展開されてもよいし、あるいは、一箇所に配置された、又は複数箇所に分散されて通信ネットワークによって相互接続された、複数のコンピュータ上で実行されるように展開されてもよい。

【0221】

この文書に記載されるプロセス及び論理フローは、入力データについて演算して出力を生成することによって機能を実行するよう、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行されることができる。これらのプロセス及び論理フローはまた、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）といった専用の論理回路によって実行されることもでき、また、装置も、そのような専用の論理回路として実装されることができる。

【0222】

コンピュータプログラムの実行に適したプロセッサは、例として、汎用及び専用の双方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリ若しくはランダムアクセスメモリ又はこれらの両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを格納する１つ以上のメモリデバイスである。一般に、コンピュータはまた、例えば磁気ディスク、磁気光ディスク、又は光ディスクといった、データを格納するための１つ以上の大容量ストレージ装置を含み、あるいは、大容量ストレージ装置からデータを受信したり、それにデータを転送したりするように動作的に結合される。しかしながら、コンピュータは、そのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するのに適したコンピュータ読み取り可能媒体は、例として、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスといった半導体メモリデバイス、例えば内部ハードディスク又はリムーバブルディスクといった磁気ディスク；光磁気ディスク；並びにＣＤ ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含め、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用の論理回路によって補われたり、それに組み込まれたりしてもよい。

【0223】

この特許文書は数多くの詳細が含んでいるが、それらは、いずれかの主題又は特許請求され得るものの範囲についての限定として解釈されるべきでなく、むしろ、特定の技術の特定の実施形態に特有とし得る機構の説明として解釈されるべきである。別々の実施形態の文脈でこの特許文書に記載されている特定の複数の機構が、単一の実施形態にて組み合わせて実装されることもできる。逆に、単一の実施形態の文脈で説明されている種々の機構が、複数の実施形態にて別々に、又は何らかの好適なサブコンビネーションで実装されることもできる。さらには、複数の機構が、特定の組み合わせにて作用するものとして上述され、さらには当初はそのように特許請求されていることがあり得るが、場合によって、特許請求されている組み合わせからの１以上の機構を組み合わせから除くこともでき、また、特許請求されている組み合わせをサブコンビネーション又はサブコンビネーションのバリエーションへと導いてもよい。

【0224】

同様に、図面には処理が特定の順序で示されるが、このことは、所望の結果を達成するために、それらの動作が図示される特定の順序で若しくは順番に実行されること、又は図示される全ての処理が実行されることを要求するものとして理解されるべきでない。また、この特許文書に記載されている実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきでない。

【0225】

ほんの少しの実装及び例を記載したのみであり、この特許文書に記載及び図示されているものに基づいて、他の実装、拡張及び変形が行われ得る。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】