知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッドの特許一覧
特開2023-118810ＢＤＯＦおよびＰＲＯＦの方法、コンピューティングデバイス、コンピュータ可読記録媒体及びビットストリーム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023118810
(43)【公開日】2023-08-25
(54)【発明の名称】ＢＤＯＦおよびＰＲＯＦの方法、コンピューティングデバイス、コンピュータ可読記録媒体及びビットストリーム
(51)【国際特許分類】
H04N 19/70 20140101AFI20230818BHJP
H04N 19/513 20140101ALI20230818BHJP
H04N 19/537 20140101ALI20230818BHJP
H04N 19/577 20140101ALI20230818BHJP
【ＦＩ】
H04N19/70
H04N19/513
H04N19/537
H04N19/577
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023106015
(22)【出願日】2023-06-28
(62)【分割の表示】P 2022516449の分割
【原出願日】2020-09-17
(31)【優先権主張番号】62/901,774
(32)【優先日】2019-09-17
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/904,330
(32)【優先日】2019-09-23
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521248394
【氏名又は名称】ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】シウ、シアオユイ
(72)【発明者】
【氏名】チェン、イー－ウェン
(72)【発明者】
【氏名】ワン、シアンリン
(72)【発明者】
【氏名】ユイ、ピン
(57)【要約】
【課題】ＢＤＯＦおよびＰＲＯＦの方法を提供する。
【解決手段】ＢＤＯＦおよびＰＲＯＦの方法は、非アフィンモードで符号化されている現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、ビデオブロックの動きリファインメントを導出するためにＢＤＯＦが適用されているとの判定に基づいて、現在のビデオブロックについて、ＢＤＯＦが有効化されていることを、第１ＳＰＳレベル制御フラグがシグナリングし、アフィンモードで符号化されている現在のビデオブロックについて、第１予測サンプルおよび第２予測サンプルに基づいて、ビデオブロックの動きリファインメントを導出するためにＰＲＯＦが適用されているとの判定に基づいて、現在のビデオブロックについてＰＲＯＦが有効化されていることを、第２ＳＰＳレベル制御フラグがシグナリングする。
【選択図】図１
【解決手段】ＢＤＯＦおよびＰＲＯＦの方法は、非アフィンモードで符号化されている現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、ビデオブロックの動きリファインメントを導出するためにＢＤＯＦが適用されているとの判定に基づいて、現在のビデオブロックについて、ＢＤＯＦが有効化されていることを、第１ＳＰＳレベル制御フラグがシグナリングし、アフィンモードで符号化されている現在のビデオブロックについて、第１予測サンプルおよび第２予測サンプルに基づいて、ビデオブロックの動きリファインメントを導出するためにＰＲＯＦが適用されているとの判定に基づいて、現在のビデオブロックについてＰＲＯＦが有効化されていることを、第２ＳＰＳレベル制御フラグがシグナリングする。
【選択図】図１
【特許請求の範囲】
【請求項1】
エンコーダが、２つのＧＣＩ（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）レベル制御フラグをシグナリングし、
前記２つのＧＣＩレベル制御フラグは、第１ＧＣＩレベル制御フラグおよび第２ＧＣＩレベル制御フラグを含み、
前記第１ＧＣＩレベル制御フラグは、ＢＤＯＦが現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記第２ＧＣＩレベル制御フラグは、ＰＲＯＦが前記現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記エンコーダが、２つのＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）レベル制御フラグをシグナリングし、
前記２つのＳＰＳレベル制御フラグは、第１ＳＰＳレベル制御フラグおよび第２ＳＰＳレベル制御フラグを含み、
前記第１ＳＰＳレベル制御フラグは、ＢＤＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグは、ＰＲＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
非アフィンモードで符号化されている前記現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの動きリファインメントを導出するためにＢＤＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックについて、ＢＤＯＦが有効化されていることを、前記第１ＳＰＳレベル制御フラグがシグナリングし、
アフィンモードで符号化されている前記現在のビデオブロックについて、前記第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの前記動きリファインメントを導出するためにＰＲＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックについてＰＲＯＦが有効化されていることを、前記第２ＳＰＳレベル制御フラグがシグナリングする、
前記エンコーダに実装される、ＢＤＯＦ（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）およびＰＲＯＦ（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ）の方法。
前記２つのＧＣＩレベル制御フラグは、第１ＧＣＩレベル制御フラグおよび第２ＧＣＩレベル制御フラグを含み、
前記第１ＧＣＩレベル制御フラグは、ＢＤＯＦが現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記第２ＧＣＩレベル制御フラグは、ＰＲＯＦが前記現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記エンコーダが、２つのＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）レベル制御フラグをシグナリングし、
前記２つのＳＰＳレベル制御フラグは、第１ＳＰＳレベル制御フラグおよび第２ＳＰＳレベル制御フラグを含み、
前記第１ＳＰＳレベル制御フラグは、ＢＤＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグは、ＰＲＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
非アフィンモードで符号化されている前記現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの動きリファインメントを導出するためにＢＤＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックについて、ＢＤＯＦが有効化されていることを、前記第１ＳＰＳレベル制御フラグがシグナリングし、
アフィンモードで符号化されている前記現在のビデオブロックについて、前記第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの前記動きリファインメントを導出するためにＰＲＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックについてＰＲＯＦが有効化されていることを、前記第２ＳＰＳレベル制御フラグがシグナリングする、
前記エンコーダに実装される、ＢＤＯＦ（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）およびＰＲＯＦ（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ）の方法。
【請求項2】
前記第１ＧＣＩレベル制御フラグが前記ＢＤＯＦを無効化する場合、前記第１ＳＰＳレベル制御フラグがゼロであることを要求する第１ビットストリーム適合制約を適用し、
前記第２ＧＣＩレベル制御フラグが前記ＰＲＯＦを無効化する場合、前記第２ＳＰＳレベル制御フラグがゼロであることを要求する第２ビットストリーム適合制約を適用する、
請求項１に記載の方法。
前記第２ＧＣＩレベル制御フラグが前記ＰＲＯＦを無効化する場合、前記第２ＳＰＳレベル制御フラグがゼロであることを要求する第２ビットストリーム適合制約を適用する、
請求項１に記載の方法。
【請求項3】
前記第１ＳＰＳレベル制御フラグが有効化された場合、スライスヘッダの第１制御フラグをシグナリングし、
前記第１制御フラグは前記スライスヘッダのビデオブロックに対して前記ＢＤＯＦが無効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグが有効化された場合、前記スライスヘッダの第２制御フラグをシグナリングし、
前記第２制御フラグは前記スライスヘッダのビデオブロックに対して前記ＰＲＯＦが有効化されているかどうかをシグナリングする、
ことをさらに含む、請求項１に記載の方法。
前記第１制御フラグは前記スライスヘッダのビデオブロックに対して前記ＢＤＯＦが無効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグが有効化された場合、前記スライスヘッダの第２制御フラグをシグナリングし、
前記第２制御フラグは前記スライスヘッダのビデオブロックに対して前記ＰＲＯＦが有効化されているかどうかをシグナリングする、
ことをさらに含む、請求項１に記載の方法。
【請求項4】
１つ以上のプロセッサと、
前記１つ以上のプロセッサに接続されたメモリと、
前記メモリに格納された複数のプログラムと、
を含むコンピューティングデバイスであって、
前記複数のプログラムは、前記１つ以上のプロセッサによって実行されると、
エンコーダが、２つのＧＣＩ（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）レベル制御フラグをシグナリングし、
前記２つのＧＣＩレベル制御フラグは、第１ＧＣＩレベル制御フラグおよび第２ＧＣＩレベル制御フラグを含み、
前記第１ＧＣＩレベル制御フラグはＢＤＯＦが現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記第２ＧＣＩレベル制御フラグはＰＲＯＦが前記現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記エンコーダが、２つのＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）レベル制御フラグをシグナリングし、
前記２つのＳＰＳレベル制御フラグは、第１ＳＰＳレベル制御フラグおよび第２ＳＰＳレベル制御フラグを含み、
前記第１ＳＰＳレベル制御フラグは、ＢＤＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグは、ＰＲＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
非アフィンモードで符号化されている前記現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの動きリファインメントを導出するためにＢＤＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックに対してＢＤＯＦが有効化されていることを、前記第１ＳＰＳレベル制御フラグがシグナリングし、
アフィンモードで符号化されている前記現在のビデオブロックについて、前記第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの前記動きリファインメントを導出するためにＰＲＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックに対してＰＲＯＦが有効化されていることを、前記第２ＳＰＳレベル制御フラグがシグナリングする、
動作を前記コンピューティングデバイスに実行させる、
コンピューティングデバイス。
前記１つ以上のプロセッサに接続されたメモリと、
前記メモリに格納された複数のプログラムと、
を含むコンピューティングデバイスであって、
前記複数のプログラムは、前記１つ以上のプロセッサによって実行されると、
エンコーダが、２つのＧＣＩ（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）レベル制御フラグをシグナリングし、
前記２つのＧＣＩレベル制御フラグは、第１ＧＣＩレベル制御フラグおよび第２ＧＣＩレベル制御フラグを含み、
前記第１ＧＣＩレベル制御フラグはＢＤＯＦが現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記第２ＧＣＩレベル制御フラグはＰＲＯＦが前記現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記エンコーダが、２つのＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）レベル制御フラグをシグナリングし、
前記２つのＳＰＳレベル制御フラグは、第１ＳＰＳレベル制御フラグおよび第２ＳＰＳレベル制御フラグを含み、
前記第１ＳＰＳレベル制御フラグは、ＢＤＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグは、ＰＲＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
非アフィンモードで符号化されている前記現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの動きリファインメントを導出するためにＢＤＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックに対してＢＤＯＦが有効化されていることを、前記第１ＳＰＳレベル制御フラグがシグナリングし、
アフィンモードで符号化されている前記現在のビデオブロックについて、前記第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの前記動きリファインメントを導出するためにＰＲＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックに対してＰＲＯＦが有効化されていることを、前記第２ＳＰＳレベル制御フラグがシグナリングする、
動作を前記コンピューティングデバイスに実行させる、
コンピューティングデバイス。
【請求項5】
前記複数のプログラムは、前記１つ以上のプロセッサによって実行されると、
前記第１ＧＣＩレベル制御フラグが前記ＢＤＯＦを無効化する場合、前記第１ＳＰＳレベル制御フラグがゼロであることを要求する第１ビットストリーム適合制約を適用し、
前記第２ＧＣＩレベル制御フラグが前記ＰＲＯＦを無効化する場合、前記第２ＳＰＳレベル制御フラグがゼロであることを要求する第２ビットストリーム適合制約を適用する、
動作を前記コンピューティングデバイスに実行させる、
請求項４に記載のコンピューティングデバイス。
前記第１ＧＣＩレベル制御フラグが前記ＢＤＯＦを無効化する場合、前記第１ＳＰＳレベル制御フラグがゼロであることを要求する第１ビットストリーム適合制約を適用し、
前記第２ＧＣＩレベル制御フラグが前記ＰＲＯＦを無効化する場合、前記第２ＳＰＳレベル制御フラグがゼロであることを要求する第２ビットストリーム適合制約を適用する、
動作を前記コンピューティングデバイスに実行させる、
請求項４に記載のコンピューティングデバイス。
【請求項6】
前記複数のプログラムは、前記１つ以上のプロセッサによって実行されると、
前記第１ＳＰＳレベル制御フラグが有効化されている場合、前記エンコーダが、スライスヘッダの第１制御フラグをシグナリングし、
前記第１制御フラグは前記スライスヘッダのビデオブロックに対して前記ＢＤＯＦが無効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグが有効化されている場合、前記スライスヘッダの第２制御フラグをシグナリングし、
前記第２制御フラグは前記スライスヘッダのビデオブロックに対して前記ＰＲＯＦが有効化されているかどうかをシグナリングする、
動作を前記コンピューティングデバイスに実行させる、
請求項４に記載のコンピューティングデバイス。
前記第１ＳＰＳレベル制御フラグが有効化されている場合、前記エンコーダが、スライスヘッダの第１制御フラグをシグナリングし、
前記第１制御フラグは前記スライスヘッダのビデオブロックに対して前記ＢＤＯＦが無効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグが有効化されている場合、前記スライスヘッダの第２制御フラグをシグナリングし、
前記第２制御フラグは前記スライスヘッダのビデオブロックに対して前記ＰＲＯＦが有効化されているかどうかをシグナリングする、
動作を前記コンピューティングデバイスに実行させる、
請求項４に記載のコンピューティングデバイス。
【請求項7】
エンコーダが、２つのＧＣＩ（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）レベル制御フラグをシグナリングし、
前記２つのＧＣＩレベル制御フラグは、第１ＧＣＩレベル制御フラグおよび第２ＧＣＩレベル制御フラグを含み、
前記第１ＧＣＩレベル制御フラグはＢＤＯＦが現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記第２ＧＣＩレベル制御フラグはＰＲＯＦが前記現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記エンコーダが、２つのＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）レベル制御フラグをシグナリングし、
前記２つのＳＰＳレベル制御フラグは、第１ＳＰＳレベル制御フラグおよび第２ＳＰＳレベル制御フラグを含み、
前記第１ＳＰＳレベル制御フラグは、前記ＢＤＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグは、ＰＲＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
非アフィンモードで符号化されている前記現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの動きリファインメントを導出するためにＢＤＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックに対してＢＤＯＦが有効化されていることを、前記第１ＳＰＳレベル制御フラグがシグナリングし、
アフィンモードで符号化されている前記現在のビデオブロックについて、前記第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの前記動きリファインメントを導出するためにＰＲＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックに対してＰＲＯＦが有効化されていることを、前記第２ＳＰＳレベル制御フラグがシグナリングする、
ことを含む動作を、符号化装置に行わせる、ビットストリームを記録する非一時的コンピュータ可読記録媒体。
前記２つのＧＣＩレベル制御フラグは、第１ＧＣＩレベル制御フラグおよび第２ＧＣＩレベル制御フラグを含み、
前記第１ＧＣＩレベル制御フラグはＢＤＯＦが現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記第２ＧＣＩレベル制御フラグはＰＲＯＦが前記現在のビデオシーケンスに対して有効化されるかどうかを示し、
前記エンコーダが、２つのＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）レベル制御フラグをシグナリングし、
前記２つのＳＰＳレベル制御フラグは、第１ＳＰＳレベル制御フラグおよび第２ＳＰＳレベル制御フラグを含み、
前記第１ＳＰＳレベル制御フラグは、前記ＢＤＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグは、ＰＲＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングし、
非アフィンモードで符号化されている前記現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの動きリファインメントを導出するためにＢＤＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックに対してＢＤＯＦが有効化されていることを、前記第１ＳＰＳレベル制御フラグがシグナリングし、
アフィンモードで符号化されている前記現在のビデオブロックについて、前記第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、前記ビデオブロックの前記動きリファインメントを導出するためにＰＲＯＦが適用されているとの判定に基づいて、前記現在のビデオブロックに対してＰＲＯＦが有効化されていることを、前記第２ＳＰＳレベル制御フラグがシグナリングする、
ことを含む動作を、符号化装置に行わせる、ビットストリームを記録する非一時的コンピュータ可読記録媒体。
【請求項8】
前記第１ＧＣＩレベル制御フラグが前記ＢＤＯＦを無効化する場合、前記第１ＳＰＳレベル制御フラグがゼロであることを要求する第１ビットストリーム適合制約を適用し、
前記第２ＧＣＩレベル制御フラグが前記ＰＲＯＦを無効化する場合、前記第２ＳＰＳレベル制御フラグがゼロであることを要求する第２ビットストリーム適合制約を適用する、
ことを含む動作を前記符号化装置にさらに実行させる請求項７に記載の非一時的コンピュータ可読記録媒体。
前記第２ＧＣＩレベル制御フラグが前記ＰＲＯＦを無効化する場合、前記第２ＳＰＳレベル制御フラグがゼロであることを要求する第２ビットストリーム適合制約を適用する、
ことを含む動作を前記符号化装置にさらに実行させる請求項７に記載の非一時的コンピュータ可読記録媒体。
【請求項9】
前記第１ＳＰＳレベル制御フラグが有効化されている場合、前記エンコーダが、スライスヘッダの第１制御フラグをシグナリングし、
前記第１制御フラグは前記スライスヘッダのビデオブロックに対して前記ＢＤＯＦが無効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグが有効化されている場合、前記エンコーダが、前記スライスヘッダの第２制御フラグをシグナリングし、
前記第２制御フラグは前記スライスヘッダのビデオブロックに対して前記ＰＲＯＦが有効化されているかどうかをシグナリングする、
ことを含む動作を前記符号化装置にさらに実行させる請求項７に記載の非一時的コンピュータ可読記録媒体。
前記第１制御フラグは前記スライスヘッダのビデオブロックに対して前記ＢＤＯＦが無効化されているかどうかをシグナリングし、
前記第２ＳＰＳレベル制御フラグが有効化されている場合、前記エンコーダが、前記スライスヘッダの第２制御フラグをシグナリングし、
前記第２制御フラグは前記スライスヘッダのビデオブロックに対して前記ＰＲＯＦが有効化されているかどうかをシグナリングする、
ことを含む動作を前記符号化装置にさらに実行させる請求項７に記載の非一時的コンピュータ可読記録媒体。
【請求項10】
請求項１～請求項３のいずれか１項に記載の方法によって生成される、
ビデオデータを含む、ビットストリーム。
ビデオデータを含む、ビットストリーム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ビデオ符号化および圧縮に関する。より具体的には、本開示は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）規格で調査される２つのインター予測ツールに関する方法および装置、すなわち、ＰＲＯＦ（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ）およびＢＤＯＦ（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）に関する。
【背景技術】
【0002】
ビデオデータを圧縮するために、様々なビデオ符号化技術を使用することができる。ビデオ符号化は、一つ以上のビデオ符号化標準に従って実行される。例えば、ビデオ符号化規格は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）、ＪＥＭ（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ ｍｏｄｅｌ）、Ｈ．２６５／ＨＥＶＣ（ｈｉｇｈ－ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）、Ｈ．２６４／ＡＶＣ（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ）、ＭＰＥＧ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔ ｇｒｏｕｐ）符号化などを含む。ビデオ符号化は、一般に、ビデオ画像またはシーケンスに存在する冗長性を利用する予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化技術の重要な目標は、ビデオ品質の劣化を回避または最小限に抑えながら、ビデオデータをより低いビットレートを使用する形式に圧縮することである。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示の例は、ビデオ符号化におけるＰＲＯＦ（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ）およびＢＤＯＦ（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）の方法および装置を提供する。
【課題を解決するための手段】
【0004】
本開示の第１態様によれば、ＰＲＯＦの方法が提供される。この方法は、ビデオ信号でアフィンモードによって符号化されるビデオブロックに関連付けられた第１参照ピクチャＩ（０）および第２参照ピクチャＩ（１）を取得するデコーダを含むことができる。また、デコーダは、ビデオブロックの第１参照ピクチャＩ（０）および第２参照ピクチャＩ（１）に関連付けられた第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、第１および第２水平および垂直勾配値を得ることができる。デコーダはさらに、ビデオブロックの第１参照ピクチャＩ（０）および第２参照ピクチャＩ（１）に関連付けられた制御点動きベクトル（ＣＰＭＶ）に基づいて、第１および第２水平および垂直動きリファインメントを取得することができる。また、デコーダは、第１および第２水平および垂直勾配値、ならびに第１および第２水平および垂直動きリファインメントに基づいて、第１予測リファインメントΔＩ（０）（ｉ，ｊ）および第２予測リファインメントΔＩ（１）（ｉ，ｊ）を得ることができる。デコーダは、第１予測サンプルＩ（０）（ｉ，ｊ）、第２予測サンプルＩ（１）（ｉ，ｊ）、第１予測リファインメントΔＩ（０）（ｉ，ｊ）、第２予測リファインメントΔＩ（１）（ｉ，ｊ）、および予測パラメータに基づいて、ビデオブロックの最終予測サンプルをさらに取得することができる。予測パラメータは、重み付け予測（ＷＰ）のための重み付けおよびオフセットパラメータ、および符号化ユニット（ＣＵ）レベル重み（ＢＣＷ）によるバイ予測のためのパラメータを含み得る。
【0005】
本開示の第２態様によれば、ＰＲＯＦの方法が提供される。この方法は、２つの一般制約情報（ＧＣＩ）レベル制御フラグをシグナリングするエンコーダを含んでもよい。２つのＧＣＩレベル制御フラグは、第１ＧＣＩレベル制御フラグおよび第２ＧＣＩレベル制御フラグを含むことができる。第１ＧＣＩレベル制御フラグは、ＢＤＯＦが現在のビデオシーケンスに対して有効化されているか否かを示す。第２ＧＣＩレベル制御フラグは、ＰＲＯＦが現在のビデオシーケンスに対して有効化されているか否かを示す。エンコーダは、２つのシーケンスパラメータセット（ＳＰＳ）レベル制御フラグをシグナリングすることもできる。２つのＳＰＳレベル制御フラグは、現在のビデオシーケンス内の現在のビデオブロックについてＢＤＯＦおよびＰＲＯＦが有効化されているかどうかをシグナリングする。非アフィンモードで符号化されている現在のビデオブロックについて第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいてビデオブロックの動きリファインメントを導出するために、ＢＤＯＦが適用されているとの判定に基づいて、ＢＤＯＦが現在のビデオブロックに対して有効化されていることを、第１ＳＰＳレベル制御フラグがシグナリングすることができる。アフィンモードで符号化されている現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいてビデオブロックの動きリファインメントを導出するために、ＰＲＯＦが適用されているとの判定に基づいて、ＰＲＯＦが現在のビデオブロックに対して有効化されていることを、第２ＳＰＳレベル制御フラグがシグナリングすることができる。
【0006】
本開示の第３態様によれば、コンピューティングデバイスが提供される。このコンピューティングデバイスは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読メモリと、を含んでもよい。１つまたは複数のプロセッサは、ビデオ信号でアフィンモードによって符号化されるビデオブロックに関連付けられた第１参照ピクチャＩ（０）および第２参照ピクチャＩ（１）を取得するように構成され得る。１つまたは複数のプロセッサはまた、ビデオブロックの第１参照ピクチャＩ（０）および第２参照ピクチャＩ（１）に関連付けられた第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、第１および第２水平および垂直勾配値を取得するように構成され得る。１つまたは複数のプロセッサは、ビデオブロックの第１参照ピクチャＩ（０）および第２参照ピクチャＩ（１）に関連付けられたＣＰＭＶに基づいて、第１および第２水平および垂直動きリファインメントを取得するようにさらに構成され得る。１つまたは複数のプロセッサはまた、第１および第２水平および垂直勾配値と、第１および第２水平および垂直動きリファインメントとに基づいて、第１予測リファインメント△Ｉ（０）（ｉ，ｊ）および第２予測リファインメント△Ｉ（１）（ｉ，ｊ）を取得するように構成され得る。１つまたは複数のプロセッサは、第１予測サンプルＩ（０）（ｉ，ｊ）、第２予測サンプルＩ（１）（ｉ，ｊ）、第１予測リファインメント△Ｉ（０）（ｉ，ｊ）、第２予測リファインメント△Ｉ（１）（ｉ，ｊ）、および予測パラメータに基づいてビデオブロックの最終予測サンプルを取得するようにさらに構成され得る。予測パラメータは、ＷＰのための重み付け及びオフセットパラメータと、ＢＣＷのためのパラメータとを含むことができる。
【0007】
本開示の第４態様によれば、命令を格納した非一時的コンピュータ可読記録媒体が提供される。命令が装置の１つまたは複数のプロセッサによって実行されるとき、命令は、装置に２つのＧＣＩレベル制御フラグをシグナリングさせることができる。２つのＧＣＩレベル制御フラグは、第１ＧＣＩレベル制御フラグおよび第２ＧＣＩレベル制御フラグを含むことができる。第１ＧＣＩレベル制御フラグは、ＢＤＯＦが現在のビデオシーケンスに対して有効化されているかどうかを示す。第２ＧＣＩレベル制御フラグは、ＰＲＯＦが現在のビデオシーケンスに対して有効化されているかどうかを示す。命令は、装置に２つのＳＰＳレベル制御フラグをシグナリングさせることもできる。２つのＳＰＳレベル制御フラグは、現在のビデオシーケンスの現在のビデオブロックに対してＢＤＯＦおよびＰＲＯＦが有効化されているかどうかをシグナリングする。非アフィンモードで符号化されている現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいてビデオブロックの動きリファインメントを導出するために、ＢＤＯＦが適用されているとの判定に基づいて、現在のブロックに対してＢＤＯＦが有効化されていることを、第１ＳＰＳレベル制御フラグがシグナリングすることができる。アフィンモードで符号化されている現在のビデオブロックについて、第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、ビデオブロックの動きリファインメントを導出するために、ＰＲＯＦが適用されているとの判定に基づいて、現在のブロックに対してＰＲＯＦが有効化されていることを、第２ＳＰＳレベル制御フラグがシグナリングすることができる。
【図面の簡単な説明】
【0008】
【図1】本開示の一例によるエンコーダのブロック図である。
【図2】本開示の一例によるデコーダのブロック図である。
【図3A】本開示の一例による、マルチタイプツリー構造におけるブロック分割を示す図である。
【図3B】本開示の一例による、マルチタイプツリー構造におけるブロック分割を示す図である。
【図3C】本開示の一例による、マルチタイプツリー構造におけるブロック分割を示す図である。
【図3D】本開示の一例による、マルチタイプツリー構造におけるブロック分割を示す図である。
【図3E】本開示の一例による、マルチタイプツリー構造におけるブロック分割を示す図である。
【図4】本開示の一例による、ＢＤＯＦ（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）モデルの図である。
【図5A】本開示の一例によるアフィンモデルの図である。
【図5B】本開示の一例によるアフィンモデルの図である。
【図6】本開示の一例によるアフィンモデルの図である。
【図7】本開示の一例による、ＰＲＯＦ（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ）の図である。
【図8】本開示の一例による、ＢＤＯＦのワークフローである。
【図9】本開示の一例によるＰＲＯＦのワークフローである。
【図10】本開示の一例による、ＢＤＯＦの方法である。
【図11】本開示の一例による、ＢＤＯＦおよびＰＲＯＦの方法である。
【図12】本開示の一例による、バイ予測のためのＰＲＯＦのワークフローの図である。
【図13】本開示による、ＢＤＯＦおよびＰＲＯＦプロセスのパイプラインステージの図である。
【図14】本開示による、ＢＤＯＦの勾配導出方法の図である。
【図15】本開示による、ＰＲＯＦの勾配導出方法の図である。
【図16A】本開示の一例による、アフィンモードのテンプレートサンプルを導出する図である。
【図16B】本開示の一例による、アフィンモードのテンプレートサンプルを導出する図である。
【図17A】本開示の一例による、アフィンモードのＰＲＯＦおよびＬＩＣを排他的に有効化する図である。
【図17B】本開示の一例による、アフィンモードのＰＲＯＦおよびＬＩＣを共同で使用可能にする図である。
【図18A】本開示の一例による、１６×１６ＢＤＯＦ ＣＵに適用される提案されたパディング方法を示す図である。
【図18B】本開示の一例による、１６×１６ＢＤＯＦ ＣＵに適用される提案されたパディング方法を示す図である。
【図18C】本開示の一例による、１６×１６ＢＤＯＦ ＣＵに適用される提案されたパディング方法を示す図である。
【図18D】本開示の一例による、１６×１６ＢＤＯＦ ＣＵに適用される提案されたパディング方法を示す図である。
【図19】本開示の一例による、ユーザインターフェースに接続されたコンピューティング環境を示す図である。
【発明を実施するための形態】
【0009】
上記の一般的な説明および以下の詳細な説明は、例示的かつ説明的なものにすぎず、本開示を限定することを意図するものではないことを理解されたい。
【0010】
本明細書に組み込まれ、その一部を構成する添付の図面は本開示と一致する例を示し、説明とともに、本開示の原理を説明する役割を果たす。
【0011】
次に、例示的な実施形態を詳細に参照し、その例を添付の図面に示す。以下の説明は添付の図面を参照し、異なる図面中の同じ番号は特に示さない限り、同じまたは類似の要素を表す。例示的な実施形態の以下の説明に記載される実装は、本開示と一致するすべての実装を表すわけではない。むしろ、それらは、添付の特許請求の範囲に記載されるように、本開示に関連する態様と一致する装置および方法の単なる例である。
【0012】
本開示で使用される用語は特定の実施形態を説明するためだけのものであり、本開示を限定することを意図するものではない。本開示および添付の特許請求の範囲で使用されるように、単数「１つの」などは文脈が沿わないことを明確に示さない限り、複数も含むことが意図される。また、本明細書で使用される「および／または」という用語は関連する列挙された項目のうちの１つまたは複数の任意のまたはすべての可能な組合せを意味し、含むことが意図されることを理解されたい。
【0013】
「第１」、「第２」、「第３」などの用語は様々な情報を説明するために本明細書で使用され得るが、情報はこれらの用語によって限定されるべきではないことを理解されたい。これらの用語は、情報の１つのカテゴリを別のカテゴリから区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１情報を第２情報と呼ぶことができ、同様に、第２情報も第１情報と呼ぶことができる。本明細書で使用されるように、用語「もし～ならば」は、文脈に応じて、「～場合」または「～すると」または「判定に応答して」を意味すると理解されてもよい。
【0014】
ＨＥＶＣ規格の第１バージョンは２０１３年１０月に完成し、これは、以前の世代のビデオ符号化規格Ｈ．２６４／ＭＰＥＧ ＡＶＣと比較して、約５０％のビットレート節約または同等の知覚品質を提供する。ＨＥＶＣ規格はその先行技術よりも著しい符号化改善を提供するが、優れた符号化効率がＨＥＶＣに追加の符号化ツールを用いて達成され得るという証拠がある。これに基づき、ＶＣＥＧとＭＰＥＧの両方が、将来のビデオ符号化標準化のための新しい符号化技術の探索作業を開始した。２０１５年１０月、ＩＴＵ－Ｔ ＶＥＣＧとＩＳＯ／ＩＥＣ ＭＰＥＧによってＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）が結成され、符号化効率の大幅な向上を可能にする高度な技術の重要な研究が開始された。ＪＥＭ（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ）と呼ばれる１つの参照ソフトウェアは、ＨＥＶＣ試験モデル（ＨＭ）の上にいくつかの追加の符号化ツールを統合することによって、ＪＶＥＴによって維持される。
【0015】
２０１７年１０月、ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣは、ＨＥＶＣを超えたビデオ圧縮に
関するＣｆＰ（ｊｏｉｎｔ ｃａｌｌ ｆｏｒ ｐｒｏｐｏｓａｌｓ）を発表した。２０１８年４月には、第１０回ＪＶＥＴ会議で２３のＣｆＰ回答を得て評価したところ、約４０％のＨＥＶＣを超える圧縮効率の向上が示された。このような評価結果を踏まえ、ＪＶＥＴは、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれる新世代ビデオ符号化規格を開発するための新たなプロジェクトを立ち上げた。同月に、ＶＴＭ（ＶＶＣ ｔｅｓｔ ｍｏｄｅｌ）と呼ばれる１つの参照ソフトウェアコードベースが、ＶＶＣ標準の参照実装を実証するために確立された。
関するＣｆＰ（ｊｏｉｎｔ ｃａｌｌ ｆｏｒ ｐｒｏｐｏｓａｌｓ）を発表した。２０１８年４月には、第１０回ＪＶＥＴ会議で２３のＣｆＰ回答を得て評価したところ、約４０％のＨＥＶＣを超える圧縮効率の向上が示された。このような評価結果を踏まえ、ＪＶＥＴは、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれる新世代ビデオ符号化規格を開発するための新たなプロジェクトを立ち上げた。同月に、ＶＴＭ（ＶＶＣ ｔｅｓｔ ｍｏｄｅｌ）と呼ばれる１つの参照ソフトウェアコードベースが、ＶＶＣ標準の参照実装を実証するために確立された。
【0016】
ＨＥＶＣと同様に、ＶＶＣはブロックベースのハイブリッドビデオ符号化フレームワークに基づいて構築される。
【0017】
図１は、ＶＶＣのブロックベースのビデオエンコーダの一般的な図を示す。具体的には、図１は典型的なエンコーダ１００を示す。エンコーダ１００は、ビデオ入力１１０、動き補償１１２、動き推定１１４、イントラモード／インターモード決定１１６、ブロック予測子１４０、加算器１２８、変換器１３０、量子化１３２、予測関連情報１４２、イントラ予測１１８、ピクチャバッファ１２０、逆量子化１３４、逆変換１３６、加算器１２６、メモリ１２４、インループフィルタ１２２、エントロピー符号化１３８、およびビットストリーム１４４を有する。
【0018】
エンコーダ１００において、ビデオフレームは、処理のために複数のビデオブロックに分割される。与えられた各ビデオブロックに対して、インター予測アプローチまたはイントラ予測アプローチのいずれかに基づいて予測が形成される。
【0019】
ビデオ入力１１０の一部である現在のビデオブロックと、ブロック予測子１４０の一部であるその予測子との間の差を表す予測残差は、加算器１２８から変換器１３０に送られる。次に、変換係数はエントロピー低減のために、変換１３０から量子化１３２に送られる。次に、量子化された係数がエントロピー符号化１３８に供給されて、圧縮ビデオビットストリームが生成される。図１に示すように、ビデオブロック分割情報、動きベクトル（ＭＶ）、参照ピクチャインデックス、およびイントラ予測モードなどのイントラ／インターモード決定１１６からの予測関連情報１４２もエントロピー符号化１３８を介して供給され、圧縮ビットストリーム１４４に保存される。圧縮ビットストリーム１４４は、ビデオビットストリームを含む。
【0020】
エンコーダ１００では、予測の目的でピクセルを再構成するために、デコーダ関連の回路も必要である。まず、逆量子化１３４と逆変換１３６を通して予測残差を再構成する。この再構成された予測残差をブロック予測子１４０と組み合わせて、現在のビデオブロックについてフィルタ処理されていない再構成画素を生成する。
【0021】
空間予測（または「イントラ予測」）は、現在のビデオブロックと同じビデオフレーム内の既に符号化された隣接ブロック（参照サンプルと呼ばれる）のサンプルからのピクセルを使用して、現在のビデオブロックを予測する。
【0022】
時間予測（「インター予測」とも呼ばれる）は、既に符号化されたビデオピクチャからの再構成ピクセルを使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間的冗長性を低減する。所与の符号化ユニット（ＣＵ）または符号化ブロックの時間予測信号は、通常、現在のＣＵとその時間基準との間の動きの量および方向を示す１つまたは複数のＭＶによってシグナリングされる。さらに、複数の参照ピクチャがサポートされる場合、１つの参照ピクチャインデックスがさらに送信され、参照ピクチャインデックスは、参照ピクチャ記憶装置内のどの参照ピクチャから時間予測信号が来るかを識別するために使用される。
【0023】
動き推定１１４はビデオ入力１１０およびピクチャバッファ１２０からの信号を取り込み、動き推定信号を動き補償１１２に出力する。動き補償１１２はビデオ入力１１０、ピクチャバッファ１２０からの信号、および動き推定１１４からの動き推定信号を取り込み、動き補償信号をイントラモード／インターモード決定１１６に出力する。
【0024】
空間および／または時間予測が実行された後、エンコーダ１００のイントラ／インターモード決定１１６は例えば、レート歪み最適化法に基づいて、最良の予測モードを選択する。次いで、ブロック予測子１４０は現在のビデオブロックから減算され、結果として生じる予測残差は変換１３０および量子化１３２を使用して相関解除される。得られた量子化残差係数は逆量子化１３４によって逆量子化され、逆変換１３６によって逆変換されて再構成された残差を形成し、次いで、予測ブロックに加算されて、ＣＵの再構成された信号を形成する。デブロッキングフィルタ、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、および／またはＡＬＦ（ａｄａｐｔｉｖｅ ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ）などのさらなるインループフィルタ１２２を、再構成されたＣＵがピクチャバッファ１２０の参照ピクチャ記憶装置に入れられ、将来のビデオブロックを符号化するために使用される前に、再構成されたＣＵに適用することができる。出力ビデオビットストリーム１４４を形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化された残差係数はすべて、エントロピー符号化ユニット１３８に送られ、さらに圧縮され、パックされてビットストリームを形成する。
【0025】
図１は、一般的なブロックベースのハイブリッドビデオ符号化システムのブロック図を示す。入力ビデオ信号は、（ＣＵと呼ばれる）ブロック毎に処理される。ＶＴＭ－１．０では、ＣＵは最大１２８×１２８ピクセルであることができる。しかしながら、ＶＶＣにおいて、４分木のみに基づいてブロックを分割するＨＥＶＣとは異なり、１つのＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）は、４分木／２分木／３分木に基づいて、変化するローカル特性に適応するようにＣＵに分割される。さらに、ＨＥＶＣにおける多重分割ユニットタイプの概念は除去され、すなわち、ＣＵ、ＰＵ（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）、およびＴＵ（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）の分離はもはやＶＶＣに存在せず、代わりに、各ＣＵは、さらなる分割なしで、予測および変換の両方のための基本ユニットとして常に使用される。マルチタイプツリー構造では、まず、１つのＣＴＵを４分木構造で分割する。次に、各４分木リーフノードは、２分木構造および３分木構造によってさらに分割することができる。図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、および図３Ｅに示すように、５つの分割タイプ、すなわち、４分割、水平２分割、垂直２分割、水平３分割、および垂直３分割がある。
【0026】
図３Ａは、本開示による、マルチタイプツリー構造におけるブロック４分割を示す図である。
【0027】
図３Ｂは、本開示による、マルチタイプツリー構造におけるブロック垂直２分割を示す図である。
【0028】
図３Ｃは、本開示による、マルチタイプツリー構造におけるブロック水平２分割を示す図である。
【0029】
図３Ｄは、本開示による、マルチタイプツリー構造におけるブロック垂直３分割を示す図を示す。
【0030】
図３Ｅは、本開示による、マルチタイプツリー構造におけるブロック水平３分割を示す図である。
【0031】
図１では、空間予測および／または時間予測を行ってもよい。空間予測（または「イントラ予測」）は現在のビデオブロックを予測するために、同じビデオピクチャ／スライスの既に符号化された隣接ブロック（参照サンプルと呼ばれる）のサンプルからのピクセルを使用する。空間予測は、ビデオ信号に固有の空間冗長性を低減する。時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は、既に符号化されたビデオピクチャからの再構成されたピクセルを使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間的冗長性を低減する。所与のＣＵについての時間予測信号は、通常、現在のＣＵとその時間基準との間の動きの量および方向を示す１つまたは複数の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照ピクチャがサポートされる場合、１つの参照ピクチャインデックスがさらに送信され、参照ピクチャインデックスは、参照ピクチャストア内のどの参照ピクチャから時間予測信号が到来するかを識別するために使用される。空間および／または時間予測の後、エンコーダのモード決定ブロックは例えば、レート歪み最適化法に基づいて、最良の予測モードを選択する。次いで、予測ブロックは現在のビデオブロックから減算され、予測残差は変換を用いて非相関化され、量子化される。量子化残差係数を逆量子化し、逆変換して再構成残差を形成し、それを予測ブロックに再加算してＣＵの再構成信号を形成する。さらに、デブロッキングフィルタ、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）およびＡＬＦ（ａｄａｐｔｉｖｅ ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ）などのインループフィルタリングを、再構成されたＣＵが参照ピクチャストアに入れられ、将来のビデオブロックを符号化するために使用される前に、再構成されたＣＵに適用することができる。出力ビデオビットストリームを形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化された残差係数はすべて、エントロピー符号化ユニットに送られ、さらに圧縮され、パックされてビットストリームを形成する。
【0032】
図２は、ＶＶＣ用のビデオデコーダの一般的なブロック図を示す。具体的には、図２は、典型的なデコーダ２００のブロック図を示す。デコーダ２００は、ビットストリーム２１０、エントロピー復号化２１２、逆量子化２１４、逆変換２１６、加算器２１８、イントラ／インターモード選択２２０、イントラ予測２２２、メモリ２３０、インループフィルタ２２８、動き補償２２４、ピクチャバッファ２２６、予測関連情報２３４、およびビデオ出力２３２を有する。
【0033】
デコーダ２００は、図１のエンコーダ１００に存在する再構成関連部分に類似している。デコーダ２００において、入力ビデオビットストリーム２１０は量子化された係数レベル及び予測関連情報を導出するために、エントロピー復号化２１２を介して最初に復号化される。次いで、量子化された係数レベルは、逆量子化２１４および逆変換２１６を介して処理され、再構成された予測残差を得る。イントラ／インターモード選択２２０で実施されるブロック予測機構は、復号化された予測情報に基づいて、イントラ予測２２２または動き補償２２４のいずれかを実行するように構成される。逆変換２１６からの再構成予測残差とブロック予測機構により生成された予測出力とを加算器２１８を用いて合計することにより、フィルタ処理されない再構成画素の集合が得られる。
【0034】
再構成されたブロックは参照ピクチャストアとして機能するピクチャバッファ２２６に格納される前に、インループフィルタ２２８をさらに通過することができる。ピクチャバッファ２２６の再構成されたビデオは、将来のビデオブロックを予測するために使用されるだけでなく、ディスプレイデバイスを駆動するために送信されてもよい。インループフィルタ２２８がオンになっている状況では、最終的な再構成ビデオ出力２３２を導出するために、これらの再構成画素に対してフィルタリング操作が行われる。
【0035】
図２は、ブロックベースのビデオデコーダの一般的なブロック図を与える。ビデオビッ
トストリームは、エントロピー復号化ユニットにおいて最初にエントロピー復号される。符号化モードおよび予測情報は予測ブロックを形成するために、空間予測ユニット（イントラ符号化されている場合）または時間予測ユニット（インター符号化されている場合）のいずれかに送られる。残差変換係数を逆量子化ユニットと逆変換ユニットに送り、残差ブロックを再構成する。次に、予測ブロックと残差ブロックとが加算される。再構成されたブロックは参照ピクチャ記憶装置に記憶される前に、インループフィルタリングをさらに行うことができる。次に、参照ピクチャストレージの再構成されたビデオはディスプレイデバイスを駆動するために送出されるとともに、将来のビデオブロックを予測するために使用される。
トストリームは、エントロピー復号化ユニットにおいて最初にエントロピー復号される。符号化モードおよび予測情報は予測ブロックを形成するために、空間予測ユニット（イントラ符号化されている場合）または時間予測ユニット（インター符号化されている場合）のいずれかに送られる。残差変換係数を逆量子化ユニットと逆変換ユニットに送り、残差ブロックを再構成する。次に、予測ブロックと残差ブロックとが加算される。再構成されたブロックは参照ピクチャ記憶装置に記憶される前に、インループフィルタリングをさらに行うことができる。次に、参照ピクチャストレージの再構成されたビデオはディスプレイデバイスを駆動するために送出されるとともに、将来のビデオブロックを予測するために使用される。
【0036】
一般に、ＶＶＣに適用される基本的なインター予測技法は、いくつかのモジュールがさらに拡張および／または強化されることを除いて、ＨＥＶＣのものと同じに保たれる。特に、全ての先行するビデオ規格について、１つの符号化ブロックは、符号化ブロックが単一予測される場合には１つの単一ＭＶにのみ関連付けられ、符号化ブロックがバイ予測される場合には２つのＭＶに関連付けられる。従来のブロックベース動き補償のこのような制限のために、小さな動きは、動き補償後もなお予測サンプル内にとどまることができ、従って、動き補償の全体効率に負の影響を与える。ＭＶの粒度と精度の両方を改善するために、オプティカルフローに基づく２つのサンプルワイズリファインメント法、即ち、アフィンモードに対するＰＲＯＦ（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ）およびＢＤＯＦ（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）が、現在、ＶＶＣ規格について検討されている。以下では、２つのインター符号化ツールの主な技術的側面を簡単に検討する。
【0037】
双方向オプティカルフロー（ＢＤＯＦ）
ＶＶＣにおいて、ＢＤＯＦは、バイ予測符号化ブロックの予測サンプルを精密化するために適用される。具体的には図４に示すように、ＢＤＯＦはバイ予測が使用されるときにブロックベースの動き補償予測上で実行される、サンプルワイズ動きリファインメントである。
ＶＶＣにおいて、ＢＤＯＦは、バイ予測符号化ブロックの予測サンプルを精密化するために適用される。具体的には図４に示すように、ＢＤＯＦはバイ予測が使用されるときにブロックベースの動き補償予測上で実行される、サンプルワイズ動きリファインメントである。
【0038】
図４は、本開示によるＢＤＯＦモデルの図を示す。
【0039】
各４×４サブブロックの動きリファインメント（ｖｘ，ｖｙ）は、ＢＤＯＦがサブブロックの周りの１つの６×６ウィンドウΩ内で適用された後、Ｌ０予測サンプルとＬ１予測サンプルとの間の差を最小化することによって計算される。具体的には（ｖｘ，ｖｙ）の値は以下のように導出される。
【数1】
【0040】
Ｌ字およびＬ字を左右反転させた記号はフロア関数であり、ｃｌｉｐ３（ｍｉｎ、ｍａｘ、ｘ）は［ｍｉｎ、ｍａｘ］の範囲内の所与の値ｘをクリッピングする関数であり、記号＞＞はビットごとの右シフト演算を表し、記号＜＜はビットごとの左シフト演算を表し、ｔｈＢＤＯＦは不規則な局所的な動きによる伝播エラーを防止するための動きリファインメントしきい値であり、１＜＜ｍａｘ（５，ｂｉｔ－ｄｅｐｔｈ－７）に等しく、ｂｉ
ｔ－ｄｅｐｔｈは、内部ビット深度である。
ｔ－ｄｅｐｔｈは、内部ビット深度である。
【0041】
（１）では、以下の通りである。
【数2】
【0042】
Ｓ１、Ｓ２、Ｓ３、Ｓ５、Ｓ６の値は以下のように計算される。
ここで、以下の通りである。
ここで、Ｉ（ｋ）（ｉ，ｊ）は中間の高精度（すなわち、１６ビット）で生成される、リストｋ，ｋ＝０，１内の予測信号の座標（ｉ，ｊ）におけるサンプル値であり、（∂Ｉ（ｋ）／∂ｘ）（ｉ，ｊ）および（∂Ｉ（ｋ）／∂ｙ）（ｉ，ｊ）は２つの隣接するサンプル間の差を直接計算することによって得られるサンプルの水平勾配および垂直勾配である。
【数3】
ここで、以下の通りである。
【数4】
ここで、Ｉ（ｋ）（ｉ，ｊ）は中間の高精度（すなわち、１６ビット）で生成される、リストｋ，ｋ＝０，１内の予測信号の座標（ｉ，ｊ）におけるサンプル値であり、（∂Ｉ（ｋ）／∂ｘ）（ｉ，ｊ）および（∂Ｉ（ｋ）／∂ｙ）（ｉ，ｊ）は２つの隣接するサンプル間の差を直接計算することによって得られるサンプルの水平勾配および垂直勾配である。
【数5】
【0043】
（１）式で導出した動きリファインメントに基づいて、ＣＵの最終バイ予測サンプルは以下のように、オプティカルフローモデルに基づいて動き軌道に沿ってＬ０／Ｌ１予測サンプルを補間することによって計算される。
ここで、ｓｈｉｆｔおよびｏｏｆｆｓｅｔは、それぞれ１５ － ｂｉｔ－ｄｅｐｔｈおよび１＜＜（１４ － ｂｉｔ－ｄｅｐｔｈ）＋２・（１＜＜１３）に等しい、バイ予測のためのＬ０およびＬ１予測信号を結合するために適用される右シフト値およびオフセット値である。上記のビット深度制御方法に基づいて、ＢＤＯＦプロセス全体の中間パラメータの最大ビット深度が３２ビットを超えず、乗算への最大入力が１５ビット以内であること、すなわち、１つの１５ビット乗算器がＢＤＯＦ実施に十分であることが保証される。
【数6】
ここで、ｓｈｉｆｔおよびｏｏｆｆｓｅｔは、それぞれ１５ － ｂｉｔ－ｄｅｐｔｈおよび１＜＜（１４ － ｂｉｔ－ｄｅｐｔｈ）＋２・（１＜＜１３）に等しい、バイ予測のためのＬ０およびＬ１予測信号を結合するために適用される右シフト値およびオフセット値である。上記のビット深度制御方法に基づいて、ＢＤＯＦプロセス全体の中間パラメータの最大ビット深度が３２ビットを超えず、乗算への最大入力が１５ビット以内であること、すなわち、１つの１５ビット乗算器がＢＤＯＦ実施に十分であることが保証される。
【0044】
アフィンモード
ＨＥＶＣでは、動き補償予測のために並進動きモデルのみを適用した。一方、現実世界では、ズームイン／ズームアウト、回転、遠近動き、および他の不規則な動きなど、多くの種類の動きがある。ＶＶＣでは、アフィン動き補償予測が各インター符号化ブロックに対して１つのフラグをシグナリングすることによって適用され、並進動きモデルまたはアフィン動きモデルがインター予測に適用されるかどうかを示す。現在のＶＶＣ設計では、４パラメータアフィンモードおよび６パラメータアフィンモードを含む２つのアフィンモードが１つのアフィン符号化ブロックに対してサポートされる。
ＨＥＶＣでは、動き補償予測のために並進動きモデルのみを適用した。一方、現実世界では、ズームイン／ズームアウト、回転、遠近動き、および他の不規則な動きなど、多くの種類の動きがある。ＶＶＣでは、アフィン動き補償予測が各インター符号化ブロックに対して１つのフラグをシグナリングすることによって適用され、並進動きモデルまたはアフィン動きモデルがインター予測に適用されるかどうかを示す。現在のＶＶＣ設計では、４パラメータアフィンモードおよび６パラメータアフィンモードを含む２つのアフィンモードが１つのアフィン符号化ブロックに対してサポートされる。
【0045】
４パラメータアフィンモデルは以下のパラメータ、すなわち、それぞれ水平方向および垂直方向の並進動きのための２つのパラメータ、ズーム動きのための１つのパラメータ、および両方向の回転動きのための１つのパラメータを有する。水平ズームパラメータは、垂直ズームパラメータと同じである。水平回転パラメータは、垂直回転パラメータと同じである。動きベクトルおよびアフィンパラメータのより良好な適応を達成するために、ＶＶＣにおいて、これらのアフィンパラメータは、現在のブロックの左上隅および右上隅に位置する２つのＭＶ（ＣＰＭＶ（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）とも呼ばれる）に変換される。図５Ａおよび図５Ｂに示すように、ブロックのアフィン動きフィールドは、２つの制御点ＭＶ（Ｖ０、Ｖ１）によって記述される。
【0046】
図５Ａは、本開示による、４パラメータアフィンモデルの図を示す。
【0047】
図５Ｂは、本開示による４パラメータアフィンモデルの図を示す。
【0048】
制御点動きに基づいて、１つのアフィン符号化ブロックの動きフィールド（ｖｘ，ｖｙ）を以下のように記述する。
【数7】
【0049】
６パラメータアフィンモードは、それぞれ水平および垂直方向の並進動きのための２つのパラメータ、ズーム動きのための１つのパラメータおよび水平方向の回転動きのための１つのパラメータ、ズーム動きのための１つのパラメータおよび垂直方向の回転動きのための１つのパラメータを有する。６パラメータアフィン動きモデルは、３つのＣＰＭＶで３つのＭＶで符号化される。
【0050】
図６は、本開示による６パラメータアフィンモデルの図を示す。
【0051】
図６に示すように、１つの６パラメータアフィンブロックの３つの制御点は、ブロックの左上、右上、および左下のコーナーに位置する。左上の制御点での動きは並進動きに関連し、右上の制御点での動きは水平方向の回転とズーム動きに関連し、左下の制御点での動きは垂直方向の回転とズーム動きに関連する。４パラメータアフィン動きモデルと比較して、６パラメータの水平方向の回転及びズーム動きは、垂直方向の動きと同じでなくてもよい。（Ｖ０、Ｖ１、Ｖ２）を図６の現在のブロックの左上、右上、左下のコーナーのＭＶと仮定すると、それぞれのサブブロックの動きベクトル（ｖｘ，ｖｙ）は、以下のように制御点で３つのＭＶを用いて導出される。
【数8】
【0052】
アフィンモードに対するオプティカルフローによる予測リファインメント
アフィン動き補償精度を改善するために、ＰＲＯＦを現在、オプティカルフローモデルに基づくサブブロックベースアフィン動き補償をリファインする現行ＶＶＣで検討する。具体的には、サブブロックベースのアフィン動き補償を行った後、１つのアフィンブロックの輝度予測サンプルを、オプティカルフロー方程式に基づいて導出された１つのサンプルリファインメント値によって修正する。詳細には、ＰＲＯＦの演算を以下の４つのステップとして要約することができる。
アフィン動き補償精度を改善するために、ＰＲＯＦを現在、オプティカルフローモデルに基づくサブブロックベースアフィン動き補償をリファインする現行ＶＶＣで検討する。具体的には、サブブロックベースのアフィン動き補償を行った後、１つのアフィンブロックの輝度予測サンプルを、オプティカルフロー方程式に基づいて導出された１つのサンプルリファインメント値によって修正する。詳細には、ＰＲＯＦの演算を以下の４つのステップとして要約することができる。
【0053】
ステップ１：サブブロックベースのアフィン動き補償は、４パラメータアフィンモデルについて（６）で導出され、６パラメータアフィンモデルについて（７）で導出されるようなサブブロックＭＶを使用してサブブロック予測Ｉ（ｉ，ｊ）を生成するために実行され
る。
る。
【0054】
ステップ２：各予測サンプルの空間勾配ｇｘ（ｉ，ｊ）およびｇｙ（ｉ，ｊ）は、以下のように算出される。
【数9】
【0055】
勾配を計算するために、予測サンプルの１つの追加の行／列が、１つのサブブロックの各サイドで生成される必要がある。メモリ帯域幅および複雑さを低減するために、拡張境界上のサンプルは追加の補間プロセスを回避するために、参照ピクチャ内の最も近い整数ピクセル位置からコピーされる。
【0056】
ステップ３：輝度予測リファインメント値は、以下によって算出される。
ここで、Δｖ（ｉ，ｊ）は、ｖ（ｉ，ｊ）で表されるサンプル位置（ｉ，ｊ）に対して計算される画素ＭＶと、画素（ｉ，ｊ）が位置するサブブロックのサブブロックＭＶとの間の差である。さらに、現在のＰＲＯＦ設計では、予測リファインメントを元の予測サンプルに追加した後、リファインされた予測サンプルの値を１５ビット以内にクリッピングするために、１つのクリッピング動作が実行される。
ここで、Ｉ（ｉ，ｊ）およびＩｒ（ｉ，ｊ）は、それぞれ、位置（ｉ，ｊ）における元の予測サンプルおよびリファインされた予測サンプルである。
【数10】
ここで、Δｖ（ｉ，ｊ）は、ｖ（ｉ，ｊ）で表されるサンプル位置（ｉ，ｊ）に対して計算される画素ＭＶと、画素（ｉ，ｊ）が位置するサブブロックのサブブロックＭＶとの間の差である。さらに、現在のＰＲＯＦ設計では、予測リファインメントを元の予測サンプルに追加した後、リファインされた予測サンプルの値を１５ビット以内にクリッピングするために、１つのクリッピング動作が実行される。
【数11】
ここで、Ｉ（ｉ，ｊ）およびＩｒ（ｉ，ｊ）は、それぞれ、位置（ｉ，ｊ）における元の予測サンプルおよびリファインされた予測サンプルである。
【0057】
図７は、本開示による、アフィンモードのためのＰＲＯＦプロセスを示す。
【0058】
アフィンモデルパラメータとサブブロック中心に対する画素位置はサブブロック毎に変わらないので、Δｖ（ｉ，ｊ）は、最初のサブブロックに対して算出でき、同じＣＵ内の他のサブブロックに対して再利用できる。サンプル位置（ｉ，ｊ）からサンプルが属するサブブロックの中心までの水平および垂直オフセットをΔｘおよびΔｙとし、Δｖ（ｉ，ｊ）を以下のように導出することができる。
【数12】
【0059】
アフィンサブブロックＭＶ導出方程式（６）および（７）に基づいて、ＭＶ差Δｖ（ｉ，ｊ）を導出することができる。具体的には、４パラメータアフィンモデルでは以下の通
りである。
りである。
【数13】
【0060】
６パラメータアフィンモデルでは、以下の通りである。
ここで、（ｖ０ｘ，ｖ０ｙ）、（ｖ１ｘ，ｖ１ｙ）、（ｖ２ｘ，ｖ２ｙ）は現在の符号化ブロックの左上、右上、および左下の制御点ＭＶであり、ｗおよびｈは、ブロックの幅および高さである。既存のＰＲＯＦ設計では、ＭＶ差ΔｖｘおよびΔｖｙは常に１／３２‐ｐｅｌの精度で導出される。
【数14】
ここで、（ｖ０ｘ，ｖ０ｙ）、（ｖ１ｘ，ｖ１ｙ）、（ｖ２ｘ，ｖ２ｙ）は現在の符号化ブロックの左上、右上、および左下の制御点ＭＶであり、ｗおよびｈは、ブロックの幅および高さである。既存のＰＲＯＦ設計では、ＭＶ差ΔｖｘおよびΔｖｙは常に１／３２‐ｐｅｌの精度で導出される。
【0061】
局所照明補償
ＬＩＣ（ｌｏｃａｌ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）は、時間的に隣接するピクチャ間に存在する局所照明変化の問題に対処するために使用される符号化ツールである。１対の重みおよびオフセットパラメータが参照サンプルに適用されて、１つの現在のブロックの予測サンプルが得られる。一般的な数学モデルは以下のように与えられる。
Ｐｒ［ｘ＋ｖ］は動きベクトルｖによって示される参照ブロックで、［α，β］は参照ブロックの対応する重みとオフセットパラメータの対であり、Ｐ［ｘ］は最終予測ブロックである。重みおよびオフセットパラメータの対は現在のブロックのテンプレート（すなわち、隣接する再構成されたサンプル）およびテンプレートの参照ブロック（現在のブロックの動きベクトルを使用して導出される）に基づいて、ＬＬＭＳＥ（ｌｅａｓｔ ｌｉｎｅａｒ ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ）アルゴリズムを使用して推定される。テンプレートサンプルとテンプレートの参照サンプルとの間の平均二乗差を最小化することによって、αおよびβの数学的表現は、以下のように導出することができる。
ＬＩＣ（ｌｏｃａｌ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）は、時間的に隣接するピクチャ間に存在する局所照明変化の問題に対処するために使用される符号化ツールである。１対の重みおよびオフセットパラメータが参照サンプルに適用されて、１つの現在のブロックの予測サンプルが得られる。一般的な数学モデルは以下のように与えられる。
【数15】
Ｐｒ［ｘ＋ｖ］は動きベクトルｖによって示される参照ブロックで、［α，β］は参照ブロックの対応する重みとオフセットパラメータの対であり、Ｐ［ｘ］は最終予測ブロックである。重みおよびオフセットパラメータの対は現在のブロックのテンプレート（すなわち、隣接する再構成されたサンプル）およびテンプレートの参照ブロック（現在のブロックの動きベクトルを使用して導出される）に基づいて、ＬＬＭＳＥ（ｌｅａｓｔ ｌｉｎｅａｒ ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ）アルゴリズムを使用して推定される。テンプレートサンプルとテンプレートの参照サンプルとの間の平均二乗差を最小化することによって、αおよびβの数学的表現は、以下のように導出することができる。
【数16】
【0062】
Ｉはテンプレート中のサンプルの数を表す。Ｐｃ［ｘｉ］は現在のブロックのテンプレートのｉ番目のサンプルであり、Ｐｒ［ｘｉ］は動きベクトルｖに基づくｉ番目のテンプレートサンプルの参照サンプルである。
【0063】
各予測方向（Ｌ０またはＬ１）に対して多くとも１つの動きベクトルを含む通常のインターブロックに適用されることに加えて、ＬＩＣは、１つの符号化ブロックが複数のより小さいサブブロックにさらに分割され、各サブブロックが異なる動き情報に関連付けられ得るアフィンモード符号化ブロックにも適用される。アフィンモード符号化ブロックのＬＩＣのための参照サンプルを導出するために、図１６Ａおよび１６Ｂ（後述）に示すように、１つのアフィン符号化ブロックの最上位テンプレート内の参照サンプルは最上位サブブロック行内の各サブブロックの動きベクトルを使用してフェッチされ、一方、左側テンプレート内の参照サンプルは左側サブブロック列内のサブブロックの動きベクトルを使用してフェッチされる。その後、（１２）に示すように、同じＬＬＭＳＥ導出方法を適用して、複合テンプレートに基づいてＬＩＣパラメータを導出する。
【0064】
図１６Ａは、本開示による、アフィンモードのためのテンプレートサンプルを導出するための図を示す。図は、Ｃｕｒ Ｆｒａｍｅ１６２０およびＣｕｒ ＣＵ１６２２を含む。Ｃｕｒ Ｆｒａｍｅ１６２０は、現在のフレームである。Ｃｕｒ ＣＵ１６２２は、現在の符号化ユニットである。
【0065】
図１６Ｂは、アフィンモードのためのテンプレートサンプルを導出するための図を示す。図は、Ｒｅｆ Ｆｒａｍｅ１６４０、Ｃｏｌ ＣＵ１６４２、Ａ Ｒｅｆ１６４３、Ｂ
Ｒｅｆ１６４４、Ｃ Ｒｅｆ１６４５、Ｄ Ｒｅｆ１６４６、Ｅ Ｒｅｆ１６４７、Ｆ
Ｒｅｆ１６４８、およびＧ Ｒｅｆ１６４９を含む。Ｒｅｆ Ｆｒａｍｅ１６４０は参照フレームである。Ｃｏｌ ＣＵ１６４２は、並置された符号化ユニットである。Ａ Ｒｅｆ１６４３、Ｂ Ｒｅｆ１６４４、Ｃ Ｒｅｆ１６４５、Ｄ Ｒｅｆ１６４６、Ｅ Ｒｅｆ１６４７、Ｆ Ｒｅｆ１６４８、Ｇ Ｒｅｆ１６４９は参照サンプルである。
Ｒｅｆ１６４４、Ｃ Ｒｅｆ１６４５、Ｄ Ｒｅｆ１６４６、Ｅ Ｒｅｆ１６４７、Ｆ
Ｒｅｆ１６４８、およびＧ Ｒｅｆ１６４９を含む。Ｒｅｆ Ｆｒａｍｅ１６４０は参照フレームである。Ｃｏｌ ＣＵ１６４２は、並置された符号化ユニットである。Ａ Ｒｅｆ１６４３、Ｂ Ｒｅｆ１６４４、Ｃ Ｒｅｆ１６４５、Ｄ Ｒｅｆ１６４６、Ｅ Ｒｅｆ１６４７、Ｆ Ｒｅｆ１６４８、Ｇ Ｒｅｆ１６４９は参照サンプルである。
【0066】
アフィンモードに対するオプティカルフローによる予測リファインメントの非効率性
ＰＲＯＦはアフィンモードの符号化効率を高めることができるが、その設計はまだ更に改善できる。特に、ＰＲＯＦとＢＤＯＦの両方がオプティカルフローコンセプトに基づいて構築されることを考えると、ＰＲＯＦがハードウェアの実装を容易にするためにＢＤＯＦの現存する論理を最大限に活用できるように、ＰＲＯＦとＢＤＯＦの設計をできるだけ調和させることが非常に望ましい。このような考察に基づいて、現在のＰＲＯＦ設計とＢＤＯＦ設計との間のインタラクションに関する以下の非効率性が、本開示で識別される。
ＰＲＯＦはアフィンモードの符号化効率を高めることができるが、その設計はまだ更に改善できる。特に、ＰＲＯＦとＢＤＯＦの両方がオプティカルフローコンセプトに基づいて構築されることを考えると、ＰＲＯＦがハードウェアの実装を容易にするためにＢＤＯＦの現存する論理を最大限に活用できるように、ＰＲＯＦとＢＤＯＦの設計をできるだけ調和させることが非常に望ましい。このような考察に基づいて、現在のＰＲＯＦ設計とＢＤＯＦ設計との間のインタラクションに関する以下の非効率性が、本開示で識別される。
【0067】
第１に、式（８）の「アフィンモードに対するオプティカルフローによる予測リファインメント」の項で述べたように、勾配の精度は内部ビット深度に基づいて決定される。一方、ＭＶ差、すなわち、Δｖｘ，Δｖｙは、常に１／３２－ｐｅｌの精度で導出される。これに対応して、式（９）に基づいて、導出されたＰＲＯＦリファインメントの精度は、内部ビット深度に依存する。しかしながら、ＢＤＯＦと同様に、ＰＲＯＦはより高いＰＲＯＦ導出精度を維持するために、中間の高ビット深度（すなわち、１６ビット）で予測サ
ンプル値に適用される。したがって、内部符号化ビット深度にかかわらず、ＰＲＯＦによって導出された予測リファインメントの精度は中間予測サンプルの精度、すなわち１６ビットと一致しなければならない。言い換えると、既存のＰＲＯＦ設計におけるＭＶ差分と勾配の表現ビット深度は、予測サンプル精度（すなわち１６ビット）と比較して正確な予測リファインメントを導出するために完全に整合していない。一方、式（１）、（４）および（８）の比較に基づいて、既存のＰＲＯＦおよびＢＤＯＦは、サンプル勾配およびＭＶ差を表すために異なる精度を使用する。先に指摘したように、このような統一されていない設計は、既存のＢＤＯＦ論理を再使用することができないので、ハードウェアにとって望ましくない。
ンプル値に適用される。したがって、内部符号化ビット深度にかかわらず、ＰＲＯＦによって導出された予測リファインメントの精度は中間予測サンプルの精度、すなわち１６ビットと一致しなければならない。言い換えると、既存のＰＲＯＦ設計におけるＭＶ差分と勾配の表現ビット深度は、予測サンプル精度（すなわち１６ビット）と比較して正確な予測リファインメントを導出するために完全に整合していない。一方、式（１）、（４）および（８）の比較に基づいて、既存のＰＲＯＦおよびＢＤＯＦは、サンプル勾配およびＭＶ差を表すために異なる精度を使用する。先に指摘したように、このような統一されていない設計は、既存のＢＤＯＦ論理を再使用することができないので、ハードウェアにとって望ましくない。
【0068】
第２に、「アフィンモードに対するオプティカルフローによる予測リファインメント」の項で議論したように、一つの現在のアフィンブロックがバイ予測されるとき、ＰＲＯＦをリストＬ０およびＬ１の予測サンプルに別々に適用し、それから、強化されたＬ０およびＬ１予測信号を平均化して最終バイ予測信号を生成する。反対に、各予測方向に対するＰＲＯＦリファインメントを別々に導出する代わりに、ＢＤＯＦは予測リファインメントを一旦導出し、それは次に結合Ｌ０およびＬ１予測信号を強化するために適用される。図８および図９（後述）は、バイ予測のための現在のＢＤＯＦおよびＰＲＯＦのワークフローを比較する。実際のコーデックハードウェアパイプライン設計では、通常、より多くの符号化ブロックを並列に処理できるように、異なる主要な符号化／復号化モジュールを各パイプラインステージに割り当てる。しかしながら、ＢＤＯＦワークフローとＰＲＯＦワークフローとの間の差異のために、ＢＤＯＦとＰＲＯＦとによって共有されることができる１つの同じパイプライン設計を有することを困難にする可能性があり、実用的なコーデック実装には不利である。
【0069】
図８は、本開示によるＢＤＯＦのワークフローを示す。ワークフロー８００は、Ｌ０動き補償８１０、Ｌ１動き補償８２０、およびＢＤＯＦ８３０を含む。Ｌ０動き補償８１０は、例えば、前の参照ピクチャからの動き補償サンプルのリストであり得る。前の参照ピクチャは、ビデオブロック内の現在のピクチャから前の参照ピクチャである。例えば、Ｌ１動き補償８２０は、次の参照ピクチャからの動き補償サンプルのリストとすることができる。次の参照ピクチャは、ビデオブロック内の現在のピクチャの後の参照ピクチャである。ＢＤＯＦ８３０は図４に関して上記説明したように、Ｌ１動き補償８１０およびＬ１動き補償８２０から動き補償サンプルを取り込み、予測サンプルを出力する。
【0070】
図９は、本開示による既存のＰＲＯＦのワークフローを示す。ワークフロー９００は、Ｌ０動き補償９１０、Ｌ１動き補償９２０、Ｌ０ ＰＲＯＦ９３０、Ｌ１ ＰＲＯＦ９４０、および平均９６０を含む。Ｌ０動き補償９１０は例えば、前の参照ピクチャからの動き補償サンプルのリストであり得る。前の参照ピクチャは、ビデオブロック内の現在のピクチャから前の参照ピクチャである。例えば、Ｌ１動き補償９２０は、次の参照ピクチャからの動き補償サンプルのリストとすることができる。次の参照ピクチャは、ビデオブロック内の現在のピクチャの後の参照ピクチャである。Ｌ０ ＰＲＯＦ９３０は前述の図７に関して説明したように、Ｌ０動き補償９１０からＬ０動き補償サンプルを取り込み、動きリファインメント値を出力する。Ｌ１ ＰＲＯＦ９４０は上述の図７に関して説明したように、Ｌ１動き補償９２０からＬ１動き補償サンプルを取り込み、動きリファインメント値を出力する。平均９６０は、Ｌ０ ＰＲＯＦ９３０およびＬ１ ＰＲＯＦ９４０の動きリファインメント値出力を平均化する。
【0071】
第３に、ＢＤＯＦおよびＰＲＯＦの両方について、勾配は現在の符号化ブロック内の各サンプルについて計算される必要があり、これは、ブロックの各サイドで予測サンプルの１つの追加の行／列を生成することを必要とする。サンプル補間の付加的な計算の複雑さを回避するために、ブロックの周りの拡張領域内の予測サンプルは整数位置で（すなわち
、補間なしで）参照サンプルから直接コピーされる。しかし、既存の設計ではＢＤＯＦとＰＲＯＦの勾配値を生成するために、異なる位置の整数サンプルが選択されている。具体的にはＢＤＯＦでは予測サンプルの左側（水平勾配の場合）および予測サンプルの上側（垂直勾配の場合）に位置する整数参照サンプルが使用され、ＰＲＯＦでは予測サンプルに最も近い整数参照サンプルが勾配計算に使用される。ビット深度表現問題と同様に、このような非統一勾配計算法もハードウェアコーデック実装にとって望ましくない。
、補間なしで）参照サンプルから直接コピーされる。しかし、既存の設計ではＢＤＯＦとＰＲＯＦの勾配値を生成するために、異なる位置の整数サンプルが選択されている。具体的にはＢＤＯＦでは予測サンプルの左側（水平勾配の場合）および予測サンプルの上側（垂直勾配の場合）に位置する整数参照サンプルが使用され、ＰＲＯＦでは予測サンプルに最も近い整数参照サンプルが勾配計算に使用される。ビット深度表現問題と同様に、このような非統一勾配計算法もハードウェアコーデック実装にとって望ましくない。
【0072】
第４に、先に指摘したように、ＰＲＯＦの動機は、各サンプルのＭＶと、サンプルが属するサブブロックの中心で導出されるサブブロックＭＶとの間の小さいＭＶ差を補償することである。現在のＰＲＯＦ設計によれば、ＰＲＯＦは、１つの符号化ブロックがアフィンモードによって予測されるときに常に呼び出される。しかしながら、式（６）および（７）に示すように、１つのアフィンブロックのサブブロックＭＶは、制御点ＭＶから導出される。したがって、制御点ＭＶ間の差が比較的小さい場合、各サンプル位置におけるＭＶは一貫しているべきである。そのような場合、ＰＲＯＦを適用する利点は非常に限定される可能性があるので、性能／複雑さのトレードオフを考慮すると、ＰＲＯＦを実行する価値がない可能性がある。
【0073】
アフィンモードに対するオプティカルフローによる予測リファインメントの改良
本開示では、ハードウェアコーデック実装を容易にするために、既存のＰＲＯＦ設計を改善し、単純化するための方法が提供される。特に、既存のＢＤＯＦロジックをＰＲＯＦと最大限に共有するために、ＢＤＯＦとＰＲＯＦの設計を調和させることに特に注意し、一般に、本開示で提案される技術の主な態様を以下に要約する。
本開示では、ハードウェアコーデック実装を容易にするために、既存のＰＲＯＦ設計を改善し、単純化するための方法が提供される。特に、既存のＢＤＯＦロジックをＰＲＯＦと最大限に共有するために、ＢＤＯＦとＰＲＯＦの設計を調和させることに特に注意し、一般に、本開示で提案される技術の主な態様を以下に要約する。
【0074】
第１に、１つ以上の統一設計を達成しながらＰＲＯＦの符号化効率を改善するために、ＢＤＯＦとＰＲＯＦによって使用されるサンプル勾配とＭＶ差の代表ビット深さを統一する１つの方法を提案する。
【0075】
第２に、ハードウェアパイプライン設計を容易にするために、バイ予測のためにＰＲＯＦのワークフローをＢＤＯＦのワークフローと調和させることが提案される。具体的にはＬ０およびＬ１に対して別々に予測リファインメントを導出する既存のＰＲＯＦとは異なり、提案する方法はＬ０およびＬ１の組み合わせ予測信号に適用される予測リファインメントを一旦導出する。
【0076】
第３に、ＢＤＯＦおよびＰＲＯＦによって使用される勾配値を計算するために、整数参照サンプルの導出を調和させる２つの方法が提案される。
【0077】
第４に、計算量を低減するために、ある条件が満たされたときにアフィン符号化ブロックに対するＰＲＯＦプロセスを適応的に無効にする早期終了法を提案する。
【0078】
ＰＲＯＦ勾配とＭＶ差のビット深度表現設計の改善
「問題記述」の項で分析したように、ＭＶ差の表現ビット深度と現在のＰＲＯＦ内のサンプル勾配は、正確な予測リファインメントを導き出すために整列されない。さらに、サンプル勾配の表現ビット深度およびＭＶ差はＢＤＯＦとＰＲＯＦとの間で一貫性がなく、これはハードウェアにとって不利である。本節ではＢＤＯＦのビット深度表現法をＰＲＯＦに拡張することにより、１つの改良型ビット深度表現法を提案した。具体的には提案した方法では各サンプル位置における水平および垂直勾配を以下のように計算する。
「問題記述」の項で分析したように、ＭＶ差の表現ビット深度と現在のＰＲＯＦ内のサンプル勾配は、正確な予測リファインメントを導き出すために整列されない。さらに、サンプル勾配の表現ビット深度およびＭＶ差はＢＤＯＦとＰＲＯＦとの間で一貫性がなく、これはハードウェアにとって不利である。本節ではＢＤＯＦのビット深度表現法をＰＲＯＦに拡張することにより、１つの改良型ビット深度表現法を提案した。具体的には提案した方法では各サンプル位置における水平および垂直勾配を以下のように計算する。
【数17】
【0079】
加えて、１つのサンプル位置からサンプルが属するサブブロックの中心までの１／４－ｐｅｌ精度で表される水平および垂直オフセットをΔｘおよびΔｙであると仮定すると、サンプル位置での対応するＰＲＯＦ ＭＶ差Δｖ（ｘ，ｙ）は以下のように導出される。
ここで、ｄＭｖＢｉｔｓは、ＢＤＯＦプロセスによって使用される勾配値のビット深度である。すなわち、ｄＭｖＢｉｔｓ＝ｍａｘ（５，（ｂｉｔ‐ｄｅｐｔｈ － ７））＋１である。式（１３）及び（１４）において、ｃ，ｄ，ｅ，ｆは、アフィン制御点ＭＶに基づいて導出されるアフィンパラメータである。具体的には、４パラメータアフィンモデルでは、以下の通りである。
【数18】
ここで、ｄＭｖＢｉｔｓは、ＢＤＯＦプロセスによって使用される勾配値のビット深度である。すなわち、ｄＭｖＢｉｔｓ＝ｍａｘ（５，（ｂｉｔ‐ｄｅｐｔｈ － ７））＋１である。式（１３）及び（１４）において、ｃ，ｄ，ｅ，ｆは、アフィン制御点ＭＶに基づいて導出されるアフィンパラメータである。具体的には、４パラメータアフィンモデルでは、以下の通りである。
【数19】
【0080】
６パラメータアフィンモデルでは、以下の通りである。
ここで、（ｖ０ｘ，ｖ０ｙ），（ｖ１ｘ，ｖ１ｙ），（ｖ２ｘ，ｖ２ｙ）は、現在の符号化ブロックの左上、右上、および左下の制御点ＭＶであり、１／１６－ｐｅｌ精度で表され、ｗおよびｈは、ブロックの幅および高さである。
【数20】
ここで、（ｖ０ｘ，ｖ０ｙ），（ｖ１ｘ，ｖ１ｙ），（ｖ２ｘ，ｖ２ｙ）は、現在の符号化ブロックの左上、右上、および左下の制御点ＭＶであり、１／１６－ｐｅｌ精度で表され、ｗおよびｈは、ブロックの幅および高さである。
【0081】
上記の説明では、式（１３）および（１４）に示すように、一対の固定右シフトを適用して、勾配およびＭＶ差の値を計算する。実際には、（１３）および（１４）に異なるビ
ット方向右シフトを適用して、中間計算精度と内部ＰＲＯＦ導出プロセスのビット幅の間の異なるトレードオフに対する勾配とＭＶ差の様々な表現精度を達成することができる。例えば、入力ビデオが多くのノイズを含む場合、導出された勾配は、各サンプルにおける真の局所的な水平／垂直勾配値を表すのに信頼できないことがある。このような場合、勾配値よりも多くのビットを使用してＭＶ差を表現する方が意味がある。一方、入力ビデオが定常的な動きを示す場合、アフィンモデルによって導出されるＭＶ差は、非常に小さくなければならない。そうであれば、高精度ＭＶ差を使用することで、派生ＰＲＯＦリファインメントの精度を上げるための追加の有益性を得ることはできない。言い換えると、このような場合、勾配値を表すためにより多くのビットを使用する方が有益である。上記の考察に基づいて、本開示の１つ以上の実施形態ではＰＲＯＦの勾配およびＭＶ差を計算するための１つの一般的な方法が以下で提案され、具体的には各サンプル位置における水平勾配および垂直勾配が隣接する予測サンプルの差にｎａ右シフトを適用することによって計算されると仮定する。
サンプル位置における対応するＰＲＯＦ ＭＶ差Δｖ（ｘ，ｙ）は、以下のように計算されるべきである。
ここで、ΔｘおよびΔｙは、１つのサンプル位置からサンプルが属するサブブロックの中心までの１／４－ｐｅｌ精度で表される水平および垂直オフセットであり、ｃ，ｄ，ｅ，ｆは、１／１６－ｐｅｌアフィン制御点ＭＶに基づいて導出されるアフィンパラメータである。最後に、サンプルの最終的なＰＲＯＦリファインメントは、以下のように計算される。
ット方向右シフトを適用して、中間計算精度と内部ＰＲＯＦ導出プロセスのビット幅の間の異なるトレードオフに対する勾配とＭＶ差の様々な表現精度を達成することができる。例えば、入力ビデオが多くのノイズを含む場合、導出された勾配は、各サンプルにおける真の局所的な水平／垂直勾配値を表すのに信頼できないことがある。このような場合、勾配値よりも多くのビットを使用してＭＶ差を表現する方が意味がある。一方、入力ビデオが定常的な動きを示す場合、アフィンモデルによって導出されるＭＶ差は、非常に小さくなければならない。そうであれば、高精度ＭＶ差を使用することで、派生ＰＲＯＦリファインメントの精度を上げるための追加の有益性を得ることはできない。言い換えると、このような場合、勾配値を表すためにより多くのビットを使用する方が有益である。上記の考察に基づいて、本開示の１つ以上の実施形態ではＰＲＯＦの勾配およびＭＶ差を計算するための１つの一般的な方法が以下で提案され、具体的には各サンプル位置における水平勾配および垂直勾配が隣接する予測サンプルの差にｎａ右シフトを適用することによって計算されると仮定する。
【数21】
サンプル位置における対応するＰＲＯＦ ＭＶ差Δｖ（ｘ，ｙ）は、以下のように計算されるべきである。
【数22】
ここで、ΔｘおよびΔｙは、１つのサンプル位置からサンプルが属するサブブロックの中心までの１／４－ｐｅｌ精度で表される水平および垂直オフセットであり、ｃ，ｄ，ｅ，ｆは、１／１６－ｐｅｌアフィン制御点ＭＶに基づいて導出されるアフィンパラメータである。最後に、サンプルの最終的なＰＲＯＦリファインメントは、以下のように計算される。
【数23】
【0082】
本開示のいくつかの実施形態では、別のＰＲＯＦビット深度制御方法が以下のように提案される。この方法では、各サンプル位置における水平勾配および垂直勾配が隣接する予測サンプルの差分値に右シフトのｎａビットを適用することによって、（１５）のように依然として計算される。サンプル位置における対応するＰＲＯＦ ＭＶ差Δｖ（ｘ，ｙ）は、以下のように計算されるべきである。
【数24】
【0083】
さらに、ＰＲＯＦ導出全体を適切な内部ビット深度に保つために、クリッピングが、以下のように導出されたＭＶ差に適用される。
ここで、ｌｉｍｉｔは２のｎｂ乗に等しい閾値であり、ｃｌｉｐ３（ｍｉｎ、ｍａｘ、ｘ）は、［ｍｉｎ、ｍａｘ］の範囲内の所与の値ｘをクリッピングする関数である。一例では、ｎｂの値は、２ｍａｘ（５，ｂｉｔ－ｄｅｐｔｈ－７）であるように設定される。最後に、サンプルのＰＲＯＦリファインメントは、以下のように計算される。
【数25】
ここで、ｌｉｍｉｔは２のｎｂ乗に等しい閾値であり、ｃｌｉｐ３（ｍｉｎ、ｍａｘ、ｘ）は、［ｍｉｎ、ｍａｘ］の範囲内の所与の値ｘをクリッピングする関数である。一例では、ｎｂの値は、２ｍａｘ（５，ｂｉｔ－ｄｅｐｔｈ－７）であるように設定される。最後に、サンプルのＰＲＯＦリファインメントは、以下のように計算される。
【数26】
【0084】
さらに、本開示の１つまたは複数の実施形態では、１つのＰＲＯＦビット深度制御ソリューションが提案される。この方法では、各サンプル位置（ｉ、ｊ）での水平および垂直ＰＲＯＦ動きリファインメントは以下のように導出される。
【数27】
【0085】
さらに、導出された水平および垂直の動きリファインメントは、以下のようにクリッピングされる。
【数28】
【0086】
ここで、上記で導出されたような動きリファインメントが与えられると、位置（ｉ、ｊ）における最終的なＰＲＯＦサンプルリファインメントは、以下のように計算される。
【数29】
【0087】
別の実施形態では、別のＰＲＯＦビット深度制御ソリューションが提案される。第２方法ではサンプル位置（ｉ、ｊ）における水平および垂直ＰＲＯＦ動きリファインメントは以下のように導出される。
【数30】
【0088】
次に、導出された動きリファインメントは、次のようにクリッピングされる。
【数31】
【0089】
したがって、上記で導出されたような動きリファインメントが与えられると、位置（ｉ、ｊ）における最終的なＰＲＯＦサンプルリファインメントは、以下のように計算される。
【数32】
【0090】
本開示の１つまたは複数の実施形態では、解の動きリファインメント精度制御方法と、第２解のＰＲＯＦサンプルリファインメント導出方法とを組み合わせることが提案される。具体的にはこの方法により、各サンプル位置（ｉ、ｊ）における水平及び垂直ＰＲＯＦ動きリファインメントは以下のように導出される。
【数33】
【0091】
さらに、導出された水平および垂直動きリファインメントは、以下のようにクリッピングされる。
【数34】
【0092】
最後に、上記で導出されたような動きリファインメントが与えられると、位置（ｉ、ｊ）における最終的なＰＲＯＦサンプルのリファインメントは、以下のように計算される。
【数35】
【0093】
バイ予測のためＰＲＯＦおよびＢＤＯＦの調和ワークフロー
先に論じたように、１つのアフィン符号化ブロックがバイ予測される場合、現在のＰＲＯＦは一方向に適用される。より具体的には、ＰＲＯＦサンプルリファインメントが別々に導出され、リストＬ０およびＬ１内の予測サンプルに適用される。その後、リストＬ０およびＬ１からそれぞれリファインされた予測信号が平均化され、ブロックの最終バイ予測信号が生成される。これは、サンプルリファインメントが導出され、バイ予測信号に適用されるＢＤＯＦ設計とは対照的である。ＢＤＯＦおよびＰＲＯＦのバイ予測ワークフロー間のこのような差は、実際のコーデックパイプライン設計には不都合である可能性がある。
先に論じたように、１つのアフィン符号化ブロックがバイ予測される場合、現在のＰＲＯＦは一方向に適用される。より具体的には、ＰＲＯＦサンプルリファインメントが別々に導出され、リストＬ０およびＬ１内の予測サンプルに適用される。その後、リストＬ０およびＬ１からそれぞれリファインされた予測信号が平均化され、ブロックの最終バイ予測信号が生成される。これは、サンプルリファインメントが導出され、バイ予測信号に適用されるＢＤＯＦ設計とは対照的である。ＢＤＯＦおよびＰＲＯＦのバイ予測ワークフロー間のこのような差は、実際のコーデックパイプライン設計には不都合である可能性がある。
【0094】
ハードウェアパイプライン設計を容易にするために、本開示による１つの単純化方法は２つの予測リファインメント方法のワークフローが調和されるように、ＰＲＯＦのバイ予測プロセスを修正することである。具体的には、各予測方向に対するリファインメントを
別々に適用する代わりに、提案したＰＲＯＦ法はリストＬ０およびＬ１の制御点ＭＶに基づいて、予測リファインメントを一旦導出する。次に、品質を強化するために、導出した予測リファインメントを、組み合わせられたＬ０およびＬ１予測信号に適用する。具体的には、式（１４）で導出したＭＶ差に基づいて、１つのアフィン符号化ブロックの最終バイ予測サンプルを、以下のように提案した方法によって計算する。
ｓｈｉｆｔおよびοｏｆｆｓｅｔは、（１５－ｂｉｔ－ｄｅｐｔｈ）および１＜＜（１４－ｂｉｔ－ｄｅｐｔｈ）＋（２＜＜１３）に等しい、バイ予測のためにＬ０およびＬ１予測信号を組み合わせるために適用される、右シフト値及びオフセット値である。さらに、（１８）に示すように、（（９）に示すような）既存のＰＲＯＦ設計におけるクリッピング動作は、提案した方法で除去される。
別々に適用する代わりに、提案したＰＲＯＦ法はリストＬ０およびＬ１の制御点ＭＶに基づいて、予測リファインメントを一旦導出する。次に、品質を強化するために、導出した予測リファインメントを、組み合わせられたＬ０およびＬ１予測信号に適用する。具体的には、式（１４）で導出したＭＶ差に基づいて、１つのアフィン符号化ブロックの最終バイ予測サンプルを、以下のように提案した方法によって計算する。
【数36】
ｓｈｉｆｔおよびοｏｆｆｓｅｔは、（１５－ｂｉｔ－ｄｅｐｔｈ）および１＜＜（１４－ｂｉｔ－ｄｅｐｔｈ）＋（２＜＜１３）に等しい、バイ予測のためにＬ０およびＬ１予測信号を組み合わせるために適用される、右シフト値及びオフセット値である。さらに、（１８）に示すように、（（９）に示すような）既存のＰＲＯＦ設計におけるクリッピング動作は、提案した方法で除去される。
【0095】
図１２は、提案されたバイ予測ＰＲＯＦ法が適用された場合の対応するＰＲＯＦプロセスを示す。ＰＲＯＦプロセス１２００は、Ｌ０動き補償１２１０、Ｌ１動き補償１２２０、およびバイ予測ＰＲＯＦ１２３０を含む。例えば、Ｌ０動き補償１２１０は、前の参照ピクチャからの動き補償サンプルのリストであり得る。前の参照ピクチャは、ビデオブロック内の現在のピクチャから前の参照ピクチャである。Ｌ１動き補償１２２０は例えば、次の参照ピクチャからの動き補償サンプルのリストとすることができる。次の参照ピクチャは、ビデオブロック内の現在のピクチャの後の参照ピクチャである。バイ予測ＰＲＯＦ１２３０は上述のように、Ｌ１動き補償１２１０およびＬ１動き補償１２２０から動き補償サンプルを取り込み、バイ予測サンプルを出力する。
【0096】
ハードウェアパイプライン設計のための提案した方法の潜在的な利益を実証するために、図１３は、ＢＤＯＦと提案したＰＲＯＦの両方が適用されるときのパイプラインステージを図示するための１つの例を示す。図１３において、１つのインターブロックの復号化処理は、主に３つのステップを含む。
第１に、符号化ブロックのＭＶを構文解析／復号化し、参照サンプルをフェッチする。
第２に、符号化ブロックのＬ０および／またはＬ１予測信号を生成する。
第３に、符号化ブロックが１つの非アフィンモードによって予測される場合にはＢＤＯＦに基づいて、生成されたバイ予測サンプルのサンプルワイズリファインメントを実行し、符号化ブロックがアフィンモードによって予測される場合にはＰＲＯＦを実行する。
第１に、符号化ブロックのＭＶを構文解析／復号化し、参照サンプルをフェッチする。
第２に、符号化ブロックのＬ０および／またはＬ１予測信号を生成する。
第３に、符号化ブロックが１つの非アフィンモードによって予測される場合にはＢＤＯＦに基づいて、生成されたバイ予測サンプルのサンプルワイズリファインメントを実行し、符号化ブロックがアフィンモードによって予測される場合にはＰＲＯＦを実行する。
【0097】
図１３は、本開示による、ＢＤＯＦおよび提案されたＰＲＯＦの両方が適用される場合のパイプラインステージの例を示す。図１３は、ハードウェアパイプライン設計のための提案された方法の潜在的な利点を示す。パイプラインステージ１３００は、構文解析／復号化ＭＶおよびフェッチ参照サンプル１３１０、動き補償１３２０、ＢＤＯＦ／ＰＲＯＦ１３３０を含む。パイプラインステージ１３００は、ビデオブロックＢＬＫ０、ＢＫＬ１、ＢＫＬ２、ＢＫＬ３、およびＢＬＫ４を符号化する。各ビデオブロックはＭＶの構文解析／復号化を開始し、参照サンプル１３１０をフェッチし、動き補償１３２０に移動し、次に、動き補償１３２０、ＢＤＯＦ／ＰＲＯＦ１３３０に順次移動する。このＢＬＫ０の手段は、ＢＬＫ０が動き補正１３２０に移動するまで、パイプラインステージ１３００の処理を開始しない。時間がＴ０からＴ１、Ｔ２、Ｔ３、およびＴ４になるにつれて、すべてのステージおよびビデオブロックについて同じである。
【0098】
図１３において、１つのインターブロックの復号化処理は、主に３つのステップを含む。
第１に、符号化ブロックのＭＶを構文解析／復号化し、参照サンプルをフェッチする。
第２に、符号化ブロックのＬ０および／またはＬ１予測信号を生成する。
第３に、符号化ブロックが１つの非アフィンモードによって予測される場合にはＢＤＯＦに基づいて、生成されたバイ予測サンプルのサンプルワイズリファインメントを実行し、符号化ブロックがアフィンモードによって予測される場合にはＰＲＯＦを実行する。
第１に、符号化ブロックのＭＶを構文解析／復号化し、参照サンプルをフェッチする。
第２に、符号化ブロックのＬ０および／またはＬ１予測信号を生成する。
第３に、符号化ブロックが１つの非アフィンモードによって予測される場合にはＢＤＯＦに基づいて、生成されたバイ予測サンプルのサンプルワイズリファインメントを実行し、符号化ブロックがアフィンモードによって予測される場合にはＰＲＯＦを実行する。
【0099】
図１３に示すように、提案された調和方法が適用された後、ＢＤＯＦおよびＰＲＯＦの両方がバイ予測サンプルに直接適用される。ＢＤＯＦおよびＰＲＯＦが異なるタイプの符号化ブロックに適用される（すなわち、ＢＤＯＦが非アフィンブロックに適用され、ＰＲＯＦがアフィンブロックに適用される）と仮定すると、２つの符号化ツールを同時に呼び出すことはできない。したがって、それらの対応する復号化処理は、同じパイプラインステージを共有することによって行うことができる。これは既存のＰＲＯＦ設計よりも効率的であり、ＢＤＯＦおよびＰＲＯＦの両方に同じパイプラインステージを割り当てることはバイ予測の異なるワークフローのために困難である。
【0100】
上記では、提案手法はＢＤＯＦおよびＰＲＯＦのワークフローの調和のみを考慮しているが、既存の設計では２つの符号化ツールの基本的な操作単位も異なるサイズで行われている。たとえば、ＢＤＯＦの場合、１つの符号化ブロックは、サイズがＷｓ×Ｈｓの複数のサブブロックに分割される。ここで、Ｗｓ＝ｍｉｎ（Ｗ、１６）およびＨｓ＝ｍｉｎ（Ｈ、１６）である。ここで、ＷおよびＨは符号化ブロックの幅および高さである。勾配計算及びサンプルリファインメント導出のようなＢＯＤＦ演算は、各サブブロックに対して独立して実行される。一方、前述したように、アフィン符号化ブロックは４×４のサブブロックに分割され、各サブブロックには、４パラメータまたは６パラメータアフィンモデルのいずれかに基づいて導出された１つの個々のＭＶが割り当てられる。ＰＲＯＦはアフィンブロックにのみ適用されるため、その基本演算ユニットは４×４サブブロックである。バイ予測ワークフロー問題と同様に、ＢＤＯＦからのＰＲＯＦのための異なる基本演算ユニットサイズを使用することも、ハードウェア実装にとって不都合であり、ＢＤＯＦおよびＰＲＯＦが復号化プロセス全体の同じパイプラインステージを共有することを困難にする。このような問題を解決するために、１つ以上の実施形態では、アフィンモードのサブブロックサイズをＢＤＯＦのサブブロックサイズと同じにすることが提案される。
【0101】
提案手法によれば、１つの符号化ブロックがアフィンモードによって符号化されると、それはＷｓ×Ｈｓのサイズをもつサブブロックに分割される。ここで、Ｗｓ＝ｍｉｎ（Ｗ，１６）およびＨｓ＝ｍｉｎ（Ｈ，１６）である。ここで、ＷおよびＨは符号化ブロックの幅および高さである。各サブブロックは、１つの個別のＭＶを割り当てられ、１つの独立したＰＲＯＦ演算ユニットと見なされる。独立したＰＲＯＦ演算ユニットは、その上のＰＲＯＦ演算が隣接するＰＲＯＦ演算ユニットからの情報を参照することなく実行されることを保証することに言及する価値がある。具体的には１つのサンプル位置におけるＰＲＯＦ ＭＶ差がサンプル位置におけるＭＶと、サンプルが位置するＰＲＯＦ演算ユニットの中心におけるＭＶとの間の差として計算され、ＰＲＯＦ導出によって使用される勾配は各ＰＲＯＦ演算ユニットに沿ってサンプルをパディングすることによって計算される。提案された方法の主張される利点は主に、以下の態様を含む：１）動き補償およびＢＤＯＦ／ＰＲＯＦ改良の両方のための統一された基本演算ユニットサイズを有する簡略化されたパイプラインアーキテクチャ；２）アフィン動き補償のための拡大されたサブブロックサイズによるメモリ帯域幅使用の低減；３）分数サンプル補間のサンプル当たりの計算複雑さの低減。
【0102】
提案した方法による計算量の削減（すなわち項目３））のために、アフィン符号化ブロ
ックに対する既存の６タップ補間フィルタ制約を除去できることに言及すべきである。代わりに、非アフィン符号化ブロックのためのデフォルトの８タップ補間は、アフィン符号化ブロックのためにも使用される。この場合の全体的な計算量は、既存のＰＲＯＦ設計（６タップ補間フィルタによる４ｘ４サブブロックに基づく）と引き続き良好に比較できる。
ックに対する既存の６タップ補間フィルタ制約を除去できることに言及すべきである。代わりに、非アフィン符号化ブロックのためのデフォルトの８タップ補間は、アフィン符号化ブロックのためにも使用される。この場合の全体的な計算量は、既存のＰＲＯＦ設計（６タップ補間フィルタによる４ｘ４サブブロックに基づく）と引き続き良好に比較できる。
【0103】
ＢＤＯＦおよびＰＲＯＦの勾配導出の調和
前述のように、ＢＤＯＦおよびＰＲＯＦの両方は、ブロックの各サイドの予測サンプルの１つの追加の行／列にアクセスする、現在の符号化ブロック内の各サンプルの勾配を計算する。追加の補間の複雑さを回避するために、ブロック境界の周りの拡張領域における必要な予測サンプルは、整数参照サンプルから直接コピーされる。しかし、「問題記述」の項で指摘したように、異なる位置の整数サンプルを使用して、ＢＤＯＦおよびＰＲＯＦの勾配値を計算する。
前述のように、ＢＤＯＦおよびＰＲＯＦの両方は、ブロックの各サイドの予測サンプルの１つの追加の行／列にアクセスする、現在の符号化ブロック内の各サンプルの勾配を計算する。追加の補間の複雑さを回避するために、ブロック境界の周りの拡張領域における必要な予測サンプルは、整数参照サンプルから直接コピーされる。しかし、「問題記述」の項で指摘したように、異なる位置の整数サンプルを使用して、ＢＤＯＦおよびＰＲＯＦの勾配値を計算する。
【0104】
もう１つの一様設計を達成するために、ＢＤＯＦおよびＰＲＯＦが用いる勾配導出法を統一するために、次の二つの方法を提案した。第一方法では、ＢＤＯＦと同じになるようにＰＲＯＦの勾配導出法を揃えることを提案する。具体的には、第１方法によって、拡張領域内の予測サンプルを生成するために使用される整数位置は分数サンプル位置をフロアダウンすることによって決定され、すなわち、選択された整数サンプル位置は分数サンプル位置（水平勾配の場合）の左に、かつ分数サンプル位置（垂直勾配の場合）の上に配置される。第２方法ではＢＤＯＦの勾配導出方法をＰＲＯＦと同じにすることが提案されており、より詳細には第２方法を適用する場合、予測サンプルに最も近い整数参照サンプルが勾配計算に使用される。
【0105】
図１４は、本開示による、ＢＤＯＦの勾配導出方法を使用する例を示す。図１４において、白円は整数位置における参照サンプルを表し、三角は現在のブロックの分数予測サンプルを表し、黒円は現在のブロックの拡張領域を満たすために使用される整数参照サンプルを表す。
【0106】
図１５は、本開示による、ＰＲＯＦの勾配導出方法を使用する例を示す。図１５において、白円は整数位置における参照サンプルを表し、三角は現在のブロックの分数予測サンプルを表し、黒円は現在のブロックの拡張領域を満たすために使用される整数参照サンプルを表す。
【0107】
図１４および図１５は第１方法（図１４）および第２方法（図１５）がそれぞれ適用される場合に、ＢＤＯＦおよびＰＲＯＦの勾配の導出に使用される対応する整数サンプル位置を示す。図１４および図１５において、白円は整数位置における参照サンプルを表し、三角は現在のブロックの分数予測サンプルを表し、パターン化された円は勾配導出のために現在のブロックの拡張領域を満たすために使用される整数参照サンプルを表す。
【0108】
さらに、既存のＢＤＯＦおよびＰＲＯＦ設計によれば、予測サンプルパッドは、異なる符号化レベルで行われる。具体的にはＢＤＯＦの場合、パディングは各ｓｂＷｉｄｔｈ ｘ ｓｂＨｅｉｇｈｔサブブロックの境界に沿って適用され、ここで、ｓｂＷｉｄｔｈ ＝ ｍｉｎ（ＣＵＷｉｄｔｈ，１６）およびｓｂＨｅｉｇｈｔ ＝ ｍｉｎ（ＣＵＨｅｉｇｈｔ，１６）である。ＣＵＷｉｄｔｈおよびＣＵＨｅｉｇｈｔは、１ＣＵの幅および高さである。一方、ＰＲＯＦのパディングは、常に４×４サブブロックレベルで適用される。上記の説明では、パディング方法のみがＢＤＯＦとＰＲＯＦとの間で統一され、パディングサブブロックサイズは依然として異なる。これはまた、ＢＤＯＦおよびＰＲＯＦのパディングプロセスのために異なるモジュールが実装される必要があることを考慮すると、実際のハードウェア実装にはフレンドリーではない。もう１つの統一設計を達成するため
に、ＢＤＯＦおよびＰＲＯＦのサブブロックパディングサイズを統一することが提案される。本開示の１つまたは複数の実施形態では、４×４レベルでＢＤＯＦの予測サンプルパディングを適用することが提案される。具体的にはこの方法によって、ＣＵはまず、複数の４×４サブブロックに分割され、各４×４サブブロックの動き補償の後、上／下および左／右境界に沿った拡張サンプルは対応する整数サンプル位置をコピーすることによってパディングされる。図１８Ａ、１８Ｂ、１８Ｃ、および１８Ｄは提案されたパディング方法が１つの１６ｘ１６ＢＤＯＦ ＣＵに適用される１つの例を示し、ここで、破線は４ｘ４サブブロック境界を表し、黒帯は各４ｘ４サブブロックのパディングされたサンプルを表す。
に、ＢＤＯＦおよびＰＲＯＦのサブブロックパディングサイズを統一することが提案される。本開示の１つまたは複数の実施形態では、４×４レベルでＢＤＯＦの予測サンプルパディングを適用することが提案される。具体的にはこの方法によって、ＣＵはまず、複数の４×４サブブロックに分割され、各４×４サブブロックの動き補償の後、上／下および左／右境界に沿った拡張サンプルは対応する整数サンプル位置をコピーすることによってパディングされる。図１８Ａ、１８Ｂ、１８Ｃ、および１８Ｄは提案されたパディング方法が１つの１６ｘ１６ＢＤＯＦ ＣＵに適用される１つの例を示し、ここで、破線は４ｘ４サブブロック境界を表し、黒帯は各４ｘ４サブブロックのパディングされたサンプルを表す。
【0109】
図１８Ａは本開示による、１６×１６のＢＤＯＦ ＣＵに適用される提案されたパディング方法を示し、ここで、破線は、左上４×４サブブロック境界１８２０を表す。
【0110】
図１８Ｂは１６×１６のＢＤＯＦ ＣＵに適用される提案されたパディング方法を示し、ここで、破線は、本開示による、右上４×４サブブロック境界１８４０を表す。
【0111】
図１８Ｃは本開示による、１６×１６ ＢＤＯＦ ＣＵに適用される提案されたパディング方法を示し、破線は、左下４×４サブブロック境界１８６０を示す。
【0112】
図１８Ｄは本開示による、１６×１６のＢＤＯＦ ＣＵに適用される提案されたパディング方法を示し、破線は、右下４×４サブブロック境界１８８０を示す。
【0113】
ＢＤＯＦ、ＰＲＯＦ、ＤＭＶＲを有効／無効にするためのハイレベルシグナリング構文
既存のＢＤＯＦおよびＰＲＯＦ設計では、２つの異なるフラグがシーケンスパラメータセット（ＳＰＳ）においてシグナリングされ、２つの符号化ツールの有効／無効を別々に制御する。しかしながら、ＢＤＯＦとＰＲＯＦとの間の類似性のために、１つの同じ制御フラグによってＢＤＯＦおよびＰＲＯＦをハイレベルから有効および／または無効にすることがより望ましい。このような考察に基づき、表１に示すように、ＳＰＳではＳＰＳ＿ｂｄｏｆ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇと呼ばれる１つの新しいフラグが導入されている。表１に示すように、ＢＤＯＦの有効化と無効化はｓｐｓ＿ＢＤＯＦ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇにのみ依存する。フラグが１に等しいとき、ＢＤＯＦは、シーケンス内のビデオコンテンツを符号化するために有効になる。それ以外の場合、ｓｐｓ＿ＢＤＯＦ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいとき、ＢＤＯＦは適用されない。一方、ＳＰＳ＿ｂｄｏｆ＿ＰＲＯＦ＿ｅｎａｂｌｅｄ＿ｆｌａｇに加えて、ＳＰＳレベルのアフィン制御フラグ、すなわちＳＰＳ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇも条件付きでＰＲＯＦを有効化および無効化するために使用される。ＳＰＳ＿ｂｄｏｆ＿ＰＲＯＦ＿ｅｎａｂｌｅｄ＿ｆｌａｇとＳＰＳ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇの両方が１に等しい場合、ＰＲＯＦはアフィンモードで符号化されるすべての符号化ブロックに対して有効化される。フラグｓｐｓ＿ｂｄｏｆ＿ＰＲＯＦ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しく、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、ＰＲＯＦは無効になる。
表１ 提案されているＢＤＯＦ／ＰＲＯＦ有効化／無効化フラグによるＳＰＳ構文テーブルの変更
既存のＢＤＯＦおよびＰＲＯＦ設計では、２つの異なるフラグがシーケンスパラメータセット（ＳＰＳ）においてシグナリングされ、２つの符号化ツールの有効／無効を別々に制御する。しかしながら、ＢＤＯＦとＰＲＯＦとの間の類似性のために、１つの同じ制御フラグによってＢＤＯＦおよびＰＲＯＦをハイレベルから有効および／または無効にすることがより望ましい。このような考察に基づき、表１に示すように、ＳＰＳではＳＰＳ＿ｂｄｏｆ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇと呼ばれる１つの新しいフラグが導入されている。表１に示すように、ＢＤＯＦの有効化と無効化はｓｐｓ＿ＢＤＯＦ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇにのみ依存する。フラグが１に等しいとき、ＢＤＯＦは、シーケンス内のビデオコンテンツを符号化するために有効になる。それ以外の場合、ｓｐｓ＿ＢＤＯＦ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいとき、ＢＤＯＦは適用されない。一方、ＳＰＳ＿ｂｄｏｆ＿ＰＲＯＦ＿ｅｎａｂｌｅｄ＿ｆｌａｇに加えて、ＳＰＳレベルのアフィン制御フラグ、すなわちＳＰＳ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇも条件付きでＰＲＯＦを有効化および無効化するために使用される。ＳＰＳ＿ｂｄｏｆ＿ＰＲＯＦ＿ｅｎａｂｌｅｄ＿ｆｌａｇとＳＰＳ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇの両方が１に等しい場合、ＰＲＯＦはアフィンモードで符号化されるすべての符号化ブロックに対して有効化される。フラグｓｐｓ＿ｂｄｏｆ＿ＰＲＯＦ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しく、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、ＰＲＯＦは無効になる。
【表1】
【表2】
表１ 提案されているＢＤＯＦ／ＰＲＯＦ有効化／無効化フラグによるＳＰＳ構文テーブルの変更
【0114】
ｓｐｓ＿ｂｄｏｆ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、オプティカルフローによる双方向オプティカルフローおよび予測リファインメントを有効にするかどうかを指定する。ｓｐｓ＿ｂｄｏｆ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、オプティカルフローによる双方向オプティカルフローおよび予測リファインメントの両方が無効化される。ｓｐｓ＿ｂｄｏｆ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しく、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、オプティカルフローによる双方向オプティカルフローと予測リファインメントの両方が有効になる。それ以外の場合（ｓｐｓ＿ｂｄｏｆ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しく、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合）、双方向オプティカルフローが有効になり、オプティカルフローによる予測リファインメントが無効になる。
【0115】
ｓｐｓ＿ｂｄｏｆ＿ｐｒｏｆ＿ｄｍｖｒ＿ｓｌｉｃｅ＿ｐｒｅｓｅｔ＿ｆｌａｇは、フラグｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ｂｄｏｆ＿ｐｒｏｆ＿ｄｍｖｒ＿ｆｌａｇがいつスライスレベルで信号送信されるかを指定する。フラグが１に等しい場合、現在のシーケンスパラメータセットを参照するスライスごとに構文ｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ｂｄｏｆ＿ｐｒｏｆ＿ｄｍｖｒ＿ｆｌａｇがシグナリングされる。それ以外の場合（ｓｐｓ＿ｂｄ
ｏｆ＿ｐｒｏｆ＿ｄｍｖｒ＿ｓｌｉｃｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０の場合）、構文ｓｌｉｃｅ＿ｄｉｓａｂｌｅｄ＿ｂｄｏｆ＿ｐｒｏｆ＿ｄｍｖｒ＿ｆｌａｇはスライスレベルでシグナリングされない。フラグがシグナリングされない場合、０であると推測される。
ｏｆ＿ｐｒｏｆ＿ｄｍｖｒ＿ｓｌｉｃｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０の場合）、構文ｓｌｉｃｅ＿ｄｉｓａｂｌｅｄ＿ｂｄｏｆ＿ｐｒｏｆ＿ｄｍｖｒ＿ｆｌａｇはスライスレベルでシグナリングされない。フラグがシグナリングされない場合、０であると推測される。
【0116】
さらに、提案されたＳＰＳレベルＢＤＯＦおよびＰＲＯＦ制御フラグが使用される場合、一般的な制約情報構文の対応する制御フラグｎｏ＿ＢＤＯＦ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇも以下によって変更する必要がある。
【表3】
【表4】
【0117】
１に等しいｎｏ＿ｂｄｏｆ＿ｐｒｏｆ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、ｓｐｓ＿ｂｄｏｆ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいことを指定する。０に等しいｎｏ＿ｂｄｏｆ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは制約を課さない。
【0118】
上記のＳＰＳ ＢＤＯＦ／ＰＲＯＦ構文に加えて、スライスレベルで別の制御フラグを導入することが提案されている。すなわち、ＢＤＯＦ、ＰＲＯＦ、ＤＭＶＲを無効にするためにｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ＢＤＯＦ＿ＰＲＯＦ＿ＤＭＶＲ＿ｆｌａｇが導入されている。ＳＰＳフラグＳＰＳ＿ｂｄｏｆ＿ｐｒｏｆ＿ＤＭＶＲ＿ｓｌｉｃｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＤＭＶＲまたはＢＤＯＦ／ＰＲＯＦ ＳＰＳレベル制御フラグのいずれかが真の場合にＳＰＳでシグナリングされ、ｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ｂｄｏｆ＿ｐｒｏｆ＿ＤＭＶＲ＿ｆｌａｇの存在を示すために使用される。存在する場合、ｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ｂｄｏｆ＿ｄｍｖｒ＿ｆｌａｇがシグナリングされる。表２は、提案された構文が適用された後の修正されたスライスヘッダ構文テーブルを示す。別の実施形態ではスライスヘッダで２つの制御フラグを使用して、ＢＤＯＦおよびＤＭＶＲの有効化／無効化およびＰＲＯＦの有効化／無効化を個別に制御することが提案され、具体的にはこの方法によるスライスヘッダで２つのフラグが使用される。具体的には１つのフラグはｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ＢＤＯＦ＿ＤＭＶＲ＿ｓｌｉｃｅ＿ｆｌａｇを使用してＢＤＯＦのオン／オフを制御し、もう１つのフラグｄｉｓａｂｌｅ＿ＰＲＯＦ＿ｓｌｉｃｅ＿ｆｌａｇを使用してＰＲＯＦのオン／オフを単独で制御する。
表２ 提案されている ＢＤＯＦ／ＰＲＯＦ有効化／無効化フラグを使用したＳＰＳ構文テーブルの変更
【表5】
表２ 提案されている ＢＤＯＦ／ＰＲＯＦ有効化／無効化フラグを使用したＳＰＳ構文テーブルの変更
【0119】
別の実施形態では、２つの異なるＳＰＳフラグによってＢＤＯＦおよびＰＲＯＦを別々に制御することが提案される。具体的には、２つのツールを個別に有効化／無効化するために、２つの個別のＳＰＳフラグＳＰＳ＿ｂｄｏｆ＿ｅｎａｂｌｅ＿ｆｌａｇとＳＰＳ＿ｐｒｏｆ＿ｅｎａｂｌｅフラグが導入されている。さらに、ＰＲＯＦツールを強制的に無効にするには、ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎ＿ｉｎｆｏ（）構文テーブルに１つのハイレベル制御フラグｎｏ＿ＰＲＯＦ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇを追加する必要がある。
【表6】
【表7】
【0120】
ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、双方向オプティカルフローを有効にするかどうかを指定する。ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、双方向オプティカルフローは無効になる。ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、双方向オプティカルフローが有効になる。
【0121】
ｓｐｓ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、オプティカルフローによる予測リファインメントを有効にするかどうかを指定する。ｓｐｓ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、オプティカルフローによる予測リファインメントは無効になる。ｓｐｓ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、オプティカルフローによる予測リファインメントは有効になる。
【表8】
【表9】
【0122】
１に等しいｎｏ＿ｐｒｏｆ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、ｓｐｓ＿ｐｒｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいことを指定する。０に等しいｎｏ＿ｐｒｏｆ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは制約を課さない。
【0123】
スライスレベルでは、開示の１つ以上の実施形態において、スライスレベルで別の制御フラグを導入することが提案され、すなわち、ＢＤＯＦ、ＰＲＯＦおよびＤＭＶＲを共に無効にするためにｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ＢＤＯＦ＿ＰＲＯＦ＿ＤＭＶＲ＿ｆｌａｇが導入される。別の実施形態では、スライスレベルで２つの別個のフラグ、即ちｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ｂｄｏｆ＿ｄｍｖｒ＿ｆｌａｇとｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ｐｒｏｆ＿ｆｌａｇを加えることが適切である。最初のフラグ（すなわちｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ＢＤＯＦ＿ＤＭＶＲ＿ｆｌａｇ）は１つのスライスのＢＤＯＦとＤＭＶＲのオン／オフを適応的に切り替えるために使用され、２番目のフラグ（すなわちｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ＰＲＯＦ＿ｆｌａｇ）はスライスレベルでのＰＲＯＦツールの有効化および無効化を制御するために使用される。さらに、２番目の方法が適用されると、ＳＰＳ ＢＤＯＦまたはＳＰＳ ＤＭＶＲフラグのいずれかが有効な場合にのみフラグｓｌｉｃｅ＿ｄｉｓａｂｌｅ＿ＢＤＯＦ＿ＤＭＶＲ＿ｆｌａｇを通知する必要があり、ＳＰＳ
ＰＲＯＦフラグが有効な場合にのみフラグを通知する必要がある。
ＰＲＯＦフラグが有効な場合にのみフラグを通知する必要がある。
【0124】
図１１はＢＤＯＦとＰＲＯＦの方法を示しており、例えば、デコーダに適用することができる。
【0125】
ステップ１１１０において、デコーダは、２つのＧＣＩ（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）レベル制御フラグを受信することができる。２つのＧＣＩレベル制御フラグは、エンコーダによってシグナリングされ、第１ＧＣＩレベル制御フラグおよび第２ＧＣＩレベル制御フラグを含むことができる。第１ＧＣＩレベル制御フラグは、現在のビデオシーケンスを復号化するためにＢＤＯＦが許可されているかどうかを示す。第２ＧＣＩレベル制御フラグは、ＰＲＯＦが現在のビデオシーケンスを復号化することを許可されているかどうかを示す。
【0126】
ステップ１１１２において、デコーダは、２つのＳＰＳレベル制御フラグを受信することができる。２つのＳＰＳレベル制御フラグは、ＳＰＳ内のエンコーダによってシグナリングされ、ＢＤＯＦおよびＰＲＯＦが現在のビデオブロックに対して有効化されているかどうかをシグナリングする。
【0127】
ステップ１１１４において、デコーダは第１ＳＰＳレベル制御フラグが有効化されているときに、ビデオブロックがアフィンモードで符号化されていない場合の第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいてビデオブロックの動きリファインメントを導出するために、ＢＤＯＦを適用することができる。
【0128】
ステップ１１１６において、デコーダは第２ＳＰＳレベル制御フラグが有効化されているときに、ビデオブロックがアフィンモードで符号化されている場合の第１予測サンプルＩ（０）（ｉ，ｊ）および第２予測サンプルＩ（１）（ｉ，ｊ）に基づいて、ビデオブロックの動きリファインメントを導出するために、ＰＲＯＦを適用することができる。
【0129】
ステップ１１１８において、デコーダは、動きリファインメントに基づいてビデオブロックの予測サンプルを取得することができる。
【0130】
コントロール点ＭＶ差に基づくＰＲＯＦの早期終了
現在のＰＲＯＦ設計によれば、ＰＲＯＦは、１つの符号化ブロックがアフィンモードによって予測されるときに常に呼び出される。しかしながら、式（６）および（７）に示すように、１つのアフィンブロックのサブブロックＭＶは、制御点ＭＶから導出される。したがって、制御点ＭＶ間の差が比較的小さい場合、各サンプル位置におけるＭＶは一貫しているべきである。このような場合、ＰＲＯＦを適用する利点は非常に限定され得る。従って、ＰＲＯＦの平均計算複雑性をさらに低減するために、１つの４ｘ４サブブロック内でサンプルワイズＭＶとサブブロックワイズＭＶの間の最大ＭＶ差に基づいてＰＲＯＦベースのサンプルリファインメントを適応的にスキップすることを提案する。１つの４ｘ４サブブロック内部のサンプルのＰＲＯＦ ＭＶ差の値はサブブロック中心に対して対称であるため、最大水平および垂直ＰＲＯＦ ＭＶ差は式（１０）に基づいて以下のように計算できる。
現在のＰＲＯＦ設計によれば、ＰＲＯＦは、１つの符号化ブロックがアフィンモードによって予測されるときに常に呼び出される。しかしながら、式（６）および（７）に示すように、１つのアフィンブロックのサブブロックＭＶは、制御点ＭＶから導出される。したがって、制御点ＭＶ間の差が比較的小さい場合、各サンプル位置におけるＭＶは一貫しているべきである。このような場合、ＰＲＯＦを適用する利点は非常に限定され得る。従って、ＰＲＯＦの平均計算複雑性をさらに低減するために、１つの４ｘ４サブブロック内でサンプルワイズＭＶとサブブロックワイズＭＶの間の最大ＭＶ差に基づいてＰＲＯＦベースのサンプルリファインメントを適応的にスキップすることを提案する。１つの４ｘ４サブブロック内部のサンプルのＰＲＯＦ ＭＶ差の値はサブブロック中心に対して対称であるため、最大水平および垂直ＰＲＯＦ ＭＶ差は式（１０）に基づいて以下のように計算できる。
【数37】
【0131】
本開示によれば、ＭＶ差がＰＲＯＦプロセスをスキップするのに十分小さいかどうかを判定する際に、異なるメトリックを使用することができる。
【0132】
一例では、式（１９）に基づいて、絶対最大水平ＭＶ差と絶対最大垂直ＭＶ差との和が１つの所定の閾値よりも小さい場合、ＰＲＯＦプロセスをスキップすることができる
【数38】
【0133】
別の例では、｜Δｖｘ
ｍａｘ｜および｜Δｖｙ
ｍａｘ｜の最大値が閾値以下である場合、ＰＲＯＦプロセスをスキップすることができる。
【数39】
【0134】
ＭＡＸ（ａ、ｂ）は、入力値ａとｂとの間の大きい方の値を返す関数である。
【0135】
さらに、上記の２つの例に加えて、本開示の思想は、ＭＶ差がＰＲＯＦプロセスをスキップするのに十分小さいかどうかを判定する際に他のメトリックが使用される場合にも適用可能である。上記の方法では、ＭＶ差の大きさに基づいてＰＲＯＦをスキップする。一方、ＭＶ差に加えて、ＰＲＯＦサンプルリファインメントも、１つの動き補償ブロック内の各サンプル位置における局所勾配情報に基づいて計算される。高周波数の詳細が少ない（フラットな領域など）予測ブロックでは、導出されたサンプルリファインメントの値が小さくなるように、勾配値は小さくなる傾向がある。これを考慮して、別の実施形態によれば、十分に高い周波数情報を含むブロックの予測サンプルにのみＰＲＯＦを適用することが提案される。
【0136】
ブロックに対してＰＲＯＦプロセスを呼び出す価値があるように、ブロックが十分に高い周波数の情報を含むかどうかを判定する際に、異なるメトリックを使用することができ
る。一例では、決定が予測ブロック内のサンプルの勾配の平均の大きさ（すなわち、絶対値）に基づいて行われる。平均の大きさが１つのしきい値よりも小さい場合、予測ブロックは平坦領域として分類され、ＰＲＯＦは適用されるべきではなく、そうでない場合、予測ブロックは、ＰＲＯＦが依然として適用可能である十分な高周波詳細を含むと考えられる。別の例では、予測ブロック内のサンプルの勾配の最大の大きさを使用することができる。最大の大きさが１つのしきい値より小さい場合、ＰＲＯＦはブロックについてスキップされるべきである。さらに別の例では、予測ブロックの最大サンプル値と最小サンプル値との差分Ｉｍａｘ－Ｉｍｉｎを使用して、ＰＲＯＦがブロックに適用されるかどうかを決定することができる。このような差分値がしきい値より小さい場合、ＰＲＯＦはブロックについてスキップされる。本開示の思想は所与のブロックが十分な高周波数情報を含むか否かを判定する際に、いくつかの他のメトリックが使用される場合にも適用可能であることに留意されたい。
る。一例では、決定が予測ブロック内のサンプルの勾配の平均の大きさ（すなわち、絶対値）に基づいて行われる。平均の大きさが１つのしきい値よりも小さい場合、予測ブロックは平坦領域として分類され、ＰＲＯＦは適用されるべきではなく、そうでない場合、予測ブロックは、ＰＲＯＦが依然として適用可能である十分な高周波詳細を含むと考えられる。別の例では、予測ブロック内のサンプルの勾配の最大の大きさを使用することができる。最大の大きさが１つのしきい値より小さい場合、ＰＲＯＦはブロックについてスキップされるべきである。さらに別の例では、予測ブロックの最大サンプル値と最小サンプル値との差分Ｉｍａｘ－Ｉｍｉｎを使用して、ＰＲＯＦがブロックに適用されるかどうかを決定することができる。このような差分値がしきい値より小さい場合、ＰＲＯＦはブロックについてスキップされる。本開示の思想は所与のブロックが十分な高周波数情報を含むか否かを判定する際に、いくつかの他のメトリックが使用される場合にも適用可能であることに留意されたい。
【0137】
ＰＲＯＦとＬＩＣ間のインタラクションのアフィンモードによる処理
現在のブロックの隣接する再構成されたサンプル（すなわち、テンプレート）は線形モデルパラメータを導出するためにＬＩＣによって使用されるので、１つのＬＩＣ符号化ブロックの復号化はその隣接するサンプルの完全な再構成に依存する。このような相互依存性のために、実際のハードウェア実装では、ＬＩＣが隣接する再構成サンプルがＬＩＣパラメータ導出のために利用可能になる再構成段階で実行される必要がある。ブロック再構成は連続的に（すなわち、１つずつ）実行されなければならないので、スループット（すなわち、単位時間当たりに並列に実行され得る作業量）は、ＬＩＣ符号化ブロックに他の符号化方法を結合して適用するときに考慮すべき１つの重要な問題である。この項では、ＰＲＯＦとＬＩＣの両方がアフィンモードに対して有効である場合のインタラクションを扱うために、二つの方法を提案した。
現在のブロックの隣接する再構成されたサンプル（すなわち、テンプレート）は線形モデルパラメータを導出するためにＬＩＣによって使用されるので、１つのＬＩＣ符号化ブロックの復号化はその隣接するサンプルの完全な再構成に依存する。このような相互依存性のために、実際のハードウェア実装では、ＬＩＣが隣接する再構成サンプルがＬＩＣパラメータ導出のために利用可能になる再構成段階で実行される必要がある。ブロック再構成は連続的に（すなわち、１つずつ）実行されなければならないので、スループット（すなわち、単位時間当たりに並列に実行され得る作業量）は、ＬＩＣ符号化ブロックに他の符号化方法を結合して適用するときに考慮すべき１つの重要な問題である。この項では、ＰＲＯＦとＬＩＣの両方がアフィンモードに対して有効である場合のインタラクションを扱うために、二つの方法を提案した。
【0138】
本開示の第１実施形態では、１つのアフィン符号化ブロックに対して、ＰＲＯＦモードとＬＩＣモードとを排他的に適用することが提案される。前述のように、既存の設計では、ＰＲＯＦがシグナリングなしにすべてのアフィンブロックに暗黙的に適用され、一方、１つのＬＩＣフラグはＬＩＣモードが１つのアフィンブロックに適用されるか否かを示すために、符号化ブロックレベルでシグナリングまたは継承される。本発明の方法によれば、１つのアフィンブロックのＬＩＣフラグの値に基づいてＰＲＯＦを条件付きで適用することが提案される。フラグが１に等しい場合、ＬＩＣ重みおよびオフセットに基づいて符号化ブロック全体の予測サンプルを調整することによって、ＬＩＣのみが適用される。そうでない場合（すなわち、ＬＩＣフラグが０に等しい場合）、ＰＲＯＦは、アフィン符号化ブロックに適用され、オプティカルフローモデルに基づいてそれぞれのサブブロックの予測サンプルをリファインする。
【0139】
図１７Ａは、ＰＲＯＦおよびＬＩＣが同時に適用されることを禁止されている、提案された方法に基づく復号化プロセスの１つの例示的なフローチャートを示す。
【0140】
図１７Ａは本開示による、ＰＲＯＦおよびＬＩＣが許可されない、提案された方法に基づく復号化プロセスの例示を示す。復号化プロセス１７２０は、ＬＩＣフラグがオンか（１７２２、ＬＩＣ１７２４、およびＰＲＯＦ１７２６）を含む。ＬＩＣフラグがオンか？（１７２２）はＬＩＣフラグがセットされているか否かを判定し、その判定にしたがって次のステップをとるステップである。ＬＩＣ１７２４は、ＬＩＣのアプリケーションが、ＬＩＣフラグがセットされていることを示す。ＬＩＣフラグがセットされていない場合、ＰＲＯＦ１７２６はＰＲＯＦのアプリケーションである。
【0141】
本開示の第２実施形態では、１つのアフィンブロックの予測サンプルを生成するために、ＰＲＯＦの後にＬＩＣを適用することが提案される。具体的にはサブブロックベースの
アフィン動き補償が行われた後、予測サンプルはＰＲＯＦサンプルリファインメントに基づいてリファインされ、次いで、ＬＩＣはＰＲＯＦ調整された予測サンプルに（テンプレートおよびその参照サンプルから導出される）重みおよびオフセットのペアを適用することによって行われ、以下のように、ブロックの最終予測サンプルを取得する。
Ｐｒ［ｘ＋ｖ］は動きベクトルｖによって示される現在のブロックの参照ブロックであり、αおよびβはＬＩＣ重みおよびオフセットであり、Ｐ［ｘ］は最終予測ブロックであり、ΔＩ［ｘ］は、（１５）で導出されるＰＲＯＦリファインメントである。
アフィン動き補償が行われた後、予測サンプルはＰＲＯＦサンプルリファインメントに基づいてリファインされ、次いで、ＬＩＣはＰＲＯＦ調整された予測サンプルに（テンプレートおよびその参照サンプルから導出される）重みおよびオフセットのペアを適用することによって行われ、以下のように、ブロックの最終予測サンプルを取得する。
【数40】
Ｐｒ［ｘ＋ｖ］は動きベクトルｖによって示される現在のブロックの参照ブロックであり、αおよびβはＬＩＣ重みおよびオフセットであり、Ｐ［ｘ］は最終予測ブロックであり、ΔＩ［ｘ］は、（１５）で導出されるＰＲＯＦリファインメントである。
【0142】
図１７Ｂは、本開示による、ＰＲＯＦおよびＬＩＣが適用される復号化プロセスの図を示す。復号化プロセス１７６０は、アフィン動き補償１７６２、ＬＩＣパラメータ導出１７６４、ＰＲＯＦ１７６６、およびＬＩＣサンプル調整１７６８を含む。アフィン動き補償１７６２はアフィン動きを適用し、ＬＩＣパラメータ導出１７６４およびＰＲＯＦ１７６６への入力である。ＬＩＣパラメータ導出１７６４は、ＬＩＣパラメータを導出するために適用される。ＰＲＯＦ１７６６は適用されているＰＲＯＦである。ＬＩＣサンプル調整１７６８は、ＰＲＯＦと組み合わせられているＬＩＣ重みおよびオフセットパラメータである。
【0143】
図１７Ｂは、第２方法を適用した場合の復号化ワークフローの一例を示す図である。図１７Ｂに示すように、ＬＩＣはテンプレート（すなわち、隣接する再構成サンプル）を使用してＬＩＣ線形モデルを計算するので、ＬＩＣパラメータは、隣接する再構成サンプルが利用可能になるとすぐに導出することができる。これは、ＰＲＯＦリファインメントとＬＩＣパラメータ導出とを同時に実行することができることを意味する。
【0144】
ＬＩＣ重みおよびオフセット（すなわち、αおよびβ）ならびにＰＲＯＦリファインメント（すなわち、ΔＩ［ｘ］）は、一般に浮動小数点数である。フレンドリーなハードウェア実装のために、これらの浮動小数点演算は、通常、１つの整数値と、それに続く右シフト演算と、多数のビットとの乗算として実装される。現在のＬＩＣおよびＰＲＯＦ設計では、２つのツールが別々に設計されているため、２つの異なる右シフトがそれぞれＮＬＩＣビットとＮＰＲＯＦビットによって、２つのステージで適用される。
【0145】
第３実施形態によれば、ＰＲＯＦおよびＬＩＣがアフィン符号化ブロックに結合して適用される場合の符号化利得を改善するために、高精度でＬＩＣベースおよびＰＲＯＦベースのサンプル調整を適用することが提案される。これは、それらの２つの右シフト演算を１つに結合し、それを最後に適用して、現在のブロックの最終予測サンプルを（（１２）に示すように）導出することによって行われる。
【0146】
重み付き予測によるＰＲＯＦとＣＵレベル重み（ＢＣＷ）によるバイ予測とを組み合わせた場合の乗算オーバーフロー問題への対処
ＶＶＣワーキングドラフトにおける現行のＰＲＯＦ設計によれば、ＰＲＯＦは加重予測（ＷＰ）と結合して適用できる。具体的には、１つのアフィンＣＵの予測信号が合成されると、以下の手順で生成される。
ＶＶＣワーキングドラフトにおける現行のＰＲＯＦ設計によれば、ＰＲＯＦは加重予測（ＷＰ）と結合して適用できる。具体的には、１つのアフィンＣＵの予測信号が合成されると、以下の手順で生成される。
【0147】
第１に、位置（ｘ，ｙ）にある各サンプルについて、ＰＲＯＦに基づいてＬ０予測リファインメントΔＩ０（ｘ，ｙ）を計算し、リファインメントを元のＬ０予測サンプルＩ０（ｘ，ｙ）に加える。
Ｉ０’（ｘ，ｙ）はリファインされたサンプルであり、ｇｈ０（ｘ，ｙ）、ｇｖ０（ｘ，ｙ）、Δｖｘ０（ｘ，ｙ）、Δｖｙ０（ｘ，ｙ）は、位置（ｘ，ｙ）におけるＬ０水平／垂直勾配及びＬ０水平／垂直動きリファインメントである。
【数41】
Ｉ０’（ｘ，ｙ）はリファインされたサンプルであり、ｇｈ０（ｘ，ｙ）、ｇｖ０（ｘ，ｙ）、Δｖｘ０（ｘ，ｙ）、Δｖｙ０（ｘ，ｙ）は、位置（ｘ，ｙ）におけるＬ０水平／垂直勾配及びＬ０水平／垂直動きリファインメントである。
【0148】
第２に、位置（ｘ，ｙ）にある各サンプルについて、ＰＲＯＦに基づいてＬ１予測リファインメントΔＩ１（ｘ，ｙ）を計算し、そのリファインメントを元のＬ１予測サンプルＩ１（ｘ，ｙ）に加える。
Ｉ１’（ｘ，ｙ）はリファインされたサンプルであり、ｇｈ１（ｘ，ｙ）、ｇｖ１（ｘ，ｙ）、Δｖｘ１（ｘ，ｙ）、Δｖｙ１（ｘ，ｙ）は、位置（ｘ，ｙ）におけるＬ１水平／垂直勾配およびＬ１水平／垂直動きリファインメントである。
【数42】
Ｉ１’（ｘ，ｙ）はリファインされたサンプルであり、ｇｈ１（ｘ，ｙ）、ｇｖ１（ｘ，ｙ）、Δｖｘ１（ｘ，ｙ）、Δｖｙ１（ｘ，ｙ）は、位置（ｘ，ｙ）におけるＬ１水平／垂直勾配およびＬ１水平／垂直動きリファインメントである。
【0149】
第３に、リファインされたＬ０およびＬ１予測サンプルを結合する。
Ｗ０およびＷ１は、ＷＰおよびＢＣＷの重みであり、ｓｈｉｆｔおよびＯｆｆｓｅｔはＷＰおよびＢＣＷのバイ予測のためのＬ０およびＬ１予測信号の重み付け平均に適用されるオフセットおよび右シフトである。ここで、ＷＰのパラメータはＷ０、Ｗ１、Ｏｆｆｓｅｔを含み、ＢＣＷのパラメータはＷ０、Ｗ１、ｓｈｉｆｔを含む。
【数43】
Ｗ０およびＷ１は、ＷＰおよびＢＣＷの重みであり、ｓｈｉｆｔおよびＯｆｆｓｅｔはＷＰおよびＢＣＷのバイ予測のためのＬ０およびＬ１予測信号の重み付け平均に適用されるオフセットおよび右シフトである。ここで、ＷＰのパラメータはＷ０、Ｗ１、Ｏｆｆｓｅｔを含み、ＢＣＷのパラメータはＷ０、Ｗ１、ｓｈｉｆｔを含む。
【0150】
上記の式から分かるように、サンプルごとのリファインメント、すなわち、ΔＩ０（ｘ，ｙ）およびΔＩ１（ｘ，ｙ）により、ＰＲＯＦ（すなわち、Ｉ０’（ｘ，ｙ）およびＩ１’（ｘ，ｙ））の後の予測サンプルは、元の予測サンプル（すなわち、Ｉ０（ｘ，ｙ）およびＩ１（ｘ，ｙ））よりも１つ大きいダイナミックレンジとなる。リファインされた予測サンプルがＷＰ及びＢＣＷ重み係数で乗算されると仮定すると、これは必要とされる乗算器の長さを増加させる。例えば、現在の設計に基づいて、内部符号化ビット深度が８～１２ビットの範囲である場合、予測信号Ｉ０（ｘ，ｙ）およびＩ１（ｘ，ｙ）のダイナミックレンジは１６ビットである。しかし、ＰＲＯＦの後、予測信号Ｉ０’（ｘ，ｙ）およびＩ１’（ｘ，ｙ）のダイナミックレンジは１７ビットである。したがって、ＰＲＯＦが適用されると、１６ビット乗算オーバーフロー問題を引き起こす可能性がある。このようなオーバーフロー問題を解決するために、以下に複数の方法が提案される。
【0151】
第１に、第１方法では、ＰＲＯＦが１つのアフィンＣＵに適用されるときに、ＷＰおよびＢＣＷを無効にすることが提案される。
【0152】
第２に、第２方法では、オリジナル予測サンプルに加算する前に、導出されたサンプルリファインメントに１つのクリッピング操作を適用して、リファインされた予測サンプル
Ｉ０’（ｘ，ｙ）およびＩ１’（ｘ，ｙ）のダイナミックレンジがオリジナル予測サンプルＩ０（ｘ，ｙ）およびＩ１（ｘ，ｙ）のダイナミックビット深度と同じダイナミックビット深度を有するようにすることが提案される。具体的にはこのような方法によって、（２３）および（２４）におけるサンプルリファインメントΔＩ０（ｘ，ｙ）およびΔＩ１（ｘ，ｙ）は以下のように１つのクリッピング操作を導入することによって修正される。
ｄＩ＝ｄＩｂａｓｅ＋ｍａｘ（０，ＢＤ－１２）、ここで、ＢＤは内部コーディングビット深度、ｄＩｂａｓｅはベースビット深度の値である。１つ以上の実施形態では、ｄＩｂａｓｅの値を１４に設定することが提案される。別の実施形態では、値を１３に設定することが提案される。１つまたは複数の実施形態では、ｄＩの値を固定に直接設定することが提案される。一例ではｄＩの値を１３に設定することが提案され、すなわち、サンプルリファインメントは範囲［－４０９６，４０９５］にクリッピングされる。別の例ではｄＩの値を１４に設定することが提案され、すなわち、サンプルリファインメントは範囲［－８１９２、８１９１］にクリッピングされる。
Ｉ０’（ｘ，ｙ）およびＩ１’（ｘ，ｙ）のダイナミックレンジがオリジナル予測サンプルＩ０（ｘ，ｙ）およびＩ１（ｘ，ｙ）のダイナミックビット深度と同じダイナミックビット深度を有するようにすることが提案される。具体的にはこのような方法によって、（２３）および（２４）におけるサンプルリファインメントΔＩ０（ｘ，ｙ）およびΔＩ１（ｘ，ｙ）は以下のように１つのクリッピング操作を導入することによって修正される。
【数44】
ｄＩ＝ｄＩｂａｓｅ＋ｍａｘ（０，ＢＤ－１２）、ここで、ＢＤは内部コーディングビット深度、ｄＩｂａｓｅはベースビット深度の値である。１つ以上の実施形態では、ｄＩｂａｓｅの値を１４に設定することが提案される。別の実施形態では、値を１３に設定することが提案される。１つまたは複数の実施形態では、ｄＩの値を固定に直接設定することが提案される。一例ではｄＩの値を１３に設定することが提案され、すなわち、サンプルリファインメントは範囲［－４０９６，４０９５］にクリッピングされる。別の例ではｄＩの値を１４に設定することが提案され、すなわち、サンプルリファインメントは範囲［－８１９２、８１９１］にクリッピングされる。
【0153】
図１０はＰＲＯＦの方法を示しており、この方法は例えば、デコーダに適用することができる。
【0154】
ステップ１０１０において、デコーダは、ビデオ信号内のアフィンモードによって符号化されるビデオブロックに関連付けられた第１参照ピクチャＩ（０）および第２参照ピクチャＩ（１）を取得することができる。
【0155】
ステップ１０１２では、デコーダが第１参照ピクチャＩ（０）（ｉ，ｊ）および第２参照ピクチャＩ（１）（ｉ，ｊ）に関連付けられた第１予測サンプルＩ（０）および第２予測サンプルＩ（１）に基づいて、第１および第２水平勾配値および垂直勾配値を得ることができる。
【0156】
ステップ１０１４において、デコーダは、第１参照ピクチャＩ（０）および第２参照ピクチャＩ（１）に関連付けられたＣＰＭＶに基づいて、第１および第２水平および垂直動きリファインメントを取得することができる。
【0157】
ステップ１０１６では、デコーダが第１および第２水平および垂直勾配値、ならびに第１および第２水平および垂直動きリファインメントに基づいて、第１予測リファインメント△Ｉ（０）（ｉ，ｊ）および第２予測リファインメント△Ｉ（１）（ｉ，ｊ）を得ることができる。
【0158】
ステップ１０１８において、デコーダは、第１予測サンプルＩ（０）（ｉ，ｊ）、第２予測サンプルＩ（１）（ｉ，ｊ）、第１予測リファインメント△Ｉ（０）（ｉ，ｊ）、第２予測リファインメント△Ｉ（１）（ｉ，ｊ）、および予測パラメータに基づいて、ビデオブロックの最終予測サンプルを得ることができる。予測パラメータは、ＷＰ及びＢＣＷのための重み及びオフセットパラメータを含むことができる。
【0159】
第１に、第３方法では、リファインされたサンプルが元の予測サンプルのダイナミック
レンジと同じダイナミックレンジを有するようにサンプルリファインメントをクリッピングする代わりに、リファインされた予測サンプルを直接クリッピングすることが提案される。具体的には第３の方法によって、リファインされたＬ０およびＬ１サンプルは以下のようになる。
ｄＲ＝１６＋ｍａｘ（０，ＢＤ－１２）（または同等にｍａｘ（１６，ＢＤ＋４））であり、ＢＤは内部符号化ビット深度である。１つまたは複数の実施形態では、リファインされたＰＲＯＦ予測サンプルを１６ビットにハードクリッピングすること、すなわち、ｄＲの値を１５に設定することが提案される。別の実施形態ではＰＲＯＦのリファインされたサンプル値を、ＰＲＯＦの前方の初期予測サンプルＩ０およびＩ１の同じダイナミックレンジ［ｎａ、ｎｂ］に切り取ることが提案され、ここで、ｎａおよびｎｂは初期予測サンプルが到達することができる最小および最大の極値である。
レンジと同じダイナミックレンジを有するようにサンプルリファインメントをクリッピングする代わりに、リファインされた予測サンプルを直接クリッピングすることが提案される。具体的には第３の方法によって、リファインされたＬ０およびＬ１サンプルは以下のようになる。
【数45】
【数46】
ｄＲ＝１６＋ｍａｘ（０，ＢＤ－１２）（または同等にｍａｘ（１６，ＢＤ＋４））であり、ＢＤは内部符号化ビット深度である。１つまたは複数の実施形態では、リファインされたＰＲＯＦ予測サンプルを１６ビットにハードクリッピングすること、すなわち、ｄＲの値を１５に設定することが提案される。別の実施形態ではＰＲＯＦのリファインされたサンプル値を、ＰＲＯＦの前方の初期予測サンプルＩ０およびＩ１の同じダイナミックレンジ［ｎａ、ｎｂ］に切り取ることが提案され、ここで、ｎａおよびｎｂは初期予測サンプルが到達することができる最小および最大の極値である。
【0160】
第２に、第４方法ではＷＰおよびＢＣＷの前に、リファインされたＬ０およびＬ１予測サンプルに特定の右シフトを適用することが提案され、次いで、最終予測サンプルは追加の左シフトによって元の精度に調整される。具体的には、最終予測サンプルが以下のように導出される。
ｎｂは適用される追加のビットシフトの数であり、ＰＲＯＦサンプルリファインメントの対応するダイナミックレンジに基づいて決定されてもよい。
【数47】
ｎｂは適用される追加のビットシフトの数であり、ＰＲＯＦサンプルリファインメントの対応するダイナミックレンジに基づいて決定されてもよい。
【0161】
第３に、第５方法では、（２５）における対応するＷＰ／ＢＣＷ重みを有するＬ０／Ｌ１予測サンプルの各乗算を２つの乗算に分割することが提案され、２つの乗算の両方は以下に説明するように、１６ビットを超えない。
【数48】
【0162】
上記の方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子コンポーネントを含む１つまたは複数の回路を含む装置を使用して実装され得る。装置は上述の方法を実行するために、他のハードウェアまたはソフトウェアコンポーネントと組み合わせて回路を使用することができる。上記で開示された各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数の回路を使用して少なくとも部分的に実装され得る。
【0163】
図１９は、ユーザインターフェース１９６０に結合されたコンピューティング環境１９１０を示す。計算環境１９１０は、データ処理サーバの一部とすることができる。コンピューティング環境１９１０は、プロセッサ１９２０、メモリ１９４０、およびＩ／Ｏインターフェース１９５０を含む。
【0164】
プロセッサ１９２０は、典型的にはディスプレイ、データ取得、データ通信、および画像処理に関連する動作のような、コンピューティング環境１９１０の全体的な動作を制御する。プロセッサ１９２０は上述の方法におけるステップのすべてまたは一部を実行する命令を実行するために、１つ以上のプロセッサを含んでもよい。さらに、プロセッサ１９２０は、プロセッサ１９２０と他のコンポーネントとの間のインタラクションを容易にする１つ以上のモジュールを含んでもよい。プロセッサは、セントラルプロセッシングユニット（ＣＰＵ）、マイクロプロセッサ、シングルチップマシン、ＧＰＵなどである。
【0165】
メモリ１９４０はコンピューティング環境１９１０の動作をサポートするために、様々なタイプのデータを記憶するように構成される。メモリ１９４０は、事前決定ソフトウェア１９４２を含むことができる。そのようなデータの例は、コンピューティング環境１９１０上で動作する任意のアプリケーションまたは方法のための命令、ビデオデータセット、画像データなどを含む。メモリ１９４０は、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、任意のタイプの揮発性または不揮発性メモリ装置、またはそれらの組合せを使用することによって実装され得る。
【0166】
Ｉ／Ｏインターフェース１９５０は、プロセッサ１９２０と、キーボード、クリックホイール、ボタンなどの周辺インターフェースモジュールとの間のインターフェースを提供する。ボタンはホームボタン、スタートスキャンボタン、およびストップスキャンボタンを含むことができるが、これらに限定されない。Ｉ／Ｏインターフェース１９５０は、エンコーダおよびデコーダに結合することができる。
【0167】
いくつかの実施形態では、上述の方法を実行するために、コンピューティング環境１９１０内のプロセッサ１９２０によって実行可能な、メモリ１９４０に含まれるような複数のプログラムを含む、非一時的コンピュータ読み取り可能記録媒体も提供される。例えば、非一時的コンピュータ可読記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置等であってもよい。
【0168】
非一時的コンピュータ可読記録媒体は１つ以上のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラムを記憶しており、ここで、複数のプログラムは、１つ以上のプロセッサによって実行されると、コンピューティングデバイスに上述の動き予測方法を実行させる。
【0169】
いくつかの実施形態では、コンピューティング環境１９１０が上記の方法を実行するために、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィカルプロセッシングユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子コンポーネントを用いて実装され得る。
【0170】
本開示の説明は例示の目的で提示されており、網羅的であることも、本開示に限定されることも意図されていない。前述の説明および関連する図面に提示された教示の恩恵を受ける当業者には、多くの修正形態、変形形態、および代替実施形態が明らかになるのであろう。
【0171】
実施例は本開示の原理を説明し、他の当業者が様々な実施のための本開示を理解し、意図される特定の使用に適した様々な修正を伴う基礎となる原理および様々な実施を最良に利用することを可能にするために選択され、説明された。したがって、本開示の範囲は開示された実装の特定の例に限定されるべきではなく、修正および他の実装は本開示の範囲内に含まれることが意図されることを理解されたい。
【0172】
〔関連出願の相互参照〕
本出願は、２０１９年９月１７日に出願された仮出願第６２／９０１，７７４号および２０１９年９月２３日に出願された仮出願第６２／９０４，３３０号に基づき、それらに対する優先権を主張する。それらの全内容は、あらゆる目的のために参照によりその全体が本明細書に組み込まれる。
本出願は、２０１９年９月１７日に出願された仮出願第６２／９０１，７７４号および２０１９年９月２３日に出願された仮出願第６２／９０４，３３０号に基づき、それらに対する優先権を主張する。それらの全内容は、あらゆる目的のために参照によりその全体が本明細書に組み込まれる。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17A】
【図17B】
【図18A】
【図18B】
【図18C】
【図18D】
【図19】
