特開 2024-40349 加重予測を行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024040349

(43)【公開日】2024-03-25

(54)【発明の名称】加重予測を行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

(51)【国際特許分類】

   H04N 19/105 20140101AFI20240315BHJP

   H04N 19/136 20140101ALI20240315BHJP

   H04N 19/159 20140101ALI20240315BHJP

   H04N 19/176 20140101ALI20240315BHJP

【ＦＩ】

H04N19/105

H04N19/136

H04N19/159

H04N19/176

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2024018803

(22)【出願日】2024-02-09

(62)【分割の表示】P 2022511320の分割

【原出願日】2020-08-20

(31)【優先権主張番号】62/890,573

(32)【優先日】2019-08-22

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】パク ネ リ

(72)【発明者】

【氏名】ナム チョン ハク

(72)【発明者】

【氏名】チャン ヒョン ムン

(57)【要約】

【課題】画像符号化／復号化方法及び装置が提供される。
【解決手段】本開示による画像復号化方法は、画像復号化装置によって行われる画像復号化方法であって、現在ブロックに加重予測を行うか否かを指示する第１フラグ、及び前記現在ブロックにＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）の重みインデックス（ＢｃｗＩｄｘ）を誘導するステップと、前記第１フラグ及び前記ＢｃｗＩｄｘに基づいて前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うか、ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うかを決定するステップと、前記決定された方法を行って前記現在ブロックに対する予測ブロックを生成するステップと、を含むことができる。
【選択図】図２５

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
前記画像復号化方法は、
現在ブロックに加重予測を行うか否かを指示する第１フラグ、及び前記現在ブロックにＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）の重みインデックス（ＢｃｗＩｄｘ）を誘導するステップと、
前記第１フラグ及び前記ＢｃｗＩｄｘに基づいて前記現在ブロックに対してｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うか、ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うかを決定するステップと、
前記決定された方法を行って前記現在ブロックに対する予測ブロックを生成するステップと、を含む、画像復号化方法。

【請求項2】

前記第１フラグは、前記現在ブロックの属する現在スライスのスライスタイプに基づいて異なるように決定される、請求項１に記載の画像復号化方法。

【請求項3】

前記現在スライスのスライスタイプがＰスライスである場合、前記第１フラグは、ＰＰＳでシグナリングされるｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇの値に誘導され、
前記現在スライスのスライスタイプがＢスライスである場合、前記第１フラグは、ＰＰＳでシグナリングされるｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇの値に誘導される、請求項２に記載の画像復号化方法。

【請求項4】

前記ＢｃｗＩｄｘは、ビットストリームを介してシグナリングされるシンタックス要素ｂｃｗ＿ｉｄｘに基づいて誘導され、
前記ｂｃｗ＿ｉｄｘがビットストリームに存在しない場合、前記ＢｃｗＩｄｘは０に誘導される、請求項１に記載の画像復号化方法。

【請求項5】

前記ｂｃｗ＿ｉｄｘは、前記現在ブロックの参照ピクチャの加重予測フラグに基づいて前記ビットストリームからパーシングされる、請求項４に記載の画像復号化方法。

【請求項6】

前記ｂｃｗ＿ｉｄｘは、前記現在ブロックの参照ピクチャの加重予測フラグが全て０である場合に前記ビットストリームからパーシングされる、請求項４に記載の画像復号化方法。

【請求項7】

前記第１フラグが０であるか或いは前記ＢｃｗＩｄｘが０でないとき、前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行う、請求項１に記載の画像復号化方法。

【請求項8】

前記第１フラグが１であり且つ前記ＢｃｗＩｄｘが０であるとき、前記現在ブロックにｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行う、請求項１に記載の画像復号化方法。

【請求項9】

前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎは、前記ＢｃｗＩｄｘに基づいてＢＣＷ又はａｖｅｒａｇｅ ｓｕｍを行う、請求項１に記載の画像復号化方法。

【請求項10】

前記ＢｃｗＩｄｘが０であるとき、前記現在ブロックにａｖｅｒａｇｅ ｓｕｍを行い、前記ＢｃｗＩｄｘが０でないとき、前記現在ブロックにＢＣＷを行う、請求項９に記載の画像復号化方法。

【請求項11】

前記ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎは、前記現在ブロックの参照ピクチャに対する重み付けパラメータ（重みとオフセット）に基づいて行われる、請求項１に記載の画像復号化方法。

【請求項12】

前記重み付けパラメータはビットストリームを介して明示的にシグナリングされる、請求項１１に記載の画像復号化方法。

【請求項13】

メモリ及び少なくとも一つのプロセッサを含む画像復号化装置であって、
前記少なくとも一つのプロセッサは、
現在ブロックに加重予測を行うか否かを指示する第１フラグ、及び前記現在ブロックにＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）の重みインデックス（ＢｃｗＩｄｘ）を誘導し、
前記第１フラグ及び前記ＢｃｗＩｄｘに基づいて前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うか、ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うかを決定し、
前記決定された方法を行って前記現在ブロックに対する予測ブロックを生成する、画像復号化装置。

【請求項14】

画像復号化装置によって行われる画像符号化方法であって、
前記画像符号化方法は、
現在ブロックに加重予測を行うか否かを指示する第１フラグ、及び前記現在ブロックにＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）の重みインデックス（ＢｃｗＩｄｘ）を決定するステップと、
前記第１フラグ及び前記ＢｃｗＩｄｘに基づいて前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うか、ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うかを決定するステップと、
前記決定された方法を行って前記現在ブロックに対する予測ブロックを生成するステップと、を含む、画像符号化方法。

【請求項15】

請求項１４に記載の画像符号化方法によって生成されたビットストリームを伝送する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化／復号化方法、装置、及びビットストリームを伝送する方法に係り、より詳細には、ＰＲＯＦ（Ｐｒｅｄｉｃｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ）を考慮して加重予測を行う画像符号化／復号化方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

【背景技術】

【0002】

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

【0003】

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

【0005】

また、本開示は、加重予測を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0006】

また、本開示は、ＰＲＯＦを考慮して加重予測又はＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0007】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

【0008】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

【0009】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。

【0010】

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【課題を解決するための手段】

【0011】

本開示の一態様による画像復号化方法は、現在ブロックに加重予測を行うか否かを指示する第１フラグ、及び前記現在ブロックにＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）の重みインデックス（ＢｃｗＩｄｘ）を誘導するステップと、前記第１フラグ及び前記ＢｃｗＩｄｘに基づいて前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うか、ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うかを決定するステップと、前記決定された方法を行って前記現在ブロックに対する予測ブロックを生成するステップと、を含むことができる。

【0012】

本開示による画像復号化方法において、前記第１フラグは、前記現在ブロックの属する現在スライスのスライスタイプに基づいて異なるように決定されることができる。

【0013】

本開示による画像復号化方法において、前記現在スライスのスライスタイプがＰスライスである場合、前記第１フラグは、ＰＰＳでシグナリングされるｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇの値に誘導され、前記現在スライスのスライスタイプがＢスライスである場合、前記第１フラグは、ＰＰＳでシグナリングされるｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇの値に誘導されることができる。

【0014】

本開示による画像復号化方法において、前記ＢｃｗＩｄｘは、ビットストリームを介してシグナリングされるシンタックス要素ｂｃｗ＿ｉｄｘに基づいて誘導され、前記ｂｃｗ＿ｉｄｘがビットストリームに存在しない場合、前記ＢｃｗＩｄｘは、０に誘導されることができる。

【0015】

本開示による画像復号化方法において、前記ｂｃｗ＿ｉｄｘは、前記現在ブロックの参照ピクチャの加重予測フラグに基づいて前記ビットストリームからパーシングされることができる。

【0016】

本開示による画像復号化方法において、前記ｂｃｗ＿ｉｄｘは、前記現在ブロックの参照ピクチャの加重予測フラグが全て０である場合に前記ビットストリームからパーシングされることができる。

【0017】

本開示による画像復号化方法において、前記第１フラグが０であるか或いは前記ＢｃｗＩｄｘが０でないとき、前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うことができる。

【0018】

本開示による画像復号化方法において、前記第１フラグが１であり且つ前記ＢｃｗＩｄｘが０であるとき、前記現在ブロックにｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うことができる。

【0019】

本開示による画像復号化方法において、前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎは、前記ＢｃｗＩｄｘに基づいてＢＣＷ又はａｖｅｒａｇｅ ｓｕｍを行うことができる。

【0020】

本開示による画像復号化方法において、前記ＢｃｗＩｄｘが０であるとき、前記現在ブロックにａｖｅｒａｇｅ ｓｕｍを行い、前記ＢｃｗＩｄｘが０でないとき、前記現在ブロックにＢＣＷを行うことができる。

【0021】

本開示による画像復号化方法において、前記ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎは、前記現在ブロックの参照ピクチャに対する重み付けパラメータ（重みとオフセット）に基づいて行われることができる。

【0022】

本開示による画像復号化方法において、前記重み付けパラメータは、ビットストリームを介して明示的にシグナリングされることができる。

【0023】

本開示の他の態様による画像復号化装置は、メモリ及び少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、現在ブロックに加重予測を行うか否かを指示する第１フラグ、及び前記現在ブロックにＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）の重みインデックス（ＢｃｗＩｄｘ）を誘導し、前記第１フラグ及び前記ＢｃｗＩｄｘに基づいて前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うか或いはｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うかを決定し、前記決定された方法を行って前記現在ブロックに対する予測ブロックを生成することができる。

【0024】

本開示の別の態様による画像符号化方法は、現在ブロックに加重予測を行うか否かを指示する第１フラグ、及び前記現在ブロックにＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）の重みインデックス（ＢｃｗＩｄｘ）を決定するステップと、前記第１フラグ及び前記ＢｃｗＩｄｘに基づいて前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うか或いはｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うかを決定するステップと、前記決定された方法を行って前記現在ブロックに対する予測ブロックを生成するステップと、を含むことができる。

【0025】

本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

【0026】

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

【発明の効果】

【0027】

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

【0028】

また、本開示によれば、加重予測を行う画像符号化／復号化方法及び装置が提供されることができる。

【0029】

また、本開示によれば、ＰＲＯＦを考慮して加重予測又はＢＣＷを行う画像符号化／復号化方法及び装置が提供されることができる。

【0030】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

【0031】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

【0032】

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

【0033】

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【図面の簡単な説明】

【0034】

【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【図4】インター予測に基づくビデオ／画像符号化方法を示すフローチャートである。

【図5】本開示によるインター予測部１８０の構成を例示的に示す図である。

【図6】インター予測に基づくビデオ／画像復号化方法を示すフローチャートである。

【図7】本開示によるインター予測部２６０の構成を例示的に示す図である。

【図8】空間マージ候補として用いられる周辺ブロックを例示する図である。

【図9】本開示の一例によるマージ候補リスト構成方法を概略的に示す図である。

【図10】空間候補に対して行われる冗長性チェックのための候補ペアを例示する図である。

【図11】時間候補の動きベクトルをスケーリングする方法を説明するための図である。

【図12】時間候補を誘導する位置を説明するための図である。

【図13】本開示の一例による動きベクトル予測子候補リスト構成方法を概略的に示す図である。

【図14】アフィンモードのパラメータモデルを説明するための図である。

【図15】アフィンマージ候補リストを生成する方法を説明するための図である。

【図16】周辺ブロックから誘導されるＣＰＭＶを説明するための図である。

【図17】組み合わせアフィンマージ候補を誘導するための周辺ブロックを説明するための図である。

【図18】アフィンＭＶＰ候補リストを生成する方法を説明するための図である。

【図19】サブブロックベースのＴＭＶＰモードの周辺ブロックを説明するための図である。

【図20】サブブロックベースのＴＭＶＰモードに従って動きベクトルフィールドを誘導する方法を説明するための図である。

【図21】ＢＤＯＦを行うために拡張されたＣＵを示す図である。

【図22】Δｖ（ｉ，ｊ）、ｖ（ｉ，ｊ）及びサブブロック動きベクトルの関係を示す図である。

【図23】本開示によってＰＲＯＦ、ＢＣＷ、ＷＰ及び／又はａｖｅｒａｇｅ ｓｕｍを行う一例を示すフローチャートである。

【図24】本開示によってＰＲＯＦ、ＢＣＷ、ＷＰ及び／又はａｖｅｒａｇｅ ｓｕｍを行う他の例を示すフローチャートである。

【図25】表７の方法によってＢＣＷ又はＷＰを行う一例を示すフローチャートである。

【図26】表８の方法によってＢＣＷ又はＷＰを行う一例を示すフローチャートである。

【図27】表９の方法によってＢＣＷ又はＷＰを行う一例を示すフローチャートである。

【図28】表１０の方法によってＢＣＷ又はＷＰを行う一例を示すフローチャートである。

【図29】本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【発明を実施するための形態】

【0035】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0036】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0037】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0038】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

【0039】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

【0040】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0041】

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

【0042】

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

【0043】

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0044】

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

【0045】

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

【0046】

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

【0047】

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

【0048】

ビデオコーディングシステムの概要

【0049】

図１は本開示によるビデオコーディングシステムを示す図である。

【0050】

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイルまたはストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

【0051】

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

【0052】

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

【0053】

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

【0054】

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイルまたはストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

【0055】

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

【0056】

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

【0057】

画像符号化装置の概要

【0058】

図２は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0059】

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

【0060】

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

【0061】

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

【0062】

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0063】

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0064】

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

【0065】

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。

【0066】

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

【0067】

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

【0068】

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0069】

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

【0070】

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

【0071】

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

【0072】

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0073】

一方、後述するように、ピクチャ符号化過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0074】

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0075】

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

【0076】

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

【0077】

画像復号化装置の概要

【0078】

図３は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0079】

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

【0080】

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

【0081】

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図１の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

【0082】

画像復号化装置２００は、図１の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

【0083】

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

【0084】

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0085】

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

【0086】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

【0087】

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

【0088】

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

【0089】

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

【0090】

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。

【0091】

一方、後述するように、ピクチャ復号化過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0092】

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0093】

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

【0094】

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

【0095】

インター予測の概要

【0096】

画像符号化／復号化装置は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャ（ら）のデータ要素に依存的な方法で導出される予測技法を意味することができる。現在ブロックに対してインター予測が適用される場合、参照ピクチャ上で動きベクトルによって特定される参照ブロックに基づいて、現在ブロックに対する予測ブロックが誘導されることができる。

【0097】

このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて現在ブロックの動き情報が誘導されることができ、ブロック、サブブロック又はサンプル単位で動き情報が誘導されることができる。このとき、動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報はインター予測タイプ情報をさらに含むことができる。ここで、インター予測タイプ情報はインター予測の方向性情報を意味することができる。インター予測タイプ情報は、現在ブロックがＬ０予測、Ｌ１予測及びＢｉ予測のうちのいずれか一つを用いて予測されることを指示することができる。

【0098】

現在ブロックに対してインター予測が適用される場合、現在ブロックの周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋ）を含むことができる。このとき、現在ブロックに対する参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、異なっていてもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケート符号化ユニット（ｃｏｌＣＵ）などと呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。

【0099】

一方、現在ブロックの周辺ブロックに基づいて動き情報候補リストが構成されることができ、このとき、現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するためにどの候補が使用されるかを指示するフラグ又はインデックス情報がシグナリングされることができる。

【0100】

動き情報は、インター予測タイプに基づいてＬ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と定義されることができ、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と定義されることができる。Ｌ０動きベクトルに基づいた予測はＬ０予測と定義されることができ、Ｌ１動きベクトルに基づいた予測はＬ１予測と定義されることができ、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方ともに基づいた予測は双予測（Ｂｉ ｐｒｅｄｉｃｔｉｏｎ）と定義されることができる。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０に関連した動きベクトルを意味することができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１に関連した動きベクトルを意味することができる。

【0101】

参照ピクチャリストＬ０は、前記現在ピクチャよりも出力順序における以前のピクチャを参照ピクチャとして含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも出力順序における以後のピクチャを含むことができる。このとき、以前のピクチャは、順方向（参照）ピクチャと定義することができ、前記以後のピクチャは、逆方向（参照ピクチャ）と定義することができる。一方、参照ピクチャリストＬ０は、現在ピクチャよりも出力順序における以後のピクチャをさらに含むことができる。この場合、参照ピクチャリストＬ０内で以前ピクチャが先にインデックス化され、以後のピクチャは、その次にインデックス化されることができる。参照ピクチャリストＬ１は、現在ピクチャよりも出力順序における以前のピクチャをさらに含むことができる。この場合、参照ピクチャリストＬ１内で以後のピクチャが先にインデックス化され、以前のピクチャはその次にインデックス化されることができる。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応することができる。

【0102】

図４はインター予測に基づくビデオ／画像符号化方法を示すフローチャート図である。

【0103】

図５は本開示によるインター予測部１８０の構成を例示的に示す図である。

【0104】

図４の符号化方法は、図２の画像符号化装置によって行われることができる。具体的に、ステップＳ４１０は、インター予測部１８０によって行われることができ、ステップＳ４２０は、レジデュアル処理部によって行われることができる。具体的に、ステップＳ４２０は、減算部１１５によって行われることができる。ステップＳ４３０は、エントロピー符号化部１９０によって行われることができる。ステップＳ４３０の予測情報はインター予測部１８０によって導出され、ステップＳ４３０のレジデュアル情報はレジデュアル処理部によって導出されることができる。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、前記レジデュアルサンプルは、画像符号化装置の変換部１２０を介して変換係数として導出され、前記変換係数は、量子化部１３０を介して量子化された変換係数として導出されることができる。前記量子化された変換係数に関する情報がレジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。

【0105】

画像符号化装置は、現在ブロックに対するインター予測を行うことができる（Ｓ４１０）。画像符号化装置は、現在ブロックのインター予測モード及び動き情報を導出し、前記現在ブロックの予測サンプルを生成することができる。ここで、インター予測モードの決定、動き情報の導出及び予測サンプルの生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。例えば、図５に示されているように、画像符号化装置のインター予測部１８０は、予測モード決定部１８１、動き情報導出部１８２、及び予測サンプル導出部１８３を含むことができる。予測モード決定部１８１で前記現在ブロックに対する予測モードを決定し、動き情報導出部１８２で前記現在ブロックの動き情報を導出し、予測サンプル導出部１８３で前記現在ブロックの予測サンプルを導出することができる。例えば、画像符号化装置のインター予測部１８０は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定の領域（探索領域）内で前記現在ブロックと類似のブロックを探索し、前記現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。これに基づいて、前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、前記参照ブロックと前記現在ブロックとの位置差に基づいて動きベクトルを導出することができる。画像符号化装置は、様々な予測モードのうち、前記現在ブロックに対して適用されるモードを決定することができる。画像符号化装置は、前記様々なインター予測モードに対するレート歪みコスト（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ（ＲＤ） ｃｏｓｔ）を比較し、前記現在ブロックに対する最適の予測モードを決定することができる。しかし、画像符号化装置が現在ブロックに対するインター予測モードを決定する方法は、上記の例に限定されず、様々な方法が利用できる。

【0106】

例えば、現在ブロックに対するインター予測モードは、マージモード（ｍｅｒｇｅ ｍｏｄｅ）、スキップモード（ｓｋｉｐ ｍｏｄｅ）、ＭＶＰモード（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、ＳＭＶＤモード（Ｓｙｍｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）、アフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）、サブブロックベースのマージモード（Ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｍｅｒｇｅ ｍｏｄｅ）、ＡＭＶＲモード（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ ｍｏｄｅ）、ＨＭＶＰモード（Ｈｉｓｔｏｒｙ－ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ ｍｏｄｅ）、双予測マージモード（Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｍｏｄｅ）、ＭＭＶＤモード（Ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ ｍｏｄｅ）、ＤＭＶＲモード（Ｄｅｃｏｄｅｒ ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ ｍｏｄｅ）、ＣＩＩＰモード（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、及びＧＰＭ（Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ）のうちの少なくとも一つと決定されることができる。

【0107】

例えば、現在ブロックにスキップモード又はマージモードが適用される場合、画像符号化装置は、前記現在ブロックの周辺ブロックからマージ候補を誘導し、誘導されたマージ候補を用いてマージ候補リストを構成することができる。また、画像符号化装置は、前記マージ候補リストに含まれているマージ候補が指す参照ブロックのうち、現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。この場合、前記導出された参照ブロックに関連するマージ候補が選択され、前記選択されたマージ候補を示すマージインデックス情報が生成されて画像復号化装置にシグナリングされることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。

【0108】

他の例として、前記現在ブロックにＭＶＰモードが適用される場合、画像符号化装置は、前記現在ブロックの周辺ブロックから動きベクトル予測子（ＭＶＰ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）候補を誘導し、誘導されたＭＶＰ候補を用いてＭＶＰ候補リストを構成することができる。また、画像符号化装置は、前記ＭＶＰ候補リストに含まれているＭＶＰ候補のうち、選択されたＭＶＰ候補の動きベクトルを前記現在ブロックのＭＶＰとして用いることができる。この場合、例えば、前述した動き推定によって導出された参照ブロックを指す動きベクトルが前記現在ブロックの動きベクトルとして用いられることができ、前記ＭＶＰ候補のうち、前記現在ブロックの動きベクトルとの差が最も小さい動きベクトルを持つＭＶＰ候補が、前記選択されたＭＶＰ候補になることができる。前記現在ブロックの動きベクトルから前記ＭＶＰを差し引いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出されることができる。この場合、前記選択されたＭＶＰ候補を示すインデックス情報、及び前記ＭＶＤに関する情報が画像復号化装置にシグナリングされることができる。また、ＭＶＰモードが適用される場合、前記参照ピクチャインデックスの値は、参照ピクチャインデックス情報で構成されて別途に前記画像復号化装置にシグナリングされることができる。

【0109】

画像符号化装置は、前記予測サンプルに基づいてレジデュアルサンプルを導出することができる（Ｓ４２０）。画像符号化装置は、前記現在ブロックの原本サンプルと前記予測サンプルとの比較によって前記レジデュアルサンプルを導出することができる。例えば、前記レジデュアルサンプルは、原本サンプルから対応する予測サンプルを減算することにより導出されることができる。

【0110】

画像符号化装置は、予測情報及びレジデュアル情報を含む画像情報を符号化することができる（Ｓ４３０）。画像符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。前記予測情報は、前記予測手順に関連した情報であって、予測モード情報（例えば、ｓｋｉｐ ｆｌａｇ、ｍｅｒｇｅ ｆｌａｇ又はｍｏｄｅ ｉｎｄｅｘなど）及び動き情報に関する情報を含むことができる。前記予測モード情報のうち、ｓｋｉｐ ｆｌａｇは、現在ブロックに対してスキップモードが適用されるか否かを示す情報であり、ｍｅｒｇｅ ｆｌａｇは、現在ブロックに対してマージモードが適用されるか否かを示す情報である。又は、予測モード情報は、ｍｏｄｅ ｉｎｄｅｘのように、複数の予測モードのうちのいずれか一つを指示する情報であってもよい。前記ｓｋｉｐ ｆｌａｇとｍｅｒｇｅ ｆｌａｇがそれぞれ０である場合、現在ブロックに対してＭＶＰモードが適用されると決定されることができる。前記動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報（例えば、ｍｅｒｇｅ ｉｎｄｅｘ、ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）を含むことができる。前記候補選択情報のうち、ｍｅｒｇｅ ｉｎｄｅｘは、現在ブロックに対してマージモードが適用される場合にシグナリングされることができ、マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択するための情報であることができる。前記候補選択情報のうち、ＭＶＰ ｆｌａｇ又はＭＶＰ ｉｎｄｅｘは、現在ブロックに対してＭＶＰモードが適用される場合にシグナリングされることができ、ＭＶＰ候補リストに含まれているＭＶＰ候補のうちのいずれか一つを選択するための情報であることができる。具体的に、ＭＶＰ ｆｌａｇは、シンタックス要素ｍｖｐ＿ｌ０＿ｆｌａｇ或いはｍｖｐ＿ｌ１＿ｆｌａｇを用いてシグナリングされることができる。また、前記動き情報に関する情報は、上述したＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含むことができる。また、前記動き情報に関する情報は、Ｌ０予測、Ｌ１予測又は双（Ｂｉ）予測が適用されるか否かを示す情報を含むことができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。

【0111】

出力されたビットストリームは、（デジタル）記憶媒体に保存されて画像復号化装置に伝達されることができ、又はネットワークを介して画像復号化装置に伝達されることもできる。

【0112】

一方、前述したように、画像符号化装置は、前記参照サンプル及び前記レジデュアルサンプルに基づいて復元ピクチャ（復元サンプル及び復元ブロックを含むピクチャ）を生成することができる。これは、画像復号化装置で行われるのと同じ予測結果を画像符号化装置で導出するためであり、これによりコーディング効率を高めることができるためである。したがって、画像符号化装置は、復元ピクチャ（又は復元サンプル、復元ブロック）をメモリに保存し、インター予測のためのピクチャとして活用することができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述したとおりである。

【0113】

図６はインター予測に基づくビデオ／画像復号化方法を示すフローチャートである。

【0114】

図７は本開示によるインター予測部２６０の構成を例示的に示す図である。

【0115】

画像復号化装置は、前記画像符号化装置で行われた動作と対応する動作を行うことができる。画像復号化装置は、受信された予測情報に基づいて現在ブロックに対する予測を行い、予測サンプルを導出することができる。

【0116】

図６の復号化方法は、図３の画像復号化装置によって行われることができる。ステップＳ６１０乃至Ｓ６３０は、インター予測部２６０によって行われることができ、ステップＳ６１０の予測情報及びステップＳ６４０のレジデュアル情報は、エントロピー復号化部２１０によってビットストリームから取得されることができる。画像復号化装置のレジデュアル処理部は、前記レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ６４０）。具体的には、前記レジデュアル処理部の逆量子化部２２０は、前記レジデュアル情報に基づいて導出された、量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部２３０は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。ステップＳ６５０は、加算部２３５又は復元部によって行われることができる。

【0117】

具体的に、画像復号化装置は、受信された予測情報に基づいて、前記現在ブロックに対する予測モードを決定することができる（Ｓ６１０）。画像復号化装置は、前記予測情報内の予測モード情報に基づいて、前記現在ブロックにどのインター予測モードが適用されるかを決定することができる。

【0118】

例えば、前記ｓｋｉｐ ｆｌａｇに基づいて、前記現在ブロックに前記スキップモードが適用されるか否かを決定することができる。また、前記ｍｅｒｇｅ ｆｌａｇに基づいて、前記現在ブロックに前記マージモードが適用されるか或いはＭＶＰモードが決定されるかを決定することができる。又は、前記ｍｏｄｅ ｉｎｄｅｘに基づいて、多様なインター予測モード候補のうちのいずれか一つを選択することができる。前記インター予測モード候補は、スキップモード、マージモード及び／又はＭＶＰモードを含むことができ、或いは後述する様々なインター予測モードを含むことができる。

【0119】

画像復号化装置は、前記決定されたインター予測モードに基づいて前記現在ブロックの動き情報を導出することができる（Ｓ６２０）。例えば、画像復号化装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択することができる。前記選択は、前述した候補選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。例えば、前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として用いられることができる。

【0120】

他の例として、画像復号化装置は、前記現在ブロックにＭＶＰモードが適用される場合、ＭＶＰ候補リストを構成し、前記ＭＶＰ候補リストに含まれているＭＶＰ候補の中から選択されたＭＶＰ候補の動きベクトルを前記現在ブロックのＭＶＰとして用いることができる。前記選択は、前述した候補選択情報（ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）に基づいて行われることができる。この場合、前記ＭＶＤに関する情報に基づいて前記現在ブロックのＭＶＤを導出することができ、前記現在ブロックのＭＶＰと前記ＭＶＤに基づいて前記現在ブロックの動きベクトルを導出することができる。また、前記参照ピクチャインデックス情報に基づいて前記現在ブロックの参照ピクチャインデックスを導出することができる。前記現在ブロックに関する参照ピクチャリスト内で前記参照ピクチャインデックスが指すピクチャが、前記現在ブロックのインター予測のために参照される参照ピクチャとして導出されることができる。

【0121】

画像復号化装置は、前記現在ブロックの動き情報に基づいて前記現在ブロックに対する予測サンプルを生成することができる（Ｓ６３０）。この場合、前記現在ブロックの参照ピクチャインデックスに基づいて前記参照ピクチャを導出し、前記現在ブロックの動きベクトルが前記参照ピクチャ上で指す参照ブロックのサンプルを用いて前記現在ブロックの予測サンプルを導出することができる。場合に応じて、前記現在ブロックの予測サンプルのうちの全部又は一部に対する予測サンプルフィルタリング手順がさらに行われることができる。

【0122】

例えば、図７に示されているように、画像復号化装置のインター予測部２６０は、予測モード決定部２６１、動き情報導出部２６２、予測サンプル導出部２６３を含むことができる。画像復号化装置のインター予測部２６０は、予測モード決定部２６１で受信された予測モード情報に基づいて前記現在ブロックに対する予測モードを決定し、動き情報導出部２６２で受信された動き情報に関する情報に基づいて前記現在ブロックの動き情報（動きベクトル及び／又は参照ピクチャインデックスなど）を導出し、予測サンプル導出部２６３で前記現在ブロックの予測サンプルを導出することができる。

【0123】

画像復号化装置は、受信されたレジデュアル情報に基づいて、前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ６４０）。画像復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成することができる（Ｓ６５０）。以後、前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは前述したとおりである。

【0124】

前述したように、インター予測手順は、インター予測モード決定ステップ、決定された予測モードによる動き情報導出ステップ、及び導出された動き情報に基づく予測実行（予測サンプル生成）ステップを含むことができる。前記インター予測手順は、前述したように、画像符号化装置及び画像復号化装置で行われることができる。

【0125】

以下、予測モードによる動き情報導出ステップについてより詳細に説明する。

【0126】

前述したように、インター予測は、現在ブロックの動き情報を用いて行われることができる。画像符号化装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して、現在ブロックに対する最適の動き情報を導出することができる。例えば、画像符号化装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを用いて相関性の高い類似な参照ブロックを参照ピクチャ内の定められた探索範囲内で分数ピクセル単位にて探索することができ、これにより動き情報を導出することができる。ブロックの類似性は、現在ブロックと参照ブロック間のＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）に基づいて計算できる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて様々な方法によって画像復号化装置にシグナリングされることができる。

【0127】

現在ブロックに対してマージモード（ｍｅｒｇｅ ｍｏｄｅ）が適用される場合、現在ブロックの動き情報が直接伝送されず、周辺ブロックの動き情報を用いて前記現在ブロックの動き情報を誘導する。よって、マージモードを用いたことを知らせるフラグ情報及びどの周辺ブロックをマージ候補として用いたかを知らせる候補選択情報（例えば、マージインデックス）を伝送することにより、現在予測ブロックの動き情報を指示することができる。本開示において、現在ブロックは予測実行の単位であるので、現在ブロックは現在予測ブロックと同じ意味で使用され、周辺ブロックは周辺予測ブロックと同じ意味で使用されることができる。

【0128】

画像符号化装置は、マージモードを行うために現在ブロックの動き情報を誘導するのに用いられるマージ候補ブロック（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）を探索することができる。例えば、前記マージ候補ブロックは、最大５個まで使用できるが、これに限定されない。前記マージ候補ブロックの最大個数は、スライスヘッダー又はタイルグループヘッダーから伝送されることができるが、これに限定されない。前記マージ候補ブロックを見つけた後、画像符号化装置は、マージ候補リストを生成することができ、これらのうち、ＲＤコストが最も小さいマージ候補ブロックを最終マージ候補ブロックとして選択することができる。

【0129】

本開示は、前記マージ候補リストを構成するマージ候補ブロックに対する様々な実施例を提供する。前記マージ候補リストは、例えば５つのマージ候補ブロックを用いることができる。例えば、４つの空間マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と１つの時間マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を用いることができる。

【0130】

図８は空間マージ候補として用いられる周辺ブロックを例示する図である。

【0131】

図９は本開示の一例によるマージ候補リスト構成方法を概略的に示す図である。

【0132】

画像符号化装置／画像復号化装置は、現在ブロックの空間周辺ブロックを探索して導出された空間マージ候補をマージ候補リストに挿入することができる（Ｓ９１０）。前記空間周辺ブロックは、図８に示すように、前記現在ブロックの左下側コーナー周辺ブロックＡ０、左側周辺ブロックＡ１、右上側コーナー周辺ブロックＢ０、上側周辺ブロックＢ１、左上側コーナー周辺ブロックＢ２を含むことができる。但し、これは例示であって、前述した空間周辺ブロック以外にも、右側周辺ブロック、下側周辺ブロック、右下側周辺ブロックなどの追加周辺ブロックがさらに前記空間周辺ブロックとして使用できる。画像符号化装置／画像復号化装置は、前記空間周辺ブロックを優先順位に基づいて探索することにより、利用可能なブロックを検出し、検出されたブロックの動き情報を前記空間マージ候補として導出することができる。例えば、画像符号化装置／画像復号化装置は、図８に示されている５つのブロックをＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２の順に探索し、利用可能な候補を順次インデックス化することにより、マージ候補リストを構成することができる。

【0133】

画像符号化装置／画像復号化装置は、前記現在ブロックの時間周辺ブロックを探索して導出された時間マージ候補を前記マージ候補リストに挿入することができる（Ｓ９２０）。前記時間周辺ブロックは、前記現在ブロックが位置する現在ピクチャとは異なるピクチャである参照ピクチャ上に位置することができる。前記時間周辺ブロックが位置する参照ピクチャは、コロケート（ｃｏｌｌｏｃａｔｅｄ）ピクチャ又はｃｏｌピクチャと呼ばれることができる。前記時間周辺ブロックは、前記ｃｏｌピクチャ上における前記現在ブロックに対するコロケートブロック（ｃｏ－ｌｏｃａｔｅｄ ｂｌｏｃｋ）の右下側コーナー周辺ブロック及び右下側センターブロックの順序で探索できる。 一方、メモリ負荷を減らすためにｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎが適用される場合、前記ｃｏｌピクチャに対して、一定の保存単位ごとに特定の動き情報を代表動き情報として保存することができる。この場合、前記一定の保存ユニット内のすべてのブロックに対する動き情報を保存する必要がなく、これによりｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ効果を得ることができる。この場合、一定の保存単位は、例えば１６×１６サンプル単位、又は８×８サンプル単位などに予め定められることもでき、又は画像符号化装置から画像復号化装置へ前記一定の保存単位に対するサイズ情報がシグナリングされることもできる。前記ｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎが適用される場合、前記時間周辺ブロックの動き情報は、前記時間周辺ブロックが位置する前記一定の保存単位の代表動き情報に置き換えられることができる。つまり、この場合、実現の観点からみると、前記時間周辺ブロックの座標に位置する予測ブロックロックではなく、前記時間周辺ブロックの座標（左上側サンプルポジション）に基づいて一定の値だけ算術右シフトした後、算術左シフトした位置をカバーする予測ブロックの動き情報に基づいて前記時間マージ候補が導出されることができる。例えば、前記一定の保存単位が２^ｎ×２^ｎサンプル単位である場合、前記時間周辺ブロックの座標が（ｘＴｎｂ、ｙＴｎｂ）であるとすれば、修正された位置である（（ｘＴｎｂ＞＞ｎ）＜＜ｎ）、（ｙＴｎｂ＞＞ｎ）＜＜ｎ））に位置する予測ブロックの動き情報が前記時間マージ候補のために使用できる。具体的には、例えば、前記一定の保存単位が１６×１６サンプル単位である場合、前記時間周辺ブロックの座標が（ｘＴｎｂ，ｙＴｎｂ）であるとすれば、修正された位置である（（ｘＴｎｂ＞＞４）＜＜４），（ｙＴｎｂ＞＞４）＜＜４））に位置する予測ブロックの動き情報が前記時間マージ候補のために使用できる。又は、例えば、前記一定の保存単位が８×８サンプル単位である場合、前記時間周辺ブロックの座標が（ｘＴｎｂ，ｙＴｎｂ）であるとすれば、修正された位置である（（ｘＴｎｂ＞＞３）＜＜３），（ｙＴｎｂ＞＞３）＜＜３））に位置する予測ブロックの動き情報が前記時間マージ候補のために使用できる。

【0134】

再び図９を参照すると、画像符号化装置／画像復号化装置は、現在マージ候補の数が最大マージ候補の数よりも小さいか否かを確認することができる（Ｓ９３０）。前記最大マージ候補の数は、予め定義されるか、或いは画像符号化装置から画像復号化装置にシグナリングされることができる。例えば、画像符号化装置は、前記最大マージ候補の数に関する情報を生成し、符号化してビットストリーム形式で前記画像復号化装置に伝達することができる。前記最大マージ候補の数が全て満たされると、以後の候補追加過程（Ｓ９４０）は行われないことができる。

【0135】

ステップＳ９３０の確認結果、前記現在マージ候補の数が前記最大マージ候補の数よりも小さい場合、画像符号化装置／画像復号化装置は、所定の方式に基づいて追加マージ候補を誘導した後、前記マージ候補リストに挿入することができる（Ｓ９４０）。前記追加マージ候補は、例えば、ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ）、ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ）、ＡＴＭＶＰ、ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅマージ候補（現在スライス／タイルグループのスライス／タイルグループタイプがＢタイプである場合）及び／又はゼロ（ｚｅｒｏ）ベクトルマージ候補のうちの少なくとも一つを含むことができる。

【0136】

ステップＳ９３０の確認結果、前記現在マージ候補の数が前記最大マージ候補の数よりも小さくない場合、画像符号化装置／画像復号化装置は、前記マージ候補リストの構成を終了することができる。この場合、画像符号化装置は、ＲＤコストに基づいて、前記マージ候補リストを構成するマージ候補のうちの最適のマージ候補を選択することができ、前記選択されたマージ候補を指す候補選択情報（例えば、マージ候補インデックス、ｍｅｒｇｅ ｉｎｄｅｘ）を画像復号化装置にシグナリングすることができる。画像復号化装置は、前記マージ候補リスト及び前記候補選択情報に基づいて前記最適のマージ候補を選択することができる。

【0137】

前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として使用されることができ、前記現在ブロックの動き情報に基づいて前記現在ブロックの予測サンプルを導出することができるのは、前述したとおりである。画像符号化装置は、前記予測サンプルに基づいて前記現在ブロックのレジデュアルサンプルを導出することができ、前記レジデュアルサンプルに関するレジデュアル情報を画像復号化装置にシグナリングすることができる。画像復号化装置は、前記レジデュアル情報に基づいて導出されたレジデュアルサンプル及び前記予測サンプルに基づいて復元サンプルを生成し、これに基づいて復元ピクチャを生成することができるのは、前述したとおりである。

【0138】

現在ブロックに対してスキップモード（ｓｋｉｐ ｍｏｄｅ）が適用される場合、前でマージモードが適用される場合と同様の方法で前記現在ブロックの動き情報を導出することができる。ただし、スキップモードが適用される場合、当該ブロックに対するレジデュアル信号が省略される。よって、予測サンプルが直ちに復元サンプルとして使用できる。前記スキップモードは、例えばｃｕ＿ｓｋｉｐ＿ｆｌａｇの値が１である場合に適用できる。

【0139】

以下、マージモード及び／又はスキップモードの場合、空間候補を誘導する方法について説明する。空間候補は、上述した空間マージ候補を示すことができる。

【0140】

空間候補の誘導は、空間的に隣接しているブロック（Ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋｓ）に基づいて行われることができる。例えば、図８に示されている位置に存在する候補ブロックから最大４つの空間候補が誘導できる。空間候補を誘導する順序は、Ａ１→Ｂ１→Ｂ０→Ａ０→Ｂ２の順序であり得る。ところが、空間候補を誘導する順序は、上記の順序に限定されず、例えば、Ｂ１→Ａ１→Ｂ０→Ａ０→Ｂ２の順序であってもよい。順序上、最後の位置（上記の例において、Ｂ２位置）は、先行する４つの位置（上記の例において、Ａ１、Ｂ１、Ｂ０及びＡ０）のうちの少なくとも一つが利用可能でない場合に考慮できる。この際、所定の位置のブロックが利用可能でないというのは、当該ブロックが現在ブロックとは異なるスライス又は異なるタイルに属するか、或いは当該ブロックがイントラ予測されたブロックである場合を含むことができる。順序上、一番目の位置（上記の例において、Ａ１又はＢ１）から空間候補が誘導された場合、後続する位置の空間候補に対しては冗長性チェックが行われることができる。例えば、後続する空間候補の動き情報がマージ候補リストに既に含まれている空間候補の動き情報と同一である場合、前記後続する空間候補は、マージ候補リストに含ませないことにより、符号化効率を向上させることができる。後続する空間候補に対して行われる冗長性チェックは、できる限るすべての候補ペアに対して行われず、一部の候補ペアに対してのみ行われることにより、計算複雑度を減少させることができる。

【0141】

図１０は空間候補に対して行われる冗長性チェックのための候補ペアを例示する図である。

【0142】

図１０に示されている例において、Ｂ０位置の空間候補に対する冗長性チェックは、Ａ０位置の空間候補に対してのみ行われることができる。また、Ｂ１位置の空間候補に対する冗長性チェックは、Ｂ０位置の空間候補に対してのみ行われることができる。また、Ａ１位置の空間候補に対する冗長性チェックは、Ａ０位置の空間候補に対してのみ行われることができる。最後に、Ｂ２位置の空間候補に対する冗長性チェックは、Ａ０位置及びＢ０位置の空間候補に対してのみ行われることができる。

【0143】

図１０に示されている例は、空間候補を誘導する順序がＡ０→Ｂ０→Ｂ１→Ａ１→Ｂ２の順序である場合の例である。ところが、これに限定されず、空間候補を誘導する順序が変更されても、図１０に示されている例の如く、一部の候補ペアに対してのみ冗長性チェックが行われることができる。

【0144】

以下、マージモード及び／又はスキップモードの場合、時間候補を誘導する方法について説明する。時間候補は、上述した時間マージ候補を示すことができる。また、時間候補の動きベクトルは、ＭＶＰモードの時間候補に対応することもできる。

【0145】

時間候補は、一つの候補のみがマージ候補リストに含まれることができる。時間候補を誘導する過程で、時間候補の動きベクトルはスケーリングできる。例えば、前記スケーリングは、コロケート参照ピクチャ（ｃｏｌｌｏｃａｅｄ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）（以下、「ｃｏｌピクチャ」という）に属するコロケートブロック（ｃｏ－ｌｏｃａｔｅｄ ＣＵ）（以下、「ｃｏｌブロック」という）に基づいて行われることができる。ｃｏｌブロックの誘導に使用される参照ピクチャリストは、スライスヘッダーで明示的にシグナリングされることができる。

【0146】

図１１は時間候補の動きベクトルをスケーリングする方法を説明するための図である。

【0147】

図１１において、ｃｕｒｒ＿ＣＵとｃｕｒｒ＿ｐｉｃは現在ブロックと現在ピクチャを示し、ｃｏｌ＿ＣＵとｃｏｌ＿ｐｉｃはｃｏｌブロックとｃｏｌピクチャを示す。ｃｏｌ＿ｒｅｆはｃｏｌブロックの参照ピクチャを示す。また、ｔｂは現在ブロックの参照ピクチャと現在ピクチャとの距離を示し、ｔｄはｃｏｌブロックの参照ピクチャとｃｏｌピクチャとの距離を示す。前記ｔｂとｔｄは、ピクチャ間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差に該当する値で表すことができる。時間候補の動きベクトルのスケーリングはｔｂとｔｄに基づいて行われることができる。また、時間候補の参照ピクチャインデックスは０に設定されることができる。

【0148】

図１２は時間候補を誘導する位置を説明するための図である。

【0149】

図１２において、太い実線のブロックは現在ブロックを示す。時間候補は、図１２のＣ０位置（右下側位置）又はＣ１位置（中央位置）に該当するｃｏｌピクチャ内のブロックから誘導できる。まず、Ｃ０位置が利用可能であると判断され、Ｃ０位置が利用可能である場合、Ｃ０位置に基づいて時間候補が誘導されることができる。もしＣ０位置が利用可能でない場合、Ｃ１位置に基づいて時間候補が誘導されることができる。例えば、Ｃ０位置のｃｏｌピクチャ内のブロックがイントラ予測されたブロックであるか、或いは現在ＣＴＵ行（ｒｏｗ）の外部に存在する場合、Ｃ０位置が利用可能でないと判断できる。

【0150】

上述したように、ｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎが適用される場合、ｃｏｌブロックの動きベクトルは所定の単位ブロックごとに保存できる。この場合、Ｃ０位置又はＣ１位置をカバーするブロックの動きベクトルを誘導するために、Ｃ０位置又はＣ１位置は修正できる。例えば、前記所定の単位ブロックが８×８ブロックであり、Ｃ０位置又はＣ１位置を（ｘＣｏｌＣｉ，ｙＣｏｌＣｉ）とするとき、時間候補を誘導するための位置は（（ｘＣｏｌＣｉ＞＞３）＜＜３，（ｙＣｏｌＣｉ＞＞３）＜＜３）に修正されることができる。

【0151】

以下、マージモード及び／又はスキップモードの場合、Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補を誘導する方法について説明する。Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補は、Ｈｉｓｔｏｒｙ－ｂａｓｅｄマージ候補で表現できる。

【0152】

Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補は、空間候補と時間候補がマージ候補リストに追加された後に、前記マージ候補リストに追加されることができる。例えば、以前に符号化／復号化されたブロックの動き情報がテーブルに保存され、現在ブロックのＨｉｓｔｏｒｙ－ｂａｓｅｄ候補として使用できる。前記テーブルは、符号化／復号化過程中に複数のＨｉｓｔｏｒｙ－ｂａｓｅｄ候補を保存することができる。前記テーブルは、新しいＣＴＵ行（ｒｏｗ）が始まるときに初期化できる。テーブルが初期化されるというのは、テーブルに保存されたＨｉｓｔｏｒｙ－ｂａｓｅｄ候補がすべて削除されて当該テーブルが空になることを意味することができる。インター予測されたブロックがあるたびに、関連動き情報が最後のエントリとして前記テーブルに追加できる。このとき、前記インター予測されたブロックは、サブブロックに基づいて予測されたブロックではないことができる。前記テーブルに追加された動き情報は、新しいＨｉｓｔｏｒｙ－ｂａｓｅｄ候補として使用できる。

【0153】

Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補のテーブルは、所定のサイズを持つことができる。例えば、当該サイズは５であり得る。このとき、前記テーブルは、最大５つのＨｉｓｔｏｒｙ－ｂａｓｅｄ候補を保存することができる。新しい候補がテーブルに追加されるとき、まず、同じ候補が前記テーブルに存在するかの冗長性チェックが行われる制限されたｆｉｒｓｔ－ｉｎ－ｆｉｒｓｔ－ｏｕｔ（ＦＩＦＯ）規定が適用できる。もし同じ候補が前記テーブルに既に存在する場合、前記同じ候補が前記テーブルから削除され、以後のすべてのＨｉｓｔｏｒｙ－ｂａｓｅｄ候補の位置が前方に移動することができる。

【0154】

Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補は、マージ候補リストの構成過程に使用できる。このとき、前記テーブルに最近に含まれているＨｉｓｔｏｒｙ－ｂａｓｅｄ候補が順次チェックされ、前記マージ候補リストの時間候補以降の位置に含まれることができる。Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補がマージ候補リストに含まれるとき、前記マージ候補リストに既に含まれている空間候補又は時間候補との冗長性チェックが行われることができる。もし、マージ候補リストに既に含まれている空間候補又は時間候補とＨｉｓｔｏｒｙ－ｂａｓｅｄ候補が同時に重複する場合、当該Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補は、前記マージ候補リストに含まれないことができる。前記冗長性チェックは、次のように単純化させることにより演算量が低減できる。

【0155】

マージ候補リストの生成に用いられるＨｉｓｔｏｒｙ－ｂａｓｅｄ候補の数は（Ｎ＜＝４）？Ｍ：（８－Ｎ）に設定できる。このとき、Ｎはマージ候補リストに既に含まれている候補の数を示し、Ｍは前記テーブルに保存された利用可能なＨｉｓｔｏｒｙ－ｂａｓｅｄ候補の数を示す。つまり、マージ候補リストに４個以下の候補が含まれた場合、前記マージ候補リストの生成に用いられるＨｉｓｔｏｒｙ－ｂａｓｅｄ候補の数はＭ個であり、マージ候補リストに４個より多いＮ個の候補が含まれた場合、前記マージ候補リストの生成に用いられるＨｉｓｔｏｒｙ－ｂａｓｅｄ候補の数は、（８－Ｎ）個に設定できる。

【0156】

利用可能なマージ候補の総数が（マージ候補の最大許容数－１）に達する場合、Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補を用いたマージ候補リストの構成は終了できる。

【0157】

以下、マージモード及び／又はスキップモードの場合、Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補を誘導する方法について説明する。Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補は、Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅマージ候補又はＰａｉｒ－ｗｉｓｅ候補で表現できる。

【0158】

Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補は、マージ候補リストに含まれた候補から既に定義された候補ペアを取得し、これらを平均することにより生成できる。既に定義された候補ペアは、｛（０，１），（０，２），（１，２），（０，３），（１，３），（２，３）｝であり、各候補ペアを構成する数字は、マージ候補リストのインデックスであり得る。つまり、既に定義された候補ペア（０，１）は、マージ候補リストのインデックス０候補とインデックス１候補の対を意味し、Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補は、インデックス０候補とインデックス１候補との平均によって生成できる。前記既に定義された候補ペアの順序でＰａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補の誘導が行われることができる。すなわち、候補ペア（０，１）に対してＰａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補を誘導した後、候補ペア（０，２）、候補ペア（１，２）の順序でＰａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補誘導過程が行われることができる。Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補誘導過程は、マージ候補リストの構成が完了するまで行われることができる。例えば、Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補誘導過程は、マージ候補リストに含まれたマージ候補の数が最大マージ候補の数に達するまで行われることができる。

【0159】

Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補は、参照ピクチャリストのそれぞれに対して個別に計算できる。１つの参照ピクチャリスト（Ｌ０ ｌｉｓｔ又はＬ１ ｌｉｓｔ）に対して２つの動きベクトルが利用可能である場合、これらの２つの動きベクトルの平均が計算できる。このとき、２つの動きベクトルが互いに異なる参照ピクチャを指しても、前記２つの動きベクトルの平均が行われることができる。もし１つの参照ピクチャリストに対して１つの動きベクトルのみが利用可能である場合、利用可能な動きベクトルがＰａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補の動きベクトルとして使用できる。もし１つの参照ピクチャリストに対して２つの動きベクトルがすべて利用可能でない場合、当該参照ピクチャリストは有効でないと決定できる。

【0160】

Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補がマージ候補リストに含まれた以後にも、マージ候補リストの構成が完了していない場合、最大マージ候補の数に達するまでゼロベクトルがマージ候補リストに追加できる。

【0161】

現在ブロックに対してＭＶＰモードが適用される場合、復元された空間周辺ブロック（例えば、図８に示されている周辺ブロック）の動きベクトル及び／又は時間周辺ブロック（又はＣｏｌブロック）に対応する動きベクトルを用いて、動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ、ｍｖｐ）候補リストが生成できる。つまり、復元された空間周辺ブロックの動きベクトル及び／又は時間周辺ブロックに対応する動きベクトルが現在ブロックの動きベクトル予測子候補として使用できる。双予測が適用される場合、Ｌ０動き情報導出のためのｍｖｐ候補リストとＬ１動き情報導出のためのｍｖｐ候補リストが個別に生成されて利用できる。現在ブロックに対する予測情報（又は予測に関する情報）は、前記ｍｖｐ候補リストに含まれている動きベクトル予測子候補の中から選択された最適の動きベクトル予測子候補を指示する候補選択情報（例えば、ＭＶＰフラグ又はＭＶＰインデックス）を含むことができる。このとき、予測部は、前記候補選択情報を用いて、ｍｖｐ候補リストに含まれている動きベクトル予測子候補の中から、現在ブロックの動きベクトル予測子を選択することができる。画像符号化装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子との動きベクトル差分（ＭＶＤ）を求めることができ、これを符号化してビットストリーム形式で出力することができる。つまり、ＭＶＤは現在ブロックの動きベクトルから前記動きベクトル予測子を差し引いた値で求められることができる。画像復号化装置の予測部は、前記予測に関する情報に含まれている動きベクトル差分を取得し、前記動きベクトル差分と前記動きベクトル予測子との加算を介して、現在ブロックの前記動きベクトルを導出することができる。画像復号化装置の予測部は、参照ピクチャを指示する参照ピクチャインデックスなどを前記予測に関する情報から取得又は誘導することができる。

【0162】

図１３は本開示の一例による動きベクトル予測子候補リスト構成方法を概略的に示す図である。

【0163】

まず、現在ブロックの空間候補ブロックを探索して、利用可能な候補ブロックをＭＶＰ候補リストに挿入することができる（Ｓ１０１０）。その後、ＭＶＰ候補リストに含まれているＭＶＰ候補が２つ未満であるか否かが判断され（Ｓ１０２０）、２つである場合、ＭＶＰ候補リストの構成を完了することができる。

【0164】

ステップＳ１０２０で、利用可能な空間候補ブロックが２つ未満である場合、現在ブロックの時間候補ブロックを探索して、利用可能な候補ブロックをＭＶＰ候補リストに挿入することができる（Ｓ１０３０）。時間候補ブロックが利用可能でない場合、ゼロ動きベクトルをＭＶＰ候補リストに挿入（Ｓ１０４０）することにより、ＭＶＰ候補リストの構成を完了することができる。

【0165】

一方、ＭＶＰモードが適用される場合、参照ピクチャインデックスが明示的にシグナリングされることができる。この場合、Ｌ０予測のためのピクチャインデックス（ｒｅｆｉｄｘＬ０）とＬ１予測のための参照ピクチャインデックス（ｒｅｆｉｄｘＬ１）が区分されてシグナリングされることができる。例えば、ＭＶＰモードが適用され、双予測（ＢＩ ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、前記ｒｅｆｉｄｘＬ０に関する情報及びｒｅｆｉｄｘＬ１に関する情報が両方ともシグナリングされることができる。

【0166】

前述したように、ＭＶＰモードが適用される場合、画像符号化装置から導出されたＭＶＤに関する情報が画像復号化装置にシグナリングされることができる。ＭＶＤに関する情報は、例えばＭＶＤ絶対値及び符号に対するｘ、ｙ成分を示す情報を含むことができる。この場合、ＭＶＤ絶対値が０よりも大きいか、及び１よりも大きいか否か、ＭＶＤの残りを示す情報が段階的にシグナリングされることができる。例えば、ＭＶＤ絶対値が１よりも大きいか否かを示す情報は、ＭＶＤ絶対値が０よりも大きいか否かを示すｆｌａｇ情報の値が１である場合に限ってシグナリングされることができる。

【0167】

アフィン（Ａｆｆｉｎｅ）モードの概要

【0168】

以下、インター予測モードの一例であるアフィンモードについて詳細に説明する。従来のビデオ符号化／復号化システムでは、現在ブロックの動き情報を表現するために一つの動きベクトルのみを使用したが、このような方法には、ブロック単位の最適の動き情報を表現するだけであり、画素単位の最適の動き情報を表現することはできなかったという問題点があった。かかる問題点を解決するために、画素単位でブロックの動き情報を定義するアフィンモードが提案された。アフィンモードによれば、現在ブロックに関連付けられた２個乃至４個の動きベクトル用いてブロックの画素／又はサブブロック単位別動きベクトルが決定できる。

【0169】

従来の動き情報が画素値の平行移動（又は変位）を用いて表現されたのに比べ、アフィンモードでは、平行移動、スケーリング、回転、傾き（ｓｈｅａｒ）のうちの少なくとも一つを用いて、画素別動き情報が表現できる。その中で、画素別動き情報が変位、スクーリング、回転を用いて表現されるアフィンモードを類似（ｓｉｍｉｌａｒｉｔｙ）或いは簡略化（ｓｉｍｐｌｉｆｉｅｄ）アフィンモードと定義することができる。以下の説明におけるアフィンモードは、類似又は簡略化アフィンモードを意味することができる。

【0170】

アフィンモードでの動き情報は、２つ以上のＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を用いて表現できる。現在ブロックの特定の画素位置の動きベクトルはＣＰＭＶを用いて誘導できる。このとき、現在ブロックの画素別及び／又はサブブロック別動きベクトルの集合をアフィン動きベクトルフィールド（Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ：Ａｆｆｉｎｅ ＭＶＦ）と定義することができる。

【0171】

図１４はアフィンモードのパラメータモデルを説明するための図である。

【0172】

現在ブロックに対してアフィンモードが適用される場合、４－パラメータモデル及び６－パラメータモデルのうちのいずれか一つを用いてアフィンＭＶＦが誘導されることができる。このとき、４－パラメータモデルは、２つのＣＰＭＶが使用されるモデルタイプを意味し、６－パラメータモデルは、３つのＣＰＭＶが使用されるモデルタイプを意味することができる。図１４（ａ）及び図１４（ｂ）は、それぞれ４－パラメータモデル及び６－パラメータモデルに使用されるＣＰＭＶを図示化した図である。

【0173】

現在ブロックの位置を（ｘ，ｙ）と定義する場合、画素位置による動きベクトルは、下記の数式１又は２に従って誘導されることができる。例えば、４－パラメータモデルによる動きベクトルは数式１に従って誘導されることができ、６－パラメータモデルによる動きベクトルは数式２に従って誘導されることができる。

【0174】

【数1】

【0175】

【数2】

【0176】

数式１及び数式２において、ｍｖ０＝｛ｍｖ＿０ｘ，ｍｖ＿０ｙ｝は、現在ブロックの左上側コーナー位置のＣＰＭＶであり、ｖ１＝｛ｍｖ＿１ｘ，ｍｖ＿１ｙ｝は、現在ブロックの右上側コーナー位置のＣＰＭＶであり、ｍｖ２＝｛ｍｖ＿２｝は、現在ブロックの左下側位置のＣＰＭＶであり得る。ここで、Ｗ及びＨはそれぞれ現在ブロックの幅及び高さに該当し、ｍｖ＝｛ｍｖ＿ｘ，ｍｖ＿ｙ｝は画素位置｛ｘ，ｙ｝の動きベクトルを意味することができる。

【0177】

符号化／復号化過程で、アフィンＭＶＦは、画素単位及び／又は予め定義されたサブブロック単位で決定されることができる。アフィンＭＶＦが画素単位で決定される場合、各画素値を基準に動きベクトルが誘導されることができる。一方、アフィンＭＶＦがサブブロック単位で決定される場合、サブブロックの中央画素値を基準に当該ブロックの動きベクトルが誘導されることができる。中央画素値は、サブブロックのセンターに存在する仮想の画素を意味するか、或いは中央に存在する４つの画素のうちの右下側画素を意味することができる。また、中央画素値は、サブブロック内の特定の画素であって当該サブブロックを代表する画素であり得る。本開示において、アフィンＭＶＦは、４×４サブブロック単位で決定される場合を説明する。ただし、これは説明の便宜のためであり、サブブロックのサイズは多様に変更できる。

【0178】

つまり、Ａｆｆｉｎｅ予測が利用可能である場合、現在ブロックに適用可能な動きモデルは、Ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ ｍｏｄｅｌ（平行移動モデル）、４－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ、６－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌの３つを含むことができる。ここで、Ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ ｍｏｄｅｌは、従来のブロック単位動きベクトルが使用されるモデルを示すことができ、４－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌは、２つのＣＰＭＶが使用されるモデルを示すことができ、６－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌは、３つのＣＰＭＶが使用されるモデルを示すことができる。アフィンモードは、動き情報を符号化／復号化する方法によって詳細モードに区分できる。一例として、アフィンモードはアフィンＭＶＰモードとアフィンマージモードに細分化できる。

【0179】

現在ブロックに対してアフィンマージモードが適用される場合、ＣＰＭＶは、アフィンモードで符号化／復号化された現在ブロックの周辺ブロックから誘導できる。現在ブロックの周辺ブロックのうちの少なくとも一つがアフィンモードで符号化／復号化された場合、現在ブロックに対してアフィンマージモードが適用できる。すなわち、現在ブロックに対してアフィンマージモードが適用される場合、周辺ブロックのＣＰＭＶを用いて現在ブロックのＣＰＭＶが誘導できる。例えば、周辺ブロックのＣＰＭＶが現在ブロックのＣＰＭＶとして決定されるか、或いは周辺ブロックのＣＰＭＶに基づいて現在ブロックのＣＰＭＶが誘導されることができる。周辺ブロックのＣＰＭＶに基づいて現在ブロックのＣＰＭＶが誘導される場合、現在ブロック又は周辺ブロックの符号化パラメータのうちの少なくとも一つが使用できる。例えば、周辺ブロックのＣＰＭＶが前記周辺ブロックのサイズ及び現在ブロックのサイズなどに基づいて修正されて現在ブロックのＣＰＭＶとして使用され得る。

【0180】

一方、サブブロック単位でＭＶが導出されるａｆｆｉｎｅ ｍｅｒｇｅの場合には、サブブロックマージモードと呼ばれることができ、これは、第１値（例えば、「１」）を有するｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇによって指示できる。この場合、後述するアフィンマージ候補リスト（ａｆｆｉｎｅ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）は、サブブロックマージ候補リスト（ｓｕｂｂｌｏｃｋ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）と呼ばれることもできる。この場合、前記サブブロックマージ候補リストには、後述するＳｂＴＭＶＰで導出された候補がさらに含まれることができる。この場合、前記ｓｂＴＭＶＰで導出された候補は、前記サブブロックマージ候補リストの０番インデックスの候補として用いられることができる。言い換えれば、前記ｓｂＴＭＶＰで導出された候補は、前記サブブロックマージ候補リスト内で後述の継承アフィンマージ候補（ｉｎｈｅｒｉｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓ）、組み合わせアフィンマージ候補（ｃｏｎｓｔｒｕｃｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓ）よりも前方に位置することができる。

【0181】

一例として、現在ブロックに対してアフィンモードが適用できるか否かを指示するアフィンモードフラグが定義できる。これはシーケンス、ピクチャ、スライス、タイル、タイルグループ、ブリックなど、現在ブロックの上位レベルのうちの少なくとも一つのレベルでシグナリングできる。例えば、アフィンモードフラグはｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇと命名できる。

【0182】

アフィンマージモードが適用される場合、現在ブロックのＣＰＭＶ誘導のために、アフィンマージ候補リストが構成できる。このとき、アフィンマージ候補リストは、継承アフィンマージ候補、組み合わせアフィンマージ候補、及びゼロマージ候補のうちの少なくとも一つを含むことができる。継承アフィンマージ候補は、現在ブロックの周辺ブロックがアフィンモードで符号化／復号化された場合、当該周辺ブロックのＣＰＭＶを用いて誘導される候補を意味することができる。組み合わせアフィンマージ候補は、それぞれのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）の周辺ブロックの動きベクトルに基づいてそれぞれのＣＰＭＶが誘導された候補を意味することができる。一方、ゼロマージ候補は、サイズ０のＣＰＭＶからなる候補を意味することができる。以下の説明において、ＣＰとは、ＣＰＭＶを誘導するのに用いられるブロックの特定の位置を意味することができる。例えば、ＣＰはブロックの各頂点位置であり得る。

【0183】

図１５はアフィンマージ候補リストを生成する方法を説明するための図である。

【0184】

図１５のフローチャートを参照すると、継承アフィンマージ候補（Ｓ１２１０）、組み合わせアフィンマージ候補（Ｓ１２２０）、ゼロマージ候補（Ｓ１２３０）の順にアフィンマージ候補リストにアフィンマージ候補が追加できる。ゼロマージ候補は、アフィンマージ候補リストに継承アフィンマージ候補及び組み合わせアフィンマージ候補が全て追加されたにも拘らず、候補リストに含まれる候補の数が最大候補数を満たさない場合に追加できる。このとき、ゼロマージ候補は、アフィンマージ候補リストの候補の数が最大候補数を満たすまで追加できる。

【0185】

図１６は周辺ブロックから誘導されるＣＰＭＶを説明するための図である。

【0186】

一例として、最大２つの継承アフィンマージ候補が誘導でき、それぞれの候補は、左側周辺ブロック及び上側周辺ブロックのうちの少なくとも一つに基づいて誘導できる。継承アフィンマージ候補を誘導するための周辺ブロックについて図８を参照して説明する。左側周辺ブロックに基づいて誘導された継承アフィンマージ候補は、Ａ０及びＡ１のうちの少なくとも一つに基づいて誘導され、上側周辺ブロックに基づいて誘導された継承アフィンマージ候補は、Ｂ０、Ｂ１及びＢ２のうちの少なくとも一つに基づいて誘導できる。このとき、各周辺ブロックのスキャン順序は、Ａ０からＡ１の順、及びＢ０からＢ１、Ｂ２の順であり得るが、これに限定されない。左側及び上側のそれぞれに対して前記スキャン順序的に利用可能な１番目の周辺ブロックに基づいて継承アフィンマージ候補が誘導できる。この場合、左側周辺ブロックと上側周辺ブロックから誘導された候補との間では冗長性検査が行われないことができる。

【0187】

一例として、図１６に示すように、左側周辺ブロックＡがアフィンモードで符号化／復号化された場合、周辺ブロックＡのＣＰに対応する動きベクトルｖ２、ｖ３及びｖ４のうちの少なくとも一つが誘導されることができる。周辺ブロックＡが４－パラメータアフィンモデルを介して符号化／復号化される場合、継承アフィンマージ候補は、ｖ２及びｖ３を用いて誘導できる。一方、周辺ブロックＡが６－パラメータアフィンモデルを介して符号化／復号化された場合、継承アフィンマージ候補はｖ２、ｖ３及びｖ４を用いて誘導できる。

【0188】

図１７は組み合わせアフィンマージ候補を誘導するための周辺ブロックを説明するための図である。

【0189】

組み合わせアフィン候補は、周辺ブロックの一般的な動き情報の組み合わせを用いてＣＰＭＶが誘導される候補を意味することができる。各ＣＰ別の動き情報は、現在ブロックの空間周辺ブロック又は時間周辺ブロックを用いて誘導できる。以下の説明において、ＣＰＭＶｋは、ｋ番目のＣＰを代表する動きベクトルを意味することができる。一例として、図１７を参照すると、ＣＰＭＶ１は、Ｂ２、Ｂ３及びＡ２の動きベクトルのうちの利用可能な一番目の動きベクトルとして決定でき、このときのスキャン順序は、Ｂ２、Ｂ３、Ａ２の順であり得る。ＣＰＭＶ２は、Ｂ１及びＢ０の動きベクトルのうちの利用可能な一番目の動きベクトルとして決定でき、このときのスキャン順序はＢ１、Ｂ０の順であり得る。ＣＰＭＶ３は、Ａ１及びＡ０の動きベクトルのうちの利用可能な一番目の動きベクトルとして決定でき、このときのスキャン順序はＡ１、Ａ０の順であり得る。現在ブロックに対してＴＭＶＰ適用が可能である場合、ＣＰＭＶ４は、時間周辺ブロックであるＴの動きベクトルとして決定できる。

【0190】

各ＣＰに対する４つの動きベクトルが誘導された後、これに基づいて組み合わせアフィンマージ候補が誘導できる。組み合わせアフィンマージ候補は、誘導された各ＣＰに対する４つの動きベクトルの中から選択された少なくとも２つの動きベクトルを含んで構成できる。一例として、組み合わせアフィンマージ候補は、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４｝、｛ＣＰＭＶ１，ＣＰＭＶ３，ＣＰＭＶ４｝、｛ＣＰＭＶ２，ＣＰＭＶ３，ＣＰＭＶ４｝、｛ＣＰＭＶ１，ＣＰＭＶ２｝及び｛ＣＰＭＶ１，ＣＰＭＶ３｝の順序に従って少なくとも一つで構成できる。３つの動きベクトルからなる組み合わせアフィン候補は、６－パラメータアフィンモデルのための候補であり得る。これに対し、２つの動きベクトルからなる組み合わせアフィン候補は、４－パラメータアフィンモデルのための候補であり得る。動きベクトルのスケーリング過程を回避するために、ＣＰの参照ピクチャインデックスが異なる場合、関連するＣＰＭＶの組み合わせは、組み合わせアフィン候補の誘導に利用されずに無視できる。

【0191】

現在ブロックに対してアフィンＭＶＰモードが適用される場合、画像符号化装置は、現在ブロックに対する２つ以上のＣＰＭＶ予測子とＣＰＭＶを誘導して、これに基づいてＣＰＭＶ差分（ｄｉｆｆｅｒｅｎｃｅｓ）を誘導することができる。このとき、ＣＰＭＶ差分が符号化装置から復号化装置にシグナリングされることができる。画像復号化装置は、現在ブロックに対するＣＰＭＶ予測子を誘導し、シグナリングされたＣＰＭＶ差分を復元した後、ＣＰＭＶ予測子とＣＰＭＶ差分に基づいて現在ブロックのＣＰＭＶを誘導することができる。

【0192】

一方、現在ブロックに対してアフィンマージモード又はサブブロックベースのＴＭＶＰが適用されていない場合に限って、現在ブロックに対してアフィンＭＶＰモードが適用できる。一方、アフィンＭＶＰモードはアフィンＣＰ ＭＶＰモードと表現されることもできる。

【0193】

現在ブロックに対してアフィンＭＶＰが適用される場合、現在ブロックに対するＣＰＭＶの誘導のために、アファインＭＶＰ候補リスト（ａｆｆｉｎｅ ｍｖｐ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）が構成できる。ここで、アフィンＭＶＰ候補リストは、継承アフィンＭＶＰ候補、組み合わせアフィンＭＶＰ候補、平行移動アフィンＭＶＰ候補、及びゼロＭＶＰ候補のうちの少なくとも一つを含むことができる。

【0194】

このとき、継承アフィンＭＶＰ候補とは、現在ブロックの周辺ブロックがアフィンモードで符号化／復号化される場合、周辺ブロックのＣＰＭＶに基づいて誘導される候補を意味することができる。組み合わせアフィンＭＶＰ候補は、ＣＰ周辺ブロックの動きベクトルに基づいてＣＰＭＶ組み合わせを生成して誘導される候補を意味することができる。ゼロＭＶＰ候補は、値０のＣＰＭＶからなる候補を意味することができる。継承アフィンＭＶＰ候補、組み合わせアフィンＭＶＰ候補の誘導方法及び特徴は、上述した継承アフィン候補及び組み合わせアフィン候補と同様であるので、説明を省略する。

【0195】

アフィンＭＶＰ候補リストの最大候補数が２である場合、組み合わせアフィンＭＶＰ候補、平行移動アフィンＭＶＰ候補、及びゼロＭＶＰ候補は、現在候補数が２未満である場合に追加できる。特に、平行移動アフィンＭＶＰ候補は、次の順序に従って誘導できる。

【0196】

一例として、アフィンＭＶＰ候補リストに含まれている候補の数が２未満であり、組み合わせアフィンＭＶＰ候補のＣＰＭＶ０が有効である場合、ＣＰＭＶ０がアフィンＭＶＰ候補として使用できる。すなわち、ＣＰ０、ＣＰ１、ＣＰ２の動きベクトルが全てＣＰＭＶ０であるアフィンＭＶＰ候補がアファインＭＶＰ候補リストに追加できる。

【0197】

次に、アフィンＭＶＰの候補リストの候補の数が２未満であり、組み合わせアフィンＭＶＰ候補のＣＰＭＶ１が有効である場合、ＣＰＭＶ１がアフィンＭＶＰ候補として使用できる。すなわち、ＣＰ０、ＣＰ１、ＣＰ２の動きベクトルが全てＣＰＭＶ１であるアフィンＭＶＰ候補がアフィンＭＶＰ候補リストに追加できる。

【0198】

次に、アフィンＭＶＰ候補リストの候補の数が２未満であり、組み合わせアフィンＭＶＰ候補のＣＰＭＶ２が有効である場合、ＣＰＭＶ２がアフィンＭＶＰ候補として使用できる。すなわち、ＣＰ０、ＣＰ１、ＣＰ２の動きベクトルが全てＣＰＭＶ２であるアフィンＭＶＰ候補がアフィンＭＶＰ候補リストに追加できる。

【0199】

上述した条件にも拘らず、アフィンＭＶＰ候補リストの候補の数が２未満である場合、現在ブロックのＴＭＶＰ（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）がアフィンＭＶＰ候補リストに追加できる。

【0200】

平行移動アフィンＭＶＰ候補の追加にも拘らず、アフィンＭＶＰ候補リストの候補の数が２未満である場合、ゼロＭＶＰ候補がアフィンＭＶＰ候補リストに追加できる。

【0201】

図１８はアフィンＭＶＰ候補リストを生成する方法を説明するための図である。

【0202】

図１８のフローチャートを参照すると、継承アフィンＭＶＰ候補（Ｓ１６１０）、組み合わせアフィンＭＶＰ候補（Ｓ１６２０）、平行移動アフィンＭＶＰ候補（Ｓ１６３０）、ゼロＭＶＰ候補（Ｓ１６４０）の順にアフィンＭＶＰ候補リストに候補が追加できる。上述したように、ステップＳ１６２０～ステップＳ１６４０は、各ステップでアフィンＭＶＰ候補リストに含まれた候補の数が２未満であるか否かに応じて行われることができる。

【0203】

継承アフィンＭＶＰ候補のスキャン順序は、継承アフィンマージ候補のスキャン順序と同じであり得る。ただし、継承アフィンＭＶＰ候補の場合、現在ブロックの参照ピクチャと同じ参照ピクチャを参照する周辺ブロックのみが考慮できる。継承アフィンＭＶＰ候補をアフィンＭＶＰ候補リストに追加するとき、冗長性チェックは行われないことができる。

【0204】

組み合わせアフィンＭＶＰ候補を誘導するために、図１７に示された空間周辺ブロックのみが考慮できる。また、組み合わせアフィンＭＶＰ候補のスキャン順序は、組み合わせアフィンマージ候補のスキャン順序と同じであり得る。さらに、組み合わせアフィンＭＶＰ候補を誘導するために、周辺ブロックの参照ピクチャインデックスがチェックされ、前記スキャン順序上、インターコードされ且つ現在ブロックの参照ピクチャと同じ参照ピクチャを参照する一番目の周辺ブロックが利用できる。

【0205】

サブブロックベースのＴＭＶＰ（Ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ＴＭＶＰ、ＳｂＴＭＶＰ）モードの概要

【0206】

以下、インター予測モードの一例であるサブブロックベースのＴＭＶＰモードについて詳細に説明する。サブブロックベースのＴＭＶＰモードによれば、現在ブロックに対する動きベクトルフィールド（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ：ＭＶＦ）が誘導されるので、サブブロック単位で動きベクトルが誘導されることができる。

【0207】

従来のＴＭＶＰモードがコーディングユニット単位で行われるのとは異なり、サブブロックベースのＴＭＶＰモードが適用されるコーディングユニットは、サブコーディングユニット単位で動きベクトルに対する符号化／復号化が行われることができる。また、従来のＴＭＶＰモードによれば、コロケートブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）から時間動きベクトルが誘導されるのに対し、サブブロックベースのＴＭＶＰモードは、現在ブロックの周辺ブロックから誘導された動きベクトルが指示する参照ブロックから動きベクトルフィールドが誘導されることができる。以下、周辺ブロックから誘導された動きベクトルを現在ブロックの動きシフト（ｍｏｔｉｏｎ ｓｈｉｆｔ）或いは代表動きベクトルと呼ぶことができる。

【0208】

図１９はサブブロックベースのＴＭＶＰモードの周辺ブロックを説明するための図である。

【0209】

現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用される場合、動きシフトを決定するための周辺ブロックが決定できる。一例として、動きシフトを決定するための周辺ブロックに対するスキャンは、図１９のＡ１、Ｂ１、Ｂ０、Ａ０ブロックの順に行われることができる。他の例として、動きシフトを決定するための周辺ブロックは、現在ブロックの特定の周辺ブロックに制限できる。例えば、動きシフトを決定するための周辺ブロックは、常にＡ１ブロックと決定できる。周辺ブロックがｃｏｌピクチャを参照する動きベクトルを有する場合、当該動きベクトルが動きシフトとして決定できる。動きシフトとして決定された動きベクトルは、時間動きベクトルと呼ばれることもできる。一方、周辺ブロックから上述の動きベクトルが誘導できない場合、動きシフトは（０，０）に設定できる。

【0210】

図２０はサブブロックベースのＴＭＶＰモードに従って動きベクトルフィールドを誘導する方法を説明するための図である。

【0211】

次に、動きシフトが指示するコロケートピクチャ上の参照ブロックが決定できる。例えば、現在ブロックの座標に動きシフトを加算することにより、ｃｏｌピクチャからサブブロックベースの動き情報（動きベクトル、参照ピクチャインデックス）を取得することができる。図２０に示されている例において、動きシフトは、Ａ１ブロックの動きベクトルであると仮定する。現在ブロックに動きシフトを適用することにより、現在ブロックを構成する各サブブロックに対応するｃｏｌピクチャ内のサブブロック（ｃｏｌサブブロック）を特定することができる。その後、ｃｏｌピクチャの対応サブブロック（ｃｏｌサブブロック）の動き情報を用いて、現在ブロックの各サブブロックの動き情報が誘導できる。例えば、対応サブブロックの中央位置から対応サブブロックの動き情報が取得できる。このとき、中央位置は、対応サブブロックの中央に位置する４つのサンプルのうち、右下側サンプルの位置であり得る。もし、現在ブロックに対応するｃｏｌブロックの特定のサブブロックの動き情報が利用可能でない場合、ｃｏｌブロックの中心サブブロックの動き情報が当該サブブロックの動き情報として決定されることができる。対応サブブロックの動き情報が誘導されると、上述したＴＭＶＰ過程と同様に、現在サブブロックの動きベクトルと参照ピクチャインデックスに切り替えられることができる。すなわち、サブブロックベースの動きベクトルが誘導される場合、参照ブロックの参照ピクチャのＰＯＣを考慮して動きベクトルのスケーリングが行われることができる。

【0212】

上述したように、サブブロックに基づいて誘導された現在ブロックの動きベクトルフィールド又は動き情報を用いて現在ブロックに対するサブブロックベースのＴＭＶＰ候補が誘導できる。

【0213】

以下、サブブロック単位で構成されるマージ候補リストをサブブロック単位マージ候補リストと定義する。上述したアフィンマージ候補及びサブブロックベースのＴＭＶＰ候補が併合されてサブブロック単位マージ候補リストが構成できる。

【0214】

一方、現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用できるか否かを指示するサブブロックベースのＴＭＶＰモードフラグが定義できる。これは、シーケンス、ピクチャ、スライス、タイル、タイルグループ、ブリックなど、現在ブロックの上位レベルのうちの少なくとも一つのレベルでシグナリングできる。例えば、サブブロックベースのＴＭＶＰモードフラグは、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇと命名できる。現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用可能である場合、サブブロック単位マージ候補リストにサブブロックベースのＴＭＶＰ候補が先に追加できる。以後、アフィンマージ候補がサブブロック単位マージ候補リストに追加できる。一方、サブブロック単位マージ候補リストに含まれ得る最大候補の数がシグナリングされることができる。一例として、サブブロック単位マージ候補リストに含まれ得る最大候補の数は５であり得る。

【0215】

サブブロック単位マージ候補リストの誘導に使用されるサブブロックのサイズは、シグナリングされるか、或いはＭ×Ｎに既に設定されることができる。例えば、Ｍ×Ｎは８×８であり得る。よって、現在ブロックのサイズが８×８以上である場合にのみ、現在ブロックに対してアフィンモード又はサブブロックベースのＴＭＶＰモードが適用できる。

【0216】

以下、本開示の予測実行方法の一実施例について説明する。以下の予測実行方法は、図４のステップＳ４１０又は図６のステップＳ６３０で行われることができる。

【0217】

予測モードに従って導出された動き情報に基づいて、現在ブロックに対する予測されたブロックを生成することができる。前記予測されたブロック（予測ブロック）は前記現在ブロックの予測サンプル（予測サンプルアレイ）を含むことができる。現在ブロックの動きベクトルが分数サンプル（ｆｒａｃｔｉｏｎａｌ ｓａｍｐｌｅ）単位を指す場合、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順が行われることができ、これにより参照ピクチャ内で分数サンプル単位の参照サンプルに基づいて前記現在ブロックの予測サンプルが導出されることができる。現在ブロックにアフィンインター予測が適用される場合、サンプル／サブブロック単位ＭＶに基づいて予測サンプルを生成することができる。双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、Ｌ０予測（すなわち、参照ピクチャリストＬ０内の参照ピクチャとＭＶＬ０を用いた予測）に基づいて導出された予測サンプルと、Ｌ１予測（すなわち、参照ピクチャリストＬ１内の参照ピクチャとＭＶＬ１を用いた予測）に基づいて導出された予測サンプルの（位相による）加重和又は加重平均によって導出された予測サンプルが現在ブロックの予測サンプルとして用いられることができる。双予測が適用される場合、Ｌ０予測に用いられた参照ピクチャとＬ１予測に用いられた参照ピクチャが現在ピクチャを基準に互いに異なる時間方向に位置する場合（すなわち、双予測でありながら双方向予測に該当する場合）、これをｔｒｕｅ（真）双予測と呼ぶことができる。

【0218】

画像復号化装置において、導出された予測サンプルに基づいて復元サンプル及び復元ピクチャが生成でき、その後、インループフィルタリングなどの手順が行われることができる。また、画像符号化装置において、導出された予測サンプルに基づいてレジデュアルサンプルが導出され、予測情報及びレジデュアル情報を含む画像情報の符号化が行われることができる。

【0219】

ＣＵレベルの重みを用いた双方向予測（Ｂｉ－pｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ、ＢＣＷ）

【0220】

上述したように現在ブロックに双予測が適用される場合、加重平均（ｗｅｉｇｈｔｅｄａｖｅｒａｇｅ）に基づいて予測サンプルを導出することができる。従来は、双予測信号（すなわち、双予測サンプル）はＬ０予測信号（Ｌ０予測サンプル）とＬ１予測信号（Ｌ１予測サンプル）の単純平均を介して導出されることができた。すなわち、双予測サンプルは、Ｌ０参照ピクチャ及びＭＶＬ０に基づくＬ０予測サンプルと、Ｌ１参照ピクチャ及びＭＶＬ１に基づくＬ１予測サンプルとの平均によって導出された。しかし、本開示によれば、双予測が適用される場合、次のようにＬ０予測信号とＬ１予測信号の加重平均を介して双予測信号（双予測サンプル）を導出することができる。

【0221】

【数3】

【0222】

前記数式３において、Ｐ_{ｂｉ－ｐｒｅｄ}は、加重平均によって導出された双予測信号（双予測ブロック）を示し、Ｐ_０とＰ_１は、それぞれＬ０予測サンプル（Ｌ０予測ブロック）とＬ１予測サンプル（Ｌ１予測ブロック）を示す。また、（８－ｗ）とｗは、それぞれＰ_０とＰ_１に適用される重みを示す。

【0223】

加重平均による双予測信号の生成において、５つの重みが許容できる。例えば、重みｗは｛－２，３，４，５，１０｝から選択できる。双予測されたＣＵのそれぞれに対して、重みｗは、２つの方法のうちの一つで決定できる。これらの２つの方法のうちの第１方法として、現在ＣＵがマージモードでない場合（ｎｏｎ－ｍｅｒｇｅ ＣＵ）、動きベクトル差分と共に重みインデックス（ｗｅｉｇｈｔ ｉｎｄｅｘ）がシグナリングされることができる。例えば、ビットストリームは、動きベクトル差分に関する情報の後に重みインデックスに関する情報を含むことができる。これらの２つの方法のうちの第２方法として、現在ＣＵがマージモードである場合（ｍｅｒｇｅ ＣＵ）、重みインデックスはマージ候補インデックス（マージインデックス）に基づいて周辺ブロックから誘導できる。

【0224】

加重平均による双予測信号の生成は、２５６個以上のサンプル（ルマ成分サンプル）を含むサイズのＣＵに対してのみ適用されるように制限できる。すなわち、現在ブロックの幅（ｗｉｄｔｈ）と高さ（ｈｅｉｇｈｔ）の積が２５６以上であるＣＵに対してのみ加重平均による双予測が行われることができる。また、重みｗは、上述したように５つの重みのうちの一つが使用されてもよく、異なる個数の重みのうちの一つが使用されてもよい。例えば、現在画像の特性に応じて、ｌｏｗ－ｄｅｌａｙ ｐｉｃｔｕｒｅに対しては５つの重みが使用され、ｎｏｎ－ｌｏｗ－ｄｅｌａｙ ｐｉｃｔｕｒｅに対しては３つの重みが使用されることができる。このとき、３つの重みは｛３，４，５｝であり得る。

【0225】

画像符号化装置は、ｆａｓｔ ｓｅａｒｃｈ ａｌｇｏｒｉｔｈｍを適用して複雑度を大幅に増加させることなく重みインデックスを決定することができる。この場合、前記ｆａｓｔ ｓｅａｒｃｈ ａｌｇｏｒｉｔｈｍは、次のように要約できる。以下において、不均等重み（ｕｎｅｑｕａｌ ｗｅｉｇｈｔ）とは、Ｐ_０とＰ_１に適用される重みが均等でないことを意味することができる。また、均等重み（ｅｑｕａｌ ｗｅｉｇｈｔ）とは、Ｐ_０とＰ_１に適用される重みが均等であることを意味することができる。

【0226】

－動きベクトルの解像度が適応的に変更されるＡＭＶＲモードが一緒に適用される場合、現在ピクチャがｌｏｗ－ｄｅｌａｙ ｐｉｃｔｕｒｅであれば、１－ｐｅｌ動きベクトル解像度と４－ｐｅｌ動きベクトル解像度のそれぞれに対して不均等重みのみが条件的にチェックできる。

【0227】

－アフィンモードが一緒に適用され、アフィンモードが現在ブロックの最適のモードとして選択された場合、画像符号化装置は、不均等重みのそれぞれに対してａｆｆｉｎｅ ＭＥ（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を行うことができる。

【0228】

－双予測に使用される２つの参照ピクチャが同一である場合、不均等重みのみが条件的にチェックできる。

【0229】

－不均等重みは、所定の条件が満たされた場合、チェックされないことができる。前記所定の条件は、現在ピクチャと参照ピクチャとのＰＯＣ距離（ＰＯＣ ｄｉｓｔａｎｃｅ）、量子化パラメータ（ＱＰ）、時間レベル（ｔｅｍｐｏｒａｌ ｌｅｖｅｌ）などに基づく条件であり得る。

【0230】

ＢＣＷの重みインデックスは、一つのコンテキスト符号化ビン（ｂｉｎ）と後続する一つ以上のバイパス符号化ビン（ｂｙｐａｓｓ ｃｏｄｅｄ ｂｉｎｓ）を用いて符号化できる。一番目のコンテキスト符号化ビンは、均等重み（ｅｑｕａｌ ｗｅｉｇｈｔ）が使用されるか否かを指示する。不均等重みが使用される場合、追加ビンがバイパス符号化されてシグナリングされることができる。追加ビンは、どの重みが使用されるかを指示するためにシグナリングされることができる。

【0231】

加重予測（ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ、ＷＰ）は、フェージング（ｆａｄｉｎｇ）を含む画像を効率よく符号化するためのツールである。加重予測によれば、参照ピクチャリストＬ０とＬ１のそれぞれに含まれた各参照ピクチャに対して重み付けパラメータ（重み及びオフセット）がシグナリングされることができる。次に、動き補償が行われるとき、重み（ら）及びオフセット（ら）が、対応する参照画像（ら）に適用され得る。荷重予測とＢＣＷは、互いに異なるタイプの画像に対して使用できる。加重予測とＢＣＷとの間の相互作用を避けるために、加重予測を使用するＣＵに対しては、ＢＣＷ重みインデックスはシグナリングされないことができる。この場合、重みは４と推論できる。すなわち、均等重みが適用できる。

【0232】

マージモードが適用されたＣＵの場合、重みインデックスは、マージ候補インデックスに基づいて周辺ブロックから推論できる。これは、通常のマージモードと継承アフィンマージモードの両方に対して適用できる。

【0233】

組み合わせアフィンマージモードの場合、最大３つのブロックの動き情報に基づいてアフィン動き情報が構成できる。この場合、組み合わせアフィンマージモードを使用するＣＵに対するＢＣＷ重みインデックスを誘導するために、次の過程が行われることができる。

【0234】

（１）まず、ＢＣＷ重みインデックス｛０，１，２，３，４｝の範囲を３つのグループ｛０｝、｛１，２，３｝及び｛４｝に分割することができる。もしすべてのＣＰのＢＣＷ重みインデックスが同じグループから導出される場合、ＢＣＷ重みインデックスは、以下のステップ（２）によって誘導できる。そうでなければ、ＢＣＷ重みインデックスは２に設定できる。

【0235】

（２）少なくとも二つのＣＰが同じＢＣＷ重みインデックスを有する場合、前記同じＢＣＷ重みインデックスが組み合わせアフィンマージ候補の重みインデックスとして割り当てられることができる。そうでなければ、組み合わせアフィンマージ候補の重みインデックスは２に設定できる。

【0236】

Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ（ＢＤＯＦ）

【0237】

本開示によれば、双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）信号をリファイン（改善）するためにＢＤＯＦが使用できる。ＢＤＯＦは、現在ブロック（ｅｘ．ＣＵ）に双予測が適用される場合、改善された動き情報を計算して予測サンプルを生成するためのものである。よって、ＢＤＯＦを適用して改善された動き情報を計算する過程は、上述した動き情報導出ステップに含まれてもよい。

【0238】

例えば、ＢＤＯＦは、４×４サブブロックレベルで適用できる。すなわち、ＢＤＯＦは、現在ブロック内の４×４サブブロック単位で行われることができる。

【0239】

ＢＯＤＦは、例えば、次の条件を満たすＣＵに対して適用できる。

【0240】

１）ＣＵの高さが４ではなく、ＣＵのサイズが４×８でない場合

【0241】

２）ＣＵがアフィンモード又はＡＴＭＶＰマージモードでない場合

【0242】

３）ＣＵがｔｒｕｅ双予測モードで符号化された場合、すなわち、２つの参照ピクチャのうち、いずれか一つは時間順序が現在ピクチャに先行し、もう一つは時間順序が現在ピクチャに後行する場合

【0243】

また、ＢＤＯＦはルマ成分に対してのみ適用できる。しかし、これに限定されず、ＢＤＯＦは、クロマ成分に対してのみ適用されてもよく、ルマ成分及びクロマ成分の両方に対して適用されてもよい。

【0244】

ＢＤＯＦモードはオプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）の概念に基づく。すなわち、オブジェクトの動きがスムーズ（ｓｍｏｏｔｈ）であると仮定する。ＢＤＯＦが適用される場合、それぞれの４×４サブブロックに対して、改善された動きベクトル（ｍｏｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ）（ｖ_ｘ，ｖ_ｙ）が計算できる。改善された動きベクトルは、Ｌ０予測サンプルとＬ１予測サンプルとの差を最小化することにより計算できる。改善された動きベクトルは、４×４サブブロック内の双予測されたサンプル値を調整（ａｄｊｕｓｔ）するのに利用できる。

【0245】

以下、ＢＤＯＦが行われる過程をより具体的に説明する。

【0246】

まず、２つの予測信号の水平グラジエント（ｇｒａｄｉｅｎｔ）

と垂直グラジエント

が計算できる。このとき、ｋは０又は１であり得る。前記グラジエントは、２つの隣接しているサンプル同士間の差を直接計算することにより、下記数式４のように計算できる。

【0247】

【数4】

【0248】

上記数式４中、Ｉ^（ｋ）（ｉ，ｊ）は、リストｋ（ｋ＝０、１）内の予測信号の座標（ｉ，ｊ）のサンプル値を意味する。例えば、Ｉ^（０）（ｉ，ｊ）はＬ０予測ブロック内の（ｉ，ｊ）位置のサンプル値を意味し、Ｉ^（１）（ｉ，ｊ）はＬ１予測ブロック内の（ｉ，ｊ）位置のサンプル値を意味することができる。

【0249】

上記数式４中、２つのサンプルの差は４だけ右シフト（ｒｉｇｈｔ ｓｈｉｆｔ）される。しかし、これに限定されず、右シフトされる量（ｓｈｉｆｔ１）は、ルマ成分のビット深さに基づいて決定できる。例えば、ルマ成分のビット深さをｂｉｔＤｅｐｔｈとするとき、ｓｈｉｆｔ１はｍａｘ（６，ｂｉｔＤｅｐｔｈ－６）と決定できる。又は、単純に固定された値６と決定されることもできる。上記数式４において、グラジエント計算のために先に２つのサンプルの差を計算した後、差異値に右シフト演算を適用した。しかし、これに限定されず、２つのサンプルの値に右シフト演算を適用した後、右シフト演算された値の差異を計算することにより、グラジエントを計算することもできる。

【0250】

上述したようにグラジエントが計算された後、グラジエント間の自己相関（ａｕｔｏ－ｃｏｒｒｅｌａｔｉｏｎ）及び交差相関（ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ）Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_５およびＳ_６が次のように計算できる。

【0251】

【数5】

【0252】

上述したグラジエント間の自己相関及び交差相関を利用して改善された動きベクトル（ｖ_ｘ，ｖ_ｙ）が次のように誘導できる。

【0253】

【数6】

【0254】

前記誘導された、改善された動きベクトル及びグラジエントに基づいて、４×４サブブロック内の各サンプルに対して次のように調整が行われることができる。

【0255】

【数7】

【0256】

最終的に、ＣＵの双予測サンプルを次のように調整することにより、ＢＤＯＦが適用されたＣＵの予測サンプル（ｐｒｅｄ_ＢＤＯＦ）を計算することができる。

【0257】

【数8】

【0258】

上記数式において、ｎ_ａ、ｎ_ｂ及びｎ_Ｓ２はそれぞれ３、６及び１２であり得る。これらの値は、ＢＤＯＦ過程における乗数（ｍｕｌｔｉｐｌｉｅｒ）が１５ビットを超えず、中間パラメータ（ｉｎｔｅｒｍｅｄｉａｔｅ ｐａｒａｍｅｔｅｒｓ）のビット幅（ｂｉｔ－ｗｉｄｔｈ）が３２ビット以内に維持できるように選択され得る。

【0259】

グラジエント値を誘導するために、現在ＣＵの外部に存在するリストｋ（ｋ＝０、１）内の予測サンプルＩ^（ｋ）（ｉ，ｊ）が生成できる。図２１はＢＤＯＦを行うために拡張されたＣＵを示す図である。

【0260】

図２１に示されているように、ＢＤＯＦを行うために、ＣＵの境界周辺に拡張された行／列が使用できる。境界外の予測サンプルを生成するための計算の複雑度を制御するために、拡張領域（図２１の白色領域）内の予測サンプルは、双線形フィルタ（ｂｉｌｉｎｅａｒ ｆｉｌｔｅｒ）を用いて生成され、ＣＵ（図２１の灰色領域）内の予測サンプルは、通常の８－ｔａｐ動き補償補間フィルタ（ｎｏｒｍａｌ ８－ｔａｐ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ）を用いて生成できる。前記拡張された位置のサンプル値は、グラジエント計算にのみ使用できる。ＢＤＯＦ過程の残りのステップを行うために、ＣＵ境界の外側に位置するサンプル値及び／又はグラジエント値が必要な場合、最も隣接している隣接サンプル値及び／又はグラジエント値をパディング（反復）して使用することができる。

【0261】

ＣＵの幅及び／又は高さが１６ルマサンプルより大きい場合、当該ＣＵは、幅及び又は高さが１６ルマサンプルであるサブブロックに分割されることができる。各サブブロックの境界は、ＢＤＯＦ過程で上述したＣＵ境界と同一に取り扱われることができる。ＢＤＯＦ過程が行われる最大ユニットサイズは１６×１６に制限できる。

【0262】

現在ブロックに対してＢＣＷが利用可能である場合、例えば、ＢＣＷ重みインデックスが不均等重みを指示する場合、ＢＤＯＦは適用されないことができる。同様に、現在ブロックに対してＷＰが利用可能である場合、例えば、２つの参照ピクチャのうちの少なくとも一つに対するｌｕｍａ＿ｗｅｉｇｈｔ＿ｌｘ＿ｆｌａｇが１である場合、ＢＤＯＦは適用されない可能性がある。このとき、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌｘ＿ｆｌａｇは、ｌｘ予測（ｘは０または１）のルマ成分に対するＷＰの重み係数（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒｓ）がビットストリームに存在するか否かを指示する情報であり得る。或いは、ｌｘ予測のルマ成分に対してＷＰが適用されるか否かを指示する情報であり得る。ＣＵがＳＭＶＤモードで符号化された場合、ＢＤＯＦは適用されない可能性がある。

【0263】

Ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ（ＰＲＯＦ）

【0264】

以下、オプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）を適用してサブブロックベースのアフィン動き補償予測されたブロックを改善する方法について説明する。サブブロックベースのアフィン動き補償（ｓｕｂ－ｂｌｏｃｋ ｂａｓｅｄ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）が行われて生成された予測サンプルは、オプティカルフロー方程式によって誘導された差異に基づいて改善できる。このような予測サンプルの改善は、本開示においてオプティカルフローを用いた予測改善（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ（ＰＲＯＦ））と呼ばれることができる。ＰＲＯＦは、メモリアクセスの帯域幅を増やすことなく、ピクセルレベル粒度（ｇｒａｎｕｌａｒｉｔｙ）のインター予測を達成することができる。

【0265】

アフィン動きモデルのパラメータは、ＣＵ内の各ピクセルの動きベクトルを誘導するのに利用できる。しかしながら、ピクセルベースのアフィン動き補償予測は、高い複雑度とメモリアクセスの帯域幅の増加を引き起こすので、サブブロックベースのアフィン動き補償予測が行われることができる。サブブロックベースのアフィン動き補償予測が行われる場合、ＣＵは、４×４サブブロックに分割され、サブブロックごとに動きベクトルが決定され得る。このとき、各サブブロックの動きベクトルは、ＣＵのＣＰＭＶから誘導できる。サブブロックベースのアフィン動き補償は、符号化効率と複雑度及びメモリアクセスの帯域幅との間にトレードオフ関係を有する。サブブロック単位で動きベクトルを誘導するので、複雑度及びメモリアクセスの帯域幅は減少するものの、予測精度は低くなる。

【0266】

したがって、サブブロックベースのアフィン動き補償予測にオプティカルフローを適用して改善することにより、向上した粒度の動き補償を達成することができる。

【0267】

上述したように、サブブロックベースのアフィン動き補償が行われた後、オプティカルフロー方程式によって誘導された差異を加えることにより、ルマ予測サンプルが改善できる。より具体的に、ＰＲＯＦは、次の４ステップで行われることができる。

【0268】

ステップ１）サブブロックベースのアフィン動き補償が行われることで、予測されたサブブロックＩ（ｉ，ｊ）が生成される。

【0269】

ステップ２）予測されたサブブロックの空間グラジエント（ｓｐａｔｉａｌ ｇｒａｄｉｅｎｔｓ）ｇ_ｘ（ｉ，ｊ）及びｇ_ｙ（ｉ，ｊ）が各サンプル位置で計算される。このとき、３タップフィルタが使用でき、フィルタ係数は［-１，０，１］であり得る。例えば、空間グラジエントは、次のように計算できる。

【0270】

【数9】

【0271】

グラジエントを計算するために、予測されたサブブロックは、それぞれの側面で１ピクセルだけ拡張できる。この場合、メモリ帯域幅と複雑度を減らすために、拡張された境界のピクセルは、参照ピクチャ内の最も近い整数ピクセルからコピーできる。よって、パディング領域に対する付加的な補間は省略できる。

【0272】

ステップ３）ルマ予測の改善量（ｌｕｍａ ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ）（ΔＩ（ｉ，ｊ））をオプティカルフロー方程式によって計算できる。例えば、次の数式が使用できる。

【0273】

【数10】

【0274】

上記数式において、Δｖ（ｉ，ｊ）は、サンプル位置（ｉ，ｊ）で計算されたピクセル動きベクトル（ｐｉｘｅｌ ＭＶ、ｖ（ｉ，ｊ））とサンプル（ｉ，ｊ）の属するサブブロックのサブブロック動きベクトル（ｓｕｂ－ｂｌｏｃｋ ＭＶ）との差を意味する。

【0275】

図２２はΔｖ（ｉ，ｊ）、ｖ（ｉ，ｊ）とサブブロック動きベクトルとの関係を示す図である。

【0276】

図２２に示されている例において、例えば、現在サブブロックの左上側サンプル位置の動きベクトルｖ（ｉ，ｊ）と現在サブブロックの動きベクトルｖ_ＳＢとの差が太い破線矢印で表現でき、太い破線矢印が示すベクトルはΔｖ（ｉ，ｊ）に対応することができる。

【0277】

アフィンモデルパラメータと、サブブロックの中心からのピクセル位置は変更されない。よって、Δｖ（ｉ，ｊ）は、一番目のサブブロックに対してのみ計算され、同じＣＵ内の異なるサブブロックに対して再使用できる。ピクセル位置からサブブロックの中心までの水平オフセット及び垂直オフセットをそれぞれｘ及びｙとするとき、Δｖ（ｘ，ｙ）は次のように誘導できる。

【0278】

【数11】

【0279】

上記において、（ｖ_０ｘ，ｖ_０ｙ）、（ｖ_１ｘ，ｖ_１ｙ）及び（ｖ_２ｘ，ｖ_２ｙ）は、左上側ＣＰＭＶ、右上側ＣＰＭＶ及び左下側ＣＰＭＶに該当し、ｗ及びｈは、ＣＵの幅及び高さを意味する。

【0280】

ステップ４）最後に、計算されたルマ予測の改善量ΔＩ（ｉ，ｊ）と予測されたサブブロックＩ（ｉ，ｊ）に基づいて最終予測ブロックＩ’（ｉ，ｊ）を生成することができる。例えば、最終予測ブロックＩ'は、次のように生成できる。

【0281】

【数12】

【0282】

上述したように、インター予測過程でＢＤＯＦが適用されて動き補償過程で参照サンプルを改善することにより、画像の圧縮性能を高めることができる。ＢＤＯＦは一般モードのときに行われることができる。すなわち、アフィンモード、ＧＰＭモード、ＣＩＩＰモードなどである場合、ＢＤＯＦは行われない。

【0283】

アフィンモードで符号化されたブロックに対しては、ＢＤＯＦと類似の方法でＰＲＯＦが行われることができる。上述したように、ＰＲＯＦを介して各４×４サブブロック内の参照サンプルを改善することにより、画像の圧縮性能を高めることができる。

【0284】

ＰＲＯＦとＢＤＯＦはいずれもオプティカルフローの特性を利用するので、ＢＤＯＦの適用条件と同様の条件に応じてＰＲＯＦの適用有無を決定することができる。また、本開示によれば、ＷＰとＢＣＷに対する多様な実施例が提供できる。

【0285】

本開示において、任意の情報（例えば、フラグ）がｔｒｕｅ（真）に設定又は誘導されることは、当該情報が第１値（例えば「１」）に誘導されることを意味することができる。また、任意の情報がｔｒｕｅに設定される場合、当該情報が指示するプロセス（例えば、ＢＤＯＦ、ＰＲＯＦ、ＷＰなど）が行われることを指示することができる。逆に、本開示において任意の情報（例えば、フラグ）がｆｌａｓｅ（偽）に設定又は誘導されることは、当該情報が第２値（例えば「０」）に誘導されることを意味することができる。また、任意の情報がｆａｌｓｅに設定される場合、当該情報が指示するプロセスが行われないことを指示することができる。

【0286】

ＢＤＯＦは、次のように様々な条件を満たすとき、ｂｄｏｆＦｌａｇがｔｒｕｅに設定されて動き補償過程でＢＤＯＦが行われることができる。

【0287】

【表1】

【0288】

上記表１に記載されたＢＤＯＦの実行条件は、下記表２のように記述できる。

【0289】

【表2】

【0290】

しかし、ＢＤＯＦが行われるための条件は、上記表１及び表２の例に限定されず、これらの条件の一部は省略可能である。また、これらの条件以外の他の条件も付加的に考慮されることもできる。

【0291】

上記条件に応じて現在ブロックにＢＤＯＦが適用されない場合、例えば、現在ブロックの予測モードがアフィンモードである場合、ＢＤＯＦと同様にＰＲＯＦが適用できる。例えば、現在ブロックの予測モードがアフィンモードである場合、ＰＲＯＦを適用するか否か（ｃｂＰｒｏｆＦｌａｇＬＸ）を決定し、ｃｂＰｒｏｆＦｌａｇＬＸがｔｕｒｅであるとき、ＰＲＯＦを行うことができる。

【0292】

ＢＤＯＦは、オプティカルフローの特徴を用いてサンプルのオフセットを決定する。したがって、参照ピクチャ間の明るさ値が異なる場合、すなわち、ＢＣＷ又はＷＰ（ｗｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、ＢＤＯＦを行わない。しかし、ＰＲＯＦは、オプティカルフローの特徴を用いてサンプルのオフセットを誘導するにも拘らず、ＢＣＷ又はＷＰの適用有無を考慮せずに行われることができる。

【0293】

本開示の一実施例によれば、ＢＤＯＦとＰＲＯＦとのデザイン観点からの調和のために、ＢＣＷ又はＷＰが適用されるブロックに対してＰＲＯＦを適用しないことができる。例えば、ＢｃｗＩｄｘが０でないか、或いはｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ［ｒｅｆＩｄｘＬ０］が１であるか、或いはｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ［ｒｅｆＩｄｘＬ１］が１であるとき、ＰＲＯＦを適用するか否かを指示する情報ｃｂＰｒｏｆＦｌａｇＬＸがｆａｌｓｅに設定されることができる。ＢｃｗＩｄｘが０でないことは、現在ブロックにＢＣＷが適用されることを意味し、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌＸ＿ｆｌａｇ［ｒｅｆＩｄｘＬＸ］（Ｘ＝０又は１）が１であることは、現在ブロックにＷＰが適用されることを意味することができる。本開示において、ＢｃｗＩｄｘが０であることは、均等重みが適用されることを意味し、すなわち、Ｌ０予測ブロックとＬ１予測ブロックの平均（ａｖｅｒａｇｅ ｓｕｍ）で双方向予測ブロックが生成されることを意味することができる。したがって、ｃｂＰｒｏｆＦｌａｇＬＸを設定するとき、上記条件を追加することにより、現在ブロックにＢＣＷ又はＷＰが適用される場合、ＰＲＯＦを適用しないように制御することができる。

【0294】

下記表は、本開示によってｃｂＰｒｏｆＦｌａｇＬＸを設定する一例を示し、下線部分が前記追加された条件を示す。

【0295】

【表3】

【0296】

下記表は、本開示によってｃｂＰｒｏｆＦｌａｇＬＸを設定する他の例を示し、下線部分が前記追加された条件を示す。

【0297】

【表4】

【0298】

上述したように、現在ブロックに対するＰＲＯＦの適用有無が決定できる。例えば、ｃｂＰｒｏｆＦｌａｇＬＸ（Ｘ＝０又は１）は、Ｌ０予測方向又はＬ１予測方向に対するＰＲＯＦの適用有無を示すことができ、表３の方法によれば、ｂｃｗＩｄｘ、ｌｕｍａ＿ｗｉｇｈｔｅｄ＿ｌ０＿ｆｌａｇ、及び／又はｌｕｍａ＿ｗｉｇｈｔｅｄ＿ｌ１＿ｆｌａｇのうちの少なくとも一つに基づいて前記ｃｂＰｒｏｆＦｌａｇＬＸが決定できる。他の例として、表４の方法によれば、ｂｃｗＩｄｘ、ｓｌｉｃｅ＿ｔｙｐｅ、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ、及び／又はｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇのうちの少なくとも一つに基づいて前記ｃｂＰｒｏｆＦｌａｇＬＸが決定できる。前記ｓｌｉｃｅ＿ｔｙｐｅは、現在ピクチャの属する現在スライスのスライスタイプを示し、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇは、当該ＰＰＳを参照するＰスライスにＷＰが適用されるか否かを示すＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）パラメータであり、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇは、当該ＰＰＳを参照するＢスライスにＷＰが適用されるか否かを示すＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）パラメータである。

【0299】

本開示の他の実施例によれば、ＰＲＯＦは、ＢＣＷ或いはＷＰ（ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）が行われる場合に適用できる。

【0300】

一般に、ＢＣＷ重みインデックス（ｂｃｗ＿ｉｄｘ）は、ＷＰが利用可能でない場合にのみシグナリングされる。よって、ｂｃｗ＿ｉｄｘとＷＰの重み係数は同時にシグナリングされない。下記表は、ｂｃｗ＿ｉｄｘをシグナリングするシンタックス構造の一例を示す。

【0301】

【表5】

【0302】

上記表５によれば、ｂｃｗ＿ｉｄｘがシグナリングされる条件であって、当該ＣＵの参照ピクチャインデックス（ｒｅｆ＿ｉｄｘ＿ｌ０、ｒｅｆ＿ｉｄｘ＿ｌ１）が指す参照ピクチャの加重予測フラグ（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ ）が全て０であるかをチェックする。よって、表５によれば、ＰＰＳから伝送されるＷＰ適用フラグ（例えば、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ及び／又はｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅ＿ｆｌａｇ）がＴＲＵＥであっても、特定の参照ピクチャインデックスの加重予測フラグが０である場合、ｂｃｗ＿ｉｄｘがシグナリングされることができる。すなわち、表５の例によれば、ＷＰが適用されるにも拘らず、ｂｃｗ＿ｉｄｘがシグナリングされることができる。

【0303】

図２３は本開示によってＰＲＯＦ、ＢＣＷ、ＷＰ及び／又はａｖｅｒａｇｅ ｓｕｍを行う一例を示すフローチャートである。

【0304】

図２３を参照すると、まず、現在ブロックに対してＰＲＯＦを適用するか否かを示すｃｂＰｒｏｆＦｌａｇ（例えば、ｃｂＰｒｏｆＦｌａｇＬＸ）が誘導できる（Ｓ２３１０）。ｃｂＰｒｏｆＦｌａｇは、本開示に記載された多様な方法に基づいて誘導できる。

【0305】

その後、ステップＳ２３２０で、ｃｂＰｒｏｆＦｌａｇがＴＲＵＥであるか否かを確認し、ＴＲＵＥである場合、ステップＳ２３３０で現在ブロックに対してＰＲＯＦが行われることができる。ＰＲＯＦは上述した方法によって行われることができる。ＰＲＯＦの実行結果、現在ブロックに対する改善された予測サンプルを得ることができる。ステップＳ２３２０で、ｃｂＰｒｏｆＦｌａｇがＦａｌｓｅである場合、ステップＳ２３３０はスキップできる。

【0306】

次いで、ステップＳ２３４０で、現在ブロックに対して加重予測（ＷＰ）を適用するか否かを示すｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが誘導され、その値がＴＲＵＥであるか否かを確認することができる。ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇを誘導する方法については後述する。ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがＴＲＵＥである場合、現在ブロックに対して加重予測を適用すると決定し、現在ブロックに対して加重予測が行われることができる（Ｓ２３５０）。現在ブロックに対する加重予測は、現在ブロックの参照ピクチャに対する重み付けパラメータ（重みとオフセット）に基づいて行われることができる。上述したように、参照ピクチャに対する重み付けパラメータはビットストリームを介して明示的にシグナリングされることができる。

【0307】

ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがＦａｌｓｅである場合、現在ブロックに対して加重予測を適用しないと決定し、ｂｃｗＩｄｘが０であるか否かを確認することができる（Ｓ２３６０）。ｂｃｗＩｄｘは、現在ブロックの予測モードによって異なるように誘導できる。例えば、現在ブロックの予測モードがスキップモード又はマージモードである場合、現在ブロックに対するｂｃｗＩｄｘは、現在ブロックのマージ候補インデックスが指示するマージ候補に対するｂｃｗＩｄｘに誘導されることができる。現在ブロックの予測モードがマージモードでない場合、例えば、ＭＶＰモードである場合、現在ブロックに対するｂｃｗＩｄｘは、ビットストリームを介してシグナリングされるシンタックス要素ｂｃｗ＿ｉｄｘをパーシングして復元することができる。もしビットストリームを介してｂｃｗ＿ｉｄｘがシグナリングされない場合、ｂｃｗＩｄｘ値は０に推定できる。ｂｃｗＩｄｘが０である場合、現在ブロックに対してＢＣＷが適用されないことを指示することができる。上述したように、ｂｃｗＩｄｘが０であることは、均等重みが適用されることを意味し、すなわち、Ｌ０予測ブロックとＬ１予測ブロックの平均（ａｖｅｒａｇｅ ｓｕｍ）で双方向予測ブロックが生成されることを意味することができる。

【0308】

ステップＳ２３６０で、ｂｃｗＩｄｘが０でない場合、現在ブロックに対してＢＣＷが適用されると決定し、ｂｃｗＩｄｘが指示する重みに基づいて現在ブロックに対してＢＣＷを行うことができる（Ｓ２３７０）。ステップＳ２３６０で、ｂｃｗＩｄｘが０である場合、現在ブロックに対してＢＣＷが適用されないと決定し、現在ブロックに対してａｖｅｒａｇｅ ｓｕｍを行うことができる（Ｓ２３８０）。

【0309】

表６は本開示によってｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇを誘導し、それによりＷＰ又はＢＣＷを行う一例を示す。

【0310】

【表6】

【0311】

表６の方法によれば、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、現在ブロックの属する現在スライスのスライスタイプと、ＰＰＳを介してシグナリングされるＷＰ適用フラグ（例えば、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇ）に基づいて誘導されることができる。具体的には、現在ブロックのスライスタイプがＰスライスである場合、ｗｅｉｇｈｔｅｄＰｒｅｄｆｌａｇは、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇの値に決定されることができる。また、現在ブロックのスライスタイプがＢスライスである場合、ｗｅｉｇｈｔｅｄＰｒｅｄｆｌａｇは、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇの値に決定されることができる。

【0312】

表６の方法によれば、上述したように決定されたｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｆａｌｓｅである場合、ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われ、ｂｃｗＩｄｘが０でない場合、ＢＣＷ又はｂｃｗＩｄｘが０である場合、ａｖｅｒａｇｅ ｓｕｍが行われることができる。また、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｔｒｕｅである場合、シグナリングされた重み付けパラメータに基づいてｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる。

【0313】

表６の方法によれば、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、各参照ピクチャに対する加重予測フラグ（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ）でない現在スライスのスライスタイプと、ＰＰＳ情報のみで決定されるのに対し、ｂｃｗ＿ｉｄｘは、表５に示すように、各参照ピクチャに対する加重予測フラグ（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ）に基づいてシグナリングされることができる。

【0314】

したがって、表６の方法に従ってｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがＴＲＵＥと決定された場合にも、ｂｃｗ＿ｉｄｘがシグナリングされることができる。このとき、ｂｃｗ＿ｉｄｘが０（ｄｅｆａｕｌｔ）でない場合にも、常にＷＰ（ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）を行うことになる。

【0315】

図２３及び表５、表６を参照して説明した実施例は、ｂｃｗ＿ｉｄｘがｄｅｆａｕｌｔでない場合にも、ＷＰが行われる問題を含み、以下、かかる問題を解決するための本開示の他の実施例を説明する。

【0316】

図２４は本開示によってＰＲＯＦ、ＢＣＷ、ＷＰ及び／又はａｖｅｒａｇｅ ｓｕｍを行う他の例を示すフローチャートである。

【0317】

図２４を参照すると、まず、現在ブロックに対してＰＲＯＦを適用するか否かを示すｃｂＰｒｏｆＦｌａｇが誘導できる（Ｓ２４１０）。ｃｂＰｒｏｆＦｌａｇは、本開示に記載された多様な方法に基づいて誘導できる。

【0318】

その後、ステップＳ２４２０で、ｃｂＰｒｏｆＦｌａｇがＴＲＵＥであるか否かを確認し、ＴＲＵＥである場合、ステップＳ２４３０で現在ブロックに対してＰＲＯＦが行われることができる。ＰＲＯＦは上述した方法によって行われることができる。ＰＲＯＦの実行結果、現在ブロックに対する改善された予測サンプルを得ることができる。ステップＳ２４２０で、ｃｂＰｒｏｆＦｌａｇがＦａｌｓｅである場合、ステップＳ２４３０はスキップされることができる。

【0319】

その後、ステップＳ２４４０で、ｂｃｗＩｄｘが０であるか否かを確認することができる。ｂｃｗＩｄｘは、現在ブロックの予測モードによって異なるように誘導されることができる。例えば、現在ブロックの予測モードがスキップモード又はマージモードである場合、現在ブロックに対するｂｃｗＩｄｘは、現在ブロックのマージ候補インデックスが指示するマージ候補に対するｂｃｗＩｄｘに誘導されることができる。現在ブロックの予測モードがマージモードでない場合、例えば、ＭＶＰモードである場合、現在ブロックに対するｂｃｗＩｄｘは、ビットストリームを介してシグナリングされるシンタックス要素ｂｃｗ＿ｉｄｘをパーシングして復元することができる。もしビットストリームを介してｂｃｗ＿ｉｄｘがシグナリングされない場合、ｂｃｗＩｄｘ値は０に推論できる。ステップＳ２４４０で、ｂｃｗＩｄｘが０でない場合、現在ブロックに対してＢＣＷが適用されると決定し、ｂｃｗＩｄｘが指示する重みに基づいて現在ブロックに対してＢＣＷを行うことができる（Ｓ２４５０）。

【0320】

ステップＳ２４４０で、ｂｃｗＩｄｘが０である場合、現在ブロックに対してＢＣＷが適用されないと決定し、その後、ステップＳ２４６０で、現在ブロックに対して加重予測（ＷＰ）を適用するか否かを示すｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがＴＲＵＥであるか否かを確認することができる。

【0321】

ステップＳ２４６０で、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがＴＲＵＥである場合、現在ブロックに対して加重予測を適用すると決定し、現在ブロックに対して加重予測が行われることができる（Ｓ２４７０）。現在ブロックに対する加重予測は、現在ブロックの参照ピクチャに対する重み付けパラメータ（重みとオフセット）に基づいて行われることができる。上述したように、参照ピクチャに対する重み付けパラメータは、ビットストリームを介して明示的にシグナリングされることができる。

【0322】

ステップＳ２４６０で、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがＦａｌｓｅである場合、現在ブロックに対して加重予測を適用しないと決定し、現在ブロックに対してａｖｅｒａｇｅ ｓｕｍを行うことができる（Ｓ２４８０）。

【0323】

図２４を参照して説明した実施例によれば、現在ブロックに対してｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ（ＷＰ）とＢＣＷの両方が適用可能な場合、ＢＣＷを優先して適用することができる。

【0324】

表７は本開示によってｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇを誘導し、それによりＷＰ又はＢＣＷを行う他の例を示す。

【0325】

【表7】

【0326】

ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇを誘導する方法は、表６の方法と表７の方法が同じであるので、具体的な説明は省略する。表７の方法によれば、上述のように決定されたｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｆａｌｓｅであるか、或いはｂｃｗＩｄｘが０でない場合、ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われ、ｂｃｗＩｄｘ値に応じてＢＣＷ又はａｖｅｒａｇｅ ｓｕｍが行われることができる。また、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｔｒｕｅであり、ｂｃｗＩｄｘが０である場合、シグナリングされた重み付けパラメータに基づいてｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる。

【0327】

表７の方法によれば、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｔｒｕｅであり、ｂｃｗＩｄｘが０でない場合、すなわち、現在ブロックに対してｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ（ＷＰ）とＢＣＷの両方が適用可能な場合、ＢＣＷを優先して適用することができる。

【0328】

図２５は表７の方法によってＢＣＷ又はＷＰを行う一例を示すフローチャートである。

【0329】

まず、現在ブロックの属する現在スライスのスライスタイプが判断できる（Ｓ２５１０）。スライスタイプがＰスライスである場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇに誘導されることができる（Ｓ２５２０）。スライスタイプがＢスライスである場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇはｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇに誘導されることができる（Ｓ２５３０）。

【0330】

その後、ステップＳ２５４０で、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが０であるか或いはＢｃｗＩｄｘが０でないかが判断できる。ｂｃｗＩｄｘは、現在ブロックの予測モードによって異なるように誘導できる。例えば、現在ブロックの予測モードがスキップモード又はマージモードである場合、現在ブロックに対するｂｃｗＩｄｘは、現在ブロックのマージ候補インデックスが指示するマージ候補に対するｂｃｗＩｄｘに誘導されることができる。現在ブロックの予測モードがマージモードでない場合、例えばＭＶＰモードである場合、現在ブロックに対するｂｃｗＩｄｘは、ビットストリームを介してシグナリングされるシンタックス要素ｂｃｗ＿ｉｄｘをパーシングして復元することができる。もしビットストリームを介してｂｃｗ＿ｉｄｘがシグナリングされない場合、ｂｃｗＩｄｘ値は０と推論できる。

【0331】

ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが０であるか或いはＢｃｗＩｄｘが０でない場合、ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる（Ｓ２５５０）。このとき、ＢｃｗＩｄｘが０である場合、ステップＳ２３８０又はステップＳ２４８０で説明したａｖｅｒａｇｅ ｓｕｍが行われることができる。ＢｃｗＩｄｘが０でない場合、ステップＳ２３７０又はステップＳ２４５０で説明されたＢＣＷが行われることができる。

【0332】

ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが０ではなく、ＢｃｗＩｄｘが０である場合、ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる（Ｓ２５６０）。このとき、ステップＳ２３５０又はステップＳ２４７０で説明したＷＰが行われることができる。

【0333】

表８は本開示によってｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇを誘導し、それによりＷＰ又はＢＣＷを行う別の例を示す。

【0334】

【表8】

【0335】

表８の方法によれば、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、ｂｃｗＩｄｘをさらに考慮して誘導できる。具体的には、現在ブロックに対するｂｃｗＩｄｘが０でない場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇはｆａｌｓｅに誘導できる。現在ブロックに対するｂｃｗＩｄｘが０である場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、表６の方法に従って現在ブロックの属する現在スライスのスライスタイプと、ＰＰＳを介してシグナリングされるＷＰ適用フラグ（例えば、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇ）に基づいて誘導できる。表８の方法によれば、上述のように決定されたｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｆａｌｓｅ（第２値、例えば０）である場合、ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われ、ｂｃｗＩｄｘ値に応じてＢＣＷ又はａｖｅｒａｇｅ ｓｕｍが行われることができる。また、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｔｒｕｅ（第１値、例えば１）である場合、シグナリングされた重み付けパラメータに基づいてｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる。

【0336】

表８の方法によれば、ｂｃｗＩｄｘが０でない場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇをｆａｌｓｅに誘導することにより、現在ブロックに対してｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ（ＷＰ）とＢＣＷの両方が適用可能な場合、ＢＣＷを優先して適用することができる。

【0337】

図２６は表８の方法によってＢＣＷ又はＷＰを行う一例を示すフローチャートである。

【0338】

まず、ＢｃｗＩｄｘが０でないか否かが判断できる（Ｓ２６１０）。ｂｃｗＩｄｘは、現在ブロックの予測モードによって異なるように誘導できる。例えば、現在ブロックの予測モードがスキップモード又はマージモードである場合、現在ブロックに対するｂｃｗＩｄｘは、現在ブロックのマージ候補インデックスが指示するマージ候補に対するｂｃｗＩｄｘに誘導できる。現在ブロックの予測モードがマージモードでない場合、例えば、ＭＶＰモードである場合、現在ブロックに対するｂｃｗＩｄｘは、ビットストリームを介してシグナリングされるシンタックス要素ｂｃｗ＿ｉｄｘをパーシングして復元することができる。もしビットストリームを介してｂｃｗ＿ｉｄｘがシグナリングされない場合、ｂｃｗＩｄｘ値は０と推論できる。

【0339】

ＢｃｗＩｄｘが０でない場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは０に誘導できる（Ｓ２６２０）。その後、ステップＳ２６６０の判断を経て、Ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる（Ｓ２６７０）。或いは、ステップＳ２６２０及びステップＳ２６６０をスキップし、すぐにステップＳ２６７０が行われることもできる。ステップＳ２６７０は、ステップＳ２５５０と同様に行われるので、具体的な説明は省略する。

【0340】

ＢｃｗＩｄｘが０である場合、現在ブロックの属する現在スライスのスライスタイプが判断できる（Ｓ２６３０）。スライスタイプがＰスライスである場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇに誘導されることができる（Ｓ２６４０）。スライスタイプがＢスライスである場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇに誘導されることができる（Ｓ２６５０）。

【0341】

その後、ステップＳ２６６０で、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが０であるか否かが判断できる。

【0342】

ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが０である場合、ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる（Ｓ２６７０）。ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが０でない場合、ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる（Ｓ２６８０）。ステップＳ２６７０及びステップＳ２６８０は、それぞれステップＳ２５５０及びステップＳ２５６０と同様に行われるので、具体的な説明は省略する。

【0343】

表９は本開示によってｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇを誘導し、それによりＷＰ又はＢＣＷを行う別の例を示す。

【0344】

【表9】

【0345】

表９の方法によれば、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、現在ブロックの属する現在スライスのスライスタイプと、現在ブロックの参照ピクチャインデックス（ｒｅｆ＿ｉｄｘ＿ｌ０、ｒｅｆ＿ｉｄｘ＿ｌ１）が指す参照ピクチャの加重予測フラグ（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ）を考慮して誘導できる。具体的に、現在ブロックの属する現在スライスがＰスライスであり、Ｌ０方向に対する加重予測フラグ（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ）が全て０である場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは０に誘導されることができる。さらに、現在ブロックの属する現在スライスがＰスライスであり、Ｌ０方向に対する加重予測フラグ（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ）のうちの少なくとも一つが０でない場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは１に誘導されることができる。

【0346】

現在ブロックの属する現在スライスがＢスライスであり、Ｌ０方向及びＬ１方向に対する加重予測フラグ（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ）がすべて０である場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは０に誘導されることができる。また、現在ブロックの属する現在スライスがＢスライスであり、Ｌ０方向及びＬ１方向に対する加重予測フラグ（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ）のうちの少なくとも一つが０ではない場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは１に誘導されることができる。

【0347】

表９の方法によれば、上述のように決定されたｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｆａｌｓｅ（第２値、例えば０）である場合、ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われ 、ｂｃｗＩｄｘ値に応じてＢＣＷ又はａｖｅｒａｇｅ ｓｕｍが行われることができる。また、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｔｒｕｅ（第１値、例えば１）である場合、シグナリングされた重み付けパラメータに基づいてｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる。

【0348】

表９の方法によれば、ｂｃｗ＿ｉｄｘがシグナリングされる条件に基づいてｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇを誘導する。すなわち、ｂｃｗ＿ｉｄｘがシグナリングされる場合にｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇをｆａｌｓｅに誘導することにより、現在ブロックに対してｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ（ＷＰ）とＢＣＷが全て適用可能である場合、ＢＣＷを優先して適用することができる。

【0349】

図２７は表９の方法によってＢＣＷ又はＷＰを行う一例を示すフローチャートである。

【0350】

まず、現在ブロックの属する現在スライスのスライスタイプが判断できる（Ｓ２７１０）。スライスタイプがＰスライスである場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、表９を参照して説明したように、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ及び／又はｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇに基づいて誘導されることができる（Ｓ２７２０）。スライスタイプがＢスライスである場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ及び／又はｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇに基づいて誘導されることができる（Ｓ２７３０）。

【0351】

その後、ステップＳ２７４０で、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが０であるか否かが判断できる。

【0352】

ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが０である場合、ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる（Ｓ２７５０）。ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが０でない場合、ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる（Ｓ２７６０）。ステップＳ２７５０及びステップＳ２７６０は、それぞれステップＳ２５５０及びステップＳ２５６０と同様に行われるので、具体的な説明は省略する。

【0353】

表１０は本開示によってｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇを誘導し、それによりＷＰ又はＢＣＷを行う別の例を示す。

【0354】

【表10】

【0355】

ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇを誘導する方法は、表９の方法と表１０の方法とが同じであるので、具体的な説明は省略する。表１０の方法によれば、上述のように決定されたｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｆａｌｓｅ（第２値、例えば０）であるか、或いはｂｃｗＩｄｘが０でない場合、ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われ、ｂｃｗＩｄｘ値に応じてＢＣＷ又はａｖｅｒａｇｅ ｓｕｍが行われることができる。また、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｔｒｕｅ（第１値、例えば１）であり、ｂｃｗＩｄｘが０である場合、シグナリングされた重み付けパラメータに基づいてｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる。

【0356】

表１０の方法によれば、ｂｃｗ＿ｉｄｘがシグナリングされる条件に基づいてｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇを誘導する。すなわち、ｂｃｗ＿ｉｄｘがシグナリングされる場合にｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇをｆａｌｓｅに誘導することにより、現在ブロックに対してｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ（ＷＰ）とＢＣＷの両方が適用可能な場合、ＢＣＷを優先して適用することができる。

【0357】

また、表１０の方法によれば、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇがｔｒｕｅであり、ｂｃｗＩｄｘが０でない場合、すなわち、現在ブロックに対してｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ（ＷＰ）とＢＣＷの両方が適用可能な場合、ＢＣＷを優先して適用することができる。

【0358】

図２８は表１０の方法によってＢＣＷ又はＷＰを行う一例を示すフローチャートである。

【0359】

図２８のステップＳ２８１０～ステップＳ２８３０は、図２７のステップＳ２７１０～ステップＳ２７３０とそれぞれ同じであるので、具体的な説明は省略する。

【0360】

図２８を参照すると、以後、ステップＳ２８４０で、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇが０であるか或いはＢｃｗＩｄｘが０でないかを判断し、判断結果に基づいてステップＳ２８５０のｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ又はステップＳ２８６０のｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われることができる。図２８のステップＳ２８４０～ステップＳ２８６０は、図２５のステップＳ２５４０～ステップＳ２５６０とそれぞれ同一であるので、具体的な説明は省略する。

【0361】

上述したように、図２３及び表５、表６を参照して説明した実施例は、ｂｃｗ＿ｉｄｘがｄｅｆａｕｌｔでない場合にもＷＰが行われる問題を含み、以下、かかる問題を解決するための本開示の他の実施例を説明する。

【0362】

ＰＲＯＦは、ＢＣＷ又はＷＰ（ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）が行われる場合にも適用され、一般には、ｂｃｗ＿ｉｄｘは、ＷＰが利用可能でない場合にのみビットストリームからパーシングされるため、ＢＣＷとＷＰが同時に存在してはならない。ところが、表５に示されているシンタックス構造のように、ｂｃｗ＿ｉｄｘをビットストリームからパーシングするために現在ブロックの参照ピクチャインデックスが指す参照ピクチャの加重予測フラグ（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ、ｃｈｒｏｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ、）のみをチェックする。また、表６に示すように、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇは、現在ブロックの属する現在スライスのスライスタイプとＰＰＳを介してシグナリングされるＷＰ適用フラグ（例えば、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ、ｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇ）に基づいて誘導される。したがって、ＷＰ適用フラグがｔｒｕｅであっても、特定の参照ピクチャに対する加重予測フラグが０である場合、ｂｃｗ＿ｉｄｘをパーシングする。結局、ＷＰとＢＣＷが同時に適用される場合が存在しうる。

【0363】

表１１は本開示の別の例によってｂｃｗ＿ｉｄｘをパーシングする修正されたシンタックス構造を示す。

【0364】

【表11】

【0365】

表１１のシンタックス構造は、表６の ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇの誘導条件を考慮してｂｃｗ＿ｉｄｘのパーシング条件を修正するので、ｂｃｗ＿ｉｄｘがパーシングされる場合、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇをｆａｌｓｅに誘導され、ｂｃｗ＿ｉｄｘがパーシングされない場合にのみ、ｗｅｉｇｈｔｅｄＰｒｅｄＦｌａｇをｔｒｕｅに誘導することにより、ＷＰとＢＣＷが同時に適用される場合を除去することができる。例えば、図２３及び表５、表６を参照して説明した実施例は表５を表１１に置き換えることにより上述の問題点を解決することができる。

【0366】

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。

【0367】

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

【0368】

本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

【0369】

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

【0370】

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0371】

図２９は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【0372】

図２９に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0373】

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

【0374】

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0375】

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

【0376】

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

【0377】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

【0378】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

【0379】

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0380】

本開示による実施例は、画像を符号化／復号化するために利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【手続補正書】

【提出日】2024-03-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
ビットストリームを受信するステップと、
前記受信されたビットストリームに基づいて、ピクチャの現在ブロックにＢＤＯＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）を適用するか否かを指示する第１フラグを導出するステップと、
前記ＢＤＯＦが前記現在ブロックに適用されることを指示する前記第１フラグに基づいて、前記現在ブロックにＢＤＯＦ過程を行うステップと、
前記ＢＤＯＦが前記現在ブロックに適用されないことを指示する前記第１フラグに基づいて、
前記受信されたビットストリームに基づいて、（ｉ）前記現在ブロックに加重予測を行うか否かを指示する第２フラグ、及び（ｉｉ）前記現在ブロックに対してＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）を行うための重みインデックスＢｃｗＩｄｘを検査するステップと、
前記第２フラグ及び前記重みインデックスＢｃｗＩｄｘに基づいて、前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ又はｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うか否かを決定するステップであって、
前記第２フラグが０と等しいか、又は前記重みインデックスＢｃｗＩｄｘが０と等しくないことに基づいて、前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが前記現在ブロックに行われ、
前記第２フラグが１と等しい、及び前記重みインデックスＢｃｗＩｄｘが０と等しいことに基づいて、前記ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが前記現在ブロックに行われる、ステップと、を含み、
前記重みインデックスＢｃｗＩｄｘが０と等しいことに基づいて、前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎは、前記現在ブロックにａｖｅｒａｇｅ ｓｕｍを行い、
前記重みインデックスＢｃｗＩｄｘが０と等しくないことに基づいて、前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎは、前記現在ブロックに前記ＢＣＷを行い、
前記現在ブロックの参照ピクチャに対する重み付けパラメータ（重みとオフセット）に基づいて、前記ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われる、画像復号化方法。

【請求項2】

前記第２フラグは、前記現在ブロックの属する現在スライスのスライスタイプに基づいて異なるように決定される、請求項１に記載の画像復号化方法。

【請求項3】

前記現在スライスのスライスタイプがＰスライスであることに基づいて、前記第２フラグは、ピクチャパラメータセット（ＰＰＳ）でシグナリングされるｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇの値として導出され、
前記現在スライスのスライスタイプがＢスライスであることに基づいて、前記第２フラグは、前記ＰＰＳでシグナリングされるｐｐｓ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇの値として導出される、請求項２に記載の画像復号化方法。

【請求項4】

前記重みインデックスＢｃｗＩｄｘは、前記ビットストリームを介してシグナリングされるシンタックス要素ｂｃｗ＿ｉｄｘに基づいて導出され、
前記シンタックス要素ｂｃｗ＿ｉｄｘが前記ビットストリームに存在しないことに基づいて、前記重みインデックスＢｃｗＩｄｘは０として導出される、請求項１に記載の画像復号化方法。

【請求項5】

前記シンタックス要素ｂｃｗ＿ｉｄｘは、前記現在ブロックの参照ピクチャの加重予測フラグに基づいて、前記ビットストリームからパーシングされる、請求項４に記載の画像復号化方法。

【請求項6】

前記シンタックス要素ｂｃｗ＿ｉｄｘは、前記現在ブロックの参照ピクチャの全ての加重予測フラグが０と等しいことに基づいて、前記ビットストリームからパーシングされる、請求項４に記載の画像復号化方法。

【請求項7】

前記重み付けパラメータは、前記ビットストリームを介して明示的にシグナリングされる、請求項１に記載の画像復号化方法。

【請求項8】

画像符号化装置によって行われる画像符号化方法であって、
ピクチャの現在ブロックにＢＤＯＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）を適用するか否かを指示する第１フラグを導出するステップと、
前記ＢＤＯＦが前記現在ブロックに適用されることを指示する前記第１フラグに基づいて、前記現在ブロックにＢＤＯＦ過程を行うステップと、
前記ＢＤＯＦが前記現在ブロックに適用されないことを指示する前記第１フラグに基づいて、
（ｉ）前記現在ブロックに加重予測を行うか否かを指示する第２フラグ、及び（ｉｉ）前記現在ブロックに対してＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）を行うための重みインデックスＢｃｗＩｄｘを検査するステップと、
前記第２フラグ及び前記重みインデックスＢｃｗＩｄｘに基づいて、前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ又はｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うか否かを決定するステップであって、
前記第２フラグが０と等しいか、又は前記重みインデックスＢｃｗＩｄｘが０と等しくないことに基づいて、前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが前記現在ブロックに行われ、
前記第２フラグが１と等しい、及び前記重みインデックスＢｃｗＩｄｘが０と等しいことに基づいて、前記ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが前記現在ブロックに行われる、ステップと、
前記第１フラグ、前記第２フラグ及び前記重みインデックスＢｃｗＩｄｘに関連する情報を符号化するステップと、を含み、
前記重みインデックスＢｃｗＩｄｘが０と等しいことに基づいて、前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎは、前記現在ブロックにａｖｅｒａｇｅ ｓｕｍを行い、
前記重みインデックスＢｃｗＩｄｘが０と等しくないことに基づいて、前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎは、前記現在ブロックに前記ＢＣＷを行い、
前記現在ブロックの参照ピクチャに対する重み付けパラメータ（重みとオフセット）に基づいて、前記ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われる、画像符号化方法。

【請求項9】

ビットストリームを送信する方法であって、
ビットストリームを送信するステップであって、前記ビットストリームは、
ピクチャの現在ブロックにＢＤＯＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）を適用するか否かを指示する第１フラグを導出するステップと、
前記ＢＤＯＦが前記現在ブロックに適用されることを指示する前記第１フラグに基づいて、前記現在ブロックにＢＤＯＦ過程を行うステップと、
前記ＢＤＯＦが前記現在ブロックに適用されないことを指示する前記第１フラグに基づいて、
（ｉ）前記現在ブロックに加重予測を行うか否かを指示する第２フラグ、及び（ｉｉ）前記現在ブロックに対してＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）を行うための重みインデックスＢｃｗＩｄｘを検査するステップと、
前記第２フラグ及び前記重みインデックスＢｃｗＩｄｘに基づいて、前記現在ブロックにｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ又はｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎを行うか否かを決定するステップであって、
前記第２フラグが０と等しいか、又は前記重みインデックスＢｃｗＩｄｘが０と等しくないことに基づいて、前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが前記現在ブロックに行われ、
前記第２フラグが１と等しい、及び前記重みインデックスＢｃｗＩｄｘが０と等しいことに基づいて、前記ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが前記現在ブロックに行われる、ステップと、
前記第１フラグ、前記第２フラグ及び前記重みインデックスＢｃｗＩｄｘに関連する情報を符号化するステップと、により生成される、ステップを含み、
前記重みインデックスＢｃｗＩｄｘが０と等しいことに基づいて、前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎは、前記現在ブロックにａｖｅｒａｇｅ ｓｕｍを行い、
前記重みインデックスＢｃｗＩｄｘが０と等しくないことに基づいて、前記ｄｅｆａｕｌｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎは、前記現在ブロックに前記ＢＣＷを行い、
前記現在ブロックの参照ピクチャに対する重み付けパラメータ（重みとオフセット）に基づいて、前記ｅｘｐｌｉｃｉｔ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎが行われる、ビットストリーム送信方法。