▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
特開2024-147815マージ候補の双方向予測のための重みインデックスを誘導する画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024147815
(43)【公開日】2024-10-16
(54)【発明の名称】マージ候補の双方向予測のための重みインデックスを誘導する画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
(51)【国際特許分類】
H04N 19/105 20140101AFI20241008BHJP
H04N 19/139 20140101ALI20241008BHJP
H04N 19/176 20140101ALI20241008BHJP
H04N 19/52 20140101ALI20241008BHJP
【ＦＩ】
H04N19/105
H04N19/139
H04N19/176
H04N19/52
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2024122996
(22)【出願日】2024-07-30
(62)【分割の表示】P 2023099756の分割
【原出願日】2020-07-06
(31)【優先権主張番号】62/871,067
(32)【優先日】2019-07-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/884,658
(32)【優先日】2019-08-08
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】パク ネ リ
(72)【発明者】
【氏名】ナム チョン ハク
(72)【発明者】
【氏名】チャン ヒョン ムン
(57)【要約】 （修正有）
【課題】符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供する。
【解決手段】画像復号化方法は、現在ブロックのインター予測モードがアフィンマージモードである場合、前記現在ブロックに対するアフィンマージ候補リストから一つのアフィンマージ候補を選択するステップと、前記選択されたアフィンマージ候補の動き情報に基づいて前記現在ブロックの動き情報を誘導するステップと、前記現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、前記現在ブロックの予測ブロックに基づいて前記現在ブロックを復元するステップと、を含み、前記アフィンマージ候補リストを構成するステップは、組み合わせアフィンマージ候補を誘導するステップを含み、前記組み合わせアフィンマージ候補を誘導するステップは、前記組み合わせアフィンマージ候補の双方向予測のための重みインデックスを誘導するステップを含む。
【選択図】図７
【解決手段】画像復号化方法は、現在ブロックのインター予測モードがアフィンマージモードである場合、前記現在ブロックに対するアフィンマージ候補リストから一つのアフィンマージ候補を選択するステップと、前記選択されたアフィンマージ候補の動き情報に基づいて前記現在ブロックの動き情報を誘導するステップと、前記現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、前記現在ブロックの予測ブロックに基づいて前記現在ブロックを復元するステップと、を含み、前記アフィンマージ候補リストを構成するステップは、組み合わせアフィンマージ候補を誘導するステップを含み、前記組み合わせアフィンマージ候補を誘導するステップは、前記組み合わせアフィンマージ候補の双方向予測のための重みインデックスを誘導するステップを含む。
【選択図】図７
【特許請求の範囲】
【請求項1】
画像復号化装置によって行われる画像復号化方法であって、
前記画像復号化方法は、
現在ブロックのインター予測モードがサブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストから一つのサブブロックマージ候補を選択するステップと、
前記選択されたサブブロックマージ候補の動き情報に基づいて前記現在ブロックの動き情報を誘導するステップと、
前記現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記現在ブロックのレジデュアルブロックを誘導するステップと、
前記現在ブロックのレジデュアルブロックと、前記現在ブロックの予測ブロックとに基づいて、前記現在ブロックを復元するステップと、を含み、
前記サブブロックマージ候補リストを構成するステップは、組み合わせサブブロックマージ候補を誘導するステップを含み、前記組み合わせサブブロックマージ候補を誘導するステップは、前記組み合わせサブブロックマージ候補の双方向予測に対する重みインデックスを誘導するステップを含み、
前記組み合わせサブブロックマージ候補を誘導するステップは、前記現在ブロックに対する複数の候補ＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔｓ）のうち、予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の重みインデックスは、前記候補ＣＰの重みイデックス間での比較を実施せずに、前記組み合わせに含まれた前記候補ＣＰの中の第１候補ＣＰの双方向に対する重みイデックスとして誘導される、画像復号化方法。
前記画像復号化方法は、
現在ブロックのインター予測モードがサブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストから一つのサブブロックマージ候補を選択するステップと、
前記選択されたサブブロックマージ候補の動き情報に基づいて前記現在ブロックの動き情報を誘導するステップと、
前記現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記現在ブロックのレジデュアルブロックを誘導するステップと、
前記現在ブロックのレジデュアルブロックと、前記現在ブロックの予測ブロックとに基づいて、前記現在ブロックを復元するステップと、を含み、
前記サブブロックマージ候補リストを構成するステップは、組み合わせサブブロックマージ候補を誘導するステップを含み、前記組み合わせサブブロックマージ候補を誘導するステップは、前記組み合わせサブブロックマージ候補の双方向予測に対する重みインデックスを誘導するステップを含み、
前記組み合わせサブブロックマージ候補を誘導するステップは、前記現在ブロックに対する複数の候補ＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔｓ）のうち、予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の重みインデックスは、前記候補ＣＰの重みイデックス間での比較を実施せずに、前記組み合わせに含まれた前記候補ＣＰの中の第１候補ＣＰの双方向に対する重みイデックスとして誘導される、画像復号化方法。
【請求項2】
前記候補ＣＰの動き情報は、前記候補ＣＰに対する候補ブロックの動き情報に基づいて誘導され、
前記候補ブロックは、前記候補ＣＰに対する少なくとも一つの候補ブロックのうちの利用可能な候補ブロックである、請求項１に記載の画像復号化方法。
前記候補ブロックは、前記候補ＣＰに対する少なくとも一つの候補ブロックのうちの利用可能な候補ブロックである、請求項１に記載の画像復号化方法。
【請求項3】
前記候補ＣＰの動き情報は、双方向予測に対する重みインデックスを含み、前記候補ＣＰに対する重みインデックスは、前記候補ＣＰが前記現在ブロックに対する左上側候補ＣＰ又は右上側候補ＣＰであることに基づいて誘導される、請求項１に記載の画像復号化方法。
【請求項4】
前記候補ＣＰの動き情報は、双方向予測に対する重みインデックスを含み、前記候補ＣＰの重みインデックスは、前記候補ＣＰが前記現在ブロックに対する左下側候補ＣＰ又は右下側候補ＣＰであることに基づいて誘導されない、請求項１に記載の画像復号化方法。
【請求項5】
前記候補ＣＰに対する少なくとも一つの候補ブロックのうちの利用可能な候補ブロックが存在しないことに基づいて、前記候補ＣＰは利用可能でないと決定される、請求項２に記載の画像復号化方法。
【請求項6】
前記組み合わせサブブロックマージ候補を誘導するステップは、
前記予め定義された候補ＣＰの組み合わせに含まれる全ての候補ＣＰが利用可能であることに基づいて行われる、請求項５に記載の画像復号化方法。
前記予め定義された候補ＣＰの組み合わせに含まれる全ての候補ＣＰが利用可能であることに基づいて行われる、請求項５に記載の画像復号化方法。
【請求項7】
前記組み合わせサブブロックマージ候補の重みインデックスは、前記組み合わせに対する予測方向の利用可否に基づいて誘導され、
前記組み合わせに対する予測方向の利用可否は、前記組み合わせに含まれる前記候補ＣＰの動き情報に基づいて誘導される、請求項１に記載の画像復号化方法。
前記組み合わせに対する予測方向の利用可否は、前記組み合わせに含まれる前記候補ＣＰの動き情報に基づいて誘導される、請求項１に記載の画像復号化方法。
【請求項8】
前記組み合わせに対する予測方向がＬ０方向及びＬ１方向の両方に対して利用可能であることに基づいて、前記組み合わせサブブロックマージ候補の重みインデックスは、前記組み合わせに含まれる前記候補ＣＰの中の前記第１候補ＣＰとして誘導される、請求項６に記載の画像復号化方法。
【請求項9】
前記組み合わせに対する予測方向がＬ０方向及びＬ１方向のうちの少なくとも一つに対して利用可能でないことに基づいて、前記組み合わせサブブロックマージ候補の重みインデックスは、所定の重みインデックスとして誘導される、請求項８に記載の画像復号化方法。
【請求項10】
画像符号化装置によって行われる画像符号化方法であって、
現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを誘導するステップと、
前記現在ブロックの前記予測ブロックと前記現在ブロックのレジデュアルブロックに基づいて前記現在ブロックを復元するステップと、
前記予測ブロックに基づいて前記現在ブロックを符号化するステップと、
前記現在ブロックの動き情報を符号化するステップと、を含み、
前記現在ブロックの動き情報を符号化するステップは、
現在ブロックのインター予測モードがサブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストに基づいて前記現在ブロックの動き情報を符号化するステップを含み、
前記サブブロックマージ候補リストを構成することは、組み合わせサブブロックマージ候補を誘導することを含み、前記組み合わせサブブロックマージ候補を誘導することは、前記組み合わせサブブロックマージ候補の双方向予測のための重みインデックスを誘導することを含み、
前記組み合わせサブブロックマージ候補を誘導するステップは、前記現在ブロックに対する複数の候補ＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔｓ）のうち、予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の重みインデックスは、前記候補ＣＰの重みイデックス間での比較を実施せずに、前記比較に含まれた前記候補ＣＰの中の第１候補ＣＰの双方向に対する重みイデックスとして誘導される、画像符号化方法。
現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを誘導するステップと、
前記現在ブロックの前記予測ブロックと前記現在ブロックのレジデュアルブロックに基づいて前記現在ブロックを復元するステップと、
前記予測ブロックに基づいて前記現在ブロックを符号化するステップと、
前記現在ブロックの動き情報を符号化するステップと、を含み、
前記現在ブロックの動き情報を符号化するステップは、
現在ブロックのインター予測モードがサブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストに基づいて前記現在ブロックの動き情報を符号化するステップを含み、
前記サブブロックマージ候補リストを構成することは、組み合わせサブブロックマージ候補を誘導することを含み、前記組み合わせサブブロックマージ候補を誘導することは、前記組み合わせサブブロックマージ候補の双方向予測のための重みインデックスを誘導することを含み、
前記組み合わせサブブロックマージ候補を誘導するステップは、前記現在ブロックに対する複数の候補ＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔｓ）のうち、予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の重みインデックスは、前記候補ＣＰの重みイデックス間での比較を実施せずに、前記比較に含まれた前記候補ＣＰの中の第１候補ＣＰの双方向に対する重みイデックスとして誘導される、画像符号化方法。
【請求項11】
画像符号化方法により生成されたビットストリームを送信する方法であって、
現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを誘導するステップと、
前記予測ブロックに基づいて前記現在ブロックを符号化するステップと、
前記現在ブロックの動き情報を符号化するステップと、を含み、
前記現在ブロックの動き情報を符号化するステップは、
前記現在ブロックのインター予測モードがサブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストに基づいて前記現在ブロックの動き情報を符号化するステップと、を含み、
前記サブブロックマージ候補リストを構成するステップは、組み合わせサブブロックマージ候補を誘導するステップを含み、前記組み合わせサブブロックマージ候補を誘導するステップは、前記組み合わせサブブロックマージ候補の双方向予測に対する重みインデックスを誘導するステップを含み、
前記組み合わせサブブロックマージ候補を誘導するステップは、前記現在ブロックに対する複数の候補ＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔｓ）のうち、予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の重みインデックスは、前記候補ＣＰの重みイデックス間での比較を実施せずに、前記比較に含まれた前記候補ＣＰの中の第１候補ＣＰの双方向に対する重みイデックスとして誘導される、ビットストリームの送信方法。
現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを誘導するステップと、
前記予測ブロックに基づいて前記現在ブロックを符号化するステップと、
前記現在ブロックの動き情報を符号化するステップと、を含み、
前記現在ブロックの動き情報を符号化するステップは、
前記現在ブロックのインター予測モードがサブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストに基づいて前記現在ブロックの動き情報を符号化するステップと、を含み、
前記サブブロックマージ候補リストを構成するステップは、組み合わせサブブロックマージ候補を誘導するステップを含み、前記組み合わせサブブロックマージ候補を誘導するステップは、前記組み合わせサブブロックマージ候補の双方向予測に対する重みインデックスを誘導するステップを含み、
前記組み合わせサブブロックマージ候補を誘導するステップは、前記現在ブロックに対する複数の候補ＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔｓ）のうち、予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の重みインデックスは、前記候補ＣＰの重みイデックス間での比較を実施せずに、前記比較に含まれた前記候補ＣＰの中の第１候補ＣＰの双方向に対する重みイデックスとして誘導される、ビットストリームの送信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像符号化／復号化方法、装置、及びビットストリームを伝送する方法に係り、より詳細には、マージ候補の双方向予測のための重みインデックスを誘導する画像符号化／復号化方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。
【背景技術】
【0002】
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
【0003】
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。
【0005】
また、本開示は、マージ候補の双方向予測のための重みインデックスを誘導する画像符号化／復号化方法及び装置を提供することを目的とする。
【0006】
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
【0007】
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
【0008】
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
【0009】
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【課題を解決するための手段】
【0010】
本開示の一態様による画像復号化方法は、現在ブロックのインター予測モードがアフィンマージモードである場合、前記現在ブロックに対するアフィンマージ候補リストを構成するステップと、前記アフィンマージ候補リストから一つのアフィンマージ候補を選択するステップと、前記選択されたアフィンマージ候補の動き情報に基づいて前記現在ブロックの動き情報を誘導するステップと、前記現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、前記現在ブロックの予測ブロックに基づいて前記現在ブロックを復元するステップと、を含み、前記アフィンマージ候補リストを構成するステップは、組み合わせアフィンマージ候補を誘導するステップを含み、前記組み合わせアフィンマージ候補を誘導するステップは、前記組み合わせアフィンマージ候補の双方向予測のための重みインデックスを誘導するステップを含むことができる。
【0011】
本開示による画像復号化方法において、前記組み合わせアフィンマージ候補を誘導するステップは、前記現在ブロックの複数のＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔｓ）のうち、既に定義されたＣＰの組み合わせに含まれているそれぞれのＣＰに対する動き情報に基づいて行われることができる。
【0012】
本開示による画像復号化方法において、前記ＣＰに対する動き情報は、前記ＣＰに対する候補ブロックの動き情報に基づいて誘導され、前記候補ブロックは、前記ＣＰに対する少なくとも一つの候補ブロックのうちの利用可能な候補ブロックであることができる。
【0013】
本開示による画像復号化方法において、前記ＣＰに対する動き情報は、双方向予測のための重みインデックスを含み、前記双方向予測のための重みインデックスは、前記ＣＰが前記現在ブロックの左上側ＣＰ又は右上側ＣＰである場合に誘導されることができる。
【0014】
本開示による画像復号化方法において、前記ＣＰに対する動き情報は、双方向予測のための重みインデックスを含み、前記双方向予測のための重みインデックスは、前記ＣＰが前記ブロックの左下側ＣＰ又は右下側ＣＰである場合に誘導されないことができる。
【0015】
本開示による画像復号化方法において、前記ＣＰに対する少なくとも一つの候補ブロックのうちの利用可能な候補ブロックが存在しない場合、前記ＣＰは利用可能でないと決定されることができる。
【0016】
本開示による画像復号化方法において、前記組み合わせアフィンマージ候補を誘導するステップは、前記既に定義されたＣＰの組み合わせに含まれているＣＰが全て利用可能な場合に行われることができる。
【0017】
本開示による画像復号化方法において、前記既に定義されたＣＰは、前記組み合わせ内で所定の順序を有し、前記既に定義されたＣＰの組み合わせ内の順序に基づいて前記組み合わせアフィンマージ候補の重みインデックスが誘導されることができる。
【0018】
本開示による画像復号化方法において、前記組み合わせアフィンマージ候補の重みインデックスは、前記組み合わせに対する予測方向の利用可否に基づいて誘導され、前記組み合わせに対する予測方向の利用可否は、前記組み合わせに含まれているＣＰに対する動き情報に基づいて誘導されることができる。
【0019】
本開示による画像復号化方法において、前記組み合わせに対する予測方向の利用可否がＬ０方向及びＬ１方向の両方に対して利用可能である場合、前記組み合わせアフィンマージ候補の重みインデックスは、前記組み合わせ内の所定のＣＰの重みインデックスに誘導されることができる。
【0020】
本開示による画像復号化方法において、前記組み合わせアフィンマージ候補の重みインデックスを誘導するのに用いられる前記組み合わせ内の所定のＣＰは、前記組み合わせ内のＣＰのうちの一番目のＣＰであり得る。
【0021】
本開示による画像復号化方法において、前記組み合わせに対する予測方向の利用可否がＬ０方向及びＬ１方向のうちの少なくとも一つに対して利用可能でない場合、前記組み合わせアフィンマージ候補の重みインデックスは、所定の重みインデックスに誘導されることができる。
【0022】
本開示の他の態様による画像復号化装置は、メモリ及び少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、現在ブロックのインター予測モードがアフィンマージモードである場合、前記現在ブロックに対するアフィンマージ候補リストを構成し、前記アフィンマージ候補リストから一つのアフィンマージ候補を選択し、前記選択されたアフィンマージ候補の動き情報に基づいて前記現在ブロックの動き情報を誘導し、前記現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成し、前記現在ブロックの予測ブロックに基づいて前記現在ブロックを復元し、前記アフィンマージ候補リストの構成は、組み合わせアフィンマージ候補の誘導を含み、前記組み合わせアフィンマージ候補の誘導は、前記組み合わせアフィンマージ候補の双方向予測のための重みインデックスの誘導を含むことができる。
【0023】
本開示の別の態様による画像符号化方法は、現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、前記予測ブロックに基づいて前記現在ブロックを符号化するステップと、前記現在ブロックの動き情報を符号化するステップと、を含み、前記現在ブロックの動き情報を符号化するステップは、前記現在ブロックのインター予測モードがアフィンマージモードである場合、前記現在ブロックに対するアフィンマージ候補リストを構成するステップと、前記アフィンマージ候補リストに基づいて前記現在ブロックの動き情報を符号化するステップと、を含み、前記アフィンマージ候補リストを構成するステップは、組み合わせアフィンマージ候補を誘導するステップを含み、前記組み合わせアフィンマージ候補を誘導するステップは、前記組み合わせアフィンマージ候補の双方向予測のための重みインデックスを誘導するステップを含むことができる。
【0024】
本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
【0025】
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
【発明の効果】
【0026】
本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。
【0027】
また、本開示によれば、マージ候補の双方向予測のための重みインデックスを誘導する画像符号化／復号化方法及び装置が提供されることができる。
【0028】
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
【0029】
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
【0030】
また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
【0031】
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【図面の簡単な説明】
【0032】
【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。
【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
【図4】本開示によるインター予測符号化を行うインター予測部の構成を例示的に示す図である。
【図5】インター予測に基づく符号化方法を説明するためのフローチャートである。
【図6】本開示によるインター予測復号化を行うインター予測部の構成を例示的に示す図である。
【図7】インター予測に基づく復号化方法を説明するためのフローチャートである。
【図8】空間マージ候補として用いられる周辺ブロックを例示する図である。
【図9】本開示の一例によるマージ候補リスト構成方法を概略的に示す図である。
【図10】本開示の一例による動きベクトル予測子候補リスト構成方法を概略的に示す図である。
【図11】アフィンモードの４－パラメータモデルを説明するための図である。
【図12】アフィンモードの６－パラメータモデルを説明するための図である。
【図13】アフィンマージ候補リストを生成する方法を説明するための図である。
【図14】周辺ブロックから誘導されるＣＰＭＶを説明するための図である。
【図15】組み合わせアフィンマージ候補を誘導するための周辺ブロックを説明するための図である。
【図16】アフィンＭＶＰ候補リストを生成する方法を説明するための図である。
【図17】サブブロックベースのＴＭＶＰモードの周辺ブロックを説明するための図である。
【図18】サブブロックベースのＴＭＶＰモードに従って動きベクトルフィールドを誘導する方法を説明するための図である。
【図19】本開示の他の実施例によって、組み合わせアフィンマージ候補を誘導する方法を説明するための図である。
【図23】本開示の他の実施例によって各ＣＰに対する情報に基づいて組み合わせアフィンマージ候補を誘導する方法を示す図である。
【図24】本開示によってｂｃｗＩｄｘＣｏｒｎｅｒ２に対する比較を省略した方法を示すフローチャートである。
【図25】本開示によって重みインデックスグループに対する比較を省略した方法を示すフローチャートである。
【図26】本開示によってｂｃｗＩｄｘＣｏｒｎｅｒ２に対する比較と重みインデックスグループに対する比較を省略した方法を示すフローチャートである。
【図27】本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
【発明を実施するための形態】
【0033】
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
【0034】
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
【0035】
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
【0036】
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。
【0037】
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
【0038】
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
【0039】
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
【0040】
本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。
【0041】
本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
【0042】
本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。
【0043】
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
【0044】
本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。
【0045】
本開示において、「又は」は、「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。
【0046】
ビデオコーディングシステムの概要
【0047】
図１は本開示によるビデオコーディングシステムを示す図である。
【0048】
一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイルまたはストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。
【0049】
一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
【0050】
ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
【0051】
符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。
【0052】
伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイルまたはストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。
【0053】
復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。
【0054】
レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。
【0055】
画像符号化装置の概要
【0056】
図２は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
【0057】
図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。
【0058】
画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。
【0059】
画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。
【0060】
予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
【0061】
イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0062】
インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
【0063】
予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。
【0064】
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。
【0065】
変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。
【0066】
量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
【0067】
エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
【0068】
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。
【0069】
量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。
【0070】
加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0071】
一方、後述するように、ピクチャ符号化過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
【0072】
フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
【0073】
メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
【0074】
メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。
【0075】
画像復号化装置の概要
【0076】
図３は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
【0077】
図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。
【0078】
画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。
【0079】
ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図１の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。
【0080】
画像復号化装置２００は、図１の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。
【0081】
一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。
【0082】
逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
【0083】
逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。
【0084】
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。
【0085】
予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。
【0086】
イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。
【0087】
インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。
【0088】
加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。
【0089】
一方、後述するように、ピクチャ復号化過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
【0090】
フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
【0091】
メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。
【0092】
本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。
【0093】
【0094】
画像符号化／復号化装置は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャ（ら）のデータ要素に依存的な方法で導出される予測技法を意味することができる。現在ブロックに対してインター予測が適用される場合、参照ピクチャ上で動きベクトルによって特定される参照ブロックに基づいて、現在ブロックに対する予測ブロックが誘導されることができる。
【0095】
このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて現在ブロックの動き情報が誘導されることができ、ブロック、サブブロック又はサンプル単位で動き情報が誘導されることができる。このとき、動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報はインター予測タイプ情報をさらに含むことができる。ここで、インター予測タイプ情報はインター予測の方向性情報を意味することができる。インター予測タイプ情報は、現在ブロックがＬ０予測、Ｌ１予測及びＢｉ予測のうちのいずれか一つを用いて予測されることを指示することができる。
【0096】
現在ブロックに対してインター予測が適用される場合、現在ブロックの周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋ）を含むことができる。このとき、現在ブロックに対する参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、異なっていてもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケート符号化ユニット（ｃｏｌＣＵ）などと呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。
【0097】
一方、現在ブロックの周辺ブロックに基づいて動き情報候補リストが構成されることができ、このとき、現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するためにどの候補が使用されるかを指示するフラグ又はインデックス情報がシグナリングされることができる。
【0098】
動き情報は、インター予測タイプに基づいてＬ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と定義されることができ、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と定義されることができる。Ｌ０動きベクトルに基づいた予測はＬ０予測と定義されることができ、Ｌ１動きベクトルに基づいた予測はＬ１予測と定義されることができ、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方ともに基づいた予測は双予測（Ｂｉ ｐｒｅｄｉｃｔｉｏｎ）と定義されることができる。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０に関連した動きベクトルを意味することができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１に関連した動きベクトルを意味することができる。
【0099】
参照ピクチャリストＬ０は、前記現在ピクチャよりも出力順序における以前のピクチャを参照ピクチャとして含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも出力順序における以後のピクチャを含むことができる。このとき、以前のピクチャは、順方向（参照）ピクチャと定義することができ、前記以後のピクチャは、逆方向（参照ピクチャ）と定義することができる。一方、参照ピクチャリストＬ０は、現在ピクチャよりも出力順序における以後のピクチャをさらに含むことができる。この場合、参照ピクチャリストＬ０内で以前ピクチャが先にインデックス化され、以後のピクチャは、その次にインデックス化されることができる。参照ピクチャリストＬ１は、現在ピクチャよりも出力順序における以前のピクチャをさらに含むことができる。この場合、参照ピクチャリストＬ１内で以後のピクチャが先にインデックス化され、以前のピクチャはその次にインデックス化されることができる。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応することができる。
【0100】
図４は本開示によるインター予測符号化を行うインター予測部の構成を例示的に示す図である。
【0101】
例えば、図４に示すインター予測部は、図２の画像符号化装置のインター予測部１８０に対応することができる。本開示によるインター予測部１８０は、予測モード決定部１８１、動き情報導出部１８２及び予測サンプル導出部１８３を含むことができる。インター予測部１８０は、符号化の対象である原本ピクチャと、インター予測に用いられる参照ピクチャとを入力として受信することができる。予測モード決定部１８１は、原本ピクチャ内の現在ブロックに対する予測モードを決定することができる。動き情報導出部１８２は、現在ブロックに対する動き情報を導出することができる。予測サンプル導出部１８３は、現在ブロックに対してインター予測を行うことにより、予測サンプルを導出することができる。予測サンプルは、現在ブロックの予測ブロックで表現できる。インター予測部１８０は、前記予測モードに関する情報、動き情報に関する情報及び予測サンプルを出力することができる。
【0102】
例えば、画像符号化装置のインター予測部１８０は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定の領域（探索領域）内で前記現在ブロックと類似のブロックを探索し、前記現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。これに基づいて、前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、前記参照ブロックと前記現在ブロックとの位置差に基づいて動きベクトルを導出することができる。画像符号化装置は、様々な予測モードのうち、前記現在ブロックに対して適用されるモードを決定することができる。画像符号化装置は、前記様々な予測モードに対するレート歪みコスト（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ（ＲＤ） ｃｏｓｔ）を比較し、前記現在ブロックに対する最適の予測モードを決定することができる。しかし、画像符号化装置が現在ブロックに対する予測モードを決定する方法は、上記の例に限定されず、様々な方法が利用できる。
【0103】
例えば、現在ブロックに対するインター予測モードは、マージモード（ｍｅｒｇｅ ｍｏｄｅ）、スキップモード（ｓｋｉｐ ｍｏｄｅ）、ＭＶＰモード（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、ＳＭＶＤモード（Ｓｙｍｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）、アフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）、サブブロックベースのマージモード（Ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｍｅｒｇｅ ｍｏｄｅ）、ＡＭＶＲモード（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ ｍｏｄｅ）、ＨＭＶＰモード（Ｈｉｓｔｏｒｙ－ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ ｍｏｄｅ）、双予測マージモード（Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｍｏｄｅ）、ＭＭＶＤモード（Ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ ｍｏｄｅ）、ＤＭＶＲモード（Ｄｅｃｏｄｅｒ ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ ｍｏｄｅ）、ＣＩＩＰモード（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、及びＧＰＭ（Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ）のうちの少なくとも一つと決定されることができる。
【0104】
例えば、現在ブロックにスキップモード又はマージモードが適用される場合、画像符号化装置は、前記現在ブロックの周辺ブロックからマージ候補を誘導し、誘導されたマージ候補を用いてマージ候補リストを構成することができる。また、画像符号化装置は、前記マージ候補リストに含まれているマージ候補が指す参照ブロックのうち、現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。この場合、前記導出された参照ブロックに関連するマージ候補が選択され、前記選択されたマージ候補を示すマージインデックス情報が生成されて画像復号化装置にシグナリングされることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。
【0105】
他の例として、前記現在ブロックにＭＶＰモードが適用される場合、画像符号化装置は、前記現在ブロックの周辺ブロックから動きベクトル予測子（ＭＶＰ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）候補を誘導し、誘導されたＭＶＰ候補を用いてＭＶＰ候補リストを構成することができる。また、画像符号化装置は、前記ＭＶＰ候補リストに含まれているＭＶＰ候補のうち、選択されたＭＶＰ候補の動きベクトルを前記現在ブロックのＭＶＰとして用いることができる。この場合、例えば、前述した動き推定によって導出された参照ブロックを指す動きベクトルが前記現在ブロックの動きベクトルとして用いられることができ、前記ＭＶＰ候補のうち、前記現在ブロックの動きベクトルとの差が最も小さい動きベクトルを持つＭＶＰ候補が、前記選択されたＭＶＰ候補になることができる。前記現在ブロックの動きベクトルから前記ＭＶＰを差し引いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出されることができる。この場合、前記選択されたＭＶＰ候補を示すインデックス情報、及び前記ＭＶＤに関する情報が画像復号化装置にシグナリングされることができる。また、ＭＶＰモードが適用される場合、前記参照ピクチャインデックスの値は、参照ピクチャインデックス情報で構成されて別途に前記画像復号化装置にシグナリングされることができる。
【0106】
図５はインター予測に基づく符号化方法を説明するためのフローチャートである。
【0107】
例えば、図５の符号化方法は、図２の画像符号化装置によって行われることができる。具体的に、ステップＳ５１０、ステップＳ５２０、ステップＳ５３０は、それぞれインター予測部１８０、レジデュアル処理部（例えば、減算部）及びエントロピー符号化部１９０によって行われることができる。このとき、符号化対象である予測情報とレジデュアル情報は、それぞれインター予測部１８０及びレジデュアル処理部によって導出できる。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、前記レジデュアルサンプルは、画像符号化装置の変換部１２０を介して変換係数として導出され、前記変換係数は、量子化部１３０を介して量子化された変換係数として導出されることができる。前記量子化された変換係数に関する情報がレジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。
【0108】
ステップＳ５１０で、画像符号化装置は、現在ブロックに対するインター予測を行うことができる。画像符号化装置は、インター予測を行うことにより、現在ブロックに対するインター予測モード及び現在ブロックに対する動き情報を導出し、前記現在ブロックの予測サンプルを生成することができる。ここで、インター予測モードの決定、動き情報の導出及び予測サンプルの生成手順は同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。
【0109】
ステップＳ５２０で、画像符号化装置は、前記予測サンプルに基づいてレジデュアルサンプルを導出することができる。画像符号化装置は、前記現在ブロックの原本サンプルと前記予測サンプルに基づいて前記レジデュアルサンプルを導出することができる。例えば、前記レジデュアルサンプルは、原本サンプルから対応する予測サンプルを減算することにより導出されることができる。
【0110】
ステップＳ５３０で、画像符号化装置は、予測情報及びレジデュアル情報を含む画像情報を符号化することができる。画像符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。前記予測情報は、前記予測手順に関連した情報であって、予測モード情報（例えば、ｓｋｉｐ ｆｌａｇ、ｍｅｒｇｅ ｆｌａｇ又はｍｏｄｅ ｉｎｄｅｘなど）及び動き情報に関する情報を含むことができる。前記予測モード情報のうち、ｓｋｉｐ ｆｌａｇは、現在ブロックに対してスキップモードが適用されるか否かを示す情報であり、ｍｅｒｇｅ ｆｌａｇは、現在ブロックに対してマージモードが適用されるか否かを示す情報である。又は、予測モード情報は、ｍｏｄｅ ｉｎｄｅｘのように、複数の予測モードのうちのいずれか一つを指示する情報であってもよい。前記ｓｋｉｐ ｆｌａｇとｍｅｒｇｅ ｆｌａｇがそれぞれ０である場合、現在ブロックに対してＭＶＰモードが適用されると決定されることができる。前記動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報（例えば、ｍｅｒｇｅ ｉｎｄｅｘ、ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）を含むことができる。前記候補選択情報のうち、ｍｅｒｇｅ ｉｎｄｅｘは、現在ブロックに対してマージモードが適用される場合にシグナリングされることができ、マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択するための情報であることができる。前記候補選択情報のうち、ＭＶＰ ｆｌａｇ又はＭＶＰ ｉｎｄｅｘは、現在ブロックに対してＭＶＰモードが適用される場合にシグナリングされることができ、ＭＶＰ候補リストに含まれているＭＶＰ候補のうちのいずれか一つを選択するための情報であることができる。具体的に、ＭＶＰ ｆｌａｇは、シンタックス要素ｍｖｐ＿ｌ０＿ｆｌａｇ或いはｍｖｐ＿ｌ１＿ｆｌａｇを用いてシグナリングされることができる。また、前記動き情報に関する情報は、上述したＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含むことができる。また、前記動き情報に関する情報は、Ｌ０予測、Ｌ１予測又は双（Ｂｉ）予測が適用されるか否かを示す情報を含むことができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。
【0111】
出力されたビットストリームは、（デジタル）記憶媒体に保存されて画像復号化装置に伝達されることができ、又はネットワークを介して画像復号化装置に伝達されることもできる。
【0112】
一方、前述したように、画像符号化装置は、前記参照サンプル及び前記レジデュアルサンプルに基づいて復元ピクチャ（復元サンプル及び復元ブロックを含むピクチャ）を生成することができる。これは、画像復号化装置で行われるのと同じ予測結果を画像符号化装置で導出するためであり、これによりコーディング効率を高めることができるためである。したがって、画像符号化装置は、復元ピクチャ（又は復元サンプル、復元ブロック）をメモリに保存し、インター予測のためのピクチャとして活用することができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述したとおりである。
【0113】
図６は本開示によるインター予測復号化を行うインター予測部の構成を例示的に示す図である。
【0114】
例えば、図６に示したインター予測部は、図３の画像復号化装置のインター予測部２６０に対応することができる。本開示によるインター予測部２６０は、予測モード決定部２６１、動き情報導出部２６２及び予測サンプル導出部２６３を含むことができる。インター予測部２６０は、現在ブロックの予測モードに関する情報、現在ブロックの動き情報に関する情報及びインター予測に用いられる参照ピクチャを入力として受信することができる。予測モード決定部２６１は、予測モードに関する情報に基づいて現在ブロックに対する予測モードを決定することができる。動き情報導出部２６２は、動き情報に関する情報に基づいて現在ブロックに対する動き情報（動きベクトル及び／又は参照ピクチャインデックスなど）を導出することができる。予測サンプル導出部２６３は、現在ブロックに対してインター予測を行うことにより予測サンプルを導出することができる。予測サンプルは現在ブロックの予測ブロックで表現できる。インター予測部２６０は、前記導出された予測サンプルを出力することができる。
【0115】
図７はインター予測に基づく復号化方法を説明するためのフローチャートである。
【0116】
例えば、図７の復号化方法は、図３の画像復号化装置によって行われることができる。画像復号化装置は、前記画像符号化装置で行われた動作と対応する動作を行うことができる。画像復号化装置は、受信された予測情報に基づいて現在ブロックに対する予測を行い、予測サンプルを導出することができる。
【0117】
具体的に、ステップＳ７１０乃至Ｓ７３０は、インター予測部２６０によって行われることができ、ステップＳ７１０の予測情報及びステップＳ７４０のレジデュアル情報は、エントロピー復号化部２１０によってビットストリームから取得されることができる。ステップＳ７４０は、画像復号化装置のレジデュアル処理部で行われることができる。具体的には、前記レジデュアル処理部の逆量子化部２２０は、前記レジデュアル情報に基づいて導出された、量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部２３０は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。ステップＳ７５０は、加算部２３５又は復元部によって行われることができる。
【0118】
ステップＳ７１０で、画像復号化装置は、受信された予測情報に基づいて、前記現在ブロックに対する予測モードを決定することができる。画像復号化装置は、前記予測情報内の予測モード情報に基づいて、前記現在ブロックにどのインター予測モードが適用されるかを決定することができる。
【0119】
例えば、前記ｓｋｉｐ ｆｌａｇに基づいて、前記現在ブロックに前記スキップモードが適用されるか否かを決定することができる。また、前記ｍｅｒｇｅ ｆｌａｇに基づいて、前記現在ブロックに前記マージモードが適用されるか或いはＭＶＰモードが決定されるかを決定することができる。又は、前記ｍｏｄｅ ｉｎｄｅｘに基づいて、多様なインター予測モード候補のうちのいずれか一つを選択することができる。前記インター予測モード候補は、スキップモード、マージモード及び／又はＭＶＰモードを含むことができ、或いは後述する様々なインター予測モードを含むことができる。
【0120】
ステップ７２０で、画像復号化装置は、前記決定されたインター予測モードに基づいて前記現在ブロックの動き情報を導出することができる。例えば、画像復号化装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択することができる。前記選択は、前述した候補選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。例えば、前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として用いられることができる。
【0121】
他の例として、画像復号化装置は、前記現在ブロックにＭＶＰモードが適用される場合、ＭＶＰ候補リストを構成し、前記ＭＶＰ候補リストに含まれているＭＶＰ候補の中から選択されたＭＶＰ候補の動きベクトルを前記現在ブロックのＭＶＰとして用いることができる。前記選択は、前述した候補選択情報（ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）に基づいて行われることができる。この場合、前記ＭＶＤに関する情報に基づいて前記現在ブロックのＭＶＤを導出することができ、前記現在ブロックのＭＶＰと前記ＭＶＤに基づいて前記現在ブロックの動きベクトルを導出することができる。また、前記参照ピクチャインデックス情報に基づいて前記現在ブロックの参照ピクチャインデックスを導出することができる。前記現在ブロックに関する参照ピクチャリスト内で前記参照ピクチャインデックスが指すピクチャが、前記現在ブロックのインター予測のために参照される参照ピクチャとして導出されることができる。
【0122】
ステップＳ７３０で、画像復号化装置は、前記現在ブロックの動き情報に基づいて前記現在ブロックに対する予測サンプルを生成することができる。この場合、前記現在ブロックの参照ピクチャインデックスに基づいて前記参照ピクチャを導出し、前記現在ブロックの動きベクトルが前記参照ピクチャ上で指す参照ブロックのサンプルを用いて前記現在ブロックの予測サンプルを導出することができる。場合に応じて、前記現在ブロックの予測サンプルのうちの全部又は一部に対する予測サンプルフィルタリング手順がさらに行われることができる。
【0123】
ステップＳ７４０で、画像復号化装置は、受信されたレジデュアル情報に基づいて前記現在ブロックに対するレジデュアルサンプルを生成することができる。
【0124】
ステップＳ７５０で、画像復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成することができる。以後、前記復元ピクチャにインループフィルタリング手順などがさらに適用できる。
【0125】
以下、予測モードによる動き情報導出ステップについてより詳細に説明する。
【0126】
前述したように、インター予測は、現在ブロックの動き情報を用いて行われることができる。画像符号化装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して現在ブロックに対する最適の動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて様々な方法によって画像復号化装置にシグナリングされることができる。
【0127】
現在ブロックに対してマージモード（ｍｅｒｇｅ ｍｏｄｅ）が適用される場合、現在ブロックの動き情報が直接伝送されず、周辺ブロックの動き情報を用いて前記現在ブロックの動き情報を誘導する。よって、マージモードを用いたことを知らせるフラグ情報及びどの周辺ブロックをマージ候補として用いたかを知らせる候補選択情報（例えば、マージインデックス）を伝送することにより、現在予測ブロックの動き情報を指示することができる。本開示において、現在ブロックは予測実行の単位であるので、現在ブロックは現在予測ブロックと同じ意味で使用され、周辺ブロックは周辺予測ブロックと同じ意味で使用されることができる。
【0128】
画像符号化装置は、マージモードを行うために現在ブロックの動き情報を誘導するのに用いられるマージ候補ブロック（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）を探索することができる。例えば、前記マージ候補ブロックは、最大５個まで使用できるが、これに限定されない。前記マージ候補ブロックの最大個数は、スライスヘッダー又はタイルグループヘッダーから伝送されることができるが、これに限定されない。前記マージ候補ブロックを見つけた後、画像符号化装置は、マージ候補リストを生成することができ、これらのうち、ＲＤコストが最も小さいマージ候補ブロックを最終マージ候補ブロックとして選択することができる。
【0129】
本開示は、前記マージ候補リストを構成するマージ候補ブロックに対する様々な実施例を提供する。前記マージ候補リストは、例えば５つのマージ候補ブロックを用いることができる。例えば、４つの空間マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と１つの時間マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を用いることができる。
【0130】
図８は空間マージ候補として用いられる周辺ブロックを例示する図である。
【0131】
図８に示すように、空間マージ候補として用いられる空間周辺ブロックは、前記現在ブロックの左下側コーナー周辺ブロックＡ０、左側周辺ブロックＡ１、右上側コーナー周辺ブロックＢ０、上側周辺ブロックＢ１、及び左上側コーナー周辺ブロックＢ２を含むことができる。ただし、これは例示に過ぎず、図８に示されている空間周辺ブロック以外にも右側周辺ブロック、下側周辺ブロック、右下側周辺ブロックなどの追加的な周辺ブロックがさらに前記空間周辺ブロックとして使用できる。
【0132】
図９は本開示の一例によるマージ候補リスト構成方法を概略的に示す図である。
【0133】
画像符号化装置／画像復号化装置は、現在ブロックの空間周辺ブロックを探索して導出された空間マージ候補をマージ候補リストに挿入することができる（Ｓ９１０）。画像符号化装置／画像復号化装置は、前記空間周辺ブロックを優先順位に基づいて探索することにより、利用可能なブロックを検出し、検出されたブロックの動き情報を前記空間マージ候補として導出することができる。例えば、画像符号化装置／画像復号化装置は、図８に示されている５つのブロックをＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２の順に探索し、利用可能な候補を順次インデックス化することにより、マージ候補リストを構成することができる。
【0134】
以下、マージモード及び／又はスキップモードの場合、空間候補を誘導する方法についてより具体的に説明する。空間候補は、上述した空間マージ候補を示すことができる。
【0135】
空間候補の誘導は、空間的に隣接するブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋｓ）に基づいて行われることができる。一例として、図８に示されている位置に存在する候補ブロックから最大４つの空間候補が誘導されることができる。空間候補を誘導する順序は、Ａ１→Ｂ１→Ｂ０→Ａ０→Ｂ２の順序であり得る。しかし、空間候補を誘導する順序は、上記の順序に限定されず、例えば、Ｂ１→Ａ１→Ｂ０→Ａ０→Ｂ２の順序であってもよい。順序的に最後の位置（上記の例ではＢ２の位置）は、先行する４つの位置（上記の例では、Ａ１、Ｂ１、Ｂ０及びＡ０）のうちの少なくとも一つが利用可能でない場合に考慮されることができる。このとき、所定の位置のブロックが利用可能でないというのは、該当ブロックが現在ブロックとは異なるスライス又は異なるタイルに属するか、或いは当該ブロックがイントラ予測済みのブロックである場合を含むことができる。順序的に一番目の位置（上記の例では、Ａ１又はＢ１）から空間候補が誘導された場合、後続する位置の空間候補に対しては冗長性（ｒｅｄｕｎｄａｎｃｙ）チェックが行われることができる。例えば、後続する空間候補の動き情報が、マージ候補リストに既に含まれている空間候補の動き情報と同一である場合、前記後続する空間候補をマージ候補リストに含ませないことにより、符号化効率を向上させることができる。後続する空間候補に対して行われる冗長性チェックは、できる限りすべての候補ペアに対して行われず、一部の候補ペアに対してのみ行われることにより、計算複雑度を減少させることができる。
【0136】
例えば、Ｂ１→Ａ１→Ｂ０→Ａ０→Ｂ２の順に空間候補が誘導されるとき、Ａ１位置の空間候補に対する冗長性チェックは、Ｂ１位置の空間候補に対してのみ行われることができる。また、Ｂ０位置の空間候補に対する冗長性チェックは、Ｂ１位置の空間候補に対してのみ行われることができる。また、Ａ０位置の空間候補に対する冗長性チェックは、Ａ１位置の空間候補に対してのみ行われることができる。最後に、Ｂ２位置の空間候補に対する冗長性チェックは、Ｂ１位置及びＡ１位置の空間候補に対してのみ行われることができる。しかし、これに限定されず、空間候補を誘導する順序が変更される場合でも、上述したように一部の候補ペアに対してのみ冗長性チェックが行われることができる。
【0137】
再び図９を参照すると、画像符号化装置／画像復号化装置は、前記現在ブロックの時間周辺ブロックを探索して導出された時間マージ候補を前記マージ候補リストに挿入することができる（Ｓ９２０）。前記時間周辺ブロックは、前記現在ブロックが位置する現在ピクチャとは異なるピクチャである参照ピクチャ上に位置することができる。前記時間周辺ブロックが位置する参照ピクチャは、コロケート（ｃｏｌｌｏｃａｔｅｄ）ピクチャ又はｃｏｌピクチャと呼ばれることができる。前記時間周辺ブロックは、前記ｃｏｌピクチャ上における前記現在ブロックに対するコロケートブロック（ｃｏ－ｌｏｃａｔｅｄ ｂｌｏｃｋ）の右下側コーナー周辺ブロック（Ｃ０ブロック）及び右下側センターブロック（Ｃ１ブロック）の順序で探索できる。つまり、まず、Ｃ０ブロックが利用可能であるか否かが判断され、Ｃ０ブロックが利用可能である場合、Ｃ０ブロックに基づいて時間候補が誘導できる。もしＣ０ブロックが利用可能でない場合、Ｃ１ブロックに基づいて時間候補が誘導できる。例えば、Ｃ０ブロックがイントラ予測済みのブロックであるか、或いは現在ＣＴＵ行（ｒｏｗ）の外部に存在する場合、Ｃ０ブロックが利用可能でないと判断できる。一方、メモリ負荷を減らすためにｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎが適用される場合、前記ｃｏｌピクチャに対して、一定の保存単位ごとに特定の動き情報を代表動き情報として保存することができる。この場合、前記一定の保存ユニット内のすべてのブロックに対する動き情報を保存する必要がなく、これによりｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ効果を得ることができる。この場合、一定の保存単位は、例えば１６×１６サンプル単位、又は８×８サンプル単位などに予め定められることもでき、又は画像符号化装置から画像復号化装置へ前記一定の保存単位に対するサイズ情報がシグナリングされることもできる。前記ｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎが適用される場合、前記時間周辺ブロックの動き情報は、前記時間周辺ブロックが位置する前記一定の保存単位の代表動き情報に置き換えられることができる。つまり、この場合、実現の観点からみると、前記時間周辺ブロックの座標に位置する予測ブロックロックではなく、前記時間周辺ブロックの座標（左上側サンプルポジション）に基づいて一定の値だけ算術右シフトした後、算術左シフトした位置をカバーする予測ブロックの動き情報に基づいて前記時間マージ候補が導出されることができる。例えば、前記一定の保存単位が２ｎ×２ｎサンプル単位である場合、前記時間周辺ブロックの座標が（ｘＴｎｂ、ｙＴｎｂ）であるとすれば、修正された位置である（（ｘＴｎｂ＞＞ｎ）＜＜ｎ）、（ｙＴｎｂ＞＞ｎ）＜＜ｎ））に位置する予測ブロックの動き情報が前記時間マージ候補のために使用できる。具体的には、例えば、前記一定の保存単位が１６×１６サンプル単位である場合、前記時間周辺ブロックの座標が（ｘＴｎｂ、ｙＴｎｂ）であるとすれば、修正された位置である（（ｘＴｎｂ＞＞４）＜＜４）、（ｙＴｎｂ＞＞４）＜＜４））に位置する予測ブロックの動き情報が前記時間マージ候補のために使用できる。又は、例えば、前記一定の保存単位が８×８サンプル単位である場合、前記時間周辺ブロックの座標が（ｘＴｎｂ、ｙＴｎｂ）であるとすれば、修正された位置である（（ｘＴｎｂ＞＞３）＜＜３）、（ｙＴｎｂ＞＞３）＜＜３））に位置する予測ブロックの動き情報が前記時間マージ候補のために使用できる。
【0138】
以下、マージモード及び／又はスキップモードの場合、時間候補を誘導する方法についてより具体的に説明する。時間候補は、上述した時間マージ候補を示すことができる。また、時間候補の動きベクトルは、ＭＶＰモードの時間候補に対応することもできる。
【0139】
時間候補は、一つの候補のみがマージ候補リストに含まれることができる。時間候補を誘導する過程で、時間候補の動きベクトルはスケーリングできる。例えば、前記スケーリングは、コロケート参照ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）（以下、「ｃｏｌピクチャ」という）に属する子ロケートブロック（ｃｏｌｏｃａｔｅｄ ＣＵ）（以下、「ｃｏｌブロック」という）に基づいて行われることができる。より具体的に、現在ブロックの参照ピクチャと現在ピクチャとの距離（ｔｂ）及びｃｏｌブロックの参照ピクチャとｃｏｌピクチャとの距離（ｔｄ）に基づいて前記スケーリングが行われることができる。前記ｔｂとｔｄは、ピクチャ間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅ Ｃｏｕｎｔ）の差に該当する値で表すことができる。ｃｏｌブロックの誘導に使用される参照ピクチャリストは、スライスヘッダーで明示的にシグナリングされることができる。
【0140】
再び図９を参照すると、画像符号化装置／画像復号化装置は、現在マージ候補の数が最大マージ候補の数よりも小さいか否かを確認することができる（Ｓ９３０）。前記最大マージ候補の数は、予め定義されるか、或いは画像符号化装置から画像復号化装置にシグナリングされることができる。例えば、画像符号化装置は、前記最大マージ候補の数に関する情報を生成し、符号化してビットストリーム形式で前記画像復号化装置に伝達することができる。前記最大マージ候補の数が全て満たされると、以後の候補追加過程（Ｓ９４０）は行われないことができる。
【0141】
ステップＳ９３０の確認結果、前記現在マージ候補の数が前記最大マージ候補の数よりも小さい場合、画像符号化装置／画像復号化装置は、所定の方式に基づいて追加マージ候補を誘導した後、前記マージ候補リストに挿入することができる（Ｓ９４０）。前記追加マージ候補は、例えば、ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ）、ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ）、ＡＴＭＶＰ、ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅマージ候補（現在スライス／タイルグループのスライス／タイルグループタイプがＢタイプである場合）及び／又はゼロ（ｚｅｒｏ）ベクトルマージ候補のうちの少なくとも一つを含むことができる。
【0142】
ステップＳ９３０の確認結果、前記現在マージ候補の数が前記最大マージ候補の数よりも小さくない場合、画像符号化装置／画像復号化装置は、前記マージ候補リストの構成を終了することができる。この場合、画像符号化装置は、ＲＤコストに基づいて、前記マージ候補リストを構成するマージ候補のうちの最適のマージ候補を選択することができ、前記選択されたマージ候補を指す候補選択情報（例えば、マージ候補インデックス、ｍｅｒｇｅ ｉｎｄｅｘ）を画像復号化装置にシグナリングすることができる。画像復号化装置は、前記マージ候補リスト及び前記候補選択情報に基づいて前記最適のマージ候補を選択することができる。
【0143】
前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として使用されることができ、前記現在ブロックの動き情報に基づいて前記現在ブロックの予測サンプルを導出することができるのは、前述したとおりである。画像符号化装置は、前記予測サンプルに基づいて前記現在ブロックのレジデュアルサンプルを導出することができ、前記レジデュアルサンプルに関するレジデュアル情報を画像復号化装置にシグナリングすることができる。画像復号化装置は、前記レジデュアル情報に基づいて導出されたレジデュアルサンプル及び前記予測サンプルに基づいて復元サンプルを生成し、これに基づいて復元ピクチャを生成することができるのは、前述したとおりである。
【0144】
現在ブロックに対してスキップモード（ｓｋｉｐ ｍｏｄｅ）が適用される場合、前でマージモードが適用される場合と同様の方法で前記現在ブロックの動き情報を導出することができる。ただし、スキップモードが適用される場合、当該ブロックに対するレジデュアル信号が省略される。よって、予測サンプルが直ちに復元サンプルとして使用できる。前記スキップモードは、例えばｃｕ＿ｓｋｉｐ＿ｆｌａｇの値が１である場合に適用できる。
【0145】
以下、マージモード及び／又はスキップモードの場合、Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補を誘導する方法について説明する。Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補は、Ｈｉｓｔｏｒｙ－ｂａｓｅｄマージ候補で表現できる。
【0146】
Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補は、空間候補と時間候補がマージ候補リストに追加された後に、前記マージ候補リストに追加されることができる。例えば、以前に符号化／復号化されたブロックの動き情報がテーブルに保存され、現在ブロックのＨｉｓｔｏｒｙ－ｂａｓｅｄ候補として使用できる。前記テーブルは、符号化／復号化過程中に複数のＨｉｓｔｏｒｙ－ｂａｓｅｄ候補を保存することができる。前記テーブルは、新しいＣＴＵ行（ｒｏｗ）が始まるときに初期化できる。テーブルが初期化されるというのは、テーブルに保存されたＨｉｓｔｏｒｙ－ｂａｓｅｄ候補がすべて削除されて当該テーブルが空になることを意味することができる。インター予測されたブロックがあるたびに、関連動き情報が最後のエントリとして前記テーブルに追加できる。このとき、前記インター予測されたブロックは、サブブロックに基づいて予測されたブロックではないことができる。前記テーブルに追加された動き情報は、新しいＨｉｓｔｏｒｙ－ｂａｓｅｄ候補として使用できる。
【0147】
Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補のテーブルは、所定のサイズを持つことができる。例えば、当該サイズは５であり得る。このとき、前記テーブルは、最大５つのＨｉｓｔｏｒｙ－ｂａｓｅｄ候補を保存することができる。新しい候補がテーブルに追加されるとき、まず、同じ候補が前記テーブルに存在するかの冗長性チェックが行われる制限されたｆｉｒｓｔ－ｉｎ－ｆｉｒｓｔ－ｏｕｔ（ＦＩＦＯ）規定が適用できる。もし同じ候補が前記テーブルに既に存在する場合、前記同じ候補が前記テーブルから削除され、以後のすべてのＨｉｓｔｏｒｙ－ｂａｓｅｄ候補の位置が前方に移動することができる。
【0148】
Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補は、マージ候補リストの構成過程に使用できる。このとき、前記テーブルに最近に含まれているＨｉｓｔｏｒｙ－ｂａｓｅｄ候補が順次チェックされ、前記マージ候補リストの時間候補以降の位置に含まれることができる。Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補がマージ候補リストに含まれるとき、前記マージ候補リストに既に含まれている空間候補又は時間候補との冗長性チェックが行われることができる。もし、マージ候補リストに既に含まれている空間候補又は時間候補とＨｉｓｔｏｒｙ－ｂａｓｅｄ候補が同時に重複する場合、当該Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補は、前記マージ候補リストに含まれないことができる。前記冗長性チェックは、次のように単純化させることにより演算量が低減できる。
【0149】
マージ候補リストの生成に用いられるＨｉｓｔｏｒｙ－ｂａｓｅｄ候補の数は（Ｎ＜＝４）？Ｍ：（８－Ｎ）に設定できる。このとき、Ｎはマージ候補リストに既に含まれている候補の数を示し、Ｍは前記テーブルに保存された利用可能なＨｉｓｔｏｒｙ－ｂａｓｅｄ候補の数を示す。つまり、マージ候補リストに４個以下の候補が含まれた場合、前記マージ候補リストの生成に用いられるＨｉｓｔｏｒｙ－ｂａｓｅｄ候補の数はＭ個であり、マージ候補リストに４個より多いＮ個の候補が含まれた場合、前記マージ候補リストの生成に用いられるＨｉｓｔｏｒｙ－ｂａｓｅｄ候補の数は、（８－Ｎ）個に設定できる。
【0150】
利用可能なマージ候補の総数が（マージ候補の最大許容数－１）に達する場合、Ｈｉｓｔｏｒｙ－ｂａｓｅｄ候補を用いたマージ候補リストの構成は終了できる。
【0151】
以下、マージモード及び／又はスキップモードの場合、Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補を誘導する方法について説明する。Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補は、Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅマージ候補又はＰａｉｒ－ｗｉｓｅ候補で表現できる。
【0152】
Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補は、マージ候補リストに含まれた候補から既に定義された候補ペアを取得し、これらを平均することにより生成できる。既に定義された候補ペアは、｛（０，１），（０，２），（１，２），（０，３），（１，３），（２，３）｝であり、各候補ペアを構成する数字は、マージ候補リストのインデックスであり得る。つまり、既に定義された候補ペア（０，１）は、マージ候補リストのインデックス０候補とインデックス１候補の対を意味し、Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補は、インデックス０候補とインデックス１候補との平均によって生成できる。前記既に定義された候補ペアの順序でＰａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補の誘導が行われることができる。すなわち、候補ペア（０，１）に対してＰａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補を誘導した後、候補ペア（０，２）、候補ペア（１，２）の順序でＰａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補誘導過程が行われることができる。Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補誘導過程は、マージ候補リストの構成が完了するまで行われることができる。例えば、Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補誘導過程は、マージ候補リストに含まれたマージ候補の数が最大マージ候補の数に達するまで行われることができる。
【0153】
Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補は、参照ピクチャリストのそれぞれに対して個別に計算できる。１つの参照ピクチャリスト（Ｌ０ ｌｉｓｔ又はＬ１ ｌｉｓｔ）に対して２つの動きベクトルが利用可能である場合、これらの２つの動きベクトルの平均が計算できる。このとき、２つの動きベクトルが互いに異なる参照ピクチャを指しても、前記２つの動きベクトルの平均が行われることができる。もし１つの参照ピクチャリストに対して１つの動きベクトルのみが利用可能である場合、利用可能な動きベクトルがＰａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補の動きベクトルとして使用できる。もし１つの参照ピクチャリストに対して２つの動きベクトルがすべて利用可能でない場合、当該参照ピクチャリストは有効でないと決定できる。
【0154】
Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ候補がマージ候補リストに含まれた以後にも、マージ候補リストの構成が完了していない場合、最大マージ候補の数に達するまでゼロベクトルがマージ候補リストに追加できる。
【0155】
現在ブロックに対してＭＶＰモードが適用される場合、復元された空間周辺ブロック（例えば、図８に示されている周辺ブロック）の動きベクトル及び／又は時間周辺ブロック（又はＣｏｌブロック）に対応する動きベクトルを用いて、動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ、ｍｖｐ）候補リストが生成できる。つまり、復元された空間周辺ブロックの動きベクトル及び／又は時間周辺ブロックに対応する動きベクトルが現在ブロックの動きベクトル予測子候補として使用できる。双予測が適用される場合、Ｌ０動き情報導出のためのｍｖｐ候補リストとＬ１動き情報導出のためのｍｖｐ候補リストが個別に生成されて利用できる。現在ブロックに対する予測情報（又は予測に関する情報）は、前記ｍｖｐ候補リストに含まれている動きベクトル予測子候補の中から選択された最適の動きベクトル予測子候補を指示する候補選択情報（例えば、ＭＶＰフラグ又はＭＶＰインデックス）を含むことができる。このとき、予測部は、前記候補選択情報を用いて、ｍｖｐ候補リストに含まれている動きベクトル予測子候補の中から、現在ブロックの動きベクトル予測子を選択することができる。画像符号化装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子との動きベクトル差分（ＭＶＤ）を求めることができ、これを符号化してビットストリーム形式で出力することができる。つまり、ＭＶＤは現在ブロックの動きベクトルから前記動きベクトル予測子を差し引いた値で求められることができる。画像復号化装置の予測部は、前記予測に関する情報に含まれている動きベクトル差分を取得し、前記動きベクトル差分と前記動きベクトル予測子との加算を介して、現在ブロックの前記動きベクトルを導出することができる。画像復号化装置の予測部は、参照ピクチャを指示する参照ピクチャインデックスなどを前記予測に関する情報から取得又は誘導することができる。
【0156】
図１０は本開示の一例による動きベクトル予測子候補リスト構成方法を概略的に示す図である。
【0157】
まず、現在ブロックの空間候補ブロックを探索して、利用可能な候補ブロックをＭＶＰ候補リストに挿入することができる（Ｓ１０１０）。その後、ＭＶＰ候補リストに含まれているＭＶＰ候補が２つ未満であるか否かが判断され（Ｓ１０２０）、２つである場合、ＭＶＰ候補リストの構成を完了することができる。
【0158】
ステップＳ１０２０で、利用可能な空間候補ブロックが２つ未満である場合、現在ブロックの時間候補ブロックを探索して、利用可能な候補ブロックをＭＶＰ候補リストに挿入することができる（Ｓ１０３０）。時間候補ブロックが利用可能でない場合、ゼロ動きベクトルをＭＶＰ候補リストに挿入（Ｓ１０４０）することにより、ＭＶＰ候補リストの構成を完了することができる。
【0159】
一方、ＭＶＰモードが適用される場合、参照ピクチャインデックスが明示的にシグナリングされることができる。この場合、Ｌ０予測のためのピクチャインデックス（ｒｅｆｉｄｘＬ０）とＬ１予測のための参照ピクチャインデックス（ｒｅｆｉｄｘＬ１）が区分されてシグナリングされることができる。例えば、ＭＶＰモードが適用され、双予測（ＢＩ ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、前記ｒｅｆｉｄｘＬ０に関する情報及びｒｅｆｉｄｘＬ１に関する情報が両方ともシグナリングされることができる。
【0160】
前述したように、ＭＶＰモードが適用される場合、画像符号化装置から導出されたＭＶＤに関する情報が画像復号化装置にシグナリングされることができる。ＭＶＤに関する情報は、例えばＭＶＤ絶対値及び符号に対するｘ、ｙ成分を示す情報を含むことができる。この場合、ＭＶＤ絶対値が０よりも大きいか、及び１よりも大きいか否か、ＭＶＤの残りを示す情報が段階的にシグナリングされることができる。例えば、ＭＶＤ絶対値が１よりも大きいか否かを示す情報は、ＭＶＤ絶対値が０よりも大きいか否かを示すｆｌａｇ情報の値が１である場合に限ってシグナリングされることができる。
【0161】
以下、インター予測モードの一例であるアフィンモードについて詳細に説明する。従来のビデオ符号化／復号化システムでは、現在ブロックの動き情報を表現するために一つの動きベクトルのみを使用したが、このような方法には、ブロック単位の最適の動き情報を表現するだけであり、画素単位の最適の動き情報を表現することはできなかったという問題点があった。かかる問題点を解決するために、画素単位でブロックの動き情報を定義するアフィンモードが提案された。アフィンモードによれば、現在ブロックに関連付けられた２個乃至４個の動きベクトル用いてブロックの画素／又はサブブロック単位別動きベクトルが決定できる。
【0162】
従来の動き情報が画素値の平行移動（又は変位）を用いて表現されたのに比べ、アフィンモードでは、平行移動、スケーリング、回転、傾き（ｓｈｅａｒ）のうちの少なくとも一つを用いて、画素別動き情報が表現できる。その中で、画素別動き情報が変位、スクーリング、回転を用いて表現されるアフィンモードを類似（ｓｉｍｉｌａｒｉｔｙ）或いは簡略化（ｓｉｍｐｌｉｆｉｅｄ）アフィンモードと定義することができる。以下の説明におけるアフィンモードは、類似又は簡略化アフィンモードを意味することができる。
【0163】
アフィンモードでの動き情報は、２つ以上のＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を用いて表現できる。現在ブロックの特定の画素位置の動きベクトルはＣＰＭＶを用いて誘導できる。このとき、現在ブロックの画素別及び／又はサブブロック別動きベクトルの集合をアフィン動きベクトルフィールド（Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ：Ａｆｆｉｎｅ ＭＶＦ）と定義することができる。
【0164】
図１１はアフィンモードの４－パラメータモデルを説明するための図である。
【0165】
図１２はアフィンモードの６－パラメータモデルを説明するための図である。
【0166】
現在ブロックにアフィンモードが適用される場合、４－パラメータモデル及び６－パラメータモデルのうちの一つを用いてアフィンＭＶＦが誘導されることができる。このとき、４－パラメータモデルは、図１１に示すように、２つのＣＰＭＶ（ｖ０，ｖ１）が使用されるモデルタイプを意味することができる。また、６－パラメータモデルは、図１２に示すように、３つのＣＰＭＶ（ｖ０，ｖ１，ｖ２）が使用されるモデルタイプを意味することができる。
【0167】
現在ブロックの位置を（ｘ，ｙ）と定義する場合、画素位置による動きベクトルは、下記の数式１又は２に従って誘導されることができる。例えば、４－パラメータモデルによる動きベクトルは数式１に従って誘導されることができ、６－パラメータモデルによる動きベクトルは数式２に従って誘導されることができる。
【0168】
【数1】
【0169】
【数2】
【0170】
数式１及び数式２において、ｍｖ０＝｛ｍｖ＿０ｘ，ｍｖ＿０ｙ｝は、現在ブロックの左上側コーナー位置のＣＰＭＶであり、ｖ１＝｛ｍｖ＿１ｘ，ｍｖ＿１ｙ｝は、現在ブロックの右上側コーナー位置のＣＰＭＶであり、ｍｖ２＝｛ｍｖ＿２｝は、現在ブロックの左下側位置のＣＰＭＶであり得る。ここで、Ｗ及びＨはそれぞれ現在ブロックの幅及び高さに該当し、ｍｖ＝｛ｍｖ＿ｘ，ｍｖ＿ｙ｝は画素位置｛ｘ，ｙ｝の動きベクトルを意味することができる。
【0171】
符号化／復号化過程で、アフィンＭＶＦは、画素単位及び／又は予め定義されたサブブロック単位で決定されることができる。アフィンＭＶＦが画素単位で決定される場合、各画素値を基準に動きベクトルが誘導されることができる。一方、アフィンＭＶＦがサブブロック単位で決定される場合、サブブロックの中央画素値を基準に当該ブロックの動きベクトルが誘導されることができる。中央画素値は、サブブロックのセンターに存在する仮想の画素を意味するか、或いは中央に存在する４つの画素のうちの右下側画素を意味することができる。また、中央画素値は、サブブロック内の特定の画素であって当該サブブロックを代表する画素であり得る。本開示において、アフィンＭＶＦは、４×４サブブロック単位で決定される場合を説明する。ただし、これは説明の便宜のためであり、サブブロックのサイズは多様に変更できる。
【0172】
つまり、Ａｆｆｉｎｅ予測が利用可能である場合、現在ブロックに適用可能な動きモデルは、Ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ ｍｏｄｅｌ（平行移動モデル）、４－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ、６－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌの３つを含むことができる。ここで、Ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ ｍｏｄｅｌは、従来のブロック単位動きベクトルが使用されるモデルを示すことができ、４－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌは、２つのＣＰＭＶが使用されるモデルを示すことができ、６－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌは、３つのＣＰＭＶが使用されるモデルを示すことができる。アフィンモードは、動き情報を符号化／復号化する方法によって詳細モードに区分できる。一例として、アフィンモードはアフィンＭＶＰモードとアフィンマージモードに細分化できる。
【0173】
現在ブロックに対してアフィンマージモードが適用される場合、ＣＰＭＶは、アフィンモードで符号化／復号化された現在ブロックの周辺ブロックから誘導できる。現在ブロックの周辺ブロックのうちの少なくとも一つがアフィンモードで符号化／復号化された場合、現在ブロックに対してアフィンマージモードが適用できる。すなわち、現在ブロックに対してアフィンマージモードが適用される場合、周辺ブロックのＣＰＭＶを用いて現在ブロックのＣＰＭＶが誘導できる。例えば、周辺ブロックのＣＰＭＶが現在ブロックのＣＰＭＶとして決定されるか、或いは周辺ブロックのＣＰＭＶに基づいて現在ブロックのＣＰＭＶが誘導されることができる。周辺ブロックのＣＰＭＶに基づいて現在ブロックのＣＰＭＶが誘導される場合、現在ブロック又は周辺ブロックの符号化パラメータのうちの少なくとも一つが使用できる。例えば、周辺ブロックのＣＰＭＶが前記周辺ブロックのサイズ及び現在ブロックのサイズなどに基づいて修正されて現在ブロックのＣＰＭＶとして使用され得る。
【0174】
一方、サブブロック単位でＭＶが導出されるａｆｆｉｎｅ ｍｅｒｇｅの場合には、サブブロックマージモードと呼ばれることができ、これは、第１値（例えば、「１」）を有するｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇによって指示できる。この場合、後述するアフィンマージ候補リスト（ａｆｆｉｎｅ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）は、サブブロックマージ候補リスト（ｓｕｂｂｌｏｃｋ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）と呼ばれることもできる。この場合、前記サブブロックマージ候補リストには、後述するＳｂＴＭＶＰで導出された候補がさらに含まれることができる。この場合、前記ｓｂＴＭＶＰで導出された候補は、前記サブブロックマージ候補リストの０番インデックスの候補として用いられることができる。言い換えれば、前記ｓｂＴＭＶＰで導出された候補は、前記サブブロックマージ候補リスト内で後述の継承アフィンマージ候補（ｉｎｈｅｒｉｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓ）、組み合わせアフィンマージ候補（ｃｏｎｓｔｒｕｃｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓ）よりも前方に位置することができる。
【0175】
一例として、現在ブロックに対してアフィンモードが適用できるか否かを指示するアフィンモードフラグが定義できる。これはシーケンス、ピクチャ、スライス、タイル、タイルグループ、ブリックなど、現在ブロックの上位レベルのうちの少なくとも一つのレベルでシグナリングできる。例えば、アフィンモードフラグはｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇと命名できる。
【0176】
アフィンマージモードが適用される場合、現在ブロックのＣＰＭＶ誘導のために、アフィンマージ候補リストが構成できる。このとき、アフィンマージ候補リストは、継承アフィンマージ候補、組み合わせアフィンマージ候補、及びゼロマージ候補のうちの少なくとも一つを含むことができる。継承アフィンマージ候補は、現在ブロックの周辺ブロックがアフィンモードで符号化／復号化された場合、当該周辺ブロックのＣＰＭＶを用いて誘導される候補を意味することができる。組み合わせアフィンマージ候補は、それぞれのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）の周辺ブロックの動きベクトルに基づいてそれぞれのＣＰＭＶが誘導された候補を意味することができる。一方、ゼロマージ候補は、サイズ０のＣＰＭＶからなる候補を意味することができる。以下の説明において、ＣＰとは、ＣＰＭＶを誘導するのに用いられるブロックの特定の位置を意味することができる。例えば、ＣＰはブロックの各頂点位置であり得る。
【0177】
図１３はアフィンマージ候補リストを生成する方法を説明するための図である。
【0178】
図１３のフローチャートを参照すると、継承アフィンマージ候補（Ｓ１３１０）、組み合わせアフィンマージ候補（Ｓ１３２０）、ゼロマージ候補（Ｓ１３３０）の順にアフィンマージ候補リストにアフィンマージ候補が追加できる。ゼロマージ候補は、アフィンマージ候補リストに継承アフィンマージ候補及び組み合わせアフィンマージ候補が全て追加されたにも拘らず、候補リストに含まれる候補の数が最大候補数を満たさない場合に追加できる。このとき、ゼロマージ候補は、アフィンマージ候補リストの候補の数が最大候補数を満たすまで追加できる。
【0179】
図１４は周辺ブロックから継承アフィンマージ候補を誘導する方法を説明するための図である。
【0180】
一例として、最大２つの継承アフィンマージ候補が誘導でき、それぞれの候補は、左側周辺ブロック及び上側周辺ブロックのうちの少なくとも一つに基づいて誘導できる。継承アフィンマージ候補を誘導するための周辺ブロックについて図８を参照して説明する。左側周辺ブロックに基づいて誘導された継承アフィンマージ候補は、Ａ０及びＡ１のうちの少なくとも一つに基づいて誘導され、上側周辺ブロックに基づいて誘導された継承アフィンマージ候補は、Ｂ０、Ｂ１及びＢ２のうちの少なくとも一つに基づいて誘導できる。このとき、各周辺ブロックのスキャン順序は、Ａ０からＡ１の順、及びＢ０からＢ１、Ｂ２の順であり得るが、これに限定されない。左側及び上側のそれぞれに対して前記スキャン順序的に利用可能な１番目の周辺ブロックに基づいて継承アフィンマージ候補が誘導できる。この場合、左側周辺ブロックと上側周辺ブロックから誘導された候補との間では冗長性検査が行われないことができる。
【0181】
一例として、図１４に示すように、左側周辺ブロックＡがアフィンモードで符号化／復号化された場合、周辺ブロックＡのＣＰに対応する動きベクトルｖ２、ｖ３及びｖ４のうちの少なくとも一つが誘導されることができる。周辺ブロックＡが４－パラメータアフィンモデルを介して符号化／復号化される場合、継承アフィンマージ候補は、ｖ２及びｖ３を用いて誘導できる。一方、周辺ブロックＡが６－パラメータアフィンモデルを介して符号化／復号化された場合、継承アフィンマージ候補はｖ２、ｖ３及びｖ４を用いて誘導できる。
【0182】
図１５は組み合わせアフィンマージ候補を誘導するための周辺ブロックを説明するための図である。
【0183】
組み合わせアフィン候補は、周辺ブロックの一般的な動き情報の組み合わせを用いてＣＰＭＶが誘導される候補を意味することができる。各ＣＰ別の動き情報は、現在ブロックの空間周辺ブロック又は時間周辺ブロックを用いて誘導できる。以下の説明において、ＣＰＭＶｋは、ｋ番目のＣＰを代表する動きベクトルを意味することができる。一例として、図１５を参照すると、ＣＰＭＶ１は、Ｂ２、Ｂ３及びＡ２の動きベクトルのうちの利用可能な一番目の動きベクトルとして決定でき、このときのスキャン順序は、Ｂ２、Ｂ３、Ａ２の順であり得る。ＣＰＭＶ２は、Ｂ１及びＢ０の動きベクトルのうちの利用可能な一番目の動きベクトルとして決定でき、このときのスキャン順序はＢ１、Ｂ０の順であり得る。ＣＰＭＶ３は、Ａ１及びＡ０の動きベクトルのうちの利用可能な一番目の動きベクトルとして決定でき、このときのスキャン順序はＡ１、Ａ０の順であり得る。現在ブロックに対してＴＭＶＰ適用が可能である場合、ＣＰＭＶ４は、時間周辺ブロックであるＴの動きベクトルとして決定できる。
【0184】
各ＣＰに対する４つの動きベクトルが誘導された後、これに基づいて組み合わせアフィンマージ候補が誘導できる。組み合わせアフィンマージ候補は、誘導された各ＣＰに対する４つの動きベクトルの中から選択された少なくとも２つの動きベクトルを含んで構成できる。一例として、組み合わせアフィンマージ候補は、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４｝、｛ＣＰＭＶ１，ＣＰＭＶ３，ＣＰＭＶ４｝、｛ＣＰＭＶ２，ＣＰＭＶ３，ＣＰＭＶ４｝、｛ＣＰＭＶ１，ＣＰＭＶ２｝及び｛ＣＰＭＶ１，ＣＰＭＶ３｝の順序に従って少なくとも一つで構成できる。３つの動きベクトルからなる組み合わせアフィン候補は、６－パラメータアフィンモデルのための候補であり得る。これに対し、２つの動きベクトルからなる組み合わせアフィン候補は、４－パラメータアフィンモデルのための候補であり得る。動きベクトルのスケーリング過程を回避するために、ＣＰの参照ピクチャインデックスが異なる場合、関連するＣＰＭＶの組み合わせは、組み合わせアフィン候補の誘導に利用されずに無視できる。
【0185】
現在ブロックに対してアフィンＭＶＰモードが適用される場合、画像符号化装置は、現在ブロックに対する２つ以上のＣＰＭＶ予測子とＣＰＭＶを誘導して、これに基づいてＣＰＭＶ差分（ｄｉｆｆｅｒｅｎｃｅｓ）を誘導することができる。このとき、ＣＰＭＶ差分が符号化装置から復号化装置にシグナリングされることができる。画像復号化装置は、現在ブロックに対するＣＰＭＶ予測子を誘導し、シグナリングされたＣＰＭＶ差分を復元した後、ＣＰＭＶ予測子とＣＰＭＶ差分に基づいて現在ブロックのＣＰＭＶを誘導することができる。
【0186】
一方、現在ブロックに対してアフィンマージモード又はサブブロックベースのＴＭＶＰが適用されていない場合に限って、現在ブロックに対してアフィンＭＶＰモードが適用できる。一方、アフィンＭＶＰモードはアフィンＣＰ ＭＶＰモードと表現されることもできる。
【0187】
現在ブロックに対してアフィンＭＶＰが適用される場合、現在ブロックに対するＣＰＭＶの誘導のために、アファインＭＶＰ候補リスト（ａｆｆｉｎｅ ｍｖｐ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）が構成できる。ここで、アフィンＭＶＰ候補リストは、継承アフィンＭＶＰ候補、組み合わせアフィンＭＶＰ候補、平行移動アフィンＭＶＰ候補、及びゼロＭＶＰ候補のうちの少なくとも一つを含むことができる。
【0188】
このとき、継承アフィンＭＶＰ候補とは、現在ブロックの周辺ブロックがアフィンモードで符号化／復号化される場合、周辺ブロックのＣＰＭＶに基づいて誘導される候補を意味することができる。組み合わせアフィンＭＶＰ候補は、ＣＰ周辺ブロックの動きベクトルに基づいてＣＰＭＶ組み合わせを生成して誘導される候補を意味することができる。ゼロＭＶＰ候補は、値０のＣＰＭＶからなる候補を意味することができる。継承アフィンＭＶＰ候補、組み合わせアフィンＭＶＰ候補の誘導方法及び特徴は、上述した継承アフィン候補及び組み合わせアフィン候補と同様であるので、説明を省略する。
【0189】
アフィンＭＶＰ候補リストの最大候補数が２である場合、組み合わせアフィンＭＶＰ候補、平行移動アフィンＭＶＰ候補、及びゼロＭＶＰ候補は、現在候補数が２未満である場合に追加できる。特に、平行移動アフィンＭＶＰ候補は、次の順序に従って誘導できる。
【0190】
一例として、アフィンＭＶＰ候補リストに含まれている候補の数が２未満であり、組み合わせアフィンＭＶＰ候補のＣＰＭＶ０が有効である場合、ＣＰＭＶ０がアフィンＭＶＰ候補として使用できる。すなわち、ＣＰ０、ＣＰ１、ＣＰ２の動きベクトルが全てＣＰＭＶ０であるアフィンＭＶＰ候補がアファインＭＶＰ候補リストに追加できる。
【0191】
次に、アフィンＭＶＰの候補リストの候補の数が２未満であり、組み合わせアフィンＭＶＰ候補のＣＰＭＶ１が有効である場合、ＣＰＭＶ１がアフィンＭＶＰ候補として使用できる。すなわち、ＣＰ０、ＣＰ１、ＣＰ２の動きベクトルが全てＣＰＭＶ１であるアフィンＭＶＰ候補がアフィンＭＶＰ候補リストに追加できる。
【0192】
次に、アフィンＭＶＰ候補リストの候補の数が２未満であり、組み合わせアフィンＭＶＰ候補のＣＰＭＶ２が有効である場合、ＣＰＭＶ２がアフィンＭＶＰ候補として使用できる。すなわち、ＣＰ０、ＣＰ１、ＣＰ２の動きベクトルが全てＣＰＭＶ２であるアフィンＭＶＰ候補がアフィンＭＶＰ候補リストに追加できる。
【0193】
上述した条件にも拘らず、アフィンＭＶＰ候補リストの候補の数が２未満である場合、現在ブロックのＴＭＶＰ（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）がアフィンＭＶＰ候補リストに追加できる。
【0194】
平行移動アフィンＭＶＰ候補の追加にも拘らず、アフィンＭＶＰ候補リストの候補の数が２未満である場合、ゼロＭＶＰ候補がアフィンＭＶＰ候補リストに追加できる。
【0195】
図１６はアフィンＭＶＰ候補リストを生成する方法を説明するための図である。
【0196】
図１６のフローチャートを参照すると、継承アフィンＭＶＰ候補（Ｓ１６１０）、組み合わせアフィンＭＶＰ候補（Ｓ１６２０）、平行移動アフィンＭＶＰ候補（Ｓ１６３０）、ゼロＭＶＰ候補（Ｓ１６４０）の順にアフィンＭＶＰ候補リストに候補が追加できる。上述したように、ステップＳ１６２０～ステップＳ１６４０は、各ステップでアフィンＭＶＰ候補リストに含まれた候補の数が２未満であるか否かに応じて行われることができる。
【0197】
継承アフィンＭＶＰ候補のスキャン順序は、継承アフィンマージ候補のスキャン順序と同じであり得る。ただし、継承アフィンＭＶＰ候補の場合、現在ブロックの参照ピクチャと同じ参照ピクチャを参照する周辺ブロックのみが考慮できる。継承アフィンＭＶＰ候補をアフィンＭＶＰ候補リストに追加するとき、冗長性チェックは行われないことができる。
【0198】
組み合わせアフィンＭＶＰ候補を誘導するために、図１５に示された空間周辺ブロックのみが考慮できる。また、組み合わせアフィンＭＶＰ候補のスキャン順序は、組み合わせアフィンマージ候補のスキャン順序と同じであり得る。さらに、組み合わせアフィンＭＶＰ候補を誘導するために、周辺ブロックの参照ピクチャインデックスがチェックされ、前記スキャン順序上、インターコードされ且つ現在ブロックの参照ピクチャと同じ参照ピクチャを参照する一番目の周辺ブロックが利用できる。
【0199】
以下、インター予測モードの一例であるサブブロックベースのＴＭＶＰモードについて詳細に説明する。サブブロックベースのＴＭＶＰモードによれば、現在ブロックに対する動きベクトルフィールド（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ：ＭＶＦ）が誘導されるので、サブブロック単位で動きベクトルが誘導されることができる。
【0200】
従来のＴＭＶＰモードがコーディングユニット単位で行われるのとは異なり、サブブロックベースのＴＭＶＰモードが適用されるコーディングユニットは、サブコーディングユニット単位で動きベクトルに対する符号化／復号化が行われることができる。また、従来のＴＭＶＰモードによれば、コロケートブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）から時間動きベクトルが誘導されるのに対し、サブブロックベースのＴＭＶＰモードは、現在ブロックの周辺ブロックから誘導された動きベクトルが指示する参照ブロックから動きベクトルフィールドが誘導されることができる。以下、周辺ブロックから誘導された動きベクトルを現在ブロックの動きシフト（ｍｏｔｉｏｎ ｓｈｉｆｔ）或いは代表動きベクトルと呼ぶことができる。
【0201】
図１７はサブブロックベースのＴＭＶＰモードの周辺ブロックを説明するための図である。
【0202】
現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用される場合、動きシフトを決定するための周辺ブロックが決定できる。一例として、動きシフトを決定するための周辺ブロックに対するスキャンは、図１７のＡ１、Ｂ１、Ｂ０、Ａ０ブロックの順に行われることができる。他の例として、動きシフトを決定するための周辺ブロックは、現在ブロックの特定の周辺ブロックに制限できる。例えば、動きシフトを決定するための周辺ブロックは、常にＡ１ブロックと決定できる。周辺ブロックがｃｏｌピクチャを参照する動きベクトルを有する場合、当該動きベクトルが動きシフトとして決定できる。動きシフトとして決定された動きベクトルは、時間動きベクトルと呼ばれることもできる。一方、周辺ブロックから上述の動きベクトルが誘導できない場合、動きシフトは（０，０）に設定できる。
【0203】
図１８はサブブロックベースのＴＭＶＰモードに従って動きベクトルフィールドを誘導する方法を説明するための図である。
【0204】
次に、動きシフトが指示するコロケートピクチャ上の参照ブロックが決定できる。例えば、現在ブロックの座標に動きシフトを加算することにより、ｃｏｌピクチャからサブブロックベースの動き情報（動きベクトル、参照ピクチャインデックス）を取得することができる。図１８に示されている例において、動きシフトは、Ａ１ブロックの動きベクトルであると仮定する。現在ブロックに動きシフトを適用することにより、現在ブロックを構成する各サブブロックに対応するｃｏｌピクチャ内のサブブロック（ｃｏｌサブブロック）を特定することができる。その後、ｃｏｌピクチャの対応サブブロック（ｃｏｌサブブロック）の動き情報を用いて、現在ブロックの各サブブロックの動き情報が誘導できる。例えば、対応サブブロックの中央位置から対応サブブロックの動き情報が取得できる。このとき、中央位置は、対応サブブロックの中央に位置する４つのサンプルのうち、右下側サンプルの位置であり得る。もし、現在ブロックに対応するｃｏｌブロックの特定のサブブロックの動き情報が利用可能でない場合、ｃｏｌブロックの中心サブブロックの動き情報が当該サブブロックの動き情報として決定されることができる。対応サブブロックの動き情報が誘導されると、上述したＴＭＶＰ過程と同様に、現在サブブロックの動きベクトルと参照ピクチャインデックスに切り替えられることができる。すなわち、サブブロックベースの動きベクトルが誘導される場合、参照ブロックの参照ピクチャのＰＯＣを考慮して動きベクトルのスケーリングが行われることができる。
【0205】
上述したように、サブブロックに基づいて誘導された現在ブロックの動きベクトルフィールド又は動き情報を用いて現在ブロックに対するサブブロックベースのＴＭＶＰ候補が誘導できる。
【0206】
以下、サブブロック単位で構成されるマージ候補リストをサブブロック単位マージ候補リストと定義する。上述したアフィンマージ候補及びサブブロックベースのＴＭＶＰ候補が併合されてサブブロック単位マージ候補リストが構成できる。
【0207】
一方、現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用できるか否かを指示するサブブロックベースのＴＭＶＰモードフラグが定義できる。これは、シーケンス、ピクチャ、スライス、タイル、タイルグループ、ブリックなど、現在ブロックの上位レベルのうちの少なくとも一つのレベルでシグナリングできる。例えば、サブブロックベースのＴＭＶＰモードフラグは、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇと命名できる。現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用可能である場合、サブブロック単位マージ候補リストにサブブロックベースのＴＭＶＰ候補が先に追加できる。以後、アフィンマージ候補がサブブロック単位マージ候補リストに追加できる。一方、サブブロック単位マージ候補リストに含まれ得る最大候補の数がシグナリングされることができる。一例として、サブブロック単位マージ候補リストに含まれ得る最大候補の数は５であり得る。
【0208】
サブブロック単位マージ候補リストの誘導に使用されるサブブロックのサイズは、シグナリングされるか、或いはＭ×Ｎに既に設定されることができる。例えば、Ｍ×Ｎは８×８であり得る。よって、現在ブロックのサイズが８×８以上である場合にのみ、現在ブロックに対してアフィンモード又はサブブロックベースのＴＭＶＰモードが適用できる。
【0209】
【0210】
予測モードに従って導出された動き情報に基づいて、現在ブロックに対する予測されたブロックを生成することができる。前記予測されたブロック（予測ブロック）は前記現在ブロックの予測サンプル（予測サンプルアレイ）を含むことができる。現在ブロックの動きベクトルが分数サンプル（ｆｒａｃｔｉｏｎａｌ ｓａｍｐｌｅ）単位を指す場合、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順が行われることができ、これにより参照ピクチャ内で分数サンプル単位の参照サンプルに基づいて前記現在ブロックの予測サンプルが導出されることができる。現在ブロックにアフィンインター予測が適用される場合、サンプル／サブブロック単位ＭＶに基づいて予測サンプルを生成することができる。双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、Ｌ０予測（すなわち、参照ピクチャリストＬ０内の参照ピクチャとＭＶＬ０を用いた予測）に基づいて導出された予測サンプルと、Ｌ１予測（すなわち、参照ピクチャリストＬ１内の参照ピクチャとＭＶＬ１を用いた予測）に基づいて導出された予測サンプルの（位相による）加重和又は加重平均によって導出された予測サンプルが現在ブロックの予測サンプルとして用いられることができる。双予測が適用される場合、Ｌ０予測に用いられた参照ピクチャとＬ１予測に用いられた参照ピクチャが現在ピクチャを基準に互いに異なる時間方向に位置する場合（すなわち、双予測でありながら双方向予測に該当する場合）、これをｔｒｕｅ双予測と呼ぶことができる。
【0211】
画像復号化装置において、導出された予測サンプルに基づいて復元サンプル及び復元ピクチャが生成でき、その後、インループフィルタリングなどの手順が行われることができる。また、画像符号化装置において、導出された予測サンプルに基づいてレジデュアルサンプルが導出され、予測情報及びレジデュアル情報を含む画像情報の符号化が行われることができる。
【0212】
上述したように現在ブロックに双予測が適用される場合、加重平均（ｗｅｉｇｈｔｅｄａｖｅｒａｇｅ）に基づいて予測サンプルを導出することができる。この場合、加重平均を行うための重みは、ＣＵレベルで誘導される重みインデックスに基づいて決定できる。従来は、双予測信号（すなわち、双予測サンプル）はＬ０予測信号（Ｌ０予測サンプル）とＬ１予測信号（Ｌ１予測サンプル）の単純平均を介して導出できた。すなわち、双予測サンプルは、Ｌ０参照ピクチャ及びＭＶＬ０に基づくＬ０予測サンプルと、Ｌ１参照ピクチャ及びＭＶＬ１に基づくＬ１予測サンプルとの平均によって導出された。しかし、本開示によれば、双予測が適用される場合、数式３のようにＬ０予測信号とＬ１予測信号の加重平均を介して双予測信号（双予測サンプル）を導出することができる。このような双予測は、ＣＵレベルの重みを用いた双方向予測（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ、ＢＣＷ）と呼ぶことができる。
【0213】
【数3】
【0214】
前記数式３において、Ｐｂｉ－ｐｒｅｄは、加重平均によって導出された双予測信号（双予測ブロック）を示し、Ｐ０とＰ１は、それぞれＬ０予測サンプル（Ｌ０予測ブロック）とＬ１予測サンプル（Ｌ１予測ブロック）を示す。また、（８－ｗ）とｗは、それぞれＰ０とＰ１に適用される重みを示す。
【0215】
加重平均による双予測信号の生成において、５つの重みが許容できる。例えば、重みｗは｛－２，３，４，５，１０｝から選択できる。双予測されたＣＵのそれぞれに対して、重みｗは、２つの方法のうちの一つで決定できる。これらの２つの方法のうちの第１方法として、現在ＣＵがマージモードでない場合（ｎｏｎ－ｍｅｒｇｅ ＣＵ）、動きベクトル差分と共に重みインデックス（ｗｅｉｇｈｔ ｉｎｄｅｘ）がシグナリングされることができる。例えば、ビットストリームは、動きベクトル差分に関する情報の後に重みインデックスに関する情報を含むことができる。これらの２つの方法のうちの第２方法として、現在ＣＵがマージモードである場合（ｍｅｒｇｅ ＣＵ）、重みインデックスはマージ候補インデックス（マージインデックス）に基づいて周辺ブロックから誘導できる。
【0216】
加重平均による双予測信号の生成は、２５６個以上のサンプル（ルマ成分サンプル）を含むサイズのＣＵに対してのみ適用されるように制限できる。すなわち、現在ブロックの幅（ｗｉｄｔｈ）と高さ（ｈｅｉｇｈｔ）の積が２５６以上であるＣＵに対してのみ加重平均による双予測が行われることができる。また、重みｗは、上述したように５つの重みのうちの一つが使用されてもよく、異なる個数の重みのうちの一つが使用されてもよい。例えば、現在画像の特性に応じて、ｌｏｗ－ｄｅｌａｙ ｐｉｃｔｕｒｅに対しては５つの重みが使用され、ｎｏｎ－ｌｏｗ－ｄｅｌａｙ ｐｉｃｔｕｒｅに対しては３つの重みが使用されることができる。このとき、３つの重みは｛３，４，５｝であり得る。
【0217】
画像符号化装置は、ｆａｓｔ ｓｅａｒｃｈ ａｌｇｏｒｉｔｈｍを適用して複雑度を大幅に増加させることなく重みインデックスを決定することができる。この場合、前記ｆａｓｔ ｓｅａｒｃｈ ａｌｇｏｒｉｔｈｍは、次のように要約できる。以下において、不均等重み（ｕｎｅｑｕａｌ ｗｅｉｇｈｔ）とは、Ｐ０とＰ１に適用される重みが均等でないことを意味することができる。また、均等重み（ｅｑｕａｌ ｗｅｉｇｈｔ）とは、Ｐ０とＰ１に適用される重みが均等であることを意味することができる。
【0218】
－動きベクトルの解像度が適応的に変更されるＡＭＶＲモードが一緒に適用される場合、現在ピクチャがｌｏｗ－ｄｅｌａｙ ｐｉｃｔｕｒｅであれば、１－ｐｅｌ動きベクトル解像度と４－ｐｅｌ動きベクトル解像度のそれぞれに対して不均等重みのみが条件的にチェックできる。
【0219】
－アフィンモードが一緒に適用され、アフィンモードが現在ブロックの最適のモードとして選択された場合、画像符号化装置は、不均等重みのそれぞれに対してａｆｆｉｎｅ ＭＥ（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を行うことができる。
【0220】
－双予測に使用される２つの参照ピクチャが同一である場合、不均等重みのみが条件的にチェックできる。
【0221】
－不均等重みは、所定の条件が満たされた場合、チェックされないことができる。前記所定の条件は、現在ピクチャと参照ピクチャとのＰＯＣ距離（ＰＯＣ ｄｉｓｔａｎｃｅ）、量子化パラメータ（ＱＰ）、時間レベル（ｔｅｍｐｏｒａｌ ｌｅｖｅｌ）などに基づく条件であり得る。
【0222】
ＢＣＷの重みインデックスは、一つのコンテキスト符号化ビン（ｂｉｎ）と後続する一つ以上のバイパス符号化ビン（ｂｙｐａｓｓ ｃｏｄｅｄ ｂｉｎｓ）を用いて符号化できる。一番目のコンテキスト符号化ビンは、均等重み（ｅｑｕａｌ ｗｅｉｇｈｔ）が使用されるか否かを指示する。不均等重みが使用される場合、追加ビンがバイパス符号化されてシグナリングされることができる。追加ビンは、どの重みが使用されるかを指示するためにシグナリングされることができる。
【0223】
加重予測（ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ、ＷＰ）は、フェージング（ｆａｄｉｎｇ）を含む画像を効率よく符号化するためのツールである。加重予測によれば、参照ピクチャリストＬ０とＬ１のそれぞれに含まれた各参照ピクチャに対して重み付けパラメータ（重み及びオフセット）がシグナリングされることができる。次に、動き補償が行われるとき、重み（ら）及びオフセット（ら）が、対応する参照画像（ら）に適用され得る。荷重予測とＢＣＷは、互いに異なるタイプの画像に対して使用できる。加重予測とＢＣＷとの間の相互作用を避けるために、加重予測を使用するＣＵに対しては、ＢＣＷ重みインデックスはシグナリングされないことができる。この場合、重みは４と推論できる。すなわち、均等重みが適用できる。
【0224】
マージモードが適用されたＣＵの場合、重みインデックスは、マージ候補インデックスに基づいて周辺ブロックから推論できる。これは、通常のマージモードと継承アフィンマージモードの両方に対して適用できる。
【0225】
組み合わせアフィンマージモードの場合、最大３つのブロックの動き情報に基づいてアフィン動き情報が構成できる。この場合、組み合わせアフィンマージモードを使用するＣＵに対するＢＣＷ重みインデックスを誘導するために、次の過程が行われることができる。
【0226】
（１）まず、ＢＣＷ重みインデックス｛０，１，２，３，４｝の範囲を３つのグループ｛０｝、｛１，２，３｝及び｛４｝に分割することができる。もしすべてのＣＰのＢＣＷ重みインデックスが同じグループから導出される場合、ＢＣＷ重みインデックスは、以下のステップ（２）によって誘導できる。そうでなければ、ＢＣＷ重みインデックスは２に設定できる。
【0227】
（２）少なくとも二つのＣＰが同じＢＣＷ重みインデックスを有する場合、前記同じＢＣＷ重みインデックスが組み合わせアフィンマージ候補の重みインデックスとして割り当てられることができる。そうでなければ、組み合わせアフィンマージ候補の重みインデックスは２に設定できる。
【0228】
以下で説明する本開示による発明は、加重平均ベースの双方向予測に関連し、具体的には、マージモードのための時間候補又はサブブロックマージモードの時間候補を構成するとき、ＢＣＷ重みインデックスを誘導する方法を含む。また、本開示によれば、ｐａｉｒ－ｗｉｓｅ（マージ）候補を導出するとき、ＢＣＷ重みインデックスを誘導する方法が提供される。以下において、ＢＣＷ重みインデックスは、簡略に重みインデックスと呼ばれることがある。また、本開示によれば、組み合わせアフィンマージ候補の重みインデックスを誘導する様々な実施例が提供される。本開示に含まれた様々な実施例は、それぞれが単独で使用されてもよく、２つ以上の実施例が組み合わせられて使用されてもよい。
【0229】
本開示の一実施例によれば、サブブロック単位のマージモードのためのマージ候補を誘導する際に、組み合わせアフィンマージ候補に対する重みインデックスを効率よく誘導することにより、符号化効率を向上させることができる。
【0230】
図１５を参照して説明したように、ｋ番目のＣＰに対する代表動きベクトルＣＰＭＶｋ（ｋは１～４の整数）が導出できる。すなわち、ＣＰＭＶ１は一番目のＣＰ（左上側ＣＰ、ＣＰ０）を代表する動きベクトルであり、ＣＰＭＶ２は二番目のＣＰ（右上側ＣＰ、ＣＰ１）を代表する動きベクトルであり、ＣＰＭＶ３は三番目のＣＰ（左下側ＣＰ、ＣＰ２）を代表する動きベクトルであり、ＣＰＭＶ４は四番目のＣＰ（右下側ＣＰ、ＲＢ又はＣＰ３）を代表する動きベクトルであり得る。組み合わせアフィンマージ候補を誘導するためのＣＰの組み合わせは、｛ＣＰ０，ＣＰ１，ＣＰ２｝、｛ＣＰ０，ＣＰ１，ＣＰ３｝、｛ＣＰ０，ＣＰ２，ＣＰ３｝、｛ＣＰ１，ＣＰ２，ＣＰ３｝、｛ＣＰ０，ＣＰ１｝及び｛ＣＰ０，ＣＰ２｝を含み、前記組み合わせの順序で組み合わせアフィンマージ候補が誘導できる。
【0231】
本実施例の一例によれば、組み合わせアフィンマージ候補に対する重みインデックスは、組み合わせ内のＣＰのうちの所定のＣＰを誘導するのに用いられたブロックの重みインデックスに誘導できる。例えば、前記所定のＣＰが一番目のＣＰ又はＣＰ０である場合、組み合わせアフィンマージ候補に対する重みインデックスは、一番目のＣＰ又はＣＰ０の候補ブロックのうち、ＣＰＭＶ１を誘導するのに用いられたブロックの重みインデックスに誘導されることができる。例えば、図１５において、Ｂ２、Ｂ３及びＡ２のうちのＢ２の動きベクトルがＣＰＭＶ１であると決定される場合、組み合わせアフィンマージ候補に対する重みインデックスは、Ｂ２の重みインデックスに誘導されることができる。しかし、これは例示に過ぎず、前記所定のＣＰは、組み合わせ内の二番目のＣＰ又は三番目のＣＰであってもよく、ＣＰ０、ＣＰ１、ＣＰ２及びＲＢのうちの一つのＣＰであってもよい。例えば、前記所定のＣＰがＣＰ１である場合、組み合わせアフィンマージ候補に対する重みインデックスは、ＣＰＭＶ２を誘導するのに用いられたブロックの重みインデックスに誘導されることができる。例えば、図１５において、Ｂ１及びＢ０のうちのＢ０の動きベクトルがＣＰＭＶ２であると決定される場合、組み合わせアフィンマージ候補に対する重みインデックスは、Ｂ０の重みインデックスに誘導されることができる。
【0232】
本実施例の他の例によれば、各ＣＰの重みインデックスのうち、デフォルトインデックスではない重みインデックスを組み合わせアフィンマージ候補に対する重みインデックスとして利用することができる。例えば、組み合わせアフィンマージ候補を誘導するためのＣＰの組み合わせが｛ＣＰ０，ＣＰ１，ＣＰ２｝であり、ＣＰ０とＣＰ２の重みインデックスがデフォルトインデックスであり、ＣＰ１の重みインデックスがデフォルトインデックスではない場合、組み合わせアフィンマージ候補の重みインデックスは、ＣＰ１の重みインデックスに誘導されることができる。
【0233】
本実施例の別の例によれば、重みインデックスの発生頻度に基づいて、組み合わせアフィンマージ候補に対する重みインデックスを決定することができる。例えば、特定のＣＰ（例えば、ＣＰ０）の候補ブロックの重みインデックスのうち、発生頻度の高い重みインデックスを活用して組み合わせアフィンマージ候補に対する重みインデックスを誘導することができる。又は、組み合わせアフィンマージ候補を構成するＣＰの重みインデックスのうち、発生頻度の高い重みインデックスを活用することもできる。例えば、｛ＣＰ０，ＣＰ２，ＣＰ３（ＲＢ）｝の組み合わせである場合、ＣＰ２及びＲＢの重みインデックスが同一であるとき、組み合わせアフィンマージ候補に対する重みインデックスは、発生頻度の最も高いＣＰ２及びＲＢの重みインデックスに誘導されることができる。このとき、ＲＢの重みインデックスは、本開示による時間候補に対する重みインデックスの誘導方法に基づいて誘導されることができる。
【0234】
【0235】
本実施例による組み合わせアフィンマージ候補誘導方法は、現在ブロックの各ＣＰ（ＣＰ０～ＣＰ３）についての情報を誘導するステップと、誘導された各ＣＰの情報を用いて各組み合わせに対する組み合わせアフィンマージ候補を誘導するステップとで構成されることができる。
【0236】
【0237】
図１９に示すように、画像符号化装置又は画像復号化装置は、組み合わせアフィンマージ候補を誘導するために、まず、現在ブロックの各ＣＰに対する情報を誘導することができる（Ｓ１９１０）。現在ブロックの各ＣＰは、上述したＣＰ０、ＣＰ１、ＣＰ２及びＣＰ３（ＲＢ）を含むことができる。ＣＰｎ（ｎは０～３の整数）に対する情報は、参照ピクチャインデックス（ｒｅｆＩｄｘＬＸＣｏｒｎｅｒ［ｎ］）、予測方向情報（ｐｒｅｄＦｌａｇＬＸＣｏｒｎｅｒ［ｎ］）、動きベクトル（ｃｐＭｖＬＸＣｏｒｎｅｒ［ｎ］）、ＣＰｎの利用可否（ａｖａｉｌａｂｌｅＦｌａｇＣｏｒｎ］）及びＣＰｎの重みインデックス（ｂｃｗＩｄｘＣｏｒｎｅｒ［ｎ］）のうちの少なくとも一つを含むことができる。
【0238】
本実施例によれば、組み合わせアフィンマージ候補に対する重みインデックスは、各組み合わせ内の一番目のＣＰの重みインデックスに誘導されることができる。上述したように、組み合わせアフィンマージ候補を誘導するための組み合わせは、｛ＣＰ０，ＣＰ１，ＣＰ２｝、｛ＣＰ０，ＣＰ１，ＣＰ３｝、｛ＣＰ０，ＣＰ２，ＣＰ３｝、｛ＣＰ１，ＣＰ２，ＣＰ３｝、｛ＣＰ０，ＣＰ１｝、｛ＣＰ０，ＣＰ２｝のうちのいずれか一つであり得る。上述したように、各組み合わせ内の一番目のＣＰはＣＰ０又はＣＰ１である。よって、上述したＣＰｎに対する情報のうち、ＣＰｎの重みインデックスは、ＣＰ０及びＣＰ１に対してのみ誘導できる。すなわち、ＣＰ２及びＣＰ３に対しては、ＣＰｎの重みインデックスの誘導過程が省略できる。なぜなら、ＣＰ２又はＣＰ３の重みインデックスを誘導しても、これらの重みインデックスが組み合わせアフィンマージ候補に対する重みインデックスとして活用されないからである。
【0239】
ステップＳ１９１０で各ＣＰに対する情報が誘導されると、画像符号化装置又は画像復号化装置は、各ＣＰに対する情報に基づいて組み合わせアフィンマージ候補を誘導することができる（Ｓ１９２０）。ステップＳ１９２０は、組み合わせアフィンマージ候補を誘導するための前記組み合わせのそれぞれに対して行われることができる。このとき、画像符号化装置又は画像復号化装置は、６－パラメータモデルが使用できるか否かを示す情報に基づいてステップＳ１９２０を行うことができる。例えば、６－パラメータモデルが使用できる場合、前記３つのＣＰを含む組み合わせ及び前記２つのＣＰを含む組み合わせの全てに対してステップＳ１９２０が行われることができる。そうでなく、６－パラメータモデルが使用できない場合、前記２つのＣＰを含む組み合わせに対してのみステップＳ１９２０が行われることができる。６－パラメータモデルは、３つのＣＰを参照するモデルであるので、６－パラメータモデルが使用できない場合、３つのＣＰを含む組み合わせに対する組み合わせアフィンマージ候補を構成する必要がないからである。６－パラメータモデルが使用できるかを示す情報は、ビットストリームを介してシグナリングできる。例えば、ブロックの上位レベルであるシーケンスパラメータセットに含まれてシグナリングされることができる。
【0240】
【0241】
現在ブロックのＣＰは、上述したＣＰ０、ＣＰ１、ＣＰ２及びＣＰ３（ＲＢ）を含むことができる。図２０の方法は、現在ブロックのＣＰのそれぞれに対して実行できる。その実行順序は、ＣＰ０、ＣＰ１、ＣＰ２及びＣＰ３の順序であり得る。しかし、これに限定されず、異なる順序で行われてもよく、ＣＰの一部又は全部に対して同時に行われてもよい。
【0242】
まず、ステップＳ２０１０で、現在ＣＰに対する候補ブロックが識別できる。各ＣＰに対する候補ブロックは、図１５を参照して説明したとおりである。例えば、ＣＰ０の候補ブロックはＢ２、Ｂ３及びＡ２であり、ＣＰ１の候補ブロックはＢ１及びＢ０であり、ＣＰ２の候補ブロックはＡ１及びＡ０であり、ＣＰ３の候補ブロックはＴであり得る。各ＣＰに対して図２０の方法が行われる場合、上述した順序（スキャン順序）に従って候補ブロックがチェックできる。したがって、候補ブロックが複数である場合、一番目の候補ブロックが先に識別できる。例えば、ＣＰ０に対する一番目の候補ブロックであるＢ２が先に識別できる。
【0243】
現在ＣＰに対する候補ブロックが識別されると、ステップＳ２０２０で、識別された候補ブロックが利用可能である否かがチェックできる。候補ブロックが利用可能であるか否かは、前記候補ブロックが現在ピクチャ内に存在するか否か、前記候補ブロックと現在ブロックが同じスライス又は同じタイル内にあるか否か、前記候補ブロックの予測モードと現在ブロックの予測モードとが同一であるか否かなどに基づいて判断できる。例えば、候補ブロックが現在ピクチャの外に存在するか、候補ブロックと現在ブロックが相異なるスライス又は相異なるタイル内に存在するか、或いは候補ブロックの予測モードが現在ブロックの予測モードと異なる場合、当該候補ブロックは利用可能でないと判断できる。
【0244】
識別された候補ブロックが利用可能でない場合（Ｓ２０２０－Ｎｏ）、現在ＣＰに対する次の候補ブロックが存在するか否かが判断できる（Ｓ２０３０）。例えば、現在ＣＰがＣＰ０であり、識別された候補ブロックがＢ２であるとき、上述した順序による次の候補ブロックＢ３が存在するので、ステップＳ２０３０で、次の候補ブロックが存在すると判断できる。例えば、現在ＣＰがＣＰ０であり、識別された候補ブロックがＡ２である場合、上述した順序による次の候補ブロックが存在しないので、ステップＳ２０３０で、次の候補ブロックが存在しないと判断できる。
【0245】
現在ＣＰに対する次の候補ブロックが存在する場合（Ｓ２０３０－Ｙｅｓ）、次の候補ブロックに対してステップＳ２０１０～Ｓ２０２０が行われることができる。現在ＣＰに対する次の候補ブロックが存在しない場合（Ｓ２０３０－Ｎｏ）、現在ＣＰの利用可否（ａｖａｉｌａｂｌｅＦｌａｇＣｏｒｎｅｒ）は、「利用不可」に設定されることができる（Ｓ２０６０）。
【0246】
識別された候補ブロックが利用可能である場合（Ｓ２０２０－Ｙｅｓ）、利用可能な候補ブロックの情報に基づいて現在ＣＰに対する情報が誘導できる（Ｓ２０４０）。例えば、利用可能な候補ブロックの参照ピクチャインデックス、予測方向情報、動きベクトル及び重みインデックスを現在ＣＰに対する情報として活用することができる。このとき、上述したように、現在ＣＰがＣＰ０又はＣＰ１である場合にのみ、利用可能な候補ブロックの重みインデックスを現在ＣＰの重みインデックスとして活用することができる。また、識別された候補ブロックが利用可能である場合、現在ＣＰの利用可否（ａｖａｉｌａｂｌｅＦｌａｇＣｏｒｎｅｒ）は、「利用可能」に設定されることができる（Ｓ２０５０）。
【0247】
現在ブロックの各ＣＰに対する情報が誘導されると、これらの情報に基づいて組み合わせアフィンマージ候補が誘導できる。
【0248】
【0249】
図２１の方法は、組み合わせアフィンマージ候補を誘導するための組み合わせ｛ＣＰ０，ＣＰ１，ＣＰ２｝、｛ＣＰ０，ＣＰ１，ＣＰ３｝、｛ＣＰ０，ＣＰ２，ＣＰ３｝、｛ＣＰ１，ＣＰ２，ＣＰ３｝、｛ＣＰ０，ＣＰ１｝、｛ＣＰ０，ＣＰ２｝のそれぞれに対して実行できる。その実行順序は、例えば、上記に羅列された順序であり得る。さらに、上述したように、６－パラメータモデルの利用可否に応じて、前記組み合わせのうちの一部に対してのみ図２１の方法が行われることもできる。
【0250】
まず、ステップＳ２１１０で、組み合わせアフィンマージ候補を誘導するための現在組み合わせ内のＣＰが識別できる。その後、ステップＳ２１２０で、現在組み合わせ内のＣＰに対する利用可否が判断できる。ステップＳ２１２０は、組み合わせ内の各ＣＰに対する利用可否情報（ａｖａｉｌａｂｌｅＦｌａｇＣｏｒｎｅｒ）に基づいて行われることができる。例えば、現在組み合わせが｛ＣＰ０，ＣＰ１，ＣＰ２｝である場合、ａｖａｉｌａｂｌｅＦｌａｇＣｏｒｎｅｒ［０］、ａｖａｉｌａｂｌｅＦｌａｇＣｏｒｎｅｒ［１］、及びａｖａｉｌａｂｌｅＦｌａｇＣｏｒｎｅｒ［２］に基づいてステップＳ２１２０が行われることができる。現在組み合わせ内のＣＰがいずれも利用可能である場合（Ｓ２１２０－Ｙｅｓ）、予測方向（Ｌ０方向及びＬ１方向）別にステップＳ２１３０乃至Ｓ２１５０が行われることができる。そうでなければ（Ｓ２１２０－Ｎｏ）、現在組み合わせに対しては組み合わせアフィンマージ候補を誘導することができないので、図２１の方法を終了する。
【0251】
組み合わせ内の全てのＣＰが利用可能である場合（Ｓ２１２０－Ｙｅｓ）、ステップＳ２１３０で、Ｌ０予測方向及びＬ１予測方向のそれぞれに対する利用可否（ａｖａｉｌａｂｌｅＦｌａｇＬ０及びａｖａｉｌａｂｌｅＦｌａｇＬ１）が誘導されることができる。たとえば、現在組み合わせが｛ＣＰ０，ＣＰ１，ＣＰ２｝である場合、予測方向ＬＸ（Ｘは０又は１）に対して、ＣＰ０、ＣＰ１及びＣＰ２の予測方向情報（ｐｒｅｄＦｌａｇＬＸＣｏｒｎｅｒ［ｎ］）がいずれも１であり、ＣＰ０、ＣＰ１及びＣＰ２の参照ピクチャインデックス（ｒｅｆＩｄｘＬＸＣｏｒｎｅｒ［ｎ］）がいずれも同一である場合、予測方向ＬＸに対する利用可否は「利用可能」に誘導され、そうでない場合、「利用不可」に誘導されることができる。
【0252】
その後、ステップＳ２１４０で、予測方向ＬＸに対する利用可否が判断され、「利用可能」である場合（Ｓ２１４０－Ｙｅｓ）には、ステップＳ２１５０に進むことができる。ステップＳ２１５０で、予測方向ＬＸに対してＣＰの情報に基づいて組み合わせアフィンマージ候補を誘導することができる。例えば、入力された組み合わせが｛ＣＰ０，ＣＰ１，ＣＰ２｝である場合、利用可能な予測方向ＬＸ（Ｘは０又は１）に対して、ＣＰ０の参照ピクチャインデックス（ｒｅｆＩｄｘＬＸＣｏｒｎｅｒ［０］）、ＣＰ０の動きベクトル（ｃｐＭｖＬＸＣｏｒｎｅｒ［０］）、ＣＰ１の動きベクトル（ｃｐＭｖＬＸＣｏｒｎｅｒ［１］）及びＣＰ２の動きベクトル（ｃｐＭｖＬＸＣｏｒｎｅｒ［２］）を、当該組み合わせアフィンマージ候補の参照ピクチャインデックス（ｒｅｆＩｄｘＬＸＣｏｎｓｔ１）、ＣＰＭＶ１、ＣＰＭＶ２及びＣＰＭＶ３にそれぞれ割り当てることができる。予測方向ＬＸに対する利用可否が「利用不可」である場合（Ｓ２１４０－Ｎｏ）、ステップＳ２１５０はスキップされ、ステップＳ２１６０に進むことができる。
【0253】
その後、ステップＳ２１６０で組み合わせアフィンマージ候補の重みインデックスが誘導されることができる。ステップＳ２１６０は、予測方向ＬＸに対する利用可否に基づいて行われることができる。例えば、Ｌ０とＬ１の双方向がいずれも利用可能である場合、組み合わせアフィンマージ候補の重みインデックスは、組み合わせ内の一番目のＣＰの重みインデックスに誘導されることができる。例えば、現在組み合わせが｛ＣＰ０，ＣＰ１，ＣＰ２｝である場合、ＣＰ０の重みインデックスが組み合わせアフィンマージ候補の重みインデックスとして活用できる。もし、Ｌ０又はＬ１が利用可能でない場合、組み合わせアフィンマージ候補の重みインデックスは所定のインデックスに誘導できる。前記所定のインデックスは、デフォルトインデックスであることができ、例えば、均等重みを指示するインデックスであってもよい。
【0254】
その後、ステップＳ２１７０で、現在組み合わせに対する利用可否及び／又は動きモデルなどが誘導されることができる。ステップＳ２１７０は、予測方向ＬＸに対する利用可否及び／又は組み合わせ内のＣＰの数に基づいて行われることができる。例えば、Ｌ０又はＬ１が利用可能である場合、現在組み合わせに対する利用可否は「利用可能」に誘導されることができる。このとき、現在組み合わせ内のＣＰの数が３つである場合には、現在組み合わせの動きモデルは６－パラメータアフィンモデルに誘導されることができる。現在組み合わせ内のＣＰの数が２つである場合には、現在組み合わせの動きモデルは４－パラメータアフィンモデルに誘導されることができる。
【0255】
そうでない場合（Ｌ０とＬ１はいずれも利用不可である場合）、現在組み合わせに対する利用可否は「利用不可」に誘導されることができる。また、現在組み合わせの動きモデルは、従来のＴｒａｎｓｌａｔｉｏｎａｌ動きモデルに誘導されることができる。
【0256】
【0257】
上述したように、組み合わせアフィンマージ候補の重みインデックスは、予測方向ＬＸに対する利用可否に基づいて誘導されることができる。このために、ステップＳ２１３０で誘導された予測方向別の利用可否情報が入力されることができる（Ｓ２２１０）。
【0258】
その後、ステップＳ２２２０で、Ｌ０とＬ１の双方向がいずれも利用可能であるか否かが判断されることができる。Ｌ０とＬ１の双方向がいずれも利用可能である場合（Ｓ２２２０－Ｙｅｓ）、組み合わせアフィンマージ候補の重みインデックスは、組み合わせ内の一番目のＣＰの重みインデックスに誘導されることができる（Ｓ２２３０）。例えば、入力された組み合わせが｛ＣＰ０，ＣＰ１，ＣＰ２｝である場合、ＣＰ０の重みインデックスが組み合わせアフィンマージ候補の重みインデックスとして活用できる。例えば、入力された組み合わせが｛ＣＰ１，ＣＰ２，ＣＰ３｝である場合、ＣＰ１の重みインデックスが組み合わせアフィンマージ候補の重みインデックスとして活用できる。
【0259】
もしＬ０又はＬ１が利用可能でない場合（Ｓ２２２０－Ｎｏ）、組み合わせアフィンマージ候補の重みインデックスは、上述したように、所定のインデックスに誘導されることができる（Ｓ２２４０）。前記所定のインデックスは、デフォルトインデックスであることができ、例えば、均等重みを指示するインデックスであってもよい。
【0260】
図１９乃至図２２を参照して説明した実施例によれば、Ｌ０とＬ１の双方向がいずれも利用可能であるか否かに基づいて、組み合わせ内の一番目のＣＰの重みインデックス又はデフォルトインデックスを組み合わせアフィンマージ候補の重みインデックスとして設定する。本実施例の他の例によれば、Ｌ０とＬ１の利用可否に関係なく、組み合わせ内の一番目のＣＰの重みインデックスを組み合わせアフィンマージ候補の重みインデックスとして設定することもできる。又は、組み合わせ内の所定の位置のＣＰの重みインデックスを活用することもできる。これによれば、Ｌ０とＬ１の利用可否を判断する過程を省略することができるので、計算複雑度が低くなり、迅速な処理が可能となる効果を期待することができる。
【0261】
以下、図２３を参照して、本開示の別の実施例による組み合わせアフィンマージ候補に対する重みインデックス誘導方法について説明する。
【0262】
本実施例によれば、組み合わせアフィンマージ候補に対する重みインデックスは、各ＣＰの重みインデックス及び／又は重みインデックスグループに基づいて誘導されることができる。各ＣＰの重みインデックスに基づいて５個の既に定義された重みセット（例えば、｛－２，３，４，５，１０｝）から重みＷが選択されることができる。このとき、重みインデックスは、０～４の値を有することができ、３つのグループに分類されることができる。例えば、重みインデックスは、｛０｝、｛１，２，３｝及び｛４｝の３つのグループに分類されることができる。このとき、各重みインデックスの属するグループを指示する重みインデックスグループは０～２の値を有することができる。重みインデックスを３つのグループに分類することにより、各インデックスが指示する重みのペアも３つのグループに分類されることができる。例えば、重みのペアは、｛（－１／４，５／４）｝、｛（１／４，３／４）、（２／４，２／４）、（３／４，１／４）｝及び｛（５／４，－１／４）｝の３つのグループに分類されることができる。
【0263】
図２３は本開示による組み合わせアフィンマージ候補に対する重みインデックス誘導方法の一例を説明するためのフローチャートである。
【0264】
図２３において、ｂｃｗＩｄｘＣｏｒｎｅｒ０、ｂｃｗＩｄｘＣｏｒｎｅｒ１、及びｂｃｗＩｄｘＣｏｒｎｅｒ２は、それぞれ組み合わせ内の一番目のＣＰの重みインデックス、組み合わせ内の二番目のＣＰの重みインデックス、及び組み合わせ内の三番目のＣＰの重みインデックスを示す。また、ｂｃｗＩｄｘＧｒｏｕｐ０、ｂｃｗＩｄｘＧｒｏｕｐ１、及びｂｃｗＩｄｘＧｒｏｕｐ２は、それぞれ組み合わせ内の一番目のＣＰの重みインデックスグループ、組み合わせ内の二番目のＣＰの重みインデックスグループ、及び組み合わせ内の三番目のＣＰの重みインデックスグループを示す。また、ｂｃｗＩｄｘＣｏｎｓｔは、組み合わせアフィンマージ候補の重みインデックスを示す。
【0265】
図２３に示すように、ステップＳ２３１０で、ｂｃｗＩｄｘＣｏｒｎｅｒ０とｂｃｗＩｄｘＣｏｒｎｅｒ１とが同じであるか否か、及びｂｃｗＩｄｘＧｒｏｕｐ０とｂｃｗＩｄｘＧｒｏｕｐ２とが同じであるか否かをチェックすることができる。もし両者がいずれも同じである場合（Ｓ２３１０－Ｙｅｓ）、ｂｃｗＩｄｘＣｏｎｓｔはｂｃｗＩｄｘＣｏｒｎｅｒ０に誘導されることができる（Ｓ２３２０）。
【0266】
そうでない場合（Ｓ２３１０－Ｎｏ）、ステップＳ２３３０で、ｂｃｗＩｄｘＣｏｒｎｅｒ０とｂｃｗＩｄｘＣｏｒｎｅｒ２とが同じであるか否か、及びｂｃｗＩｄｘＧｒｏｕｐ０とｂｃｗＩｄｘＧｒｏｕｐ１とが同じであるか否かをチェックすることができる。もし両者がいずれも同じである場合（Ｓ２３３０－Ｙｅｓ）、ｂｃｗＩｄｘＣｏｎｓｔはｂｃｗＩｄｘＣｏｒｎｅｒ０に誘導されることができる（Ｓ２３２０）。
【0267】
そうでない場合（Ｓ２３３０－Ｎｏ）、ステップＳ２３４０で、ｂｃｗＩｄｘＣｏｒｎｅｒ１とｂｃｗＩｄｘＣｏｒｎｅｒ２とが同じであるか否か、及びｂｃｗＩｄｘＧｒｏｕｐ１とｂｃｗＩｄｘＧｒｏｕｐ０とが同じであるか否かをチェックすることができる。もし両者がいずれも同じである場合（Ｓ２３４０－Ｙｅｓ）、ｂｃｗＩｄｘＣｏｎｓｔはｂｃｗＩｄｘＣｏｒｎｅｒ２に誘導されることができる（Ｓ２３５０）。
【0268】
そうでない場合（Ｓ２３４０－Ｎｏ）、ｂｃｗＩｄｘＣｏｎｓｔはデフォルトインデックスに誘導されることができる（Ｓ２３６０）。デフォルトインデックスは、例えば、均等重みを指示するインデックスであってもよい。
【0269】
図２３に示されている例によれば、３つのＣＰが用いられる場合、最大６回の比較動作によって組み合わせアフィンマージ候補に対する重みインデックスが誘導されることができる。
【0270】
図２３に示されている方法は、次のように単純化するこができる。上述したように、時間候補に対する重みインデックスはデフォルトインデックスに誘導され、時間候補は各組み合わせの最後のＣＰとして含まれる。よって、図２３に示されている方法において、ｂｃｗＩｄｘＣｏｒｎｅｒ２に対する比較を省略することができる。
【0271】
この場合、ステップＳ２３３０は、ｂｃｗＩｄｘＧｒｏｕｐ０とｂｃｗＩｄｘＧｒｏｕｐ１とが同じであるか否かをチェックすることにより行われ得る。また、ステップＳ２３４０は、ｂｃｗＩｄｘＧｒｏｕｐ０とｂｃｗＩｄｘＧｒｏｕｐ１とが同じであるか否かをチェックすることにより行われ得る。この場合、ステップＳ２３３０とステップＳ２３４０は、実質的に同じ条件をチェックするので、一つのステップに併合可能である。
【0272】
図２４は本開示によってｂｃｗＩｄｘＣｏｒｎｅｒ２に対する比較を省略した方法を示すフローチャートである。
【0273】
図２４に示すように、ステップＳ２４１０で、ｂｃｗＩｄｘＣｏｒｎｅｒ０とｂｃｗＩｄｘＣｏｒｎｅｒ１とが同じであるか否か、及びｂｃｗＩｄｘＧｒｏｕｐ０とｂｃｗＩｄｘＧｒｏｕｐ２とが同じであるか否かをチェックすることができる。もし両者がいずれも同じである場合（Ｓ２４１０－Ｙｅｓ）、ｂｃｗＩｄｘＣｏｎｓｔはｂｃｗＩｄｘＣｏｒｎｅｒ０に誘導されることができる（Ｓ２４２０）。
【0274】
そうでない場合（Ｓ２４１０－Ｎｏ）、ｂｃｗＩｄｘＧｒｏｕｐ０とｂｃｗＩｄｘＧｒｏｕｐ１とが同じであるか否かをチェックすることができる（Ｓ２４３０）。もし同じである場合（Ｓ２４３０－Ｙｅｓ）、ｂｃｗＩｄｘＣｏｎｓｔはｂｃｗＩｄｘＣｏｒｎｅｒ０に誘導されることができる（Ｓ２４２０）。
【0275】
そうでない場合（Ｓ２４３０－Ｎｏ）、ｂｃｗＩｄｘＣｏｎｓｔはデフォルトインデックスに誘導されることができる（Ｓ２４４０）。
【0276】
図２３に示されている方法は、次のように単純化することができる。例えば、ｎｏｎ－ｌｏｗ－ｄｅｌａｙ ｐｉｃｔｕｒｅのように３つの重みが使用され、３つの重みが１つのグループに属することができる。この場合、図２３に示されている方法において、重みインデックスグループに対する比較を省略することができる。
【0277】
図２５は本開示によって重みインデックスグループに対する比較を省略した方法を示すフローチャートである。
【0278】
図２５に示すように、ステップＳ２５１０で、ｂｃｗＩｄｘＣｏｒｎｅｒ０とｂｃｗＩｄｘＣｏｒｎｅｒ１とが同じであるか否かをチェックすることができる。もし同じである場合（Ｓ２５１０－Ｙｅｓ）、ｂｃｗＩｄｘＣｏｎｓｔはｂｃｗＩｄｘＣｏｒｎｅｒ０に誘導されることができる（Ｓ２５２０）。
【0279】
そうでない場合（Ｓ２５１０－Ｎｏ）、ｂｃｗＩｄｘＣｏｒｎｅｒ０とｂｃｗＩｄｘＣｏｒｎｅｒ２とが同じであるか否かをチェックすることができる（Ｓ２５３０）。もし同じである場合（Ｓ２５３０－Ｙｅｓ）、ｂｃｗＩｄｘＣｏｎｓｔはｂｃｗＩｄｘＣｏｒｎｅｒ０に誘導されることができる（Ｓ２５２０）。
【0280】
そうでない場合（Ｓ２５３０－Ｎｏ）、ｂｃｗＩｄｘＣｏｒｎｅｒ１とｂｃｗＩｄｘＣｏｒｎｅｒ２とが同じであるか否かをチェックすることができる（Ｓ２５４０）。もし同じである場合（Ｓ２５４０－Ｙｅｓ）、ｂｃｗＩｄｘＣｏｎｓｔはｂｃｗＩｄｘＣｏｒｎｅｒ２に誘導されることができる（Ｓ２５５０）。
【0281】
そうでない場合（Ｓ２５４０－Ｎｏ）、ｂｃｗＩｄｘＣｏｎｓｔはデフォルトインデックスに誘導されることができる（Ｓ２５６０）。
【0282】
図２３に示されている方法は、次のようにより単純化することができる。例えば、図２３に示されている方法において、ｂｃｗＩｄｘＣｏｒｎｅｒ２に対する比較と重みインデックスグループに対する比較を全て省略することができる。
【0283】
図２６は本開示によってｂｃｗＩｄｘＣｏｒｎｅｒ２に対する比較と重みインデックスグループに対する比較を省略した方法を示すフローチャートである。
【0284】
図２６に示すように、ステップＳ２６１０で、ｂｃｗＩｄｘＣｏｒｎｅｒ０とｂｃｗＩｄｘＣｏｒｎｅｒ１とが同じであるか否かをチェックし、同じであれば（Ｓ２６１０－Ｙｅｓ）、ｂｃｗＩｄｘＣｏｎｓｔはｂｃｗＩｄｘＣｏｒｎｅｒ０に誘導されることができる（Ｓ２６２０）。そうでなければ（Ｓ２６１０－Ｎｏ）、ｂｃｗＩｄｘＣｏｎｓｔはデフォルトインデックスに誘導されることができる（Ｓ２６３０）。
【0285】
本実施例の別の例によれば、何らの比較も行うことなくｂｃｗＩｄｘＣｏｎｓｔをｂｃｗＩｄｘＣｏｒｎｅｒ０に誘導することもできる。
【0286】
本開示の別の実施例によれば、サブブロック単位のマージモードのための動きベクトル候補の構成時に、代表予測ベクトル候補が双方向予測を使用する場合の重みインデックスの誘導方法が提供できる。図１８を参照して説明したように、サブブロックベースのＴＭＶＰは、動きシフトに基づいて現在ブロックに対応するｃｏｌブロックを誘導することができる。このとき、図１８に示すように、動きシフトは、現在ブロックに空間的に隣接する左側ブロックＡ１から誘導されることができる。すなわち、左側ブロックの重みインデックスを信頼することができる確率が高い。したがって、これを考慮して、左側ブロックの重みインデックスを現在ブロックの重みインデックスとして使用することができる。すなわち、ＡＴＭＶＰで誘導された候補が双方向予測を使用する場合、左側ブロックの重みインデックスをサブブロックのマージモードのための重みインデックスとして使用することができる。又は、動きシフトがＡ１ブロックではなく他の周辺ブロックから誘導される場合、当該周辺ブロックの重みインデックスを現在ブロックの重みインデックスとして使用することができる。本実施例によれば、サブブロック単位のマージモードのための動きベクトル候補の構成時に、代表予測ベクトル候補に対する重みインデックスを効率よく構成することにより、複雑度を増加させず、符号化効率を向上させることができる。
【0287】
本開示の別の実施例によれば、マージモードのためのマージ候補を誘導する上で時間マージ候補が双方向予測を使用するとき、時間候補の重みインデックスを誘導することにより、符号化効率を向上させることができる。
【0288】
本実施例の一例によれば、時間マージ候補の重みインデックスは、常にデフォルトインデックス（例えば、０）に誘導されることができる。本開示において、デフォルトインデックスは、各予測方向（すなわち、双予測においてＬ０予測方向及びＬ１予測方向）に対する重みが同一であること（均等重み）を指示するインデックスであり得る。
【0289】
本実施例の他の例によれば、時間マージ候補の重みインデックスは、ｃｏｌブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）の重みインデックスに誘導されることができる。
【0290】
本開示の別の実施例によれば、サブブロック単位のマージモードのためのマージ候補を誘導する際に、時間候補が双方向予測を使用するとき、時間候補の重みインデックスを効率よく誘導することにより、符号化効率を向上させることができる。
【0291】
本実施例の一例によれば、時間候補の重みインデックスは、常にデフォルトインデックス（例えば０）に誘導されることができる。この場合、マージインデックスに基づいてサブブロックマージ候補リストから時間候補が選択された場合、現在ブロックの重みインデックスをデフォルトインデックスに設定することもできる。
【0292】
本実施例の他の例によれば、時間候補の重みインデックスは、中央ブロック（ｃｅｎｔｅｒ ｂｌｏｃｋ）の重みインデックスに誘導されることができる。前記中央ブロックは、現在ブロックの中央位置に対応する座標を含むｃｏｌピクチャ内のブロックであり得る。前記中央位置に対応する座標は、現在ブロックの左上側座標（ｘ，ｙ）と現在ブロックの幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）に基づいて誘導されることができる。例えば、前記中央位置に対応する座標は（ｘ＋ｗｉｄｔｈ／２，ｙ＋ｈｅｉｇｈｔ／２）であってもよい。
【0293】
本実施例の別の例によれば、時間候補の重みインデックスは、現在サブブロックに対応するｃｏｌサブブロックの重みインデックスに誘導されることができる。もしｃｏｌサブブロックが利用可能でないか或いはｃｏｌサブブロックの重みインデックスが利用可能でない場合、現在サブブロックの時間候補の重みインデックスは、前記中央ブロックの重みインデックスに誘導されることができる。
【0294】
本開示の別の実施例によれば、マージモードのためのマージ候補を誘導する際に、ペアワイズ（ｐａｉｒ－ｗｉｓｅ）候補に対する重みインデックスを効率よく誘導することにより、符号化効率を向上させることができる。上述したように、ペアワイズ候補は、マージ候補リストに含まれている候補から選択された、既に定義された候補ペアに基づいて誘導されることができる。このとき、ペアワイズ候補を誘導するための候補ペアは、ｃａｎｄ０とｃａｎｄ１で表すことができる。
【0295】
本実施例の一例によれば、ペアワイズ候補が双方向予測を使用するとき、ペアワイズ候補の重みインデックスはｃａｎｄ０の重みインデックスに誘導されることができる。又は、ペアワイズ（ｐａｉｒ－ｗｉｓｅ）候補の重みインデックスはｃａｎｄ０の重みインデックスに誘導されることもでき、ｃａｎｄ０の重みインデックスとｃａｎｄ１の重みインデックスのうち、デフォルトインデックス（１：１の重みを指示するインデックス）ではない重みインデックスに誘導されることもできる。
【0296】
本実施例の他の例によれば、ペアワイズ候補の重みインデックスは、下記４つの方法のうちの少なくとも一つによって誘導されることができる。
【0297】
－ｃａｎｄ０の重みインデックス
【0298】
－ｃａｎｄ０とｃａｎｄ１のうち、双方向予測された候補の重みインデックス
【0299】
－ｃａｎｄ０とｃａｎｄ１とが同じ重みインデックスを有する場合には、当該重みインデックスに設定され、そうでない場合には、デフォルトインデックスに設定されることができる。
【0300】
－ｃａｎｄ０とｃａｎｄ１とが同じ重みインデックスを有する場合には、当該重みインデックスに設定され、そうでない場合には、ｃａｎｄ０の重みインデックスとｃａｎｄ１の重みインデックスのうち、デフォルトインデックスではない重みインデックスに設定されることができる。
【0301】
本実施例の別の例によれば、組み合わせアフィン候補に対する誘導方法との一貫性を考慮することができる。これは、複数の候補を組み合わせて生成されるという点で、ペアワイズ候補と組み合わせアフィン候補とが類似の特性を有するためである。すなわち、ｃａｎｄ０の重みインデックスをｂｃｗＩｄｘ０とし、ｃａｎｄ１の重みインデックスをｂｃｗＩｄｘ１とするとき、ペアワイズ候補の重みインデックスを誘導するために、次の２つの方法のうちの少なくとも一つが適用できる。
【0302】
－ｂｃｗＩｄｘ０とｂｃｗＩｄｘ１とが同じであるか否かに基づいて、重みインデックスが設定できる。まず、ｂｃｗＩｄｘ０とｂｃｗＩｄｘ１とが同じであるか否かが判断できる。両者が同じである場合、ペアワイズ候補の重みインデックスはｂｃｗＩｄｘ０に誘導されることができる。両者が同じでない場合、ペアワイズ候補の重みインデックスはデフォルトのインデックスに誘導されることができる。
【0303】
－単純に、ペアワイズ候補の重みインデックスは、一番目の候補の重みインデックス（例えば、ｂｃｗＩｄｘ０）に設定されることができる。
【0304】
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。
【0305】
本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
【0306】
本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。
【0307】
また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【0308】
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
【0309】
図２７は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
【0310】
図２７に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
【0311】
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
【0312】
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
【0313】
前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。
【0314】
前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
【0315】
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
【0316】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
【0317】
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。
【産業上の利用可能性】
【0318】
本開示による実施例は、画像を符号化／復号化するために利用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【手続補正書】
【提出日】2024-08-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像復号化装置によって行われる画像復号化方法であって、
前記画像復号化方法は、
現在ブロックのインター予測モードがサブブロックマージモードであるかどうかを第１フラグに基づいて決定するステップと、
前記現在ブロックの前記インター予測モードが前記サブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストから一つのサブブロックマージ候補を選択するステップと、
前記選択されたサブブロックマージ候補の動き情報に基づいて前記現在ブロックの動き情報を導出するステップと、
前記現在ブロックの前記動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記現在ブロックのレジデュアルブロックを導出するステップと、
前記現在ブロックの前記予測ブロックと前記現在ブロックの前記レジデュアルブロックとに基づいて、前記現在ブロックを復元するステップと、を含み、
前記サブブロックマージ候補リストを構成するステップは、組み合わせサブブロックマージ候補を導出するステップを含み、前記組み合わせサブブロックマージ候補を導出するステップは、前記組み合わせサブブロックマージ候補の双予測のための重みインデックスを導出するステップを含み、
前記組み合わせサブブロックマージ候補を導出するステップは、前記現在ブロックに対する複数の候補ＣＰ（Control Points）のうちの予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の前記重みインデックスは、前記候補ＣＰの重みインデックス間での比較を行わずに、前記組み合わせに含まれた前記候補ＣＰのうちの第１候補ＣＰの双予測のための重みインデックスとして導出され、
前記組み合わせに含まれた前記候補ＣＰのうちの前記第１候補ＣＰは、前記現在ブロックに対する左上側候補ＣＰ又は右上側候補ＣＰである、画像復号化方法。
前記画像復号化方法は、
現在ブロックのインター予測モードがサブブロックマージモードであるかどうかを第１フラグに基づいて決定するステップと、
前記現在ブロックの前記インター予測モードが前記サブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストから一つのサブブロックマージ候補を選択するステップと、
前記選択されたサブブロックマージ候補の動き情報に基づいて前記現在ブロックの動き情報を導出するステップと、
前記現在ブロックの前記動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記現在ブロックのレジデュアルブロックを導出するステップと、
前記現在ブロックの前記予測ブロックと前記現在ブロックの前記レジデュアルブロックとに基づいて、前記現在ブロックを復元するステップと、を含み、
前記サブブロックマージ候補リストを構成するステップは、組み合わせサブブロックマージ候補を導出するステップを含み、前記組み合わせサブブロックマージ候補を導出するステップは、前記組み合わせサブブロックマージ候補の双予測のための重みインデックスを導出するステップを含み、
前記組み合わせサブブロックマージ候補を導出するステップは、前記現在ブロックに対する複数の候補ＣＰ（Control Points）のうちの予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の前記重みインデックスは、前記候補ＣＰの重みインデックス間での比較を行わずに、前記組み合わせに含まれた前記候補ＣＰのうちの第１候補ＣＰの双予測のための重みインデックスとして導出され、
前記組み合わせに含まれた前記候補ＣＰのうちの前記第１候補ＣＰは、前記現在ブロックに対する左上側候補ＣＰ又は右上側候補ＣＰである、画像復号化方法。
【請求項2】
前記候補ＣＰの前記動き情報は、前記候補ＣＰに対する候補ブロックの動き情報に基づいて導出され、
前記候補ブロックは、前記候補ＣＰに対する少なくとも一つの候補ブロックのうちの利用可能な候補ブロックである、請求項１に記載の画像復号化方法。
前記候補ブロックは、前記候補ＣＰに対する少なくとも一つの候補ブロックのうちの利用可能な候補ブロックである、請求項１に記載の画像復号化方法。
【請求項3】
前記候補ＣＰの前記動き情報は、双予測のための重みインデックスを含み、
前記候補ＣＰの前記重みインデックスは、前記候補ＣＰが前記現在ブロックに対する前記左上側候補ＣＰ又は前記右上側候補ＣＰであることに基づいて導出される、請求項１に記載の画像復号化方法。
前記候補ＣＰの前記重みインデックスは、前記候補ＣＰが前記現在ブロックに対する前記左上側候補ＣＰ又は前記右上側候補ＣＰであることに基づいて導出される、請求項１に記載の画像復号化方法。
【請求項4】
前記候補ＣＰの前記動き情報は、双予測のための重みインデックスを含み、
前記候補ＣＰの前記重みインデックスは、前記候補ＣＰが前記現在ブロックに対する左下側候補ＣＰ又は右下側候補ＣＰであることに基づいて導出されない、請求項１に記載の画像復号化方法。
前記候補ＣＰの前記重みインデックスは、前記候補ＣＰが前記現在ブロックに対する左下側候補ＣＰ又は右下側候補ＣＰであることに基づいて導出されない、請求項１に記載の画像復号化方法。
【請求項5】
前記候補ＣＰに対する少なくとも一つの候補ブロックのうちの利用可能な候補ブロックが存在しないことに基づいて、前記候補ＣＰは利用可能でないと決定される、請求項２に記載の画像復号化方法。
【請求項6】
前記組み合わせサブブロックマージ候補を導出するステップは、前記予め定義された候補ＣＰの前記組み合わせに含まれる全ての候補ＣＰが利用可能であることに基づいて行われる、請求項４に記載の画像復号化方法。
【請求項7】
前記組み合わせサブブロックマージ候補の前記重みインデックスは、前記組み合わせに対する予測方向が利用可能かどうかに基づいて導出され、
前記組み合わせに対する前記予測方向が利用可能かどうかは、前記組み合わせに含まれる前記候補ＣＰの動き情報に基づいて導出される、請求項１に記載の画像復号化方法。
前記組み合わせに対する前記予測方向が利用可能かどうかは、前記組み合わせに含まれる前記候補ＣＰの動き情報に基づいて導出される、請求項１に記載の画像復号化方法。
【請求項8】
前記組み合わせに対する前記予測方向がＬ０方向及びＬ１方向の両方に対して利用可能であるかどうかに基づいて、前記組み合わせサブブロックマージ候補の前記重みインデックスは、前記組み合わせに含まれる前記候補ＣＰのうちの前記第１候補ＣＰとして導出される、請求項７に記載の画像復号化方法。
【請求項9】
前記組み合わせに対する前記予測方向がＬ０方向及びＬ１方向の少なくとも一つに対して利用可能でないかどうかに基づいて、前記組み合わせサブブロックマージ候補の前記重みインデックスは、所定の重みインデックスとして導出される、請求項７に記載の画像復号化方法。
【請求項10】
画像符号化装置によって行われる画像符号化方法であって、前記画像符号化方法は、
現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを導出するステップと、
前記現在ブロックの前記予測ブロックと前記現在ブロックの前記レジデュアルブロックとに基づいて前記現在ブロックを復元するステップと、
前記現在ブロックのインター予測モードがサブブロックマージモードであるかどうかを示す第１フラグを符号化するステップと、
前記予測ブロックに基づいて前記現在ブロックを符号化するステップと、
前記現在ブロックの動き情報を符号化するステップと、を含み、
前記現在ブロックの前記動き情報を符号化するステップは、
前記現在ブロックの前記インター予測モードが前記サブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストに基づいて前記現在ブロックの前記動き情報を符号化するステップと、を含み、
前記サブブロックマージ候補リストを構成するステップは、組み合わせサブブロックマージ候補を導出するステップを含み、前記組み合わせサブブロックマージ候補を導出するステップは、前記組み合わせサブブロックマージ候補の双予測のための重みインデックスを導出するステップを含み、
前記組み合わせサブブロックマージ候補を導出するステップは、前記現在ブロックに対する複数の候補ＣＰ（Control Points）のうちの予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の前記重みインデックスは、前記候補ＣＰの重みインデックス間での比較を行わずに、前記組み合わせに含まれた前記候補ＣＰのうちの第１候補ＣＰの双予測のための重みインデックスとして導出され、
前記組み合わせに含まれた前記候補ＣＰのうちの前記第１候補ＣＰは、前記現在ブロックに対する左上側候補ＣＰ又は右上側候補ＣＰである、画像符号化方法。
現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを導出するステップと、
前記現在ブロックの前記予測ブロックと前記現在ブロックの前記レジデュアルブロックとに基づいて前記現在ブロックを復元するステップと、
前記現在ブロックのインター予測モードがサブブロックマージモードであるかどうかを示す第１フラグを符号化するステップと、
前記予測ブロックに基づいて前記現在ブロックを符号化するステップと、
前記現在ブロックの動き情報を符号化するステップと、を含み、
前記現在ブロックの前記動き情報を符号化するステップは、
前記現在ブロックの前記インター予測モードが前記サブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストに基づいて前記現在ブロックの前記動き情報を符号化するステップと、を含み、
前記サブブロックマージ候補リストを構成するステップは、組み合わせサブブロックマージ候補を導出するステップを含み、前記組み合わせサブブロックマージ候補を導出するステップは、前記組み合わせサブブロックマージ候補の双予測のための重みインデックスを導出するステップを含み、
前記組み合わせサブブロックマージ候補を導出するステップは、前記現在ブロックに対する複数の候補ＣＰ（Control Points）のうちの予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の前記重みインデックスは、前記候補ＣＰの重みインデックス間での比較を行わずに、前記組み合わせに含まれた前記候補ＣＰのうちの第１候補ＣＰの双予測のための重みインデックスとして導出され、
前記組み合わせに含まれた前記候補ＣＰのうちの前記第１候補ＣＰは、前記現在ブロックに対する左上側候補ＣＰ又は右上側候補ＣＰである、画像符号化方法。
【請求項11】
画像符号化方法により生成されたビットストリームを送信する方法であって、
前記画像符号化方法は、
現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを導出するステップと、
前記現在ブロックのインター予測モードがサブブロックマージモードであるかどうかを示す第１フラグを符号化するステップと、
前記予測ブロックに基づいて前記現在ブロックを符号化するステップと、
前記現在ブロックの動き情報を符号化するステップと、を含み、
前記現在ブロックの前記動き情報を符号化するステップは、
前記現在ブロックの前記インター予測モードが前記サブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストに基づいて前記現在ブロックの前記動き情報を符号化するステップと、を含み、
前記サブブロックマージ候補リストを構成するステップは、組み合わせサブブロックマージ候補を導出するステップを含み、前記組み合わせサブブロックマージ候補を導出するステップは、前記組み合わせサブブロックマージ候補の双予測のための重みインデックスを導出するステップを含み、
前記組み合わせサブブロックマージ候補を導出するステップは、前記現在ブロックに対する複数の候補ＣＰ（Control Points）のうちの予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の前記重みインデックスは、前記候補ＣＰの重みインデックス間での比較を行わずに、前記組み合わせに含まれた前記候補ＣＰのうちの第１候補ＣＰの双予測のための重みインデックスとして導出され、
前記組み合わせに含まれた前記候補ＣＰのうちの前記第１候補ＣＰは、前記現在ブロックに対する左上側候補ＣＰ又は右上側候補ＣＰである、方法。
前記画像符号化方法は、
現在ブロックの動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを導出するステップと、
前記現在ブロックのインター予測モードがサブブロックマージモードであるかどうかを示す第１フラグを符号化するステップと、
前記予測ブロックに基づいて前記現在ブロックを符号化するステップと、
前記現在ブロックの動き情報を符号化するステップと、を含み、
前記現在ブロックの前記動き情報を符号化するステップは、
前記現在ブロックの前記インター予測モードが前記サブブロックマージモードであることに基づいて、前記現在ブロックに対するサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストに基づいて前記現在ブロックの前記動き情報を符号化するステップと、を含み、
前記サブブロックマージ候補リストを構成するステップは、組み合わせサブブロックマージ候補を導出するステップを含み、前記組み合わせサブブロックマージ候補を導出するステップは、前記組み合わせサブブロックマージ候補の双予測のための重みインデックスを導出するステップを含み、
前記組み合わせサブブロックマージ候補を導出するステップは、前記現在ブロックに対する複数の候補ＣＰ（Control Points）のうちの予め定義された候補ＣＰの組み合わせに含まれるそれぞれの候補ＣＰの動き情報に基づいて行われ、
前記組み合わせサブブロックマージ候補の前記重みインデックスは、前記候補ＣＰの重みインデックス間での比較を行わずに、前記組み合わせに含まれた前記候補ＣＰのうちの第１候補ＣＰの双予測のための重みインデックスとして導出され、
前記組み合わせに含まれた前記候補ＣＰのうちの前記第１候補ＣＰは、前記現在ブロックに対する左上側候補ＣＰ又は右上側候補ＣＰである、方法。