特表 2024-535510 適応的に解像度を変更する画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-30

(54)【発明の名称】適応的に解像度を変更する画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

(51)【国際特許分類】

   H04N 19/117 20140101AFI20240920BHJP

   H04N 19/136 20140101ALI20240920BHJP

   H04N 19/177 20140101ALI20240920BHJP

   H04N 19/463 20140101ALI20240920BHJP

   H04N 19/154 20140101ALI20240920BHJP

【ＦＩ】

H04N19/117

H04N19/136

H04N19/177

H04N19/463

H04N19/154

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024520684

(86)(22)【出願日】2022-10-04

(85)【翻訳文提出日】2024-05-15

(86)【国際出願番号】 KR2022014919

(87)【国際公開番号】W WO2023059034

(87)【国際公開日】2023-04-13

(31)【優先権主張番号】63/252,113

(32)【優先日】2021-10-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/296,445

(32)【優先日】2022-01-04

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ナム チョンハク

(72)【発明者】

【氏名】ユ ソンミ

(72)【発明者】

【氏名】イム チェヒョン

(72)【発明者】

【氏名】キム スンファン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MC11

5C159ME01

5C159PP04

5C159RC12

5C159TA06

5C159TB03

5C159TC08

5C159TC28

5C159UA02

5C159UA05

5C159UA11

(57)【要約】

画像符号化／復号化方法及び装置が提供される。本開示の一実施例によれば、画像復号化装置によって行われる画像復号化方法は、現在画像のインター予測のための参照画像を誘導するステップと、前記参照画像と現在画像の解像度比率を誘導するステップと、前記解像度比率に基づいて前記参照画像の解像度を変更するステップと、を含み、前記解像度比率は、ビットストリームの解像度インデックス情報に基づいて誘導されることができる。
【選択図】図１０

【特許請求の範囲】

【請求項1】

画像符号化装置によって行われる画像符号化方法であって、
現在画像のインター予測のための参照画像を決定するステップと、
前記参照画像と現在画像の解像度比率を誘導するステップと、
前記解像度比率に基づいて前記参照画像の解像度を変更するステップと、を含み、
前記解像度比率を指示する解像度インデックス情報は、ビットストリームに符号化される、画像符号化方法。

【請求項2】

前記解像度インデックス情報は、複数の前記解像度比率のうちの１つを指示する、請求項１に記載の画像符号化方法。

【請求項3】

前記解像度比率は、２である第１解像度比率、及び３／２である第２解像度比率を含む、請求項１に記載の方法。

【請求項4】

前記解像度は、ＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）単位で適用される、請求項１に記載の画像符号化方法。

【請求項5】

前記解像度比率は、前記ＧＯＰ内の第１ピクチャの初期量子化パラメータに基づいて決定される、請求項４に記載の画像符号化方法。

【請求項6】

前記初期量子化パラメータは、特定の量子化パラメータ値と比較される、請求項５に記載の画像符号化方法。

【請求項7】

前記解像度比率は、前記第１ピクチャを特定の解像度にダウンスケーリングして誘導される、請求項４に記載の画像符号化方法。

【請求項8】

前記解像度比率は、前記ＧＯＰ内の第１ピクチャに対するＰＳＮＲに基づいて決定される、請求項４に記載の画像符号化方法。

【請求項9】

前記第１ピクチャに対するＰＳＮＲは、特定のＰＳＮＲ値と比較される、請求項８に記載の画像符号化方法。

【請求項10】

前記現在画像に対する参照画像リサンプリングするか否かを決定するステップをさらに含む、請求項１に記載の画像符号化方法。

【請求項11】

前記参照ピクチャリサンプリングは、ＢＤＯＦ、ＤＭＶＲ、ＰＲＯＦ或いはＴＭＶＰの適用有無に基づいて行われる、請求項１０に記載の画像符号化方法。

【請求項12】

画像復号化装置によって行われる画像復号化方法であって、
現在画像のインター予測のための参照画像を誘導するステップと、
前記参照画像と現在画像の解像度比率を誘導するステップと、
前記解像度比率に基づいて前記参照画像の解像度を変更するステップと、を含み、
前記解像度比率は、ビットストリームの解像度インデックス情報に基づいて誘導される、画像復号化方法。

【請求項13】

前記解像度比率は、２である第１解像度比率及び３／２である第２解像度比率を含む、請求項１２に記載の画像復号化方法。

【請求項14】

請求項１に記載の画像符号化方法によって生成されたビットストリームが保存された非一時的コンピュータ可読媒体。

【請求項15】

画像符号化方法によって生成されたビットストリーム伝送方法において、
前記画像符号化方法は、
現在画像のインター予測のための参照画像を決定するステップと、
前記参照画像と現在画像の解像度比率を誘導するステップと、
前記解像度比率に基づいて前記参照画像の解像度を変更するステップと、を含み、
前記解像度比率を指示する解像度インデックス情報は、ビットストリームに符号化される、画像符号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、参照画像と現在画像の解像度が異なるときに適応的に解像度を変更する画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

【背景技術】

【0002】

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

【0003】

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

【0005】

また、本開示は、適応的に解像度を変更する画像符号化／復号化方法及び装置を提供することを目的とする。

【0006】

また、本開示は、参照画像リサンプリングを行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0007】

また、本開示は、１つの画像に対して様々な候補解像度のうちの１つを選択する画像符号化／復号化方法及び装置を提供することを目的とする。

【0008】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法又は装置を提供することを目的とする。

【0009】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

【0010】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。

【0011】

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【課題を解決するための手段】

【0012】

本開示の一実施例によれば、画像符号化装置によって行われる画像符号化方法は、現在画像のインター予測のための参照画像を決定するステップと、前記参照画像と現在画像の解像度比率を誘導するステップと、前記解像度比率に基づいて前記参照画像の解像度を変更するステップと、を含み、前記解像度比率を指示する解像度インデックス情報は、ビットストリームに符号化できる。

【0013】

本開示の一実施例によれば、前記解像度インデックス情報は、複数の前記解像度比率のうちの１つを指すことができる。

【0014】

本開示の一実施例によれば、前記解像度比率は、２である第１解像度比率、及び３／２である第２解像度比率を含むことができる。

【0015】

本開示の一実施例によれば、前記解像度は、ＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）単位で適用できる。

【0016】

本開示の一実施例によれば、前記解像度比率は、前記ＧＯＰ内の第１ピクチャの初期量子化パラメータに基づいて決定できる。

【0017】

本開示の一実施例によれば、前記解像度比率は、前記第１ピクチャを特定の解像度にダウンスケーリングして誘導できる。

【0018】

本開示の一実施例によれば、前記初期量子化パラメータは、特定の量子化パラメータ値と比較できる。

【0019】

本開示の一実施例によれば、前記解像度比率は、前記ＧＯＰ内の第１ピクチャに対するＰＳＮＲにさらに基づいて決定できる。

【0020】

本開示の一実施例によれば、前記第１ピクチャに対するＰＳＮＲは、特定のＰＳＮＲ値と比較できる。

【0021】

本開示の一実施例によれば、前記画像符号化方法は、前記現在画像に対する参照画像リサンプリングを行うか否かを決定するステップをさらに含むことができる。

【0022】

本開示の一実施例によれば、前記参照画像リサンプリングは、ＢＤＯＦ、ＤＭＶＲ、ＰＲＯＦ或いはＴＭＶＰの適用有無に基づいて行われることができる。

【0023】

本開示の一実施例によれば、画像復号化装置によって行われる画像復号化方法は、現在画像のインター予測のための参照画像を誘導するステップと、前記参照画像と現在画像の解像度比率を誘導するステップと、前記解像度比率に基づいて前記参照画像の解像度を変更するステップと、を含み、前記解像度比率は、ビットストリームの解像度インデックス情報に基づいて誘導できる。

【0024】

本開示の一実施例によれば、前記解像度比率は、２である第１解像度比率、及び３／２である第２解像度比率を含むことができる。

【0025】

本開示の一実施例によれば、前記解像度は、ＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）単位で適用できる。

【0026】

本開示の一実施例によれば、前記解像度比率は、前記ＧＯＰ内の第１ピクチャの初期量子化パラメータに基づいて誘導されたものであり得る。

【0027】

本開示の一実施例によれば、前記解像度比率は、前記第１ピクチャを特定の解像度にダウンスケーリングして誘導できる。

【0028】

本開示の一実施例によれば、前記初期量子化パラメータは、特定の量子化パラメータ値と比較できる。

【0029】

本開示の一実施例によれば、前記解像度比率は、前記ＧＯＰ内の第１ピクチャに対するＰＳＮＲにさらに基づいて決定できる。

【0030】

本開示の一実施例によれば、前記第１ピクチャに対するＰＳＮＲは、特定のＰＳＮＲ値と比較できる。

【0031】

本開示の一実施例によれば、前記画像符号化方法は、前記現在画像に対する参照画像リサンプリングを行うか否かを決定するステップをさらに含むことができる。

【0032】

本開示の一実施例によれば、前記参照画像リサンプリングは、ＢＤＯＦ、ＤＭＶＲ、ＰＲＯＦ或いはＴＭＶＰの適用有無に基づいて行われることができる。

【0033】

本開示の一実施例によれば、画像符号化装置は、メモリと、前記メモリに接続された少なくとも１つのプロセッサと、を含み、前記プロセッサは、現在画像のインター予測のための参照画像を誘導し、前記参照画像と現在画像の解像度比率を誘導し、前記解像度比率に基づいて前記参照画像の解像度を変更するが、前記解像度比率を指示する解像度インデックス情報は、ビットストリームに符号化できる。

【0034】

本開示の一実施例によれば、画像復号化装置は、メモリと、前記メモリに接続された少なくとも１つのプロセッサと、を含み、前記プロセッサは、現在画像のインター予測のための参照画像を誘導し、前記参照画像と現在画像の解像度比率を誘導し、前記解像度比率に基づいて前記参照画像の解像度を変更するが、前記解像度比率は、ビットストリームの解像度インデックス情報に基づいて誘導できる。

【0035】

本開示の一実施例によれば、ビットストリーム伝送装置は、ビットストリームを取得する少なくとも１つのプロセッサと、前記ビットストリームを伝送するトランスメータ（ｔｒａｎｓｍｉｔｔｅｒ）と、を含み、前記ビットストリームは、画像符号化方法によって生成され、前記画像符号化方法は、現在画像のインター予測のための参照画像を決定するステップと、前記参照画像と現在画像の解像度比率を誘導するステップと、前記解像度比率に基づいて前記参照画像の解像度を変更するステップと、を含み、前記解像度比率を指示する解像度インデックス情報は、ビットストリームに符号化されることができる。

【0036】

本開示の一実施例によれば、画像符号化装置又は画像符号化方法によって生成されたビットストリームが伝送されることができる。

【0037】

本開示の一実施例によれば、画像符号化方法によって生成されたビットストリーム伝送方法において、前記画像符号化方法は、現在画像のインター予測のための参照画像を決定するステップと、前記参照画像と現在画像の解像度比率を誘導するステップと、前記解像度比率に基づいて前記参照画像の解像度を変更するステップと、を含み、前記解像度比率を指示する解像度インデックス情報は、ビットストリームに符号化できる。

【0038】

本開示の一実施例によれば、画像符号化方法によって生成されたビットストリームは、コンピュータ可読媒体に保存又は記録できる。

【0039】

本開示の一実施例によれば、画像符号化方法によって生成されたビットストリームは、ビットストリーム伝送装置によって伝送できる。

【0040】

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

【発明の効果】

【0041】

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

【0042】

また、本開示によれば、適応的に解像度を変更する画像符号化／復号化方法及び装置が提供されることができる。

【0043】

また、本開示によれば、参照画像リサンプリングを行う画像符号化／復号化方法及び装置が提供されることができる。

【0044】

また、本開示によれば、最適の解像度を決定する画像符号化／復号化方法及び装置が提供されることができる。

【0045】

また、本開示によれば、１つの画像に対して様々な候補解像度の中から１つを選択する画像符号化／復号化方法及び装置が提供されることができる。

【0046】

本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法又は装置が提供されることができる。

【0047】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

【0048】

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

【0049】

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【図面の簡単な説明】

【0050】

【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【0051】

【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0052】

【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0053】

【図4】インター予測符号化／復号化手順一般を示す図である。

【0054】

【図5】インター予測符号化／復号化手順一般を示す図である。

【0055】

【図6】インター予測符号化／復号化手順一般を示す図である。

【0056】

【図7】インター予測符号化／復号化手順一般を示す図である。

【0057】

【図8】インター予測符号化／復号化手順一般を示す図である。

【0058】

【図9】本開示の一実施例による画像符号化或いは復号化方法を示す図である。

【0059】

【図10】本開示の一実施例による画像符号化或いは復号化方法を示す図である。

【0060】

【図11】本開示の一実施例による画像符号化又は復号化装置を示す図である。

【0061】

【図12】本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【発明を実施するための形態】

【0062】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0063】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0064】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0065】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

【0066】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

【0067】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0068】

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

【0069】

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

【0070】

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0071】

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

【0072】

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

【0073】

また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのクロマブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。

【0074】

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

【0075】

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

【0076】

ビデオコーディングシステムの概要

【0077】

図１は、本開示によるビデオコーディングシステムを示す図である。

【0078】

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

【0079】

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

【0080】

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

【0081】

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

【0082】

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを取得することができ、これをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１又は他の外部オブジェクトに伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。伝送部１３は、符号化装置１０とは別個の伝送装置として備えられることができ、この場合、伝送装置は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを取得する少なくとも一つのプロセッサと、これをファイル又はストリーム形式で伝達する伝送部と、を含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

【0083】

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

【0084】

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

【0085】

画像符号化装置の概要

【0086】

図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0087】

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

【0088】

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

【0089】

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

【0090】

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0091】

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びＰｌａｎａｒモードを含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0092】

インター予測部１８０は、参照画像上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照画像インデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照画像に存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照画像と、前記時間周辺ブロックを含む参照画像とは、互いに同一でも異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照画像は、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照画像インデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

【0093】

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。

【0094】

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

【0095】

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

【0096】

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0097】

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

【0098】

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

【0099】

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

【0100】

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0101】

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0102】

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照画像として使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

【0103】

メモリ１７０内のＤＰＢは、インター予測部１８０での参照画像として使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

【0104】

画像復号化装置の概要

【0105】

図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0106】

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

【0107】

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

【0108】

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

【0109】

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

【0110】

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

【0111】

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0112】

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

【0113】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

【0114】

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

【0115】

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

【0116】

インター予測部２６０は、参照画像上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照画像インデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照画像に存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照画像インデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

【0117】

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

【0118】

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0119】

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

【0120】

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

【0121】

ＣＴＵ分割の概要

【0122】

前述したように、コーディングユニットは、コーディングツリーユニット（ＣＴＵ）又は最大コーディングユニット（ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に分割することにより取得できる。例えば、ＣＴＵは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。

【0123】

四分木による分割は、現在ＣＵ（又はＣＴＵ）を４等分する分割を意味する。四分木による分割によって、現在ＣＵは、同じ幅と同じ高さを有する４つのＣＵに分割されることができる。現在ＣＵがそれ以上四分木構造に分割されない場合、現在ＣＵは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するＣＵは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するＣＵは、マルチタイプツリー構造によってさらに分割されることができる。

【0124】

インター予測の概要

【0125】

以下、本開示によるインター予測について説明する。

【0126】

以下のインター予測は、上述したデコーダ側のインター予測ベースのビデオ／画像復号化方法及び復号化装置内のインター予測部で表すことができる。さらに、エンコーダの場合、上述したインター予測ベースのビデオ／画像符号化方法及び符号化装置内のインター予測部で表すことができる。これに加えて、符号化されたデータはビットストリーム形式で保存できる。

【0127】

符号化装置／復号化装置の予測部は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャのデータ要素（例えば、サンプル値、又は動き情報など）に依存的な方法で導出される予測を表すことができる（Ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｃａｎ ｂｅ ａ ｐｒｅｄｉｃｔｉｏｎ ｄｅｒｉｖｅｄ ｉｎ ａ ｍａｎｎｅｒ ｔｈａｔ ｉｓ ｄｅｐｅｎｄｅｎｔ ｏｎ ｄａｔａ ｅｌｅｍｅｎｔｓ（ｅ．ｇ．，ｓａｍｐｌｅ ｖａｌｕｅｓ ｏｒ ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ） ｏｆ ｐｉｃｔｕｒｅ（ｓ） ｏｔｈｅｒ ｔｈａｎ ｔｈｅ ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ）。現在ブロックにインター予測が適用される場合、参照ピクチャインデックスが指す参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロック、又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測が適用される場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、互いに同一でも異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができ、前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、現在ブロックの周辺ブロックに基づいて動き情報候補リストが構成でき、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するためにどの候補が選択（使用）されるかを指示するフラグ又はインデックス情報がシグナリングされることができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモード及びマージモードの場合に、現在ブロックの動き情報は、選択された周辺ブロックの動き情報と同じであり得る。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子と動きベクトル差分との和を用いて前記現在ブロックの動きベクトルを導出することができる。

【0128】

前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）に応じて、Ｌ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルはＬ０動きベクトル又はＭＶＬ０と呼ばれることができ、Ｌ１方向の動きベクトルはＬ１動きベクトル又はＭＶＬ１と呼ばれることができる。Ｌ０動きベクトルに基づく予測はＬ０予測と呼ばれることができ、Ｌ１動きベクトルに基づく予測はＬ１予測と呼ばれることができ、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方に基づく予測は、双（Ｂｉ）予測と呼ばれることができる。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連する動きベクトルを表すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連する動きベクトルを表すことができる。参照ピクチャリストＬ０は、前記現在ピクチャよりも出力順に以前ピクチャを参照ピクチャとして含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも出力順に以後ピクチャを含むことができる。前記以前ピクチャは、順方向（参照）ピクチャと呼ばれることができ、前記以後ピクチャは、逆方向（参照）ピクチャと呼ばれることができる。前記参照ピクチャリストＬ０は、前記現在ピクチャよりも出力順に以後ピクチャを参照ピクチャとしてさらに含むことができる。この場合、前記参照ピクチャリストＬ０内で前記以前ピクチャが先にインデックス化され、前記以後ピクチャはその次にインデックス化されることができる。前記参照ピクチャリストＬ１は、前記現在ピクチャよりも出力順に以前ピクチャを参照ピクチャとしてさらに含むことができる。この場合、前記参照ピクチャリスト１内で前記以後ピクチャが先にインデックス化され、前記以前ピクチャはその次にインデックス化されることができる。ここで、出力順は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応することができる。

【0129】

インター予測に基づくビデオ／画像符号化手順及び符号化装置内のインター予測部は、概略的に例えば図４～図６に示されている。

【0130】

図４は、インター予測ベースのビデオ／画像符号化方法を例示する図であり、図５は、符号化装置内のインター予測部を示す図である。

【0131】

符号化装置は、現在ブロックに対するインター予測を行う（Ｓ１０００）。符号化装置は、現在ブロックのインター予測モード及び動き情報を導出し、前記現在ブロックの予測サンプルを生成することができる。ここで、インター予測モードの決定、動き情報の導出及び予測サンプルの生成の手順は同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。例えば、符号化装置のインター予測部１８０は、予測モード決定部１８１、動き情報導出部１８２及び予測サンプル導出部１８３を含むことができ、予測モード決定部１８１で前記現在ブロックに対する予測モードを決定し、動き情報導出部１８２で前記現在ブロックの動き情報を導出し、予測サンプル導出部１８３で前記現在ブロックの予測サンプルを導出することができる。例えば、符号化装置のインター予測部１８０は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定領域（サーチ領域）内で前記現在ブロックと類似のブロックをサーチし、前記現在ブロックとの差が最小又は一定基準以下である参照ブロックを導出することができる。これに基づいて、前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、前記参照ブロックと前記現在ブロックとの位置差に基づいて動きベクトルを導出することができる。符号化装置は、様々な予測モードのうちの前記現在ブロックに対して適用されるモードを決定することができる。符号化装置は、前記様々な予測モードに対するＲＤコストを比較し、前記現在ブロックに対する最適の予測モードを決定することができる。

【0132】

例えば、符号化装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれたマージ候補が指す参照ブロックのうち、前記現在ブロックとの差が最小又は一定基準以下である参照ブロックを導出することができる。この場合、前記導出された参照ブロックに関連するマージ候補が選択され、前記選択されたマージ候補を指すマージインデックス情報が生成されて復号化装置にシグナリングされることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報が導出することができる。

【0133】

他の例として、符号化装置は、前記現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、前記（Ａ）ＭＶＰ候補リストに含まれたｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち、選択されたｍｖｐ候補の動きベクトルを現在のブロックのｍｖｐとして用いることができる。この場合、例えば、上述した動き推定によって導出された参照ブロックを指す動きベクトルが前記現在ブロックの動きベクトルとして用いられることができ、前記ｍｖｐ候補のうち、前記現在ブロックの動きベクトルとの差が最も小さい動きベクトルを有するｍｖｐ候補が、前記選択されたｍｖｐ候補になることができる。前記現在ブロックの動きベクトルから前記ｍｖｐを引いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出できる。この場合、前記ＭＶＤに関する情報が復号化装置にシグナリングされることができる。また、（Ａ）ＭＶＰモードが適用される場合、前記参照ピクチャインデックスの値は、参照ピクチャインデックス情報で構成されて前記復号化装置に別途シグナリングされることができる。

【0134】

符号化装置は、前記予測サンプルに基づいてレジデュアルサンプルを導出することができる（Ｓ１０１０）。符号化装置は、前記現在ブロックの原本サンプルと前記予測サンプルとの比較によって前記レジデュアルサンプルを導出することができる。

【0135】

符号化装置は、予測情報及びレジデュアル情報を含む画像情報を符号化する（Ｓ１０２０）。符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。前記予測情報は、前記予測手順に関連する情報として、予測モード情報（例、ｓｋｉｐ ｆｌａｇ、ｍｅｒｇｅ ｆｌａｇ ｏｒ ｍｏｄｅ ｉｎｄｅｘなど）及び動き情報に関する情報を含むことができる。前記動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報（例えば、ｍｅｒｇｅ ｉｎｄｅｘ、ｍｖｐ ｆｌａｇ ｏｒ ｍｖｐ ｉｎｄｅｘ）を含むことができる。また、前記動き情報に関する情報は、上述したＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含むことができる。また、前記動き情報に関する情報は、Ｌ０予測、Ｌ１予測、又は双（ｂｉ）予測が適用されるか否かを示す情報を含むことができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。

【0136】

出力されたビットストリームは、（デジタル）記憶媒体に保存されて復号化装置に伝達されてもよく、或いはネットワークを介して復号化装置に伝達されてもよい。

【0137】

一方、上述したように、符号化装置は、前記参照サンプル及び前記レジデュアルサンプルに基づいて復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成することができる。これは、復号化装置で行われるのと同じ予測結果を符号化装置で導出するためであり、これにより符号化効率を高めることができるからである。したがって、符号化装置は、復元ピクチャ（又は復元サンプル、復元ブロック）をメモリに保存し、インター予測のための参照ピクチャとして活用することができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述した通りである。

【0138】

インター予測に基づくビデオ／画像復号化手順及び復号化装置内のインター予測部は、概略的に例えば図７及び図８に示されている。

【0139】

図７は、インター予測ベースのビデオ／画像復号方法を例示する図であり、図８は、復号化装置内のインター予測部を例示する図である。

【0140】

復号化装置は、前記符号化装置で行われた動作と対応する動作を行うことができる。復号化装置は、受信された予測情報に基づいて現在ブロックに対して予測を行い、予測サンプルを導出することができる。

【0141】

具体的には、復号化装置は、受信された予測情報に基づいて前記現在ブロックに対する予測モードを決定することができる（Ｓ１１００）。復号化装置は、前記予測情報内の予測モード情報に基づいて、前記現在ブロックにどのインター予測モードが適用されるかを決定することができる。

【0142】

例えば、前記ｍｅｒｇｅ ｆｌａｇに基づいて、前記現在ブロックに前記マージモードが適用されるか、或いは（Ａ）ＭＶＰモードが決定されるかを決定することができる。或いは、前記モードインデックス（ｍｏｄｅ ｉｎｄｅｘ）に基づいて様々なインター予測モード候補のうちの１つを選択することができる。前記インター予測モード候補は、スキップモード、マージモード、及び／又は（Ａ）ＭＶＰモードを含むことができ、或いは後述する様々なインター予測モードを含むことができる。

【0143】

復号化装置は、前記決定されたインター予測モードに基づいて前記現在ブロックの動き情報を導出する（Ｓ１１１０）。例えば、復号化装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれたマージ候補のうちの１つのマージ候補を選択することができる。前記選択は、上述した選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報が導出することができる。前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として用いられることができる。

【0144】

他の例として、復号化装置は、前記現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、前記（Ａ）ＭＶＰ候補リストに含まれたｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち、選択されたｍｖｐ候補の動きベクトルを前記現在ブロックのｍｖｐとして用いることができる。前記選択は、上述した選択情報（ｍｖｐ ｆｌａｇ ｏｒ ｍｖｐ ｉｎｄｅｘ）に基づいて行われることができる。この場合、前記ＭＶＤに関する情報に基づいて前記現在ブロックのＭＶＤを導出することができ、前記現在ブロックのｍｖｐと前記ＭＶＤに基づいて前記現在ブロックの動きベクトルを導出することができる。また、前記参照ピクチャインデックス情報に基づいて前記現在ブロックの参照ピクチャインデックスを導出することができる。前記現在ブロックに関する参照ピクチャリスト内で前記参照ピクチャインデックスが指すピクチャが、前記現在ブロックのインター予測のために参照される参照ピクチャとして導出できる。

【0145】

一方、後述するように候補リスト構成なしで前記現在ブロックの動き情報が導出されることができ、この場合、後述する予測モードで開示された手順に従って前記現在ブロックの動き情報が導出されることができる。この場合、上述したような候補リスト構成は省略可能である。

【0146】

復号化装置は、前記現在ブロックの動き情報に基づいて前記現在ブロックに対する予測サンプルを生成することができる（Ｓ１１２０）。この場合、前記現在ブロックの参照ピクチャインデックスに基づいて前記参照ピクチャを導出し、前記現在ブロックの動きベクトルが前記参照ピクチャ上で指す参照ブロックのサンプルを用いて前記現在ブロックの予測サンプルを導出することができる。この場合、後述するように、場合によっては、前記現在ブロックの予測サンプルの全部又は一部に対する予測サンプルフィルタリング手順がさらに行われることができる。

【0147】

例えば、復号化装置のインター予測部２６０は、予測モード決定部２６１、動き情報導出部２６２、及び予測サンプル導出部２６３を含むことができ、予測モード決定部１８１で受信された予測モード情報に基づいて前記現在ブロックに対する予測モードを決定し、動き情報導出部１８２で受信された動き情報に関する情報に基づいて前記現在ブロックの動き情報（動きベクトル及び／又は参照ピクチャインデックスなど）を導出し、予測サンプル導出部１８３で前記現在ブロックの予測サンプルを導出することができる。

【0148】

復号化装置は、受信されたレジデュアル情報に基づいて前記現在ブロックに対するレジデュアルサンプルを生成する（Ｓ１１３０）。復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成することができる（Ｓ１１４０）。以後、前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述した通りである。

【0149】

上述したように、インター予測手順は、インター予測モード決定ステップ、決定された予測モードによる動き情報導出ステップ、導出された動き情報に基づく予測実行（予測サンプル生成）ステップを含むことができる。前記インター予測手順は、上述したように符号化装置及び復号装置で行われることができる。

【0150】

図８は、インター予測手順を例示する図である。

【0151】

ピクチャ内の現在ブロックを予測するために様々なインター予測モードが使用できる。例えば、マージモード、スキップモード、ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モード、アフィン（Ａｆｆｉｎｅ）モード、サブブロックマージモード、ＭＶＶＤ（ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）モードなどの様々なモードが使用できる。ＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード、Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ（ＢＣＷ）、Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ（ＢＤＯＦ）などが付随モードとしてさらに或いは代わりに使用できる。アフィンモードは、アフィン動き予測モード（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることもある。ＭＶＰモードは、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもある。本文書で一部のモード及び／又は一部のモードによって導出された動き情報候補は、他のモードの動き情報関連候補のうちの１つとして含まれることもできる。例えば、ＨＭＶＰ候補は、前記マージ／スキップモードのマージ候補として追加されてもよく、或いは前記ＭＶＰモードのｍｖｐ候補として追加されてもよい。

【0152】

現在ブロックのインター予測モードを指す予測モード情報が符号化装置から復号化装置にシグナリングされることができる。前記予測モード情報は、ビットストリームに含まれて復号化装置に受信されることができる。前記予測モード情報は、多数の候補モードのうちの１つを指示するインデックス情報を含むことができる。或いは、フラグ情報の階層的シグナリングを介してインター予測モードを指示することもできる。この場合、前記予測モード情報は、１つ以上のフラグを含むことができる。例えば、スキップフラグをシグナリングしてスキップモードの適用有無を指示し、スキップモードが適用されない場合にはマージフラグをシグナリングしてマージモードの適用有無を指示し、マージモードが適用されない場合にはＭＶＰモードが適用されると指示するか、或いは追加の区分のためのフラグをさらにシグナリングすることもできる。アフィンモードは、独立したモードでシグナリングされてもよく、マージモード又はＭＶＰモードなどに従属的なモードでシグナリングされてもよい。例えば、アフィンモードは、アフィンマージモード及びアフィンＭＶＰモードを含むことができる。

【0153】

一方、現在ブロックに上述のｌｉｓｔ０（Ｌ０）予測、ｌｉｓｔ１（Ｌ１）予測、又は双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロック（現在コーディングユニット）に使用されるか否かを示す情報がシグナリングされることができる。前記情報は、動き予測方向情報、インター予測方向情報又はインター予測指示情報と呼ばれることができ、例えば、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素の形態で構成／符号化／シグナリングされることができる。すなわち、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素は、上述したｌｉｓｔ０（Ｌ０）予測、ｌｉｓｔ１（Ｌ１）予測、又は双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロック（現在コーディングユニット）に使用されるか否かを示すことができる。本文書では、説明の便宜のために、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素が指すインター予測タイプ（Ｌ０予測、Ｌ１予測、又はＢＩ予測）は、動き予測方向と表示されることができる。Ｌ０予測はｐｒｅｄ＿Ｌ０、Ｌ１予測はｐｒｅｄ＿Ｌ１、双予測はｐｒｅｄ＿ＢＩで表れることもできる。例えば、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素の値に応じて、次の予測タイプを表すことができる。

【0154】

【表1】

【0155】

上述したように、１つのピクチャは、１つ以上のスライス（ｓｌｉｃｅ）を含むことができる。スライス（ｓｌｉｃｅ）は、ｉｎｔｒａ（Ｉ） ｓｌｉｃｅ、ｐｒｅｄｉｃｔｉｖｅ（Ｐ） ｓｌｉｃｅ、及びｂｉ－ｐｒｅｄｉｃｔｉｖｅ（Ｂ） ｓｌｉｃｅを含むｓｌｉｃｅタイプのうちの１つを有することができる。前記スライスタイプは、スライスタイプ情報に基づいて指示されることができる。Ｉ ｓｌｉｃｅ内のブロックに対しては、予測のためにインター予測は使用されず、イントラ予測のみが使用できる。もちろん、この場合にも、予測なしに原本サンプル値をコーディングしてシグナリングすることもできる。Ｐスライス内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合には、単（ｕｎｉ）予測のみが使用できる。一方、Ｂスライス内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合には、最大双（ｂｉ）予測まで使用できる。

【0156】

Ｌ０及びＬ１は、現在ピクチャよりも以前に符号化／復号化された参照ピクチャを含むことができる。例えば、Ｌ０は、ＰＯＣ順序上、現在ピクチャよりも以前及び／又は以後の参照ピクチャを含むことができ、Ｌ１は、ＰＯＣ順序上、現在ピクチャよりも以後及び／又は以前の参照ピクチャを含むことができる。この場合、Ｌ０には、ＰＯＣ順序上、現在ピクチャよりも以前の参照ピクチャに相対的にさらに低い参照ピクチャインデックスが割り当てられることができ、Ｌ１には、ＰＯＣ順序上、現在ピクチャよりも以後の参照ピクチャに相対的に低い参照ピクチャインデックスが割り当てられることができる。Ｂスライスの場合、双予測が適用でき、この場合にも、単方向双予測が適用でき、又は両方向双予測が適用できる。両方向双予測は、ｔｒｕｅ双予測と呼ばれることができる。

【0157】

具体的には、例えば、現在ブロックのインター予測モードに関する情報は、ＣＵ（ＣＵシンタックス）などのレベルで符号化されてシグナリングされてもよく、或いは条件に従って暗黙的に決定されてもよい。この場合、一部のモードに対しては明示的にシグナリングされ、残りの一部のモードは黙示的に導出されることができる。

【0158】

例えば、ＣＵシンタックスは、次のように（インター）予測モードに関する情報などを運ぶことができる。

【0159】

【表2-1】

【表2-2】

【表2-3】

【表2-4】

【表2-5】

【表2-6】

【0160】

ここで、ｃｕ＿ｓｋｉｐ＿ｆｌａｇは、現在ブロック（ＣＵ）にスキップモードが適用されるか否かを示すことができる。

【0161】

ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが０であれば、現在コーディングユニットがインター予測モードでコーディングされることを示し、ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが１であれば、現在コーディングユニットがイントラ予測モードでコーディングされることを示す。

【0162】

ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇが１であれば、現在コーディングユニットがＩＢＣ予測モードでコーディングされることを示し、ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇが０であれば、現在コーディングユニットがＩＢＣ予測モードでコーディングされないことを示す。

【0163】

ｐｃｍ＿ｆｌａｇ［ｘ０］［ｙ０］が１であれば、ｐｃｍ＿ｓａｍｐｌｅ（）シンタックス構造が存在し、ｔｒａｎｓｆｏｒｍ＿ｔｒｅｅ（）シンタックス構造が位置（ｘ０，ｙ０）のルマコーディングブロックを含むコーディングユニットに存在しないことを示す。ｐｃｍ＿ｆｌａｇ［ｘ０］［ｙ０］が０であれば、ｐｃｍ＿ｓａｍｐｌｅ（）シンタックス構造が存在しないことを示す。すなわち、ｐｃｍ＿ｆｌａｇは、現在ブロックにｐｕｌｓ ｃｏｄｉｎｇ ｍｏｄｕｌａｔｉｏｎ（ＰＣＭ）モードが適用されるか否かを示すことができる。現在ブロックにＰＣＭモードが適用される場合、予測／変換／量子化などが適用されず、現在ブロック内の原本サンプルの値がコーディングされてシグナリングされることができる。

【0164】

ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］が１であれば、ルマサンプルに対するイントラ予測タイプがＭＩＰ（ｍａｔｒｉｘ－ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）であることを示す。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］が０であれば、ルマサンプルに対するイントラ予測タイプがＭＩＰではないことを示す。すなわち、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは、現在ブロック（のルマサンプル）にＭＩＰ予測モード（タイプ）が適用されるか否かを示すことができる。

【0165】

ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ［ｘ０］［ｙ０］は、現在ブロックのクロマサンプルに対するイントラ予測モードを示す。ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ ｆｏｒ ｃｈｒｏｍａ ｓａｍｐｌｅｓ ｉｎ ｔｈｅ ｃｕｒｒｅｎｔ ｂｌｏｃｋ。

【0166】

ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］は、隣接するインター予測されたパーティションから現在コーディングユニットに対するインター予測パラメータが推論（誘導）されるか否かを示す。すなわち、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇは、一般マージが利用可能であることを示すことができ、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇの値が１である場合、ｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅ、ｍｍｖｄ ｍｏｄｅ、及びｍｅｒｇｅ ｓｕｂｂｌｏｃｋ ｍｏｄｅ（ｓｕｂｂｌｏｃｋ ｍｅｒｇｅ ｍｏｄｅ）が利用可能である。例えば、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇの値が１である場合、ｍｅｒｇｅ ｄａｔａ ｓｙｎｔａｘが、符号化されたビデオ／画像情報（又はビットストリーム）からパーシングされることができ、ｍｅｒｇｅ ｄａｔａ ｓｙｎｔａｘは、次の情報を含むように構成／コーディングできる。

【0167】

【表3】

【0168】

ここで、ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］が１であれば、一般マージモード（ｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅ）が現在コーディングユニットのインター予測パラメータを生成するのに使用されることを示す。すなわち、ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｆｌａｇは、マージモード（正規マージモード）が現在ブロックに適用されるか否かを示す。

【0169】

ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］が１であれば、ＭＭＶＤ（ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が現在コーディングユニットのインター予測パラメータを生成するのに使用されることを示す。すなわち、ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇは、ＭＭＶＤが現在ブロックに適用されるか否かを示す。

【0170】

ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇ［ｘ０］［ｙ０］は、マージ候補リスト内の１番目（０）或いは２番目（１）の候補がｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ［ｘ０］［ｙ０］及びｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ［ｘ０］［ｙ０］から誘導された動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が使用されるか否かを示す。

【0171】

ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ［ｘ０］［ｙ０］は、ＭｍｖｄＤｉｓｔａｎｃｅ［ｘ０］［ｙ０］を誘導するためのインデックスを示す。

【0172】

ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ［ｘ０］［ｙ０］は、ＭｍｖｄＳｉｇｎ ［ｘ０］［ｙ０］を誘導するためのインデックスを示す。

【0173】

ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ［ｘ０］［ｙ０］現在コーディングユニットに対してサブブロックベースのインター予測パラメータを生成するためにマージモードが使用されるか否かを示す。すなわち、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇは、現在ブロックにサブブロックマージモード（又はａｆｆｉｎｅ ｍｅｒｇｅ ｍｏｄｅ）が適用されるか否かを示すことができる。

【0174】

ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘ［ｘ０］［ｙ０］は、サブブロックベースのマージ候補リストのマージ候補リストを示す。

【0175】

ｃｉｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は、結合されたインターピクチャマージ及びイントラピクチャ予測が現在コーディングユニットに適用されるか否かを示す。

【0176】

ｃｉｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は、結合されたインターピクチャマージ及びイントラピクチャ予測が現在コーディングユニットに適用されるか否かを示す。

【0177】

ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘ０］［ｙ０］は、三角形ベースの動き補償候補リストの第１マージ候補インデックスを示す。

【0178】

ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘ０］［ｙ０］は、三角形ベースの動き補償候補リストの第２マージ候補インデックスを示す。

【0179】

ｍｅｒｇｅ＿ｉｄｘ［ｘ０］［ｙ０］は、マージ候補リストのマージ候補インデックスを示す。

【0180】

一方、再びＣＵシンタックスを参照すると、ｍｖｐ＿ｌ０＿ｆｌａｇ［ｘ０］［ｙ０］は、リスト０の動きベクトル予測子インデックスを示す。すなわち、ｍｖｐ＿ｌ０＿ｆｌａｇは、ＭＶＰモードが適用される場合、ＭＶＰ候補リスト０において前記現在ブロックのＭＶＰ導出のために選択される候補を指示することができる。

【0181】

ｍｖｐ＿ｌ１＿ｆｌａｇ［ｘ０］［ｙ０］は、ｍｖｐ＿ｌ０＿ｆｌａｇと同一のセマンティックスを有し、ｌ０とリスト０はそれぞれｌ１とリスト１に置き換えられる。

【0182】

ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ［ｘ０］［ｙ０］は、リスト０、リスト１、或いは双予測が現在コーディングユニットで使用されるか否かを示す。

【0183】

ｓｙｍ＿ｍｖｄ＿ｆｌａｇ［ｘ０］［ｙ０］が１である場合、シンタックス要素ｒｅｆ＿ｉｄｘ＿ｌ０［ｘ０］［ｙ０］及びｒｅｆ＿ｉｄｘ＿ｌ１［ｘ０］［ｙ０］、並びにｒｅｆＬｉｓｔに対して１であるｍｖｄ＿ｃｏｄｉｎｇ（ｘ０，ｙ０，ｒｅｆＬｉｓｔ，ｃｐＩ）シンタックス構造が存在しないことを示す。すなわち、ｓｙｍ＿ｍｖｄ＿ｆｌａｇは、ｍｖｄコーディングにおいてｓｙｍｍｅｔｒｉｃ ＭＶＤが使用されるか否かを示す。

【0184】

ｒｅｆ＿ｉｄｘ＿ｌ０［ｘ０］［ｙ０］は、現在コーディングユニットのリスト０参照ピクチャインデックスを示す。

【0185】

ｒｅｆ＿ｉｄｘ＿ｌ１［ｘ０］［ｙ０］は、ｒｅｆ＿ｉｄｘ＿ｌ０と同一のセマンティックスを有し、ｌ０、Ｌ０、及びリスト０は、それぞれｌ１、Ｌ１、及びリスト１に置き換えられる。

【0186】

ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ［ｘ０］［ｙ０］が１であれば、現在コーディングユニットに対して、Ｐ或いはＢスライスを復号化するとき、アフィンモデルベースの動き補償が現在コーディングユニットの予測サンプルを生成するのに使用されることを示す。

【0187】

ｃｕ＿ａｆｆｉｎｅ＿ｔｙｐｅ＿ｆｌａｇ［ｘ０］［ｙ０］が１であれば、現在コーディングユニットに対して、Ｐ或いはＢスライスを復号化するとき、６パラメータアフィンモデルベースの動き補償が現在コーディングユニットの予測サンプルを生成するのに使用されることを示す。ｃｕ＿ａｆｆｉｎｅ＿ｔｙｐｅ＿ｆｌａｇ［ｘ０］［ｙ０］が０であれば、４パラメータモデルベースの動き補償が現在コーディングユニットの予測サンプルを生成するのに使用されることを示す。

【0188】

ａｍｖｒ＿ｆｌａｇ［ｘ０］［ｙ０］は、動きベクトル差分の解像度を表す。アレイインデックスｘ０，ｙ０は、ピクチャの左上端のルマサンプルに対して考慮されるコーディングブロックの左上端のルマサンプルの位置（ｘ０，ｙ０）を示す。ａｍｖｒ＿ｆｌａｇ［ｘ０］［ｙ０］が０であれば、動きベクトル差分の解像度がルマサンプルの１／４であることを示す。ａｍｖｒ＿ｆｌａｇ［ｘ０］［ｙ０］が１であれば、動きベクトル差分の解像度がａｍｖｒ＿ｐｒｅｃｉｓｉｏｎ＿ｆｌａｇ［ｘ０］［ｙ０］によって特定されることを示す。

【0189】

ａｍｖｒ＿ｐｒｅｃｉｓｉｏｎ＿ｆｌａｇ［ｘ０］［ｙ０］が０であれば、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ［ｘ０］［ｙ０］が０である場合、動きベクトル差分の解像度が１つの整数ルマサンプルであり、その他の場合は、ルマサンプルの１／１６であることを示す。ａｍｖｒ＿ｐｒｅｃｉｓｉｏｎ＿ｆｌａｇ［ｘ０］［ｙ０］が１であれば、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ［ｘ０］［ｙ０］が０である場合、動きベクトル差分の解像度が４つのルマサンプルであり、その他の場合は、１つの整数ルマサンプルであることを示す。アレイインデックスｘ０，ｙ０ ｓｐｅｃｉｆｙは、ピクチャの左上端のルマサンプルに対して考慮されるコーディングブロックの左上端のルマサンプルの位置（ｘ０，ｙ０）を示す。

【0190】

ｂｃｗ＿ｉｄｘ［ｘ０］［ｙ０］は、ＣＵ加重値を伴う双予測加重値インデックスを示す。

【0191】

動き情報の導出

【0192】

現在ブロックの動き情報を用いてインター予測を行うことができる。符号化装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して現在ブロックに対する最適の動き情報を導出することができる。例えば、符号化装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを用いて相関性の高い類似の参照ブロックを参照ピクチャ内の所定の探索範囲内で分数ピクセル単位にて探索することができ、これにより動き情報を導出することができる。ブロックの類似性は、位相（ｐｈａｓｅ）ベースのサンプル値の差に基づいて導出することができる。例えば、ブロックの類似性は、現在ブロック（又は現在ブロックのテンプレート）と参照ブロック（又は参照ブロックのテンプレート）間のＳＡＤに基づいて計算できる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて様々な方法に従って復号化装置にシグナリングされることができる。

【0193】

予測サンプルの生成

【0194】

予測モードに従って導出された動き情報に基づいて現在ブロックに対する予測されたブロックを導出することができる。前記予測されたブロックは、前記現在ブロックの予測サンプル（予測サンプルアレイ）を含むことができる。現在ブロックの動きベクトルが分数サンプル単位を指す場合、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順が行われることができ、これにより参照ピクチャ内で分数サンプル単位の参照サンプルに基づいて前記現在ブロックの予測サンプルが導出されることができる。現在ブロックにアフィン（Ａｆｆｉｎｅ）インター予測が適用される場合、サンプル／サブブロック単位ＭＶに基づいて予測サンプルを生成することができる。双予測が適用される場合、Ｌ０予測（すなわち、参照ピクチャリストＬ０内の参照ピクチャとＭＶＬ０を用いた予測）に基づいて導出された予測サンプルと、Ｌ１予測（すなわち、参照ピクチャリストＬ１内の参照ピクチャとＭＶＬ１を用いた予測）に基づいて導出された予測サンプルの（位相による）加重和又は加重平均を介して導出された予測サンプルが、現在ブロックの予測サンプルとして用いられることができる。双予測が適用される場合、Ｌ０予測に用いられた参照ピクチャと、Ｌ１予測に用いられた参照ピクチャが現在ピクチャを基準に互いに異なる時間的方向に位置する場合、（すなわち、双予測でありながら双方向予測に該当する場合）これをｔｒｕｅ双予測と呼ぶことができる。

【0195】

導出された予測サンプルに基づいて復元サンプル及び復元ピクチャが生成されることができ、その後、インループフィルタリングなどの手順が行われることができるのは、前述した通りである。

【0196】

上述したように、インター予測は、参照画像（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）に基づいて行われることができるが、各画像別の解像度がＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）などの単位で変わることもできる。すなわち、現在画像と参照画像の解像度が異なる場合が発生する可能性がある。

【0197】

一方、２つの画像の解像度が異なっても、参照画像と現在画像が同一のＣＬＶＳ（ｃｏｄｅｄ ｌａｙｅｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）などに属すると、互いに異なる解像度に対する追加処理を行う参照画像リサンプリング（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｒｅｓａｍｐｌｉｎｇ、ＲＰＲ）技術によって現在画像に対する予測を行うことができる。参照画像リサンプリング技術によれば、参照画像の解像度が変更できる。

【0198】

すなわち、１つのレイヤ内の画像では、解像度が調整できる。現在画像と参照画像の解像度が異なる場合、参照画像と現在画像との解像度比率を計算し、参照画像は、サンプリングを介して現在画像と同一のサイズに解像度を変更して参照することができる。一方、解像度は、周期的な時間（０．５秒、１秒など）や所定（８、１６、３２、６４、１２８など）のフレーム数、ＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ）の倍数、ＲＡＰ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ）などの倍数に基づいて決定されることができる。このように解像度が決定されると、各画像の特性を考慮していないまま解像度が機械的に決定されるので、最適の解像度を決定することができないという問題点がある。

【0199】

これを改善するために、本開示では、複数の解像度比率を適応的に選択して解像度を変更する構成を提案する。本開示によれば、現在画像と参照画像との解像度比率を決定、すなわち最適の解像度を決定し、参照画像と現在画像との解像度比率を決定して参照サンプルリサンプリングを行うことにより、符号化及び復号化効率を大幅に向上させることができる。

【0200】

また、本開示によれば、適応的解像度変更技術に関連するエンコーダ及びデコーダ技術で参照画像と現在画像の解像度が異なるとき、これを伝送する方法並びにエンコーダ及びデコーダ技術に対する制御方法に関するものであって、上述した問題に対する解決策を提供することができる。

【0201】

また、本開示の実施例によれば、量子化パラメータ及び／又は画像の複雑度（例えば、ＰＳＮＲ、ビットレートなど）を考慮して解像度を決定することができ、このとき、様々な解像度の中から１つの解像度を選択することができる。

【0202】

より詳細には、本開示の実施例によれば、適応的解像度変更技術及び／又は参照画像リサンプリング（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｒｅｓａｍｐｌｉｎｇ、ＲＰＲ）技術のために量子化パラメータ及び／又は画像の複雑度を考慮して最適の解像度、すなわち最適の解像度比率を決定することができる。

【0203】

一方、最適の解像度比率を決定し、解像度変更技術及び／又は参照画像リサンプリング技術を適用する前に、現在画像に解像度変更技術が適用されるか否か、参照画像リサンプリングを行うか否かなどが決定されることができる。画像符号化装置では、これを特定の情報に符号化してビットストリームに含ませることもできるが、暗示的に他の情報から誘導できるようにすることもできる。

【0204】

以下では、本開示による最適の解像度比率を決定する実施例について説明する。

【0205】

一例として、画像符号化及び／又は復号化装置は、複数の解像度比率のうちの１つを選択することができる。各ＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）に対して、画像符号化装置は、初期量子化パラメータに応じて変わるＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）閾値に基づいて複数の候補解像度のうちの１つを選択することができる。解像度を決定するために、ダウンサンプリング（ｄｏｗｎ－ｓａｍｐｌｉｎｇ）（ダウンスケーリング、ｄｏｗｎ－ｓｃａｌｉｎｇ）又はアップサンプリング（ｕｐ－ｓａｍｐｌｉｎｇ）（アップスケーリング、ｕｐ－ｓｃａｌｉｎｇ）によって取得された画像（例えば、各ＧＯＰの第１ピクチャをダウンサンプリング或いはアップサンプリングした画像）と原本画像（例えば、ソース画像、各ＧＯＰの第１ピクチャ）間のＰＳＮＲが各ＧＯＰの第１ピクチャに対して導出されることができる。同一のＧＯＰ内の第１ピクチャのＰＳＮＲに基づいて現在画像のＰＳＮＲに導出されることができる。一方、解像度比率はＧＯＰ単位で決定されることができ、ＧＯＰには１つ以上の画像（ピクチャ、ｐｉｃｔｕｒｅ）が含まれることができる。すなわち、ＰＳＮＲは、原本画像とアップサンプリングされた画像或いはダウンサンプリングされた画像との間で計算できる。第１ピクチャは、ここで原本解像度の半分に該当する解像度（ｈａｌｆ ｒｅｓｏｌｕｔｉｏｎ）にダウンサンプリング（ダウンスケーリング）されることができ、その後再び原本解像度にリサンプリングされることができる。

【0206】

一例として、適応的解像度変更技術又は参照画像リサンプリング技術を使用する場合、１つの画像に対して様々な候補解像度の中から１つを選択することができる。例えば、候補解像度には、１／２、２／３、或いは１が含まれることができる。ここで、１は、原本解像度を意味することができ、それぞれの解像度にアップサンプリング又はダウンサンプリングされることができる。一方、候補解像度は、２、３／２、又は１で表されることもできる。すなわち、参照画像は、現在画像に比べて２だけ小さい或いは大きい解像度を有することができ、３／２だけ小さい或いは大きい解像度を有することもできる。同一の解像度を有する場合には、解像度比の調整が行われてもよい。

【0207】

一方、解像度比率値は、解像度比率を指示するインデックス情報から誘導されることができ、インデックス情報は、ＶＰＳ、ＳＰＳ、ＰＰＳ、ピクチャヘッダ、スライスヘッダなどでビットストリームに含まれることができる。また、インデックス情報は、フラグ情報であり得る。当該インデックス情報として複数の解像度比率のうちの１つが選択できる。他の一例として、他の情報に基づいて解像度比率に対する情報が誘導されることも可能である。

【0208】

一例として、いろいろの解像度のうちの一つの解像度は、量子化パラメータに基づいて、適応的に変化するＰＳＮＲ閾値に従って選択できる。一例として、任意のｉ番目のＧＯＰに含まれた画像に参照画像リサンプリング（ＲＰＲ）が行われる場合、解像度比率（スケーリングファクタ、ｓｃａｌｉｎｇ ｆａｃｔｏｒ）ＲＰＲ＿Ｒは、次のように誘導できる。

【0209】

【数1】

【0210】

一例として、スケーリングされたＰＳＮＲ値（Ｓｃａｌｅｄ ＰＳＮＲ）に基づいて解像度比率が選択できる。変数

値は、任意のｉ番目のＧＯＰ内の第１ピクチャに対して上述のアップサンプリングされたＰＳＮＲを意味することができる。また、変数ＢａｓｅＰＳＮＲ及びＢａｓｅＱＰは、それぞれ特定のＰＳＮＲ及び量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ、ＱＰ）を表すことができ、各値は、予め定義されたものであり得る。変数ＯｆｆｓｅｔＰＳＮＲは、互いに異なる２つの解像度の画像間のＰＳＮＲ差（ｇａｐ）を表すことができる。例えば、変数ＯｆｆｓｅｔＰＳＮＲは、原本画像に比べて１／２及び２／３解像度、又は２及び３／２解像度である画像間のＰＳＮＲの差を表すことができる。変数Ｄｅｃａｙは、量子化パラメータによるＰＳＮＲ閾値の減少率を意味することができ、一定の値を維持するか或いは変更することもできる。一方、

は、任意のｉ番目のＧＯＰ内の第１ピクチャの初期量子化パラメータを意味することができる。参照画像との解像度比率を決定する際に、量子化パラメータ値及び／又はＰＳＮＲ値が使用できる。また、量子化パラメータ値は初期量子化パラメータ値であってもよく、量子化パラメータ値は特定の量子化パラメータ値と比較できる。すなわち、量子化パラメータ値と特定の量子化パラメータ値とを比較する演算（例えば、減算など）に基づいて解像度比率が決定できる。さらに、ＰＳＮＲ値は、特定のＰＳＮＲ値と比較できる。すなわち、ＰＳＮＲ値と特定のＰＳＮＲ値とを比較する演算（例えば、減算など）に基づいて解像度比率が決定できる。すなわち、参照画像と現在画像との解像度比率は、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）単位で決定できるので、同一のＧＯＰに含まれた画像間では同一の解像度比率が共有できる。

【0211】

前記［数式１］によって、一実施例として、ＱＰ範囲は、２７～４７に設定され、半分（１／２）（ＳｃａｌｉｎｇＲａｔｉｏＨｏｒ＝２．０及びＳｃａｌｉｎｇＲａｔｉｏＶｅｒ＝２．０）及び２／３（ＳｃａｌｉｎｇＲａｔｉｏＨｏｒ＝１．５及びＳｃａｌｉｎｇＲａｔｉｏＶｅｒ＝１．５）解像度全体に対する画像をそれぞれ原本解像度（ＵｐｓｃａｌｅｄＯｕｔｐｕｔ＝２）に調整し、ＢａｓｅＱＰ、ＯｆｆｓｅｔＰＳＮＲ、及びＤｅｃａｙは３７、３及び０．５に設定することができる。ここで、ＲＡ及びＡＩに対するＢａｓｅＰＳＮＲは、それぞれ４５及び４１に設定できる。ここで、原本画像の半分（１／２）又は２／３解像度で画像が符号化されるとき、ＱＰ値は、オフセットに調整できる。一方、ＱＰ値は、１／２解像度比率の画像に対して－６、２／３解像度比率の画像に対して－４と定義されたオフセットに基づいて調整できる。これによる性能テストは、次のように導出できる。表４は、ＲＡにおける提案された実施例の性能を示すことができる。

【0212】

【表4】

【0213】

表４において、符号化時間（ＥｎｃＴ）及び復号化時間（ＤｅｃＴ）は無視できる。また、コーディング利得がクラスＡ１（Ｃｌａｓｓ Ａ１）及びクラスＡ２（Ｃｌａｓｓ Ａ２）で取得されたので、ＬＤテストは省略可能である。

【0214】

一方、解像度比率（スケーリングファクタ、ｓｃｌａｉｎｇ ｆａｃｔｏｒ）（ＲＰＲ＿ＳＦ）を誘導するための上記の数式１は、次のように修正されてもよい。

【0215】

【数2】

【0216】

一例として、変数ＤｎＵｐＰＳＮＲは、前述した、任意のｉ番目のＧＯＰ内の第１ピクチャに対するダウンサンプリング又はアップサンプリングされたＰＳＮＲを示すことができる。その他の変数、ＢａｓｅＰＳＮＲ、ＢａｓｅＱＰ、ＯｆｆｓｅｔＰＳＮＲなどは、前記数式１で説明したのと同じ意味を有することができる。

また、任意のｉ番目のＧＯＰ内の第１ピクチャの初期量子化パラメータを意味することができる。一方、［数式１］とは異なり、量子化パラメータ値（或いは量子化パラメータと初期量子化パラメータ値との比較値）に乗算される閾値は、特定の値に指定されることもできる。すなわち、［数式１］のように変数（例えば、Ｄｅｃａｙ）値であってもよいが、［数式２］では特定の値（例えば、０．５）であってもよい。

【0217】

前記［数式２］による一実施例として、ＱＰ範囲は２２～４２に設定され、半分（１／２）（ＳｃａｌｉｎｇＲａｔｉｏＨｏｒ＝２．０及びＳｃａｌｉｎｇＲａｔｉｏＶｅｒ＝２．０）及び２／３（ＳｃａｌｉｎｇＲａｔｉｏＨｏｒ＝１．５及びＳｃａｌｉｎｇＲａｔｉｏＶｅｒ＝１．５）解像度全体に対する画像をそれぞれ原本解像度（ＵｐｓｃａｌｅｄＯｕｔｐｕｔ＝２）に調整し、ＢａｓｅＱＰ、ＯｆｆｓｅｔＰＳＮＲは３７、３に設定することができる。ここで、ＲＡ及びＡＩに対するＢａｓｅＰＳＮＲは、それぞれ４５及び４２に設定されることができる。ここで、原本画像の半分（１／２）又は２／３解像度で画像が符号化されるとき、ＱＰ値はオフセットに調整されることができる。一方、ＱＰ値は、１／２解像度比率の画像に対して－６、２／３解像度比率の画像に対して－４と定義されたオフセットに基づいて調整できる。これによる性能テストは、次のように導出できる。表５はＡＩにおける、表６はＲＡにおける提案された実施例の性能を示すことができる。

【0218】

【表5】

【0219】

【表6】

【0220】

また、ＱＰ範囲が２７～４７である実施例に対して算出された性能は、下記表７及び表８の通りであり得る。同様に、表７はＡＩにおける、表８はＲＡにおける提案された実施例の性能を示すことができる。

【0221】

【表7】

【0222】

【表8】

【0223】

上述した本開示の実施例によれば、１つ以上の解像度比率候補のうちの１つの解像度比率が選択でき、これにより符号化／復号化コーディング効率が著しく上昇することができる。

【0224】

以下では、図面を参照して適応的に解像度を変更する本開示の実施例についてさらに詳細に説明する。

【0225】

図９は、本開示の一実施例による画像符号化方法を示す図である。

【0226】

一例として、図９の画像符号化方法は、画像符号化装置によって行われることができる。画像符号化装置の例は、他の図面を参照して説明した通りである。

【0227】

まず、画像符号化装置によって行われる画像符号化方法は、現在画像のインター予測のための参照画像を決定することができる（Ｓ１９０１）。一例として、現在画像と参照画像の解像度は、互いに異なってもよく、互いに異なるＧＯＰに属してもよい。すなわち、解像度は、ＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）単位で適用できる。現在画像のインター予測か否かを決定する過程又は現在画像のインター予測のための参照画像は、他の図を参照して上述したように誘導できる。

【0228】

また、誘導された参照画像と現在画像の解像度比率を誘導する（Ｓ１９０２）ことができる。一例として、ステップＳ１９０２は、参照画像と現在画像との解像度比率が異なることが決定された後に行われてもよい。ここで、解像度比率は、複数の解像度比率のうちの１つに誘導されることもできる、複数の解像度比率は、予め定義されたものであり得る。例えば、複数の解像度比率には、２、３／２、又は１のうちの少なくとも１つが含まれることができ、１／２、２／３、又は１で表されることもできる。複数の解像度比率のうちの１つの解像度比率が選択されるとき、上述した量子化パラメータ又はＰＳＮＲが用いられることができる。解像度比率は、現在画像と同一のＧＯＰ内の第１ピクチャの初期量子化パラメータに基づいて決定できる。また、初期量子化パラメータは、特定の量子化パラメータ値と比較できる。一方、解像度比率は、ＧＯＰ内の第１ピクチャに対するＰＳＮＲにさらに基づいて決定できる。ここで、ＰＳＮＲを算出するとき、第１ピクチャは、特定の解像度にダウンスケーリング（ダウンサンプリング）されるか、或いはアップスケール（アップサンプリング）されることができる。第１ピクチャに対するＰＳＮＲは、特定のＰＳＮＲ値と比較できる。

【0229】

解像度比率に基づいて参照画像の解像度を変更する（Ｓ１９０３）ことができる。一例として、解像度比率を指示する解像度インデックス情報は、ビットストリーム形式で符号化できる。解像度が変更された参照画像は、現在画像に対するインター予測の参照画像として用いられることができる。

【0230】

一方、図９は、本開示の一実施例に該当するので、一部のステップが変更、削除、又は追加されることも可能である。例えば、現在画像に参照画像リサンプリングが適用されるか否かを決定するステップや、解像度比率を指示するインデックス情報をビットストリームに符号化することなどをさらに含むことができる。この場合、参照画像リサンプリングは、コーディングツール（例えば、ＢＤＯＦ、ＤＭＶＲ、ＰＲＯＦ又はＴＭＶＰ）の適用有無に基づいて決定できる。また、一部のステップの順序が変更されてもよい。

【0231】

図１０は、本開示の一実施例による画像復号化方法を示す図である。

【0232】

一例として、図１０の画像復号化方法は、画像復号化装置によって行われることができる。画像復号化装置の例は、他の図面を参照して説明した通りである。

【0233】

また、図９で説明した画像符号化方法の各ステップＳ１９０１、Ｓ１９０２、Ｓ１９０３は、それぞれ図１０の各ステップＳ２００１、Ｓ２００２、Ｓ２００３に対応することができる。すなわち、復号化方法とは背馳されない限り、図１０の各ステップに対しても符合され、当該説明に対する内容が適用できる。

【0234】

まず、画像復号化装置によって行われる画像復号化方法は、現在画像のインター予測のための参照画像を誘導（Ｓ２００１）することができる。上述したように、現在画像のインター予測か否か及び参照画像は、符号化装置が決定したところによることができ、現在画像と参照画像の解像度が互いに異なることができる。すなわち、現在画像の属するＧＯＰと参照画像が属したＧＯＰとは、互いに異なることができる。

【0235】

また、誘導された参照画像と現在画像の解像度比率を誘導する（Ｓ２００２）ことができる。ここで、解像度比率は、複数の解像度比率のうちの１つに誘導されることもでき、複数の解像度比率は、予め定義されたものであり得る。例えば、複数の解像度比率には２、３／２、又は１のうちの少なくとも１つが含まれることができ、１／２、２／３、又は１で表現されることもできる。複数の解像度比率のうちの１つの解像度比率は、ビットストリームから復号化された解像度比率を指示する情報（例えば、インデックス情報）によって選択できる。一方、選択された解像度比率は、上述した量子化パラメータ又はＰＳＮＲを用いて誘導されたものであってもよい。これは、上述した通りである。

【0236】

その後、解像度比率に基づいて参照画像の解像度を変更（Ｓ２００３）することができる。上述したように、参照画像の解像度が変更されると、参照画像リサンプリングによるインター予測が行われることができる。すなわち、解像度が変更された参照画像は、現在画像に対するインター予測の参照画像として用いられることができる。

【0237】

一方、図１０は、本開示の一実施例に該当するので、一部のステップが変更、削除又は追加されることも可能である。例えば、現在画像に参照画像リサンプリングが適用されるか否かを決定するステップ、又は解像度比率を指示するインデックス情報をビットストリームから復号化することなどがさらに含まれることもできる。この場合、参照画像リサンプリングが適用されるかは、ビットストリームから関連情報を復号化して決定されるか、或いは暗示的に他の情報から誘導されて決定されてもよい。また、参照画像リサンプリングは、コーディングツール（例えば、ＢＤＯＦ、ＤＭＶＲ、ＰＲＯＦ又はＴＭＶＰ）の適用有無に基づいて行われることができる。また、一部のステップの順序が変更されてもよい。

【0238】

図１１は、本開示の一実施例による画像符号化又は復号化装置を示す図である。

【0239】

一例として、画像符号化又は復号化装置２１００は、メモリ２１０１、１つ以上のプロセッサ２１０２を含むことができ、画像符号化又は復号化装置は、それぞれ、上述した画像符号化方法又は復号化方法を行うことができる。

【0240】

また、図面には示されていないが、ユーザインターフェース、Ｉ／Ｏツール、ディスプレイなどをさらに含んでもよい。

【0241】

一例として、１つ以上のプロセッサは、上述した実施例及び画像符号化／復号化方法を行うが、一部のステップを並列に行うこともでき、可能であれば、一部のステップの順序を変更又は省略して行うこともできる。

【0242】

上述した本開示によれば、最適の解像度比率がより適応的に決定されるので、より繊細かつ効率的な参照画像リサンプリングが行われることができる。

【0243】

本開示による多様な実施例は、単独で或いは他の実施例と組み合わされて使用できる。

【0244】

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。

【0245】

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

【0246】

本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

【0247】

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

【0248】

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0249】

図１２は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【0250】

図１２に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0251】

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記サーバは省略できる。

【0252】

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0253】

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

【0254】

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

【0255】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

【0256】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

【0257】

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0258】

本開示による実施例は、画像を符号化／復号化することに利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】