知財求人 - 知財ポータルサイト「IP Force」
▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
特許7410168イントラ予測を行う画像符号化／復号方法、装置、およびビットストリームを伝送する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-25
(45)【発行日】2024-01-09
(54)【発明の名称】イントラ予測を行う画像符号化／復号方法、装置、およびビットストリームを伝送する方法
(51)【国際特許分類】
H04N 19/186 20140101AFI20231226BHJP
H04N 19/593 20140101ALI20231226BHJP
H04N 19/11 20140101ALI20231226BHJP
H04N 19/159 20140101ALI20231226BHJP
【ＦＩ】
H04N19/186
H04N19/593
H04N19/11
H04N19/159
【請求項の数】
14
(21)【出願番号】P 2021555280
(86)(22)【出願日】2020-03-13
(65)【公表番号】
(43)【公表日】2022-05-18
(86)【国際出願番号】 KR2020003562
(87)【国際公開番号】W WO2020185047
(87)【国際公開日】2020-09-17
【審査請求日】2021-11-12
(31)【優先権主張番号】62/818,730
(32)【優先日】2019-03-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】チャン ヒョン ムン
(72)【発明者】
【氏名】ホ チン
(72)【発明者】
【氏名】ナム チョン ハク
(72)【発明者】
【氏名】チェ チャンウォン
【審査官】久保 光宏
(56)【参考文献】
【文献】特開２０１３－７７８９９（ＪＰ，Ａ）
【文献】Jianle Chen, et al.，"Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4)"，Document: JVET-M1002-v1, [online]，JVET-M1002 (version 1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年02月16日，Pages 1,16-18,41,42，[令和4年12月23日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=5756> and <URL: https://jvet-experts.org/doc_end_user/documents/13_Marrakech/wg11/JVET-M1002-v1.zip>.，(See document file "JVET-M1002-v1.docx" in the zip file "JVET-M1002-v1.zip".)
【文献】Gagan Rath, et al.，"CE3-related: DM-dependent chroma intra prediction modes"，Document: JVET-M0100, [online]，JVET-M0100 (version 1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018年12月31日，Pages 1-5，[令和4年12月23日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=4905> and <URL: https://jvet-experts.org/doc_end_user/documents/13_Marrakech/wg11/JVET-M0100-v1.zip>.，(See document file "JVET-M0100.docx" in the zip file "JVET-M0100-v1.zip".)
【文献】Narae Choi, et al.，"CE3-related: Chroma DM modification"，Document: JVET-L0053-v3, [online]，JVET-L0053 (version 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018年10月07日，Pages 1-5，[令和4年12月23日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=4134> and <URL: https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L0053-v3.zip>.，(See document file "JVET-L0053-v3.docx" in the zip file "JVET-L0053-v3.zip".)
【文献】Li Zhang, et al.，"CE3-related: Modified chroma derived mode"，Document: JVET-L0272-v2, [online]，JVET-L0272 (version 2)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018年10月08日，Pages 1-4，[令和4年12月23日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=4368> and <URL: https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L0272-v2.zip>.，(See document file "JVET-L0272_r1.docx" in the zip file "JVET-L0272-v2.zip".)
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
学術文献等データベース（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
画像復号装置によって行われる画像復号方法であって、現クロマブロックの予測に関する情報に基づいて、前記現クロマブロックにイントラ予測を適用するかどうかを決定するステップと、
前記現クロマブロックにイントラ予測が適用される場合、前記現クロマブロックに対応する対応ルマブロックのイントラ予測モードおよび前記現クロマブロックのイントラクロマ予測モード情報に基づいて、前記現クロマブロックのイントラ予測モードを導出するステップと、
前記現クロマブロックの前記イントラ予測モードに基づいてイントラ予測を行うことにより、前記現クロマブロックの予測ブロックを生成するステップと、を含み、
前記対応ルマブロックの前記イントラ予測モードが存在しない場合、前記現クロマブロックの前記イントラ予測モードは、デフォルトイントラ予測モードに基づいて導出される、画像復号方法。
【請求項2】
前記現クロマブロックの前記イントラ予測モードを導出するステップは、前記対応ルマブロックの所定の位置における予測方法を判断するステップを含む、請求項１に記載の画像復号方法。
【請求項3】
前記対応ルマブロックの前記所定の位置における前記予測方法がイントラ予測である場合、前記現クロマブロックの前記イントラ予測モードは、前記対応ルマブロックの所定の位置におけるイントラ予測モードに基づいて導出され、前記対応ルマブロックの前記所定の位置における前記予測方法がイントラ予測ではない場合、前記現クロマブロックの前記イントラ予測モードは、前記デフォルトイントラ予測モードに基づいて導出される、請求項２に記載の画像復号方法。
【請求項4】
前記対応ルマブロックの前記所定の位置における前記予測方法がＩＢＣ（Intra Block Copy）予測である場合、前記現クロマブロックの前記イントラ予測モードは、前記デフォルトイントラ予測モードに基づいて導出される、請求項２に記載の画像復号方法。
【請求項5】
前記所定の位置は、前記対応ルマブロックの中心位置である、請求項２に記載の画像復号方法。
【請求項6】
前記デフォルトイントラ予測モードは、ＰｌａｎａｒモードまたはＤＣモードである、請求項１に記載の画像復号方法。
【請求項7】
前記現クロマブロックのツリー構造は、デュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）構造である、請求項１に記載の画像復号方法。
【請求項8】
前記現クロマブロックの前記イントラクロマ予測モード情報がＤＭ（Direct Mode）を示し、前記対応ルマブロックの前記イントラ予測モードが存在する場合、前記現クロマブロックの前記イントラ予測モードは、前記対応ルマブロックの前記イントラ予測モードとして導出され、前記現クロマブロックの前記イントラクロマ予測モード情報がＤＭを示し、前記対応ルマブロックの前記イントラ予測モードが存在しない場合、前記現クロマブロックの前記イントラ予測モードは、前記デフォルトイントラ予測モードとして導出される、請求項１に記載の画像復号方法。
【請求項9】
メモリと、少なくとも一つのプロセッサと、を備える画像復号装置であって、前記少なくとも一つのプロセッサは、
現クロマブロックの予測に関する情報に基づいて、前記現クロマブロックにイントラ予測を適用するかどうかを決定し、
前記現クロマブロックにイントラ予測が適用される場合、前記現クロマブロックに対応する対応ルマブロックのイントラ予測モードおよび前記現クロマブロックのイントラクロマ予測モード情報に基づいて、前記現クロマブロックのイントラ予測モードを導出し、
前記現クロマブロックの前記イントラ予測モードに基づいてイントラ予測を行うことにより、前記現クロマブロックの予測ブロックを生成する、ように構成され、
前記対応ルマブロックの前記イントラ予測モードが存在しない場合、前記現クロマブロックの前記イントラ予測モードは、デフォルトイントラ予測モードに基づいて導出される、画像復号装置。
【請求項10】
画像符号化装置によって行われる画像符号化方法であって、現クロマブロックにイントラ予測を適用するかどうかを決定するステップと、
前記現クロマブロックにイントラ予測が適用される場合、前記現クロマブロックに対応する対応ルマブロックのイントラ予測モードに基づいて、前記現クロマブロックのイントラ予測モードを導出するステップと、
前記現クロマブロックの前記イントラ予測モードに基づいてイントラ予測を行うことにより、前記現クロマブロックの予測ブロックを生成するステップと、
前記対応ルマブロックの前記イントラ予測モードに基づいて前記現クロマブロックの前記イントラ予測モードを符号化するステップと、を含み、
前記対応ルマブロックの前記イントラ予測モードが存在しない場合、前記現クロマブロックの前記イントラ予測モードは、デフォルトイントラ予測モードに基づいて導出される、画像符号化方法。
【請求項11】
前記現クロマブロックの前記イントラ予測モードを導出するステップは、前記対応ルマブロックの所定の位置における予測方法を判断するステップを含む、請求項１０に記載の画像符号化方法。
【請求項12】
前記対応ルマブロックの前記所定の位置における前記予測方法がイントラ予測である場合、前記現クロマブロックの前記イントラ予測モードは、前記対応ルマブロックの所定の位置におけるイントラ予測モードに基づいて導出され、前記対応ルマブロックの前記所定の位置における前記予測方法がイントラ予測ではない場合、前記現クロマブロックの前記イントラ予測モードは、前記デフォルトイントラ予測モードに基づいて導出される、請求項１１に記載の画像符号化方法。
【請求項13】
前記所定の位置は、前記対応ルマブロックの中心位置である、請求項１１に記載の画像符号化方法。
【請求項14】
前記デフォルトイントラ予測モードは、ＰｌａｎａｒモードまたはＤＣモードである、請求項１０に記載の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像符号化／復号方法および装置に係り、より詳細には、イントラ予測を用いて画像を符号化／復号する方法、装置、および本開示の画像符号化方法／装置によって生成されたビットストリームを伝送（送信）する方法に関する。
【背景技術】
【0002】
最近、高解像度、高品質の画像、例えばＨＤ（High Definition）画像およびＵＨＤ（Ultra High Definition）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量またはビット量が相対的に増加する。伝送される情報量またはビット量の増加は、伝送コスト（費用）および記憶（保存）コストの増加をもたらす。
【0003】
これにより、高解像度、高品質画像の情報を効果的に伝送または記憶し、再生するための高効率の画像圧縮技術が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、符号化／復号効率が向上した画像符号化／復号方法および装置を提供することを目的とする。
【0005】
また、本開示は、イントラ予測を用いて画像を符号化／復号する方法および装置を提供することを目的とする。
【0006】
また、本開示は、クロマブロックのイントラ予測モードを対応ルマブロックのイントラ予測モードまたはデフォルトイントラ予測モードに基づいて導出した後、クロマブロックに対するイントラ予測を行う画像符号化／復号方法および装置を提供することを目的とする。
【0007】
また、本開示は、本開示による画像符号化方法または装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
【0008】
また、本開示は、本開示による画像符号化方法または装置によって生成されたビットストリームを記憶した記録媒体を提供することを目的とする。
【0009】
また、本開示は、本開示による画像復号装置によって受信され、復号されて画像の復元に利用されるビットストリームを記憶した記録媒体を提供することを目的とする。
【0010】
本開示で解決しようとする技術的課題は、上述した技術的課題に制限されず、上述していない別の技術的課題は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
【課題を解決するための手段】
【0011】
本開示の一態様による画像復号方法は、現（現在）クロマブロックの予測に関する情報に基づいて、現クロマブロックにイントラ予測が適用されるか否かを決定するステップと、現クロマブロックにイントラ予測が適用される場合、現クロマブロックに対応する対応ルマブロックのイントラ予測モードおよび現クロマブロックのイントラクロマ予測モード情報に基づいて、現クロマブロックのイントラ予測モードを導出するステップと、現クロマブロックのイントラ予測モードに基づいてイントラ予測を行うことにより、現クロマブロックに対する予測ブロックを生成するステップと、を有し、対応ルマブロックのイントラ予測モードが存在しない場合、現クロマブロックのイントラ予測モードは、デフォルトイントラ予測モードに基づいて導出されることができる。
【0012】
本開示による画像復号方法において、現クロマブロックのイントラ予測モードを導出するステップは、対応ルマブロックの所定の位置の予測方法を判断するステップを有することができる。
【0013】
本開示による画像復号方法において、対応ルマブロックの所定の位置の予測方法がイントラ予測である場合、現クロマブロックのイントラ予測モードは、対応ルマブロックの所定の位置のイントラ予測モードに基づいて導出され、対応ルマブロックの所定の位置の予測方法がイントラ予測ではない場合、現クロマブロックのイントラ予測モードは、デフォルトイントラ予測モードに基づいて導出されることができる。
【0014】
本開示による画像復号方法において、対応ルマブロックの所定の位置の予測方法がＩＢＣ（Intra Block Copy）予測である場合、現クロマブロックのイントラ予測モードは、デフォルトイントラ予測モードに基づいて導出されることができる。
【0015】
本開示による画像復号方法において、所定の位置は、対応ルマブロックの中心位置であることができる。
【0016】
本開示による画像復号方法において、デフォルトイントラ予測モードは、ＰｌａｎａｒモードまたはＤＣモードであることができる。
【0017】
本開示による画像復号方法において、現クロマブロックのツリー構造は、デュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）構造であることができる。
【0018】
本開示による画像復号方法において、現クロマブロックのイントラ予測モード情報がＤＭ（Direct Mode）モードを示し、対応ルマブロックのイントラ予測モードが存在する場合には、現クロマブロックのイントラ予測モードは、対応ルマブロックのイントラ予測モードで導出され、現クロマブロックのイントラ予測モード情報がＤＭモードを示し、対応ルマブロックのイントラ予測モードが存在しない場合には、現クロマブロックのイントラ予測モードは、デフォルトイントラ予測モードで導出されることができる。
【0019】
本開示の他の態様による画像復号装置は、メモリと、少なくとも一つのプロセッサと、を有し、少なくとも一つのプロセッサは、現クロマブロックの予測に関する情報に基づいて、現クロマブロックにイントラ予測が適用されるか否かを決定し、現クロマブロックにイントラ予測が適用される場合には、現クロマブロックに対応する対応ルマブロックのイントラ予測モードおよび現クロマブロックのイントラクロマ予測モード情報に基づいて現クロマブロックのイントラ予測モードを導出し、現クロマブロックのイントラ予測モードに基づいてイントラ予測を行うことにより、現クロマブロックに対する予測ブロックを生成し、対応ルマブロックのイントラ予測モードが存在しない場合には、現クロマブロックのイントラ予測モードは、デフォルトイントラ予測モードに基づいて導出されることができる。
【0020】
本開示の別の態様による画像符号化方法は、現クロマブロックにイントラ予測が適用されるか否かを決定するステップと、現クロマブロックにイントラ予測が適用される場合には、現クロマブロックに対応する対応ルマブロックのイントラ予測モードに基づいて現クロマブロックのイントラ予測モードを導出するステップと、現クロマブロックのイントラ予測モードに基づいてイントラ予測を行うことにより、現クロマブロックに対する予測ブロックを生成するステップと、対応ルマブロックのイントラ予測モードに基づいて現クロマブロックのイントラ予測モードを符号化するステップと、を有し、対応ルマブロックのイントラ予測モードが存在しない場合には、現クロマブロックのイントラ予測モードは、デフォルトイントラ予測モードに基づいて導出されることができる。
【0021】
本開示による画像符号化方法において、現クロマブロックのイントラ予測モードを導出するステップは、対応ルマブロックの所定の位置の予測方法を判断するステップを有することができる。
【0022】
本開示による画像符号化方法において、対応ルマブロックの所定の位置の予測方法がイントラ予測である場合、現クロマブロックのイントラ予測モードは、対応ルマブロックの所定の位置のイントラ予測モードに基づいて導出され、対応ルマブロックの所定の位置の予測方法がイントラ予測ではない場合には、現クロマブロックのイントラ予測モードは、デフォルトイントラ予測モードに基づいて導出されることができる。
【0023】
本開示による画像符号化方法において、所定の位置は、対応ルマブロックの中心位置であることができる。
【0024】
本開示による画像符号化方法において、デフォルトイントラ予測モードは、ＰｌａｎａｒモードまたはＤＣモードであることができる。
【0025】
本開示の別の態様による伝送方法は、本開示の画像符号化装置または画像符号化方法によって生成されたビットストリームを伝送することができる。
【0026】
本開示の別の態様によるコンピュータ読み取り可能記録媒体は、本開示の画像符号化方法または画像符号化装置によって生成されたビットストリームを記憶することができる。
【0027】
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
【発明の効果】
【0028】
本開示によれば、符号化／復号効率が向上した画像符号化／復号方法および装置が提供されることができる。
【0029】
また、本開示によれば、イントラ予測を用いて画像を符号化／復号する方法および装置が提供されることができる。
【0030】
また、本開示によれば、クロマブロックのイントラ予測モードを対応ルマブロックのイントラ予測モードまたはデフォルトイントラ予測モードに基づいて導出した後、クロマブロックに対するイントラ予測を行う画像符号化／復号方法および装置が提供されることができる。
【0031】
また、本開示によれば、本開示による画像符号化方法または装置によって生成されたビットストリームを伝送する方法が提供されることができる。
【0032】
また、本開示によれば、本開示による画像符号化方法または装置によって生成されたビットストリームを記憶した記録媒体が提供されることができる。
【0033】
また、本開示によれば、本開示による画像復号装置によって受信され、復号されて画像の復元に利用されるビットストリームを記憶した記録媒体が提供されることができる。
【0034】
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【図面の簡単な説明】
【0035】
【図1】本開示による実施例が適用されることができるビデオコーディング（符号化）システムを概略的に示す図である。
【図2】本開示による実施例が適用されることができる画像符号化装置を概略的に示す図である。
【図3】本開示による実施例が適用されることができる画像復号装置を概略的に示す図である。
【図4】マルチタイプツリー構造によるブロックの分割タイプを示す図である。
【図5】本開示によるマルチタイプツリーを伴う四分木（quadtree with nested multi-type tree）構造のパーティション分割情報のシグナリングメカニズムを例示する図である。
【図6】イントラ予測ベースのビデオ／画像符号化方法を示すフローチャートである。
【図7】本開示によるイントラ予測部１８５の構成を例示的に示す図である。
【図8】イントラ予測ベースのビデオ／画像復号方法を示すフローチャートである。
【図9】本開示によるイントラ予測部２６５の構成を例示的に示す図である。
【図10】画像符号化装置におけるイントラ予測モードシグナリング手順を示すフローチャートである。
【図11】画像復号装置におけるイントラ予測モード決定手順を示すフローチャートである。
【図12】イントラ予測モード導出手順をより具体的に説明するフローチャートである。
【図13】本開示の一実施例によるイントラ予測方向を示す図である。
【図14】本開示の他の実施例によるイントラ予測方向を示す図である。
【図15】ＤＭモードの場合、現クロマブロックのイントラ予測モードを導出するための所定の位置を示す図である。
【図16】対応ルマブロックに基づいてクロマブロックのイントラ予測モードを導出する従来の方法を説明するフローチャートである。
【図17】対応ルマブロックに基づいてクロマブロックのイントラ予測モードを導出する本開示の一実施例を説明するフローチャートである。
【図18】対応ルマブロックに基づいてクロマブロックのイントラ予測モードを導出する本開示の他の実施例を説明するフローチャートである。
【図19】対応ルマブロックに基づいてクロマブロックのイントラ予測モードを導出する本開示の他の実施例を説明するフローチャートである。
【図20】対応するブロックに基づいて現ブロックのイントラ予測モードを導出する本開示の一実施例を説明するフローチャートである。
【図21】対応ルマブロックに基づいてクロマブロックのイントラ予測モードを導出し、クロマブロックを符号化する本開示の別の実施例を説明するフローチャートである。
【図22】本開示の実施例に適用できるコンテンツストリーミングシステムを例示する図である。
【発明を実施するための形態】
【0036】
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかしながら、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
【0037】
本開示の実施例を説明するにあたり、公知の構成または機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
【0038】
本開示において、ある構成要素が他の構成要素と「連結」、「結合」または「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」または「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するものではなく、別の構成要素をさらに含むことができることを意味する。
【0039】
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序または重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素は、他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を、他の実施例で第１構成要素と呼んでもよい。
【0040】
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェアまたはソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェアまたはソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合されたまたは分散された実施例も本開示の範囲に含まれる。
【0041】
本開示において、様々な実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
【0042】
本開示は、画像の符号化および復号に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
【0043】
本開示において、「ピクチャ（picture）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（slice）／タイル（tile）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つまたは複数のスライス／タイルで構成できる。また、スライス／タイルは、一つまたは複数のＣＴＵ（Coding Tree Unit）を含むことができる。
【0044】
本開示において、「ピクセル（pixel）」または「ペル（pel）」は、一つのピクチャ（または画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（sample）」が使用されることができる。サンプルは、一般的に、ピクセルまたはピクセルの値を示すことができ、ルマ（luma）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（chroma）成分のピクセル／ピクセル値のみを示すこともできる。
【0045】
本開示において、「ユニット（unit）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域および当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（block）」または「領域（area）」などの用語と混用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列およびＮ個の行からなるサンプル（またはサンプルアレイ）または変換係数（transform coefficient）のセット（またはアレイ（行列、配列））を含むことができる。
【0046】
本開示において、「現ブロック」は、「現符号化ブロック」、「現コーディングユニット」、「符号化対象ブロック」、「復号対象ブロック」または「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現ブロック」は、「現予測ブロック」または「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現ブロック」は、「現変換ブロック」または「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現ブロック」は「フィルタリング対象ブロック」を意味することができる。
【0047】
また、本開示において、「現ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックおよびクロマ成分ブロックをすべて含むブロックまたは「現ブロックのルマブロック」を意味することができる。現ブロックのクロマブロックは、明示的に「クロマブロック」または「現クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。
【0048】
本開示において、「／」と「、」は「および／または」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａおよび／またはＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂおよび／またはＣのうちの少なくとも一つ」を意味することができる。
【0049】
本開示において、「または」は、「および／または」と解釈されることができる。例えば、「ＡまたはＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「ＡおよびＢ」を意味することができる。あるいは、本開示において、「または」は、「追加的にまたは代替として（additionally or alternatively）」を意味することができる。
【0050】
ビデオコーディングシステムの概要
【0051】
図１は、本開示によるビデオコーディングシステムを示す図である。
【0052】
一実施例によるビデオコーディングシステムは、符号化装置１０および復号装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（video）および／もしくは画像（image）情報またはデータを、ファイルまたはストリーミング形式でデジタル記憶媒体またはネットワークを介して復号装置２０へ伝達することができる。
【0053】
一実施例よる符号化装置１０は、ビデオソース生成部１１、符号化部１２および伝送部１３を含むことができる。一実施例による復号装置２０は、受信部２１、復号部２２およびレンダリング部２３を含むことができる。上記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、上記復号部２２は、ビデオ／画像復号部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントとして構成されることもできる。
【0054】
ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成または生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイスおよび／またはビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つまたは複数のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレットおよびスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して、仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
【0055】
符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮および符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（bitstream）形式で出力することができる。
【0056】
伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報またはデータを、ファイルまたはストリーミング形式でデジタル記憶媒体またはネットワークを介して復号装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、上記記憶媒体またはネットワークから上記ビットストリームを抽出／受信して復号部２２に伝達することができる。
【0057】
復号部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号することができる。
【0058】
レンダリング部２３は、復号されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。
【0059】
画像符号化装置の概要
【0060】
図２は、本開示による実施例が適用されることができる画像符号化装置を概略的に示す図である。
【0061】
図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５およびエントロピ符号化部１９０を含むことができる。インター予測部１８０およびイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０および逆変換部１５０は、残差（レジデュアル）（residual）処理部に含まれることができる。残差処理部は、減算部１１５をさらに含むこともできる。
【0062】
画像符号化装置１００を構成する複数の構成部の全部または少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダまたはプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（Decoded Picture Buffer）を含むことができ、デジタル記憶媒体によって実現できる。
【0063】
画像分割部１１０は、画像符号化装置１００に入力された入力画像（または、ピクチャ、フレーム）を一つまたは複数の処理ユニット（processing unit）に分割することができる。一例として、上記処理ユニットは、コーディングユニット（Coding Unit、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（Coding Tree Unit、ＣＴＵ）または最大コーディングユニット（Largest Coding Unit、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Quad-Tree/Binary-Tree/Ternary-Tree）構造によって再帰的に（recursively）分割することにより取得されることができる。例えば、一つのコーディングユニットは、四分木構造、二分木構造および／または三分木構造に基づいて、下位（deeper）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造および／または三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示による符号化手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換および／または復元などの手順を含むことができる。他の例として、上記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Prediction Unit）または変換ユニット（ＴＵ：Transform Unit）であることができる。上記予測ユニットおよび上記変換ユニットは、それぞれ上記最終コーディングユニットから分割またはパーティショニングされることができる。上記予測ユニットは、サンプル予測の単位であることができ、上記変換ユニットは、変換係数を導出（誘導）する単位、および／または変換係数から残差信号（residual signal）を導出する単位であることができる。
【0064】
予測部（インター予測部１８０またはイントラ予測部１８５）は、処理対象ブロック（現ブロック）に対する予測を行い、上記現ブロックに対する予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部は、現ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。予測部は、現ブロックの予測に関する様々な情報を生成してエントロピ符号化部１９０に伝達することができる。予測に関する情報は、エントロピ符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
【0065】
イントラ予測部１８５は、現ピクチャ内のサンプルを参照して現ブロックを予測することができる。参照される上記サンプルは、イントラ予測モードおよび／またはイントラ予測技法に従って、上記現ブロックの周辺（neighbor）に位置することもでき、または離れて位置することもできる。イントラ予測モードは、複数の非方向性モードおよび複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモードおよび平面（プランナ）モード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細密な程度に応じて、例えば３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上またはそれ以下の個数の方向性予測モードが使用されることができる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現ブロックに適用される予測モードを決定することもできる。
【0066】
インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現ブロックに対する予測されたブロックを導出することができる。このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロックまたはサンプル単位で予測することができる。上記動き情報は、動きベクトルおよび参照ピクチャインデックスを含むことができる。上記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現ピクチャ内に存在する空間周辺ブロック（spatial neighboring block）と、参照ピクチャに存在する時間周辺ブロック（temporal neighboring block）と、を含むことができる。上記参照ブロックを含む参照ピクチャと上記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。上記時間周辺ブロックは、コロケート参照ブロック（collocated reference block）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。上記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（collocated picture、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、上記現ブロックの動きベクトルおよび／または参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードおよびマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、残差信号が伝送されないことができる。動き情報予測（Motion Vector Prediction、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（motion vector predictor）として用い、動きベクトル差分（motion vector difference）および動きベクトル予測子に対するインジケータ（indicator）を符号化することにより、現ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
【0067】
予測部は、後述する様々な予測方法および／または予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現ブロックの予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。現ブロックの予測のためにイントラ予測とインター予測とを同時に適用する予測方法は、ＣＩＩＰ（Combined Inter And Intra Prediction）と呼ばれることができる。また、予測部は、現ブロックの予測のためにイントラブロックコピー（Intra Block Copy、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（Screen Content Coding）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現ブロックから所定の距離だけ離れた位置の現ピクチャ内の既に復元された参照ブロックを用いて現ブロックを予測する方法である。ＩＢＣが適用される場合、現ピクチャ内の参照ブロックの位置は、上記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的には、現ピクチャ内で予測を行うが、現ピクチャ内で参照ブロックを導出するという点において、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。
【0068】
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、または残差信号を生成するために用いられることができる。減算部１１５は、入力画像信号（オリジナル（原本）ブロック、オリジナルサンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、残差信号（residual signal、残差（残余）ブロック、残差サンプルアレイ）を生成することができる。生成された残差信号は、変換部１２０に伝送されることができる。
【0069】
変換部１２０は、残差信号に変換技法を適用して変換係数（transform coefficients）を生成することができる。例えば、変換技法は、ＤＣＴ（Discrete Cosine Transform）、ＤＳＴ（Discrete Sine Transform）、ＫＬＴ（Karhunen-Loeve Transform）、ＧＢＴ（Graph-Based Transform）、およびＣＮＴ（Conditionally Non-linear Transform）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（all previously reconstructed pixel）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない可変サイズのブロックにも適用されることができる。
【0070】
量子化部１３０は、変換係数を量子化してエントロピ符号化部１９０に伝送することができる。エントロピ符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。上記量子化された変換係数に関する情報は、残差情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（scan order）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、上記１次元ベクトル形式の量子化された変換係数に基づいて、上記量子化された変換係数に関する情報を生成することもできる。
【0071】
エントロピ符号化部１９０は、例えば、指数ゴロム（exponential Golomb）、ＣＡＶＬＣ（Context-Adaptive Variable Length Coding）、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）などの様々な符号化方法を行うことができる。エントロピ符号化部１９０は、量子化された変換係数の他に、ビデオ／画像の復元に必要な情報（例えば、シンタックス要素（syntax elements）の値など）を一緒にまたは別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（Network Abstraction Layer）ユニット単位で伝送または記憶されることができる。上記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、上記ビデオ／画像情報は、一般制限情報（general constraint information）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報および／またはシンタックス要素は、上述した符号化手順を介して符号化されて上記ビットストリームに含まれることができる。
【0072】
上記ビットストリームは、ネットワークを介して伝送されることができ、またはデジタル記憶媒体に記憶されることができる。ここで、ネットワークは、放送網および／または通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含むことができる。エントロピ符号化部１９０から出力された信号を伝送する伝送部（図示せず）および／もしくは記憶する記憶部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、または伝送部は、エントロピ符号化部１９０の構成要素として備えられることもできる。
【0073】
量子化部１３０から出力された、量子化された変換係数は、残差信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０および逆変換部１５０を介して逆量子化および逆変換を適用することにより、残差信号（残差ブロックまたは残差サンプル）を復元することができる。
【0074】
加算部１５５は、復元された残差信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号に加えることにより、復元（reconstructed）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対する残差がない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0075】
フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（modified）復元ピクチャを生成することができ、上記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに記憶することができる。上記様々なフィルタリング方法は、例えば、デブロックフィルタリング、サンプル適応オフセット（sample adaptive offset）、適応ループフィルタ（adaptive loop filter）、双方向フィルタ（bilateral filter）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピ符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピ符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
【0076】
メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号装置とにおける予測ミスマッチを回避することができ、符号化効率も向上させることができる。
【0077】
メモリ１７０内のＤＰＢは、インター予測部１８０における参照ピクチャとして使用するために、修正された復元ピクチャを記憶することができる。メモリ１７０は、現ピクチャ内の動き情報が導出された（または符号化された）ブロックの動き情報および／または既に復元されたピクチャ内ブロックの動き情報を記憶することができる。上記記憶された動き情報は、空間周辺ブロックの動き情報または時間周辺ブロックの動き情報として活用するためにインター予測部１８０に伝達されることができる。メモリ１７０は、現ピクチャ内の復元されたブロックの復元サンプルを記憶することができ、イントラ予測部１８５に伝達することができる。
【0078】
画像復号装置の概要
【0079】
図３は、本開示による実施例が適用されることができる画像復号装置を概略的に示す図である。
【0080】
図３に示されるように、画像復号装置２００は、エントロピ復号部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０およびイントラ予測部２６５を含んで構成できる。インター予測部２６０およびイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０は、残差処理部に含まれることができる。
【0081】
画像復号装置２００を構成する複数の構成部の全部または少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダまたはプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。
【0082】
ビデオ／画像情報を含むビットストリームを受信した画像復号装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号装置２００は、画像符号化装置で適用された処理ユニットを用いて復号を行うことができる。したがって、復号の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットを分割して取得できる。そして、画像復号装置２００を介して復号および出力された復元画像信号は、再生装置（図示せず）を介して再生できる。
【0083】
画像復号装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信した信号は、エントロピ復号部２１０を介して復号できる。例えば、エントロピ復号部２１０は、上記ビットストリームをパージングして画像復元（またはピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。上記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、上記ビデオ／画像情報は、一般制限情報（general constraint information）をさらに含むことができる。画像復号装置は、画像を復号するために、上記パラメータセットに関する情報および／または上記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報および／またはシンタックス要素は、上記復号手順を介して復号されることにより、上記ビットストリームから取得されることができる。例えば、エントロピ復号部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号し、画像の復元に必要なシンタックス要素の値、残差に関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピ復号方法は、ビットストリームから各シンタックス要素に該当するビン（bin）を受信し、復号対象シンタックス要素情報ならびに周辺ブロックおよび復号対象ブロックの復号情報、または以前ステップで復号されたシンボル／ビンの情報を用いてコンテキスト（context）モデルを決定し、決定されたコンテキストモデルに基づいてビン（bin）の発生確率を予測してビンの算術復号（arithmetic decoding）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピ復号方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピ復号部２１０で復号された情報のうち、予測に関する情報は、予測部（インター予測部２６０およびイントラ予測部２６５）に提供され、エントロピ復号部２１０でエントロピ復号が行われた残差値、すなわち量子化された変換係数および関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピ復号部２１０で復号された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号装置２００の内／外部要素としてさらに備えられることができ、または、受信部は、エントロピ復号部２１０の構成要素として備えられることもできる。
【0084】
一方、本開示による画像復号装置は、ビデオ／画像／ピクチャ復号装置と呼ばれることができる。上記画像復号装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）および／またはサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。上記情報デコーダは、エントロピ復号部２１０を含むことができ、上記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０およびイントラ予測部２６５のうちの少なくとも一つを含むことができる。
【0085】
逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、上記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（transform coefficient）を取得することができる。
【0086】
逆変換部２３０では、変換係数を逆変換して残差信号（残差ブロック、残差サンプルアレイ）を取得することができる。
【0087】
予測部は、現ブロックに対する予測を行い、上記現ブロックに対する予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部は、エントロピ復号部２１０から出力された上記予測に関する情報に基づいて、上記現ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。
【0088】
予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。
【0089】
イントラ予測部２６５は、現ピクチャ内のサンプルを参照して現ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。
【0090】
インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現ブロックに対する予測されたブロックを導出することができる。このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロックまたはサンプル単位で予測することができる。上記動き情報は、動きベクトルおよび参照ピクチャインデックスを含むことができる。上記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現ピクチャ内に存在する空間周辺ブロック（spatial neighboring block）と参照ピクチャに存在する時間周辺ブロック（temporal neighboring block）とを含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて上記現ブロックの動きベクトルおよび／または参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、上記予測に関する情報は、上記現ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。
【0091】
加算部２３５は、取得された残差信号を予測部（インター予測部２６０および／またはイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対する残差がない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。加算部２３５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0092】
フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（modified）復元ピクチャを生成することができ、上記修正された復元ピクチャを、メモリ２５０、具体的にはメモリ２５０のＤＰＢに記憶することができる。上記様々なフィルタリング方法は、例えば、デブロックフィルタリング、サンプル適応オフセット（sample adaptive offset）、適応ループフィルタ（adaptive loop filter）、双方向フィルタ（bilateral filter）などを含むことができる。
【0093】
メモリ２５０のＤＰＢに記憶された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現ピクチャ内の動き情報が導出された（または復号された）ブロックの動き情報および／または既に復元されたピクチャ内のブロックの動き情報を記憶することができる。上記記憶された動き情報は、空間周辺ブロックの動き情報または時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現ピクチャ内の復元されたブロックの復元サンプルを記憶することができ、イントラ予測部２６５に伝達することができる。
【0094】
本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０およびイントラ予測部１８５で説明された実施例は、それぞれ画像復号装置２００のフィルタリング部２４０、インター予測部２６０およびイントラ予測部２６５にも、同様にまたは対応するように適用されることができる。
【0095】
ＣＴＵ分割の概要
【0096】
前述したように、コーディングユニットは、コーディングツリーユニット（ＣＴＵ）または最大コーディングユニット（ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Quad-Tree/Binary-Tree/Ternary-Tree）構造によって再帰的に分割することにより取得できる。例えば、ＣＴＵは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。
【0097】
四分木による分割は、現ＣＵ（またはＣＴＵ）を４等分する分割を意味する。四分木による分割によって、現ＣＵは、同じ幅および同じ高さを有する４つのＣＵに分割されることができる。現ＣＵがそれ以上四分木構造に分割されない場合、現ＣＵは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するＣＵは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。あるいは、四分木構造のリーフノードに該当するＣＵは、マルチタイプツリー構造によってさらに分割されることができる。
【0098】
図４は、マルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による２つの分割と三分木構造による２つの分割とを含むことができる。
【0099】
二分木構造による２つの分割は、垂直二分割（バイナリ分割）（Vertical Binary Splitting、ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）と水平二分割（Horizontal Binary Splitting、ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）とを含むことができる。垂直二分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）は、現ＣＵを垂直方向に二等分する分割を意味する。図４に示されるように、垂直二分割によって、現ＣＵの高さと同じ高さおよび現ＣＵの幅の半分の幅を有する２つのＣＵが生成されることができる。水平二分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）は、現ＣＵを水平方向に二等分する分割を意味する。図４に示されるように、水平二分割によって、現ＣＵの高さの半分の高さおよび現ＣＵの幅と同じ幅を有する２つのＣＵが生成されることができる。
【0100】
三分木構造による２つの分割は、垂直三分木（ターナリ）分割（Vertical Ternary Splitting、ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）と水平三分木分割（Horizontal Ternary Splitting、ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）とを含むことができる。垂直三分木分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）は、現ＣＵを垂直方向に１：２：１の割合で分割する。図４に示されているように、垂直三分木分割によって、現ＣＵの高さと同じ高さおよび現ＣＵの幅の１／４の幅を有する２つのＣＵと、現ＣＵの高さと同じ高さおよび現ＣＵの幅の半分の幅を有するＣＵと、が生成されることができる。水平三分木分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）は、現ＣＵを水平方向に１：２：１の割合で分割する。図４に示されているように、水平三分木分割によって、現ＣＵの高さの１／４の高さおよび現ＣＵの幅と同じ幅を有する２つのＣＵと、現ＣＵの高さの半分の高さおよび現ＣＵの幅と同じ幅を有する１つのＣＵと、が生成されることができる。
【0101】
図５は、本開示によるマルチタイプツリーを伴う四分木（quadtree with nested multi-type tree）構造のパーティション分割情報のシグナリングメカニズムを例示する図である。
【0102】
ここで、ＣＴＵは、四分木のルート（root）ノードとして扱われ、四分木構造に初めてパーティショニングされる。現ＣＵ（ＣＴＵまたは四分木のノード（ＱＴ＿ｎｏｄｅ））に対して四分木分割を行うか否かを指示する情報（例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ）がシグナリングされることができる。例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第１値（例えば、「１」）であれば、現ＣＵは、四分木に分割されることができる。また、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第２値（例えば、「０」）であれば、現ＣＵは、四分木に分割されず、四分木のリーフノード（ＱＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらにパーティショニングされることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード（ＭＴＴ＿ｎｏｄｅ）になることができる。マルチタイプツリー構造で、現ノードがさらにパーティショニングされるかを指示するために、第１フラグ（a first flag、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）がシグナリングされることができる。当該ノードがさらにパーティショニングされる場合（例えば、第１フラグが１である場合）には、分割方向（splitting direction）を指示するために、第２フラグ（a second flag、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃｌａ＿ｆｌａｇ）がシグナリングされることができる。例えば、第２フラグが１である場合には、分割方向は垂直方向であり、第２フラグが０である場合には、分割方向は水平方向であることができる。その後、分割タイプが二分割タイプであるか三分木分割タイプであるかを指示するために、第３フラグ（a third flag、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ）がシグナリングされることができる。例えば、第３フラグが１である場合には、分割タイプは二分割タイプであり、第３フラグが０である場合には、分割タイプは三分木分割タイプであることができる。二分割または三分木分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることができる。しかしながら、マルチタイプツリーのノードは、四分木構造にパーティショニングされることはできない。上記第１フラグが０である場合、マルチタイプツリーの該当ノードは、それ以上分割されず、マルチタイプツリーのリーフノード（ＭＴＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。マルチタイプツリーのリーフノードに該当するＣＵは、前述した最終コーディングユニットとして使用できる。
【0103】
前述したｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇおよびｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇに基づいて、ＣＵのマルチタイプツリー分割モード（multi-type tree splitting mode、ＭｔｔＳｐｌｉｔＭｏｄｅ）が表１の通りに導出されることができる。
【0104】
【表1】
【0105】
一つのＣＴＵは、ルマサンプルのコーディングブロック（以下、「ルマブロック」という）と、これに対応するクロマサンプルの２つの符号化ブロック（以下、「クロマブロック」という）と、を含むことができる。前述したコーディングツリースキームは、現ＣＵのルマブロックおよびクロマブロックに対して同様に適用されることもでき、個別に（separate）適用されることもできる。具体的には、一つのＣＴＵ内のルマブロックおよびクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）と表すことができる。あるいは、一つのＣＴＵ内のルマブロックおよびクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）と表すことができる。つまり、ＣＴＵがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造とが別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ（ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ）と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ（ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）と呼ばれることができる。ＰおよびＢスライス／タイルグループに対して、一つのＣＴＵ内のルマブロックおよびクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかしながら、Ｉスライス／タイルグループに対して、ルマブロックおよびクロマブロックは、互いに個別ブロックツリー構造を持つことができる。個別ブロックツリー構造が適用される場合、ルマＣＴＢ（Coding Tree Block）は、特定のコーディングツリー構造に基づいてＣＵに分割され、クロマＣＴＢは、他の符号化ツリー構造に基づいてクロマＣＵに分割されることができる。すなわち、個別ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵは、ルマ成分のコーディングブロックまたは２つのクロマ成分のコーディングブロックで構成されることができる。また、同一ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵとＰまたはＢスライス／タイルグループのＣＵとは、３つのカラー成分（ルマ成分および２つのクロマ成分）のブロックで構成されることができる。上記において、マルチタイプツリーを伴う四分木コーディングツリー構造について説明したが、ＣＵが分割される構造はこれに限定されない。例えば、ＢＴ構造およびＴＴ構造は、多数の分割ツリー（Multiple Partitioning Tree、ＭＰＴ）構造に含まれる概念と解釈されることができ、ＣＵは、ＱＴ構造およびＭＰＴ構造によって分割されると解釈することができる。ＱＴ構造およびＭＰＴ構造によってＣＵが分割される一例において、ＱＴ構造のリーフノードが幾つのブロックに分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｔｙｐｅ）ならびにＱＴ構造のリーフノードが垂直および水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｍｏｄｅ）がシグナリングされることにより、分割構造が決定されることができる。
【0106】
別の例において、ＣＵは、ＱＴ構造、ＢＴ構造またはＴＴ構造とは異なる方法で分割されることができる。つまり、ＱＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４サイズに分割されるか、またはＢＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／２サイズに分割されるか、またはＴＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４もしくは１／２サイズに分割されるのとは異なり、下位デプスのＣＵは、場合によって、上位デプスのＣＵの１／５、１／３、３／８、３／５、２／３または５／８のサイズに分割されることができ、ＣＵが分割される方法は、これに限定されない。
【0107】
イントラ予測の概要
【0108】
以下、本開示によるイントラ予測について説明する。
【0109】
イントラ予測は、現ブロックの属するピクチャ（以下、現ピクチャ）内の参照サンプルに基づいて現ブロックに対する予測サンプルを生成する予測を示すことができる。現ブロックにイントラ予測が適用される場合、現ブロックのイントラ予測に使用する周辺参照サンプルが導出されることができる。上記現ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現ブロックの左側（left）境界に隣接するサンプルおよび左下側（bottom-left）に隣接する合計２×ｎＨ個のサンプル、現ブロックの上側（top）境界に隣接するサンプルおよび右上側（top-right）に隣接する合計２×ｎＷ個のサンプル、ならびに現ブロックの左上側（top-left）に隣接する１つのサンプルを含むことができる。あるいは、上記現ブロックの周辺参照サンプルは、複数列の上側周辺サンプルおよび複数行の左側周辺サンプルを含むこともできる。また、上記現ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現ブロックの右側（right）境界に隣接する合計ｎＨ個のサンプル、現ブロックの下側（bottom）境界に隣接する合計ｎＷ個のサンプル、および現ブロックの右下側（bottom-right）に隣接する１つのサンプルを含むこともできる。
【0110】
ただし、現ブロックの周辺参照サンプル中の一部は、未だ復号されていないか、または利用可能でないことができる。この場合、デコーダは、利用可能なサンプルとして利用可能でないサンプルを代替（substitution）して、予測に使用する周辺参照サンプルを構成することができる。あるいは、利用可能なサンプルの補間（interpolation）を介して、予測に使用する周辺参照サンプルを構成することができる。
【0111】
周辺参照サンプルが導出された場合、（ｉ）現ブロックの周辺（neighboring）参照サンプルの平均（average）または補間（interpolation）に基づいて予測サンプルを導出することができ、（ｉｉ）現ブロックの周辺参照サンプルのうちの予測サンプルに対して、特定の（予測）方向に存在する参照サンプルに基づいて上記予測サンプルを導出することもできる。（ｉ）の場合は、非方向性モードまたは非角度モード、（ｉｉ）の場合は、方向性（directional）モードまたは角度（angular）モードと呼ばれることができる。
【0112】
また、上記周辺参照サンプルのうち、上記現ブロックの予測対象サンプルを基準に、上記現ブロックのイントラ予測モードの予測方向に位置する第１周辺サンプルとその反対方向に位置する第２周辺サンプルとの補間を介して上記予測サンプルが生成されることもできる。上述した場合は、線形補間イントラ予測（Linear Interpolation Intra Prediction、ＬＩＰ）と呼ばれることができる。
【0113】
また、線形モデル（linear model）を用いてルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭ（Linear Model）モードと呼ばれることができる。
【0114】
また、フィルタリングされた周辺参照サンプルに基づいて上記現ブロックの一時予測サンプルを導出し、上記従来の周辺参照サンプル、すなわち、フィルタリングされていない周辺参照サンプルのうち、上記イントラ予測モードに応じて導出された少なくとも一つの参照サンプルと上記一時予測サンプルとを加重和（weighted sum）して、上記現ブロックの予測サンプルを導出することもできる。この場合は、ＰＤＰＣ（Position Dependent Intra Prediction）と呼ばれることができる。
【0115】
また、現ブロックの周辺多重参照サンプルラインのうち、最も予測精度が高い参照サンプルラインを選択して、当該ラインから予測方向に位置する参照サンプルを用いて予測サンプルを導出することができる。このとき、使用された参照サンプルラインに関する情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）は、ビットストリームに符号化されてシグナリングされることができる。この場合は、ＭＲＬ（Multi-Reference Line Intra Prediction）またはＭＲＬベースのイントラ予測と呼ばれることができる。ＭＲＬが適用されない場合、現ブロックに直接隣接する参照サンプルラインから参照サンプルが導出されることができ、この場合、参照サンプルラインに関する情報は、シグナリングされないことができる。
【0116】
また、現ブロックを垂直または水平のサブパーティションに分割し、各サブパーティションに対して同一のイントラ予測モードに基づいてイントラ予測を行うことができる。このとき、イントラ予測の周辺参照サンプルは、各サブパーティション単位で導出されることができる。すなわち、符号化／復号の順序上、以前のサブパーティションの復元されたサンプルが現サブパーティションの周辺参照サンプルとして用いられることができる。この場合、現ブロックに対するイントラ予測モードが上記サブパーティションに同一に適用されるが、上記サブパーティション単位で周辺参照サンプルを導出して用いることにより、場合によってはイントラ予測性能を向上させることができる。このような予測方法は、ＩＳＰ（Intra Sub-Partitions）またはＩＳＰベースのイントラ予測と呼ばれることができる。
【0117】
前述したイントラ予測技法は、方向性または非方向性のイントラ予測モードと区分してイントラ予測タイプまたは付加イントラ予測モードなどの様々な用語で呼ばれることができる。例えば、上記イントラ予測技法（イントラ予測タイプまたは付加イントラ予測モードなど）は、上述したＬＩＰ、ＬＭ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうちの少なくとも一つを含むことができる。上記ＬＩＰ、ＬＭ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定のイントラ予測タイプを除いた一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、上述したような特定のイントラ予測タイプが適用されない場合に一般的に適用でき、前述したイントラ予測モードに基づいて予測が行われることができる。一方、必要に応じて導出された予測サンプルに対する後処理フィルタリングが行われることもできる。
【0118】
具体的には、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、周辺参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。また、必要に応じて、導出された予測サンプルに対する後処理フィルタリング（post-filtering）ステップが行われることもできる。
【0119】
図６は、イントラ予測ベースのビデオ／画像符号化方法を示すフローチャートである。
【0120】
図６の符号化方法は、図２の画像符号化装置によって行われることができる。具体的には、ステップＳ６１０は、イントラ予測部１８５によって行われることができ、ステップＳ６２０は、残差処理部によって行われることができる。具体的には、ステップＳ６２０は、減算部１１５によって行われることができる。ステップＳ６３０は、エントロピ符号化部１９０によって行われることができる。ステップＳ６３０の予測情報は、イントラ予測部１８５によって導出され、ステップＳ６３０の残差情報は、残差処理部によって導出されることができる。上記残差情報は、上記残差サンプルに関する情報である。上記残差情報は、上記残差サンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、上記残差サンプルは、画像符号化装置の変換部１２０を介して変換係数として導出され、上記変換係数は、量子化部１３０を介して量子化された変換係数として導出されることができる。上記量子化された変換係数に関する情報が、残差コーディング手順を介してエントロピ符号化部１９０で符号化されることができる。
【0121】
画像符号化装置は、現ブロックに対するイントラ予測を行うことができる（Ｓ６１０）。画像符号化装置は、現ブロックに対するイントラ予測モード／タイプを決定し、現ブロックの周辺参照サンプルを導出した後、上記イントラ予測モード／タイプ、および上記周辺参照サンプルに基づいて上記現ブロック内の予測サンプルを生成することができる。ここで、イントラ予測モード／タイプの決定、周辺参照サンプルの導出および予測サンプルの生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。
【0122】
図７は、本開示によるイントラ予測部１８５の構成を例示的に示す図である。
【0123】
図７に示すように、画像符号化装置のイントラ予測部１８５は、イントラ予測モード／タイプ決定部１８６、参照サンプル導出部１８７および／または予測サンプル導出部１８８を含むことができる。イントラ予測モード／タイプ決定部１８６は、上記現ブロックに対するイントラ予測モード／タイプを決定することができる。参照サンプル導出部１８７は、上記現ブロックの周辺参照サンプルを導出することができる。予測サンプル導出部１８８は、上記現ブロックの予測サンプルを導出することができる。一方、図示されてはいないが、後述する予測サンプルフィルタリング手順が行われる場合、イントラ予測部１８５は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。
【0124】
画像符号化装置は、複数のイントラ予測モード／タイプのうち、上記現ブロックに対して適用されるモード／タイプを決定することができる。画像符号化装置は、上記イントラ予測モード／タイプに対するレート歪みコスト（RD cost）を比較し、上記現ブロックに対する最適なイントラ予測モード／タイプを決定することができる。
【0125】
一方、画像符号化装置は、予測サンプルフィルタリング手順を行うこともできる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。上記予測サンプルフィルタリング手順によって、上記予測サンプルのうちの一部または全部がフィルタリングされることができる。場合によっては、上記予測サンプルフィルタリング手順は省略できる。
【0126】
再び図６を参照して、画像符号化装置は、予測サンプルまたはフィルタリングされた予測サンプルに基づいて、上記現ブロックに対する残差サンプルを生成することができる（Ｓ６２０）。画像符号化装置は、現ブロックのオリジナルサンプルから上記予測サンプルを減算して上記残差サンプルを導出することができる。つまり、画像符号化装置は、オリジナルサンプル値から対応する予測サンプル値を減算することにより、残差サンプル値を導出することができる。
【0127】
画像符号化装置は、上記イントラ予測に関する情報（予測情報）、および上記残差サンプルに関する残差情報を含む画像情報を符号化することができる（Ｓ６３０）。上記予測情報は、上記イントラ予測モード情報および／または上記イントラ予測技法情報を含むことができる。画像符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。出力されたビットストリームは、記憶媒体またはネットワークを介して画像復号装置へ伝達されることができる。
【0128】
上記残差情報は、後述する残差コーディングシンタックスを含むことができる。画像符号化装置は、上記残差サンプルを変換／量子化し、量子化された変換係数を導出することができる。上記残差情報は、上記量子化された変換係数に関する情報を含むことができる。
【0129】
一方、前述したように、画像符号化装置は、復元ピクチャ（復元サンプルおよび復元ブロックを含む）を生成することができる。このために、画像符号化装置は、上記量子化された変換係数をさらに逆量子化／逆変換処理して（修正された）残差サンプルを導出することができる。このように残差サンプルを変換／量子化した後、再び逆量子化／逆変換を行う理由は、画像復号装置から導出される残差サンプルと同一の残差サンプルを導出するためである。画像符号化装置は、上記予測サンプルと、上記（修正された）残差サンプルと、に基づいて、上記現ブロックに対する復元サンプルを含む復元ブロックを生成することができる。上記復元ブロックに基づいて、上記現ピクチャに対する復元ピクチャが生成されることができる。上記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、前述した通りである。
【0130】
図８はイントラ予測ベースのビデオ／画像復号方法を示すフローチャートである。
【0131】
画像復号装置は、上記画像符号化装置で行われた動作と対応する動作を行うことができる。
【0132】
図８の復号方法は、図３の画像復号装置によって行われることができる。ステップＳ８１０ないしＳ８３０は、イントラ予測部２６５によって行われることができ、ステップＳ８１０の予測情報およびステップＳ８４０の残差情報は、エントロピ復号部２１０によってビットストリームから取得されることができる。画像復号装置の残差処理部は、上記残差情報に基づいて、現ブロックに対する残差サンプルを導出することができる（Ｓ８４０）。具体的には、上記残差処理部の逆量子化部２２０は、上記残差情報に基づいて導出された、量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、上記残差処理部の逆変換部２３０は、上記変換係数に対する逆変換を行って上記現ブロックに対する残差サンプルを導出することができる。ステップＳ８５０は、加算部２３５または復元部によって行われることができる。
【0133】
具体的には、画像復号装置は、受信した予測情報（イントラ予測モード／タイプ情報）に基づいて、現ブロックに対するイントラ予測モード／タイプを導出することができる（Ｓ８１０）。また、画像復号装置は、上記現ブロックの周辺参照サンプルを導出することができる（Ｓ８２０）。画像復号装置は、上記イントラ予測モード／タイプおよび上記周辺参照サンプルに基づいて上記現ブロック内の予測サンプルを生成することができる（Ｓ８３０）。この場合、画像復号装置は、予測サンプルフィルタリング手順を行うことができる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。上記予測サンプルフィルタリング手順によって、上記予測サンプルのうちの一部または全部がフィルタリングされることができる。場合によっては、予測サンプルフィルタリング手順は省略できる。
【0134】
画像復号装置は、受信した残差情報に基づいて、上記現ブロックに対する残差サンプルを生成することができる（Ｓ８４０）。画像復号装置は、上記予測サンプルおよび上記残差サンプルに基づいて上記現ブロックに対する復元サンプルを生成し、上記復元サンプルを含む復元ブロックを導出することができる（Ｓ８５０）。上記復元ブロックに基づいて上記現ピクチャに対する復元ピクチャが生成されることができる。上記復元ピクチャに基づいてインループフィルタリング手順などがさらに適用できるのは、前述した通りである。
【0135】
図９は、本開示によるイントラ予測部２６５の構成を例示的に示す図である。
【0136】
図９に示すように、画像復号装置のイントラ予測部２６５は、イントラ予測モード／タイプ決定部２６６、参照サンプル導出部２６７および予測サンプル導出部２６８を含むことができる。イントラ予測モード／タイプ決定部２６６は、画像符号化装置のイントラ予測モード／タイプ決定部１８６で生成されてシグナリングされたイントラ予測モード／タイプ情報に基づいて、上記現ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部２６６は、現ピクチャ内の復元された参照領域から上記現ブロックの周辺参照サンプルを導出することができる。予測サンプル導出部２６８は、上記現ブロックの予測サンプルを導出することができる。一方、図示されてはいないが、前述した予測サンプルフィルタリング手順が行われる場合、イントラ予測部２６５は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。
【0137】
上記イントラ予測モード情報は、例えばＭＰＭ（Most Probable Mode）が上記現ブロックに適用されるか、またはリメイニングモード（remaining mode）が適用されるかを示すフラグ情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）を含むことができ、上記ＭＰＭが上記現ブロックに適用される場合、上記イントラ予測モード情報は、上記イントラ予測モード候補（ＭＰＭ候補）のうちのいずれか一つを指すインデックス情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）をさらに含むことができる。上記イントラ予測モード候補（ＭＰＭ候補）は、ＭＰＭ候補リストまたはＭＰＭリストで構成されることができる。また、上記ＭＰＭが上記現ブロックに適用されない場合、上記イントラ予測モード情報は、上記イントラ予測モード候補（ＭＰＭ候補）を除いた残りのイントラ予測モードのうちのいずれか一つを指すリメイニングモード情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をさらに含むことができる。画像復号装置は、上記イントラ予測モード情報に基づいて、上記現ブロックのイントラ予測モードを決定することができる。ＭＰＭ候補モードは、現ブロックの周辺ブロック（例えば、左側周辺ブロックおよび上側周辺ブロック）のイントラ予測モードおよび追加的な候補モードを含むことができる。
【0138】
また、上記イントラ予測技法は、様々な形態で実現できる。一例として、上記イントラ予測技法情報は、上記イントラ予測技法のうちのいずれか一つを指示するイントラ予測技法のインデックス情報を含むことができる。他の例として、上記イントラ予測技法情報は、上記ＭＲＬが上記現ブロックに適用されるか、および、適用される場合には何番目の参照サンプルラインが用いられるかを示す参照サンプルライン情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、上記ＩＳＰが上記現ブロックに適用されるかを示すＩＳＰフラグ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、上記ＩＳＰが適用される場合にサブパーティションの分割タイプを指示するＩＳＰタイプ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＰＣを適用するか否かを示すフラグ情報、ならびにＬＩＰを適用するか否かを示すフラグ情報のうちの少なくとも一つを含むことができる。本開示において、ＩＳＰフラグ情報は、ＩＳＰ適用インジケータと呼ばれることができる。
【0139】
上記イントラ予測モード情報および／または上記イントラ予測技法情報は、本開示で説明されたコーディング方法を介して符号化／復号されることができる。例えば、上記イントラ予測モード情報および／または上記イントラ予測技法情報は、ｔｒｕｎｃａｔｅｄ（ｒｉｃｅ）ｂｉｎａｒｙ ｃｏｄｅに基づいてエントロピコーディング（例えば、ＣＡＢＡＣ、ＣＡＶＬＣ）を介して符号化／復号できる。
【0140】
以下、本開示によるイントラ予測モード／タイプ決定方法についてより詳細に説明する。
【0141】
現ブロックにイントラ予測が適用される場合、周辺ブロックのイントラ予測モードを用いて、現ブロックに適用されるイントラ予測モードが決定されることができる。例えば、画像復号装置は、現ブロックの周辺ブロック（例えば、左側および／または上側周辺ブロック）のイントラ予測モードおよび追加的な候補モードに基づいて導出されたｍｐｍ（most probable mode）リストを構成し、受信したｍｐｍインデックスに基づいてｍｐｍリスト内のｍｐｍ候補のうちのいずれかを選択することができる。あるいは、画像復号装置は、上記ｍｐｍリストに含まれていない残りのイントラ予測モードのうちのいずれか一つをリメイニングイントラ予測モード情報に基づいて選択することができる。例えば、現ブロックに適用されるイントラ予測モードがｍｐｍ候補の中にあるか（すなわち、ｍｐｍリストに含まれているか）、またはリメイニングモードの中にあるかは、ｍｐｍ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）に基づいて指示できる。ｍｐｍ ｆｌａｇの値１は、上記現ブロックに対するイントラ予測モードがｍｐｍ候補（ｍｐｍリスト）内にあることを示すことができ、ｍｐｍ ｆｌａｇの値０は、上記現ブロックに対するイントラ予測モードがｍｐｍ候補（ｍｐｍリスト）内にないことを示すことができる。上記ｍｐｍインデックスは、ｍｐｍ＿ｉｄｘまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘシンタックス要素の形態でシグナリングされることができ、上記リメイニングイントラ予測モード情報は、ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒシンタックス要素の形態でシグナリングされることができる。例えば、上記リメイニングイントラ予測モード情報は、全体イントラ予測モードのうち、上記ｍｐｍ候補（ｍｐｍリスト）に含まれない残りのイントラ予測モードを予測モード番号の順にインデキシングして（インデックスを付けて）その中のいずれか一つを指すことができる。上記イントラ予測モードは、ルマ成分（サンプル）に対するイントラ予測モードであることができる。以下、イントラ予測モード情報は、上記ｍｐｍ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）、上記ｍｐｍインデックス（例えば、ｍｐｍ＿ｉｄｘまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）、上記リメイニングイントラ予測モード情報（ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）のうちの少なくとも一つを含むことができる。本開示において、ＭＰＭリストは、ＭＰＭ候補リストやｃａｎｄＭｏｄｅＬｉｓｔなどの様々な用語で呼ばれることができる。
【0142】
図１０は、画像符号化装置におけるイントラ予測モードシグナリング手順を示すフローチャートである。
【0143】
図１０を参照すると、画像符号化装置は、現ブロックに対するＭＰＭリストを構成することができる（Ｓ１０１０）。上記ＭＰＭリストは、上記現ブロックに適用される可能性が高い候補イントラ予測モード（ＭＰＭ候補）を含むことができる。上記ＭＰＭリストは、周辺ブロックのイントラ予測モードを含むこともでき、予め定められた方法に基づいて特定のイントラ予測モードをさらに含むこともできる。
【0144】
画像符号化装置は、現ブロックのイントラ予測モードを決定することができる（Ｓ１０２０）。画像符号化装置は、様々なイントラ予測モードに基づいて予測を行うことができ、これに基づいたＲＤＯ（Rate-Distortion Optimization）を行って最適なイントラ予測モードを決定することができる。画像符号化装置は、この場合、上記ＭＰＭリストに含まれているＭＰＭ候補のみを用いて上記最適なイントラ予測モードを決定することもでき、または上記ＭＰＭリストに含まれているＭＰＭ候補だけでなく、残りのイントラ予測モードをさらに用いて上記最適なイントラ予測モードを決定することもできる。具体的には、例えば、上記現ブロックのイントラ予測タイプがノーマルイントラ予測タイプではない特定のタイプ（例えば、ＬＩＰ、ＭＲＬまたはＩＳＰ）である場合には、画像符号化装置は、上記ＭＰＭ候補のみを用いて上記最適なイントラ予測モードを決定することができる。つまり、この場合には、上記現ブロックに対するイントラ予測モードは、上記ＭＰＭ候補のみの中から決定されることができ、この場合には、上記ｍｐｍ ｆｌａｇを符号化／シグナリングしないことができる。画像復号装置は、上記特定のタイプの場合には、ｍｐｍ ｆｌａｇのシグナリングを別途受けなくても、ｍｐｍ ｆｌａｇが１であると推定することができる。
【0145】
一方、一般的に上記現ブロックのイントラ予測モードが上記ＭＰＭリスト内にあるＭＰＭ候補のうちのいずれか一つである場合、画像符号化装置は、上記ＭＰＭ候補のうちのいずれか一つを指すｍｐｍインデックス（mpm idx）を生成することができる。上記現ブロックのイントラ予測モードが上記ＭＰＭリスト内にない場合には、上記ＭＰＭリストに含まれていない残りのイントラ予測モードのうち、上記現ブロックのイントラ予測モードと同じモードを指すリメイニングイントラ予測モード情報を生成することができる。
【0146】
画像符号化装置は、イントラ予測モード情報を符号化してビットストリーム形式で出力することができる（Ｓ１０３０）。上記イントラ予測モード情報は、前述したｍｐｍ ｆｌａｇ、ｍｐｍインデックスおよび／またはリメイニングイントラ予測モード情報を含むことができる。一般に、ｍｐｍインデックスとリメイニングイントラ予測モード情報とは、ａｌｔｅｒｎａｔｉｖｅな（二者択一）関係で一つのブロックに対するイントラ予測モードを指示するにあたり、同時にはシグナリングされない。つまり、ｍｐｍ ｆｌａｇ値が１であるとき、ｍｐｍインデックスがシグナリングされ、ｍｐｍ ｆｌａｇ値が０であるとき、リメイニングイントラ予測モード情報がシグナリングされることができる。ただし、前述したように、現ブロックに特定のイントラ予測タイプが適用される場合には、ｍｐｍ ｆｌａｇがシグナリングされず、その値が１に推論（infer）され、ｍｐｍインデックスのみシグナリングされることもできる。すなわち、この場合には、上記イントラ予測モード情報は、上記ｍｐｍインデックスのみを含むこともできる。
【0147】
図１０に示されている例において、Ｓ１０２０は、Ｓ１０１０よりも後で行われると図示されたが、これは一つの例示であり、Ｓ１０２０は、Ｓ１０１０よりも先に行われてもよく、同時に行われてもよい。
【0148】
図１１は、画像復号装置におけるイントラ予測モード決定手順を示すフローチャートである。
【0149】
画像復号装置は、画像符号化装置で決定およびシグナリングされたイントラ予測モード情報に基づいて、現ブロックのイントラ予測モードを決定することができる。
【0150】
図１１を参照すると、画像復号装置は、ビットストリームからイントラ予測モード情を取得することができる（Ｓ１１１０）。上記イントラ予測モード情報は、前述したようにｍｐｍ ｆｌａｇ、ｍｐｍインデックス、およびリメイニングイントラ予測モードのうちの少なくとも一つを含むことができる。
【0151】
画像復号装置は、ＭＰＭリストを構成することができる（Ｓ１１２０）。上記ＭＰＭリストは、上記画像符号化装置で構成されたＭＰＭリストと同様に構成される。すなわち、上記ＭＰＭリストは、周辺ブロックのイントラ予測モードを含むこともでき、予め定められた方法に従って特定のイントラ予測モードをさらに含むこともできる。
【0152】
図１１に示された例において、Ｓ１１２０は、Ｓ１１１０よりも後で行われると図示されたが、これは一つの例示であり、Ｓ１１２０は、Ｓ１１１０よりも先に行われてもよく、同時に行われてもよい。
【0153】
画像復号装置は、上記ＭＰＭリストおよび上記イントラ予測モード情報に基づいて現ブロックのイントラ予測モードを決定する（Ｓ１１３０）。ステップＳ１１３０は、図１２を参照してより具体的に説明する。
【0154】
図１２は、イントラ予測モード導出手順をより具体的に説明するフローチャートである。
【0155】
【0156】
画像復号装置は、ビットストリームからイントラ予測モード情報を取得し、ＭＰＭリストを構成した後（Ｓ１２１０、Ｓ１２２０）、所定の条件を判断することができる（Ｓ１２３０）。具体的には、図１２に示すように、ｍｐｍ ｆｌａｇの値が１である場合（Ｓ１２３０でＹｅｓ）、画像復号装置は、上記ＭＰＭリスト内のＭＰＭ候補のうち、上記ｍｐｍインデックスが指し示す候補を、上記現ブロックのイントラ予測モードとして導出することができる（Ｓ１２４０）。他の例として、上記ｍｐｍ ｆｌａｇの値が０である場合（Ｓ１２３０でＮｏ）、画像復号装置は、上記ＭＰＭリストに含まれていない残りのイントラ予測モードのうち、上記リメイニングイントラ予測モード情報が指すイントラ予測モードを上記現ブロックのイントラ予測モードとして導出することができる（Ｓ１２５０）。一方、別の例として、上記現ブロックのイントラ予測タイプが特定のタイプ（例えば、ＬＩＰ、ＭＲＬまたはＩＳＰなど）である場合（Ｓ１２３０でＹｅｓ）、画像復号装置は、上記ｍｐｍ ｆｌａｇの確認がなくても、上記ＭＰＭリスト内で上記ｍｐｍインデックスが指し示す候補を上記現ブロックのイントラ予測モードとして導出することもできる（Ｓ１２４０）。
【0157】
図１３は、本開示の一実施例に係るイントラ予測方向を示す図である。
【0158】
イントラ予測モードは、一例として、２つの非方向性イントラ予測モードと、３３個の方向性イントラ予測モードと、を含むことができる。上記非方向性イントラ予測モードは、平面（planar）イントラ予測モードおよびＤＣイントラ予測モードを含むことができ、上記方向性イントラ予測モードは、２番ないし３４番のイントラ予測モードを含むことができる。上記平面イントラ予測モードは、平面モードと呼ばれることができ、上記ＤＣイントラ予測モードは、ＤＣモードと呼ばれることができる。
【0159】
あるいは、自然画像（natural video）で提示された任意のエッジ方向（edge direction）をキャプチャするために、図１３に示すように、イントラ予測モードは、２つの非方向性イントラ予測モードと、６５個の拡張された方向性イントラ予測モードと、を含むことができる。上記非方向性イントラ予測モードは、平面モードおよびＤＣモードを含むことができ、上記方向性イントラ予測モードは、２番ないし６６番のイントラ予測モードを含むことができる。上記拡張されたイントラ予測モードは、すべてのサイズのブロックに適用されることができ、ルマ成分（ルマブロック）およびクロマ成分（クロマブロック）の両方に適用されることができる。
【0160】
あるいは、上記イントラ予測モードは、２つの非方向性イントラ予測モードと１２９個の方向性イントラ予測モードとを含むことができる。上記非方向性イントラ予測モードは、平面モードおよびＤＣモードを含むことができ、上記方向性イントラ予測モードは、２番ないし１３０番のイントラ予測モードを含むことができる。
【0161】
一方、上記イントラ予測モードは、前述したイントラ予測モードの他にも、クロマサンプルのためのＣＣＬＭ（Cross-Component Linear Model）モードをさらに含むことができる。ＣＣＬＭモードは、ＬＭパラメータの導出のために、左側サンプルを考慮するか、上側サンプルを考慮するか、両方を考慮するかによってＬ＿ＣＣＬＭ、Ｔ＿ＣＣＬＭ、ＬＴ＿ＣＣＬＭに分けられることができ、クロマ成分に対してのみ適用されることができる。
【0162】
イントラ予測モードは、例えば、下記表２に示すようにインデキシングできる。
【0163】
【表2】
【0164】
図１４は、本開示の他の実施例に係るイントラ予測方向を示す図である。図１４において、破線方向は、正方形ではないブロックのみに適用される広角（wide angle）モードを示す。図１４に示すように、自然画像（natural video）で提示された任意のエッジ方向（edge direction）をキャプチャするために、一実施例によるイントラ予測モードは、２つの非方向性イントラ予測モードと共に９３個の方向性イントラ予測モードを含むことができる。非方向性イントラ予測モードは、平面モードおよびＤＣモードを含むことができる。方向性イントラ予測モードは、図１４の矢印で示すように、２番ないし８０番と－１番ないし－１４番とで構成されるイントラ予測モードを含むことができる。上記平面モードはＩＮＴＲＡ＿ＰＬＡＮＡＲ、ＤＣモードはＩＮＴＲＡ＿ＤＣ、とそれぞれ表記されることができる。そして、方向性イントラ予測モードは、ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ－１４ないしＩＮＴＲＡ＿ＡＮＧＵＬＡＲ－１、およびＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２ないしＩＮＴＲＡ＿ＡＮＧＵＬＡＲ８０のように表記されることができる。以下、本開示によるクロマ成分ブロックの予測サンプル導出方法について詳細に説明する。
【0165】
現ブロックにイントラ予測が行われる場合、現ブロックのルマ成分ブロック（ルマブロック）に対する予測およびクロマ成分ブロック（クロマブロック）に対する予測が行われることができ、この場合、クロマ成分（クロマブロック）に対するイントラ予測モードは、ルマ成分（ルマブロック）に対するイントラ予測モードとは個別に設定されることができる。
【0166】
例えば、クロマブロックに対するイントラ予測モード（イントラクロマ予測モード）は、イントラクロマ予測モード情報に基づいて指示されることができ、上記イントラクロマ予測モード情報は、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅシンタックス要素の形でシグナリングされることができる。一例として、上記イントラクロマ予測モード情報は、平面（Planar）モード、ＤＣモード、垂直（vertical）モード、水平（horizontal）モード、ＤＭ（Derived Mode）およびＣＣＬＭモードのうちのいずれか一つを指し示すことができる。一例として、イントラ予測モードが２つの非方向性イントラ予測モードと３３個の方向性イントラ予測モードとを含む場合、上記平面モードは０番イントラ予測モード、上記ＤＣモードは１番イントラ予測モード、上記垂直モードは２６番イントラ予測モード、上記水平モードは１０番イントラ予測モード、をそれぞれ示すことができる。他の例として、イントラ予測モードが２つの非方向性イントラ予測モードと６５個の方向性イントラ予測モードとを含む場合、上記平面モードは０番イントラ予測モード、上記ＤＣモードは１番イントラ予測モード、上記垂直モードは５０番イントラ予測モード、上記水平モードは１８番イントラ予測モード、をそれぞれ示すことができる。ＤＭは、ｄｉｒｅｃｔ ｍｏｄｅと呼ばれることもできる。ＣＣＬＭは、ＬＭと呼ばれることができる。
【0167】
一方、ＤＭおよびＣＣＬＭは、ルマブロックの情報を用いてクロマブロックを予測する従属的なイントラ予測モードである。上記ＤＭは、上記ルマ成分（ルマブロック）に対するイントラ予測モードと同じイントラ予測モードが上記クロマ成分（クロマブロック）に対するイントラ予測モードとして適用されるモードを示すことができる。また、上記ＣＣＬＭは、クロマブロックに対する予測ブロックを生成する過程でルマブロックの復元されたサンプルをサブサンプリングした後、サブサンプリングされたサンプルにＣＣＬＭパラメータαおよびβを適用して導出されたサンプルを上記クロマブロックの予測サンプルとして使用するイントラ予測モードを示すことができる。
【0168】
ＤＭモードの概要
【0169】
現クロマブロックがＤＭで予測された場合、現クロマブロックのイントラ予測モードは、対応するルマブロックのイントラ予測モードで導出されることができる。例えば、対応ルマブロックの所定の位置のイントラ予測モードを現クロマブロックのイントラ予測モードとして使用することができる。
【0170】
図１５は、ＤＭモードの場合、現クロマブロックのイントラ予測モードを導出するための所定の位置を示す図である。
【0171】
図１５において、例えば、クロマブロックは垂直二分割され、現クロマブロックは斜線領域のブロックであることができる。このとき、現クロマブロックに対応するルマブロックは、ルマブロック内の斜線領域のブロックであることができる。
【0172】
図１５において、ＤＭで予測された現クロマブロックのイントラ予測モード（イントラクロマ予測モード）は、対応ルマブロック内の所定の位置のイントラ予測モード（イントラルマ予測モード）で導出されることができる。例えば、対応ルマブロック内の中央右下側サンプル（中心位置）（ＣＲ）をカバーするブロックのイントラ予測モードが現クロマブロックのイントラ予測モードと決定されることができる。しかしながら、上記所定の位置は、上記中心位置に限定されず、例えば、左上端位置（ＴＬ）のように対応ルマブロック内の他の位置であってもよい。
【0173】
あるいは、現クロマブロックに多重ＤＭ（Multiple Direct modes、ＭＤＭ）が適用されることもできる。
【0174】
多重ＤＭは、上記単一ＤＭモードを複数のモードに拡張して使用するモードであって、現クロマブロックの画面内予測モードを導出するために、複数のＤＭモードを含むＤＭ候補リストを構成し、ＤＭ候補リストに含まれている候補のうちのいずれか一つを、現クロマブロックのイントラ予測モードとして導出することができる。多重ＤＭが適用される場合、ＤＭ候補リストは、次の複数のＤＭ候補を含むことができる。
【0175】
－対応ルマブロックのＣＲ、ＴＬ、ＴＲ、ＢＬ、ＢＲ位置のイントラ予測モード
【0176】
－現クロマブロックの周辺ブロックであるＬ、Ａ、ＢＬ、ＡＲ、ＡＬ位置のイントラ予測モード
【0177】
－ＰＬＡＮＡＲモードおよびＤＣモード
【0178】
－既に含まれている方向性モードにオフセット（例えば、１）を加減して導出された方向性モード
【0179】
－デフォルトＤＭ候補モード：垂直モード、水平モード、２、３４、６６、１０、２６番モード（６５個の方向性モードの場合）
【0180】
－４つのデフォルトＤＭ候補（ＰＬＡＮＡＲモード、ＤＣモード、垂直モードおよび水平モード）がＤＭ候補リストに含まれていない場合、含まれていないデフォルトＤＭ候補で、リストに既に含まれているＤＭ候補を代替
【0181】
クロマブロックのイントラ予測モードのシグナリングの概要
【0182】
クロマブロックのイントラ予測モードは、合計８つのイントラ予測モードを用いて符号化できる。上記８つのイントラ予測モードは、従来の５つのイントラ予測モードおよびＣＣＬＭ（Cross-Component Linear Model mode）モードを含むことができる。
【0183】
ＣＣＬＭが利用可能であるか否かは、上位レベルでシグナリングされる情報（例えば、シーケンスレベルで伝送されるｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて判断できる。表３は、ＣＣＬＭが利用可能でない場合（ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝０）の現クロマブロックのイントラ予測モード導出のためのマッピングテーブルを示す。
【0184】
【表3】
【0185】
表３に示すように、クロマブロックのイントラ予測モードは、イントラクロマ予測モード情報（ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）および／または対応ルマブロックのイントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅＹ）に基づいて導出されることができる。対応ルマブロックのイントラ予測モードは、現ブロックまたはクロマブロックの中央右下側サンプル（中心位置）をカバーするルマブロックのイントラ予測モードと決定されることができる。上記中央右下側サンプルの位置は、（ｘＣｂ＋ｃｂＷｉｄｔｈ／２、ｙＣｂ＋ｃｂＨｅｉｇｈｔ／２）で導出され、このとき、（ｘＣｂ、ｙＣｂ）は、対応ルマブロックの左上端サンプル（top-left sample）の座標を意味し、ｃｂＷｉｄｔｈおよびｃｂＨｅｉｇｈｔは、それぞれ対応ルマブロックの幅および高さを意味する。例えば、表４において、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが０であれば、クロマブロックのイントラ予測モードは０（平面モード）と決定され、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが１であれば、クロマブロックのイントラ予測モードは５０（垂直モード）と決定されることができる。また、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが２であれば、クロマブロックのイントラ予測モードは１８（水平モード）と決定され、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが３であれば、クロマブロックのイントラ予測モードは１（ＤＣモード）と決定されることができる。また、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが４であれば、クロマブロックのイントラ予測モードは、対応ルマブロックのイントラ予測モードと同じ値に決定されることができる。つまり、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが４であることは、クロマブロックのイントラ予測モードがＤＭで導出されることを示す。表３に基づいて導出されるクロマブロックのイントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅＣ［ｘＣｂ］［ｙＣｂ］）のインデックスは、上記表２に示したイントラ予測モードのインデックスと対応することができる。
【0186】
表４によれば、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ値が０ないし３であるとき、ＩｎｔｒａＰｒｅｄＭｏｄｅＹ値に応じて、クロマブロックのイントラ予測モードが前述のイントラ予測モード（平面モード、垂直モード、水平モード、ＤＣモード）ではない６６と決定される場合がある。例えば、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ値０は平面モードを示すが、このとき、ＩｎｔｒａＰｒｅｄＭｏｄｅＹが０（平面モード）であれば、クロマブロックのイントラ予測モードは６６と決定される。しかしながら、上述したように、クロマブロックのイントラ予測モードと対応ルマブロックのイントラ予測モードとがいずれも平面モードと等しい場合、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ値は、０ではなく、ＤＭを指示する４と決定される。よって、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ値が０ないし３であるとき、クロマブロックのイントラ予測モードが６６と決定される場合は、実質的に発生しない。つまり、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが０ないし３である場合には、クロマブロックのイントラ予測モードは、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ値に基づいて、平面モード、垂直モード、水平モードおよびＤＣモードのうちのいずれか一つで導出されることができ、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが４である場合には、クロマブロックのイントラ予測モードは、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ値および対応ルマブロックのイントラ予測モードに基づいて導出されることができる。ただし、本開示は、前述した例に限定されず、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが０ないし３である場合にも、クロマブロックのイントラ予測モードがイントラクロマ予測モード情報（例えば、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）および対応ルマブロックのイントラ予測モードに基づいて導出される実施例を含むことができる。
【0187】
表４は、ＣＣＬＭが利用可能な場合（ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝１）のクロマブロックのイントラ予測モード導出のためのマッピングテーブルを示す。
【0188】
【表4】
【0189】
表４は、ＣＣＬＭが利用可能な場合であって、表３のモードに加えてさらにＣＣＬＭモードをシグナリングするためのモードを含む。表４において、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが４ないし６である場合、それぞれＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭを示すことができる。表４において、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが０ないし３および７である場合は、表３における、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが０ないし４である場合にそれぞれ対応することができる。つまり、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅが７であることは、クロマブロックのイントラ予測モードがＤＭで導出されることを示す。
【0190】
表３および表４を参照して説明したように、クロマブロックのイントラ予測モードは、イントラクロマ予測モード情報（ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）および／または対応ルマブロックのイントラ予測モードに基づいて導出されることができる。例えば、イントラクロマ予測モード情報がＤＭモードを示す場合、クロマブロックのイントラ予測モードは、対応ルマブロックのイントラ予測モードと同様に決定されることができる。
【0191】
図１６は、対応ルマブロックに基づいてクロマブロックのイントラ予測モードを導出する従来の方法を説明するフローチャートである。
【0192】
イントラ予測された現クロマブロックが入力されると（Ｓ１６１０）、対応するルマブロックのイントラルマ予測モードを取得することができる（Ｓ１６２０）。イントラルマ予測モードは、例えば、前述したように、対応ルマブロック内の所定の位置（中心位置）から取得されることができる。イントラルマ予測モードが取得された後、ビットストリームから取得されたイントラクロマ予測モード情報および／またはイントラルマ予測モードに基づいて表３または表４を参照することにより、現クロマブロックのイントラ予測モードが導出されることができる（Ｓ１６３０）。その後、導出されたイントラクロマ予測モードを用いて現クロマブロックに対するイントラ予測を行うことにより、現クロマブロックの予測ブロックを生成することができる（Ｓ１６４０）。
【0193】
ステップＳ１６３０において、イントラクロマ予測モード情報がＤＭを示す場合、現クロマブロックのイントラ予測モードは、対応ルマブロックのイントラルマ予測モードと同一の値として導出されることができる。イントラクロマ予測モード情報がＤＭモード以外のモードを示す場合、現クロマブロックのイントラ予測モードは、イントラクロマ予測モード情報に基づいて平面モード、ＤＣモード、垂直モード、水平モードおよびＣＣＬＭモードのうちのいずれか一つで導出されることができる。
【0194】
しかしながら、図１６を参照して説明した従来の方法は、対応ルマブロックのイントラルマ予測モードが存在しない場合について考慮していない。例えば、前述したように、一つのＣＴＵ内のルマブロックおよびクロマブロックは、同じブロックツリー構造（ＳＩＮＧＬＥ＿ＴＲＥＥ）に分割されるか、または個別ブロックツリー構造（ＤＵＡＬ＿ＴＲＥＥ）に分割されることができるが、デュアルツリーの場合、ルマブロックとこれに対応するクロマブロックとは、同一の予測モードで符号化されてもよく、異なる予測モードで符号化されてもよい。つまり、イントラ予測されたクロマブロックに対応するルマブロックは、イントラ予測されてもよく、他の予測モードで符号化されてもよい。対応するルマブロックがイントラ予測されていない場合、ステップＳ１６２０で対応ルマブロックのイントラルマ予測モードを取得することができず、それにより例えばＤＭモードでイントラ予測されたクロマブロックのイントラ予測モードを導出することができないという問題が発生することができる。
【0195】
以下、上記従来の方法による問題点を解決するための本開示の実施例を説明する。
【0196】
図１７は、対応ルマブロックに基づいてクロマブロックのイントラ予測モードを導出する本開示の一実施例を説明するフローチャートである。
【0197】
図１７に示された本開示の一実施例によれば、対応ルマブロックのイントラ予測モードが利用可能でない場合、デフォルトイントラ予測モードを使用することにより、前述した従来の方法の問題点を解決することができる。
【0198】
図１７を参照すると、まず、イントラ予測された現クロマブロックが入力される（Ｓ１７１０）。その後、現クロマブロックのイントラ予測モードを導出するために必要な対応ルマブロックのイントラルマ予測モードが利用可能であるか否かが判断できる（Ｓ１７２０）。前述したように、対応ルマブロックのイントラルマ予測モードは、対応ルマブロックの所定の位置（例えば、中心位置）から取得されることができる。したがって、ステップＳ１７２０の判断は、対応ルマブロックの上記所定の位置の予測モードを確認することにより行われることができる。例えば、対応ルマブロックの上記所定の位置の予測モードがイントラモードである場合、イントラルマ予測モードは利用可能であると判断することができる。あるいは、対応ルマブロックの上記所定の位置の予測モードがイントラモード以外のモード（例えば、ＩＢＣモード）である場合、イントラルマ予測モードは利用可能でないと判断されることができる。他の例として、ステップＳ１７２０の判断は、対応ルマブロックの上記所定の位置がイントラルマ予測モードを有するか否かに基づいて判断されることもできる。
【0199】
ステップＳ１７２０で、イントラルマ予測モードが利用可能であると判断される場合、ステップＳ１７３０、Ｓ１７４０およびＳ１７６０が順次行われることができる。ステップＳ１７３０、Ｓ１７４０およびＳ１７６０は、図１６のステップＳ１６２０、Ｓ１６３０およびＳ１６４０にそれぞれ対応し、具体的な説明は省略する。
【0200】
ステップＳ１７２０で、イントラルマ予測モードが利用可能でないと判断される場合、デフォルトイントラ予測モードが使用されることができる。つまり、現クロマブロックのイントラ予測モードは、イントラクロマ予測モード情報および／またはデフォルトイントラ予測モードに基づいて導出できる（Ｓ１７５０）。このとき、利用可能でないイントラルマ予測モードの代わりに、デフォルトイントラ予測モードが使用されることができる。一例として、イントラクロマ予測モード情報がＤＭを示す場合、現クロマブロックのイントラ予測モードは、デフォルトイントラ予測モードで導出されることができる。また、イントラクロマ予測モード情報がＤＭモード以外のモードを示す場合、現クロマブロックのイントラ予測モードは、イントラクロマ予測モード情報に基づいて平面モード、ＤＣモード、垂直モード、水平モードおよびＣＣＬＭモードのうちのいずれか一つで導出されることができる。以後、導出されたイントラクロマ予測モードを用いて現クロマブロックに対するイントラ予測を行うことにより、現クロマブロックの予測ブロックを生成することができる（Ｓ１７６０）。
【0201】
ステップＳ１７５０で、デフォルトイントラ予測モードとしてＤＣモードまたはＰｌａｎａｒモードが使用されることができる。しかしながら、これに限定されず、デフォルトイントラ予測モードとして、既に定義された所定のイントラ予測モード、またはビットストリームを介してシグナリングされるイントラ予測モードが使用されてもよい。
【0202】
図１８は、対応ルマブロックに基づいてクロマブロックのイントラ予測モードを導出する本開示の他の実施例を説明するフローチャートである。
【0203】
図１８に示された実施例によれば、対応ルマブロックのイントラ予測モードが利用可能でない場合、デフォルトイントラ予測モードを使用することにより、前述した従来の方法の問題点を解決することができる。また、図１８に示された実施例によれば、対応ルマブロックのイントラ予測モードが利用可能であるか否かの判断は、現ブロックのツリー構造がデュアルツリーである場合にのみ行う。
【0204】
図１８を参照すると、まず、イントラ予測された現クロマブロックが入力される（Ｓ１８１０）。その後、現ブロックのツリー構造がデュアルツリー構造であるか否かを判断する（Ｓ１８１５）。現ブロックのツリー構造がデュアルツリー構造ではない場合、すなわち、シングルツリー構造である場合、クロマブロックおよび対応ルマブロックは、同様にイントラ予測されたものと見做すことができるので、対応ルマブロックのイントラルマ予測モードは、利用可能であると判断されることができる。したがって、この場合、ステップＳ１８２０の判断は、スキップされることができる。言い換えれば、現ブロックのツリー構造がシングルツリー構造である場合、直ちにステップＳ１８３０、Ｓ１８４０およびＳ１８６０のステップを順次行って現クロマブロックの予測ブロックを生成することができる。
【0205】
ステップＳ１８１５で、現ブロックのツリー構造がデュアルツリー構造である場合、ステップＳ１８２０の判断が行われることができ、ステップＳ１８２０の判断結果に基づく処理は、図１７を参照して説明したのと同様なので、反復的な説明は省略する。つまり、ステップＳ１８２０ないしＳ１８６０は、図１７のステップＳ１７２０ないしＳ１７６０のそれぞれに対応することができる。
【0206】
【0207】
図１９は、対応ルマブロックに基づいてクロマブロックのイントラ予測モードを導出する本開示の他の実施例を説明するフローチャートである。
【0208】
図１９に示された実施例によれば、対応ルマブロックのイントラ予測モードが利用可能でない場合、デフォルトイントラ予測モードを使用することにより、前述した従来の方法の問題点を解決することができる。また、図１９に示された実施例によれば、対応ルマブロックのイントラ予測モードが利用可能であるか否かの判断は、現ブロックのツリー構造がデュアルツリーであり、ＩＢＣが許容される場合にのみ行う。
【0209】
図１９を参照すると、まず、イントラ予測された現クロマブロックが入力される（Ｓ１９１０）。その後、現ブロックのツリー構造がデュアルツリー構造であるか否かを判断する（Ｓ１９１５）。現ブロックのツリー構造がデュアルツリー構造ではない場合、すなわち、シングルツリー構造である場合、図１８を参照して説明したように、対応ルマブロックのイントラルマ予測モードは利用可能であると見做すことができるので、ステップＳ１９１７およびステップＳ１９２０の判断は、スキップされることができる。よって、シングルツリー構造の場合、直ちにステップＳ１９３０、Ｓ１９４０およびＳ１９６０のステップを順次行うことにより、現クロマブロックの予測ブロックを生成することができる。
【0210】
ステップＳ１９１５で、現ブロックのツリー構造がデュアルツリー構造である場合、ＩＢＣが許容されるか否かが判断できる（Ｓ１９１７）。ＩＢＣが許容されるか否かは、現ブロックの上位レベル（例えば、シーケンス）でシグナリングされる情報（例えば、ｓｐｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて判断されることができる。例えば、ｓｐｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であれば、ＩＢＣは許容されると判断されることができ、ｓｐｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０であれば、ＩＢＣは許容されないと判断されることができる。
【0211】
前述したように、ＰおよびＢスライス／タイルグループに対してシングルツリーのみが許容され、Ｉスライス／タイルグループに対してシングルツリーおよびデュアルツリーの両方ともが許容されることができる。したがって、現ブロックのツリー構造がデュアルツリー構造であれば、現ブロックは、Ｉスライス／タイルグループに属する。Ｉスライス／タイルグループに含まれるブロックに対する予測がイントラ予測およびＩＢＣ予測に制限されると仮定したときに、現ブロックは、イントラ予測またはＩＢＣ予測のうちのいずれか一つで予測されることができる。よって、ＩＢＣが許容されない場合には、現ブロックは、イントラ予測されると判断されることができる。つまり、ステップＳ１９１７でＩＢＣが許容されないと判断されると、対応ルマブロックはイントラ予測されたと見做すことができるので、ステップＳ１９２０の判断はスキップされ、直ちにステップＳ１９３０、Ｓ１９４０およびＳ１９６０のステップが行われることができる。ステップＳ１９１７でＩＢＣが許容されると判断されると、対応ルマブロックは、イントラ予測またはＩＢＣ予測されることができるので、この場合、ステップＳ１９２０の判断が行われることができる。ステップＳ１９２０の判断結果に基づく処理は、図１７を参照して説明したのと同様なので、反復的な説明は省略する。すなわち、ステップＳ１９２０ないしＳ１９６０は、図１７のステップＳ１７２０ないしＳ１７６０のそれぞれに対応することができる。
【0212】
図１９に示された例において、Ｉスライス／タイルグループに属するブロックに対しては、イントラ予測またはＩＢＣ予測のみ可能であると仮定するので、ステップＳ１９１７でＩＢＣが許容されるか否かだけを判断する。しかしながら、Ｉスライス／タイルグループに属するブロックに対してイントラ予測またはＩＢＣ予測の他に、他の第３予測モードが可能な場合には、ステップＳ１９１７でＩＢＣが許容されるか否かだけでなく、第３予測モードが許容されるか否かに対する判断も行われることができる。この場合、ＩＢＣおよび第３予測モードの両方とも許容されないときにのみ、ステップＳ１９２０がスキップされることができる。つまり、ＩＢＣおよび第３予測モードのうちのいずれか一つでも許容される場合、ステップＳ１９２０およびそれによる後続処理が前述のように行われることができる。
【0213】
【0214】
図１８および図１９の変形例として、現ブロックのツリー構造がデュアルツリー構造であるか否かの判断に先行して、現ブロックのスライス／タイルグループのタイプが判断されることができる。現ブロックのスライス／タイルグループのタイプがＰまたはＢスライス／タイルグループである場合、現ブロックのツリー構造はシングルツリー構造と決定されるので、現ブロックのツリー構造がデュアルツリー構造であるか否かの判断（Ｓ１８１５またはＳ１９１５）が行われる必要がない。したがって、ＰまたはＢスライス／タイルグループである場合、すぐに対応するイントラルマ予測モードを取得した後、これに基づいてイントラクロマ予測モードを導出することができる。また、現ブロックのスライス／タイルグループのタイプがＩスライス／タイルグループである場合、現ブロックのツリー構造はシングルツリー構造またはデュアルツリー構造であり得るので、Ｓ１８１５またはＳ１９１５を含んで図１８および図１９のステップが行われることができる。
【0215】
図２０は、対応するブロックに基づいて現ブロックのイントラ予測モードを導出する本開示の一実施例を説明するフローチャートである。
【0216】
まず、符号化／復号の対象である現ブロックが入力されることができる（Ｓ２０１０）。現ブロックは、イントラ予測されたブロックであって、現ブロックのイントラ予測モードは、直接シグナリングされず、対応するブロックのイントラ予測モードから導出されることができる。例えば、現ブロックは、クロマブロックであることができる。現ブロックが入力されると、現ブロックに対応する対応ブロックが特定され、対応ブロックのイントラ予測モードが利用可能であるか否かが判断されることができる（Ｓ２０２０）。例えば、対応ブロックは、クロマブロックに対応する対応ルマブロックであることができる。ステップＳ２０２０は、対応ブロックがイントラ予測されたか否かの判断に基づいて行われることができる。あるいは、対応ブロックの予測モードがイントラモード以外のモード（例えば、ＩＢＣモード）であるか否かの判断に基づいて行われることもできる。あるいは、ステップＳ２０２０は、対応ブロックがイントラ予測モードを有するか否かの判断に基づいて行われることができる。例えば、対応ブロックがイントラ予測されたか、またはイントラ予測モードを持つ場合、対応ブロックのイントラ予測モードは、利用可能であると判断されることができる。そうではなく、対応ブロックがイントラモード以外のモードと予測されたか、またはイントラ予測モードを有しない場合、対応ブロックのイントラ予測モードは、利用可能ではないと判断されることができる。あるいは、前述したように、ステップＳ２０２０は、現ブロックが含まれているスライス／タイルグループのタイプについての判断、現ブロックのツリー構造についての判断、ならびに現ブロックに対してイントラ予測の他にＩＢＣもしくは第３予測モードが許容されるかについての判断のうちの少なくとも一つを含むこともできる。
【0217】
上記において、現ブロックおよび対応ブロックは、クロマブロックおよび対応ルマブロックであると例示されているが、これに限定されない。例えば、現ブロックがルマブロックであり、対応ブロックが対応クロマブロックであってもよい。あるいは、現ブロックが第１色成分ブロックであり、対応ブロックが第２色成分ブロックであってもよい。このとき、第１色成分は、例えばルマ成分および複数のクロマ成分のうちのいずれか一つであり、第２色成分は、第１色成分とは異なる色成分であってもよい。例えば、第１色成分ブロックは第１クロマ成分ブロックであり、第２色成分ブロックは第２クロマ成分ブロックであってもよい。
【0218】
再び図２０を参照して、ステップＳ２０２０で、対応ブロックのイントラ予測モードが利用可能であれば、対応ブロックのイントラ予測モードが取得され（Ｓ２０３０）、対応ブロックのイントラ予測モードに基づいて現ブロックのイントラ予測モードが導出されることができる（Ｓ２０４０）。ステップＳ２０２０で、対応ブロックのイントラ予測モードが利用可能でなければ、デフォルトイントラ予測モードが決定され（Ｓ２０５０）、デフォルトイントラ予測モードに基づいて現ブロックのイントラ予測モードが導出されることができる（Ｓ２０６０）。ステップＳ２０５０のデフォルトイントラ予測モードとしてＤＣモードまたはＰｌａｎａｒモードが使用されることができる。しかしながら、これに限定されず、デフォルトイントラ予測モードとして、既に定義された所定のイントラ予測モード、またはビットストリームを介してシグナリングされるイントラ予測モードが使用されてもよい。
【0219】
本開示によれば、現ブロックのイントラ予測モードを対応ブロックのイントラ予測モードから導出する場合において、対応ブロックのイントラ予測モードが存在しない場合には、デフォルトイントラ予測モードに基づいて現ブロックのイントラ予測モードを導出することができるので、対応ブロックのイントラ予測モードが存在しない場合にも、現ブロックに対するイントラ予測が効果的に行われることができる。
【0220】
図２１は、対応ルマブロックに基づいてクロマブロックのイントラ予測モードを導出し、クロマブロックを符号化する本開示の他の実施例を説明するフローチャートである。
【0221】
【0222】
図２１を参照すると、まず、現クロマブロックが入力される（Ｓ２１１０）。現クロマブロックに対してイントラ予測を行うために、画像符号化装置は、現クロマブロックのイントラ予測モードを決定することができる。画像符号化装置は、現クロマブロックに適用可能なイントラ予測モードのうちの全部または少なくとも一部に対してイントラ予測を行い、最適なモードを現クロマブロックのイントラ予測モードとして決定することができる。したがって、画像符号化装置は、現クロマブロックにＤＭモードを適用するか否かを判断する必要があり、このために対応するルマブロックのイントラ予測モードを取得する必要がある。しかしながら、対応ルマブロックのイントラ予測モードが利用可能でないこともあるので、画像符号化装置は、対応ルマブロックのイントラルマ予測モードが利用可能であるか否かをまず判断することができる（Ｓ２１２０）。ステップＳ２１２０の判断は、ステップＳ１７２０の判断と実質的に同様なので、反復的な説明は省略する。あるいは、前述したように、ステップＳ２１２０は、現ブロックが含まれているスライス／タイルグループのタイプについての判断、現ブロックのツリー構造についての判断、ならびに現ブロックに対してイントラ予測の他にＩＢＣもしくは第３予測モードが許容されるかについての判断のうちの少なくとも一つを含むこともできる。
【0223】
ステップＳ２１２０で、イントラルマ予測モードが利用可能であると判断される場合、画像符号化装置は、対応ルマブロックの所定の位置からイントラルマ予測モードを取得し（Ｓ２１３０）、イントラルマ予測モード含んで現クロマブロックのイントラ予測モードを導出することができる（Ｓ２１４０）。例えば、画像符号化装置は、イントラルマ予測モードを含んで現クロマブロックに適用可能な一つまたは複数のイントラ予測モードのうちのいずれか一つのイントラ予測モードを、前述したＲＤ－ｃｏｓｔの比較によって選択することができる。しかしながら、画像符号化装置が現クロマブロックのイントラ予測モードを選択する方法は、上記の例に限定されない。現クロマブロックのイントラ予測モードが導出されると、導出されたイントラ予測モードに基づいて現クロマブロックに対してイントラ予測を行い、予測ブロックを生成することができる。また、イントラルマ予測モードに基づいて現クロマブロックのイントラ予測モードを符号化することができる（Ｓ２１６０）。例えば、イントラルマ予測モードが現クロマブロックのイントラ予測モードとして決定される場合、イントラクロマ予測モード情報は、ＤＭを示す値に符号化されることができる。
【0224】
ステップＳ２１２０で、対応ルマブロックのイントラルマ予測モードが利用可能でない場合、イントラルマ予測モードの代わりにデフォルトイントラ予測モードを用いて現クロマブロックのイントラ予測モードを導出することができる（Ｓ２１５０）。現クロマブロックのイントラ予測モードが導出されると、導出されたイントラ予測モードに基づいて現クロマブロックに対してイントラ予測を行い、予測ブロックを生成することができる。また、デフォルトイントラ予測モードに基づいて現クロマブロックのイントラ予測モードを符号化することができる（Ｓ２１６０）。
【0225】
ステップＳ２１５０で、デフォルトイントラ予測モードとしてＤＣモードまたはＰｌａｎａｒモードが使用されることができる。しかしながら、これに限定されず、デフォルトイントラ予測モードとして、既に定義された所定のイントラ予測モードを使用するか、または画像符号化装置でデフォルトイントラ予測モードが決定され、決定されたデフォルトイントラ予測モードに関する情報がビットストリームを介してシグナリングされることもできる。
【0226】
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時にまたは異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、または一部のステップを除いて追加の他のステップを含むこともできる。
【0227】
本開示において、所定の動作（ステップ）を行う画像符号化装置または画像復号装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置または画像復号装置は、上記所定の条件が満足されるか否かを確認する動作を行った後、上記所定の動作を行うことができる。
【0228】
本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。
【0229】
また、本開示の様々な実施例は、ハードウェア、ファームウェア（firmware）、ソフトウェア、またはそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つまたは複数のＡＳＩＣｓ（Application Specific Integrated Circuits）、ＤＳＰｓ（Digital Signal Processors）、ＤＳＰＤｓ（Digital Signal Processing Devices）、ＰＬＤｓ（Programmable Logic Devices）、ＦＰＧＡｓ（Field Programmable Gate Arrays）、汎用プロセッサ（general processor）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【0230】
また、本開示の実施例が適用された画像復号装置および画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、ビデオオンデマンド（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Over the top video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、および医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使用されることができる。例えば、ＯＴＴビデオ（Over the top video）装置としては、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recorder）などを含むことができる。
【0231】
図２２は、本開示の実施例が適用されることができるコンテンツストリーミングシステムを例示する図である。
【0232】
図２２に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、概して、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置およびマルチメディア入力装置を含むことができる。
【0233】
上記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを上記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、上記符号化サーバは省略できる。
【0234】
上記ビットストリームは、本開示の実施例が適用された画像符号化方法および／または画像符号化装置によって生成でき、上記ストリーミングサーバは、上記ビットストリームを伝送または受信する過程で一時的に上記ビットストリームを記憶することができる。
【0235】
上記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、上記Ｗｅｂサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが上記Ｗｅｂサーバに所望のサービスを要求すると、上記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、上記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。このとき、上記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、上記制御サーバは、上記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。
【0236】
上記ストリーミングサーバは、メディアストレージおよび／または符号化サーバからコンテンツを受信することができる。例えば、上記符号化サーバからコンテンツを受信する場合、上記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、上記ストリーミングサーバは、上記ビットストリームを一定時間の間記憶することができる。
【0237】
上記ユーザ装置の例としては、携帯電話、スマートフォン（smart phone）、ノートパソコン（laptop computer）、デジタル放送用端末、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーション、スレートＰＣ（slate PC）、タブレットＰＣ（tablet PC）、ウルトラブック（ULTRABOOK（登録商標））、ウェアラブルデバイス（wearable device、例えば、スマートウォッチ（smartwatch）、スマートグラス（smart glass）、ＨＭＤ（Head Mounted Display））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
【0238】
上記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運用されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
【0239】
本開示の範囲は、様々な実施例の方法による動作が装置もしくはコンピュータ上で実行されるようにするソフトウェアもしくはマシン実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（firmware）、プログラムなど）、ならびにこのようなソフトウェアもしくはコマンドなどが記憶されて装置もしくはコンピュータ上で実行できる、非一時的なコンピュータ読み取り可能媒体（non-transitory computer-readable medium）を含む。
【産業上の利用可能性】
【0240】
本開示による実施例は、画像を符号化／復号するのに利用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
