(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024050708
(43)【公開日】2024-04-10
(54)【発明の名称】イントラ予測を用いた画像符号化/復号化方法及び装置
(51)【国際特許分類】
H04N 19/11 20140101AFI20240403BHJP
H04N 19/157 20140101ALI20240403BHJP
H04N 19/176 20140101ALI20240403BHJP
H04N 19/46 20140101ALI20240403BHJP
【FI】
H04N19/11
H04N19/157
H04N19/176
H04N19/46
【審査請求】有
【請求項の数】8
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024010892
(22)【出願日】2024-01-29
(62)【分割の表示】P 2021537422の分割
【原出願日】2019-09-06
(31)【優先権主張番号】10-2018-0107250
(32)【優先日】2018-09-07
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2018-0110815
(32)【優先日】2018-09-17
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2018-0112528
(32)【優先日】2018-09-19
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】521096049
【氏名又は名称】ビー1、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド
【氏名又は名称原語表記】B1 INSTITUTE OF IMAGE TECHNOLOGY, INC.
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100118843
【弁理士】
【氏名又は名称】赤岡 明
(74)【代理人】
【識別番号】100217940
【弁理士】
【氏名又は名称】三並 大悟
(72)【発明者】
【氏名】キム、ギベク
(57)【要約】 (修正有)
【課題】現在ブロックのイントラ予測のためのイントラ予測モード誘導方法及び装置を提供する。
【解決手段】方法は、現在ブロックのイントラ予測のための参照領域を決定するステップと、所定のMPM候補群に基づいて、現在ブロックのイントラ予測モードを誘導するステップと、参照領域とイントラ予測モードに基づいて、現在ブロックに対してイントラ予測を行うステップとを含む。MPM候補群は、第1グループと第2グループに区分され、第1グループは、復号化装置に既に定義されたデフォルトモードを含み、第2グループは、現在ブロックに隣接する隣接ブロックのイントラ予測モードを含み、現在ブロックのイントラ予測モードは、第1グループ又は第2グループのうちのいずれかを選択的に用いて誘導される。
【選択図】
図6
【特許請求の範囲】
【請求項1】
現在ブロックのイントラ予測のための参照領域を決定するステップと、
所定のMPM候補群に基づいて、前記現在ブロックのイントラ予測モードを誘導するステップと、
前記参照領域と前記イントラ予測モードに基づいて、前記現在ブロックに対してイントラ予測を行うステップとを含み、
前記MPM候補群は、第1グループと第2グループに区分され、
前記第1グループは、復号化装置に既に定義されたデフォルトモードを含み、前記第2グループは、前記現在ブロックに隣接する隣接ブロックのイントラ予測モードを含み、
前記現在ブロックのイントラ予測モードは、前記第1グループ又は前記第2グループのうちのいずれかを選択的に用いて誘導される、画像復号化方法。
【請求項2】
前記参照領域を決定するステップは、
復号化装置に既に定義された複数の画素ラインのうちのいずれかを選択するステップと、
前記選択された画素ラインを前記参照領域として決定するステップとを含み、
前記既に定義された複数の画素ラインは、前記現在ブロックに隣接する第1画素ライン、前記第1画素ラインに隣接する第2画素ライン、前記第2画素ラインに隣接する第3画素ライン、又は前記第3画素ラインに隣接する第4画素ラインのうちの少なくとも一つを含む、請求項1に記載の画像復号化方法。
【請求項3】
前記デフォルトモードは、非方向性モードのみで構成され、
前記非方向性モードは、Planarモード又はDCモードのうちの少なくとも一つを含む、請求項1に記載の画像復号化方法。
【請求項4】
前記第2グループは、前記隣接ブロックのイントラ予測モードにN値を加算又は減算して誘導されたモードをさらに含み、
前記N値は、1、2又は3である、請求項3に記載の画像復号化方法。
【請求項5】
ビットストリームから第1フラグを取得するステップをさらに含み、
前記第1フラグは、前記現在ブロックのイントラ予測モードが前記第1グループから誘導されるか否かを示し、
前記第1フラグの値が第1値である場合、前記現在ブロックのイントラ予測モードは、前記第1グループに属するMPMに設定され、
前記第1フラグの値が第2値である場合、前記現在ブロックのイントラ予測モードは、前記第2グループ及びMPMインデックスに基づいて誘導される、請求項2に記載の画像復号化方法。
【請求項6】
前記第1フラグは、前記現在ブロックの参照領域が前記第1画素ラインである場合に限ってシグナリングされる、請求項5に記載の画像復号化方法。
【請求項7】
前記現在ブロックを複数のサブブロックに分割するステップをさらに含み、
前記イントラ予測は、前記サブブロックの単位で行われ、
前記サブブロックの個数は、前記現在ブロックの大きさ又は形状に基づいて可変的に決定される、請求項1に記載の画像復号化方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像符号化/復号化方法及び装置に関する。
【背景技術】
【0002】
最近、高解像度・高品質の画像、例えばHD(High Definition)画像やUHD(Ultra High Definition)画像などに対する需要が様々な応用分野で増加しており、これにより高効率の画像圧縮技術が議論されている。
【0003】
画像圧縮技術として、現在ピクチャの以前又は以後ピクチャから現在ピクチャに含まれている画素値を予測するインター予測技術、現在ピクチャ内の画素情報を用いて、現在ピクチャに含まれている画素値を予測するイントラ予測技術、出現頻度の高い値に短い符号を割り当て、出現頻度の低い値に長い符号を割り当てるエントロピー符号化技術などの様々な技術が存在し、これらの画像圧縮技術を利用して画像データを効果的に圧縮して伝送又は格納することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、イントラ予測モード誘導方法及び装置を提供することを目的とする。
【0005】
本発明は、成分のタイプによるイントラ予測方法及び装置を提供することを目的とする
【0006】
本発明は、イントラ予測のためのブロック分割方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の画像符号化/復号化方法及び装置は、現在ブロックのイントラ予測のための参照領域を決定し、所定のMPM候補群に基づいて、前記現在ブロックのイントラ予測モードを誘導し、前記参照領域と前記イントラ予測モードに基づいて、前記現在ブロックに対してイントラ予測を行うことができる。
【0008】
本発明の画像符号化/復号化方法及び装置において、前記MPM候補群は、第1グループと第2グループに区分され、前記第1グループは、復号化装置に既に定義されたデフォルトモードを含み、前記第2グループは、前記現在ブロックに隣接する隣接ブロックのイントラ予測モードを含むことができる。
【0009】
本発明の画像符号化/復号化方法及び装置において、前記現在ブロックのイントラ予測モードは、前記第1グループ又は前記第2グループのうちのいずれかを選択的に用いて誘導できる。
【0010】
本発明の画像符号化/復号化方法及び装置において、前記参照領域を決定するステップは、復号化装置に既に定義された複数の画素ラインのうちのいずれかを選択するステップと、前記選択された画素ラインを前記参照領域として決定するステップとを含むことができる。
【0011】
本発明の画像符号化/復号化方法及び装置において、前記既に定義された複数の画素ラインは、前記現在ブロックに隣接する第1画素ライン、前記第1画素ラインに隣接する第2画素ライン、前記第2画素ラインに隣接する第3画素ライン、又は前記第3画素ラインに隣接する第4画素ラインのうちの少なくとも一つを含むことができる。
【0012】
本発明の画像符号化/復号化方法及び装置において、前記デフォルトモードは、非方向性モードのみで構成され、前記非方向性モードは、Planarモード又はDCモードのうちの少なくとも一つを含むことができる。
【0013】
本発明の画像符号化/復号化方法及び装置において、前記第2グループは、前記隣接ブロックのイントラ予測モードにN値を加算又は減算して誘導されたモードをさらに含み、前記N値は、1、2又は3であることができる。
【0014】
本発明の画像符号化/復号化方法及び装置は、ビットストリームから第1フラグを取得することができ、前記第1フラグは、前記現在ブロックのイントラ予測モードが前記第1グループから誘導されるか否かを示すことができる。
【0015】
本発明の画像符号化/復号化方法及び装置において、前記第1フラグの値が第1値である場合、前記現在ブロックのイントラ予測モードは、前記第1グループに属するMPMに設定され、前記第1フラグの値が第2値である場合、前記現在ブロックのイントラ予測モードは、前記第2グループ及びMPMインデックスに基づいて誘導され得る。
【0016】
本発明の画像符号化/復号化方法及び装置において、前記第1フラグは、前記現在ブロックの参照領域が前記第1画素ラインである場合に限ってシグナリングできる。
【0017】
本発明の画像符号化/復号化方法及び装置は、現在ブロックのイントラ予測モードを決定し、前記決定されたイントラ予測モードに基づいて現在ブロックに対してイントラ予測を行うことができる。
【0018】
本発明の画像符号化/復号化方法及び装置において、前記現在ブロックのイントラ予測モードは、輝度ブロックと色差ブロックに対してそれぞれ誘導できる。
【0019】
本発明の画像符号化/復号化方法及び装置において、輝度ブロックのイントラ予測モードは、MPMリスト及びMPMインデックスに基づいて誘導され、前記MPMリストは、隣接ブロックのイントラ予測モード(ModeA)、(ModeA+n)、(ModeA-n)又はデフォルトモードのうちの少なくとも一つを含むことができる。
【0020】
本発明の画像符号化/復号化方法及び装置は、色差ブロックの成分間参照のための輝度領域を特定し、前記輝度領域に対してダウンサンプリングを行い、前記色差ブロックの成分間参照のためのパラメータを誘導し、前記ダウンサンプリングされた輝度ブロックと前記パラメータに基づいて、前記色差ブロックを予測することができる。
【0021】
本発明の画像符号化/復号化方法及び装置において、前記現在ブロックを複数のサブブロックに分割され、前記分割は、前記現在ブロックの大きさ又は形状のうちの少なくとも一つに基づいて行われ得る。
【発明の効果】
【0022】
本発明によれば、MPM候補群に基づくイントラ予測モードの誘導を介してより正確かつ効率的に予測を行うことができる。
【0023】
本発明によれば、成分間参照に基づいて画面間予測の効率を向上させることができる。
【0024】
本発明は、適応的なブロック分割によってイントラ予測符号化/復号化の効率を向上させることができる。
【図面の簡単な説明】
【0025】
【
図1】本発明の一実施形態による画像符号化装置を示すブロック図である。
【
図2】本発明の一実施形態による画像復号化装置を示すブロック図である。
【
図3】本発明が適用される一実施形態として、ブロック分割タイプを示す図である。
【
図4】本発明が適用される一実施形態として、ツリー構造に基づくブロック分割方法を示す図である。
【
図5】画像符号化/復号化装置に既に定義されたイントラ予測モードを示す例示図である。
【
図6】本発明が適用される一実施形態として、イントラ予測方法を示す図である。
【
図7】本発明が適用される一実施形態として、サブブロック単位のイントラ予測方法を示す図である。
【
図8】本発明が適用される一実施形態として、成分間参照に基づく予測方法を示す図である。
【
図9】本発明が適用される一実施形態として、予測方法選択情報に基づいて予測方法を決定する方法を示す図である。
【
図10】本発明が適用される一実施形態として、予測方法選択情報に基づいて予測方法を決定する方法を示す図である。
【
図11】本発明が適用される一実施形態として、予測方法選択情報に基づいて予測方法を決定する方法を示す図である。
【
図12】本発明が適用される一実施形態として、予測方法選択情報に基づいて予測方法を決定する方法を示す図である。
【発明を実施するための形態】
【0026】
本発明の画像符号化/復号化方法及び装置は、現在ブロックのイントラ予測のための参照領域を決定し、所定のMPM候補群に基づいて、前記現在ブロックのイントラ予測モードを誘導し、前記参照領域と前記イントラ予測モードに基づいて、前記現在ブロックに対してイントラ予測を行うことができる。
【0027】
本発明の画像符号化/復号化方法及び装置において、前記MPM候補群は、第1グループと第2グループに区分され、前記第1グループは、復号化装置に既に定義されたデフォルトモードを含み、前記第2グループは、前記現在ブロックに隣接する隣接ブロックのイントラ予測モードを含むことができる。
【0028】
本発明の画像符号化/復号化方法及び装置において、前記現在ブロックのイントラ予測モードは、前記第1グループ又は前記第2グループのうちのいずれかを選択的に用いて誘導できる。
【0029】
本発明の画像符号化/復号化方法及び装置において、前記参照領域を決定するステップは、復号化装置に既に定義された複数の画素ラインのうちのいずれかを選択するステップと、前記選択された画素ラインを前記参照領域として決定するステップとを含むことができる。
【0030】
本発明の画像符号化/復号化方法及び装置において、前記既に定義された複数の画素ラインは、前記現在ブロックに隣接する第1画素ライン、前記第1画素ラインに隣接する第2画素ライン、前記第2画素ラインに隣接する第3画素ライン、又は前記第3画素ラインに隣接する第4画素ラインのうちの少なくとも一つを含むことができる。
【0031】
本発明の画像符号化/復号化方法及び装置において、前記デフォルトモードは、非方向性モードのみで構成され、前記非方向性モードは、Planarモード又はDCモードのうちの少なくとも一つを含むことができる。
【0032】
本発明の画像符号化/復号化方法及び装置において、前記第2グループは、前記隣接ブロックのイントラ予測モードにN値を加算又は減算して誘導されたモードをさらに含み、前記N値は、1、2又は3であることができる。
【0033】
本発明の画像符号化/復号化方法及び装置は、ビットストリームから第1フラグを取得することができ、前記第1フラグは、前記現在ブロックのイントラ予測モードが前記第1グループから誘導されるか否かを示すことができる。
【0034】
本発明の画像符号化/復号化方法及び装置において、前記第1フラグの値が第1値である場合、前記現在ブロックのイントラ予測モードは、前記第1グループに属するMPMに設定され、前記第1フラグの値が第2値である場合、前記現在ブロックのイントラ予測モードは、前記第2グループ及びMPMインデックスに基づいて誘導され得る。
【0035】
本発明の画像符号化/復号化方法及び装置において、前記第1フラグは、前記現在ブロックの参照領域が前記第1画素ラインである場合に限ってシグナリングできる。
【0036】
本発明の画像符号化/復号化方法及び装置は、現在ブロックのイントラ予測モードを決定し、前記決定されたイントラ予測モードに基づいて現在ブロックに対してイントラ予測を行うことができる。
【0037】
本発明の画像符号化/復号化方法及び装置において、前記現在ブロックのイントラ予測モードは、輝度ブロックと色差ブロックに対してそれぞれ誘導できる。
【0038】
本発明の画像符号化/復号化方法及び装置において、輝度ブロックのイントラ予測モードは、MPMリスト及びMPMインデックスに基づいて誘導され、前記MPMリストは、隣接ブロックのイントラ予測モード(ModeA)、(ModeA+n)、(ModeA-n)又はデフォルトモードのうちの少なくとも一つを含むことができる。
【0039】
本発明の画像符号化/復号化方法及び装置は、色差ブロックの成分間参照のための輝度領域を特定し、前記輝度領域に対してダウンサンプリングを行い、前記色差ブロックの成分間参照のためのパラメータを誘導し、前記ダウンサンプリングされた輝度ブロックと前記パラメータに基づいて、前記色差ブロックを予測することができる。
【0040】
本発明の画像符号化/復号化方法及び装置において、前記現在ブロックは、複数のサブブロックに分割され、前記分割は、前記現在ブロックの大きさ又は形状のうちの少なくとも一つに基づいて行われ得る。
【0041】
[発明の実施のための形態]
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ところが、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物乃至代替物を含むものと理解されるべきである。各図面を説明しながら、同様の参照符号を同様の構成要素に対して使用した。
【0042】
用語「第1」、「第2」などは多様な構成要素の説明に使用できるが、これらの構成要素は上記の用語によって限定されてはならない。これらの用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲から外れることなく、第1構成要素は第2構成要素と命名することができ、これと同様に、第2構成要素も第1構成要素と命名することができる。用語「及び/又は」は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。
【0043】
ある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いるとした場合には、その他の構成要素に直接連結されている或いは接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
【0044】
本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解されるべきである。
【0045】
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素についての重複説明は省略する。
【0046】
図1は本発明の一実施形態に係る画像符号化装置を示すブロック図である。
【0047】
図1を参照すると、画像符号化装置100は、ピクチャ分割部110、予測部120、125、変換部130、量子化部135、再整列部160、エントロピー符号化部165、逆量子化部140、逆変換部145、フィルタ150及びメモリ155を含むことができる。
【0048】
図1に示された各構成部は、画像符号化装置で互いに異なる特徴的な機能を示すために独立して図示したものであって、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうちの少なくとも二つの構成部が組み合わせられて一つの構成部をなすか、或いは一つの構成部が複数の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施形態及び分離された実施形態も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
【0049】
また、一部の構成要素は、本発明において本質的な機能を行う不可欠の構成要素ではなく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上のために使用される構成要素を除く、本発明の本質の実現に必要不可欠な構成部のみを含んで実現でき、単に性能向上のために使用される選択的構成要素を除く必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
【0050】
ピクチャ分割部110は、入力されたピクチャを少なくとも一つの処理単位に分割することができる。このとき、処理単位は、予測単位(Prediction Unit:PU)であってもよく、変換単位(Transform Unit:TU)であってもよく、符号化単位(Coding Unit:CU)であってもよい。ピクチャ分割部110では、一つのピクチャに対して複数の符号化単位、予測単位及び変換単位の組み合わせに分割し、所定の基準(例えば、費用関数)として一つの符号化単位、予測単位及び変換単位の組み合わせを選択してピクチャを符号化することができる。
【0051】
例えば、一つのピクチャは複数の符号化単位に分割できる。ピクチャから符号化単位を分割するためには、四分木構造(Quad Tree Structure)などの再帰的なツリー構造を使用することができるが、一つの画像又は最大大きさの符号化単位(largest coding unit)をルートにして他の符号化単位に分割される符号化ユニットは、分割された符号化単位の個数だけの子ノードをもって分割され得る。一定の制限に応じてそれ以上分割されない符号化ユニットは、リーフノードとなる。つまり、一つのコーディングユニットに対して正方形分割のみが可能であると仮定した場合、一つの符号化単位は、最大4つの異なる符号化単位に分割され得る。
【0052】
以下、本発明の実施形態では、符号化単位は、符号化を行う単位の意味で使用することもあり、復号化を行う単位の意味で使用することもある。
【0053】
予測単位は、一つの符号化単位内で同じ大きさの少なくとも一つの正方形又は長方形などの形状をもって分割されたものであってもよく、一つの符号化単位内で分割された予測単位のうちのいずれかがもう一つの予測単位とは異なる形状及び/又は大きさを有するように分割されたものであってもよい。
【0054】
符号化単位を基礎としてイントラ予測を行う予測単位を生成するときに最小符号化単位ではない場合、複数の予測単位N×Nに分割せずにイントラ予測を行うことができる。
【0055】
予測部120、125は、インター予測を行うインター予測部120と、イントラ予測を行うイントラ予測部125とを含むことができる。予測単位に対してインター予測を使用するのか或いはイントラ予測を行うのかを決定し、各予測方法による具体的な情報(例えば、イントラ予測モード、動きベクトル、参照ピクチャなど)を決定することができる。このとき、予測が行われる処理単位と、予測方法及び具体的な内容が定められる処理単位とは互いに異なり得る。例えば、予測方法と予測モードなどは予測単位で決定され、予測の実行は変換単位で行われてもよい。 生成された予測ブロックと原本ブロックとの残差値(残差ブロック)は、変換部130に入力できる。また、予測のために使用した予測モード情報、動きベクトル情報などは、残差値と一緒にエントロピー符号化部165で符号化されて復号化器に伝達され得る。特定の符号化モードを使用する場合、予測部120、125を介して予測ブロックを生成せずに、原本ブロックをそのまま符号化して復号化部に伝送することも可能である。
【0056】
インター予測部120は、現在ピクチャの以前ピクチャ又は以後ピクチャのうちの少なくとも一つのピクチャの情報に基づいて予測単位を予測することもでき、場合によっては、現在ピクチャ内の符号化が完了した一部領域の情報に基づいて予測単位を予測することもできる。インター予測部120は、参照ピクチャ補間部、動き予測部、動き補償部を含むことができる。
【0057】
参照ピクチャ補間部では、メモリ155から参照ピクチャ情報の提供を受け、参照ピクチャで整数画素以下の画素情報を生成することができる。輝度画素の場合、1/4画素単位で整数画素以下の画素情報を生成するためにフィルタ係数を異にするDCTベースの8タップ補間フィルタ(DCT-based Interpolation Filter)が使用できる。色差信号の場合、1/8画素単位で整数画素以下の画素情報を生成するためにフィルタ係数を異にするDCTベースの4タップ補間フィルタ(DCT-based Interpolation Filter)が使用できる。
【0058】
動き予測部は、参照ピクチャ補間部によって補間された参照ピクチャに基づいて動き予測を行うことができる。動きベクトルを算出するための方法として、FBMA(Full search-based Block Matching Algorithm)、TSS(Three Step Search)、NTS(New Three-Step Search Algorithm)などの様々な方法が使用できる。動きベクトルは、補間された画素に基づいて1/2又は1/4画素単位の動きベクトル値を持つことができる。動き予測部では、動き予測方法を異にして現在予測単位を予測することができる。動き予測方法として、スキップ(Skip)方法、マージ(Merge)方法、AMVP(Advanced Motion Vector Prediction)方法、イントラーブロックコピー(Intra Block Copy)方法などの様々な方法が使用できる。
【0059】
イントラ予測部125は、現在ピクチャ内の画素情報である現在ブロック周辺の参照画素情報に基づいて予測単位を生成することができる。現在予測単位の周辺ブロックがインター予測を行ったブロックであって、参照画素がインター予測を行った画素である場合、インター予測を行ったブロックに含まれる参照画素を、周辺のイントラ予測を行ったブロックの参照画素情報で代替して使用することができる。つまり、参照画素が利用可能でない場合は、利用可能でない参照画素情報を、利用可能な参照画素のうちの少なくとも一つの参照画素で代替して使用することができる。
【0060】
イントラ予測における予測モードは、参照画素情報を予測方向に応じて使用する方向性予測モードと、予測の実行時に方向性情報を使用しない非方向性モードとを有することができる。輝度情報を予測するためのモードと色差情報を予測するためのモードとが互いに異なることができ、色差情報を予測するために、輝度情報を予測するために使用されたイントラ予測モード情報又は予測された輝度信号情報を活用することができる。
【0061】
イントラ予測を行う際に予測単位の大きさと変換単位の大きさとが同じ場合には、予測単位の左側に存在する画素、左上側に存在する画素、上側に存在する画素に基づいて予測単位に対するイントラ予測を行うことができる。しかし、イントラ予測を行う際に予測単位の大きさと変換ユニットの大きさとが互いに異なる場合には、変換単位を基礎とした参照画素を用いてイントラ予測を行うことができる。また、最小符号化単位に対してのみN×N分割を使用するイントラ予測を使用することができる。
【0062】
イントラ予測方法は、予測モードに応じて参照画素にAIS(Adaptive Intra Smoothing)フィルタを適用した後、予測ブロックを生成することができる。参照画素に適用されるAISフィルタの種類は互いに異なることができる。イントラ予測方法を行うために、現在予測単位のイントラ予測モードは、現在予測単位の周辺に存在する予測単位のイントラ予測モードから予測することができる。周辺予測単位から予測されたモード情報を用いて現在予測単位の予測モードを予測する場合、現在予測単位と周辺予測単位のイントラ予測モードが同一であれば、所定のフラグ情報を用いて、現在予測単位と周辺予測単位の予測モードが同一であるという情報を伝送することができ、もし現在予測単位と周辺予測単位の予測モードが互いに異なれば、エントロピー符号化を行って現在ブロックの予測モード情報を符号化することができる。
【0063】
また、予測部120、125で生成された予測単位に基づいて予測を行った予測ブロックと予測単位の原本ブロックとの差異値である残差値(Residual)情報を含む残差ブロックが生成できる。生成された残差ブロックは、変換部130に入力できる。
【0064】
変換部130では、原本ブロックと予測部120、125を介して生成された予測単位の残差値(residual)情報を含む残差ブロックをDCT(Discrete Cosine Transform)、DST(Discrete Sine Transform)、KLTなどの変換方法を用いて変換させることができる。残差ブロックを変換するためにDCTを適用するか、DSTを適用するか、或いはKLTを適用するかは、残差ブロックを生成するために使用された予測単位のイントラ予測モード情報に基づいて決定することができる。
【0065】
量子化部135は、変換部130で周波数領域に変換された値を量子化することができる。ブロックに応じて又は画像の重要度に応じて、量子化係数は変わり得る。量子化部135で算出された値は、逆量子化部140と再整列部160に提供できる。
【0066】
再整列部160は、量子化された残差値に対して係数値の再整列を行うことができる。
【0067】
再整列部160は、係数スキャニング(Coefficient Scanning)方法によって2次元のブロック形態係数を1次元のベクトル形態に変更することができる。例えば、再整列部160では、ジグザグスキャン(Zig-Zag Scan)方法を用いてDC係数から高周波数領域の係数までスキャンして1次元のベクトル形態に変更することができる。変換単位の大きさ及びイントラ予測モードに応じて、ジグザグスキャンの代わりに、2次元のブロック形態係数を列方向にスキャンする垂直スキャン、2次元のブロック形態係数を行方向にスキャンする水平スキャンが使用されてもよい。つまり、変換単位の大きさ及びイントラ予測モードに応じて、ジグザグスキャン、垂直方向スキャン及び水平方向スキャンのうちどのスキャン方法が使用されるかを決定することができる。
【0068】
エントロピー符号化部165は、再整列部160によって算出された値に基づいてエントロピー符号化を行うことができる。エントロピー符号化は、例えば、指数ゴロム(Exponential Golomb)、CAVLC(Context-Adaptive Variable Length Coding)、CABAC(Context-Adaptive Binary Arithmetic Coding)などのさまざまな符号化方法を使用することができる。
【0069】
エントロピー符号化部165は、再整列部160及び予測部120、125から符号化単位の残差値係数情報及びブロックタイプ情報、予測モード情報、分割単位情報、予測単位情報及び伝送単位情報、動きベクトル情報、参照フレーム情報、ブロックの補間情報、フィルタリング情報などの様々な情報を符号化することができる。
【0070】
エントロピー符号化部165では、再整列部160から入力された符号化単位の係数値をエントロピー符号化することができる。
【0071】
逆量子化部140及び逆変換部145では、量子化部135で量子化された値を逆量子化し、変換部130で変換された値を逆変換する。逆量子化部140及び逆変換部145で生成された残差値(Residual)は、予測部120、125に含まれている動き推定部、動き補償部及びイントラ予測部を介して予測された予測単位と合わせられて復元ブロック(Reconstructed Block)を生成することができる。
【0072】
フィルタ部150は、デブロッキングフィルタ、オフセット補正部及びALF(Adaptive Loop Filter)のうちの少なくとも一つを含むことができる。
【0073】
デブロッキングフィルタは、復元されたピクチャにおけるブロック間の境界により生じたブロック歪みを除去することができる。デブロッキングを行うか否かを判断するために、ブロックに含まれている幾つかの列又は行に含まれている画素に基づいて、現在ブロックにデブロッキングフィルタを適用するか否かを判断することができる。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度に応じて強いフィルタ(Strong Filter)又は弱いフィルタ(Weak Filter)を適用することができる。また、デブロッキングフィルタを適用するにあたり、垂直フィルタリング及び水平フィルタリングを行う場合、水平方向のフィルタリング及び垂直方向のフィルタリングが並行処理されるようにすることができる。
【0074】
オフセット補正部は、デブロッキングを行った画像に対して画素単位で原本画像とのオフセットを補正することができる。特定のピクチャに対するオフセット補正を行うために、画像に含まれている画素を一定数の領域に区分した後、オフセットを行う領域を決定し、該当領域にオフセットを適用する方法、又は各画素のエッジ情報を考慮してオフセットを適用する方法を使用することができる。
【0075】
ALF(Adaptive Loop Filtering)は、フィルタリングした復元画像と原本画像とを比較した値に基づいて行われ得る。画像に含まれている画素を所定のグループに分けた後、該当グループに適用される一つのフィルタを決定し、グループごとに差別的にフィルタリングを行うことができる。ALFを適用するか否かに関連した情報は、輝度信号は符号化単位(Coding Unit、CU)別に伝送でき、それぞれのブロックに応じて適用されるALFフィルタの形状及びフィルタ係数は変わり得る。また、適用対象ブロックの特性を問わずに、同じ形態(固定された形態)のALFフィルタが適用されてもよい。
【0076】
メモリ155は、フィルタ部150を介して算出された復元ブロック又はピクチャを格納することができ、格納された復元ブロック又はピクチャは、インター予測を行うときに予測部120、125に提供できる。
【0077】
図2は本発明の一実施形態による画像復号化装置を示すブロック図である。
【0078】
図2を参照すると、画像復号化器200は、エントロピー復号化部210、再整列部215、逆量子化部220、逆変換部225、予測部230、235、フィルタ部240、及びメモリ245を含むことができる。
【0079】
画像符号化器から画像ビットストリームが入力された場合、入力されたビットストリームは、画像符号化器と逆の手順で復号化できる。
【0080】
エントロピー復号化部210は、画像符号化器のエントロピー符号化部でエントロピー符号化を行ったのと逆の手順でエントロピー復号化を行うことができる。例えば、画像符号化器で行われた方法に対応して指数ゴロム(Exponential Golomb)、CAVLC(Context-Adaptive Variable Length Coding)、CABAC(Context-Adaptive Binary Arithmetic Coding)などのさまざまな方法が適用できる。
【0081】
エントロピー復号化部210では、符号化器で行われたイントラ予測及びインター予測に関連した情報を復号化することができる。
【0082】
再整列部215は、エントロピー復号化部210でエントロピー復号化されたビットストリームを符号化部で再整列した方法に基づいて再整列を行うことができる。1次元のベクトル形態で表現された係数を再び2次元のブロック形態の係数に復元して再整列を行うことができる。再整列部215は、符号化部で行われた係数スキャニングに関連する情報の提供を受け、当該符号化部で行われたスキャニングの順序に基づいて逆にスキャニングする方法によって再整列を行うことができる。
【0083】
逆量子化部220は、符号化器から提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を行うことができる。
【0084】
逆変換部225は、画像符号化器で行った量子化結果に対して変換部で行った変換、すなわち、DCT、DST及びKLTに対して逆変換、すなわち、逆DCT、逆DST及び逆KLTを行うことができる。逆変換は、画像符号化器で決定された伝送単位に基づいて行われ得る。画像復号化器の逆変換部225では、予測方法、現在ブロックの大きさ及び予測方向などの複数の情報に応じて変換技法(例えば、DCT、DST、KLT)が選択的に行われ得る。
【0085】
予測部230、235は、エントロピー復号化部210から提供された予測ブロック生成関連情報、及びメモリ245から提供された以前に復号化されたブロック又はピクチャ情報に基づいて、予測ブロックを生成することができる。
【0086】
前述したように、画像符号化器での動作と同様にイントラ予測を行うときに予測単位の大きさと変換単位の大きさとが同一である場合には、予測単位の左側に存在する画素、左上側に存在する画素、上側に存在するする画素に基づいて予測単位に対するイントラ予測を行うが、イントラ予測を行うときに予測単位の大きさと変換単位の大きさとが互いに異なる場合には、変換単位に基づく参照画素を用いてイントラ予測を行うことができる。また、最小符号化単位に対してのみN×N分割を使用するイントラ予測を使用することもできる。
【0087】
予測部230、235は、予測単位判別部、インター予測部及びイントラ予測部を含むことができる。予測単位判別部は、エントロピー復号化部210から入力される予測単位情報、イントラ予測方法の予測モード情報、インター予測方法の動き予測関連情報などの様々な情報の入力を受け、現在符号化単位で予測単位を区分し、予測単位がインター予測を行うか、それともイントラ予測を行うかを判別することができる。インター予測部230は、画像符号化装置から提供された現在予測単位のインター予測に必要な情報を用いて、現在予測単位が含まれている現在ピクチャの以前ピクチャ又は以後ピクチャのうちの少なくとも一つのピクチャに含まれている情報に基づいて、現在予測単位に対するインター予測を行うことができる。又は、現在予測単位が含まれている現在ピクチャ内で、既に復元された一部領域の情報に基づいてインター予測を行うこともできる。
【0088】
インター予測を行うために符号化単位を基準に該当符号化単位に含まれている予測単位の動き予測方法がスキップモード(Skip Mode)、マージモード(Merge Mode)、AMVPモード(AMVP Mode)及びイントラブロックコピーモードのうちのいずれの方法であるかを判断することができる。
【0089】
イントラ予測部235は、現在ピクチャ内の画素情報に基づいて予測ブロックを生成することができる。予測単位がイントラ予測を行った予測単位である場合、画像符号化器から提供された予測単位のイントラ予測モード情報に基づいてイントラ予測を行うことができる。イントラ予測部235には、AIS(Adaptive Intra Smoothing)フィルタ、参照画素補間部及びDCフィルタを含むことができる。AISフィルタは、現在ブロックの参照画素にフィルタリングを行う部分であって、現在予測単位の予測モードに応じてフィルタの適用有無を決定して適用することができる。画像符号化装置から提供された予測単位の予測モード及びAISフィルタ情報を用いて現在ブロックの参照画素にAISフィルタリングを行うことができる。現在ブロックの予測モードがAISフィルタリングを行わないモードである場合、AISフィルタは適用されなくてもよい。
【0090】
参照画素補間部は、予測単位の予測モードが参照画素を補間した画素値に基づいてイントラ予測を行う予測単位である場合、参照画素を補間して整数値以下の画素単位の参照画素を生成することができる。現在予測単位の予測モードが、参照画素を補間せずに予測ブロックを生成する予測モードである場合、参照画素は補間されなくてもよい。DCフィルタは、現在ブロックの予測モードがDCモードである場合、フィルタリングを介して予測ブロックを生成することができる。
【0091】
復元されたブロック又はピクチャは、フィルタ部240に提供できる。フィルタ部240は、デブロッキングフィルタ、オフセット補正部、ALFを含むことができる。
【0092】
画像符号化器から当該ブロック又はピクチャにデブロッキングフィルタを適用するか否かについての情報、及びデブロッキングフィルタを適用した場合に強いフィルタを適用したのか或いは弱いフィルタを適用したのかについての情報の提供を受けることができる。画像復号化器のデブロッキングフィルタでは、画像符号化器から提供されたデブロッキングフィルタ関連情報の提供を受け、画像復号化器で当該ブロックに対するデブロッキングフィルタリングを行うことができる。
【0093】
オフセット補正部は、符号化時に画像に適用されたオフセット補正の種類及びオフセット値の情報などに基づいて、復元された画像に対してオフセット補正を行うことができる。
【0094】
ALFは、符号化装置から提供されたALF適用有無情報、ALF係数情報などに基づいて符号化単位に適用できる。このようなALF情報は、特定のパラメータセットに含まれて提供されてもよい。
【0095】
メモリ245は、復元されたピクチャ又はブロックを格納して参照ピクチャ又は参照ブロックとして使用できるようにすることができ、また、復元されたピクチャを出力部へ提供することができる。
【0096】
前述したように、以下、本発明の実施形態では、説明の便宜上、コーディングユニット(Coding Unit)を符号化単位という用語として使用するが、符号化だけでなく、復号化を行う単位になることもある。
【0097】
図3は本発明が適用される一実施形態として、ブロック分割タイプを示すものである。
【0098】
一つのブロック(以下、「第1ブロック」という)は、垂直ライン又は水平ラインのうちの少なくとも一つによって複数のサブブロック(以下、「第2ブロック」という)に分割できる。前記垂直ラインと水平ラインは、一つ、二つ又はそれ以上であり得る。ここで、第1ブロックは、画像符号化/復号化の基本単位であるコーディングブロック(CU)、予測符号化/復号化の基本単位である予測ブロック(PU)、又は変換符号化/復号化の基本単位である変換ブロック(TU)であり得る。前記第1ブロックは、正方形のブロックであってもよく、非正方形のブロックであってもよい。
【0099】
前記第1ブロックの分割は、四分木(quad tree)、二分木(binary tree)、三分木(triple tree)などに基づいて行われ得る。以下、
図3を参照して詳しく考察する。
【0100】
図3(a)は四分木分割(QT)を示すものである。QTは、第1ブロックを4つの第2ブロックに四分割する分割タイプである。例えば、2N×2Nの第1ブロックがQTに分割される場合、第1ブロックは、サイズN×Nの4つの第2ブロックに四分割できる。QTは、正方形のブロックにのみ適用されるように制限できるが、非正方形のブロックに適用することも可能である。
【0101】
図3(b)は水平二分木(以下、「Horizontal BT」という)分割を示すものである。Horizontal BTは、一つの水平ラインによって第1ブロックが二つの第2ブロックに二分割される分割タイプである。前記二分割は、対称もしくは非対称的に行われ得る。例えば、2N×2Nの第1ブロックがHorizontal BTに分割される場合には、第1ブロックは、高さの比率が(a:b)である二つの第2ブロックに分割できる。ここで、aとbは同じ値であってもよく、aはbよりも大きいか小さくてもよい。
【0102】
図3(c)は垂直二分木(以下、「Vertical BT」という)分割を示すものである。Vertical BTは、一つの垂直ラインによって第1ブロックが二つの第2ブロックに二分割される分割タイプである。前記二分割は、対称もしくは非対称的に行われ得る。例えば、2N×2Nの第1ブロックがVertical BTに分割される場合、第1ブロックは、幅の比率が(a:b)である二つの第2ブロックに分割できる。ここで、aとbは同じ値であってもよく、aはbよりも大きいか小さくてもよい。
【0103】
図3(d)は水平三分木(以下、「Horizontal TT」という)分割を示すものである。Horizontal TTは、二つの水平ラインによって第1ブロックが三つの第2ブロックに三分割される分割タイプである。例えば、2N×2Nの第1ブロックがHorizontal TTに分割される場合、第1ブロックは、高さの比率が(a:b:c)である三つの第2ブロックに分割できる。ここで、a、b、cは同じ値であってもよい。又は、aとcは同一であり、bはaよりも大きいか小さくてもよい。
【0104】
図3(e)は垂直三分木(以下、「Vertical TT」という)分割を示すものである。Vertical TTは、二つの垂直ラインによって第1ブロックが三つの第2ブロックに三分割される分割タイプである。例えば、2N×2Nの第1ブロックがVertical TTに分割される場合、第1ブロックは、幅の比率が(a:b:c)である三つの第2ブロックに分割できる。ここで、a、b、cは同じ値であってもよく、互いに異なる値であってもよい。又は、aとcは同一であり、bはaよりも大きいか小さくてもよい。又は、aとbは同一であり、cはaよりも大きいか小さくてもよい。又は、bとcは同一であり、aはbよりも大きいか小さくてもよい。
【0105】
前述した分割は、符号化装置からシグナリングされる分割情報に基づいて行われ得る。前記分割情報は、分割タイプ情報、分割方向情報又は分割比率情報のうちの少なくとも一つを含むことができる。
【0106】
前記分割タイプ情報は、符号化/復号化装置に既に定義された分割タイプのいずれかを特定することができる。前記既に定義された分割タイプは、QT、Horizontal BT、Vertical BT、Horizontal TT、Vertical TT又は非分割モード(No split)のうちの少なくとも一つを含むことができる。又は、前記分割タイプ情報は、QT、BT又はTTが適用されるか否かについての情報を意味することもある。これはフラグ或いはインデックスの形態で符号化できる。前記分割方向情報は、BT又はTTの場合、水平方向に分割されるか、それとも垂直方向に分割されるかを示すことができる。前記分割比率情報は、BT又はTTの場合、第2ブロックの幅及び/又は高さの比率を示すことができる。
【0107】
図4は本発明が適用される一実施形態として、ツリー構造に基づくブロック分割方法を示すものである。
【0108】
図4に示されたブロック40は、8N×8Nの大きさであり、分割デプスがkである正方形のブロック(以下、「第1ブロック」という)と仮定する。第1ブロックの分割情報がQT分割を指示する場合、第1ブロックは、4つのサブブロック(以下、「第2ブロック」という)に四分割できる。前記第2ブロックは、4N×4Nの大きさであり、(k+1)の分割デプスを持つことができる。
【0109】
前記4つの第2ブロックは、QT、BT、TT又は非分割モードのうちのいずれかに基づいて再び分割できる。例えば、第2ブロックの分割情報が水平方向への二分木(Horizontal BT)を表す場合、前記第2ブロックは、
図4の第2ブロック410のように二つのサブブロック(以下、「第3ブロック」という)に二分割できる。この際、前記第3ブロックは、4N×2Nの大きさであり、(k+2)の分割デプスを持つことができる。
【0110】
前記第3ブロックも、QT、BT、TT又は非分割モードのうちのいずれかに基づいて再び分割できる。例えば、前記第3ブロックの分割情報が垂直方向への二分木(Vertical BT)を表す場合、前記第3ブロックは、
図4に示すように、二つのサブブロック411、412に二分割できる。この時、前記サブブロック411、412は、2N×2Nの大きさであり、(k+3)の分割デプスを持つことができる。又は、前記第3ブロックの分割情報が水平方向への二分木(Horizontal BT)を表す場合、前記第3ブロックは、
図4に示すように、二つのサブブロック413、414に二分割できる。この時、前記サブブロック413、414は、4N×Nの大きさであり、(k+3)の分割デプスを持つことができる。
【0111】
前記分割は、周辺ブロックとは独立的或いは並列的に行われてもよく、所定の優先順位に基づいて順次行われてもよい。
【0112】
分割対象である現在ブロックの分割情報は、現在ブロックの上位ブロックの分割情報又は周辺ブロックの分割情報のうちの少なくとも一つに基づいて従属的に決定されることもある。例えば、前記第2ブロックがHorizontal BTに分割され、上側の第3ブロックがVertical BTに分割された場合、下側の第3ブロックはVertical BTに分割される必要がない。下側の第3ブロックがVertical BTに分割される場合、これは第2ブロックがQTに分割されるのと同じ結果が出るからである。したがって、下側の第3ブロックの分割情報(特に、分割方向情報)は、符号化が省略でき、復号化装置は、下側の第3ブロックが水平方向に分割されるように設定することができる。
【0113】
前記上位ブロックは、前記現在ブロックの分割デプスよりも小さい分割デプスを持つブロックを意味することができる。例えば、現在ブロックの分割デプスが(k+2)である場合、上位ブロックの分割デプスは(k+1)であり得る。前記周辺ブロックは、現在ブロックの上側或いは左側に隣接するブロックであることができる。前記周辺ブロックは、現在ブロックと同じ分割デプスを持つブロックであることができる。
【0114】
前述した分割は、符号化/復号化の最小単位まで繰り返し行われ得る。最小単位に分割された場合、当該ブロックに対する分割情報は、符号化装置からそれ以上シグナリングされない。前記最小単位に対する情報は、最小単位の大きさ又は形態のうちの少なくとも一つを含むことができる。前記最小単位の大きさは、ブロックの幅、高さ、幅と高さのうちの最小値或いは最大値、幅と高さの和、画素数、分割デプスなどで表現できる。前記最小単位に対する情報は、ビデオシーケンス、ピクチャ、スライス又はブロック単位のうちの少なくとも一つでシグナリングできる。又は、前記最小単位に対する情報は、符号化/復号化装置に既に約束された値であってもよい。前記最小単位に対する情報は、CU、PU、TUに対してそれぞれシグナリングできる。一つの最小単位に対する情報がCU、PU、TUに同様に適用されてもよい。
【0115】
図5は画像符号化/復号化装置に既に定義されたイントラ予測モードを示す例示図である。
【0116】
図5を参照すると、既に定義されたイントラ予測モードは、67個のモードで構成された予測モード候補群として定義でき、具体的には65個の方向性モード(2番乃至66番)と二つの非方向性モード(DC、Planar)を含むことができる。このとき、方向性モードは、傾き(例えば、dy/dx)又は角度情報(Degree)に区分できる。上記の例で説明されるイントラ予測モードの全部又は一部が輝度成分又は色差成分の予測モード候補群に含まれてもよく、その他の追加的なモードが予測モード候補群に含まれてもよい。
【0117】
また、カラー空間間の相関性を用いて符号化/復号化が完了した他のカラー空間の復元ブロックを現在ブロックの予測に使用することができ、これを支援する予測モードを含むことができる。例えば、色差成分の場合には、現在ブロックと対応する輝度成分の復元されたブロックを用いて現在ブロックの予測ブロックを生成することができる。つまり、カラー空間間の相関性を考慮して、復元されたブロックに基づいて予測ブロックを生成することができる。
【0118】
符号化/復号化の設定に基づいて予測モード候補群を適応的に決定することができる。予測の精度を高めるための目的で候補群の数を増やすことができ、予測モードに応じたビット量を減らすための目的で候補群の数を減らすことができる。
【0119】
例えば、A候補群(67個。65個の方向性モードと二つの非方向性モード)、B候補群(35個。33個の方向性モードと二つの非方向性モード)、C候補群(18個。17個の方向性モードと一つの非方向性モード)などの候補群のうちのいずれかを選択することができ、ブロックの大きさと形状に応じて適応的に候補群が選択又は決定できる。
【0120】
また、符号化/復号化の設定に基づいて予測モード候補群の構成を多様に持つことができる。例えば、
図5のようにモードの間が均等に予測モード候補群を構成するか、或いは、
図5で18番モードと34番モードとの間のモードの個数が2番モードと18番モードとの間のモードの個数よりもさらに多く候補群を構成することができる。又は、その逆の場合が可能である。ブロックの形状(つまり、正方形、幅が高さよりも大きい非正方形、高さが幅よりも大きい非正方形など)に応じて適応的に候補群を構成することができる。
【0121】
例えば、現在ブロックの幅が高さよりも大きい場合には、2番乃至18番に属するイントラ予測モードの全部又は一部は利用されず、67番乃至80番に属するイントラ予測モードの全部又は一部で代替できる。一方、現在ブロックの幅が高さよりも小さい場合には、50番乃至66番に属するイントラ予測モードの全部又は一部は利用されず、-14番乃至-1番に属するイントラ予測モードの全部又は一部で代替できる。
【0122】
本発明において特別な言及がないとき、均等なモード間隔を有する既に定義された一つの予測モード候補群(A候補群)でイントラ予測を行う場合を仮定して説明するが、本発明の主要要素が、前記説明のような適応的なイントラ予測設定にも変更されて適用が可能である。
【0123】
図6は本発明が適用される一実施形態として、イントラ予測方法を示すものである。
【0124】
図6を参照すると、現在ブロックのイントラ予測のための参照領域を決定することができる(S600)。
【0125】
符号化/復号化装置は、イントラ予測に利用可能な複数の画素ラインを定義することができる。複数の画素ラインは、現在ブロックに隣接する第1画素ライン、第1画素ラインに隣接する第2画素ライン、第2画素ラインに隣接する第3画素ライン、又は第3画素ラインに隣接する第4画素ラインのうちの少なくとも一つを含むことができる。
【0126】
例えば、符号化/復号化の設定に基づいて、複数の画素ラインは、第1乃至第4画素ラインを全て含むこともでき、第3画素ラインを除いた残りの画素ラインだけを含むこともできる。又は、複数の画素ラインは、第1画素ライン及び第4画素ラインだけを含むこともできる。
【0127】
現在ブロックは、前記複数の画素ラインのうちのいずれか一つ又はそれ以上の画素ラインを選択し、これを参照領域として用いることができる。このとき、前記選択は、符号化装置でシグナリングされるインデックス(refIdx)に基づいて行われ得る。又は、前記選択は、所定の符号化情報に基づいて行われ得る。ここで、符号化情報は、現在ブロックの大きさ、形状、分割タイプ、イントラ予測モードが非方向性モードであるか否か、イントラ予測モードが水平方向性であるか否か、イントラ予測モードの角度又は成分タイプのうちの少なくとも一つを含むことができる。例えば、イントラ予測モードがPlanarモード又はDCモードである場合には、第1画素ラインのみが用いられるように制限できる。又は、現在ブロックの大きさが所定の閾値と同じかそれよりも小さい場合、第1画素ラインのみが用いられるように制限できる。ここで、大きさは、現在ブロックの幅又は高さのうちのいずれか(例えば、最大値、最小値など)、幅と高さの和、又は現在ブロックに属するサンプルの個数で表現できる。又は、イントラ予測モードが所定の閾値角度よりも大きい場合(又は、所定の閾値角度よりも小さい場合)、第1画素ラインのみが用いられるように制限できる。前記閾値角度は、前述した予測モード候補群のうち、モード2、モード66に対応するイントラ予測モードの角度であり得る。
【0128】
図6を参照すると、現在ブロックのイントラ予測モードを決定することができる(S610)。
【0129】
現在ブロックは、輝度ブロックと色差ブロックを含む概念であり、前記イントラ予測モードは、輝度ブロックと色差ブロックそれぞれに対して決定できる。以下、復号化装置に既に定義されたイントラ予測モードは、非方向性モード(Planarモード、DCモード)及び65個の方向性モードで構成されることを仮定する。
【0130】
前述した既に定義されたイントラ予測モードは、MPM候補群とNon-MPM候補群に区分できる。現在ブロックのイントラ予測モードは、MPM候補群又はNon-MPM候補群のうちのいずれかを選択的に用いて誘導できる。このために、現在ブロックのイントラ予測モードがMPM候補群から誘導されるか否かを示すフラグが使用できる。例えば、前記フラグが第1値である場合には、MPM候補群が使用され、前記フラグが第2値である場合には、Non-MPM候補群が使用され得る。前記フラグは、符号化装置で符号化されてシグナリングできる。又は、前記フラグは、所定の符号化情報に基づいて復号化装置で誘導できる。符号化情報は、前述した通りであり、重複説明は省略する。
【0131】
前記フラグが第1値である場合には、現在ブロックのイントラ予測モードは、MPM候補群及びMPMインデックスに基づいて誘導できる。前記MPM候補群は、一つ又はそれ以上のMPMを含み、MPMは、現在ブロックの隣接ブロックのイントラ予測モードに基づいて決定できる。MPMの個数はr個であり、rは1、2、3、4、5、6、又はそれ以上の整数であり得る。MPMの個数は、符号化/復号化装置に既に約束された、固定された値であってもよく、前述した符号化情報に基づいて可変的に決定されてもよい。
【0132】
例えば、MPM候補群は、隣接ブロックのイントラ予測モードmodeA、(modeA-n)、(modeA+n)又はデフォルトモードのうちの少なくとも一つを含むことができる。前記n値は、1、2、3、4又はそれ以上の整数であり得る。前記隣接ブロックは、現在ブロックの左側及び/又は上側に隣接するブロックを意味することができる。但し、これに限定されず、隣接ブロックは、左上側、左下側又は右上側に隣接するブロックのうちの少なくとも一つを含むこともできる。デフォルトモードは、Planarモード、DCモード、又は所定の方向性モードのうちの少なくとも一つであることができる。所定の方向性モードは、水平モード(modeV)、垂直モード(modeH)、(modeV-k)、(modeV+k)、(modeH-k)又は(modeH+k)のうちの少なくとも一つを含むことができる。
【0133】
前記MPMインデックスは、MPM候補群のMPMのうち、現在ブロックのイントラ予測モードと同じMPMを特定することができる。つまり、MPMインデックスによって特定されたMPMが現在ブロックのイントラ予測モードに設定できる。
【0134】
又は、前記MPM候補群は、複数のグループに区分できる。例えば、MPM候補群は、第1グループと第2グループに区分されることを仮定する。前記第1グループは、前述したデフォルトモードの少なくとも一つで構成できる。例えば、前記第1グループは、非方向性モードのみで構成されてもよく、所定の方向性モードのみで構成されてもよい。又は、前記第1グループは、非方向性モードのうち、Planarモードのみで構成されるか或いはDCモードのみで構成され得る。前記第2グループは、隣接ブロックのイントラ予測モードmodeA、(modeA-n)、(modeA+n)又はデフォルトモードのうちの少なくとも一つを含むことができる。前記n値は、1、2、3、4又はそれ以上の整数であることができる。前記隣接ブロックは、現在ブロックの左側及び/又は上側に隣接するブロックを意味することができる。ただし、これに限定されず、隣接ブロックは左上側、左下側、又は右上側に隣接するブロックのうちの少なくとも一つを含むこともできる。デフォルトモードは、Planarモード、DCモード、又は所定の方向性モードのうちの少なくとも一つであることができる。所定の方向性モードは、水平モード(modeV)、垂直モード(modeH)、(modeV-k)、(modeV+k)、(modeH-k)又は(modeH+k)のうちの少なくとも一つを含むことができる。但し、第2グループは、第1グループに属するMPMを含まないように設定できる。
【0135】
現在ブロックのイントラ予測モードは、第1グループ又は第2グループのうちのいずれかを選択的に用いて誘導できる。そのために、現在ブロックのイントラ予測モードが第1グループから誘導されるか否かを示すフラグが使用できる。例えば、前記フラグが第1値である場合には、現在ブロックのイントラ予測モードは、第1グループに属するMPMに設定できる。これに対し、前記フラグが第2値である場合には、現在ブロックのイントラ予測モードは、第2グループ及びMPMインデックスに基づいて誘導できる。ここで、MPMインデックスは、前述した通りであり、詳細な説明は省略する。
【0136】
前記フラグは、符号化装置で符号化されてシグナリングできる。但し、前記フラグは、所定の符号化情報を考慮して適応的にシグナリングできる。ここで、符号化情報は、現在ブロックの大きさ、形状、分割タイプ又は参照領域のうちの少なくとも一つを含むことができる。ここで、分割タイプは、四分木、二分木、三分木又はサブブロック単位のイントラ予測有無などを意味することができる。
【0137】
例えば、現在ブロックの参照領域が第1画素ラインである場合に限り、前記フラグはシグナリングできる(実施形態1)。現在ブロックの参照領域が第1画素ラインではない場合、前記フラグはシグナリングされず、復号化装置で第2値に設定できる。これにより、現在ブロックが第1画素ラインを参照しない場合、第1グループに基づいてイントラ予測モードを誘導することを制限することができる。
【0138】
また、現在ブロックがサブブロック単位のイントラ予測を行わない場合に限り、前記フラグがシグナリングできる(実施形態2)。逆に、現在ブロックがサブブロック単位のイントラ予測を行う場合、前記フラグは、シグナリングされず、復号化装置で第2値に設定できる。
【0139】
前述した実施形態1又は2のうちのいずれかの条件を満たす場合、前記フラグがシグナリングされてもよく、実施形態1及び2の両方を満たす場合、前記フラグがシグナリングされるように設定されてもよい。
【0140】
図6を参照すると、イントラ予測のための参照領域とイントラ予測モードに基づいて、現在ブロックに対してイントラ予測を行うことができる(S620)。
【0141】
前記イントラ予測は、現在ブロックのサブブロック単位で行われ得る。このために、現在ブロックは複数のサブブロックに分割できる。前記分割方法については、
図7を参照して詳しく考察する。
【0142】
図7は本発明が適用される一実施形態として、サブブロック単位のイントラ予測方法を示すものである。
【0143】
前述したように、現在ブロックは、複数のサブブロックに分割できる。このとき、前記現在ブロックは、リーフノード(leaf node)に該当することができる。リーフノードは、より小さいコーディングブロックにそれ以上分割されないコーディングブロックを意味することができる。つまり、リーフノードは、前述したツリー基盤のブロック分割を介してそれ以上分割されないブロックを意味することができる。
【0144】
前記分割は、現在ブロックの大きさに基づいて行われ得る(実施形態1)。
【0145】
図7を参照すると、現在ブロック700の大きさが所定の閾値の大きさよりも小さい場合、現在ブロックは、垂直又は水平方向に二分割できる。逆に、現在ブロック710の大きさが前記閾値の大きさと同じかそれより大きい場合には、現在ブロックは、垂直又は水平方向に四分割できる。
【0146】
前記閾値の大きさは、符号化装置でシグナリングされてもよく、復号化装置に既に定義された固定値であってもよい。例えば、閾値の大きさはN×Mで表現され、NとMは4、8、16又はそれ以上であってもよい。前記NとMは、同一であるように設定されてもよく、互いに異なるように設定されてもよい。
【0147】
又は、現在ブロックの大きさが所定の閾値の大きさよりも小さい場合には、現在ブロックは非分割(non-split)され、そうでない場合には、現在ブロックは二分割又は四分割できる。
【0148】
前記分割は、現在ブロックの形状に基づいて行われ得る(実施形態2)。
【0149】
現在ブロックの形状が正方形である場合には、現在ブロックは四分割され、そうでない場合には、現在ブロックは二分割され得る。逆に、現在ブロックの形状が正方形である場合には、現在ブロックは二分割され、そうでない場合には、現在ブロックは四分割され得る。
【0150】
又は、現在ブロックの形状が正方形である場合には、現在ブロックは二分割又は四分割され、そうでない場合には、現在ブロックは非分割され得る。逆に、現在ブロックの形状が正方形である場合には、現在ブロックは非分割され、そうでない場合には、現在ブロックは二分割又は四分割され得る。
【0151】
前述した実施形態1又は2のうちのいずれかが選択的に適用されて分割されてもよく、実施形態1と2の組み合わせに基づいて分割されてもよい。
【0152】
前記二分割は、垂直又は水平のうちのいずれかの方向に二分割されるものであり、前記四分割は、垂直又は水平のうちのいずれかの方向に四分割されるか、或いは垂直及び水平方向に四分割されることを含むことができる。
【0153】
前記実施形態では、二分割又は四分割を説明するが、これに限定されず、現在ブロックは、垂直又は水平方向に三分割されてもよい。この場合、幅又は高さの比が(1:1:2)、(1:2:1)又は(2:1:1)であり得る。
【0154】
サブブロック単位への分割か否か、四分割か否か、分割「num」、分割個数などに関する情報は、符号化装置からシグナリングされてもよく、所定の符号化パラメータに基づいて復号化装置で可変的に決定されてもよい。ここで、符号化パラメータは、ブロックの大きさ/形状、分割タイプ(四分割、二分割、三分割)、イントラ予測モード、イントラ予測のための隣接画素の範囲/位置、成分タイプ(例えば、輝度、色差)、変換ブロックの最大/最小大きさ、変換タイプ(例えば、変換スキップ、DCT2、DST7、DCT8)などを意味することができる。]
【0155】
図8は本発明が適用される一実施形態として、成分間参照に基づく予測方法を示すものである。
【0156】
現在ブロックは、成分のタイプによって輝度ブロックと色差ブロックに分類できる。色差ブロックは、既に復元された輝度ブロックの画素を用いて予測でき、これを成分間参照と呼ぶ。本実施形態では、色差ブロックは(nTbW×nTbH)の大きさを有し、色差ブロックに対応する輝度ブロックは(2*nTbW×2*nTbH)の大きさを有することを仮定する。これは、輝度と色差ブロックの幅と高さの比がすべて2:1である場合を仮定するが、幅と高さのうち、いずれか一つは1:1であり、他の一つは2:1であるか、或いは両方が1:1である場合にも、後述する例が同一又は類似に適用できることを理解すべきである。
【0157】
図8を参照すると、色差ブロックのイントラ予測モードを決定することができる(S800)。
【0158】
具体的には、色差ブロックのための既に定義されたイントラ予測モードは、第1グループと第2グループに区分できる。ここで、第1グループは、成分間参照に基づく予測モードで構成され、第2グループは、輝度ブロックのための既に定義されたイントラ予測モードで構成され得る。符号化/復号化装置は、成分間参照に基づく予測モードとして、INTRA_LT_CCLM、INTRA_L_CCLM、又はINTRA_T_CCLMのうちの少なくとも一つを定義することができる。
【0159】
色差ブロックのイントラ予測モードは、前記第1グループ又は第2グループのうちのいずれかを選択的に用いて誘導できる。前記選択は、所定の第1フラグに基づいて行われ得る。前記第1フラグは、色差ブロックのイントラ予測モードが第1グループに基づいて誘導されるか、或いは第2グループに基づいて誘導されるかを示すことができる。
【0160】
例えば、前記第1フラグが第1値である場合、色差ブロックのイントラ予測モードは、第1グループに属する一つ又はそれ以上の成分間参照に基づく予測モードのうちのいずれかに決定できる。このため、第1グループに属する成分間参照に基づく予測モードのうちのいずれか一つを特定するインデックスが利用できる。第1グループに属する成分間参照に基づく予測モードと各予測モードに割り当てられたインデックスは、下記表1のとおりである。
【表1】
【0161】
表1は各予測モードに割り当てられるインデックスの一例に過ぎず、これに限定されない。つまり、表1に示すように、INTRA_LT_CCLM、INTRA_L_CCLM、INTRA_T_CCLMの優先順序でインデックスが割り当てられてもよく、INTRA_LT_CCLM、INTRA_T_CCLM、INTRA_L_CCLMの優先順序でインデックスが割り当てられてもよい。或いは、INTRA_LT_CCLMがINTRA_T_CCLM又はINTRA_L_CCLMよりも低い優先順序を持つこともできる。
【0162】
前記第1フラグは、成分間参照が許容されるか否かを示す情報に基づいて選択的にシグナリングできる。例えば、前記情報の値が1である場合には、前記第1フラグがシグナリングされ、そうでない場合には、前記第1フラグはシグナリングされなくてもよい。ここで、情報は、後述する所定の条件に基づいて0又は1に決定できる。
【0163】
(条件1)成分間参照に基づく予測が許容されるか否かを示す第2フラグが0である場合には、前記情報は0に設定できる。前記第2フラグは、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)又はスライスヘッダのうちの少なくとも一つでシグナリングできる。
【0164】
(条件2)次のサブ条件のうちの少なくとも一つを満たす場合には、前記情報は1に設定できる。
-qtbtt_dual_tree_intra_flagの値が0である場合
-スライスタイプがIスライスではない場合
-コーディングツリーブロックの大きさが64×64よりも小さい場合
【0165】
前記条件2で、qtbtt_dual_tree_intra_flagは、コーディングツリーブロックがサイズ64×64のコーディングブロックに黙示的に分割され、サイズ64×64のコーディングブロックがデュアルツリーに分割されるか否かを示すことができる。前記デュアルツリーは、輝度成分と色差成分が互いに独立した分割構造をもって分割される方式を意味することができる。前記コーディングツリーブロックの大きさ(CtbLog2Size)は、符号化/復号化装置に既に定義された大きさ(例えば、64×64、128×128、256×256)であってもよく、符号化装置で符号化されてシグナリングされてもよい。
【0166】
(条件3)次のサブ条件のうちの少なくとも一つを満たす場合には、前記情報は1に設定できる。
-第1上位ブロックの幅と高さが64である場合
-第1上位ブロックのデプスが(CtbLog2Size-6)と同一であり、第1上位ブロックがHorizontal BTに分割され、第2上位ブロックが64×32である場合
-第1上位ブロックのデプスが(CtbLog2Size-6)よりも大きい場合
-第1上位ブロックのデプスが(CtbLog2Size-6)と同一であり、第1上位ブロックがHorizontal BTに分割され、第2上位ブロックがVertical BTに分割された場合
【0167】
前記条件3で、第1上位ブロックは、現在色差ブロックを下位ブロックとして含むブロックであり得る。例えば、現在色差ブロックのデプスがkである場合には、第1上位ブロックのデプスは(kn)であり、nは1、2、3、4又はそれ以上であり得る。前記第1上位ブロックのデプスは、四分木ベースの分割によるデプスのみを意味するか、或いは四分木、二分木又は三分木のうちの少なくとも一つの分割によるデプスを意味することができる。前記第2上位ブロックは、第1上位ブロックに属する下位ブロックであって、現在色差ブロックよりも小さいデプスを、第1上位ブロックよりも大きいデプスを持つことができる。例えば、現在色差ブロックのデプスがkである場合、第2上位ブロックのデプスは(k-m)であり、mはnよりも小さい自然数であり得る。
【0168】
前述した条件1~3のいずれか一つも満たさない場合、前記情報は0に設定できる。
【0169】
但し、条件1~3のうちの少なくとも一つを満たす場合でも、次のサブ条件のうちの少なくとも一つを満たす場合には、前記情報は0に再設定できる。
-第1上位ブロックが64×64であり、前述したサブブロック単位の予測を行う場合
-第1上位ブロックの幅又は高さのうちの少なくとも一つが64よりも小さく、第1上位ブロックのデプスが(CtbLog2Size-6)と同じである場合
これに対し、前記フラグが第2値である場合、色差ブロックのイントラ予測モードは、符号化装置でシグナリングされる情報(intra_chroma_pred_mode)に基づいて、下記表2のように誘導できる。
【表2】
【0170】
表2によれば、色差ブロックのイントラ予測モードは、前記シグナリングされた情報と輝度ブロックのイントラ予測モードに基づいて決定できる。表2において、mode66は右上方向の対角線モードを意味し、mode50は垂直モードを意味し、mode18は水平モードを意味し、mode1はDCモードを意味することができる。例えば、シグナリングされた情報intra_chroma_pred_modeの値が4である場合、色差ブロックのイントラ予測モードは輝度ブロックのイントラ予測モードと同一に設定できる。色差ブロックのイントラ予測モードが第2グループから誘導される場合、色差ブロックは
図6によるイントラ予測方法によって予測でき、詳細な説明は省略する。
図8を参照すると、色差ブロックの成分間参照のための輝度領域を特定することができる(S810)。
【0171】
前記輝度領域は、輝度ブロック、又は輝度ブロックに隣接する隣接領域のうちの少なくとも一つを含むことができる。ここで、輝度ブロックは、画素pY[x][y](x=0..nTbW*2-1、y=0..nTbH*2-1)を含む領域として定義できる。前記画素は、インループフィルタが適用される前の復元値を意味することができる。
【0172】
前記隣接領域は、左側隣接領域、上側隣接領域又は左上側隣接領域のうちの少なくとも一つを含むことができる。前記左側隣接領域は、画素pY[x][y](x=-1..-3、y=0..2*numSampL-1)を含む領域に設定できる。前記設定は、numSampLの値が0よりも大きい場合に限って行われ得る。前記上側隣接領域は、画素pY[x][y](x=0..2*numSampT-1、y=-1..-3)を含む領域に設定できる。前記設定は、numSampTの値が0よりも大きい場合に限って行われ得る。前記左上側隣接領域は、画素pY[x][y](x=-1、y=-1、-2)を含む領域に設定できる。前記の設定は、輝度ブロックの左上側領域が利用可能である場合に限って行われ得る。
【0173】
前述したnumSampL及びnumSampTは、現在ブロックのイントラ予測モードに基づいて決定できる。ここで、現在ブロックは色差ブロックを意味することができる。
【0174】
例えば、現在ブロックのイントラ予測モードがINTRA_LT_CCLMである場合、下記数式1のように誘導できる。ここで、INTRA_LT_CCLMは、成分間参照が現在ブロックの左側及び上側に隣接する領域に基づいて行われるモードを意味することができる。
【0175】
[数式1]
numSampT=availT?nTbW:0
numSampL=availL?nTbH:0
【0176】
数式1によると、numSampTは、現在ブロックの上側隣接領域が利用可能である場合にはnTbWに誘導され、そうでない場合には0に誘導され得る。同様に、numSampLは、現在ブロックの左側隣接領域が利用可能である場合にはnTbHに誘導され、そうでない場合には0に誘導され得る。
【0177】
これに対し、現在ブロックのイントラ予測モードがINTRA_LT_CCLMでない場合には、下記数式2のように誘導できる。
【0178】
[数式2]
numSampT=(availT&&predModeIntra==INTRA_T_CCLM)?(nTbW+numTopRight):0
numSampL=(availL&&predModeIntra==INTRA_L_CCLM)?(nTbH+numLeftBelow):0
【0179】
数式2において、INTRA_T_CCLMは、成分間参照が現在ブロックの上側に隣接する領域に基づいて行われるモードを意味し、INTRA_L_CCLMは、成分間参照が現在ブロックの左側に隣接する領域に基づいて行われるモードを意味することができる。numTopRightは、色差ブロックの右上側に隣接する領域に属する全部又は一部画素の個数を意味することができる。一部画素は、当該領域の最下側画素ライン(row)に属する画素のうちの利用可能画素を意味することができる。利用可能に対する判断は左から右方向に画素の利用可能か否かを順次判断し、これは利用不可画素が発見されるまで行われ得る。numLeftBelowは、色差ブロックの左下側に隣接する領域に属する全部又は一部画素の個数を意味することができる。一部画素は、当該領域の最右側画素ライン(column)に属する画素のうちの利用可能画素を意味することができる。利用可能に対する判断は上から下方向に画素の利用可能か否かを順次判断し、これは利用不可画素が発見されるまで行われ得る。
【0180】
図8を参照すると、S810で特定された輝度領域に対してダウンサンプリングが行われ得る(S820)。
【0181】
前記ダウンサンプリングは、1.輝度ブロックに対するダウンサンプリング、2.輝度ブロックの左側隣接領域に対するダウンサンプリング、又は3.輝度ブロックの上側隣接領域に対するダウンサンプリングのうちの少なくとも一つを含むことができ、以下に詳細に考察する。
【0182】
1.輝度ブロックに対するダウンサンプリング
(実施形態1)
【0183】
ダウンサンプリングされた輝度ブロックの画素pDsY[x][y](x=0..nTbW-1、y=0..nTbH-1)は、輝度ブロックの対応画素pY[2*x][2*y]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側、右側、上側又は下側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pDsY[x][y]は、下記数式3のように誘導できる。
【0184】
[数式3]
pDsY[x][y]=(pY[2*x][2*y-1]+pY[2*x-1][2*y]+4*pY[2*x][2*y]+pY[2*x+1][2*y]+pY[2*x][2*y+1]+4)>>3
【0185】
但し、現在ブロックの左側/上側隣接領域が利用不可能である場合が存在することができる。もし現在ブロックの左側隣接領域が利用不可能である場合、ダウンサンプリングされた輝度ブロックの画素pDsY[0][y](y=1..nTbH-1)は、輝度ブロックの対応画素pY[0][2*y]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の上側又は下側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pDsY[0][y](y=1..nTbH-1)は、下記数式4のように誘導できる。
【0186】
[数式4]
pDsY[0][y]=(pY[0][2*y-1]+2*pY[0][2*y]+pY[0][2*y+1]+2)>>2
【0187】
もし現在ブロックの上側隣接領域が利用不可能である場合、ダウンサンプリングされた輝度ブロックの画素pDsY[x][0](x=1..nTbW-1)は、輝度ブロックの対応画素pY[2*x][0]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側又は右側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pDsY[x][0](x=1..nTbW-1)は、下記数式5のように誘導できる。
【0188】
[数式5]
pDsY[x][0]=(pY[2*x-1][0]+2*pY[2*x][0]+pY[2*x+1][0]+2)>>2
【0189】
一方、ダウンサンプリングされた輝度ブロックの画素pDsY[0][0]は、輝度ブロックの対応画素pY[0][0]及び/又は周辺画素に基づいて誘導できる。周辺画素の位置は、現在ブロックの左側/上側隣接領域の利用可能か否かによって異なるように決定できる。
【0190】
例えば、左側隣接領域が利用可能であり、上側隣接領域が利用可能でない場合には、pDsY[0][0]は、下記数式6のように誘導できる。
【0191】
[数式6]
pDsY[0][0]=(pY[-1][0]+2*pY[0][0]+pY[1][0]+2)>>2
【0192】
これに対し、左側隣接領域が利用可能でなく、上側隣接領域が利用可能である場合には、pDsY[0][0]は、下記数式7のように誘導できる。
【0193】
[数式7]
pDsY[0][0]=(pY[0][-1]+2*pY[0][0]+pY[0][1]+2)>>2
【0194】
一方、左側及び上側隣接領域の両方とも利用可能でない場合、pDsY[0][0]は、輝度ブロックの対応画素pY[0][0]に設定できる。
【0195】
(実施形態2)
ダウンサンプリングされた輝度ブロックの画素pDsY[x][y](x=0..nTbW-1、y=0..nTbH-1)は、輝度ブロックの対応画素pY[2*x][2*y]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の下側、左側、右側、左下側又は右下側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pDsY[x][y]は、下記数式8のように誘導できる。
【0196】
[数式8]
pDsY[x][y]=(pY[2*x-1][2*y]+pY[2*x-1][2*y+1]+2*pY[2*x][2*y]+2*pY[2*x][2*y+1]+pY[2*x+1][2*y]+pY[2*x+1][2*y+1]+4)>>3
【0197】
但し、もし現在ブロックの左側隣接領域が利用不可能である場合、ダウンサンプリングされた輝度ブロックの画素pDsY[0][y](y=0..nTbH-1)は、輝度ブロックの対応画素pY[0][2*y]及び下側の周辺画素に基づいて誘導できる。例えば、画素pDsY[0][y](y=0..nTbH-1)は、下記数式9のように誘導できる。
【0198】
[数式9]
pDsY[0][y]=(pY[0][2*y]+pY[0][2*y+1]+1)>>1
【0199】
輝度ブロックのダウンサンプリングは、前述した実施形態1及び2のうちのいずれかに基づいて行われ得る。この時、所定のフラグに基づいて実施形態1又は2のうちのいずれかが選択できる。前記フラグは、ダウンサンプリングされた輝度画素が原輝度画素と同じ位置を持つか否かを示すことができる。例えば、前記フラグが第1値である場合には、ダウンサンプリングされた輝度画素が原輝度画素と同じ位置を持つ。これに対し、前記フラグが第2値である場合には、ダウンサンプリングされた輝度画素は、原輝度画素と水平方向には同じ位置を有するが、垂直方向にはハーフペル(half pel)だけシフトされた位置を有する。
【0200】
2.輝度ブロックの左側隣接領域に対するダウンサンプリング
(実施形態1)
ダウンサンプリングされた左側隣接領域の画素pLeftDsY[y](y=0..numSampL-1)は、左側隣接領域の対応画素pY[-2][2*y]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側、右側、上側又は下側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pLeftDsY[y]は、下記数式10のように誘導できる。
【0201】
[数式10]
pLeftDsY[y]=(pY[-2][2*y-1]+pY[-3][2*y]+4*pY[-2][2*y]+pY[-1][2*y]+pY[-2][2*y+1]+4)>>3
【0202】
但し、現在ブロックの左上側隣接領域が利用不可能である場合、ダウンサンプリングされた左側隣接領域の画素pLeftDsY[0]は、左側隣接領域の対応画素pY[-2][0]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側又は右側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pLeftDsY[0]は、下記数式11のように誘導できる。
【0203】
[数式11]
pLeftDsY[0]=(pY[-3][0]+2*pY[-2][0]+pY[-1][0]+2)>>2
【0204】
(実施形態2)
ダウンサンプリングされた左側隣接領域の画素pLeftDsY[y](y=0..numSampL-1)は、左側隣接領域の対応画素pY[-2][2*y]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の下側、左側、右側、左下側又は右下側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pLeftDsY[y]は、下記数式12のように誘導できる。
【0205】
[数式12]
pLeftDsY[y]=(pY[-1][2*y]+pY[-1][2*y+1]+2*pY[-2][2*y]+2*pY[-2][2*y+1]+pY[-3][2*y]+pY[-3][2*y+1]+4)>>3
【0206】
同様に、左側隣接領域のダウンサンプリングは、前述した実施形態1及び2のうちのいずれかに基づいて行われ得る。この時、所定のフラグに基づいて実施形態1又は2のうちのいずれかが選択できる。前記フラグは、ダウンサンプリングされた輝度画素が原輝度画素と同じ位置を持つか否かを示し、これは、前述した通りである。
【0207】
一方、左側隣接領域に対するダウンサンプリングは、numSampL値が0よりも大きい場合に限って行われ得る。numSampL値が0よりも大きい場合とは、現在ブロックの左側隣接領域が利用可能であり、現在ブロックのイントラ予測モードはINTRA_LT_CCLM又はINTRA_L_CCLMである場合を意味することができる。
【0208】
3.輝度ブロックの上側隣接領域に対するダウンサンプリング
(実施形態1)
ダウンサンプリングされた上側隣接領域の画素pTopDsY[x](x=0..numSampT-1)は、上側隣接領域が輝度ブロックとは異なるCTUに属するか否かを考慮して誘導できる。
【0209】
上側隣接領域が輝度ブロックと同じCTUに属する場合、ダウンサンプリングされた上側隣接領域の画素pTopDsY[x]は、上側隣接領域の対応画素pY[2*x][-2]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側、右側、上側又は下側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pTopDsY[x]は、下記数式13のように誘導できる。
[数式13]
pTopDsY[x]=(pY[2*x][-3]+pY[2*x--1][-2]+4*pY[2*x][-2]+pY[2*x+1][-2]+pY[2*x][-1]+4)>>3
【0210】
これに対し、上側隣接領域が輝度ブロックとは異なるCTUに属する場合、ダウンサンプリングされた上側隣接領域の画素pTopDsY[x]は、上側隣接領域の対応画素pY[2*x][-1]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側又は右側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pTopDsY[x]は、下記数式14のように誘導できる。
【0211】
[数式14]
pTopDsY[x]=(pY[2*x-1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2
【0212】
又は、現在ブロックの左上側隣接領域が利用不可能である場合、前記周辺画素は、対応画素の上側又は下側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pTopDsY[0]は、下記数式15のように誘導できる。
【0213】
[数式15]
pTopDsY[0]=(pY[0][-3]+2*pY[0][-2]+pY[0][-1]+2)>>2
【0214】
又は、現在ブロックの左上側隣接領域が利用不可能であり、上側隣接領域が輝度ブロックとは異なるCTUに属する場合、画素pTopDsY[0]は、上側隣接領域の画素pY[0][-1]に設定できる。
【0215】
(実施形態2)
ダウンサンプリングされた上側隣接領域の画素pTopDsY[x](x=0..numSampT-1)は、上側隣接領域が輝度ブロックとは異なるCTUに属するか否かを考慮して誘導できる。
【0216】
上側隣接領域が輝度ブロックと同じCTUに属する場合、ダウンサンプリングされた上側隣接領域の画素pTopDsY[x]は、上側隣接領域の対応画素pY[2*x][-2]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の下側、左側、右側、左下側又は右下側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pTopDsY[x]は、下記数式16のように誘導できる。
【0217】
[数式16]
pTopDsY[x]=(pY[2*x-1][-2]+pY[2*x-1][-1]+2*pY[2*x][-2]+2*pY[2*x][-1]+pY[2*x+1][-2]+pY[2*x+1][-1]+4)>>3
【0218】
これに対し、上側隣接領域が輝度ブロックとは異なるCTUに属する場合、ダウンサンプリングされた上側隣接領域の画素pTopDsY[x]は、上側隣接領域の対応画素pY[2*x][-1]及び周辺画素に基づいて誘導できる。周辺画素は、対応画素の左側又は右側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pTopDsY[x]は、下記数式17のように誘導できる。
【0219】
[数式17]
pTopDsY[x]=(pY[2*x-1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2
【0220】
又は、現在ブロックの左上側隣接領域が利用不可能である場合、前記周辺画素は、対応画素の上側又は下側のうちの少なくとも一つの方向に隣接する画素を意味することができる。例えば、画素pTopDsY[0]は、下記数式18のように誘導できる。
【0221】
[数式18]
pTopDsY[0]=(pY[0][-2]+pY[0][-1]+1)>>1
【0222】
又は、現在ブロックの左上側隣接領域が利用不可能であり、上側隣接領域が輝度ブロックとは異なるCTUに属する場合、画素pTopDsY[0]は、上側隣接領域の画素pY[0][-1]に設定できる。
【0223】
同様に、上側隣接領域のダウンサンプリングは、前述した実施形態1及び2のうちのいずれかに基づいて行われ得る。この時、所定のフラグに基づいて実施形態1又は2のうちのいずれかが選択できる。前記フラグは、ダウンサンプリングされた輝度画素が原輝度画素と同じ位置を持つか否かを示し、これは、前述したとおりである。
【0224】
一方、上側隣接領域に対するダウンサンプリングは、numSampT値が0よりも大きい場合に限って行われ得る。numSampT値が0よりも大きい場合とは、現在ブロックの上側隣接領域が利用可能であり、現在ブロックのイントラ予測モードはINTRA_LT_CCLM又はINTRA_T_CCLMである場合を意味することができる。
【0225】
図8を参照すると、色差ブロックの成分間参照のためのパラメータを誘導することができる(S830)。
【0226】
前記パラメータは、重み又はオフセットのうちの少なくとも一つを含むことができる。前記パラメータは、現在ブロックのイントラ予測モードを考慮して決定できる。前記パラメータは、輝度領域の画素又は色差ブロックの左側/上側隣接領域の画素のうちの少なくとも一つを用いて誘導できる。ここで、輝度領域は、輝度ブロック、輝度ブロックの上側/左側隣接領域を含むことができる。前記輝度領域は、前述したダウンサンプリングが適用された領域を意味することができる。
【0227】
前記パラメータは、前記輝度領域と色差ブロックの隣接領域に属する全体画素又は一部画素を用いて誘導できる。
【0228】
輝度領域の一部画素を特定し、色差ブロックの一部画素は、特定された輝度領域の一部画素に対応する位置の画素として決定できる(実施形態1)。輝度領域の一部画素は、輝度ブロックの上側及び左側隣接領域からそれぞれ抽出できる。上側隣接領域から抽出される一部画素の個数(numSampT)は、左側隣接領域から抽出される一部画素の個数(numSampL)と同一であってもよく、輝度ブロックの大きさ/形状によって異なってもよい。例えば、N*M輝度ブロックにおいて、NがMよりも大きい場合には、numSampTはnumSampLよりも大きく、NはMよりも小さい場合には、numSampTはnumSampLよりも小さくなるように設定できる。又は、輝度ブロックの大きさが所定の閾値の大きさよりも小さい場合には、numSampT又はnumSampLのうちの少なくとも一つはi個に決定され、iは2、3、4、又はそれ以上の自然数であることができる。逆に、輝度ブロックの大きさが所定の閾値の大きさよりも大きい場合には、numSampT又はnumSampLのうちの少なくとも一つはj個に決定され、jはiよりも大きい自然数(例えば、3、4、5)であることができる。又は、一部画素は、輝度ブロックの上側隣接領域のみから抽出されるか、或いは左側隣接領域のみから抽出されるように制限されることもある。この場合にも、前述したように、輝度ブロックの大きさ/形状に応じてnumSampT又はnumSampLが決定できるのはもちろんである。前記一部画素の位置は、符号化/復号化装置に既に約束された位置であることができる。例えば、輝度ブロックの上側隣接領域が8つの画素で構成された場合には、一部画素は左から右方向に奇数番目に位置する4つの画素のうちの少なくとも一つに決定されるか、或いは偶数番目に位置する4つの画素のうちの少なくとも一つに決定され得る。又は、前記一部画素は、左から右方向に奇数番目に位置する二つの画素のうちの少なくとも一つ、及び右から左方向に偶数番目に位置する二つの画素のうちの少なくとも一つを含むことができる。輝度ブロックの上側/左側隣接領域がそれぞれ4つの画素で構成された場合には、一部画素は上側/左側隣接領域からそれぞれ一つ又は二つの画素を抽出することができる。このとき、上側隣接領域において、奇数番目に位置する二つの画素のうちの少なくとも一つに決定されるか、或いは偶数番目に位置する二つの画素のうちの少なくとも一つに決定され得る。又は、上側隣接領域において、一番目と最終目に位置する二つの画素のうちの少なくとも一つに決定されてもよい。左側隣接領域からも同様の方式で一部画素が抽出できる。
【0229】
又は、逆に、色差ブロックの隣接領域内の一部画素を特定し、輝度領域の一部画素は、前記色差ブロックの隣接領域内の一部画素に対応する位置の画素に決定できる(実施形態2)。ここで、色差ブロックの隣接領域内の一部画素、前述した輝度領域の一部画素を決定する方法によって決定でき、重複説明は省略する。
【0230】
前記抽出された一部画素から最大値及び最小値を、輝度領域と色差領域に対してそれぞれ算出することができる。前記最大値及び最小値は、複数の一部画素のうち、最大値及び最小値にそれぞれ決定できる。又は、複数の画素間の大きさの比較によって、複数の画素を降順で整列することができる。このとき、上位t個の画素間の平均が最大値に設定され、下位t個の画素間の平均が最小値に設定され得る。tは1、2、3又はそれ以上の自然数であることができる。
【0231】
前記算出された最大値及び最小値に基づいて、前記パラメータの重み及び/又はオフセットを誘導することができる。
【0232】
色差ブロックは、ダウンサンプリングされた輝度ブロックとパラメータに基づいて予測できる(S840)。
【0233】
色差ブロックは、ダウンサンプリングされた輝度ブロックの画素に、既に誘導された重み又はオフセットのうちの少なくとも一つを適用して予測できる。
【0234】
予測を行う様々な方法が存在しうるが、空間的又は時間的な相関性に基づいて予測を行う方法がそれに対する例になることができる。
【0235】
空間的相関性に基づいた一例として、対象ブロックに対して、隣接する領域の既に符号化/復号化された画素を用いて外挿、内挿、平均、コピーなどの方法を使用することができる。又は、対象ブロックに対して、既に符号化/復号化が完了した参照領域でブロックマッチング、テンプレートマッチングなどの方法を使用することができる。このとき、参照領域は、現在ピクチャに制限される場合であり得る。
【0236】
時間的相関性に基づいた一例として、対象ブロックに対して、既に符号化/復号化された参照領域でブロックマッチングの方法を使用することができるか、或いはテンプレートマッチングの方法を使用することができる。このとき、参照領域は、他のピクチャに制限される場合であり得る。
【0237】
一般に、予測は、前記相関性に基づいて行われ得るが、前記例の場合、参照領域(現在ピクチャ/他のピクチャ)に基づいて予測を区分する場合に属することができる。このように、予測は、前記参照領域だけでなく、さまざまな要素によって区分が可能である。例えば、参照領域、参照位置、予測方法などがそれに対する例になることができる。
【0238】
前記様々な要素によって予測が一つ以上の候補として定義され、それに基づいて予測を行う場合について考察する。
【0239】
以下、参照領域が制限(本例では現在ピクチャ)される場合に、予測が他の要素によって複数の候補に区分される場合を説明する。詳細には、空間的な相関性に基づいて予測が行われ、予測方法によって次の二つの候補に区分される場合を仮定する。もちろん、これに限定されず、追加の候補が支援されるか或いは予測を区分する要素が異なるように構成される変形の例も可能である。
【0240】
1)隣接する領域のデータに外挿、内挿、平均によって予測を行う
2)既に符号化/復号化された領域でブロックマッチングによって予測を行う
ここで、1番の場合は、所定の方向性モード、非方向性モードなどを予測モード候補群として構成し、その中の少なくとも一つを選択して予測モード情報を表現することができる。2番の場合は、動きベクトル情報、参照ピクチャ情報などで予測モード情報を表現することができる。
【0241】
前記各予測方法は、明示的に支援有無を示す情報によって活性化できるか、或いは黙示的に支援有無が決定できる。本例では、1番は、黙示的に活性化(支援)され、2番は、明示的に支援有無を示す情報によって活性化される場合を仮定する。
【0242】
対象ブロックの予測のために、前記予測方法のうちのいずれかを用いて予測を行うことができるが、これに関する選択情報が発生することができる。そして、選択された予測方法に応じて、後続の予測情報(予測モード情報など)が発生しうるが、このための様々なフラグ(シンタックス)の構成が可能である。以下、
図9~
図12を参照して、予測方法を決定する方法について詳しく説明する。後述する例が適用される単位(現在ブロック)は、符号化単位、予測単位、変換単位のうちのいずれか一つであることができる。
【0243】
図9を参照すると、予測方法選択情報(pred_mode_flag)を確認し、それに応じて1番方法又は2番方法のうちのいずれか一つが選択されると、それによる予測モード情報(intra_mode_information又はmotion_information)を確認し、前記予測方法及び予測モード情報に基づいて予測を行うことができる。
【0244】
intra_mode_informationは、外挿、内挿、平均の予測モードを意味し、intra_pred_modeのように全体予測モードを一つの候補群として構成し、その中から選択するようにする構成又はmpm_flag、mpm_idx、remaining_modeなどのように全体予測モードを所定の基準に基づく区分によって複数の候補群として構成し、候補群の選択おおび選択された候補群の中から選択するようにする構成などが可能である。これについての説明は、前述した例によって誘導可能なので、詳細な説明は省略する。
【0245】
motion_informationは、動き予測モード(Skip/Merge/AMVP)、動きベクトル予測情報、動き差分値情報、参照領域選択情報、動きモデル選択情報、予測方向情報、動きベクトルの精度(又は動きベクトル差分値の精度)情報のうちの少なくとも一つを含むことができる。
【0246】
前記動きベクトル予測は、現在ブロックを中心に、現在ピクチャで左、上、左上、右上、左下方向に最隣接するブロックの動きベクトルの中から予測できるが、これに限定されず、水平又は垂直方向に所定の距離(m、n)だけ離れたブロックの動きベクトルも予測値とすることができる。ここで、mとnは4、8、16又はそれ以上の整数であり、最小予測単位(又は符号化単位、変換単位など)の幅と高さよりも大きいか同じであり得る。つまり、現在ブロックの以前に、既に符号化/復号化されたブロックの動きベクトルに基づいて予測できる。このとき、最隣接していないブロックの動きベクトルの場合、現在ブロックを基準に符号化の順序に基づいてFIFO方式で管理できる。
【0247】
また、他のピクチャで現在ブロックと対応するブロックを中心に左、右、上、下、左上、右上、左下、右下、中央方向に位置するブロックの動きベクトルの中から予測されることもできる。又は、デフォルト値を持つ(c、d)を動きベクトルの予測値として使用することができ、(0、0)の値を持つことができるが、これらに限定されない。
【0248】
前記動きモデル選択情報は、移動動きモデル又は移動外の動きモデルで候補が構成でき、これを、現在ブロックの動きを表現する動きベクトルの個数(1、2、3又はそれ以上の整数)に区分することができるが、これに限定されない。また、前記動きベクトルの精度は、1/4、1/2、1、2、4など、2の冪乗であり得る。この時、冪指数は、0を含む正又は負の符号を持つ整数(1、2又はそれ以上の整数)であることができる。
【0249】
ここで、予測方法選択情報は、予測方法によって区分できる。ブロックマッチングの方法(2番)が選択されると、一般的なブロックマッチングに関する情報(motion_information)が発生しうる。ここで、参照領域(参照ピクチャ)が何なのかを確認するために、参照ピクチャリストに現在ピクチャを含んで構成できる。つまり、ref_idxのような情報などが従来のように発生するが、ref_idxの候補群のリストに現在ピクチャを含むことができる。
【0250】
上記の説明は、P又はB画像タイプに適用される説明であることができ、I画像タイプでも同様に適用できるが、I画像タイプでは、参照領域に対する情報が黙示的に定められることができるので、省略可能である。その理由としては、参照領域が現在ピクチャしかないので、ref_idxなどの情報は省略され、残りは一般的なブロックマッチングと同一又は類似の情報が発生しうる。
【0251】
どの画像タイプであれ、予測方法選択情報が発生することができる。つまり、I画像タイプでも予測方法選択情報が発生することができる。すなわち、ブロックマッチング(ibc、intra block copy)は、I画像タイプにおいても支援できる。
【0252】
図10を参照すると、予測方法選択情報(pred_mode_flag_A)を確認し、それに応じて、現在ピクチャを参照するか、それとも他のピクチャを参照するかを決定することができる。もし他のピクチャを参照すると決定された場合(pred_mode_flag_AがY。すなわち、1)、それによる予測モード情報(motion_information_A)を確認する。もし現在ピクチャを参照すると決定された場合(pred_mode_flag_AがN。すなわち、0)、1番方法又は2番方法のうちのいずれかを選択することができる。選択された候補に応じて、それによる予測モード情報(intra_mode_information又はmotion_information_B)を確認することができる。前記予測方法及び予測モード情報に基づいて予測を行うことができる。
【0253】
ここで、予測方法選択情報は、(条件付きの)複数のフラグで構成できる。本例において、一つ(pred_mode_flag_A)は参照領域を区分するために使用され、他の一つ(pred_mode_flag_B)は(参照領域が現在ピクチャに制限されたとき)予測方法を区分するために使用され得る。ここで、他の一つ(pred_mode_flag_B)に関する予測方法選択情報は、条件付きで発生することができる。
【0254】
上記の説明は、P又はB画像タイプに適用される説明であり得る。I画像タイプでは、参照領域が現在ピクチャに限定されるので、pred_mode_flag_A確認過程が省略され、pred_mode_flag_Bを確認する過程から始めることができる。
【0255】
ここで、motion_information_Aとmotion_information_Bは、参照領域に関する情報構成などにおいて差異が存在することができ、後述する情報以外の構成は同一又は類似であり得る。
【0256】
例えば、motion_information_Aでは、現在ピクチャとは異なるピクチャを対象に参照ピクチャリストを構成して参照ピクチャ情報を処理し、motion_information_Bでは、参照ピクチャに関する情報が省略できる。
【0257】
又は、motion_information_Aでは、前方向又は後方向を予測方向情報に関する候補として構成することができ、motion_information_Bでは、予測方向情報が省略できる。
【0258】
又は、動きベクトル予測に参照されるブロックの構成として、motion_information_Aでは空間的に隣接するブロックと時間的に隣接するブロックを対象とし、motion_information_Bでは空間的に隣接するブロックを対象とすることができ、空間的に隣接するブロックの詳細構成が同一か同一でないことができる。また、動きベクトル予測のためのデフォルト値が同じか同じでないように構成できる。
【0259】
又は、動きモデル選択情報に関する候補構成として、motion_information_Aでは1~3個の動きベクトルを使用する動きモデルを候補群に置くことができ、motion_information_Bでは一つの動きベクトルを使用する動きモデルを候補群に置くことができる。
【0260】
又は、動きベクトルの精度情報に関する候補構成として、motion_information_Aでの指数の範囲は、0を含む正と負の符号を持つ整数であることができ、motion_information_Bでの指数の範囲は、0以上の正の符号を持つ整数であることができる。
【0261】
上記の例は、一部の予測方法選択情報が先行する場合を説明するが、順序が変更される場合も可能である。つまり、1番と2番のうちのどの方式で予測するかを決定(pred_mode_flag_B)した後、その中から2番が選択されると、参照領域を現在ピクチャにするか、他のピクチャにするかを決定(pred_mode_flag_A)することができる。これも、P又はB画像タイプでは前記順序変更が可能であり、I画像タイプでは参照領域として選択する部分を省略することができる。
【0262】
図11を参照すると、予測方法選択情報(pred_mode_flag_A、pred_mode_flag_B)を確認し、参照領域を現在ピクチャにするか、他のピクチャにするかを決定(pred_mode_flag_A)し、1番又は2番のうちのどの方式で予測するかを決定(pred_mode_flag_B)することができる。以前の例の場合、条件付きで予測方法選択情報を確認したら、本例は、各予測方法選択情報を全て確認することが異なり得る。
【0263】
前記予測方法選択情報に基づいて、もし参照領域が現在ピクチャであり、1番が選択されると、それによる予測モード情報(intra_mode_information)を確認することができる。もし参照領域が現在ピクチャであり、2番が選択されると、それによる予測モード情報(motion_information_B)を確認することができる。もし参照領域が他のピクチャであり、2番が選択されると、それによる予測モード情報(motion_information_A)を確認することができる。
【0264】
本例におけるmotion_information_Aとmotion_information_Bの場合、以前の例と同様の設定が可能である。
【0265】
上記の説明は、P又はB画像タイプに適用される説明であることができる。I画像タイプでは、参照領域に関する予測方法選択情報(pred_mode_flag_A)を確認するか、或いは関連して後続する部分を除いて説明できる。
【0266】
図12を参照すると、予測方法選択情報(pred_mode_flag)を確認することができる。もしpred_mode_flagの値が0であれば、1番の方法が選択され、1番の方法による予測モード情報(intra_mode_information)を確認することができる。もしpred_mode_flagの値が1であれば、現在ピクチャを参照する2番の方法が選択され、2番の方法による予測モード情報(motion_information_B)を確認することができる。もしpred_mode_flagの値が2である場合、他のピクチャを参照する2番の方法が選択され、2番の方法による予測モード情報(motion_information_A)を確認することができる。
【0267】
本例では、予測方法選択情報は一つのフラグで処理するが、これに対するインデックスは二つ以上に定義できる。
【0268】
上記の説明は、P又はB画像タイプに適用される説明であることができる。I画像タイプでは適用されないことがある。つまり、I画像タイプでは、予測方法選択情報は0又は1の値を有し、P又はB画像タイプでは、予測方法選択情報は0、1、2の値を有することができる。本例では、現在ピクチャを参照する候補を0番と1番に優先配置し、他のピクチャを参照する候補を2番に配置して、画像タイプに応じたインデックスの再配置を行わないようにする構成であるが、これに限定されず、別の順序でインデックスを割り当てることもできる。
【0269】
前述した予測方法選択情報の全部又は一部は、ブロックの属性を考慮して選択的にシグナリングできる。ここで、ブロックの属性は、スキップモードか否か、画像タイプ(slice type)、ブロックの大きさ、予測タイプ又は分割タイプのうちの少なくとも一つを含むことができる。ここで、予測タイプは、イントラ予測及び/又はブロックマッチングモード(ibcモード)を含む第1予測タイプ、インター予測を含む第2予測タイプ及びイントラ予測、ブロックマッチングモード及びインター予測を含む第3予測タイプに区分できる。ブロックマッチングモードは、既に符号化/復号化された領域に基づいて現在ブロックを予測するが、前記既に符号化/復号化された領域は、所定のブロックベクトル(block vector)によって特定される領域を意味することができる。前記既に符号化/復号化された領域は、前記現在ブロックが属する現在ピクチャに属する領域であることができる。インター予測は、動きベクトルによって特定された参照領域に基づいて行われるという点でブロックマッチングモードと類似であるが、インター予測は、現在ブロックとは異なる時間帯に位置するピクチャを参照するという点で異なる。
【0270】
例えば、予測方法選択情報の一つであるpred_mode_flag_Aは、現在ブロックがスキップモードで符号化されていない場合(条件1)、現在ブロックが属するスライスの画像タイプがIスライスではない場合(条件2)、現在ブロックの大きさが4×4ではない場合(条件3)、又は予測タイプが第3予測タイプである場合(条件4)のうちの少なくとも一つを満たす場合に限ってシグナリングできる。
【0271】
但し、前記条件を満たさない場合、pred_mode_flag_Aはシグナリングされないことがある。この場合、前記pred_mode_flag_Aは、復号化装置において、ブロックの大きさ、予測タイプ又は画像タイプのうちの少なくとも一つに基づいて誘導できる。例えば、現在ブロックが4×4である場合には、pred_mode_flag_Aは1に誘導できる。又は、現在ブロックに関する予測タイプが第1予測タイプである場合、pred_mode_flag_Aは1に誘導できる。又は、現在ブロックに関する予測タイプが第2予測タイプである場合、pred_mode_flag_Aは0に誘導できる。又は、現在ブロックが属するスライスの画像タイプがIスライスである場合には、pred_mode_flag_Aは1に誘導され、そうでない場合には、pred_mode_flag_Aは0に誘導され得る。
【0272】
一方、予測方法選択情報の一つであるpred_mode_flag_Bは、スキップモードか否か、画像タイプ、ブロックの大きさ、予測モード、予測タイプ又は分割タイプのうちの少なくとも一つを考慮してシグナリングできる。
【0273】
例えば、現在ブロックが属するスライスの画像タイプがIスライスであり、現在ブロックがスキップモードで符号化されていない場合には、前記pred_mode_flag_Bはシグナリングできる。又は、現在ブロックが属するスライスの画像タイプがIスライスではなく、現在ブロックの予測モードがイントラ予測ではない場合には、前記pred_mode_flag_Bはシグナリングできる。又は、現在ブロックが属するスライスの画像タイプがIスライスではなく、現在ブロックが4×4であり、現在ブロックがスキップモードで符号化されていない場合には、前記pred_mode_flag_Bはシグナリングできる。又は、現在ブロックの幅又は高さのうちの少なくとも一つが64よりも小さい場合に限り、前記pred_mode_flag_Bはシグナリングできる。前記現在ブロックに関する予測タイプが第2予測タイプではない場合に限り、前記pred_mode_flag_Bはシグナリングできる。
【0274】
一方、前述した条件を満たさない場合、前記pred_mode_flag_Bはシグナリングされないことがある。この場合、前記pred_mode_flag_Bは、復号化装置において、ブロックの大きさ、予測タイプ又は画像タイプのうちの少なくとも一つに基づいて誘導できる。例えば、現在ブロックが128×128である場合、pred_mode_flag_Bは0に誘導できる。又は、現在ブロックに関する予測タイプが第2予測タイプである場合には、pred_mode_flag_Bは0に誘導できる。又は、現在ブロックが属するスライスの画像タイプがIスライスである場合には、pred_mode_flag_Bは0又は1で誘導され、そうでない場合には、pred_mode_flag_Bは0に誘導され得る。ここで、現在ブロックが属するスライスの画像タイプがIスライスである場合には、pred_mode_flag_Bは、ブロックマッチングが許容されるか否かを示すフラグに基づいて誘導できる。例えば、pred_mode_flag_Bは、前記フラグと同じ値に誘導できる。前記フラグは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダのうちの少なくとも一つでシグナリングできる。
【0275】
図9~
図12による実施形態のうちの少なくとも一つに基づいて現在ブロックに対する予測方法を選択することができ、選択された予測方法がイントラ予測である場合、
図6又は
図8によるイントラ予測を行うことができる。
【0276】
本開示の例示的な方法は、説明の明確性のために、動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合にはそれぞれのステップが同時に又は異なる順序で行われてもよい。本開示による方法を実現するために、例示するステップに加えて他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。
【0277】
本開示の様々な実施形態は、すべての可能な組み合わせを羅列したのではなく、本開示の代表的な様相を説明するためのものであり、様々な実施形態で説明する事項は、独立して適用されてもよく、二つ以上の組み合わせで適用されてもよい。
【0278】
また、本開示の様々な実施形態は、ハードウェア、ファームウェア(firmware)、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、一つ又はそれ以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、汎用プロセッサ(general processor)、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【0279】
本開示の範囲は、様々な実施形態の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン-実行可能な命令(例えば、オペレーティングシステム、アプリケーション、ファームウェア(firmware)、プログラムなど)、及びこのようなソフトウェア又は命令などが格納されて装置又はコンピュータ上で実行可能な非一時的コンピュータ可読媒体(non-transitory computer-readable medium)を含む。
【産業上の利用可能性】
【0280】
本発明は、ビデオ信号を符号化/復号化するために利用可能である。
【手続補正書】
【提出日】2024-02-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
所定のイントラ予測モード候補群に基づいて、現在色差ブロックのイントラ予測モードを誘導するステップと、
前記前記イントラ予測モードに基づいて、現在ブロックに対してイントラ予測を行うステップと、を含み、
前記所定のイントラ予測モード候補群は、第1グループと第2グループに区分され、
前記第1グループは、少なくとも1つの成分間予測モードを含み、前記第2グループは、輝度成分に対して定義された少なくとも1つのイントラ予測モードを含み、
前記現在色差ブロックのイントラ予測モードは、前記第1グループ又は前記第2グループのうちのいずれかを選択的に用いて誘導される、画像復号化方法。
【請求項2】
前記第1グループは、3つの成分間予測モードで構成される、請求項1に記載の画像復号化方法。
【請求項3】
ビットストリームから第1フラグを取得するステップをさらに含み、
前記現在色差ブロックのイントラ予測モードは、前記第1フラグに基づいて選択された前記第1グループ又は前記第2グループのうちのいずれかから誘導される、請求項1に記載の画像復号化方法。
【請求項4】
前記第1フラグの値が第1値である場合、前記現在色差ブロックのイントラ予測モードは、前記ビットストリームから取得された第1インデックス情報に基づいて前記第1グループから誘導され、
前記第1フラグの値が第2値である場合、前記現在色差ブロックのイントラ予測モードは、前記ビットストリームから取得された第2インデックス情報に基づいて前記第2グループから誘導される、請求項3に記載の画像復号化方法。
【請求項5】
前記現在色差ブロックのイントラ予測モードが成分間予測モードである場合、色差成分と輝度成分との間における相関性を誘導するステップと、
前記相関性に基づいて前記現在色差ブロックに対して成分間予測を行うステップと、をさらに含む、請求項1に記載の画像復号化方法。
【請求項6】
前記相関性を誘導するステップは、複数の輝度サンプルを用いてダウンサンプリングされた輝度サンプルを誘導するステップを含む、請求項5に記載の画像復号化方法。
【請求項7】
現在色差ブロックのイントラ予測モードを決定するステップであって、前記イントラ予測モードは、所定のイントラ予測モード候補群に基づいて符号化されるステップと、
前記イントラ予測モードに基づいて、現在ブロックに対してイントラ予測を行うステップと、を含み、
前記所定のイントラ予測モード候補群は、第1グループと第2グループに区分され、
前記第1グループは、少なくとも1つの成分間予測モードを含み、前記第2グループは、輝度成分に対して定義された少なくとも1つのイントラ予測モードを含み、
前記現在色差ブロックのイントラ予測モードは、前記第1グループ又は前記第2グループのうちのいずれかを選択的に用いて誘導される、画像符号化方法。
【請求項8】
画像符号化方法により生成されたビットストリームを格納するコンピュータ可読記録媒体であって、
前記画像符号化方法が、
現在色差ブロックのイントラ予測モードを決定するステップであって、前記イントラ予測モードは、所定のイントラ予測モード候補群に基づいて符号化されるステップと、
前記イントラ予測モードに基づいて、現在ブロックに対してイントラ予測を行うステップと、を含み、
前記所定のイントラ予測モード候補群は、第1グループと第2グループに区分され、
前記第1グループは、少なくとも1つの成分間予測モードを含み、前記第2グループは、輝度成分に対して定義された少なくとも1つのイントラ予測モードを含み、
前記現在色差ブロックのイントラ予測モードは、前記第1グループ又は前記第2グループのうちのいずれかを選択的に用いて誘導される、コンピュータ可読記録媒体。
【外国語明細書】