▶ 現代自動車株式会社の特許一覧 ▶ 起亞自動車株式会社の特許一覧 ▶ ディジタルインサイツ、インコーポレイテッドの特許一覧
特表2024-536454幾何学的イントラ予測モードを利用するビデオコーディング方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-04
(54)【発明の名称】幾何学的イントラ予測モードを利用するビデオコーディング方法及び装置
(51)【国際特許分類】
H04N 19/593 20140101AFI20240927BHJP
H04N 19/70 20140101ALI20240927BHJP
【ＦＩ】
H04N19/593
H04N19/70
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024521289
(86)(22)【出願日】2022-09-05
(85)【翻訳文提出日】2024-04-04
(86)【国際出願番号】 KR2022013245
(87)【国際公開番号】W WO2023075124
(87)【国際公開日】2023-05-04
(31)【優先権主張番号】10-2021-0143104
(32)【優先日】2021-10-25
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0111277
(32)【優先日】2022-09-02
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】591251636
【氏名又は名称】現代自動車株式会社
【氏名又は名称原語表記】ＨＹＵＮＤＡＩ ＭＯＴＯＲ ＣＯＭＰＡＮＹ
【住所又は居所原語表記】１２， Ｈｅｏｌｌｅｕｎｇ－ｒｏ， Ｓｅｏｃｈｏ－ｇｕ， Ｓｅｏｕｌ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(71)【出願人】
【識別番号】500518050
【氏名又は名称】起亞株式会社
【氏名又は名称原語表記】ＫＩＡ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】１２， Ｈｅｏｌｌｅｕｎｇ－ｒｏ， Ｓｅｏｃｈｏ－ｇｕ， Ｓｅｏｕｌ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(71)【出願人】
【識別番号】524131567
【氏名又は名称】ディジタルインサイツ、インコーポレイテッド
【氏名又は名称原語表記】ＤＩＧＩＴＡＬＩＮＳＩＧＨＴＳ ＩＮＣ．
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100127465
【弁理士】
【氏名又は名称】堀田 幸裕
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100124372
【弁理士】
【氏名又は名称】山ノ井 傑
(72)【発明者】
【氏名】アン、ヨンジョ
(72)【発明者】
【氏名】リー、ジョンソク
(72)【発明者】
【氏名】ホ、ジン
(72)【発明者】
【氏名】パク、スンウク
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LC09
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP04
5C159RC12
5C159TA31
5C159TB08
5C159TC42
5C159TD15
5C159UA02
5C159UA05
(57)【要約】
幾何学的イントラ予測モードを用いるビデオコーディング方法及び装置に関する開示として、本実施例は、２つの異なるイントラ予測モードを用いて２つのイントラ予測子（intra predictors）を生成した後、幾何学的ブロック分割（geometric block partition）に基づく画素単位の加重値を用いて２つのイントラ予測子を加重和することで最終イントラ予測子を生成するビデオコーディング方法及び装置を提供する。
【特許請求の範囲】
【請求項1】
映像復号化装置が遂行する、現在ブロックをイントラ予測する方法において、ビットストリームから幾何学的（geometric）イントラ予測フラグを復号化するステップであって、前記幾何学的イントラ予測フラグは前記現在ブロックに対して幾何学的イントラ予測モードの使用如何を指示する、ステップ、及び、
前記幾何学的イントラ予測フラグを確認するステップ
を含み、
前記幾何学的イントラ予測フラグが真である場合、
前記ビットストリームから幾何学的分割情報インデックス、第１のイントラ予測モードインデックス、及び第２のイントラ予測モードインデックスを復号化するステップと、
前記現在ブロックのイントラ予測のための予測モードを含むリストを生成するステップと、
前記第１のイントラ予測モードインデックスを用いて前記リストから第１のイントラ予測モードを選択するステップと、
前記第１のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第１のイントラ予測子を生成するステップと、
前記第２のイントラ予測モードインデックスを用いて前記リストから第２のイントラ予測モードを選択するステップと、
前記第２のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第２のイントラ予測子を生成するステップと、
前記幾何学的分割情報インデックスを用いて加重値を獲得するステップであって、前記加重値は、前記第１のイントラ予測子のための第１の加重値、及び第２のイントラ予測子のための第２の加重値を含む、ステップ、及び、
前記加重値を用いて前記第１のイントラ予測子と第２のイントラ予測子を加重和して前記現在ブロックの最終イントラ予測子を生成するステップと、
を含むことを特徴とする、方法。
【請求項2】
さらに、前記リストから前記第１のイントラ予測モードを除いて前記リストを再整列するステップを含むことを特徴とする、請求項１に記載の方法。
【請求項3】
前記加重値を獲得するステップは、前記幾何学的分割情報インデックスを用い、前記現在ブロックを二分割する直線に対し、角度インデックス及び距離インデックスを獲得し、前記角度インデックスは、前記直線と直交する線分の角度を示すインデックスであり、前記距離インデックスは前記直線との距離を示すインデックスであることを特徴とする、請求項１に記載の方法。
【請求項4】
前記加重値を獲得するステップは、前記現在ブロックのサイズ、前記角度インデックス、及び前記距離インデックスを用い、前記現在ブロック内の画素に対し、前記画素と前記直線との間の実際の距離を算定することを特徴とする、請求項３に記載の方法。
【請求項5】
前記加重値を獲得するステップは、前記実際の距離に基づき、前記現在ブロック内の画素に対して前記第１の加重値と前記第２の加重値を算定し、前記現在ブロック内の画素ごとに前記第１のイントラ予測子の加重値と、前記第２のイントラ予測子の加重値の和は１であることを特徴とする、請求項４に記載の方法。
【請求項6】
前記加重値を獲得するステップは、前記直線によって二分割された現在ブロックの領域のそれぞれに対し、各領域でより大きな加重値を用いる予測子は、前記イントラ予測に用いられる参照サンプルに基づいて決定されることを特徴とする、請求項３に記載の方法。
【請求項7】
映像符号化装置が遂行する、現在ブロックをイントラ予測する方法において、幾何学的（geometric）イントラ予測フラグを決定するステップであって、前記幾何学的イントラ予測フラグは前記現在ブロックに対して幾何学的イントラ予測モードの使用如何を指示する、ステップ、及び、
前記幾何学的イントラ予測フラグを確認するステップ
を含み、
前記幾何学的イントラ予測フラグが真である場合、
幾何学的分割情報インデックスを決定するステップと、
前記現在ブロックのイントラ予測のためのイントラ予測モードを含むリストを生成するステップと、
第１のイントラ予測モードを決定するステップと、
前記第１のイントラ予測モードに対して前記リストから第１のイントラ予測モードインデックスを決定するステップと、
前記第１のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第１のイントラ予測子を生成するステップと、
第２のイントラ予測モードを決定するステップと、
前記第２のイントラ予測モードに対して前記リストから第２のイントラ予測モードインデックスを決定するステップと、
前記第２のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第２のイントラ予測子を生成するステップと、
前記幾何学的分割情報インデックスを用いて加重値を獲得するステップであって、前記加重値は、前記第１のイントラ予測子のための第１の加重値、及び前記第２のイントラ予測子のための第２の加重値を含む、ステップ、及び、
前記加重値を用いて前記第１のイントラ予測子と第２のイントラ予測子を加重和して前記現在ブロックの最終イントラ予測子を生成するステップと、
を含むことを特徴とする、方法。
【請求項8】
さらに、前記リストから前記第１のイントラ予測モードを除いて前記リストを再整列するステップを含むことを特徴とする、請求項７に記載の方法。
【請求項9】
さらに、前記幾何学的イントラ予測フラグを符号化するステップを含むことを特徴とする、請求項７に記載の方法。
【請求項10】
前記幾何学的イントラ予測フラグが真である場合、さらに、前記幾何学的分割情報インデックス、前記第１のイントラ予測モードインデックス、及び前記第２のイントラ予測モードインデックスを符号化するステップを含むことを特徴とする、請求項９に記載の方法。
【請求項11】
映像符号化方法によって生成されたビットストリームを保存するコンピュータの読み取り可能な記録媒体であって、前記映像符号化方法は、幾何学的（geometric）イントラ予測フラグを決定するステップであって、前記幾何学的イントラ予測フラグは現在ブロックに対して幾何学的イントラ予測モードの使用如何を指示する、ステップ、及び、
前記幾何学的イントラ予測フラグを確認するステップ
を含み、
前記幾何学的イントラ予測フラグが真である場合、
幾何学的分割情報インデックスを決定するステップと、
前記現在ブロックのイントラ予測のためのイントラ予測モードを含むリストを生成するステップと、
第１のイントラ予測モードを決定するステップと、
前記第１のイントラ予測モードに対して前記リストから第１のイントラ予測モードインデックスを決定するステップと、
前記第１のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第１のイントラ予測子を生成するステップと、
第２のイントラ予測モードを決定するステップと、
前記第２のイントラ予測モードに対して前記リストから第２のイントラ予測モードインデックスを決定するステップと、
前記第２のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第２のイントラ予測子を生成するステップと、
前記幾何学的分割情報インデックスを用いて加重値を獲得するステップであって、前記加重値は、前記第１のイントラ予測子のための第１の加重値、及び前記第２のイントラ予測子のための第２の加重値を含む、ステップ、及び、
前記加重値を用いて前記第１のイントラ予測子と第２のイントラ予測子を加重和して前記現在ブロックの最終イントラ予測子を生成するステップと、
を含むことを特徴とする、記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、幾何学的イントラ予測モードを利用するビデオコーディング方法及び装置に関する。
【背景技術】
【0002】
以下に記載される内容は、単に本発明に関連される背景情報のみを提供するだけで従来技術を構成するものではない。
【0003】
ビデオデータは音声データや静止画データなどに比べて多くのデータ量を有するため、圧縮のための処理なしにそれ自体を保存又は伝送するためにはメモリを含む多くのハードウェアリソースを必要とする。
【0004】
したがって、通常、ビデオデータを保存又は伝送する際には、符号化器を用いてビデオデータを圧縮して保存又は伝送し、復号化器では圧縮されたビデオデータを受信して圧縮を解除して再生する。このようなビデオ圧縮技術としては、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ（High Efficiency Video Coding）などをはじめ、ＨＥＶＣに比べて約３０％以上の符号化効率を向上させたＶＶＣ（Versatile Video Coding）が存在する。
【0005】
しかし、映像のサイズ及び解像度、フレームレートが徐々に増加しており、これに伴い符号化すべきデータ量も増加しているため、従来の圧縮技術よりも符号化効率が良く画質改善効果も高い新たな圧縮技術が要求される。
【0006】
イントラ予測は、現在ブロックに対して予測を遂行するにあたり、同じピクチャ内の空間的に隣接する周辺画素を用いて予測信号を生成する技術である。既存のビデオ符号化／復号化方法及び装置では、イントラ予測技術の符号化性能を向上させるために増加された個数のイントラ予測モードが使用されるか、又はイントラ予測に利用される、空間的に隣接する周辺画素にフィルタリングが適用されるかである。このイントラ予測技術は、予測信号を生成時に現在ブロックと同じピクチャ内の限られた画素を用いるという制約のため、インター予測技術に比べて予測信号の生成性能が相対的に低い。
【0007】
イントラ予測の予測性能を向上させるために、空間的に隣接する画素以外にも複数のラインバッファ（line buffers）が用いられる。例えば、多重参照ライン（ＭＲＬ、Multiple Reference Line）イントラ予測技術は、１つ又はそれ以上の特定の距離に位置する画素ラインのうちの１つを選択してイントラ予測を遂行する。また、周辺画素と予め定義された行列間の積演算を用いてイントラ予測信号を生成するＭＩＰ（Matrix weighted Intra Prediction）技術も存在する。したがって、ビデオ符号化効率を向上させてビデオ画質を改善するために、イントラ予測方法が追加的に改善される必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本開示は、幾何学的イントラ予測モードを適用するにあたり、２つの異なるイントラ予測モードを用いて２つのイントラ予測子（intra predictors）を生成した後、幾何学的ブロック分割（geometric block partition）に基づく画素単位の加重値を用いて２つのイントラ予測子を加重和することで最終イントラ予測子を生成するビデオコーディング方法及び装置を提供することに目的がある。
【課題を解決するための手段】
【0009】
本開示の実施例によると、映像復号化装置が遂行する、現在ブロックをイントラ予測する方法において、ビットストリームから幾何学的（geometric）イントラ予測フラグを復号化するステップであって、前記幾何学的イントラ予測フラグは、前記現在ブロックに対して幾何学的イントラ予測モードの使用如何を指示する、ステップ、及び、前記幾何学的イントラ予測フラグを確認するステップを含み、前記幾何学的イントラ予測フラグが真である場合、前記ビットストリームから幾何学的分割情報インデックス、第１のイントラ予測モードインデックス、及び第２のイントラ予測モードインデックスを復号化するステップと、前記現在ブロックのイントラ予測のための予測モードを含むリストを生成するステップと、第１のイントラ予測モードインデックスを用いて前記リストから第１のイントラ予測モードを選択するステップと、前記第１のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第１のイントラ予測子を生成するステップと、第２のイントラ予測モードインデックスを用いて前記リストから第２のイントラ予測モードを選択するステップと、前記第２のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第２のイントラ予測子を生成するステップと、前記幾何学的分割情報インデックスを用いて加重値を獲得するステップであって、前記加重値は、前記第１のイントラ予測子のための第１の加重値、及び前記第２のイントラ予測子のための第２の加重値を含む、ステップ、及び、前記加重値を用いて前記第１のイントラ予測子と第２のイントラ予測子を加重和して前記現在ブロックの最終イントラ予測子を生成するステップと、を含むことを特徴とする、方法を提供する。
【0010】
本開示の他の実施例によると、映像符号化装置が遂行する、現在ブロックをイントラ予測する方法において、幾何学的（geometric）イントラ予測フラグを決定するステップであって、前記幾何学的イントラ予測フラグは、前記現在ブロックに対して幾何学的イントラ予測モードの使用如何を指示する、ステップ、及び、前記幾何学的イントラ予測フラグを確認するステップを含み、前記幾何学的イントラ予測フラグが真である場合、幾何学的分割情報インデックスを決定するステップと、前記現在ブロックのイントラ予測のためのイントラ予測モードを含むリストを生成するステップと、第１のイントラ予測モード決定するステップと、前記第１のイントラ予測モードに対して前記リストから第１のイントラ予測モードインデックスを決定するステップと、前記第１のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第１のイントラ予測子を生成するステップと、第２のイントラ予測モードを決定するステップと、前記第２のイントラ予測モードに対して前記リストから第２のイントラ予測モードインデックスを決定するステップと、前記第２のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第２のイントラ予測子を生成するステップと、前記幾何学的分割情報インデックスを用いて加重値を獲得するステップであって、前記加重値は、前記第１のイントラ予測子のための第１の加重値、及び前記第２のイントラ予測子のための第２の加重値を含む、ステップ、及び、前記加重値を用いて前記第１のイントラ予測子と第２のイントラ予測子を加重和して前記現在ブロックの最終イントラ予測子を生成するステップと、を含むことを特徴とする、方法を提供する。
【0011】
本開示の他の実施例によると、映像符号化方法によって生成されたビットストリームを保存するコンピュータの読み取り可能な記録媒体として、前記映像符号化方法は、幾何学的（geometric）イントラ予測フラグを決定するステップであって、前記幾何学的イントラ予測フラグは、現在ブロックに対して幾何学的イントラ予測モードの使用如何を指示する、ステップ、及び、前記幾何学的イントラ予測フラグを確認するステップを含み、前記幾何学的イントラ予測フラグが真である場合、幾何学的分割情報インデックスを決定するステップと、前記現在ブロックのイントラ予測のためのイントラ予測モードを含むリストを生成するステップと、第１のイントラ予測モード決定するステップと、前記第１のイントラ予測モードに対して前記リストから第１のイントラ予測モードインデックスを決定するステップと、前記第１のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第１のイントラ予測子を生成するステップと、第２のイントラ予測モードを決定するステップと、前記第２のイントラ予測モードに対して前記リストから第２のイントラ予測モードインデックスを決定するステップと、前記第２のイントラ予測モードを基盤にして前記現在ブロックに空間的に隣接する画素を用いて前記現在ブロックの第２のイントラ予測子を生成するステップと、前記幾何学的分割情報インデックスを用いて加重値を獲得するステップであって、前記加重値は、前記第１のイントラ予測子のための第１の加重値、及び前記第２のイントラ予測子のための第２の加重値を含む、ステップ、及び、前記加重値を用いて前記第１のイントラ予測子と第２のイントラ予測子を加重和して前記現在ブロックの最終イントラ予測子を生成するステップと、を含むことを特徴とする、記録媒体を提供する。
【発明の効果】
【0012】
以上で説明したように、本実施例によると、幾何学的イントラ予測モードを適用するにあたり、２つの異なるイントラ予測モードを用いて２つのイントラ予測子を生成した後、幾何学的ブロック分割に基づく画素単位の加重値を用いて２つのイントラ予測子から最終イントラ予測子を生成するビデオコーディング方法及び装置を提供することにより、ビデオ符号化効率を向上させてビデオ画質を改善することが可能となる効果がある。
【0013】
また、本実施例によると、画素単位の加重値を用いて２つの異なるイントラ予測子から最終イントラ予測子を生成するビデオコーディング方法及び装置を提供することにより、幾何学的イントラ予測モードを適用することにおける、幾何学的ブロック分割（geometric block partition）を模写するブレンディング処理（blending process）による任意のブロック分割の効果を活用することが可能となる。
【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
以下、本発明の実施例を例示的な図面を参照して詳しく説明する。各図面の構成要素に参照符号を付加するにあたり、同一の構成要素に対しては、たとえ他の図面に表示されても可能な限り同一の符号を有するようにしていることに留意されたい。なお、本実施例を説明するにあたり、関連された公知の構成又は機能についての具体的な説明が本実施例の要旨を曖昧にすると判断される場合には、その詳しい説明は省く。
【0016】
【0017】
映像符号化装置は、ピクチャ分割部１１０、予測部１２０、減算器１３０、変換部１４０、量子化部１４５、並べ替え部１５０、エントロピー符号化部１５５、 逆量子化部１６０、逆変換部１６５、加算器１７０、ループフィルタ部１８０、及びメモリ１９０を含むように構成される。
【0018】
映像符号化装置の各構成要素は、ハードウェア又はソフトウェアで具現されてもよく、ハードウェア及びソフトウェアの組み合わせで具現されてもよい。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。
【0019】
１つの映像（ビデオ）は、複数のピクチャを含む１つ以上のシーケンスで構成される。各ピクチャは複数の領域に分割され、各領域ごとに符号化が遂行される。例えば、１つのピクチャは、１つ以上のタイル（Tile）又は／及びスライス（Slice）に分割される。ここで、１つ以上のタイルをタイルグループ（Tile Group）として定義する。各タイル又は／及びスライスは、１つ以上のＣＴＵ（Coding Tree Unit）に分割される。そして、各ＣＴＵはツリー構造によって１つ以上のＣＵ（Coding Unit）に分割される。各ＣＵに適用される情報はＣＵのシンタックスとして符号化され、１つのＣＴＵに含まれるＣＵに共通に適用される情報はＣＴＵのシンタックスとして符号化される。さらに、１つのスライス内のすべてのブロックに共通に適用される情報はスライスヘッダのシンタックスとして符号化され、１つ以上のピクチャを構成するすべてのブロックに適用される情報はピクチャパラメータセット（ＰＰＳ、Picture Parameter Set）あるいはピクチャヘッダに符号化される。さらに、複数のピクチャが共通に参照する情報は、シーケンスパラメータセット（ＳＰＳ、Sequence Parameter Set）に符号化される。そして、１つ以上のＳＰＳが共通に参照する情報は、ビデオパラメータセット（ＶＰＳ、Video Parameter Set）に符号化される。さらに、１つのタイル又はタイルグループに共通に適用される情報は、タイル又はタイルグループヘッダのシンタックスとして符号化されてもよい。ＳＰＳ、ＰＰＳ、スライスヘッダ、タイル又はタイルグループヘッダに含まれるシンタックスは、上位水準（high level）のシンタックスと称する。
【0020】
ピクチャ分割部１１０は、ＣＴＵ（Coding Tree Unit）のサイズを決定する。ＣＴＵのサイズに関する情報（CTU size）は、ＳＰＳ又はＰＰＳのシンタックスとして符号化されて映像復号化装置に伝達される。
【0021】
ピクチャ分割部１１０は、映像を構成する各ピクチャ（picture）を予め決定されたサイズを有する複数のＣＴＵ（Coding Tree Unit）に分割した以降に、ツリー構造（tree structure）を用いてＣＴＵ を繰り返し（recursively）分割する。ツリー構造におけるリーフノード（leaf node）が符号化の基本単位であるＣＵ（coding unit）となる。
【0022】
ツリー構造では、上位ノード（あるいは親ノード）が同じサイズの４つの下位ノード（あるいは子ノード）に分割されるクワッドツリー（Quad Tree、ＱＴ）、又は上位ノードが２つの下位ノードに分割されるバイナリツリー（Binary Tree、ＢＴ）、又は上位ノードが１：２：１の比率で３つの下位ノードに分割されるターナリーツリー（Ternary Tree、TT）、又はこれらのＱＴ構造、ＢＴ構造、及びＴＴ構造のうちの２つ以上を混用した構造である。例えば、ＱＴＢＴ（Quad Tree plus Binary Tree）構造が用いられてもよく、あるいはＱＴＢＴＴＴ（Quad Tree plus Binary Tree Ternary Tree）構造が用いられてもよい。ここで、ＢＴＴＴを合わせてＭＴＴ（Multiple-Type Tree）と称される。
【0023】
図２は、ＱＴＢＴＴＴ構造を用いてブロックを分割する方法を説明するための図である。
【0024】
図２に図示されたように、ＣＴＵは最初にＱＴ構造に分割される。クワッドツリー分割は、分割ブロック（splitting block）のサイズがＱＴで許容されるリーフノードの最小ブロックサイズＭｉｎＱＴＳｉｚｅに到達するまで繰り返される。ＱＴ構造の各ノードが下位レイヤの４つのノードに分割されるか否かを指し示す第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇは、エントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。ＱＴのリーフノードがＢＴで許容されるルートノードの最大ブロックサイズＭａｘＢＴＳｉｚｅよりも大きくない場合、ＢＴ構造又はＴＴ構造のうちのいずれか１つ以上にさらに分割される。ＢＴ構造及び／又はＴＴ構造では、複数の分割方向が存在する。例えば、該当ノードのブロックが横に分割される方向と縦に分割される方向の２つが存在する。図２に示すように、ＭＴＴ分割が開始されると、ノードが分割されたか否かを指し示す第２のフラグｍｔｔ_ｓｐｌｉｔ_ｆｌａｇと、分割されたら追加的に分割方向（verticalあるいはhorizontal）を示すフラグ及び／又は分割タイプ（BinaryあるいはTernary）を示すフラグがエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。
【0025】
代替的に、各ノードが下位レイヤの４つのノードに分割されるか否かを指し示す第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを符号化する前に、そのノードが分割されるか否かを指し示すＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇが符号化されてもよい。ＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇ値が分割されていないことを指し示す場合、該当ノードのブロックが分割ツリー構造におけるリーフノード（leaf node）となり、符号化の基本単位であるＣＵ（coding unit）となる。ＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇ値が分割されることを指し示す場合、映像符号化装置は、上述した方式で第１のフラグから符号化を開始する。
【0026】
ツリー構造の他の例示としてＱＴＢＴが使用される場合、該当ノードのブロックを同一サイズの２つのブロックに横に分割するタイプ（すなわち、symmetric horizontal splitting）と縦に分割するタイプ（すなわち、symmetric vertical splitting）の２つが存在する。ＢＴ構造の各ノードが下位レイヤのブロックに分割されるか否かを指し示す分割フラグｓｐｌｉｔ_ｆｌａｇ及び、分割されるタイプを指し示す分割タイプ情報がエントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。一方、該当ノードのブロックを互いに非対称形態の２つのブロックに分割するタイプが追加でさらに存在してもよい。非対称形態には、該当ノードのブロックを１：３のサイズ比率を有する２つの長方形ブロックに分割する形態が含まれてもよく、あるいは該当ノードのブロックを対角線方向に分割する形態が含まれてもよい。
【0027】
ＣＵは、ＣＴＵからのＱＴＢＴ又はＱＴＢＴＴＴ分割に応じて様々なサイズを有する。以下では、符号化又は復号しようとするＣＵ（すなわち、ＱＴＢＴＴＴのリーフノード）に該当するブロックを「現在ブロック」と称する。ＱＴＢＴＴＴ分割の採用に応じ、現在ブロックの形状は正方形だけでなく長方形であってもよい。
【0028】
予測部１２０は、現在ブロックを予測して予測ブロックを生成する。予測部１２０は、イントラ予測部１２２とインター予測部１２４を含む。
【0029】
一般に、ピクチャ内の現在ブロックはそれぞれ予測的にコーディングされる。一般に、現在ブロックの予測は（現在ブロックを含むピクチャからのデータを使用する）イントラ予測技術又は（現在ブロックを含むピクチャ以前にコーディングされたピクチャからのデータを使用する）インター予測技術を使用して遂行される。インター予測は、一方向予測と双方向予測の両方を含む。
【0030】
イントラ予測部１２２は、現在ブロックが含まれた現在ピクチャ内で現在ブロックの周辺に位置するピクセル（参照ピクセル）を用いて現在ブロック内のピクセルを予測する。予測方向によって複数のイントラ予測モードが存在する。例えば、図３ａに見られるように、複数のイントラ予測モードは、プラナー（planar）モードとＤＣモードを含む２つの非方向性モードと６５個の方向性モードを含む。各予測モードによって使用する周辺ピクセルと演算式が異なるように定義される。
【0031】
長方形形状の現在ブロックに対する効率的な方向性予測のために、図３ｂに破線の矢印で図示された方向性モード（６７～８０番、－１～－１４番イントラ予測モード）が追加で使用される。これらは、「広角イントラ予測モード（wide angle intra-prediction modes）」と称される。図３ｂで矢印は、予測に使用される対応する参照サンプルを指すものであり、予測方向を示すものではない。予測方向は、矢印が指す方向と反対である。広角イントラ予測モードは、現在ブロックが長方形のときに追加のビット伝送なしに特定の方向性モードを反対方向で予測を遂行するモードである。このとき、広角イントラ予測モードのうちから、長方形の現在ブロックの幅と高さの比率により、現在ブロックに利用可能な一部の広角イントラ予測モードが決定される。例えば、４５度より小さい角度を有する広角イントラ予測モード（６７～８０番イントラ予測モード）は、現在ブロックが、高さが幅より小さい長方形の形態であるときに利用可能であり、－１３５度より大きい角度を有する広角イントラ予測モード（-１～-１４番イントラ予測モード）は、現在ブロックが、幅が高さよりも大きい長方形の形態であるときに利用可能である。
【0032】
イントラ予測部１２２は、現在ブロックを符号化するのに使用するイントラ予測モードを決定する。一部の例で、イントラ予測部１２２は、色々なイントラ予測モードを使用して現在ブロックをエンコーディングし、テストされたモードから使用する適切なイントラ予測モードを選択してもよい。例えば、イントラ予測部１２２は、色々にテストされたイントラ予測モードに対するビットレート歪み（rate-distortion）分析を用いてビットレート歪み値を計算し、テストされたモードの中で最善のビットレート歪み特徴を有するイントラ予測モードを選択してもよい。
【0033】
イントラ予測部１２２は、複数のイントラ予測モードの中から1つのイントラ予測モードを選択し、選択されたイントラ予測モードによって決定される周辺ピクセル（参照ピクセル）と演算式を用いて現在ブロックを予測する。選択されたイントラ予測モードに関する情報は、エントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。
【0034】
インター予測部１２４は、動き補償プロセスを用いて現在ブロックに対する予測ブロックを生成する。インター予測部１２４は、現在ピクチャより先に符号化及び復号化された参照ピクチャ内で現在ブロックと最も類似したブロックを探索し、その探索されたブロックを用いて現在ブロックに対する予測ブロックを生成する。そして、現在ピクチャ内の現在ブロックと参照ピクチャ内の予測ブロックとの間の変位（displacement）に該当する動きベクトル（Motion Vector：ＭＶ）を生成する。一般に、動き推定はルマ（luma）成分に対して遂行され、ルマ成分に基づいて計算された動きベクトルはルマ成分及びクロマ成分の両方に対して使用される。現在ブロックを予測するために使用された参照ピクチャに関する情報及び、動きベクトルに関する情報を含む動き情報は、エントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。
【0035】
インター予測部１２４は、予測の正確性を高めるために、参照ピクチャ又は参照ブロックに対する補間を遂行してもよい。すなわち、連続する２つの整数サンプル間のサブサンプルは、その２つの整数サンプルを含む連続された複数の整数サンプルにフィルタ係数を適用して補間される。補間された参照ピクチャに対して現在ブロックと最も類似したブロックを検索するステップを遂行すると、動きベクトルは整数サンプル単位の精度（precision）ではなく小数単位の精度まで表現される。動きベクトルの精度又は解像度（resolution）は、符号化しようとする対象領域、例えばスライス、タイル、ＣＴＵ、ＣＵなどの単位ごとに異なるように設定される。このような適応的動きベクトル解像度（Adaptive Motion Vector Resolution：ＡＭＶＲ）が適用される場合、各対象領域に適用する動きベクトル解像度に関する情報は、対象領域ごとにシグナリングされなければならない。例えば、対象領域がＣＵである場合、各ＣＵごとに適用された動きベクトル解像度に関する情報がシグナリングされる。動きベクトル解像度に関する情報は、後述する差分動きベクトルの精度を示す情報である。
【0036】
一方、インター予測部１２４は、双方向予測（bi-prediction）を用いてインター予測を遂行する。双方向予測の場合、２つの参照ピクチャと、各参照ピクチャ内で現在ブロックと最も類似したブロック位置を表す２つの動きベクトルが用いられる。インター予測部１２４は、参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０）及び参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１）からそれぞれ第１の参照ピクチャ及び第２の参照ピクチャを選択し、各参照ピクチャ内で現在ブロックと類似したブロックを探索して第１の参照ブロックと第２の参照ブロックを生成する。そして、第１の参照ブロックと第２の参照ブロックを平均又は加重平均して現在ブロックに対する予測ブロックを生成する。そして、現在ブロックを予測するために使用した２つの参照ピクチャに関する情報及び、２つの動きベクトルに関する情報を含む動き情報を符号化部１５０に伝達する。ここで、参照ピクチャリスト０は、予め復元されたピクチャのうち、ディスプレイ順序で現在ピクチャ以前のピクチャで構成され、参照ピクチャリスト１は、予め復元されたピクチャのうち、ディスプレイ順序で現在ピクチャ以降のピクチャで構成される。しかしながら、必ずしもこれに限定されるわけではなく、ディスプレイ順序上で現在ピクチャ以降の既復元のピクチャが参照ピクチャリスト０に追加でさらに含まれてもよく、逆に現在ピクチャ以前の既復元のピクチャが参照ピクチャリスト１に追加でさらに含まれてもよい。
【0037】
動き情報を符号化するのに必要とされるビット量を最小化するために多様な方法が用いられる。
【0038】
例えば、現在ブロックの参照ピクチャと動きベクトルが、周辺ブロックの参照ピクチャ及び動きベクトルと同一の場合には、その周辺ブロックを識別できる情報を符号化することで、現在ブロックの動き情報を映像復号化装置に伝達することができる。この方法を「マージモード（merge mode）」とする。
【0039】
マージモードで、インター予測部１２４は、現在ブロックの周辺ブロックから予め決定された個数のマージ候補ブロック（以下、「マージ候補」という）を選択する。
【0040】
マージ候補を誘導するための周辺ブロックとしては、図４に示されたように、現在ピクチャ内で現在ブロックに隣接する左側ブロックＡ０、左下段ブロックＡ１、上段ブロックＢ０、右上段ブロックＢ１、及び左上段ブロックＡ２のうちの全部又は一部が使用される。さらに、現在ブロックが位置する現在ピクチャではなく、参照ピクチャ（現在ブロックを予測するために使用された参照ピクチャと同一であってもよく異なってもよい）内に位置するブロックがマージ候補として使用されてもよい。例えば、参照ピクチャ内で現在ブロックと同一の位置にあるブロック（co-located block）又はその同一の位置のブロックに隣接するブロックがマージ候補として追加でさらに使用される。以上で記述された方法によって選定されたマージ候補の個数が予め設定された個数より小さいと、０ベクトルをマージ候補に追加する。
【0041】
インター予測部１２４は、このような周辺ブロックを用いて予め決定された個数のマージ候補を含むマージリストを構成する。マージリストに含まれたマージ候補の中から現在ブロックの動き情報として使用するマージ候補を選択し、選択された候補を識別するためのマージインデックス情報を生成する。生成されたマージインデックス情報は、符号化部１５０によって符号化されて映像復号化装置に伝達される。
【0042】
マージスキップ（merge skip）モードはマージモードの特別な場合であり、量子化を遂行した後、エントロピー符号化のための変換係数が全て零（zero）に近いとき、残差信号の伝送なしに周辺ブロック選択情報のみを伝送する。マージスキップモードを用いることで、動きの少ない映像、静止画、スクリーンコンテンツ映像などで相対的に高い符号化効率を達成することができる。
【0043】
以下、マージモードとマージスキップモードを総称し、マージ／スキップモードで表す。
【0044】
動き情報を符号化するためのまた別の方法は、ＡＭＶＰ（Advanced Motion Vector Prediction）モードである。
【0045】
ＡＭＶＰモードで、インター予測部１２４は、現在ブロックの周辺ブロックを用いて現在ブロックの動きベクトルに対する予測動きベクトル候補を誘導する。予測動きベクトル候補を誘導するために使用される周辺ブロックとしては、図４に図示された現在ピクチャ内で現在ブロックに隣接する左側ブロックＡ０、左下段ブロックＡ１、上段ブロックＢ０、右上段ブロックＢ１、及び左上段ブロックＡ２のうち、全部又は一部が用いられる。さらに、現在ブロックが位置する現在ピクチャではなく、参照ピクチャ（現在ブロックを予測するために使用された参照ピクチャと同じであってもよく異なってもよい）内に位置するブロックが、予測動きベクトル候補を誘導するために使用される周辺ブロックとして使用されてもよい。例えば、参照ピクチャ内で現在ブロックと同じ位置にあるブロック（collocated block）、又はその同じ位置のブロックに隣接するブロックが使用される。以上で記述された方法によって動きベクトル候補の個数が予め設定された個数より小さいと、０ベクトルを動きベクトル候補に追加する。
【0046】
インター予測部１２４は、この周辺ブロックの動きベクトルを用いて予測動きベクトル候補を誘導し、予測動きベクトル候補を用いて現在ブロックの動きベクトルに対する予測動きベクトルを決定する。そして、現在ブロックの動きベクトルから予測動きベクトルを減算して差分動きベクトルを算出する。
【0047】
予測動きベクトルは、予測動きベクトル候補に予め定義された関数（例えば、中央値、平均値演算など）を適用して求める。この場合、映像復号化装置も予め定義された関数を知っている。また、予測動きベクトル候補を誘導するために使用する周辺ブロックは既に符号化及び復号化が完了されたブロックであるため、映像復号化装置もその周辺ブロックの動きベクトルも既に知っている。したがって、映像符号化装置は、予測動きベクトル候補を識別するための情報を符号化する必要がない。したがって、この場合には、差分動きベクトルに関する情報と、現在ブロックを予測するために使用した参照ピクチャに関する情報が符号化される。
【0048】
一方、予測動きベクトルは、予測動きベクトル候補のうちのいずれか1つを選択する方式で決定されてもよい。この場合には、差分動きベクトルに関する情報及び現在ブロックを予測するために使用した参照ピクチャに関する情報と共に、選択された予測動きベクトル候補を識別するための情報が追加で符号化される。
【0049】
減算器１３０は、現在ブロックからイントラ予測部１２２又はインター予測部１２４によって生成された予測ブロックを減算して残差ブロックを生成する。
【0050】
変換部１４０は、空間領域のピクセル値を有する残差ブロック内の残差信号を周波数ドメインの変換係数に変換する。変換部１４０は、残差ブロックの全体サイズを変換単位として使用して残差ブロック内の残差信号を変換してもよく、あるいは残差ブロックを複数個のサブブロックに分割してそのサブブロックを変換単位として使用して変換してもよい。あるいは、変換領域及び、非変換領域である２つのサブブロックに区分し、変換領域サブブロックのみを変換単位として使用して残差信号を変換してもよい。ここで、変換領域サブブロックは、横軸（又は縦軸）基準１：１のサイズ比率を有する２つの長方形ブロックのうちの１つである。この場合、サブブロックのみを変換したことを指し示すフラグｃｕ_ｓｂｔ_ｆｌａｇ、方向性（vertical/horizontal）情報ｃｕ_ｓｂｔ_ｈｏｒｉｚｏｎｔａｌ_ｆｌａｇ、及び／又は位置情報ｃｕ_ｓｂｔ_ｐｏｓ_ｆｌａｇがエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。また、変換領域サブブロックのサイズは、横軸（あるいは縦軸）基準１：３のサイズ比率を有し、このような場合、該当分割を区分するフラグｃｕ_ｓｂｔ_ｑｕａｄ_ｆｌａｇが追加的にエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。
【0051】
一方、変換部１４０は、残差ブロックに対して横方向と縦方向に個別に変換を遂行する。変換のために、様々なタイプの変換関数又は変換行列が用いられる。例えば、横方向変換と縦方向変換のための変換関数の対をＭＴＳ（Multiple Transform Set）と定義する。変換部１４０は、ＭＴＳのうち、変換効率が最も良い１つの変換関数対を選択し、横及び縦方向にそれぞれ残差ブロックを変換する。ＭＴＳのうちから選択された変換関数対に関する情報ｍｔｓ_ｉｄｘは、エントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。
【0052】
量子化部１４５は、変換部１４０から出力される変換係数を、量子化パラメータを用いて量子化し、量子化された変換係数をエントロピー符号化部１５５に出力する。量子化部１４５は、任意のブロックあるいはフレームに対し、変換なしに、関連された残差ブロックを直ちに量子化してもよい。量子化部１４５は、変換ブロック内の変換係数の位置に応じて互いに異なる量子化係数（スケーリング値）を適用してもよい。二次元に配置された量子化された変換係数に適用される量子化行列は符号化されて映像復号化装置にシグナリングされる。
【0053】
並べ替え部１５０は、量子化された残差値に対して係数値の並べ替えを遂行する。
【0054】
並べ替え部１５０は、係数走査（coefficient scanning）を用いて２次元の係数アレイを１次元の係数シーケンスに変更する。例えば、並べ替え部１５０では、千鳥状スキャン（zig-zag scan）又は対角線スキャン（diagonal scan）を用いてＤＣ係数から高周波数領域の係数までスキャンして１次元の係数シーケンスを出力する。変換単位のサイズ及びイントラ予測モードによって千鳥状スキャンの代わりに２次元の係数アレイを列方向にスキャンする垂直スキャン、２次元のブロック形態係数を行方向にスキャンする水平スキャンが使用されてもよい。すなわち、変換単位のサイズ及びイントラ予測モードによって千鳥状スキャン、対角線スキャン、垂直方向スキャン、及び水平方向スキャンのうちから使用されるスキャン方法が決定されてもよい。
【0055】
エントロピー符号化部１５５は、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Code）、指数ゴロム（Exponential Golomb）などの様々な符号化方式を用い、並べ替え部１５０から出力された１次元の量子化された変換係数のシーケンスを符号化することによってビットストリームを生成する。
【0056】
また、エントロピー符号化部１５５は、ブロック分割に関連されたＣＴＵサイズ、ＣＵ分割フラグ、ＱＴ分割フラグ、ＭＴＴ分割タイプ、ＭＴＴ分割方向などの情報を符号化し、映像復号化装置が映像符号化装置と同様にブロックを分割できるようにする。また、エントロピー符号化部１５５は、現在ブロックがイントラ予測によって符号化されたか、それともインター予測によって符号化されたかの如何を指し示す予測タイプに関する情報を符号化し、予測タイプによってイントラ予測情報（すなわち、イントラ予測モードに関する情報）又はインター予測情報（動き情報の符号化モード（マージモード又はＡＭＶＰモード）、マージモードの場合はマージインデックス、ＡＭＶＰモードの場合は参照ピクチャインデックス及び差分動きベクトルに関する情報）を符号化する。また、エントロピー符号化部１５５は、量子化に関連された情報、すなわち量子化パラメータに関する情報及び量子化行列に関する情報を符号化する。
【0057】
逆量子化部１６０は量子化部１４５から出力される量子化された変換係数を逆量子化して変換係数を生成する。逆変換部１６５は、逆量子化部１６０から出力される変換係数を周波数ドメインから空間ドメインに変換して残差ブロックを復元する。
【0058】
加算部１７０は、復元された残差ブロックと予測部１２０によって生成された予測ブロックを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、次の順序のブロックをイントラ予測するときに参照ピクセルとして使用される。
【0059】
ループ（loop）フィルタ部１８０は、ブロックベースの予測及び変換／量子化によって発生するブロッキングアーチファクト（blocking artifacts）、リンギングアーチファクト（ringing artifacts）、ぼかしアーチファクト（blurring artifacts）等を減らすために復元されたピクセルに対するフィルタリングを遂行する。フィルタ部１８０は、インループ（in-loop）フィルタとしてデブロックフィルタ１８２、ＳＡＯ（Sample Adaptive Offset）フィルタ１８４、及びＡＬＦ（Adaptive Loop Filter）１８６の全部又は一部を含む。
【0060】
デブロックフィルタ１８２は、ブロック単位の符号化／復号化によって発生するブロッキング現象（blocking artifact）を除去するために復元されたブロック間の境界をフィルタリングし、ＳＡＯフィルタ１８４及びａｌｆ１８６は、 デブロックフィルタリングされた映像に対して追加のフィルタリングを遂行する。ＳＡＯフィルタ１８４及びａｌｆ１８６は、損失符号化（lossy coding）によって発生する復元されたピクセルと元本ピクセルとの間の差を補償するために使用されるフィルタである。ＳＡＯフィルタ１８４は、ＣＴＵ単位でオフセットを適用することで、主観的な画質だけでなく符号化効率も向上させる。これに比べ、ＡＬＦ１８６はブロック単位のフィルタリングを遂行し、該当ブロックのエッジ及び変化量の程度を区分して異なるフィルタを適用して歪みを補償する。ＡＬＦに使用されるフィルタ係数に関する情報は符号化されて映像復号化装置にシグナリングされる。
【0061】
デブロックフィルタ１８２、ＳＡＯフィルタ１８４、及びＡＬＦ１８６を介してフィルタリングされた復元ブロックはメモリ１９０に保存される。あるピクチャ内のすべてのブロックが復元されると、復元されたピクチャは、後に符号化しようとするピクチャ内のブロックをインター予測するための参照ピクチャとして使用される。
【0062】
【0063】
映像復号化装置は、エントロピー復号化部５１０、並べ替え部５１５、逆量子化部５２０、逆変換部５３０、予測部５４０、加算器５５０、ループフィルタ部５６０、及びメモリ５７０を含むように構成される。
【0064】
図１の映像符号化装置と同様に、映像復号化装置の各構成要素はハードウェア又はソフトウェアで具現されてもよく、ハードウェア及びソフトウェアの組み合わせで具現されてもよい。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。
【0065】
エントロピー復号化部５１０は、映像符号化装置によって生成されたビットストリームを復号化してブロック分割に関連された情報を抽出することで、復号化しようとする現在ブロックを決定し、現在ブロックを復元するために必要な予測情報と、残差信号に関する情報などを抽出する。
【0066】
エントロピー復号化部５１０は、ＳＰＳ（Sequence Parameter Set）又はＰＰＳ（Picture Parameter Set）からＣＴＵサイズに関する情報を抽出してＣＴＵのサイズを決定し、ピクチャを決定されたサイズのＣＴＵに分割する。そして、ＣＴＵをツリー構造の最上位レイヤ、すなわちルートノードとして決定し、ＣＴＵに関する分割情報を抽出することで、ツリー構造を用いてＣＴＵを分割する。
【0067】
例えば、ＱＴＢＴＴＴ構造を用いてＣＴＵを分割する場合、まずＱＴの分割に関連された第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを抽出して各ノードを下位レイヤの４つのノードに分割する。そして、ＱＴのリーフノードに該当するノードに対しては、ＭＴＴの分割に関連された第２のフラグＭＴＴ_ｓｐｌｉｔ_ｆｌａｇ及び分割方向（vertical/horizontal）及び／又は分割タイプ（binary/ternary）情報を抽出して該当リーフノードをＭＴＴ構造に分割する。これにより、ＱＴのリーフノード以下の各ノードをＢＴ又はＴＴ構造に繰り返し（recursively）分割する。
【0068】
また他の例として、ＱＴＢＴＴＴ構造を用いてＣＴＵを分割する場合、まずＣＵの分割可否を指し示すＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇを抽出し、該当ブロックが分割された場合、第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを抽出してもよい。分割の過程で、各ノードは、０回以上の繰り返しのＱＴ分割後に０回以上の繰り返しのＭＴＴ分割が発生する。例えば、ＣＴＵはすぐにＭＴＴ分割が発生してもよく、逆に複数回のＱＴ分割のみが発生してもよい。
【0069】
別の例として、ＱＴＢＴ構造を用いてＣＴＵを分割する場合、ＱＴの分割に関連された第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを抽出して各ノードを下位レイヤの４つのノードに分割する。そして、ＱＴのリーフノードに該当するノードに対しては、ＢＴでさらに分割されるか否かを指し示す分割フラグｓｐｌｉｔ_ｆｌａｇ及び分割方向情報を抽出する。
【0070】
一方、エントロピー復号化部５１０は、ツリー構造の分割を用いて復号化しようとする現在ブロックを決定すると、現在ブロックがイントラ予測されたかそれともインター予測されたかを指し示す予測タイプに関する情報を抽出する。予測タイプ情報がイントラ予測を指し示す場合、エントロピー復号化部５１０は、現在ブロックのイントラ予測情報（イントラ予測モード）に関するシンタックス要素を抽出する。予測タイプ情報がインター予測を指し示す場合、エントロピー復号化部５１０は、インター予測情報に関するシンタックス要素、すなわち、動きベクトル及び、その動きベクトルが参照する参照ピクチャを表す情報を抽出する。
【0071】
また、エントロピー復号化部５１０は、量子化関連の情報、及び残差信号に関する情報として現在ブロックの量子化された変換係数に関する情報を抽出する。
【0072】
並べ替え部５１５は、映像符号化装置によって遂行された係数走査順序の逆順で、エントロピー復号化部５１０でエントロピー復号化された１次元の量子化された変換係数のシーケンスを再び２次元の係数アレイ（すなわち、ブロック）に変更することができる。
【0073】
逆量子化部５２０は、量子化された変換係数を逆量子化し、量子化パラメータを用いて量子化された変換係数を逆量子化する。逆量子化部５２０は、二次元に配列された量子化された変換係数に対して互いに異なる量子化係数（スケーリング値）を適用してもよい。逆量子化部５２０は、映像符号化装置から量子化係数（スケーリング値）の行列を量子化された変換係数の２次元アレイに適用して逆量子化を遂行する。
【0074】
逆変換部５３０は、逆量子化された変換係数を周波数ドメインから空間ドメインに逆変換して残差信号を復元することで、現在ブロックに対する残差ブロックを生成する。
【0075】
また、逆変換部５３０は、変換ブロックの一部領域（サブブロック）のみ逆変換する場合、変換ブロックのサブブロックのみを変換したことを指し示すフラグｃｕ_ｓｂｔ_ｆｌａｇ、サブブロックの方向性（vertical/horizontal）情報ｃｕ_ｓｂｔ_ ｈｏｒｉｚｏｎｔａｌ_ ｆｌａｇ及び／又はサブブロックの位置情報ｃｕ_ｓｂｔ_ｐｏｓ_ｆｌａｇを抽出し、該当サブブロックの変換係数を周波数ドメインから空間ドメインに逆変換することによって残差信号を復元し、逆変換されない領域に対しては残差信号で「０」値を満たすことによって現在ブロックに対する最終残差ブロックを生成する。
【0076】
また、ＭＴＳが適用された場合、逆変換部５３０は、映像符号化装置からシグナリングされたＭＴＳ情報ｍｔｓ_ｉｄｘを用いて横及び縦方向にそれぞれ適用する変換関数又は変換行列を決定し、決定された変換関数を用いて横及び縦方向に変換ブロック内の変換係数に対して逆変換を遂行する。
【0077】
予測部５４０は、イントラ予測部５４２及びインター予測部５４４を含む。イントラ予測部５４２は、現在ブロックの予測タイプがイントラ予測であるときに活性化され、インター予測部５４４は、現在ブロックの予測タイプがインター予測であるときに活性化される。
【0078】
イントラ予測部５４２は、エントロピー復号化部５１０から抽出されたイントラ予測モードに対するシンタックス要素から複数のイントラ予測モードのうちの現在ブロックのイントラ予測モードを決定し、イントラ予測モードに応じて現在ブロック周囲の参照ピクセルを用いて現在ブロックを予測する。
【0079】
インター予測部５４４は、エントロピー復号化部５１０から抽出されたインター予測モードに対するシンタックス要素を用いて現在ブロックの動きベクトルと、その動きベクトルが参照する参照ピクチャを決定し、動きベクトルと参照ピクチャを用いて現在ブロックを予測する。
【0080】
加算器５５０は、逆変換部から出力される残差ブロックと、インター予測部又はイントラ予測部から出力される予測ブロックを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、後で復号化するブロックをイントラ予測するときの参照ピクセルとして活用される。
【0081】
ループフィルタ部５６０は、インループフィルタとしてデブロックフィルタ５６２、ＳＡＯフィルタ５６４及びＡＬＦ５６６を含む。デブロックフィルタ５６２は、ブロック単位の復号化に因って発生するブロッキング現象（blocking artifact）を除去するために、復元されたブロック間の境界をデブロックフィルタリングする。ＳＡＯフィルタ５６４及びＡＬＦ５６６は、損失符号化（lossy coding）に因って発生する復元されたピクセルと元本ピクセルとの間の差を補償するために、デブロックフィルタリング以降の復元されたブロックに対して追加のフィルタリングを遂行する。ＡＬＦのフィルタ係数は、ビットストリームから復号したフィルタ係数に関する情報を用いて決定される。
【0082】
デブロックフィルタ５６２、ＳＡＯフィルタ５６４、及びＡＬＦ５６６を介してフィルタリングされた復元ブロックはメモリ５７０に保存される。あるピクチャ内のすべてのブロックが復元されると、復元されたピクチャは、後で符号化しようとするピクチャ内のブロックをインター予測するための参照ピクチャとして使用される。
【0083】
本実施例は、以上で説明したような映像（ビデオ）の符号化及び復号化に関する。より詳しくは、２つの異なるイントラ予測モードを用いて２つのイントラ予測子（intra predictors）を生成した後、幾何学的ブロック分割（geometric block partition）に基づく画素単位の加重値を用いて２つのイントラ予測子を加重和することによって最終イントラ予測子を生成するビデオコーディング方法及び装置を提供する。
【0084】
以下の実施例は、映像符号化装置内イントラ予測部１２２、及び映像復号化装置内イントラ予測部５４２によって遂行される。
【0085】
映像符号化装置は、現在ブロックのイントラ予測において、ビットレート歪曲最適化の側面から本実施例に関連されたシグナリング情報を生成することができる。映像符号化装置は、エントロピー符号化部１５５を用いてこれを符号化した後、映像復号化装置に伝送することができる。映像復号化装置は、エントロピー復号化部５１０を用いてビットストリームから現在ブロックのイントラ予測に関連されたシグナリング情報を復号化することができる。
【0086】
以下の説明で、「対象ブロック（target block）」という用語は、上述したような現在ブロック又はコーディングユニット（ＣＵ、coding unit）と同じ意味で使用される場合や、又はコーディングユニットの一部の領域を意味する場合がある。
【0087】
また、１つのフラグの値が真であることは、フラグが１に設定される場合を示す。また、１つのフラグの値が偽であることは、フラグが０に設定される場合を示す。
【0088】
I.イントラ予測モード及びＭＰＭ（Most Probable Mode）
イントラ予測は、上述したように、現在符号化しようとするブロックの周辺に存在するサンプルを参照して現在ブロックを予測する方法である。ＶＶＣ技術におけるイントラ予測モードは、図３ａに例示されたように、非方向性モード（すなわち、プラナー（planar）及びＤＣ）の他に、細分化された方向性モード（すなわち、２ないし６６）を有する。さらに、図３ｂの例示に追加されたように、ルマブロックのイントラ予測モードは、広角イントラ予測（ＷＡＩＰ、Wide-angle Intra Prediction）による方向性モード（－１４ないし－１及び６７ないし８０）を有する。
イントラ予測は、上述したように、現在符号化しようとするブロックの周辺に存在するサンプルを参照して現在ブロックを予測する方法である。ＶＶＣ技術におけるイントラ予測モードは、図３ａに例示されたように、非方向性モード（すなわち、プラナー（planar）及びＤＣ）の他に、細分化された方向性モード（すなわち、２ないし６６）を有する。さらに、図３ｂの例示に追加されたように、ルマブロックのイントラ予測モードは、広角イントラ予測（ＷＡＩＰ、Wide-angle Intra Prediction）による方向性モード（－１４ないし－１及び６７ないし８０）を有する。
【0089】
イントラ予測におけるＭＰＭ(Most Probable Mode)技術は、現在ブロックのイントラ予測時に周辺ブロックのイントラ予測モードを用いる。映像符号化装置は、現在ブロックに空間的に隣接する予め定義された位置から誘導されるイントラ予測モードを含むようにＭＰＭリストを生成する。映像符号化装置は、予測モードのインデックスの代わりにＭＰＭリストのインデックスを伝送するで、イントラ予測モードの符号化効率を向上させることができる。
【0090】
II. 本開示による実施例
図６は、本開示の一実施例に係るイントラ予測子生成装置を示すブロック図である。
図６は、本開示の一実施例に係るイントラ予測子生成装置を示すブロック図である。
【0091】
本実施例に係るイントラ予測子生成装置（以下、「予測子生成装置」）は、幾何学的イントラ予測モードを適用するにあたり、現在ブロックに対して２つの異なるイントラ予測モードを用いて２つのイントラ予測子を生成した後、画素単位の加重値を基盤にしてブレンディング処理（blending process）を遂行して最終イントラ予測子（final intra predictor）を生成する。予測子生成装置は、第１のイントラ予測モード選択部６１０、第１のイントラ予測子生成部６２０、第２のイントラ予測モード選択部６３０、第２のイントラ予測子生成部６４０、及び最終イントラ予測子生成部６５０の全部又は一部を含む。
【0092】
図７は、本開示の一実施例に係る、幾何学的イントラ予測モードの適用を示す例示図である。
【0093】
幾何学的イントラ予測モードの適用時に、図７に例示されたように、まずイントラ予測装置は、現在ブロックに対して異なるイントラ予測モードを用いて第１のイントラ予測子と第２のイントラ予測子を生成する。イントラ予測装置は、幾何学的ブロック分割（geometric block partition）に基づく加重値を用いて第１のイントラ予測子と第２のイントラ予測子を加重和することによって最終イントラ予測子を生成する。図７の例示で、ｎＣｂｗ及びｎＣｂｈは現在ブロックの幅と高さを表す。
【0094】
図７の例示で、加重値は第１のイントラ予測子に対する加重値を表す。加重値の意味及び設定については後で記述する。
【0095】
一例として、第１のイントラ予測子は、上述のようなＭＰＭリストのうちの１つのイントラ予測モードを用いて生成された信号である。さらに、第２のイントラ予測子も、ＭＰＭリストのうちの第１のイントラ予測子の生成に使用されたイントラ予測モードを除く残りのモードのうちの１つのイントラ予測モードを用いて生成された信号である。
【0096】
以下、映像復号化装置の側面からイントラ予測装置内の構成要素の動作を記述する。上述のように、イントラ予測装置は映像符号化装置にも含まれる。
【0097】
第１のイントラ予測モード選択部６１０は、現在ブロックに対してイントラ予測のためのＭＰＭリストを生成する。第１のイントラ予測モード選択部６１０は、映像符号化装置からシグナリングされたインデックス情報を用いてＭＰＭリストのうちの該当インデックスが指示するイントラ予測モードを選択する。
【0098】
第１のイントラ予測子生成部６２０は、第１のイントラ予測モードを基盤にして現在ブロックと空間的に隣接する予め復元された画素を用いて現在ブロックの第１のイントラ予測子を生成する。
【0099】
第２のイントラ予測モード選択部６３０は、ＭＰＭリストのうちの第１のイントラ予測モードを除いてＭＰＭリストを再整列（reordering）する。第２のイントラ予測モード選択部６３０は、映像符号化装置からシグナリングされたインデックス情報を用いて再整列されたＭＰＭリストのうち、該当インデックスが指示するイントラ予測モードを選択する。
【0100】
第２のイントラ予測子生成部６４０は、第２のイントラ予測モードを基盤にして現在ブロックと空間的に隣接する予め復元された画素を用いて現在ブロックの第２のイントラ予測子を生成する。
【0101】
最終イントラ予測子生成部６５０は、映像符号化装置からシグナリングされたインデックスを用い、例えばルックアップテーブルから幾何学的ブロック分割情報を獲得する。最終イントラ予測子生成部６５０は、幾何学的ブロック分割情報に基づいて加重値を生成する。ここで、加重値は、第１のイントラ予測子のための加重値ｗ１と第２のイントラ予測子のための加重値ｗ２を含む。最終イントラ予測子生成部６５０は、加重値を用いて第１のイントラ予測子と第２のイントラ予測子を加重和（weighted sum）することで、最終イントラ予測子を生成する。このとき、上述した加重値は、幾何学的ブロック分割情報に応じて画素ごとに異なる値である。
【0102】
一方、現在ブロック、すなわちコーディングユニットに適用される幾何学的イントラ予測モードに関連して映像符号化装置から映像復号化装置にシグナリングされるシンタックスは表１のように表す。
【0103】
【表1】
【0104】
表１に示すように、ＭＩＰモードでない場合、現在ブロックの幾何学的イントラ予測モードに関する情報がシグナリングされる。幾何学的イントラ予測モードに関する情報は、次のようなシンタックス要素を用いてシグナリングされる。
【0105】
まず、上位レベルシンタックス（high level syntax）を用いて幾何学的イントラ予測モードの活性化如何を指示するフラグであるｓｐｓ_ｇｉｍ_ｅｎａｂｌｅ_ｆｌａｇがシグナリングされる。表１の例示では、シグナリングのために上位レベルシンタックスのうち、ＳＰＳを用いるが、必ずしもこれに限定するわけではない。すなわち、幾何学的イントラ予測モードの使用如何は、ＳＰＳ、ＰＰＳ、スライスヘッダ（slice header）、ピクチャヘッダ（picture header）などのような多様な上位レベルシンタックスのうちの１つ又はそれ以上でシグナリングされる。
【0106】
フラグｓｐｓ_ｇｉｍ_ｅｎａｂｌｅ_ｆｌａｇが真として幾何学的イントラ予測モードを用いる場合、コーディングユニットに対して幾何学的イントラ予測モードの使用如何を指示する幾何学的イントラ予測フラグｉｎｔｒａ_ｇｉｍ_ｆｌａｇがシグナリングされる。
【0107】
その後、ｉｎｔｒａ_ｇｉｍ_ｆｌａｇの値が真であり、コーディングユニットが幾何学的イントラ予測モードを用いる場合、幾何学的イントラ予測モードに関する追加的な情報がシグナリング又は解析される。
【0108】
一方、ｉｎｔｒａ_ｇｉｍ_ｆｌａｇの値が偽としてコーディングユニットが幾何学的イントラ予測モードを使用しない場合、既存の方法に従ってイントラ予測モードに関する追加的な情報がシグナリング又は解析（parsing）される。
【0109】
幾何学的イントラ予測フラグｉｎｔｒａ_ｇｉｍ_ｆｌａｇの値が真である場合、シグナリングされる追加的な情報は、コーディングユニットに適用される幾何学的分割形態を指示する幾何学的分割情報インデックスｉｎｔｒａ_ｇｉｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘ、第１のイントラ予測モードを指示する第１のイントラ予測モードインデックスｉｎｔｒａ_ｇｉｍ_ｉｄｘ０、及び第２のイントラ予測モードを指示する第２のイントラ予測モードインデックスであるｉｎｔｒａ_ｇｉｍ_ｉｄｘ１を含む。
【0110】
一方、表１に例示された手順のように、追加的な情報は、幾何学的分割形態を指示するインデックスであるｉｎｔｒａ_ｇｉｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘ、第１のイントラ予測モードを指示するインデックスであるｉｎｔｒａ_ｇｉｍ_ｉｄｘ０、及び第２のイントラ予測モードを指示するインデックスであるｉｎｔｒａ_ｇｉｍ_ｉｄｘ１の順でシグナリング又は解析されるが、シグナリング又は解析順が必ずしもこれに限定されるわけではない。すなわち、シグナリング又は解析順の変形もまた本発明の範囲に含まれる。例えば、追加的な情報は、第１のイントラ予測モードを指示するインデックス、第２のイントラ予測モードを指示するインデックス、及び幾何学的分割形態を指示するインデックスの順でシグナリング又は解析される。
【0111】
表１によると、幾何学的イントラ予測モードに関する情報のうち、コーディングユニットに適用される幾何学的分割形態の情報は、これを指示するインデックスｉｎｔｒａ_ｇｉｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘを用いてシグナリング又は解析される。そのような幾何学的分割形態の情報は、１つのブロックの二分割に関する情報を含む。この場合、１つのブロックの二分割は、予め定義された直線を用いてブロックを分割することを含む。このような幾何学的分割形態の情報は、後で詳しく説明する。
【0112】
表１によると、第１のイントラ予測モードを指示するインデックスと第２のイントラ予測モードを指示するインデックスが追加的にシグナリングされる。一例として、第１のイントラ予測モードと第２のイントラ予測モードは、符号化及び復号化の過程でサポートするすべてのイントラ予測モードのうちの２つの異なるイントラ予測モードである。
【0113】
別の例として、第１のイントラ予測モードと第２のイントラ予測モードは、現在ブロックに空間的に隣接する予め定義された位置から誘導される候補リストに含まれるイントラ予測モードのうちの２つの異なるイントラ予測モードである。このとき、このような候補リストはＭＰＭリストである。すなわち、本開示に係る第１のイントラ予測モードと第２のイントラ予測モードは、予め定義されたイントラ予測モードの候補リストの中から選択された予測モードであることに限定される。
【0114】
別の例として、幾何学的イントラ予測モードに関連して映像符号化装置から映像復号化装置にシグナリングされるシンタックスは、表２のように表す。
【0115】
【表2】
【0116】
表２に示すように、ＭＩＰモードでない場合、既存の方法に従ってイントラ予測モードに関する情報がシグナリングされた後、幾何学的イントラ予測モードに関する情報がシグナリングされる。幾何学的イントラ予測モードに関する情報は、次のようなシンタックス要素を用いてシグナリングされる。
【0117】
まず、上位レベルシンタックスを用いて幾何学的イントラ予測モードの活性化如何を指示するフラグであるｓｐｓ_ｇｉｍ_ｅｎａｂｌｅ_ｆｌａｇがシグナリングされる。
【0118】
フラグｓｐｓ_ｇｉｍ_ｅｎａｂｌｅ_ｆｌａｇが真として幾何学的イントラ予測モードを用いる場合、コーディングユニットに対して幾何学的イントラ予測モードの使用如何を指示する幾何学的イントラ予測フラグｉｎｔｒａ_ｇｉｍ_ｆｌａｇがシグナリングされる。
【0119】
幾何学的イントラ予測フラグｉｎｔｒａ_ｇｉｍ_ｆｌａｇ の値が真である場合、シグナリングされる追加的な情報は、コーディングユニットに適用される幾何学的分割形態を指示する幾何学的分割情報インデックスｉｎｔｒａ_ｇｉｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘ、及び第２のイントラ予測モードを指示する第２のイントラ予測モードインデックスであるｉｎｔｒａ_ｇｉｍ_ｉｄｘ１を含む。このとき、第１のイントラ予測モードを指示する第１のイントラ予測モードインデックスｉｎｔｒａ_ｇｉｍ_ｉｄｘ０は、基本方法に従って最初に解析されたイントラ予測モード（例えば、ｉｎｔｒａ_ｌｕｍａ_ｍｐｍ_ｉｄｘ又はｉｎｔｒａ_ｌｕｍａ_ｍｐｍ_ｒｅｍａｉｎｄｅｒ）を指示する。
【0120】
図８は、本開示の一実施例に係る、２つの予測子のブレンディング処理を示す例示図である。
【0121】
図８に例示されたように、現在ブロックに対して２つの異なるイントラ予測モードを選択した後、予測子生成装置は各イントラ予測モードに該当するイントラ予測子を生成する。予測子生成装置は、２つのイントラ予測子を加重和して最終イントラ予測子を生成する。このとき、加重和を遂行するにあたり、任意の形態のブロック分割のための幾何学的ブロック分割を遂行する二分割直線を基準に、２つのイントラ予測子がブレンディング処理される。すなわち、予測子生成装置は、ブロック内の画素ごとに異なるように加重和をするブレンディング処理を遂行して２つのイントラ予測子から最終イントラ予測子を生成することができる。
【0122】
一方、直線を基準にブロック内の画素ごとに異なる加重和を遂行するにあたり、２つのイントラ予測子内の同一位置の画素に適用される加重値の和は１である。このとき、加重値が含まれる集合は｛０、１、２、３、４、５、６、７、８｝であり、スケーリング値を考慮する場合、前述した集合は｛０、１／８、２／ ８、３/８、４/８、５/８、６/８、７/８、１}である。例えば、現在ブロックの（ｘ，ｙ）画素位置で第１のイントラ予測子の加重値が１（スケーリング値が考慮された場合１／８）の場合、第２のイントラ予測子の加重値は７（スケーリング値が考慮された場合７/８)である。
【0123】
図８の例示で、最終イントラ予測子に対する整数で表示される加重値は、第１のイントラ予測子に対する加重値を表す。
【0124】
また、二分割直線は、第１のイントラ予測子の加重値と第１のイントラ予測子の加重値との間の大小が変更される境界を表す。例えば、図８の例示で、直線を中心にＡ領域に含まれた画素に対し、第１のイントラ予測子の加重値が第２のイントラ予測子の加重値以上である。また、基準線を中心にＢ領域に含まれた画素に対し、第２のイントラ予測子の加重値が第１のイントラ予測子の加重値以上である。
【0125】
以下、各領域でより大きな加重値を用いる予測子を主予測子と称する。そのような主予測子は、イントラ予測に用いられる参照サンプルを考慮して決定される。図８に例示されたＡ領域の場合、上段参照サンプルよりも左側参照サンプルにより近接するので、第１のイントラ予測子が主予測子として設定される。
【0126】
【0127】
幾何学的イントラ予測モードに従って符号化／復号化されるブロックに対して幾何学的分割形態は、ブロックの二分割を表す直線に基づく。そのような直線の情報は、ブロックの中心から該当直線までの距離を表すインデックスｄｉｓｔａｎｃｅＩｄｘ、及び該当直線と直交する線分の角度を表すインデックスａｎｇｌｅＩｄｘを含む。該当直線と直交する線分の角度を示すインデックスは、図９ａに例示されたように設定される。さらに、そのような角度及び距離に応じた６４個の幾何学的ブロック分割形態は、図９ｂに例示されたように設定される。
【0128】
６４個の幾何学的分割形態は、表３に示すように、幾何学的分割形態を指示するインデックスであるｉｎｔｒａ_ｇｉｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘシンタックスを用いてシグナリングされる。
【0129】
【表3】
【0130】
図９ｂの例示から誘導されたインデックスｄｉｓｔａｎｃｅＩｄｘは、現在ブロックのサイズを排除した値である。したがって、現在ブロックのサイズ情報、角度を示すインデックスａｎｇｌｅＩｄｘ、及び距離を示すインデックスｄｉｓｔａｎｃｅＩｄｘを用いて現在ブロック内の画素と直線との間の実際の距離が算定される。ここで、実際の距離は画素単位で表現された値である。
【0131】
一方、実際の距離を用いて現在ブロック内の画素別加重値が算定される。例えば、現在ブロック内の１つの画素に対し、該当画素と直線との間の実際の距離が遠いほど、上述のように主予測子の加重値が増加され、残りの予測子に対する加重値は減少される。直線上に位置する画素に対し、２つの予測子は同じ値を有する加重値を使用する。このとき、１つの画素に対して２つの予測子の加重値の和は１を維持する。
【0132】
【0133】
図１０は、本開示の一実施例に係る、映像符号化装置が遂行するイントラ予測方法を示すフローチャートである。
【0134】
映像符号化装置は、幾何学的イントラ予測フラグを決定する（Ｓ１０００）。ここで、幾何学的イントラ予測フラグｉｎｔｒａ_ｇｉｍ_ｆｌａｇは、現在ブロックに対して幾何学的イントラ予測モードの使用如何を指示する。映像符号化装置は、上述したように、ビットレート歪曲最適化の側面から幾何学的イントラ予測フラグの使用を決定する。
【0135】
映像符号化装置は、幾何学的イントラ予測フラグを符号化する（Ｓ１００２）。
【0136】
映像符号化装置は、幾何学的イントラ予測フラグを確認する（Ｓ１００４）。
【0137】
幾何学的イントラ予測フラグが真である場合、映像符号化装置は次のステップを遂行する。
【0138】
映像符号化装置は、幾何学的分割情報インデックスを決定する（Ｓ１００６）。ここで、幾何学的分割情報インデックスｉｎｔｒａ_ｇｉｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘは、現在ブロックに適用される幾何学的分割形態を指示する。すなわち、幾何学的分割情報インデックスは、現在ブロックを二分割する直線の情報をインデクシングする。
【0139】
映像符号化装置は、現在ブロックのイントラ予測のためのイントラ予測モードを含むリストを生成する（Ｓ１００８）。ここで、リストはＭＰＭリストである。あるいは、リストは、すべてのイントラ予測モードを含むリストである。
【0140】
映像符号化装置は、符号化率最適化の側面から第１のイントラ予測モードを決定する（Ｓ１０１０）。
【0141】
映像符号化装置は、第１のイントラ予測モードに対してリストから第１のイントラ予測モードインデックスを決定する（Ｓ１０１２）。第１のイントラ予測モードインデックスｉｎｔｒａ_ｇｉｍ_ｉｄｘ０は第１のイントラ予測モードをインデクシングする。例えば、ＭＰＭリストが第１のイントラ予測モードを含まない場合、第１のイントラ予測モードインデックスは、すべてのイントラ予測モードを含むリストから決定される。
【0142】
映像符号化装置は、第１のイントラ予測モードを基盤にして現在ブロックと空間的に隣接する画素を用いて現在ブロックの第１のイントラ予測子を生成する（Ｓ１０１４）。
【0143】
映像符号化装置は、リストから第１のイントラ予測モードを除いてリストを再整列する（Ｓ１０１６）。
【0144】
映像符号化装置は、符号化率最適化の側面から第２のイントラ予測モードを決定する（Ｓ１０１８）。
【0145】
映像符号化装置は、第２のイントラ予測モードに対して再整列されたリストから第２のイントラ予測モードインデックスを決定する（Ｓ１０２０）。第２のイントラ予測モードインデックスｉｎｔｒａ_ｇｉｍ_ｉｄｘ１は、第２のイントラ予測モードをインデクシングする。例えば、再整列されたＭＰＭリストが第２のイントラ予測モードを含まない場合、第２のイントラ予測モードインデックスは、すべてのイントラ予測モードを含むリストから決定される。
【0146】
映像符号化装置は、第２のイントラ予測モードを基盤にして現在ブロックと空間的に隣接する画素を用いて現在ブロックの第２のイントラ予測子を生成する（Ｓ１０２２）。
【0147】
映像符号化装置は、幾何学的分割情報インデックスを用いて加重値を獲得する（Ｓ１０２４）。ここで、加重値は、第１のイントラ予測子のための第１の加重値、及び第２のイントラ予測子のための第２の加重値を含む。
【0148】
幾何学的分割情報インデックスによる直線の情報は、ブロックの中心から該当直線までの距離を示すインデックスｄｉｓｔａｎｃｅＩｄｘ、及び該当直線と直交する線分の角度を示すインデックスａｎｇｌｅＩｄｘを含む。現在ブロックのサイズ情報、角度を表すインデックスａｎｇｌｅＩｄｘ、及び距離を示すインデックスｄｉｓｔａｎｃｅＩｄｘを用いて現在ブロック内の画素と直線との間の実際の距離が算定される。その後、このような実際の距離に基づいて現在ブロック内の画素に対して加重値が算定される。
【0149】
映像符号化装置は、加重値を用いて第１のイントラ予測子と第２のイントラ予測子を加重和することで、現在ブロックの最終イントラ予測子を生成する（Ｓ１０２６）。
【0150】
映像符号化装置は、幾何学的分割情報インデックス、第１のイントラ予測モードインデックス、及び第２のイントラ予測モードインデックスを符号化する（Ｓ１０２８）。
【0151】
幾何学的イントラ予測フラグが偽である場合、現在ブロックに対して幾何学的イントラ予測は省略される。このとき、映像符号化装置は、他のイントラ予測モードを用いて現在ブロックのイントラ予測を遂行する。
【0152】
図１１は、本開示の一実施例に係る、映像復号化装置が遂行するイントラ予測方法を示すフローチャートである。
【0153】
映像復号化装置は、ビットストリームから幾何学的イントラ予測フラグを復号化する（Ｓ１１００）。ここで、幾何学的イントラ予測フラグｉｎｔｒａ_ｇｉｍ_ｆｌａｇは、現在ブロックに対して幾何学的イントラ予測モードの使用如何を指示する。上述したように、映像符号化装置によってビットレート歪曲最適化の側面から、幾何学的イントラ予測フラグの使用が決定される。
【0154】
映像復号化装置は、幾何学的イントラ予測フラグを確認する（Ｓ１１０２）。
【0155】
幾何学的イントラ予測フラグが真である場合、映像復号化装置は次のステップを遂行する。
【0156】
映像復号化装置は、ビットストリームから幾何学的分割情報インデックス、第１のイントラ予測モードインデックス、及び第２のイントラ予測モードインデックスを復号化する（Ｓ１１０４）。ここで、幾何学的分割情報インデックスｉｎｔｒａ_ｇｉｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘは、現在ブロックに適用される幾何学的分割形態を指示する。すなわち、幾何学的分割情報インデックスは、現在ブロックを二分割する直線の情報をインデクシングする。第１のイントラ予測モードインデックスｉｎｔｒａ_ｇｉｍ_ｉｄｘ０は、第１のイントラ予測モードをインデクシングする。さらに、第２のイントラ予測モードインデックスｉｎｔｒａ_ｇｉｍ_ｉｄｘ１は、第２のイントラ予測モードをインデクシングする。
【0157】
映像復号化装置は、現在ブロックのイントラ予測のための予測モードを含むリストを生成する（Ｓ１１０６）。ここで、リストはＭＰＭリストである。あるいは、リストは、すべてのイントラ予測モードを含むリストである。
【0158】
映像復号化装置は、第１のイントラ予測モードインデックスを用いてリストから第１のイントラ予測モードを選択する（Ｓ１１０８）。例えば、第１のイントラ予測モードインデックスがＭＰＭリスト内のイントラ予測モードを指示しない場合、第１のイントラ予測モードは、すべてのイントラ予測モードを含むリストから選択される。
【0159】
映像復号化装置は、第１のイントラ予測モードを基盤にして現在ブロックと空間的に隣接する画素を用いて現在ブロックの第１のイントラ予測子を生成する（Ｓ１１１０）。
【0160】
映像復号化装置は、リストから第１のイントラ予測モードを除いてリストを再整列する（Ｓ１１１２）。
【0161】
映像復号化装置は、第２のイントラ予測モードインデックスを用いて再整列されたリストから第２のイントラ予測モードを選択する（Ｓ１１１４）。例えば、第２のイントラ予測モードインデックスが再整列されたＭＰＭリスト内のイントラ予測モードを指示しない場合、第２のイントラ予測モードは、すべてのイントラ予測モードを含むリストから選択される。
【0162】
映像復号化装置は、第２のイントラ予測モードを基盤にして現在ブロックと空間的に隣接する画素を用いて現在ブロックの第２のイントラ予測子を生成する（Ｓ１１１６）。
【0163】
映像復号化装置は、幾何学的分割情報インデックスを用いて加重値を獲得する（Ｓ１１１８）。ここで、加重値は、第１のイントラ予測子のための第１の加重値、及び第２のイントラ予測子のための第２の加重値を含む。
【0164】
幾何学的分割情報インデックスによる直線の情報は、ブロックの中心から該当直線までの距離を示すインデックスｄｉｓｔａｎｃｅＩｄｘ、及び該当直線と直交する線分の角度を示すインデックスａｎｇｌｅＩｄｘを含む。現在ブロックのサイズ情報、角度を表すインデックスａｎｇｌｅＩｄｘ、及び距離を示すインデックスｄｉｓｔａｎｃｅＩｄｘを用いて現在ブロック内の画素と直線との間の実際の距離が算定される。その後、このような実際の距離に基づいて現在ブロック内の画素に対して加重値が算定される。
【0165】
映像復号化装置は、加重値を用いて第１のイントラ予測子と第２のイントラ予測子を加重和して現在ブロックの最終イントラ予測子を生成する（Ｓ１１２０）。
【0166】
幾何学的イントラ予測フラグが偽である場合、現在ブロックに対する幾何学的イントラ予測は省略される。このとき、映像復号化装置は、他のイントラ予測モードを用いて現在ブロックのイントラ予測を遂行する。
【0167】
本明細書のフローチャート／タイミング図では、各過程を順次実行するものとして記載しているが、これは、本開示の一実施例の技術思想を例示的に説明したに過ぎない。言い換えれば、本開示の一実施例が属する技術分野にて通常の知識を有する者であれば、本開示の一実施例の本質的な特性から逸脱しない範囲でフローチャート／タイミング図に記載された順序を変更して実行するか、又は各過程のうちの１つ以上の過程を並列的に実行するかによって多様に修正及び変形して適用可能であるので、フローチャート／タイミング図は時系列的な順序に限定されるものではない。
【0168】
以上の説明における例示的な実施例は、多くの異なる方式で具現されることを理解されたい。１つ以上の例示で説明された機能あるいは方法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで具現される。本明細書で説明された機能的コンポーネントは、それらの具現独立性を特に強調するために「…部（unit）」とラベル付けされていることを理解されたい。
【0169】
一方、本実施例で説明された様々な機能あるいは方法は、１つ以上のプロセッサによって読み取られて実行される非一時的記録媒体に保存された命令語で具現されてもよい。非一時的記録媒体は、例えばコンピュータシステムによって読み取り可能な形態でデータが保存されるあらゆる種類の記録装置を含む。例えば、非一時的記録媒体は、ＥＰＲＯＭ（Erasable Programmable read only memory）、フラッシュドライブ、光学ドライブ、磁気ハードドライブ、ソリッドステートドライブ（ＳＳＤ）のような記憶媒体を含む。
【0170】
以上の説明は、本実施例の技術思想を例示的に説明したものに過ぎず、本実施例が属する技術分野で通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能である。したがって、本実施例は、本実施例の技術思想を限定するためのものではなく説明するためのものであり、このような実施例によって本実施例の技術思想の範囲が限定されるものではない。本実施例の保護範囲は、特許請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は、本実施例の権利範囲に含まれるものと解釈されるべきである。
【0171】
CROSS-REFERENCE TO RELATED APPLICATION
本特許出願は、２０２１年１０月２５日付にて韓国に出願した特許出願番号第１０-２０２１-０１４３１０４号、２０２２年９月２日付にて韓国に出願した特許出願番号第１０-２０２２-０１１１２７７号に対して優先権を主張し、そのすべての内容は参考文献として本特許出願に併合される。
本特許出願は、２０２１年１０月２５日付にて韓国に出願した特許出願番号第１０-２０２１-０１４３１０４号、２０２２年９月２日付にて韓国に出願した特許出願番号第１０-２０２２-０１１１２７７号に対して優先権を主張し、そのすべての内容は参考文献として本特許出願に併合される。
【符号の説明】
【0172】
１２２ イントラ予測部
５４２ イントラ予測部
６１０ 第１のイントラ予測モード選択部
６２０ 第１のイントラ予測子生成部
６３０ 第２のイントラ予測モード選択部
６４０ 第２のイントラ予測子生成部
６５０ 最終イントラ予測子生成部
５４２ イントラ予測部
６１０ 第１のイントラ予測モード選択部
６２０ 第１のイントラ予測子生成部
６３０ 第２のイントラ予測モード選択部
６４０ 第２のイントラ予測子生成部
６５０ 最終イントラ予測子生成部
【図1】
【図2】
【図3a】
【図3b】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9a】
【図9b】
【図10】
【図11】
【国際調査報告】