特表 2024-546353 マージモードを改善するビデオ符号化／復号化方法及びビットストリームを伝送する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-19

(54)【発明の名称】マージモードを改善するビデオ符号化／復号化方法及びビットストリームを伝送する方法

(51)【国際特許分類】

   H04N 19/109 20140101AFI20241212BHJP

   H04N 19/176 20140101ALI20241212BHJP

   H04N 19/513 20140101ALI20241212BHJP

【ＦＩ】

H04N19/109

H04N19/176

H04N19/513

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024539995

(86)(22)【出願日】2023-01-04

(85)【翻訳文提出日】2024-07-02

(86)【国際出願番号】 KR2023000130

(87)【国際公開番号】W WO2023132614

(87)【国際公開日】2023-07-13

(31)【優先権主張番号】10-2022-0000677

(32)【優先日】2022-01-04

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0190744

(32)【優先日】2022-12-30

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】512297583

【氏名又は名称】ヒョンダイ モーター カンパニー

(71)【出願人】

【識別番号】512297594

【氏名又は名称】キア コーポレーション

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】ヘオ， ジン

(72)【発明者】

【氏名】パク， スン ウク

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159NN11

5C159NN13

5C159PP04

5C159TA26

5C159TB08

5C159UA02

5C159UA05

(57)【要約】

【課題】マージモードを改善するビデオ符号化／復号化方法及び装置を提供する。
【解決手段】本発明によるビデオ復号化方法は、ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）モード、幾何学的分割モード、及び動きベクトル差分を用いるマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定するステップと、マージ候補リストから動きベクトルを決定するステップと、第１のモード及び動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を有する。
【選択図】図２２

【特許請求の範囲】

【請求項1】

ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）モード、幾何学的分割モード、及び動きベクトル差分を用いたマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定するステップと、
マージ候補リストから動きベクトルを決定するステップと、
前記第１のモード及び前記動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を有することを特徴とするビデオ復号化方法。

【請求項2】

前記第１のモードが前記ＣＩＩＰモードと前記幾何学的分割モードとを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記ＣＩＩＰモードと前記幾何学的分割モードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
前記分割された２個の領域及び前記分割された２個の領域のそれぞれに対する動きベクトルを基盤にして前記現在ブロックに対する最終インター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記最終インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含むことを特徴とする請求項１に記載のビデオ復号化方法。

【請求項3】

前記現在ブロックに対する最終インター予測ブロックを生成するステップは、
前記分割された２個の領域のそれぞれに対する動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックに対する最終インター予測ブロックを生成するステップと、を含むことを特徴とする請求項２に記載のビデオ復号化方法。

【請求項4】

前記第１のモードが前記ＣＩＩＰモードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
補正された動きベクトルを基盤にして前記現在ブロックに対するインター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項１に記載のビデオ復号化方法。

【請求項5】

前記第１のモードが前記幾何学的分割モードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記幾何学的分割モードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
補正された動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項１に記載のビデオ復号化方法。

【請求項6】

前記第１のモードが前記ＣＩＩＰモード、前記幾何学的分割モード、及び前記動きベクトル差分を用いたマージモードを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記ＣＩＩＰモード、前記幾何学的分割モード、及び前記動きベクトル差分を用いたマージモードを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
前記分割された２個の領域及び前記分割された２個の領域のそれぞれに対する補正された動きベクトルを基盤にして前記現在ブロックに対する最終インター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記最終インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項１に記載のビデオ復号化方法。

【請求項7】

前記現在ブロックに対する最終インター予測ブロックを生成するステップは、
前記分割された２個の領域のそれぞれに対する補正された動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックに対する最終インター予測ブロックを生成するステップと、を含むことを特徴とする請求項６に記載のビデオ復号化方法。

【請求項8】

ＣＩＩＰモード、幾何学的分割モード、及び動きベクトル差分を用いるマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定するステップと、
マージ候補リストから動きベクトルを決定するステップと、
前記第１のモード及び前記動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を有することを特徴とするビデオ符号化方法

【請求項9】

前記第１のモードが前記ＣＩＩＰモードと前記幾何学的分割モードとを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記ＣＩＩＰモードと前記幾何学的分割モードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
前記分割された２個の領域及び前記分割された２個の領域のそれぞれに対する動きベクトルを基盤にして前記現在ブロックに対する最終インター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記最終インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含むことを特徴とする請求項８に記載のビデオ符号化方法。

【請求項10】

前記現在ブロックに対する最終インター予測ブロックを生成するステップは、
前記分割された２個の領域のそれぞれに対する動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックに対する最終インター予測ブロックを生成するステップと、を含むことを特徴とする請求項９に記載のビデオ符号化方法。

【請求項11】

前記第１のモードが前記ＣＩＩＰモードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
補正された動きベクトルを基盤にして前記現在ブロックに対するインター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項８に記載のビデオ符号化方法。

【請求項12】

前記第１のモードが前記幾何学的分割モードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記幾何学的分割モードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
補正された動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項８に記載のビデオ符号化方法。

【請求項13】

前記第１のモードが前記ＣＩＩＰモード、前記幾何学的分割モード、及び前記動きベクトル差分を用いたマージモードを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記ＣＩＩＰモード、前記幾何学的分割モード、及び前記動きベクトル差分を用いたマージモードを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
前記分割された２個の領域及び前記分割された２個の領域のそれぞれに対する補正された動きベクトルを基盤にして前記現在ブロックに対する最終インター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記最終インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項８に記載のビデオ符号化方法。

【請求項14】

前記現在ブロックに対する最終インター予測ブロックを生成するステップは、
前記分割された２個の領域のそれぞれに対する補正された動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックに対する最終インター予測ブロックを生成するステップと、を含むことを特徴とする請求項１３に記載のビデオ符号化方法。

【請求項15】

ビデオ符号化方法によって生成されたビットストリームを保存するコンピュータ読み取り可能な記録媒体であって、
前記ビデオ符号化方法は、
ＣＩＩＰモード、幾何学的分割モード、及び動きベクトル差分を用いるマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定するステップと、
マージ候補リストから動きベクトルを決定するステップと、
前記第１のモード及び前記動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を有することを特徴とする記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マージモードを改善するビデオ符号化／復号化方法及び装置に関し、より詳細には、一般マージモードに新しい種類のマージモードを追加して現在ブロックの予測ブロックを生成するビデオ符号化／復号化方法及び装置に関する。

【背景技術】

【0002】

以下に記述する内容は、単に本実施形態に関連する背景情報のみを提供するのみであって、従来技術を構成するものではない。

【0003】

ビデオデータは、音声データや静止映像データなどに比べて多くのデータ量を有するため、圧縮のための処理なしにそれ自体を保存又は伝送するためにはメモリを含む多くのハードウェアリソースが必要になる。

【0004】

したがって、通常、ビデオデータを保存又は伝送するときに、符号化器を使用してビデオデータを圧縮して保存又は伝送し、復号化器では圧縮されたビデオデータを受信して圧縮を解除して再生する。このようなビデオ圧縮技術としては、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などをはじめ、ＨＥＶＣに比べて約３０％以上の符号化効率を向上させたＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が存在する。

【0005】

しかし、映像のサイズ及び解像度、フレームレートが徐々に増加しており、それに応じて符号化すべきデータ量も増加しているため、既存の圧縮技術よりも符号化効率が良く画質改善効果も高い新たな圧縮技術が要求される。

【0006】

結合された画面内画面間予測（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ／Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ：ＣＩＩＰ）モードは、画面内予測信号と画面間予測信号とを加重平均して現在ブロックの予測ブロックを生成する方法である。幾何学的分割モードは、１つの符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ）を２つの領域に分割し、分割された２個の領域に独立的にインター予測を遂行して生成された２個のインター予測信号を加重平均して現在ブロックの予測ブロックを生成する方法である。動きベクトル差分を用いたマージモードは、一般マージモードに誘導される動きベクトルに動きベクトル差分を加えて動きベクトルを補正する。ＣＩＩＰモード、幾何学的分割モード、又は動きベクトル差分を用いたマージモードを結合してマージモードの精度を高め、符号化効率を高める必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、結合された画面内画面間予測（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ／Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ：ＣＩＩＰ）モードと幾何学的分割モードと動きベクトル差分を用いたマージモードとを基盤にして現在ブロックの予測ブロックを生成する方法及びその方法によって生成されたビットストリームを保存した記録媒体を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するためになされた本発明の一態様によるビデオ復号化方法は、ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）モード、幾何学的分割モード、及び動きベクトル差分を用いたマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定するステップと、マージ候補リストから動きベクトルを決定するステップと、前記第１のモード及び前記動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を有する。

【0009】

上記目的を達成するためになされた本発明の他の態様によるビデオ符号化方法は、ＣＩＩＰモード、幾何学的分割モード、及び動きベクトル差分を用いるマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定するステップと、マージ候補リストから動きベクトルを決定するステップと、前記第１のモード及び前記動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を有する。

【0010】

また、一実施形態によると、本発明によるビデオ符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供される。

【0011】

また、一実施形態によると、本発明によるビデオ符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供される。

【0012】

更に、一実施形態によると、本発明によるビデオ復号化装置によって受信され、復号されて映像の復元に用いられるビットストリームを保存した記録媒体が提供される。

【発明の効果】

【0013】

本発明によると、結合された画面内画面間予測（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ／Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ：ＣＩＩＰ）モードと幾何学的分割モードとを基盤にして現在ブロックの予測ブロックを生成する方法及び装置を提供することができる。

【0014】

また、本発明によると、ＣＩＩＰモードと動きベクトル差分を用いたマージモードとを基盤にして現在ブロックの予測ブロックを生成する方法及び装置を提供することができる。

【0015】

また、本発明によると、幾何学的分割モードと動きベクトル差分を用いたマージモードとを基盤にして現在ブロックの予測ブロックを生成する方法及び装置を提供することができる。

【0016】

また、本発明によると、ＣＩＩＰモードと幾何学的分割モードと動きベクトル差分を用いたマージモードとを基盤にして現在ブロックの予測ブロックを生成する方法及び装置を提供することができる。

【0017】

更に、本発明によると、ビデオ符号化／復号化効率を向上させる方法及び装置を提供することができる。

【0018】

本発明で得られる効果は、以上で言及した効果に制限されず、言及しない更に他の効果は、下の記載から本発明が属する技術分野で通常の知識を有する者に明確に理解されるだろう。

【図面の簡単な説明】

【0019】

【図1】本発明の技術を具現する映像符号化装置に関する例示的なブロック図である。

【図2】ＱＴＢＴＴＴ構造を用いてブロックを分割する方法を説明するための図である。

【図3a】複数のイントラ予測モードを示す図である。

【図3b】広角イントラ予測モードを含む複数のイントラ予測モードを示す図である。

【図4】現在ブロックの周辺ブロックに関する例示図である。

【図5】本発明の技術を具現する映像復号化装置の例示的なブロック図である。

【図6】結合された画面内画面間予測（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ／Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ：ＣＩＩＰ）モードで現在ブロックの予測ブロックを生成する方法を説明するための図である。

【図7】本発明の一実施形態による結合された画面内画面間予測モードで加重値を決定するために参照される周辺ブロックを説明するための図である。

【図8】本発明の一実施形態による結合された画面内画面間予測モードで加重値を決定する方法を説明するための図である。

【図9】本発明の一実施形態による３２×３２ブロックに幾何学的分割モードを適用する方法を説明するための図である。

【図10a】本発明の一実施形態による幾何学的分割モードで角度媒介変数を説明するための図である。

【図10b】本発明の一実施形態による幾何学的分割モードで距離媒介変数を説明するための図である。

【図11】本発明の一実施形態による幾何学的分割モードで分割方向情報のルックアップテーブルを説明するための図である。

【図12】本発明の一実施形態による動きベクトル差分の方向情報を説明するための図である。

【図13】本発明の一実施形態による動きベクトル差分の距離情報を説明するための図である。

【図14】本発明の一実施形態によるインター予測を適用するフローチャートである。

【図15】本発明の一実施形態によるインター予測で新しいモードを適用するフローチャートである。

【図16】本発明の他の一実施形態によるインター予測で新しいモードを適用するフローチャートである。

【図17】本発明の更に他の一実施形態によるインター予測で新しいモードを適用するフローチャートである。

【図18】本発明の一実施形態による幾何学的分割モードとＣＩＩＰモードとを結合した新しいモードを説明するための図である。

【図19】本発明の一実施形態によるＣＩＩＰモードと動きベクトル差分を用いたマージモードとを結合した新しいモードを説明するための図である。

【図20】本発明の一実施形態による幾何学的分割モードと動きベクトル差分を用いたマージモードとを結合した新しいモードを説明するための図である。

【図21】本発明の一実施形態による幾何学的分割モードとＣＩＩＰモードと動きベクトル差分を用いたマージモードとを結合した新しいモードを説明するための図である。

【図22】本発明の一実施形態によるビデオ復号化過程を説明するためのフローチャートである。

【図23】本発明の一実施形態によるビデオ符号化過程を説明するためのフローチャートである。

【発明を実施するための形態】

【0020】

以下、本発明の実施するための形態の具体例を、図面を参照しながら詳細に説明する。

【0021】

各図面の構成要素に参照符号を付加するにあたり、同一の構成要素に対しては、たとえ他の図面に表示されても可能な限り同一の符号を有するようにしていることに留意されたい。なお、本実施形態を説明するにあたり、関連する公知の構成又は機能についての具体的な説明が本実施形態の要旨を曖昧にすると判断される場合には、その詳しい説明は省く。

【0022】

図１は、本発明の技術を具現する映像符号化装置に関する例示的なブロック図である。以下では、図１を参照して映像符号化装置及びこの装置の下位構成について説明する。

【0023】

映像符号化装置は、ピクチャ分割部１１０、予測部１２０、減算器１３０、変換部１４０、量子化部１４５、並べ替え部１５０、エントロピー符号化部１５５、逆量子化部１６０、逆変換部１６５、加算器１７０、ループフィルタ部１８０、及びメモリ１９０を含むように構成される。

【0024】

映像符号化装置の各構成要素は、ハードウェア又はソフトウェアで具現されるか、或いはハードウェア及びソフトウェアの組み合わせで具現される。更に、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。

【0025】

１つの映像（ビデオ）は、複数のピクチャを含む１つ以上のシーケンスで構成される。各ピクチャは複数の領域に分割されて領域毎に符号化が遂行される。例えば、１つのピクチャは、１つ以上のタイル（Ｔｉｌｅ）又は／及びスライス（Ｓｌｉｃｅ）に分割される。ここで、１つ以上のタイルをタイルグループ（Ｔｉｌｅ Ｇｒｏｕｐ）として定義する。各タイル又は／及びスライスは、１つ以上のＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）に分割される。そして、各ＣＴＵはツリー構造によって１つ以上のＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）に分割される。各ＣＵに適用される情報はＣＵのシンタックスとして符号化され、１つのＣＴＵに含まれるＣＵに共通に適用される情報はＣＴＵのシンタックスとして符号化される。更に、１つのスライス内の全てのブロックに共通に適用される情報はスライスヘッダのシンタックスとして符号化され、１つ以上のピクチャを構成する全てのブロックに適用される情報はピクチャパラメータセット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）或いはピクチャヘッダに符号化される。更に、複数のピクチャが共通に参照する情報は、シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に符号化される。そして、１つ以上のＳＰＳが共通に参照する情報は、ビデオパラメータセット（ＶＰＳ：Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に符号化される。更に、１つのタイル又はタイルグループに共通に適用される情報は、タイル又はタイルグループヘッダのシンタックスとして符号化される。ＳＰＳ、ＰＰＳ、スライスヘッダ、タイル、又はタイルグループヘッダに含まれるシンタックスは、上位水準（ｈｉｇｈ ｌｅｖｅｌ）のシンタックスと称する。

【0026】

ピクチャ分割部１１０は、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）のサイズを決定する。ＣＴＵのサイズに関する情報（ＣＴＵ ｓｉｚｅ）は、ＳＰＳ又はＰＰＳのシンタックスとして符号化されて映像復号化装置に伝達される。

【0027】

ピクチャ分割部１１０は、映像を構成する各ピクチャ（ｐｉｃｔｕｒｅ）を予め設定されたサイズを有する複数のＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）に分割した後に、ツリー構造（ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）を用いてＣＴＵを繰り返し（ｒｅｃｕｒｓｉｖｅｌｙ）分割する。ツリー構造におけるリーフノード（ｌｅａｆ ｎｏｄｅ）が符号化の基本単位であるＣＵ（ｃｏｄｉｎｇ ｕｎｉｔ）になる。

【0028】

ツリー構造では、上位ノード（或いは親ノード）が同じサイズの４つの下位ノード（或いは子ノード）に分割されるクワッドツリー（Ｑｕａｄ Ｔｒｅｅ：ＱＴ）、上位ノードが２つの下位ノードに分割されるバイナリツリー（Ｂｉｎａｒｙ Ｔｒｅｅ：ＢＴ）、又は上位ノードが１：２：１の比率で３つの下位ノードに分割されるターナリーツリー（Ｔｅｒｎａｒｙ Ｔｒｅｅ：ＴＴ）、或いはこれらのＱＴ構造、ＢＴ構造、及びＴＴ構造のうちの２つ以上を混用した構造である。例えば、ＱＴＢＴ（Ｑｕａｄ Ｔｒｅｅ ｐｌｕｓ Ｂｉｎａｒｙ Ｔｒｅｅ）構造が用いられるか、又はＱＴＢＴＴＴ（Ｑｕａｄ Ｔｒｅｅ ｐｌｕｓ Ｂｉｎａｒｙ Ｔｒｅｅ Ｔｅｒｎａｒｙ Ｔｒｅｅ）構造が用いられる。ここで、ＢＴＴＴを合わせてＭＴＴ（Ｍｕｌｔｉｐｌｅ－Ｔｙｐｅ Ｔｒｅｅ）と称する。

【0029】

図２は、ＱＴＢＴＴＴ構造を用いてブロックを分割する方法を説明するための図である。図３ａ及び図３ｂは、広角イントラ予測モードを含む複数のイントラ予測モードを示す図である。図４は、現在ブロックの周辺ブロックに関する例示図である。

【0030】

図２に示したように、ＣＴＵは最初にＱＴ構造に分割される。クワッドツリー分割は、分割ブロック（ｓｐｌｉｔｔｉｎｇ ｂｌｏｃｋ）のサイズがＱＴで許容されるリーフノードの最小ブロックサイズＭｉｎＱＴＳｉｚｅに到達するまで繰り返される。ＱＴ構造の各ノードが下位レイヤの４つのノードに分割されるか否かを示す第１のフラグＱＴ＿ｓｐｌｉｔ＿ｆｌａｇは、エントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。ＱＴのリーフノードがＢＴで許容されるルートノードの最大ブロックサイズＭａｘＢＴＳｉｚｅよりも大きくない場合、ＢＴ構造又はＴＴ構造のうちのいずれか１つ以上に更に分割される。ＢＴ構造及び／又はＴＴ構造では、複数の分割方向が存在する。例えば、該当ノードのブロックが横に分割される方向及び縦に分割される方向の２つが存在する。図２に示すように、ＭＴＴ分割が開始されると、ノードが分割されるか否かを示す第２のフラグｍｔｔ＿ｓｐｌｉｔ＿ｆｌａｇと、分割された後に追加的に分割方向（ｖｅｒｔｉｃａｌ又はｈｏｒｉｚｏｎｔａｌ）を示すフラグ及び／又は分割タイプ（Ｂｉｎａｒｙ或いはＴｅｒｎａｒｙ）を示すフラグがエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。

【0031】

代替的に、各ノードが下位レイヤの４つのノードに分割されるか否かを示す第１のフラグＱＴ＿ｓｐｌｉｔ＿ｆｌａｇを符号化する前に、そのノードが分割されるか否かを示すＣＵ分割フラグｓｐｌｉｔ＿ｃｕ＿ｆｌａｇが符号化され得る。ＣＵ分割フラグｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ値が分割されていないことを示す場合、該当ノードのブロックが分割ツリー構造におけるリーフノード（ｌｅａｆ ｎｏｄｅ）になり、符号化の基本単位であるＣＵ（ｃｏｄｉｎｇ ｕｎｉｔ）になる。ＣＵ分割フラグｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ値が分割されることを示す場合、映像符号化装置は、上述した方式で第１のフラグから符号化を開始する。

【0032】

ツリー構造の他の例としてＱＴＢＴが使用される場合、該当ノードのブロックを同一サイズの２つのブロックに横に分割するタイプ（即ち、ｓｙｍｍｅｔｒｉｃ ｈｏｒｉｚｏｎｔａｌ ｓｐｌｉｔｔｉｎｇ）及び縦に分割するタイプ（即ち、ｓｙｍｍｅｔｒｉｃ ｖｅｒｔｉｃａｌ ｓｐｌｉｔｔｉｎｇ）の２つが存在する。ＢＴ構造の各ノードが下位レイヤのブロックに分割されるか否かを示す分割フラグｓｐｌｉｔ＿ｆｌａｇ及び分割されるタイプを示す分割タイプ情報がエントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。一方、該当ノードのブロックを互いに非対称形態の２つのブロックに分割するタイプが追加で更に存在し得る。非対称形態には、該当ノードのブロックを１：３のサイズ比率を有する２つの長方形ブロックに分割する形態が含まれるか、又は該当ノードのブロックを対角線方向に分割する形態が含まれる。

【0033】

ＣＵは、ＣＴＵからのＱＴＢＴ又はＱＴＢＴＴＴ分割に応じて様々なサイズを有する。以下では、符号化又は復号化しようとするＣＵ（即ち、ＱＴＢＴＴＴのリーフノード）に該当するブロックを「現在ブロック」と称する。ＱＴＢＴＴＴ分割の採用に応じて、現在ブロックの形状は正方形だけではなく長方形であってもよい。

【0034】

予測部１２０は、現在ブロックを予測して予測ブロックを生成する。予測部１２０は、イントラ予測部１２２及びインター予測部１２４を含む。

【0035】

一般に、ピクチャ内の現在ブロックはそれぞれ予測的にコーディングされる。一般に、現在ブロックの予測は（現在ブロックを含むピクチャからのデータを使用する）イントラ予測技術又は（現在ブロックを含むピクチャの前にコーディングされたピクチャからのデータを使用する）インター予測技術を使用して遂行される。インター予測は、一方向予測及び双方向予測の両方を含む。

【0036】

イントラ予測部１２２は、現在ブロックが含まれる現在ピクチャ内で現在ブロックの周辺に位置するピクセル（参照ピクセル）を用いて現在ブロック内のピクセルを予測する。予測方向によって複数のイントラ予測モードが存在する。例えば、図３ａに見られるように、複数のイントラ予測モードは、プラナー（ｐｌａｎａｒ）モード及びＤＣモードを含む２つの非方向性モード及び６５個の方向性モードを含む。各予測モードによって使用される周辺ピクセル及び演算式が異なるように定義される。

【0037】

長方形形状の現在ブロックに対する効率的な方向性予測のために、図３ｂに破線の矢印で示した方向性モード（６７～８０番、－１～－１４番イントラ予測モード）が追加で使用される。これらは、「広角イントラ予測モード（ｗｉｄｅ ａｎｇｌｅ ｉｎｔｒａ－ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅｓ）」と称される。図３ｂで、矢印は、予測に使用される対応する参照サンプルを指すものであり、予測方向を示すものではない。予測方向は、矢印が指す方向とは反対である。広角イントラ予測モードは、現在ブロックが長方形の場合に追加のビット伝送なしに特定の方向性モードを反対方向で予測を遂行するモードである。このとき、広角イントラ予測モードのうちから、長方形の現在ブロックの幅と高さとの比率により現在ブロックに利用可能な一部の広角イントラ予測モードが決定される。例えば、４５度よりも小さい角度を有する広角イントラ予測モード（６７～８０番イントラ予測モード）は現在ブロックの高さが幅よりも小さい長方形の形態である場合に利用可能であり、－１３５度よりも大きい角度を有する広角イントラ予測モード（－１～－１４番イントラ予測モード）は現在ブロックの幅が高さよりも大きい長方形の形態である場合に利用可能である。

【0038】

イントラ予測部１２２は、現在ブロックを符号化するのに使用されるイントラ予測モードを決定する。一部の例で、イントラ予測部１２２は、様々なイントラ予測モードを使用して現在ブロックをエンコーディングし、テストされたモードから使用される適切なイントラ予測モードを選択する。例えば、イントラ予測部１２２は、様々なテストされたイントラ予測モードに対するビットレート歪み（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）分析を用いてビットレート歪み値を計算し、テストされたモードの中で最善のビットレート歪み特徴を有するイントラ予測モードを選択する。

【0039】

イントラ予測部１２２は、複数のイントラ予測モードの中から１つのイントラ予測モードを選択し、選択されたイントラ予測モードによって決定される周辺ピクセル（参照ピクセル）及び演算式を用いて現在ブロックを予測する。選択されたイントラ予測モードに関する情報は、エントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。

【0040】

インター予測部１２４は、動き補償プロセスを用いて現在ブロックに対する予測ブロックを生成する。インター予測部１２４は、現在ピクチャよりも先に符号化及び復号化された参照ピクチャ内で現在ブロックに最も類似したブロックを探索し、その探索されたブロックを用いて現在ブロックに対する予測ブロックを生成する。そして、現在ピクチャ内の現在ブロックと参照ピクチャ内の予測ブロックとの間の変位（ｄｉｓｐｌａｃｅｍｅｎｔ）に該当する動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：ＭＶ）を生成する。一般に、動き推定はルマ（ｌｕｍａ）成分に対して遂行され、ルマ成分に基づいて計算された動きベクトルはルマ成分及びクロマ成分の両方に対して使用される。現在ブロックを予測するために使用された参照ピクチャに関する情報及び動きベクトルに関する情報を含む動き情報は、エントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。

【0041】

インター予測部１２４は、予測の正確性を高めるために参照ピクチャ又は参照ブロックに対する補間を遂行する。即ち、連続する２つの整数サンプル間のサブサンプルは、その２つの整数サンプルを含む連続する複数の整数サンプルにフィルタ係数を適用して補間される。補間された参照ピクチャに対して現在ブロックに最も類似するブロックを検索するステップを遂行すると、動きベクトルは整数サンプル単位の精度（ｐｒｅｃｉｓｉｏｎ）ではなく小数単位の精度まで表現される。動きベクトルの精度又は解像度（ｒｅｓｏｌｕｔｉｏｎ）は、符号化しようとする対象領域、例えばスライス、タイル、ＣＴＵ、ＣＵなどの単位毎に異なるように設定される。このような適応的動きベクトル解像度（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ：ＡＭＶＲ）が適用される場合、各対象領域に適用される動きベクトル解像度に関する情報は、対象領域毎にシグナリングされなければならない。例えば、対象領域がＣＵである場合、ＣＵ毎に適用された動きベクトル解像度に関する情報がシグナリングされる。動きベクトル解像度に関する情報は、後述する差分動きベクトルの精度を示す情報である。

【0042】

一方、インター予測部１２４は、双方向予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）を用いてインター予測を遂行する。双方向予測の場合、２つの参照ピクチャ及び各参照ピクチャ内で現在ブロックに最も類似したブロック位置を表す２つの動きベクトルが用いられる。インター予測部１２４は、参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０）及び参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１）からそれぞれ第１の参照ピクチャ及び第２の参照ピクチャを選択し、各参照ピクチャ内で現在ブロックに類似するブロックを探索して第１の参照ブロック及び第２の参照ブロックを生成する。そして、第１の参照ブロックと第２の参照ブロックとを平均又は加重平均して現在ブロックに対する予測ブロックを生成する。そして、現在ブロックを予測するために使用された２つの参照ピクチャに関する情報及び２つの動きベクトルに関する情報を含む動き情報を符号化部１５０に伝達する。ここで、参照ピクチャリスト０は予め復元されたピクチャのうちのディスプレイ順序で現在ピクチャの前のピクチャで構成され、参照ピクチャリスト１は予め復元されたピクチャのうちのディスプレイ順序で現在ピクチャの後のピクチャで構成される。しかし、必ずしもこれに限定されるわけではなく、ディスプレイ順序上で現在ピクチャの後の既復元のピクチャが参照ピクチャリスト０に追加で更に含まれてもよく、逆に現在ピクチャの前の既復元のピクチャが参照ピクチャリスト１に追加で更に含まれてもよい。

【0043】

動き情報を符号化するのに所要されるビット量を最小化するために多様な方法が用いられる。

【0044】

例えば、現在ブロックの参照ピクチャ及び動きベクトルが周辺ブロックの参照ピクチャ及び動きベクトルと同一の場合には、その周辺ブロックを識別する情報を符号化することで、現在ブロックの動き情報を映像復号化装置に伝達する。この方法を「マージモード（ｍｅｒｇｅ ｍｏｄｅ）」と称する。

【0045】

マージモードで、インター予測部１２４は、現在ブロックの周辺ブロックから予め設定された個数のマージ候補ブロック（以下、「マージ候補」という）を選択する。

【0046】

マージ候補を誘導するための周辺ブロックとしては、図４に示したように、現在ピクチャ内で現在ブロックに隣接する左側ブロックＡ０、左下段ブロックＡ１、上段ブロックＢ０、右上段ブロックＢ１、及び左上段ブロックＢ２のうちの全部又は一部が使用される。更に、現在ブロックが位置する現在ピクチャではなく、参照ピクチャ（現在ブロックを予測するために使用された参照ピクチャと同一であるか又は異なる）内に位置するブロックがマージ候補として使用される。例えば、参照ピクチャ内で現在ブロックと同一の位置にあるブロック（ｃｏ－ｌｏｃａｔｅｄ ｂｌｏｃｋ）又はその同一の位置のブロックに隣接するブロックがマージ候補として追加で更に使用される。以上で記述した方法によって選定されたマージ候補の個数が予め設定された個数よりも小さい場合、０ベクトルをマージ候補に追加する。

【0047】

インター予測部１２４は、このような周辺ブロックを用いて予め設定された個数のマージ候補を含むマージリストを構成する。マージリストに含まれるマージ候補の中から現在ブロックの動き情報として使用されるマージ候補を選択し、選択された候補を識別するためのマージインデックス情報を生成する。生成されたマージインデックス情報は、符号化部１５０によって符号化されて映像復号化装置に伝達される。

【0048】

マージスキップ（ｍｅｒｇｅ ｓｋｉｐ）モードは、マージモードの特別な場合であり、量子化を遂行した後、エントロピー符号化のための変換係数が全て零（ｚｅｒｏ）に近い場合、残差信号の伝送なしに周辺ブロック選択情報のみを伝送する。マージスキップモードを用いることで、動きの少ない映像、静止画、スクリーンコンテンツ映像などで相対的に高い符号化効率を達成することができる。

【0049】

以下、マージモード及びマージスキップモードを総称して、マージ／スキップモードで表す。

【0050】

動き情報を符号化するための更に別の方法は、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードである。

【0051】

ＡＭＶＰモードで、インター予測部１２４は、現在ブロックの周辺ブロックを用いて現在ブロックの動きベクトルに対する予測動きベクトル候補を誘導する。予測動きベクトル候補を誘導するために使用される周辺ブロックとしては、図４に示した現在ピクチャ内で現在ブロックに隣接する左側ブロックＡ０、左下段ブロックＡ１、上段ブロックＢ０、右上段ブロックＢ１、及び左上段ブロックＢ２のうちの全部又は一部が用いられる。更に、現在ブロックが位置する現在ピクチャではなく、参照ピクチャ（現在ブロックを予測するために使用された参照ピクチャと同じであるか又は異なる）内に位置するブロックが予測動きベクトル候補を誘導するために使用される周辺ブロックとして使用される。例えば、参照ピクチャ内で現在ブロックと同じ位置にあるブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）又はその同じ位置のブロックに隣接するブロックが使用される。以上で記述した方法によって動きベクトル候補の個数が予め設定された個数よりも小さい場合、０ベクトルを動きベクトル候補に追加する。

【0052】

インター予測部１２４は、この周辺ブロックの動きベクトルを用いて予測動きベクトル候補を誘導し、予測動きベクトル候補を用いて現在ブロックの動きベクトルに対する予測動きベクトルを決定する。そして、現在ブロックの動きベクトルから予測動きベクトルを減算して差分動きベクトルを算出する。

【0053】

予測動きベクトルは、予測動きベクトル候補に予め定義された関数（例えば、中央値、平均値演算など）を適用して求める。この場合、映像復号化装置も予め定義された関数を知っている。また、予測動きベクトル候補を誘導するために使用される周辺ブロックは既に符号化及び復号化が完了したブロックであるため、映像復号化装置もその周辺ブロックの動きベクトルも既に知っている。したがって、映像符号化装置は、予測動きベクトル候補を識別するための情報を符号化する必要がない。したがって、この場合には、差分動きベクトルに関する情報及び現在ブロックを予測するために使用した参照ピクチャに関する情報が符号化される。

【0054】

一方、予測動きベクトルは、予測動きベクトル候補のうちのいずれか１つを選択する方式で決定され得る。この場合には、差分動きベクトルに関する情報及び現在ブロックを予測するために使用された参照ピクチャに関する情報と共に、選択された予測動きベクトル候補を識別するための情報が追加で符号化される。

【0055】

減算器１３０は、現在ブロックからイントラ予測部１２２又はインター予測部１２４によって生成された予測ブロックを減算して残差ブロックを生成する。

【0056】

変換部１４０は、空間領域のピクセル値を有する残差ブロック内の残差信号を周波数ドメインの変換係数に変換する。変換部１４０は、残差ブロックの全体サイズを変換単位として使用して残差ブロック内の残差信号を変換するか、又は残差ブロックを複数個のサブブロックに分割してそのサブブロックを変換単位として使用して変換する。或いは、変換領域及び非変換領域である２つのサブブロックに区分し、変換領域サブブロックのみを変換単位として使用して残差信号を変換する。ここで、変換領域サブブロックは、横軸（又は縦軸）基準で１：１のサイズ比率を有する２つの長方形ブロックのうちの１つである。この場合、サブブロックのみを変換したことを示すフラグｃｕ＿ｓｂｔ＿ｆｌａｇ、方向性（ｖｅｒｔｉｃａｌ／ｈｏｒｉｚｏｎｔａｌ）情報ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ、及び／又は位置情報ｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇがエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。また、変換領域サブブロックのサイズは、横軸（或いは縦軸）基準で１：３のサイズ比率を有し、このような場合、該当分割を区分するフラグｃｕ＿ｓｂｔ＿ｑｕａｄ＿ｆｌａｇが追加的にエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。

【0057】

一方、変換部１４０は、残差ブロックに対して横方向及び縦方向に個別に変換を遂行する。変換のために、様々なタイプの変換関数又は変換行列が用いられる。例えば、横方向変換及び縦方向変換のための変換関数の対をＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｔ）と定義する。変換部１４０は、ＭＴＳのうちの変換効率が最も良い１つの変換関数対を選択し、横及び縦方向にそれぞれ残差ブロックを変換する。ＭＴＳのうちから選択された変換関数対に関する情報ｍｔｓ＿ｉｄｘは、エントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。

【0058】

量子化部１４５は、変換部１４０から出力された変換係数を、量子化パラメータを用いて量子化し、量子化された変換係数をエントロピー符号化部１５５に出力する。量子化部１４５は、任意のブロック又はフレームに対して、変換なしに、関連する残差ブロックを直ちに量子化する。量子化部１４５は、変換ブロック内の変換係数の位置に応じてそれぞれ異なる量子化係数（スケーリング値）を適用する。二次元に配置された量子化された変換係数に適用される量子化行列は符号化されて映像復号化装置にシグナリングされる。

【0059】

並べ替え部１５０は、量子化された残差値に対して係数値の並べ替えを遂行する。

【0060】

並べ替え部１５０は、係数走査（ｃｏｅｆｆｉｃｉｅｎｔ ｓｃａｎｎｉｎｇ）を用いて２次元の係数アレイを１次元の係数シーケンスに変更する。例えば、並べ替え部１５０では、千鳥状スキャン（ｚｉｇ－ｚａｇ ｓｃａｎ）又は対角線スキャン（ｄｉａｇｏｎａｌ ｓｃａｎ）を用いてＤＣ係数から高周波数領域の係数までスキャンして１次元の係数シーケンスを出力する。変換単位のサイズ及びイントラ予測モードによって千鳥状スキャンの代わりに２次元の係数アレイを列方向にスキャンする垂直スキャン、２次元のブロック形態係数を行方向にスキャンする水平スキャンが使用されてもよい。即ち、変換単位のサイズ及びイントラ予測モードによって千鳥状スキャン、対角線スキャン、垂直方向スキャン、及び水平方向スキャンのうちから使用されるスキャン方法が決定される。

【0061】

エントロピー符号化部１５５は、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅ）、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）などの様々な符号化方式を用いて、並べ替え部１５０から出力された１次元の量子化された変換係数のシーケンスを符号化することによってビットストリームを生成する。

【0062】

また、エントロピー符号化部１５５は、ブロック分割に関連するＣＴＵサイズ、ＣＵ分割フラグ、ＱＴ分割フラグ、ＭＴＴ分割タイプ、ＭＴＴ分割方向などの情報を符号化し、映像復号化装置が映像符号化装置と同様にブロックを分割できるようにする。また、エントロピー符号化部１５５は、現在ブロックがイントラ予測によって符号化されたか、それともインター予測によって符号化されたかの如何を示す予測タイプに関する情報を符号化し、予測タイプによってイントラ予測情報（即ち、イントラ予測モードに関する情報）又はインター予測情報（動き情報の符号化モード（マージモード又はＡＭＶＰモード）、マージモードの場合はマージインデックス、ＡＭＶＰモードの場合は参照ピクチャインデックス及び差分動きベクトルに関する情報）を符号化する。また、エントロピー符号化部１５５は、量子化に関連する情報、即ち量子化パラメータに関する情報及び量子化行列に関する情報を符号化する。

【0063】

逆量子化部１６０は量子化部１４５から出力された量子化された変換係数を逆量子化して変換係数を生成する。逆変換部１６５は、逆量子化部１６０から出力された変換係数を周波数ドメインから空間ドメインに変換して残差ブロックを復元する。

【0064】

加算部１７０は、復元された残差ブロックと予測部１２０によって生成された予測ブロックとを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、次の順序のブロックをイントラ予測するときに参照ピクセルとして使用される。

【0065】

ループ（ｌｏｏｐ）フィルタ部１８０は、ブロックベースの予測及び変換／量子化によって発生するブロッキングアーチファクト（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔｓ）、リンギングアーチファクト（ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔｓ）、ぼかしアーチファクト（ｂｌｕｒｒｉｎｇ ａｒｔｉｆａｃｔｓ）等を減らすために復元されたピクセルに対するフィルタリングを遂行する。フィルタ部１８０は、インループ（ｉｎ－ｌｏｏｐ）フィルタとしてデブロックフィルタ１８２、ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタ１８４、及びＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）１８６の全部又は一部を含む。

【0066】

デブロックフィルタ１８２は、ブロック単位の符号化／復号化によって発生するブロッキング現象（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）を除去するために復元されたブロック間の境界をフィルタリングし、ＳＡＯフィルタ１８４及びａｌｆ１８６は、デブロックフィルタリングされた映像に対して追加のフィルタリングを遂行する。ＳＡＯフィルタ１８４及びａｌｆ１８６は、損失符号化（ｌｏｓｓｙ ｃｏｄｉｎｇ）によって発生する復元されたピクセルと元本ピクセルとの間の差を補償するために使用されるフィルタである。ＳＡＯフィルタ１８４は、ＣＴＵ単位でオフセットを適用することで、主観的な画質だけでなく符号化効率も向上させる。これに比べて、ＡＬＦ１８６はブロック単位のフィルタリングを遂行し、該当ブロックのエッジ及び変化量の程度を区分して異なるフィルタを適用して歪みを補償する。ＡＬＦに使用されるフィルタ係数に関する情報は符号化されて映像復号化装置にシグナリングされる。

【0067】

デブロックフィルタ１８２、ＳＡＯフィルタ１８４、及びＡＬＦ１８６を介してフィルタリングされた復元ブロックはメモリ１９０に保存される。あるピクチャ内の全てのブロックが復元されると、復元されたピクチャは、後に符号化しようとするピクチャ内のブロックをインター予測するための参照ピクチャとして使用される。

【0068】

図５は、本発明の技術を具現する映像復号化装置の例示的なブロック図である。以下では、図５を参照して映像復号化装置及びこの装置の下位構成について説明する。

【0069】

映像復号化装置は、エントロピー復号化部５１０、並べ替え部５１５、逆量子化部５２０、逆変換部５３０、予測部５４０、加算器５５０、ループフィルタ部５６０、及びメモリ５７０を含むように構成される。

【0070】

図１の映像符号化装置と同様に、映像復号化装置の各構成要素は、ハードウェア又はソフトウェアで具現されるか、或いはハードウェア及びソフトウェアの組み合わせで具現される。更に、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。

【0071】

エントロピー復号化部５１０は、映像符号化装置によって生成されたビットストリームを復号化してブロック分割に関連する情報を抽出することで復号化しようとする現在ブロックを決定し、現在ブロックを復元するために必要な予測情報、残差信号に関する情報などを抽出する。

【0072】

エントロピー復号化部５１０は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）からＣＴＵサイズに関する情報を抽出してＣＴＵのサイズを決定し、ピクチャを決定されたサイズのＣＴＵに分割する。そして、ＣＴＵをツリー構造の最上位レイヤ、即ちルートノードとして決定し、ＣＴＵに関する分割情報を抽出することで、ツリー構造を用いてＣＴＵを分割する。

【0073】

例えば、ＱＴＢＴＴＴ構造を用いてＣＴＵを分割する場合、先ずＱＴの分割に関連する第１のフラグＱＴ＿ｓｐｌｉｔ＿ｆｌａｇを抽出して各ノードを下位レイヤの４つのノードに分割する。そして、ＱＴのリーフノードに該当するノードに対しては、ＭＴＴの分割に関連する第２のフラグＭＴＴ＿ｓｐｌｉｔ＿ｆｌａｇ及び分割方向（ｖｅｒｔｉｃａｌ／ｈｏｒｉｚｏｎｔａｌ）及び／又は分割タイプ（ｂｉｎａｒｙ／ｔｅｒｎａｒｙ）情報を抽出して該当リーフノードをＭＴＴ構造に分割する。これにより、ＱＴのリーフノード以下の各ノードをＢＴ又はＴＴ構造に繰り返し（ｒｅｃｕｒｓｉｖｅｌｙ）分割する。

【0074】

更に他の例として、ＱＴＢＴＴＴ構造を用いてＣＴＵを分割する場合、先ずＣＵの分割可否を示すＣＵ分割フラグｓｐｌｉｔ＿ｃｕ＿ｆｌａｇを抽出し、該当ブロックが分割された場合、第１のフラグＱＴ＿ｓｐｌｉｔ＿ｆｌａｇを抽出する。分割の過程で、各ノードは、０回以上の繰り返しのＱＴ分割後に０回以上の繰り返しのＭＴＴ分割が発生する。例えば、ＣＴＵは直ぐにＭＴＴ分割が発生するか、又は逆に複数回のＱＴ分割のみが発生する。

【0075】

別の例として、ＱＴＢＴ構造を用いてＣＴＵを分割する場合、ＱＴの分割に関連する第１のフラグＱＴ＿ｓｐｌｉｔ＿ｆｌａｇを抽出して各ノードを下位レイヤの４つのノードに分割する。そして、ＱＴのリーフノードに該当するノードに対しては、ＢＴで更に分割されるか否かを示す分割フラグｓｐｌｉｔ＿ｆｌａｇ及び分割方向情報を抽出する。

【0076】

一方、エントロピー復号化部５１０は、ツリー構造の分割を用いて復号化しようとする現在ブロックを決定すると、現在ブロックがイントラ予測されたかそれともインター予測されたかを示す予測タイプに関する情報を抽出する。予測タイプ情報がイントラ予測を示す場合、エントロピー復号化部５１０は、現在ブロックのイントラ予測情報（イントラ予測モード）に関するシンタックス要素を抽出する。予測タイプ情報がインター予測を示す場合、エントロピー復号化部５１０は、インター予測情報に関するシンタックス要素、即ち動きベクトル及びその動きベクトルが参照する参照ピクチャを表す情報を抽出する。

【0077】

また、エントロピー復号化部５１０は、量子化関連の情報及び残差信号に関する情報として現在ブロックの量子化された変換係数に関する情報を抽出する。

【0078】

並べ替え部５１５は、映像符号化装置によって遂行された係数走査順序の逆順で、エントロピー復号化部５１０でエントロピー復号化された１次元の量子化された変換係数のシーケンスを再び２次元の係数アレイ（即ち、ブロック）に変更する。

【0079】

逆量子化部５２０は、量子化された変換係数を逆量子化し、量子化パラメータを用いて量子化された変換係数を逆量子化する。逆量子化部５２０は、二次元に配列された量子化された変換係数に対してそれぞれ異なる量子化係数（スケーリング値）を適用する。逆量子化部５２０は、映像符号化装置から量子化係数（スケーリング値）の行列を量子化された変換係数の２次元アレイに適用して逆量子化を遂行する。

【0080】

逆変換部５３０は、逆量子化された変換係数を周波数ドメインから空間ドメインに逆変換して残差信号を復元することで、現在ブロックに対する残差ブロックを生成する。

【0081】

また、逆変換部５３０は、変換ブロックの一部領域（サブブロック）のみを逆変換する場合、変換ブロックのサブブロックのみを変換したことを示すフラグｃｕ＿ｓｂｔ＿ｆｌａｇ、サブブロックの方向性（ｖｅｒｔｉｃａｌ／ｈｏｒｉｚｏｎｔａｌ）情報ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ、及び／又はサブブロックの位置情報ｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇを抽出し、該当サブブロックの変換係数を周波数ドメインから空間ドメインに逆変換することによって残差信号を復元し、逆変換されない領域に対しては残差信号で「０」値を満たすことによって現在ブロックに対する最終残差ブロックを生成する。

【0082】

また、ＭＴＳが適用された場合、逆変換部５３０は、映像符号化装置からシグナリングされたＭＴＳ情報ｍｔｓ＿ｉｄｘを用いて横及び縦方向にそれぞれ適用される変換関数又は変換行列を決定し、決定された変換関数を用いて横及び縦方向に変換ブロック内の変換係数に対して逆変換を遂行する。

【0083】

予測部５４０は、イントラ予測部５４２及びインター予測部５４４を含む。イントラ予測部５４２は、現在ブロックの予測タイプがイントラ予測である場合に活性化され、インター予測部５４４は、現在ブロックの予測タイプがインター予測である場合に活性化される。

【0084】

イントラ予測部５４２は、エントロピー復号化部５１０から抽出されたイントラ予測モードに対するシンタックス要素から複数のイントラ予測モードのうちの現在ブロックのイントラ予測モードを決定し、イントラ予測モードに応じて現在ブロック周囲の参照ピクセルを用いて現在ブロックを予測する。

【0085】

インター予測部５４４は、エントロピー復号化部５１０から抽出されたインター予測モードに対するシンタックス要素を用いて現在ブロックの動きベクトル及びその動きベクトルが参照する参照ピクチャを決定し、動きベクトル及び参照ピクチャを用いて現在ブロックを予測する。

【0086】

加算器５５０は、逆変換部から出力される残差ブロックとインター予測部又はイントラ予測部から出力される予測ブロックとを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、後で復号化するブロックをイントラ予測するときの参照ピクセルとして活用される。

【0087】

ループフィルタ部５６０は、インループフィルタとしてデブロックフィルタ５６２、ＳＡＯフィルタ５６４、及びＡＬＦ５６６を含む。デブロックフィルタ５６２は、ブロック単位の復号化によって発生するブロッキング現象（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）を除去するために、復元されたブロック間の境界をデブロックフィルタリングする。ＳＡＯフィルタ５６４及びＡＬＦ５６６は、損失符号化（ｌｏｓｓｙ ｃｏｄｉｎｇ）によって発生する復元されたピクセルと元本ピクセルとの間の差を補償するために、デブロックフィルタリングの後の復元されたブロックに対して追加のフィルタリングを遂行する。ＡＬＦのフィルタ係数は、ビットストリームから復号されたフィルタ係数に関する情報を用いて決定される。

【0088】

デブロックフィルタ５６２、ＳＡＯフィルタ５６４、及びＡＬＦ５６６を介してフィルタリングされた復元ブロックはメモリ５７０に保存される。あるピクチャ内の全てのブロックが復元されると、復元されたピクチャは、後で符号化しようとするピクチャ内のブロックをインター予測するための参照ピクチャとして使用される。

【0089】

図６は、結合された画面内画面間予測（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ／Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ：ＣＩＩＰ）モードで現在ブロックの予測ブロックを生成する方法を説明するための図である。

【0090】

画面内予測モードは、イントラ予測モードと同じ意味に該当する。画面内予測モードとイントラ予測モードとは混用される。画面間予測モードは、インター予測モードと同じ意味に該当する。画面間予測モードとインター予測モードとは混用される。結合された画面内画面間予測モードは、結合されたイントラインター予測モードと同じ意味に該当する。結合された画面内画面間予測モードとＣＩＩＰモードとは混用される。ＣＩＩＰモードで、インター予測ブロックは一般マージモードと同じ方法で生成される。イントラ予測ブロックは、現在ブロックの周辺に隣接する参照画素にプラナー（Ｐｌａｎａｒ）モードを適用して生成される。生成されたインター予測ブロック及びイントラ予測ブロックに加重値を適用して最終的なＣＩＩＰを基盤にした予測ブロックが生成される。

【0091】

図６を参照すると、マージ（Ｍｅｒｇｅ）モードを基盤にして参照ピクチャ内の参照ブロックＰ_{ｉｎｔｅｒ}が誘導される。現在ブロックに隣接する参照画素にプラナーモードが適用されてイントラ予測ブロックＰ_{Ｐｌａｎａｒ}が生成される。該当参照ブロックＰ_{ｉｎｔｅｒ}及びイントラ予測ブロックＰ_{Ｐｌａｎａｒ}に加重値を適用してＣＩＩＰを基盤にした予測ブロックＰ_ＣＩＩＰが生成される。参照ブロックＰ_{ｉｎｔｅｒ}に適用される加重値はＷ_{ｉｎｔｅｒ}に該当する。イントラ予測ブロックＰ_{Ｐｌａｎａｒ}に適用される加重値はＷ_{ｉｎｔｒａ}に該当する。ＣＩＩＰを基盤にした予測ブロックＰ_ＣＩＩＰは、下記数式１を用いて生成される。

【0092】

【数1】

【0093】

図７は、本発明の一実施形態による結合された画面内画面間予測モードで加重値を決定するために参照される周辺ブロックを説明するための図である。

【0094】

ＣＩＩＰモードで、加重値は、現在ブロックに隣接する周辺ブロックのイントラ予測モード符号化の如何を考慮して決定される。

【0095】

図７を参照すると、ＣＩＩＰモードで、加重値は、現在ブロックに隣接する上側周辺ブロックＡ及び左側周辺ブロックＬのイントラ予測モード符号化の如何を考慮して決定される。

【0096】

図８は、本発明の一実施形態による結合された画面内画面間予測モードで加重値を決定する方法を説明するための図である。

【0097】

現在ブロックに隣接する周辺ブロックがイントラ予測モードを多く符号化すると、イントラ予測ブロックに大きな加重値が付与される。逆に、現在ブロックに隣接する周辺ブロックがイントラ予測モードを少なく符号化すると、イントラ予測ブロックに小さな加重値が付与される。

【0098】

図８を参照すると、図７の現在ブロックの上側周辺ブロックＡ及び左側周辺ブロックＬがイントラ予測モードを符号化する場合、イントラ予測ブロックに割り当てられる加重値は３に該当する。上側周辺ブロックＡがイントラ予測モードを符号化して左側周辺ブロックＬがイントラ予測モードを符号化しない場合、イントラ予測ブロックに割り当てられる加重値は２に該当する。上側周辺ブロックＡがイントラ予測モードを符号化せず、左側周辺ブロックＬがイントラ予測モードを符号化する場合、イントラ予測ブロックに割り当てられる加重値は２に該当する。上側周辺ブロックＡがイントラ予測モードを符号化せず、左側周辺ブロックＬがイントラ予測モードを符号化しない場合、イントラ予測ブロックに割り当てられる加重値は１に該当する。

【0099】

図９は、本発明の一実施形態による３２×３２ブロックに幾何学的分割モードを適用する方法を説明するための図である。

【0100】

幾何学的分割モードについて説明すると、１つの符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ）が直線分割境界によって２個の領域に分割される。分割された２個の領域は、それぞれ互いに異なる動き情報を用いてインター予測を遂行する。分割された２個の領域に対するインター予測ブロックがそれぞれ生成される。生成された２個のインター予測ブロックを加重平均して最終的な幾何学的分割モードの予測ブロックが生成される。幾何学的分割モードは、角度媒介変数及び距離媒介変数を用いて直線で定義される分割境界領域を設定する。加重平均は、加重和と同じ意味に該当する。

【0101】

図９を参照すると、３２×３２ブロックは２個の領域に分割される。分割された２個の領域のそれぞれに対してインター予測が遂行される。φは角度媒介変数に該当する。ρは距離媒介変数に該当する。角度媒介変数及び距離媒介変数を用いて３２×３２ブロックを分割する直線が設定される。

【0102】

図１０ａ及び図１０ｂは、本発明の一実施形態による幾何学的分割モードで角度媒介変数及び距離媒介変数を説明するための図である。

【0103】

図１０ａを参照すると、角度媒介変数は、符号化ユニット内で３６０度の範囲を対称分割して合計２０個の量子化された角度で定義される。

【0104】

図１０ｂを参照すると、距離媒介変数は４個の量子化された距離で定義される。角度媒介変数と距離媒介変数との組み合わせで発生する合計８０個の分割方向のうち、重複する１０個の分割方向と、２進ツリー分割と３進ツリー分割との重複する６個の分割方向が除外される。これにより、幾何学的分割モードは合計６４個の分割方向を使用する。

【0105】

図１１は、本発明の一実施形態による幾何学的分割モードで分割方向情報のルックアップテーブルを説明するための図である。

【0106】

角度媒介変数と距離媒介変数との組み合わせは、ルックアップテーブル（ｌｏｏｋ－ｕｐ ｔａｂｌｅ）で定義される。１つの符号化ユニット毎に分割方向情報が伝送される。幾何学的分割モードでは、一般マージ候補リストから一方向動き情報のみを含む幾何学的分割モードのためのマージ候補リストが構成される。これにより、動き情報の符号化が簡素化されて可能な組み合わせの数が減る。幾何学的分割モードのためのマージ候補リストを用いて分割領域毎に使用されるマージインデックスが伝送される。

【0107】

図１１を参照すると、角度媒介変数に関する情報（例えば、ａｎｇｌｅＩｄｘ）及び距離媒介変数に関する情報（例えば、ｄｉｓｔａｎｃｅＩｄｘ）によって分割方向情報（例えば、ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘ）が決定される。ａｎｇｌｅＩｄｘとｄｉｓｔａｎｃｅＩｄｘとの組み合わせによるｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘは、ルックアップテーブルで定義される。ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘの値は０から６３の範囲に該当する。１つの符号化ユニット毎にｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘが伝送される。

【0108】

図１２は、本発明の一実施形態による動きベクトル差分の方向情報を説明するための図である。

【0109】

一般的なマージモードでは、マージ候補リストの動き情報が現在ブロックの動き情報として使用され、追加の動き情報は伝送されない。一般的なマージモードは、ビット量を最小化するという利点があるが、最適な動き情報を表現できないという限界がある。動きベクトル差分を用いたマージモード（Ｍｅｒｇｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ：ＭＭＶＤ）は、一般マージモードに誘導された動きベクトルに動きベクトル差分を加えて動き情報を補正する。

【0110】

動きベクトル差分を用いたマージモードは、複雑度を減らすために、一般マージモードの候補リストのうちの１番目の候補及び２番目の候補のみを使用する。２個の候補の中から１つの候補が選択され、該当候補の動きベクトルが初期動きベクトルに設定される。初期動きベクトルに追加で伝送された動きベクトル差分情報が加わって最終動きベクトルが決定される。動きベクトル差分情報は、方向情報及び距離情報を含む。

【0111】

図１２を参照すると、動きベクトル差分の方向情報は、垂直方向又は水平方向における補正のみ可能である。動きベクトル差分の方向情報は、４つの方向で構成される。水平方向に＋１及び垂直方向に０だけ補正する動きベクトル差分の方向情報にはインデックス０が割り当てられる。水平方向に－１、及び垂直方向に０だけ補正する動きベクトル差分の方向情報にはインデックス１が割り当てられる。水平方向に０、及び垂直方向に＋１だけ補正する動きベクトル差分の方向情報にはインデックス２が割り当てられる。水平方向に０、及び垂直方向に－１だけ補正する動きベクトル差分の方向情報にはインデックス３が割り当てられる。

【0112】

図１３は、本発明の一実施形態による動きベクトル差分の距離情報を説明するための図である。

【0113】

図１３を参照すると、動きベクトル差分の距離情報は、動き距離である輝度画素距離で構成される。動きベクトル差分の方向情報は、８つの動き距離で構成される。輝度画素距離が１／４の動きベクトル差分の距離情報にはインデックス０が割り当てられる。輝度画素距離が１／２の動きベクトル差分の距離情報にはインデックス１が割り当てられる。輝度画素距離が１の動きベクトル差分の距離情報にはインデックス２が割り当てられる。輝度画素距離が２の動きベクトル差分の距離情報にはインデックス３が割り当てられる。輝度画素距離が４の動きベクトル差分の距離情報にはインデックス４が割り当てられる。輝度画素距離が８の動きベクトル差分の距離情報にはインデックス５が割り当てられる。輝度画素距離が１６の動きベクトル差分の距離情報にはインデックス６が割り当てられる。輝度画素距離が３２の動きベクトル差分の距離情報にはインデックス７が割り当てられる。

【0114】

図１４は、本発明の一実施形態によるインター予測を適用するフローチャートである。

【0115】

図１４を参照すると、ＳＫＩＰモードが適用されるか否かが判断される（ステップＳ１４１０）。ＳＫＩＰモードが適用されると判断された場合（ステップＳ１４１０－はい）、ＳＫＩＰモードが適用される（ステップＳ１４２０）。ＳＫＩＰモードが適用されないと判断された場合（ステップＳ１４１０－いいえ）、マージモードが適用されるか否かが判断される（ステップＳ１４３０）。マージモードが適用されないと判断された場合（ステップＳ１４３０－いいえ）、ＡＭＶＰ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードが適用される（ステップＳ１４４０）。マージモードが適用されると判断された場合（ステップＳ１４３０－はい）、サブブロックにマージモードが適用されるか否かが判断される（ステップＳ１４５０）。サブブロックにマージモードが適用されると判断された場合（ステップＳ１４５０－はい）、サブブロックマージモードが適用される（ステップＳ１４６０）。サブブロック基盤の時間的動きベクトル予測（ＳｂＴＭＶＰ）及びアフィン（ＡＦＦＩＮＥ）マージモードが適用される。サブブロックにマージモードが適用されないと判断された場合（ステップＳ１４５０－いいえ）、一般的なマージモードが適用されるか否かが判断される（ステップＳ１４７０）。

【0116】

一般的なマージモードが適用されないと判断された場合（ステップＳ１４７０－いいえ）、ＣＩＩＰモードが適用されるか否かが判断される（ステップＳ１４８０）。ＣＩＩＰモードが適用されないと判断された場合（ステップＳ１４８０－いいえ）、幾何学的分割モード（ＧＰＭ）が適用される（ステップＳ１４８１）。ＣＩＩＰモードが適用されると判断された場合（ステップＳ１４８０－はい）、ＣＩＩＰモードが適用される（ステップＳ１４８２）。一般的なマージモードが適用されると判断された場合（ステップＳ１４７０－はい）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用されるか否かが判断される（ステップＳ１４９０）。動きベクトル差分を用いたマージモードが適用されると判断された場合（ステップＳ１４９０－はい）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用される（ステップＳ１４９１）。動きベクトル差分を用いたマージモードが適用されないと判断された場合（ステップＳ１４９０－いいえ）、一般的なマージモードが適用される（ステップＳ１４９２）。

【0117】

図１５は、本発明の一実施形態によるインター予測で新しいモードを適用するフローチャートである。

【0118】

現在ブロックにサブブロックマージモードではなく一般マージモードが適用される場合、現在ブロックの分割如何が確認される。その後、現在ブロックの予測方法が確認される。現在ブロックの予測方法には、イントラインター予測方法及びインター予測方法が存在する。最後に、動きベクトル差分の使用の如何が確認される。動きベクトル差分の使用の如何を確認して動き情報を補正するかの如何が決定される。

【0119】

図１５を参照すると、サブブロックにマージモードが適用されるか否かが判断される（ステップＳ１５１０）。サブブロックにマージモードが適用されると判断された場合（ステップＳ１５１０－はい）、サブブロックにマージモードが適用される（ステップＳ１５２０）。サブブロック基盤の時間的動きベクトル予測（ＳｂＴＭＶＰ）及びアフィンマージモードが適用される。サブブロックにマージモードが適用されないと判断された場合（ステップＳ１５１０－いいえ）、幾何学的分割モード（ＧＰＭ）が適用されるか否かが判断される（ステップＳ１５３０）。幾何学的分割モードが適用されると判断された場合（ステップＳ１５３０－はい）、ＣＩＩＰモードが適用されるか否かが判断される（ステップＳ１５４０）。ＣＩＩＰモードが適用されると判断された場合（ステップＳ１５４０－はい）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用されるか否かが判断される（ステップＳ１５４１）。動きベクトル差分を用いたマージモードが適用されると判断された場合（ステップＳ１５４１－はい）、幾何学的分割モード（ＧＰＭ）とＣＩＩＰモードと動きベクトル差分（ＭＭＶＤ）を用いたマージモードとを結合した新しいモードが適用される（ステップＳ１５４２）。動きベクトル差分を用いたマージモードが適用されないと判断された場合（ステップＳ１５４１－いいえ）、幾何学的分割モード（ＧＰＭ）とＣＩＩＰモードとを結合した新しいモードが適用される（ステップＳ１５４３）。

【0120】

ＣＩＩＰモードが適用されないと判断された場合（ステップＳ１５４０－いいえ）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用されるか否かが判断される（ステップＳ１５４４）。動きベクトル差分を用いたマージモードが適用されると判断された場合（ステップＳ１５４４－はい）、幾何学的分割モード（ＧＰＭ）と動きベクトル差分（ＭＭＶＤ）を用いたマージモードとを結合した新しいモードが適用される（ステップＳ１５４５）。動きベクトル差分を用いたマージモードが適用されないと判断された場合（ステップＳ１５４４－いいえ）、幾何学的分割モード（ＧＰＭ）が適用される（Ｓステップ１５４６）。

【0121】

幾何学的分割モードが適用されないと判断された場合（ステップＳ１５３０－いいえ）、ＣＩＩＰモードが適用されるか否かが判断される（ステップＳ１５５０）。ＣＩＩＰモードが適用されると判断された場合（ステップＳ１５５０－はい）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用されるか否かが判断される（ステップＳ１５５１）。動きベクトル差分を用いたマージモードが適用されると判断された場合（ステップＳ１５５１－はい）、ＣＩＩＰモードと動きベクトル差分（ＭＭＶＤ）を用いたマージモードとを結合した新しいモードが適用される（ステップＳ１５５２）。動きベクトル差分を用いたマージモードが適用されないと判断された場合（ステップＳ１５５１－いいえ）、ＣＩＩＰモードが適用される（ステップＳ１５５３）。

【0122】

ＣＩＩＰモードが適用されないと判断された場合（ステップＳ１５５０－いいえ）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用されるか否かが判断される（ステップＳ１５５４）。動きベクトル差分を用いたマージモードが適用されると判断された場合（ステップＳ１５５４－はい）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用される（ステップＳ１５５５）。動きベクトル差分を用いたマージモードが適用されないと判断された場合（ステップＳ１５５４－いいえ）、一般マージモードが適用される（ステップＳ１５５６）。

【0123】

図１６は、本発明の他の実施形態によるインター予測で新しいモードを適用するフローチャートである。

【0124】

図１６を参照すると、サブブロックにマージモードが適用されるか否かが判断される（ステップＳ１６１０）。サブブロックにマージモードが適用されると判断された場合（ステップＳ１６１０－はい）、サブブロックにマージモードが適用される（ステップＳ１６２０）。サブブロック基盤の時間的動きベクトル予測（ＳｂＴＭＶＰ）及びアフィンマージモードが適用される。サブブロックにマージモードが適用されないと判断された場合（ステップＳ１６１０－いいえ）、幾何学的分割モード（ＧＰＭ）が適用されるか否かが判断される（ステップＳ１６３０）。幾何学的分割モードが適用されると判断された場合（ステップＳ１６３０－はい）、ＣＩＩＰモードが適用されるか否かが判断される（ステップＳ１６４０）。ＣＩＩＰモードが適用されると判断された場合（ステップＳ１６４０－はい）、幾何学的分割モード（ＧＰＭ）とＣＩＩＰモードとが結合された新しいモードが適用される（ステップＳ１６４１）。

【0125】

ＣＩＩＰモードが適用されないと判断された場合（ステップＳ１６４０－いいえ）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用されるか否かが判断される（ステップＳ１６４２）。動きベクトル差分を用いたマージモードが適用されると判断された場合（ステップＳ１６４２－はい）、幾何学的分割モード（ＧＰＭ）と動きベクトル差分（ＭＭＶＤ）を用いたマージモードとを結合した新しいモードが適用される（ステップＳ１６４３）。動きベクトル差分を用いたマージモードが適用されないと判断された場合（ステップＳ１６４２－いいえ）、幾何学的分割モード（ＧＰＭ）が適用される（ステップＳ１６４４）。

【0126】

幾何学的分割モードが適用されないと判断された場合（ステップＳ１６３０－いいえ）、ＣＩＩＰモードが適用されるか否かが判断される（ステップＳ１６５０）。ＣＩＩＰモードが適用されると判断された場合（ステップＳ１６５０－はい）、ＣＩＩＰモードが適用される（ステップＳ１６５１）。ＣＩＩＰモードが適用されないと判断された場合（ステップＳ１６５０－いいえ）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用されるか否かが判断される（ステップＳ１６５２）。動きベクトル差分を用いたマージモードが適用されると判断された場合（ステップＳ１６５２－はい）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用される（ステップＳ１６５３）。動きベクトル差分を用いたマージモードが適用されないと判断された場合（ステップＳ１６５２－いいえ）、一般マージモードが適用される（Ｓ１６５４）。

【0127】

図１７は、本発明の更に他の一実施形態によるインター予測で新しいモードを適用するフローチャートである。

【0128】

図１７を参照すると、サブブロックにマージモードが適用されるか否かが判断される（ステップＳ１７１０）。サブブロックにマージモードが適用されると判断された場合（ステップＳ１７１０－はい）、サブブロックにマージモードが適用される（ステップＳ１７２０）。サブブロック基盤の時間的動きベクトル予測（ＳｂＴＭＶＰ）及びアフィンマージモードが適用される。サブブロックにマージモードが適用されないと判断された場合（ステップＳ１７１０－いいえ）、一般マージモードが適用されるか否かが判断される（ステップＳ１７３０）。一般マージモードが適用されないと判断された場合（ステップＳ１７３０－いいえ）、ＣＩＩＰモードが適用されるか否かが判断される（ステップＳ１７４０）。ＣＩＩＰモードが適用されないと判断された場合（ステップＳ１７４０－いいえ）、幾何学的分割モード（ＧＰＭ）と動きベクトル差分（ＭＭＶＤ）を用いたマージモードとを結合した新しいモードが適用されるか否かが判断される（ステップＳ１７４１）。幾何学的分割モードと動きベクトル差分を用いたマージモードとを結合した新しいモードが適用されないと判断された場合（ステップＳ１７４１－いいえ）、幾何学的分割モード（ＧＰＭ）が適用される（ステップＳ１７４２）。幾何学的分割モードと動きベクトル差分を用いたマージモードを結合した新しいモードが適用されると判断された場合（ステップＳ１７４１－はい）、幾何学的分割モード（ＧＰＭ）と動きベクトル差分（ＭＭＶＤ）を用いたマージモードを結合した新しいモードが適用される（ステップＳ１７４３）。

【0129】

ＣＩＩＰモードが適用されると判断された場合（ステップＳ１７４０－はい）、幾何学的分割モード（ＧＰＭ）とＣＩＩＰモードとを結合した新しいモードが適用されるか否かが判断される（ステップＳ１７４４）。幾何学的分割モードとＣＩＩＰモードとを結合した新しいモードが適用されないと判断された場合（ステップＳ１７４４－いいえ）、ＣＩＩＰモードが適用される（ステップＳ１７４５）。幾何学的分割モードとＣＩＩＰモードとを結合した新しいモードが適用されると判断された場合（ステップＳ１７４４－はい）、幾何学的分割モード（ＧＰＭ）とＣＩＩＰモードとを結合した新しいモードが適用される（ステップＳ１７４６）。

【0130】

一般マージモードが適用されると判断された場合（ステップＳ１７３０－はい）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用されるか否かが判断される（ステップＳ１７５０）。動きベクトル差分を用いたマージモードが適用されると判断された場合（ステップＳ１７５０－はい）、ＣＩＩＰモードと動きベクトル差分（ＭＭＶＤ）を用いたマージモードとを結合した新しいモードが適用されるか否かが判断される（ステップＳ１７５１）。ＣＩＩＰモードと動きベクトル差分を用いたマージモードとを結合した新しいモードが適用されないと判断された場合（ステップＳ１７５１－いいえ）、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用される（ステップＳ１７５２）。ＣＩＩＰモードと動きベクトル差分を用いたマージモードとを結合した新しいモードが適用されると判断された場合（ステップＳ１７５１－はい）、ＣＩＩＰモードと動きベクトル差分（ＭＭＶＤ）を用いたマージモードとを結合した新しいモードが適用される（ステップＳ１７５３）。動きベクトル差分を用いたマージモードが適用されないと判断された場合（ステップＳ１７５０－いいえ）、一般マージモードが適用される（ステップＳ１７５４）。

【0131】

図１８は、本発明の一実施形態による幾何学的分割モードとＣＩＩＰモードとを結合した新しいモードを説明するための図である。

【0132】

図１８を参照すると、幾何学的分割モードとＣＩＩＰモードとを結合した新しいモードで、現在ブロックは幾何学的分割モードによって２個の領域に分割される。２個の領域はＰ１領域とＰ２領域とに該当する。Ｐ１領域とＰ２領域とは、互いに異なる動き情報を用いて独立的にインター予測ブロックを生成する。独立的に生成された２個のインター予測ブロックを加重平均又は加重和をして最終インター予測ブロックＰ_{ｉｎｔｅｒ}が生成される。イントラ予測ブロックＰ_{ｉｎｔｒａ}は、プラナーモードを用いて生成される。イントラ予測ブロックＰ_{ｉｎｔｒａ}は、テンプレート基盤の画面内予測モード誘導方法（Ｔｅｍｐｌａｔｅ ｂａｓｅｄ Ｉｎｔｒａ Ｍｏｄｅ Ｄｅｒｉｖａｔｉｏｎ：ＴＩＭＤ）又は復号化器で画面内予測モード誘導方法（Ｄｅｃｏｄｅｒ ｓｉｄｅ Ｉｎｔｒａ Ｍｏｄｅ Ｄｅｒｉｖａｔｉｏｎ：ＤＩＭＤ）などの多様な方法を用いて誘導されたイントラ予測モードを用いて生成される。最終予測ブロックＰ_Ｐｒｅｄは、最終インター予測ブロックＰ_{ｉｎｔｅｒ}とイントラ予測ブロックＰ_{ｉｎｔｒａ}とを加重平均又は加重和をして生成される。ここで、最終インター予測ブロックＰ_{ｉｎｔｅｒ}に適用される加重値Ｗ_{ｉｎｔｅｒ}及びイントラ予測ブロックＰ_{ｉｎｔｒａ}に適用される加重値Ｗ_{ｉｎｔｒａ}は任意に決定される。

【0133】

図１９は、本発明の一実施形態によるＣＩＩＰモードと動きベクトル差分を用いたマージモードとを結合した新しいモードを説明するための図である。

【0134】

図１９を参照すると、ＣＩＩＰモードと動きベクトル差分を用いたマージモードとを結合した新しいモードで、インター予測ブロックＰ_{ｉｎｔｅｒ}は、マージモードから誘導された動きベクトルに動きベクトル差分（ＭＶＤ）を加えて生成された補正された動き情報を用いて生成される。イントラ予測ブロックＰ_{ｉｎｔｒａ}は、プラナーモードを用いて生成される。イントラ予測ブロックＰ_{ｉｎｔｒａ}は、テンプレート基盤の画面内予測モード誘導方法又は復号化器で画面内予測モード誘導方法などの様々な方法を用いて誘導されたイントラ予測モードを用いて生成される。最終予測ブロックＰ_ｐｒｅｄは、インター予測ブロックＰ_{ｉｎｔｅｒ}とイントラ予測ブロックＰ_{ｉｎｔｒａ}とを加重平均又は加重和をして生成される。ここで、インター予測ブロックＰ_{ｉｎｔｅｒ}に適用される加重値Ｗ_{ｉｎｔｅｒ}とイントラ予測ブロックＰ_{ｉｎｔｒａ}に適用される加重値Ｗ_{ｉｎｔｒａ}とは、任意に決定される。

【0135】

図２０は、本発明の一実施形態による幾何学的分割モードと動きベクトル差分を用いたマージモードとを結合した新しいモードを説明するための図である。

【0136】

図２０を参照すると、幾何学的分割モードと動きベクトル差分を用いたマージモードとを結合した新しいモードで、現在ブロックは幾何学的分割モードによって２個の領域に分割される。２個の領域はＰ１領域及びＰ２領域に該当する。Ｐ１領域及びＰ２領域に同じ動きベクトル差分情報を用いてＰ１領域の動き情報及びＰ２領域の動き情報が補正される。Ｐ１領域及びＰ２領域にそれぞれ異なる動きベクトル差分情報（ＭＶＤ１、ＭＶＤ２）を用いてＰ１領域の動き情報及びＰ２領域の動き情報が補正される。Ｐ１領域とＰ２領域とは、補正された動き情報を用いて独立的に２個のインター予測ブロックを生成する。独立的に生成された２個のインター予測ブロックを加重平均又は加重和をして最終インター予測ブロックＰ_{ｉｎｔｅｒ}が生成される。最終インター予測ブロックＰ_{ｉｎｔｅｒ}と最終予測ブロックＰ_ｐｒｅｄとは同じである。

【0137】

図２１は、本発明の一実施形態による幾何学的分割モードとＣＩＩＰモードと動きベクトル差分を用いたマージモードとを結合した新しいモードを説明するための図である。

【0138】

図２１を参照すると、幾何学的分割モードとＣＩＩＰモードと動きベクトル差分を用いたマージモードとを結合した新しいモードで、現在ブロックは幾何学的分割モードによって２個の領域に分割される。２個の領域はＰ１領域及びＰ２領域に該当する。Ｐ１領域及びＰ２領域に同じ動きベクトル差分情報を用いてＰ１領域の動き情報及びＰ２領域の動き情報が補正される。Ｐ１領域及びＰ２領域にそれぞれ異なる動きベクトル差分情報（ＭＶＤ１、ＭＶＤ２）を用いてＰ１領域の動き情報及びＰ２領域の動き情報が補正される。Ｐ１領域とＰ２領域とは、補正された動き情報を用いて独立的に２個のインター予測ブロックを生成する。独立的に生成された２個のインター予測ブロックを加重平均又は加重和をして最終インター予測ブロックＰ_{ｉｎｔｅｒ}が生成される。

【0139】

イントラ予測ブロックＰ_{ｉｎｔｒａ}は、プラナーモードを用いて生成される。イントラ予測ブロックＰ_{ｉｎｔｒａ}は、テンプレート基盤の画面内予測モード誘導方法又は復号化器で画面内予測モード誘導方法などの様々な方法を用いて誘導されたイントラ予測モードを用いて生成される。最終予測ブロックＰ_ｐｒｅｄは、最終インター予測ブロックＰ_{ｉｎｔｅｒ}とイントラ予測ブロックＰ_{ｉｎｔｒａ}とを加重平均又は加重和をして生成される。ここで、最終インター予測ブロックＰ_{ｉｎｔｅｒ}に適用される加重値Ｗ_{ｉｎｔｅｒ}及びイントラ予測ブロックＰ_{ｉｎｔｒａ}に適用される加重値Ｗ_{ｉｎｔｒａ}は任意に決定される。

【0140】

≪復号化装置で動きベクトルを補正（Ｄｅｃｏｄｅｒ Ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ：ＤＭＶＲ）する方法及び双方向光流（Ｂｉ－Ｄｉｒｅｃｔｉｏｎ Ｏｐｔｉｃａｌ Ｆｌｏｗ：ＢＤＯＦ）を基盤にして動きベクトルを補正する方法≫

【0141】

ＤＭＶＲ方法は、一般マージモードで予測された双方向動きベクトルを復号化過程で双方向マッチング（Ｂｉｌａｔｅｒａｌ Ｍａｔｃｈｉｎｇ：ＢＭ）基盤の動きベクトル探索を通じて補正する方法に該当する。ＤＭＶＲ方法は、現在ブロックが一般マージモードに復号化された場合に遂行される。ＢＤＯＦを基盤にして動きベクトルを補正する方法は、双方向動きベクトルを用いて４×４サブブロック単位で最適な動きベクトルを探し、このような最適な動きベクトルを基盤にして予測を遂行する方法に該当する。ＢＤＯＦを基盤にして動きベクトルを補正する方法は、現在ブロックが一般マージモード又は動きベクトル差分を用いたマージモードに復号化された場合に遂行される。

【0142】

図１５で、動きベクトル差分（ＭＭＶＤ）を用いたマージモードが適用される場合（ステップＳ１５５５）、ＢＤＯＦを基盤にして動きベクトルを補正する方法が適用される。図１５で一般マージモードが適用される場合（ステップＳ１５５６）、ＤＭＶＲ方法及びＢＤＯＦを基盤にして動きベクトルを補正する方法が適用される。但し、本発明はそのような実施形態に限定されない。ＤＭＶＲ方法及びＢＤＯＦを基盤にして動きベクトルを補正する方法は、任意のマージモードが適用される場合にも適用される。

【0143】

図２２は、本発明の一実施形態によるビデオ復号化過程を説明するためのフローチャートである。

【0144】

図２２を参照すると、復号化装置は、ＣＩＩＰモード、幾何学的分割モード、及び動きベクトル差分を用いたマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定する（ステップＳ２２１０）。復号化装置は、マージ候補リストから動きベクトルを決定する（ステップＳ２２２０）。復号化装置は、第１のモード及び動きベクトルを基盤にして現在ブロックの予測ブロックを生成する（ステップＳ２２３０）。

【0145】

第１のモードがＣＩＩＰモードと幾何学的分割モードとを結合したモードである場合、マージ候補リストから動きベクトルを決定するステップは、マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含む。第１のモードがＣＩＩＰモードと幾何学的分割モードとを結合したモードである場合、現在ブロックの予測ブロックを生成するステップは、分割された２個の領域及び分割された２個の領域のそれぞれに対する動きベクトルを基盤にして現在ブロックに対する最終インター予測ブロックを生成するステップと、現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして現在ブロックに対するイントラ予測ブロックを生成するステップと、最終インター予測ブロックとイントラ予測ブロックとを加重平均して現在ブロックの予測ブロックを生成するステップと、を含む。

【0146】

現在ブロックに対する最終インター予測ブロックを生成するステップは、分割された２個の領域のそれぞれに対する動きベクトルを用いて分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して現在ブロックに対する最終インター予測ブロックを生成するステップと、を含む。

【0147】

第１のモードがＣＩＩＰモードと動きベクトル差分を用いたマージモードとを結合したモードである場合、現在ブロックの予測ブロックを生成するステップは、補正された動きベクトルを基盤にして現在ブロックに対するインター予測ブロックを生成するステップと、現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして現在ブロックに対するイントラ予測ブロックを生成するステップと、インター予測ブロックとイントラ予測ブロックとを加重平均して現在ブロックの予測ブロックを生成するステップと、を含む。補正された動きベクトルは、動きベクトル及び動きベクトル差分情報を基盤にして生成される。

【0148】

第１のモードが幾何学的分割モードと動きベクトル差分を用いたマージモードとを結合したモードである場合、マージ候補リストから動きベクトルを決定するステップは、マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含む。第１のモードが幾何学的分割モードと動きベクトル差分を用いたマージモードとを結合したモードである場合、現在ブロックの予測ブロックを生成するステップは、補正された動きベクトルを用いて分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して現在ブロックの予測ブロックを生成するステップと、を含む。補正された動きベクトルは、分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成される。

【0149】

第１のモードがＣＩＩＰモード、幾何学的分割モード、及び動きベクトル差分を用いたマージモードを結合したモードである場合、マージ候補リストから動きベクトルを決定するステップは、マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含む。第１のモードがＣＩＩＰモード、幾何学的分割モード、及び動きベクトル差分を用いたマージモードを結合したモードである場合、現在ブロックの予測ブロックを生成するステップは、分割された２個の領域及び分割された２個の領域のそれぞれに対する補正された動きベクトルを基盤にして現在ブロックに対する最終インター予測ブロックを生成するステップと、現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして現在ブロックに対するイントラ予測ブロックを生成するステップと、最終インター予測ブロックとイントラ予測ブロックとを加重平均して現在ブロックの予測ブロックを生成するステップと、を含む。補正された動きベクトルは、分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成される。

【0150】

現在ブロックに対する最終インター予測ブロックを生成するステップは、分割された２個の領域のそれぞれに対する補正された動きベクトルを用いて分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して現在ブロックに対する最終インター予測ブロックを生成するステップと、を含む。

【0151】

図２３は、本発明の一実施形態によるビデオ符号化過程を説明するための図である。

【0152】

図２３を参照すると、符号化装置は、ＣＩＩＰモード、幾何学的分割モー、ド及び動きベクトル差分を用いたマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定する（ステップＳ２３１０）。符号化装置は、マージ候補リストから動きベクトルを決定する（ステップＳ２３２０）。符号化装置は、第１のモード及び動きベクトルを基盤にして現在ブロックの予測ブロックを生成する（ステップＳ２３３０）。

【0153】

第１のモードがＣＩＩＰモードと幾何学的分割モードとを結合したモードである場合、マージ候補リストから動きベクトルを決定するステップは、マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含む。第１のモードがＣＩＩＰモードと幾何学的分割モードとを結合したモードである場合、現在ブロックの予測ブロックを生成するステップは、分割された２個の領域及び分割された２個の領域のそれぞれに対する動きベクトルを基盤にして現在ブロックに対する最終インター予測ブロックを生成するステップと、現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして現在ブロックに対するイントラ予測ブロックを生成するステップと、最終インター予測ブロックとイントラ予測ブロックとを加重平均して現在ブロックの予測ブロックを生成するステップと、を含む。

【0154】

現在ブロックに対する最終インター予測ブロックを生成するステップは、分割された２個の領域のそれぞれに対する動きベクトルを用いて分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して現在ブロックに対する最終インター予測ブロックを生成するステップと、を含む。

【0155】

第１のモードがＣＩＩＰモードと動きベクトル差分を用いたマージモードとを結合したモードである場合、現在ブロックの予測ブロックを生成するステップは、補正された動きベクトルを基盤にして現在ブロックに対するインター予測ブロックを生成するステップと、現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして現在ブロックに対するイントラ予測ブロックを生成するステップと、インター予測ブロックとイントラ予測ブロックとを加重平均して現在ブロックの予測ブロックを生成するステップと、を含む。補正された動きベクトルは、動きベクトル及び動きベクトル差分情報を基盤にして生成される。

【0156】

第１のモードが幾何学的分割モードと動きベクトル差分を用いたマージモードとを結合したモードである場合、マージ候補リストから動きベクトルを決定するステップは、マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含む。第１のモードが幾何学的分割モードと動きベクトル差分を用いたマージモードとを結合したモードである場合、現在ブロックの予測ブロックを生成するステップは、補正された動きベクトルを用いて分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して現在ブロックの予測ブロックを生成するステップと、を含む。補正された動きベクトルは、分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成される。

【0157】

第１のモードがＣＩＩＰモード、幾何学的分割モード、及び動きベクトル差分を用いたマージモードを結合したモードである場合、マージ候補リストから動きベクトルを決定するステップは、マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含む。第１のモードがＣＩＩＰモード、幾何学的分割モード、及び動きベクトル差分を用いたマージモードを結合したモードである場合、現在ブロックの予測ブロックを生成するステップは、分割された２個の領域及び分割された２個の領域のそれぞれに対する補正された動きベクトルを基盤にして現在ブロックに対する最終インター予測ブロックを生成するステップと、現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして現在ブロックに対するイントラ予測ブロックを生成するステップと、最終インター予測ブロックとイントラ予測ブロックとを加重平均して現在ブロックの予測ブロックを生成するステップと、を含む。補正された動きベクトルは、分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成される。

【0158】

現在ブロックに対する最終インター予測ブロックを生成するステップは、分割された２個の領域のそれぞれに対する補正された動きベクトルを用いて分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して現在ブロックに対する最終インター予測ブロックを生成するステップと、を含む。

【0159】

本明細書のフローチャート／タイミング図では、各ステップを順次実行することが記載されているが、これは本発明の一実施形態の技術思想を例示的に説明したものにすぎない。言い換えると、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲でフローチャート／タイミング図に記載された順序を変更して実行するか、又は各ステップのうちの１つ以上のステップを並列的に実行するかによって様々に修正及び変形して適用可能であるため、フローチャート／タイミング図は時系列的な順序に限定されるものではない。

【0160】

以上の説明で、例示的な実施形態は、多くの他の方式で具現されることを理解されたい。１つ以上の例示で説明した機能或いは方法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで具現される。本明細書で説明した機能的コンポーネントは、それらの具現の独立性を特に強調するために「…部（ｕｎｉｔ）」とラベル付けされていることを理解されたい。

【0161】

一方、本実施形態で説明した様々な機能又は方法は、１つ以上のプロセッサによって読み取られて実行される非一時的記録媒体に保存された命令語で具現される。非一時的記録媒体は、例えばコンピュータシステムによって読み取り可能な形態でデータが保存されるあらゆる種類の記録装置を含む。例えば、非一時的記録媒体は、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、フラッシュドライブ、光学ドライブ、磁気ハードドライブ、ソリッドステートドライブ（ＳＳＤ）のような記録媒体を含む。

【0162】

以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能であろう。したがって、本実施形態は、本発明の技術思想を限定するものではなく、説明するためのものであり、このような実施形態によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は、特許請求の範囲によって解釈されるべきであり、それと均等の範囲内にある全ての技術思想は、本発明の権利範囲に含まれるものと解釈されるべきである。

【0163】

＜ＣＲＯＳＳ－ＲＥＦＥＲＥＮＣＥ ＴＯ ＲＥＬＡＴＥＤ ＡＰＰＬＩＣＡＴＩＯＮ＞

【0164】

本特許出願は、２０２２年１月４日付で韓国に出願した特許出願番号第１０－２０２２－００００６７７号、２０２２年１２月３０日付で韓国に出願した特許出願番号第１０－２０２２－０１９０７４４号に対して優先権を主張し、その全ての内容は参考文献として本明細書に併合される。

【符号の説明】

【0165】

１１０ ピクチャ分割部
１２０ 予測部
１２２、５４２ イントラ予測部
１２４、５４４ インター予測部
１３０ 減算器
１４０ 変換部
１４５ 量子化部
１５０、５１５ 並べ替え部
１５５ エントロピー符号化部
１６０、５２０ 逆量子化部
１６５、５３０ 逆変換部
１７０、５５０ 加算器
１８０ ループフィルタ部
１８２ デブロックフィルタ
１８４、５６４ ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタ
１８６、５６６ ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）
１９０ メモリ
５１０ エントロピー復号化部
５４０ 予測部
５６０ ループフィルタ部
５６２ デブロックフィルタ
５７０ メモリ
Ａ 上側周辺ブロック
Ａ０ 左側ブロック
Ａ１ 左下段ブロック
Ｂ０ 上段ブロック
Ｂ１ 右上段ブロック
Ｂ２ 左上段ブロック
ＢＴＴＴ Ｂｉｎａｒｙ Ｔｒｅｅ Ｔｅｒｎａｒｙ Ｔｒｅｅ
Ｌ 左側周辺ブロック
Ｐ_ＣＩＩＰ 予測ブロック
Ｐ_{ｉｎｔｅｒ} 参照ブロック
Ｐ_{Ｐｌａｎａｒ} イントラ予測ブロック
Ｐ_Ｐｒｅｄ 最終予測ブロック
ＱＴ クワッドツリー（Ｑｕａｄ Ｔｒｅｅ）
Ｗ_{ｉｎｔｅｒ} インター予測ブロックに適用される加重値
Ｗ_{ｉｎｔｒａ} イントラ予測ブロックに適用される加重値

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10a】

【図10b】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【手続補正書】

【提出日】2024-07-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）モード、幾何学的分割モード、及び動きベクトル差分を用いたマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定するステップと、
マージ候補リストから動きベクトルを決定するステップと、
前記第１のモード及び前記動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を有することを特徴とするビデオ復号化方法。

【請求項2】

前記第１のモードが前記ＣＩＩＰモードと前記幾何学的分割モードとを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記ＣＩＩＰモードと前記幾何学的分割モードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
前記分割された２個の領域及び前記分割された２個の領域のそれぞれに対する動きベクトルを基盤にして前記現在ブロックに対する最終インター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記最終インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含むことを特徴とする請求項１に記載のビデオ復号化方法。

【請求項3】

前記現在ブロックに対する最終インター予測ブロックを生成するステップは、
前記分割された２個の領域のそれぞれに対する動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックに対する最終インター予測ブロックを生成するステップと、を含むことを特徴とする請求項２に記載のビデオ復号化方法。

【請求項4】

前記第１のモードが前記ＣＩＩＰモードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
補正された動きベクトルを基盤にして前記現在ブロックに対するインター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項１に記載のビデオ復号化方法。

【請求項5】

前記第１のモードが前記幾何学的分割モードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記幾何学的分割モードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
補正された動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項１に記載のビデオ復号化方法。

【請求項6】

前記第１のモードが前記ＣＩＩＰモード、前記幾何学的分割モード、及び前記動きベクトル差分を用いたマージモードを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記ＣＩＩＰモード、前記幾何学的分割モード、及び前記動きベクトル差分を用いたマージモードを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
前記分割された２個の領域及び前記分割された２個の領域のそれぞれに対する補正された動きベクトルを基盤にして前記現在ブロックに対する最終インター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記最終インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項１に記載のビデオ復号化方法。

【請求項7】

前記現在ブロックに対する最終インター予測ブロックを生成するステップは、
前記分割された２個の領域のそれぞれに対する補正された動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックに対する最終インター予測ブロックを生成するステップと、を含むことを特徴とする請求項６に記載のビデオ復号化方法。

【請求項8】

ＣＩＩＰモード、幾何学的分割モード、及び動きベクトル差分を用いるマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定するステップと、
マージ候補リストから動きベクトルを決定するステップと、
前記第１のモード及び前記動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、を有することを特徴とするビデオ符号化方法

【請求項9】

前記第１のモードが前記ＣＩＩＰモードと前記幾何学的分割モードとを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記ＣＩＩＰモードと前記幾何学的分割モードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
前記分割された２個の領域及び前記分割された２個の領域のそれぞれに対する動きベクトルを基盤にして前記現在ブロックに対する最終インター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記最終インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含むことを特徴とする請求項８に記載のビデオ符号化方法。

【請求項10】

前記現在ブロックに対する最終インター予測ブロックを生成するステップは、
前記分割された２個の領域のそれぞれに対する動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックに対する最終インター予測ブロックを生成するステップと、を含むことを特徴とする請求項９に記載のビデオ符号化方法。

【請求項11】

前記第１のモードが前記ＣＩＩＰモードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
補正された動きベクトルを基盤にして前記現在ブロックに対するインター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項８に記載のビデオ符号化方法。

【請求項12】

前記第１のモードが前記幾何学的分割モードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記幾何学的分割モードと前記動きベクトル差分を用いたマージモードとを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
補正された動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項８に記載のビデオ符号化方法。

【請求項13】

前記第１のモードが前記ＣＩＩＰモード、前記幾何学的分割モード、及び前記動きベクトル差分を用いたマージモードを結合したモードである場合、前記マージ候補リストから動きベクトルを決定するステップは、前記マージ候補リストから分割された２個の領域のそれぞれに対する動きベクトルを決定するステップを含み、
前記第１のモードが前記ＣＩＩＰモード、前記幾何学的分割モード、及び前記動きベクトル差分を用いたマージモードを結合したモードである場合、前記現在ブロックの予測ブロックを生成するステップは、
前記分割された２個の領域及び前記分割された２個の領域のそれぞれに対する補正された動きベクトルを基盤にして前記現在ブロックに対する最終インター予測ブロックを生成するステップと、
前記現在ブロックに隣接する少なくとも１つ以上の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記最終インター予測ブロックと前記イントラ予測ブロックとを加重平均して前記現在ブロックの予測ブロックを生成するステップと、を含み、
前記補正された動きベクトルは、前記分割された２個の領域のそれぞれに対する動きベクトル及び動きベクトル差分情報を基盤にして生成されることを特徴とする請求項８に記載のビデオ符号化方法。

【請求項14】

前記現在ブロックに対する最終インター予測ブロックを生成するステップは、
前記分割された２個の領域のそれぞれに対する補正された動きベクトルを用いて前記分割された２個の領域のそれぞれに対するインター予測ブロックを生成するステップと、
前記分割された２個の領域のそれぞれに対するインター予測ブロックを結合又は加重平均して前記現在ブロックに対する最終インター予測ブロックを生成するステップと、を含むことを特徴とする請求項１３に記載のビデオ符号化方法。

【請求項15】

ビデオデータに関連するビットストリームを伝送する方法であって、
前記ビデオデータを符号化してビットストリームを生成するステップと、
前記ビットストリームをビデオ復号化装置に伝送するステップと、を有し、
前記ビットストリームを生成するステップは、
ＣＩＩＰモード、幾何学的分割モード、及び動きベクトル差分を用いるマージモードのうちの少なくとも１つ以上を基盤にして第１のモードを決定するステップと、
マージ候補リストから動きベクトルを決定するステップと、
前記第１のモード及び前記動きベクトルを基盤にして現在ブロックの予測ブロックを生成するステップと、含むことを特徴とする方法。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正の内容】

【0001】

本発明は、マージモードを改善するビデオ符号化／復号化方法及びビットストリームを伝送する方法に関し、より詳細には、一般マージモードに新しい種類のマージモードを追加して現在ブロックの予測ブロックを生成するビデオ符号化／復号化方法及びビットストリームを伝送する方法に関する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、結合された画面内画面間予測（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ／Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ：ＣＩＩＰ）モードと幾何学的分割モードと動きベクトル差分を用いたマージモードとを基盤にして現在ブロックの予測ブロックを生成するビデオ符号化／復号化方法及びビットストリームを伝送する方法を提供することにある。

【国際調査報告】