▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024015036
(43)【公開日】2024-02-01
(54)【発明の名称】アフィン予測を用いてビデオ信号を処理する方法及び装置
(51)【国際特許分類】
H04N 19/54 20140101AFI20240125BHJP
H04N 19/70 20140101ALI20240125BHJP
【ＦＩ】
H04N19/54
H04N19/70
【審査請求】有
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023198969
(22)【出願日】2023-11-24
(62)【分割の表示】P 2020505788の分割
【原出願日】2018-08-03
(31)【優先権主張番号】62/541,083
(32)【優先日】2017-08-03
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】イ チェホ
(57)【要約】
【課題】アフィン動き予測モード（ＡＦモード）に基づいて現在ブロックを含むビデオ信号をデコードする方法を提供する。
【解決手段】現在ブロックに対してＡＦモードが適用されるか否かを確認するステップと、ここで、ＡＦモードはアフィン動きモデルを利用する動き予測モードを示し、現在ブロックに対してＡＦモードが適用される場合、ＡＦ４モードが利用されるか否かを確認するステップと、ここで、ＡＦ４モードは、アフィン動きモデルを構成する４つのパラメータを利用して動きベクトルを予測するモードを示し、ＡＦ４モードが利用されると、４つのパラメータを利用して動きベクトル予測子を生成し、ＡＦ４モードが利用されないと、アフィン動きモデルを構成する６つのパラメータを利用して動きベクトル予測子を生成するステップと、動きベクトル予測子に基づいて現在ブロックの動きベクトルを取得するステップとを含む。
【選択図】図１１
【解決手段】現在ブロックに対してＡＦモードが適用されるか否かを確認するステップと、ここで、ＡＦモードはアフィン動きモデルを利用する動き予測モードを示し、現在ブロックに対してＡＦモードが適用される場合、ＡＦ４モードが利用されるか否かを確認するステップと、ここで、ＡＦ４モードは、アフィン動きモデルを構成する４つのパラメータを利用して動きベクトルを予測するモードを示し、ＡＦ４モードが利用されると、４つのパラメータを利用して動きベクトル予測子を生成し、ＡＦ４モードが利用されないと、アフィン動きモデルを構成する６つのパラメータを利用して動きベクトル予測子を生成するステップと、動きベクトル予測子に基づいて現在ブロックの動きベクトルを取得するステップとを含む。
【選択図】図１１
【特許請求の範囲】
【請求項1】
アフィン動き予測モード（ＡＦモード）に基づいて現在ブロックを含むビデオ信号をデコードする方法において、
前記ビデオ信号からマージフラグを取得するステップであって、前記マージフラグは、動きパラメータが隣接ブロックから推測されるか否かを表す、ステップと、
前記動きパラメータが前記隣接ブロックから推測されないことに基づいて、前記現在ブロックの幅と高さが所定値と等しいか、又は所定値より大きいか否かを検査するステップと、
前記ビデオ信号からアフィンフラグを取得するステップであって、前記アフィンフラグは、前記ＡＦモードが前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを取得するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測を行うステップと、を含み、
前記動きパラメータが前記隣接ブロックから推測されないことを前記マージフラグが表すこと、及び前記現在ブロックの前記幅と前記高さが前記所定値と等しいか、又は前記所定値より大きいことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが取得され、
前記所定値は１６である、方法。
前記ビデオ信号からマージフラグを取得するステップであって、前記マージフラグは、動きパラメータが隣接ブロックから推測されるか否かを表す、ステップと、
前記動きパラメータが前記隣接ブロックから推測されないことに基づいて、前記現在ブロックの幅と高さが所定値と等しいか、又は所定値より大きいか否かを検査するステップと、
前記ビデオ信号からアフィンフラグを取得するステップであって、前記アフィンフラグは、前記ＡＦモードが前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを取得するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測を行うステップと、を含み、
前記動きパラメータが前記隣接ブロックから推測されないことを前記マージフラグが表すこと、及び前記現在ブロックの前記幅と前記高さが前記所定値と等しいか、又は前記所定値より大きいことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが取得され、
前記所定値は１６である、方法。
【請求項2】
前記アフィンフラグ及び前記アフィンパラメータフラグは、コーディングユニットのレベルにおいて定義される、請求項１に記載の方法。
【請求項3】
前記現在ブロックの前記幅と前記高さが前記所定値より小さいことに基づいて、前記現在ブロックは、前記ＡＦモード以外のコーディングモードに基づいてデコードされる、請求項１に記載の方法。
【請求項4】
アフィン動き予測モード（ＡＦモード）に基づいて現在ブロックを含むビデオ信号をデコードする装置において、
前記ビデオ信号からマージフラグを取得し、前記マージフラグは、動きパラメータが隣接ブロックから推測されるか否かを表し、
前記動きパラメータが前記隣接ブロックから推測されないことに基づいて、前記現在ブロックの幅と高さが所定値と等しいか、又は所定値より大きいか否かを検査し、
前記ビデオ信号からアフィンフラグを取得し、前記アフィンフラグは、前記ＡＦモードが前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表し、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを取得し、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得し、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測を行うよう構成されたプロセッサを含み、
前記動きパラメータが前記隣接ブロックから推測されないことを前記マージフラグが表すこと、及び前記現在ブロックの前記幅と前記高さが前記所定値と等しいか、又は前記所定値より大きいことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが取得され、
前記所定値は１６である、装置。
前記ビデオ信号からマージフラグを取得し、前記マージフラグは、動きパラメータが隣接ブロックから推測されるか否かを表し、
前記動きパラメータが前記隣接ブロックから推測されないことに基づいて、前記現在ブロックの幅と高さが所定値と等しいか、又は所定値より大きいか否かを検査し、
前記ビデオ信号からアフィンフラグを取得し、前記アフィンフラグは、前記ＡＦモードが前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表し、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを取得し、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得し、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測を行うよう構成されたプロセッサを含み、
前記動きパラメータが前記隣接ブロックから推測されないことを前記マージフラグが表すこと、及び前記現在ブロックの前記幅と前記高さが前記所定値と等しいか、又は前記所定値より大きいことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが取得され、
前記所定値は１６である、装置。
【請求項5】
前記アフィンフラグ及び前記アフィンパラメータフラグは、コーディングユニットのレベルにおいて定義される、請求項４に記載の装置。
【請求項6】
前記現在ブロックの前記幅と前記高さが前記所定値より小さいことに基づいて、前記現在ブロックは、前記ＡＦモード以外のコーディングモードに基づいてデコードされる、請求項４に記載の装置。
【請求項7】
アフィン動き予測モード（ＡＦモード）に基づいて現在ブロックを含むビデオ信号をエンコードする方法において、
動きパラメータが隣接ブロックから推測されるか否かを表すマージフラグを生成するステップと、
前記動きパラメータが前記隣接ブロックから推測されないことに基づいて、前記現在ブロックの幅と高さが所定値と等しいか、又は所定値より大きいか否かを検査するステップと、
前記ビデオ信号からアフィンフラグを生成するステップであって、前記アフィンフラグは、前記ＡＦモードが前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを生成するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測を行うステップと、を含み、
前記動きパラメータが前記隣接ブロックから推測されないことを前記マージフラグが表すこと、及び前記現在ブロックの前記幅と前記高さが前記所定値と等しいか、又は前記所定値より大きいことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが生成され、
前記所定値は１６である、方法。
動きパラメータが隣接ブロックから推測されるか否かを表すマージフラグを生成するステップと、
前記動きパラメータが前記隣接ブロックから推測されないことに基づいて、前記現在ブロックの幅と高さが所定値と等しいか、又は所定値より大きいか否かを検査するステップと、
前記ビデオ信号からアフィンフラグを生成するステップであって、前記アフィンフラグは、前記ＡＦモードが前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを生成するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測を行うステップと、を含み、
前記動きパラメータが前記隣接ブロックから推測されないことを前記マージフラグが表すこと、及び前記現在ブロックの前記幅と前記高さが前記所定値と等しいか、又は前記所定値より大きいことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが生成され、
前記所定値は１６である、方法。
【請求項8】
ビデオ信号に対するデータの送信方法において、
前記ビデオ信号に対するビットストリームを生成するステップであって、前記ビットストリームは、エンコード方法により生成される、ステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記エンコード方法は、
動きパラメータが隣接ブロックから推測されるか否かを表すマージフラグを生成するステップと、
前記動きパラメータが前記隣接ブロックから推測されないことに基づいて、現在ブロックの幅と高さが所定値と等しいか、又は所定値より大きいか否かを検査するステップと、
前記ビデオ信号からアフィンフラグを生成するステップであって、前記アフィンフラグは、アフィン動き予測モード（ＡＦモード）が前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを生成するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測を行うステップと、を含み、
前記動きパラメータが前記隣接ブロックから推測されないことを前記マージフラグが表すこと、及び前記現在ブロックの前記幅と前記高さが前記所定値と等しいか、又は前記所定値より大きいことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが生成され、
前記所定値は１６である、方法。
前記ビデオ信号に対するビットストリームを生成するステップであって、前記ビットストリームは、エンコード方法により生成される、ステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記エンコード方法は、
動きパラメータが隣接ブロックから推測されるか否かを表すマージフラグを生成するステップと、
前記動きパラメータが前記隣接ブロックから推測されないことに基づいて、現在ブロックの幅と高さが所定値と等しいか、又は所定値より大きいか否かを検査するステップと、
前記ビデオ信号からアフィンフラグを生成するステップであって、前記アフィンフラグは、アフィン動き予測モード（ＡＦモード）が前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを生成するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測を行うステップと、を含み、
前記動きパラメータが前記隣接ブロックから推測されないことを前記マージフラグが表すこと、及び前記現在ブロックの前記幅と前記高さが前記所定値と等しいか、又は前記所定値より大きいことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが生成され、
前記所定値は１６である、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ信号のエンコード／デコード方法及び装置に関し、より具体的に、アフィン予測（ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）を適応的に行う方法及び装置に関する。
【背景技術】
【0002】
圧縮符号化とは、デジタル化した情報を通信回線を介して送信するか、格納媒体に適した形態で格納するための一連の信号処理技術を意味する。画像、イメージ、音声などのメディアが圧縮符号化の対象となり、特に、画像を対象にして圧縮符号化を行う技術をビデオ画像圧縮という。
【0003】
次世代ビデオコンテンツは、高解像度（ｈｉｇｈ ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）、高フレーム率（ｈｉｇｈ ｆｒａｍｅ ｒａｔｅ）及び画像表現の高次元化（ｈｉｇｈ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ ｓｃｅｎｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）という特徴を有する。そのようなコンテンツを処理するためには、メモリ格納（ｍｅｍｏｒｙ ｓｔｏｒａｇｅ）、メモリアクセス率（ｍｅｍｏｒｙ ａｃｃｅｓｓ ｒａｔｅ）及び処理電力（ｐｒｏｃｅｓｓｉｎｇ ｐｏｗｅｒ）の側面で多大な増加をもたらすだろう。
【0004】
従って、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、より効率的にビデオ信号をエンコード、デコードする方法を提案する。
【0006】
また、本発明は、４つのパラメータを利用するアフィン予測（Ｆｏｕｒ ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）モードであるＡＦ４モード及び６つのパラメータを利用するアフィン予測（ｓｉｘ ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）モードであるＡＦ６モードを両方とも考慮してエンコード又はデコードする方法を提案する。
【0007】
また、本発明は、ブロックサイズに基づいてＡＦ４モード又はＡＦ６モードの少なくとも１つに基づいて最適のコーディングモードを適応的に決定（又は、選択）する方法を提案する。
【0008】
また、本発明は、隣接ブロックがアフィン予測によりコーディングされたか否かに基づいてＡＦ４モード又はＡＦ６モードの少なくとも１つに基づいて最適のコーディングモードを適応的に決定（又は、選択）する方法を提案する。
【課題を解決するための手段】
【0009】
前述した技術的課題を解決するために、
【0010】
本発明は、ブロックサイズに基づいてアフィン予測（ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）を適応的に行う方法を提供する。
【0011】
また、本発明は、隣接ブロックがアフィン予測によりコーディングされたか否かに基づいてアフィン予測（ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）を適応的に行う方法を提供する。
【0012】
また、本発明は、ＡＦ４モード又はＡＦ６モードの少なくとも１つに基づいて最適のコーディングモードを適応的に決定（又は、選択）する方法を提供する。
【0013】
また、本発明は、少なくとも１つの既に設定された条件を満足するか否かに基づいてアフィン予測（ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）を適応的に行う方法を提供し、この場合、前記既に設定された条件は、ブロックサイズ、ブロックのピクセル数、ブロックの幅、ブロックの高さ、隣接ブロックがアフィン予測によりコーディングされたか否かの少なくとも１つを含んでもよい。
【発明の効果】
【0014】
本発明は、アフィン予測（ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）を適応的に行う方法を提供することにより、アフィン予測の性能を向上させることができ、アフィン予測の複雑度を減少させることにより、より効率的なコーディングを行うことができる。
【図面の簡単な説明】
【0015】
【図1】本発明が適用される実施形態として、ビデオ信号のエンコードが行われるエンコーダの概略的なブロック図を示す。
【図2】本発明が適用される実施形態として、ビデオ信号のデコードが行われるデコーダの概略的なブロック図を示す。
【図3】本発明が適用できる実施形態として、ＱＴ（ＱｕａｄＴｒｅｅ、以下、「ＱＴ」という）ブロック分割構造を説明するための図である。
【図4】本発明が適用できる実施形態として、ＢＴ（Ｂｉｎａｒｙ Ｔｒｅｅ、以下、「ＢＴ」という）ブロック分割構造を説明するための図である。
【図5】本発明が適用できる実施形態として、ＴＴ（Ｔｅｒｎａｒｙ Ｔｒｅｅ、以下、「ＴＴ」という）ブロック分割構造を説明するための図である。
【図6】本発明が適用できる実施形態として、ＡＴ（Ａｓｙｍｍｅｔｒｉｃ Ｔｒｅｅ、以下、「ＡＴ」という）ブロック分割構造を説明するための図である。
【図7】本発明が適用される実施形態として、インター予測モードを説明するための図である。
【図8】本発明が適用される実施形態として、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を説明するための図である。
【図9】本発明が適用される実施形態として、制御点動きベクトル（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を利用したアフィン動き予測方法を説明するための図である。
【図10】本発明が適用される実施形態として、アフィン予測モード（Ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を利用して現在ブロックを含むビデオ信号を処理する過程を説明するフローチャートである。
【図11】本発明が適用される実施形態（１－１）として、ＡＦ４モード又はＡＦ６モードの少なくとも１つに基づいて最適のコーディングモードを適応的に決定するフローチャートを示す。
【図12】本発明が適用される実施形態（１－２）として、ＡＦ４モード又はＡＦ６モードに基づいて適応的にデコードを行うフローチャートを示す。
【図13】本発明が適用される実施形態（１－３）として、ＡＦ４モード又はＡＦ６モードに基づいてデコードを行うシンタックス構造を示す。
【図14】本発明が適用される実施形態（２－１）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）に基づいてＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを適応的に決定するフローチャートを示す。
【図15】本発明が適用される実施形態（２－２）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）に基づいてＡＦ４モード又はＡＦ６モードに応じて適応的にデコードを行うフローチャートを示す。
【図16】本発明が適用される実施形態（２－３）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）に基づいてＡＦ４モード又はＡＦ６モードに応じてデコードを行うシンタックス構造を示す。
【図17】本発明が適用される実施形態（３－１）として、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを適応的に決定するフローチャートを示す。
【図18】本発明が適用される実施形態（３－２）として、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードに応じて適応的にデコードを行うフローチャートを示す。
【図19】本発明が適用される実施形態（３－３）として、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードに応じてデコードを行うシンタックス構造を示す。
【図20】本発明が適用される実施形態（４－１）として、隣接ブロックのコーディングモードに基づいてＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを適応的に決定するフローチャートを示す。
【図21】本発明が適用される実施形態（４－２）として、隣接ブロックのコーディングモードに基づいてＡＦ４モード又はＡＦ６モードに応じて適応的にデコードを行うフローチャートを示す。
【図22】本発明が適用される実施形態（４－３）として、隣接ブロックのコーディングモードに基づいてＡＦ４モード又はＡＦ６モードに応じてデコードを行うシンタックス構造を示す。
【図23】本発明が適用される実施形態（５－１）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを適応的に決定するフローチャートを示す。
【図24】本発明が適用される実施形態（５－２）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードに応じて適応的にデコードを行うフローチャートを示す。
【図25】本発明が適用される実施形態（５－３）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードに応じてデコードを行うシンタックス構造を示す。
【図26】本発明が適用される実施形態（６－１）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）又は隣接ブロックのコーディングモードの少なくとも１つに基づいてＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを適応的に決定するフローチャートを示す。
【図27】本発明が適用される実施形態（６－２）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）又は隣接ブロックのコーディングモードの少なくとも１つに基づいてＡＦ４モード又はＡＦ６モードに応じて適応的にデコードを行うフローチャートを示す。
【図28】本発明が適用される実施形態（６－３）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）又は隣接ブロックのコーディングモードの少なくとも１つに基づいてＡＦ４モード又はＡＦ６モードに応じてデコードを行うシンタックス構造を示す。
【図29】本発明が適用される実施形態として、ＡＦ４モード又はＡＦ６モードの少なくとも１つに基づいて動きベクトル予測子を生成するフローチャートを示す。
【図30】本発明が適用される実施形態として、ＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇに基づいて動きベクトル予測子を生成するフローチャートを示す。
【図31】本発明が適用される実施形態として、隣接ブロックがＡＦモードでコーディングされたか否かに基づいてＡＦ４モード又はＡＦ６モードに応じて適応的にデコードを行うフローチャートを示す。
【図32】本発明が適用される実施形態として、ＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇに基づいて適応的にデコードを行うシンタックスを示す。
【図33】本発明が適用される実施形態として、隣接ブロックがＡＦモードでコーディングされたか否かに基づいてＡＦ４モード又はＡＦ６モードに応じて適応的にデコードを行うシンタックスを示す。
【図34】本発明が適用されるビデオコーディングシステムを示す。
【図35】本発明が適用されるコンテンツストリーミングシステムを示す。
【発明を実施するための最良の形態】
【0016】
本発明は、アフィン動き予測モード（ＡＦモード、Ａｆｆｉｎｅ ｍｏｄｅ）に基づいて現在ブロックを含むビデオ信号をデコードする方法において、前記現在ブロックに対して前記ＡＦモードが適用されるか否かを確認するステップと、ここで、前記ＡＦモードは、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を利用する動き予測モードを示し；前記現在ブロックに対して前記ＡＦモードが適用される場合、ＡＦ４モードが利用されるか否かを確認するステップと、ここで、前記ＡＦ４モードは、前記アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を構成する４つのパラメータを利用して動きベクトルを予測するモードを示し；ＡＦ４モードが利用されると、前記４つのパラメータを利用して動きベクトル予測子を生成し、ＡＦ４モードが利用されないと、前記アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を構成する６つのパラメータを利用して動きベクトル予測子を生成するステップと；前記動きベクトル予測子に基づいて前記現在ブロックの動きベクトルを取得するステップとを含むことを特徴とする方法を提供する。
【0017】
本発明において、前記方法は、前記ビデオ信号からアフィンフラグを取得するステップをさらに含み、前記アフィンフラグは、前記現在ブロックに対して前記ＡＦモードが適用されるか否かを示し、前記現在ブロックに対して前記ＡＦモードが適用されるか否かは、前記アフィンフラグに基づいて確認されることを特徴とする。
【0018】
本発明において、前記方法は、前記アフィンフラグによって前記現在ブロックに対して前記ＡＦモードが適用される場合、前記ビデオ信号からアフィンパラメータフラグを取得するステップをさらに含み、前記アフィンパラメータフラグは、前記動きベクトル予測子が前記４つのパラメータを利用して生成されるか又は前記６つのパラメータを利用して生成されるかを示すことを特徴とする。
【0019】
本発明において、前記アフィンフラグ及び前記アフィンパラメータフラグは、スライス、最大コーディングユニット、コーディングユニット又は予測ユニットの少なくとも１つのレベルにおいて定義されることを特徴とする。
【0020】
本発明において、前記方法は、前記現在ブロックのサイズが既に設定された条件を満足するか否かを確認するステップをさらに含み、前記既に設定された条件は、前記現在ブロック内のピクセル数、前記現在ブロックの幅及び／又は高さの少なくとも１つが既に設定された閾値より大きいか否かを示し、前記現在ブロックのサイズが既に設定された条件を満足する場合、前記現在ブロックに対して前記ＡＦモードが適用されるか否かを確認するステップが行われることを特徴とする。
【0021】
本発明において、前記現在ブロックのサイズが既に設定された条件を満足しない場合、前記現在ブロックは、前記ＡＦモードではない他のコーディングモードに基づいてデコードされることを特徴とする。
【0022】
本発明において、前記方法は、前記現在ブロックに対して前記ＡＦモードが適用される場合、隣接ブロックに対してＡＦモードが適用されたか否かを確認するステップをさらに含み、前記隣接ブロックに対してＡＦモードが適用された場合、動きベクトル予測子は前記４つのパラメータを利用して生成され、前記隣接ブロックに対してＡＦモードが適用されない場合、前記ＡＦ４モードが利用されるか否かを確認するステップを行うことを特徴とする。
【0023】
本発明は、アフィン動き予測モード（ＡＦモード）に基づいて現在ブロックを含むビデオ信号をデコードする装置において、前記現在ブロックに対して前記ＡＦモードが適用されるか否かを確認し、前記現在ブロックに対して前記ＡＦモードが適用される場合、ＡＦ４モードが利用されるか否かを確認し、ＡＦ４モードが利用されると、４つのパラメータを利用して動きベクトル予測子を生成し、ＡＦ４モードが利用されないと、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を構成する６つのパラメータを利用して動きベクトル予測子を生成し、前記動きベクトル予測子に基づいて前記現在ブロックの動きベクトルを取得するインター予測部を含み、前記ＡＦモードは、前記アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を利用する動き予測モードを示し、前記ＡＦ４モードは、前記アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を構成する４つのパラメータを利用して動きベクトルを予測するモードを示すことを特徴とする装置を提供する。
【0024】
本発明において、前記装置は、前記ビデオ信号からアフィンフラグをパーシングするパーシング部をさらに含み、前記アフィンフラグは、前記現在ブロックに対して前記ＡＦモードが適用されるか否かを示し、前記現在ブロックに対して前記ＡＦモードが適用されるか否かは、前記アフィンフラグに基づいて確認されることを特徴とする。
【0025】
本発明において、前記装置は、前記アフィンフラグによって前記現在ブロックに対して前記ＡＦモードが適用される場合、前記ビデオ信号からアフィンパラメータフラグを取得する前記パーシング部を含み、前記アフィンパラメータフラグは、前記動きベクトル予測子が前記４つのパラメータを利用して生成されるか又は前記６つのパラメータを利用して生成されるかを示すことを特徴とする。
【0026】
本発明において、前記装置は、前記現在ブロックのサイズが既に設定された条件を満足するか否かを確認する前記インター予測部を含み、前記既に設定された条件は、前記現在ブロック内のピクセル数、前記現在ブロックの幅及び／又は高さの少なくとも１つが既に設定された閾値より大きいか否かを示し、前記現在ブロックのサイズが既に設定された条件を満足する場合、前記現在ブロックに対して前記ＡＦモードが適用されるか否かを確認するステップが行われることを特徴とする。
【0027】
本発明において、前記装置は、前記現在ブロックに対して前記ＡＦモードが適用される場合、隣接ブロックに対してＡＦモードが適用されたか否かを確認する前記インター予測部を含み、前記隣接ブロックに対してＡＦモードが適用された場合、動きベクトル予測子は前記４つのパラメータを利用して生成され、前記隣接ブロックに対してＡＦモードが適用されない場合、前記ＡＦ４モードが利用されるか否かを確認するステップを行うことを特徴とする。
【発明を実施するための形態】
【0028】
以下、添付の図面を参照して本発明の実施形態の構成とその作用を説明し、図面により説明される本発明の構成と作用は１つの実施形態として説明されるものであり、これにより本発明の技術的思想とその核心構成及び作用が制限されるものではない。
【0029】
併せて、本発明で使われる用語はできる限り現在広く使われる一般的な用語を選択したが、特定の場合は出願人が任意に選定した用語を使用して説明する。そのような場合には該当部分の詳細説明でその意味を明確に記載するので、本発明の説明で使われた用語の名称だけで単純解析されてはならず、その該当用語の意味まで把握して解析されるべきであることを明らかにする。
【0030】
また、本発明で使われる用語は発明を説明するために選択された一般的な用語であるが、類似の意味を有する他の用語がある場合、より適切な解析のために代替可能である。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適切に代替されて解析できるものである。また、パーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）、分解（ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、スプリッティング（ｓｐｌｉｔｔｉｎｇ）及び分割（ｄｉｖｉｓｉｏｎ）などの場合にも各コーディング過程で適切に代替され解析できるものである。
【0031】
図１は、本発明が適用される実施形態として、ビデオ信号のエンコードが行われるエンコーダの概略的なブロック図を示す。
【0032】
図１に示すように、エンコーダ１００は、画像分割部１１０、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）１７０、インター予測部１８０、イントラ予測部１８５及びエントロピーエンコード部１９０を含んで構成される。
【0033】
画像分割部１１０は、エンコーダ１００に入力された入力画像（Ｉｎｐｕｔ ｉｍａｇｅ）（又は、ピクチャ、フレーム）を１つ以上の処理ユニットに分割する。例えば、前記処理ユニットは、コーディングツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、コーディングユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であり得る。このとき、前記分割は、ＱＴ（ＱｕａｄＴｒｅｅ）、ＢＴ（Ｂｉｎａｒｙ Ｔｒｅｅ）、ＴＴ（Ｔｅｒｎａｒｙ Ｔｒｅｅ）、ＡＴ（Ａｓｙｍｍｅｔｒｉｃ Ｔｒｅｅ）の少なくとも１つ方式により行われる。
【0034】
ただし、前記用語は、本発明に関する説明の便宜のために使用されるだけで、本発明は、当該用語の定義に限定されない。また、本明細書では説明の便宜のために、ビデオ信号をエンコード又はデコードする過程で用いられる単位としてコーディングユニットという用語を使用するが、本発明はそれに限定されなく、発明の内容に応じて適切に解析可能である。
【0035】
エンコーダ１００は、入力画像信号から、インター予測部１８０又はイントラ予測部１８５から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を生成し、生成されたレジデュアル信号は変換部１２０に送信される。
【0036】
変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。変換過程は、正方形の同一サイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
【0037】
量子化部１３０は、変換係数を量子化してエントロピーエンコード部１９０に送信し、エントロピーエンコード部１９０は、量子化された信号（ｑｕａｎｔｉｚｅｄ ｓｉｇｎａｌ）をエントロピーコーディングしてビットストリームに出力する。
【0038】
量子化部１３０から出力された量子化された信号（ｑｕａｎｔｉｚｅｄ ｓｉｇｎａｌ）は、予測信号を生成するために利用されてもよい。例えば、量子化された信号（ｑｕａｎｔｉｚｅｄ ｓｉｇｎａｌ）は、ループ内の逆量子化部１４０及び逆変換部１５０により逆量子化及び逆変換を適用することによりレジデュアル信号を復元することができる。復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）に足すことにより、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｓｉｇｎａｌ）が生成される。
【0039】
一方、前述したような圧縮過程で、隣接したブロックが相異なる量子化パラメータにより量子化されることにより、ブロック境界が見える劣化が発生する可能性がある。このような現象をブロッキング劣化（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔｓ）といい、これは、画質を評価する重要な要素の１つである。このような劣化を低減するためにフィルタリング過程を行ってもよい。このようなフィルタリング過程により、ブロッキング劣化を除去するとともに、現在のピクチャに対する誤差を減らすことにより画質を向上させることが可能となる。
【0040】
フィルタリング部１６０は、復元信号にフィルタリングを適用してこれを再生装置に出力するか、復号ピクチャバッファ１７０に送信する。復号ピクチャバッファ１７０に送信されたフィルタリングされた信号は、インター予測部１８０において参照ピクチャとして使用可能である。このように、フィルタリングされたピクチャを画面間予測モードにおいて参照ピクチャとして利用することにより、画質だけでなく符号化効率も向上される。
【0041】
復号ピクチャバッファ１７０は、フィルタリングされたピクチャをインター予測部１８０での参照ピクチャとして使用するために格納する。
【0042】
インター予測部１８０は、復元ピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）を参照して時間的重複性及び／又は空間的重複性を除去するために、時間的予測及び／又は空間的な予測を行う。ここで、予測を行うために用いられる参照ピクチャは、以前時間に符号化／復号化の時にブロック単位で量子化と逆量子化を経た変換された信号であるため、ブロッキングアーティファクトやリンギングアーティファクト（ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔ）が存在し得る。
【0043】
従って、インター予測部１８０は、このような信号の不連続や量子化による性能低下を解決するために、ローパスフィルタ（ｌｏｗｐａｓｓ ｆｉｌｔｅｒ）を適用することにより、ピクセル間の信号をサブピクセル単位で補間することができる。ここで、サブピクセルは、補間フィルタを適用して生成された仮想のピクセルを意味し、整数ピクセルは、復元されたピクチャに存在する実際ピクセルを意味する。補間方法としては、線形補間、双線形補間（ｂｉ－ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ウィナーフィルタ（ｗｉｅｎｅｒ ｆｉｌｔｅｒ）などが適用されてもよい。
【0044】
補間フィルタは、復元ピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に適用されて予測の精密度を向上させる。例えば、インター予測部１８０は、整数ピクセルに補間フィルタを適用して補間ピクセルを生成し、補間ピクセル（ｉｎｔｅｒｐｏｌａｔｅｄ ｐｉｘｅｌｓ）で構成された補間ブロック（ｉｎｔｅｒｐｏｌａｔｅｄ ｂｌｏｃｋ）を予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ）として使用して予測を行うことができる。
【0045】
イントラ予測部１８５は、現在符号化を行おうとするブロックの周辺にあるサンプルを参照して現在ブロックを予測することができる。前記イントラ予測部１８５は、イントラ予測を行うために次のような過程を行う。まず、予測信号を生成するために必要な参照サンプルを用意する。そして、用意された参照サンプルを利用して予測信号を生成する。以後、予測モードを符号化する。ここで、参照サンプルは、参照サンプルパディング及び／又は参照サンプルフィルタリングにより用意される。参照サンプルは予測及び復元過程を経たため、量子化エラーが存在する可能性がある。従って、このようなエラーを減らすために、イントラ予測に用いられる各予測モードに対して参照サンプルフィルタリングの過程が行われる。
【0046】
前記インター予測部１８０又は前記イントラ予測部１８５により生成された予測信号（ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）は、復元信号を生成するために利用されるか、レジデュアル信号を生成するために利用される。
【0047】
図２は、本発明が適用される実施形態として、ビデオ信号のデコードが行われるデコーダの概略的なブロック図を示す。
【0048】
図２に示すように、デコーダ２００は、パーシング部（図示せず）、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ Ｕｎｉｔ）２５０、インター予測部２６０、イントラ予測部２６５及び復元部（図示せず）を含んで構成される。
【0049】
デコーダ２００は、図１のエンコーダ１００から出力された信号を受信し、パーシング部（図示せず）を介してシンタックスエレメントをパーシング又は取得する。パーシング又は取得された信号は、エントロピーデコード部２１０によりエントロピーデコーディングされる。
【0050】
逆量子化部２２０においては、量子化ステップサイズ情報を利用してエントロピーデコーディングされた信号から変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得する。
【0051】
逆変換部２３０においては、変換係数を逆変換してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を取得する。
【0052】
復元部（図示せず）は、取得されたレジデュアル信号をインター予測部２６０又はイントラ予測部２６５から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）に足すことにより、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｓｉｇｎａｌ）を生成する。
【0053】
フィルタリング部２４０は、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｓｉｇｎａｌ）にフィルタリングを適用してこれを再生装置に出力するか、復号ピクチャバッファ部２５０に送信する。復号ピクチャバッファ部２５０に送信されたフィルタリングされた信号は、インター予測部２６０において参照ピクチャとして使用可能である。
【0054】
本明細書において、エンコーダ１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５において説明された実施形態は、それぞれデコーダのフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも同様に適用されることができる。
【0055】
前記デコーダ２００を介して出力された復元ビデオ信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｖｉｄｅｏ ｓｉｇｎａｌ）は、再生装置により再生されることができる。
【0056】
図３は、本発明が適用できる実施形態として、ＱＴ（ＱｕａｄＴｒｅｅ、以下「ＱＴ」という）ブロック分割構造を説明するための図である。
【0057】
ビデオコーディングにおいて１つのブロックはＱＴ（ＱｕａｄＴｒｅｅ）ベースに分割されることができる。また、ＱＴにより分割された１つのサブブロック（ｓｕｂ ｂｌｏｃｋ）は、ＱＴを使用して再帰的にさらに分割されることができる。これ以上ＱＴ分割されないリーフブロック（ｌｅａｆ ｂｌｏｃｋ）は、ＢＴ（Ｂｉｎａｒｙ Ｔｒｅｅ）、ＴＴ（Ｔｅｒｎａｒｙ Ｔｒｅｅ）又はＡＴ（Ａｓｙｍｍｅｔｒｉｃ Ｔｒｅｅ）の少なくとも１つの方式により分割されることができる。ＢＴは、ｈｏｒｉｚｏｎｔａｌ ＢＴ（２Ｎ×Ｎ、２Ｎ×Ｎ）とｖｅｒｔｉｃａｌ ＢＴ（Ｎ×２Ｎ、Ｎ×２Ｎ）の２つの形態の分割を有する。ＴＴは、ｈｏｒｉｚｏｎｔａｌ ＴＴ（２Ｎ×１／２Ｎ、２Ｎ×Ｎ、２Ｎ×１／２Ｎ）とｖｅｒｔｉｃａｌ ＴＴ（１／２Ｎ×２Ｎ、Ｎ×２Ｎ、１／２Ｎ×２Ｎ）の２つの形態の分割を有する。ＡＴは、ｈｏｒｉｚｏｎｔａｌ－ｕｐ ＡＴ（２Ｎ×１／２Ｎ、２Ｎ×３／２Ｎ）、ｈｏｒｉｚｏｎｔａｌ－ｄｏｗｎ ＡＴ（２Ｎ×３／２Ｎ、２Ｎ×１／２Ｎ）、ｖｅｒｔｉｃａｌ－ｌｅｆｔ ＡＴ（１／２Ｎ×２Ｎ、３／２Ｎ×２Ｎ）、ｖｅｒｔｉｃａｌ－ｒｉｇｈｔ ＡＴ（３／２Ｎ×２Ｎ、１／２Ｎ×２Ｎ）の４つの形態の分割を有する。それぞれのＢＴ、ＴＴ、ＡＴは、ＢＴ、ＴＴ、ＡＴを使用して再帰的にさらに分割されることができる。
【0058】
図３は、ＱＴ分割の例を示す。ブロックＡは、ＱＴにより４つのサブブロック（Ａ０、Ａ１、Ａ２、Ａ３）に分割されることができる。サブブロックＡ１は、さらにＱＴにより４つのサブブロック（Ｂ０、Ｂ１、Ｂ２、Ｂ３）に分割されることができる。
【0059】
図４は、本発明が適用できる実施形態として、ＢＴ（Ｂｉｎａｒｙ Ｔｒｅｅ、以下「ＢＴ」という）ブロック分割構造を説明するための図である。
【0060】
図４は、ＢＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＢＴ（Ｃ０、Ｃ１）又はｈｏｒｉｚｏｎｔａｌ ＢＴ（Ｄ０、Ｄ１）により分割されることができる。ブロックＣ０のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＢＴ（Ｅ０、Ｅ１）又はｖｅｒｔｉｃａｌ ＢＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
【0061】
図５は、本発明が適用できる実施形態として、ＴＴ（Ｔｅｒｎａｒｙ Ｔｒｅｅ、以下「ＴＴ」という）ブロック分割構造を説明するための図である。
【0062】
図５は、ＴＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＴＴ（Ｃ０、Ｃ１、Ｃ２）又はｈｏｒｉｚｏｎｔａｌ ＴＴ（Ｄ０、Ｄ１、Ｄ２）により分割されることができる。ブロックＣ１のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＴＴ（Ｅ０、Ｅ１、Ｅ２）又はｖｅｒｔｉｃａｌ ＴＴ（Ｆ０、Ｆ１、Ｆ２）の形態のように再帰的にさらに分割されることができる。
【0063】
図６は、本発明が適用できる実施形態として、ＡＴ（Ａｓｙｍｍｅｔｒｉｃ Ｔｒｅｅ、以下「ＡＴ」という）ブロック分割構造を説明するための図である。
【0064】
図６は、ＡＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＡＴ（Ｃ０、Ｃ１）又はｈｏｒｉｚｏｎｔａｌ ＡＴ（Ｄ０、Ｄ１）により分割されることができる。ブロックＣ１のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＡＴ（Ｅ０、Ｅ１）又はｖｅｒｔｉｃａｌ ＴＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
【0065】
一方、ＢＴ、ＴＴ、ＡＴ分割は、共に使用されて分割が可能である。例えば、ＢＴにより分割されたサブブロックはＴＴ又はＡＴによる分割が可能である。また、ＴＴにより分割されたサブブロックはＢＴ又はＡＴによる分割が可能である。ＡＴにより分割されたサブブロックはＢＴ又はＴＴによる分割が可能である。例えば、ｈｏｒｉｚｏｎｔａｌ ＢＴ分割の後、それぞれのサブブロックがｖｅｒｔｉｃａｌ ＢＴにより分割されることができ、又はｖｅｒｔｉｃａｌ ＢＴ分割の後、それぞれのサブブロックがｈｏｒｉｚｏｎｔａｌ ＢＴにより分割されることもできる。前記２種類の分割方法は、分割順序は異なるが、最終的に分割される形状は同一である。
【0066】
また、ブロックが分割されると、ブロックを探索する順序を多様に定義することができる。一般に、左側から右側へ、上段から下段へ探索を行い、ブロックを探索するということは、各分割されたサブブロックの追加的なブロック分割を行うか否かを決定する順序を意味するか、ブロックがこれ以上分割されない場合、各サブブロックの符号化順序を意味するか、又はサブブロックにおいて他の隣接ブロックの情報を参照する時の探索順序を意味する。
【0067】
図７は、本発明が適用される実施形態として、インター予測モードを説明するための図である。
【0068】
インター予測モード
【0069】
発明が適用されるインター予測モードでは、動き情報の量を減らすために、マージ（Ｍｅｒｇｅ）モード、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モード又はアフィン予測モード（Ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ、以下「ＡＦモード」という ）が利用される。
【0070】
１）マージ（Ｍｅｒｇｅ）モード
【0071】
マージモードは、空間的（ｓｐａｔｉａｌｌｙ）又は時間的（ｔｅｍｐｏｒａｌｌｙ）に隣り合うブロックから動きパラメータ（又は、情報）を導出する方法を意味する。
【0072】
マージモードにおいて利用可能な候補のセットは、空間的に隣り合う候補（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒ ｃａｎｄｉｄａｔｅｓ）、時間的候補（ｔｅｍｐｏｒａｌ ｃａｎｄｉｄａｔｅｓ）、及び生成された候補（ｇｅｎｅｒａｔｅｄ ｃａｎｄｉｄａｔｅｓ）から構成される。
【0073】
図７の（ａ）に示すように、｛Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２｝の順序に従って各空間的候補ブロックが利用可能であるか否かが判断される。その時、候補ブロックがイントラ予測モードでエンコードされて動き情報が存在しない場合又は候補ブロックが現在ピクチャ（又は、スライス）の外に位置する場合は、当該候補ブロックは利用できない。
【0074】
空間的候補の有効性を判断した後、現在処理ブロックの候補ブロックから不要な候補ブロックを除くことにより、空間的マージ候補が構成できる。例えば、現在予測ブロックの候補ブロックが同一コーディングブロック内の１番目の予測ブロックである場合、当該候補ブロックを除き、また同一の動き情報を有する候補ブロックを除くことができる。
【0075】
空間的マージ候補の構成が完了すると、｛Ｔ０、Ｔ１｝の順序に従って時間的マージ候補の構成過程が行われる。
【0076】
時間的候補構成において、参照ピクチャの同一位置（ｃｏｌｌｏｃａｔｅｄ）ブロックの右下端（ｒｉｇｈｔ ｂｏｔｔｏｍ）ブロック（Ｔ０）が利用可能である場合、当該ブロックを時間的マージ候補として構成する。同一位置（ｃｏｌｌｏｃａｔｅｄ）ブロックは、選択された参照ピクチャにおいて現在処理ブロックに対応する位置に存在するブロックを意味する。それに対して、そうではない場合、同一位置（ｃｏｌｌｏｃａｔｅｄ）ブロックの中央（ｃｅｎｔｅｒ）に位置するブロック（Ｔ１）を時間的マージ候補として構成する。
【0077】
マージ候補の最大個数はスライスヘッダーにおいて特定できる。マージ候補の個数が最大個数より大きい場合、最大個数より小さい個数の空間的候補と時間的候補が維持される。そうではない場合、マージ候補の個数は、候補個数が最大個数になるまで、現在まで追加された候補を組み合わせて追加的なマージ候補（すなわち、組み合わされた双予測マージ候補（ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅｓ））が生成される。
【0078】
エンコーダにおいては、前述したような方法でマージ候補リストを構成し、動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）を行うことによりマージ候補リストから選択された候補ブロック情報をマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）（例えば、ｍｅｒｇｅ＿ｉｄｘ［ｘ０］［ｙ０］’）としてデコーダにシグナリングする。図７の（ｂ）においては、マージ候補リストからＢ１ブロックが選択された場合を例示し、この場合、マージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）として「インデックス１（Ｉｎｄｅｘ １）」がデコーダにシグナリングされる。
【0079】
デコーダにおいては、エンコーダと同様にマージ候補リストを構成し、マージ候補リストにおいてエンコーダから受信したマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）に該当する候補ブロックの動き情報から現在ブロックに関する動き情報を導出する。そして、デコーダは、導出した動き情報に基づいて現在処理ブロックに対する予測ブロックを生成する。
【0080】
２）ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モード
【0081】
ＡＭＶＰモードは、周辺ブロックから動きベクトル予測値を誘導する方法を意味する。従って、水平及び垂直の動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）、参照インデックス及びインター予測モードがデコーダにシグナリングされる。水平及び垂直の動きベクトル値は、誘導された動きベクトル予測値とエンコーダから提供された動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）を用いて計算される。
【0082】
すなわち、エンコーダにおいては、動きベクトル予測値候補リストを構成し、動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）を行うことにより動きベクトル予測値候補リストから選択された動き参照フラグ（すなわち、候補ブロック情報）（例えば、ｍｖｐ＿ｌＸ＿ｆｌａｇ［ｘ０］［ｙ０］’）をデコーダにシグナリングする。デコーダにおいては、エンコーダと同様に動きベクトル予測値候補リストを構成し、動きベクトル予測値候補リストにおいてエンコーダから受信した動き参照フラグで指示された候補ブロックの動き情報を利用して、現在処理ブロックの動きベクトル予測値を導出する。そして、デコーダは、導出された動きベクトル予測値とエンコーダから送信された動きベクトル差分値を利用して、現在処理ブロックに対する動きベクトル値を取得する。そして、デコーダは、導出した動き情報をベースに現在処理ブロックに対する予測ブロックを生成する（すなわち、動き補償）。
【0083】
ＡＭＶＰモードの場合、図７に前述した５つの利用可能な候補者のうち２つの空間的動き候補が選択される。１番目の空間的動き候補は左側に位置した｛Ａ０、Ａ１｝セットから選択され、２番目の空間的動き候補は上位に位置した｛Ｂ０、Ｂ１、Ｂ２｝セットから選択される。ここで、隣り合う候補ブロックの参照インデックスが現在予測ブロックと同一でない場合、動きベクトルがスケーリングされる。
【0084】
空間的動き候補の探索結果から選択された候補数が２つである場合は候補の構成を終了するが、２つ未満である場合は時間的な動き候補が追加される。
【0085】
デコーダ（例えば、インター予測部）は、処理ブロック（例えば、予測ユニット）に対する動きパラメータをデコードする。
【0086】
例えば、処理ブロックがマージモードを利用する場合、デコーダは、エンコーダからシグナリングされたマージインデックスをデコードすることができる。そして、マージインデックスにおいて指示された候補ブロックの動きパラメータから現在処理ブロックの動きパラメータを導出することができる。
【0087】
また、処理ブロックがＡＭＶＰモードが適用された場合、デコーダは、エンコーダからシグナリングされた水平及び垂直の動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）、参照インデックス及びインター予測モードを復号化することができる。そして、動き参照フラグから指示された候補ブロックの動きパラメータから動きベクトル予測値を導出し、動きベクトル予測値と受信した動きベクトル差分値を利用して現在処理ブロックの動きベクトル値を導出することができる。
【0088】
デコーダは、デコードされた動きパラメータ（又は、情報）を用いて予測ユニットに対する動き補償を行う。
【0089】
すなわち、エンコーダ／デコーダにおいては、復号化された動きパラメータを用いて、以前にデコードされたピクチャから現在ユニットの画像を予測する動き補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を行う。
【0090】
３）ＡＦモード（Ａｆｆｉｎｅ Ｍｏｄｅ）
【0091】
前記ＡＦモードは、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を用いる動き予測モードを意味し、アフィンマージモード（ａｆｆｉｎｅ ｍｅｒｇｅ ｍｏｄｅ）又はアフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ）の少なくとも１つを含んでもよい。前記アフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ）はＡＦ４モード又はＡＦ６モードの少なくとも１つを含んでもよい。ここで、ＡＦ４モードは４つのパラメータを利用するアフィン予測（Ｆｏｕｒ ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）モードを示し、ＡＦ６モードは６つのパラメータを利用するアフィン予測（ｓｉｘ ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）モードを示す。
【0092】
ただし、本発明では、説明の便宜のためにＡＦ４モード又はＡＦ６モードと表現するが、これは、必ず別途の予測モードとして定義される必要はなく、前記ＡＦ４モード又はＡＦ６モードはただ４つのパラメータを利用するか又は６つのパラメータを利用するかによって区分されて理解されることができる。
【0093】
【0094】
図８は、本発明が適用される実施形態として、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を説明するための図である。
【0095】
一般的な画像符号化技術は、コーディングブロックの動きを表現するために並進動きモデル（ｔｒａｎｓｌａｔｉｏｎ ｍｏｔｉｏｎ ｍｏｄｅｌ）を使用する。ここで、並進動きモデルは、平行移動されたブロックベースの予測方法を示す。すなわち、コーディングブロックの動き情報は１つの動きベクトルを用いて表現される。しかしながら、実際のコーディングブロック内で各ピクセル別の最適の動きベクトルは相異なる可能性がある。もし、少ない情報のみでピクセル別又はサブブロック単位別に最適の動きベクトルを決定できると、コーディング効率を向上させることができる。
【0096】
従って、本発明は、インター予測の性能を高めるために、平行移動されたブロックベースの予測方法だけでなく、画像の多様な動きを反映したインター予測ベースの画像処理方法を提案する。
【0097】
また、本発明は、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を使用してエンコード／デコードを行うアフィン動き予測方法を提案する。アフィン動きモデルは、制御点の動きベクトルを用いてピクセル単位又はサブブロック単位で動きベクトルを誘導する予測方法を示す。本明細書において、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を用いるアフィン動き予測モードをＡＦモード（Ａｆｆｉｎｅ Ｍｏｄｅ）という。
【0098】
また、本発明は、ブロックサイズに基づいてアフィン予測（ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）を適応的に行う方法を提供する。
【0099】
また、本発明は、隣接ブロックがアフィン予測によりコーディングされたか否かに基づいてアフィン予測を適応的に行う方法を提供する。
【0100】
また、本発明は、ＡＦ４モード又はＡＦ６モードの少なくとも１つに基づいて最適のコーディングモードを適応的に決定（又は、選択）する方法を提供する。ここで、ＡＦ４モードは４つのパラメータを利用するアフィン予測（Ｆｏｕｒ ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）モードを示し、ＡＦ６モードは６つのパラメータを利用するアフィン予測（ｓｉｘ ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）モードを示す。
【0101】
【0102】
例えば、アフィン動きモデルは、画像の移動（ｔｒａｎｓｌａｔｅ）、画像の拡大／縮小（ｓｃａｌｅ）、画像の回転（ｒｏｔａｔｅ）、画像のせん断（ｓｈｅａｒ）だけでなく、誘発される任意の画像歪みをモデリングすることができる。
【0103】
アフィン動きモデルは様々な方法で表現されるが、そのうち、本発明ではブロックの特定基準点（又は、基準ピクセル／サンプル）での動き情報を活用して歪みを表示（又は、識別）し、これを利用してインター予測を行う方法を提案する。ここで、基準点は、制御点（ＣＰ：Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）（又は、制御ピクセル、制御サンプル）と称され、このような基準点での動きベクトルは制御点動きベクトル（ＣＰＭＶ：Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と称される。このような制御点の数に応じて表現できる歪みの程度が変わる。
【0104】
アフィン動きモデルは、次の数式１のように６つのパラメータ（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）を利用して表現される。
【0105】
【数1】
【0106】
ここで、（ｘ、ｙ）はコーディングブロックの左上側ピクセルの位置を示す。そして、ｖｘ及びｖｙは、それぞれ（ｘ、ｙ）での動きベクトルを示す。
【0107】
図９は、本発明が適用される実施形態として、制御点動きベクトル（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を利用したアフィン動き予測方法を説明するための図である。
【0108】
図９の（ａ）に示すように、現在ブロック９０１の左上側制御点（ＣＰ０）９０２（以下、第１制御点という）、右上側制御点（ＣＰ１）９０３（以下、第２制御点という）及び左下側制御点（ＣＰ２）９０４（以下、第３制御点という）は、それぞれ独立的な動き情報を有することができる。これをそれぞれＣＰ０、ＣＰ１、ＣＰ２と表現する。しかしながら、これは、本発明の一実施形態に該当し、本発明はこれに限定されない。例えば、右下側制御点、センター制御点、その他にサブブロックの位置別制御点など、様々な制御点を定義することができる。
【0109】
本発明の一実施形態として、前記第１制御点ないし第３制御点のうち少なくとも１つは現在ブロックに含まれたピクセルであり得る。または、他の例として、前記第１制御点ないし第３制御点のうち少なくとも１つは現在ブロックに含まれない現在ブロックに隣接したピクセルであり得る。
【0110】
前記制御点のうち１つ以上の制御点動き情報を利用して、現在ブロック９０１のピクセル別又はサブブロック別の動き情報が誘導されることができる。
【0111】
例えば、現在ブロック９０１の左上側制御点９０２、右上側制御点９０３及び左下側制御点９０４の動きベクトルを利用したアフィン動きモデルは、次の数式２のように定義される。
【0112】
【数2】
【0113】
ここで、
を左上側制御点９０２の動きベクトル、
を右上側制御点９０３の動きベクトル、
を左下側制御点９０４の動きベクトルであるとするとき、
、
、
と定義されることができる。そして、数式２においてｗは現在ブロック９０１の幅（ｗｉｄｔｈ）、ｈは現在ブロック９０１の高さ（ｈｅｉｇｈｔ）を示す。そして、
は｛ｘ、ｙ｝位置の動きベクトルを示す。
【0114】
本発明では、アフィン動きモデルが表現できる動きのうち並進（ｔｒａｎｓｌａｔｉｏｎ）、スケール（ｓｃａｌｅ）、回転（ｒｏｔａｔｅ）の３つの動きを表現するアフィン動きモデルを定義できる。本明細書では、これを簡易アフィン動きモデル（ｓｉｍｐｌｉｆｉｅｄ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ ｏｒ ｓｉｍｉｌａｒｉｔｙ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）と呼ぶことにする。
【0115】
前記簡易アフィン動きモデルは、次の数式３のように４つのパラメータ（ａ、ｂ、ｃ、ｄ）を利用して表現する。
【0116】
【数3】
【0117】
ここで、｛ｖｘ、ｖｙ｝はそれぞれ｛ｘ、ｙ｝位置の動きベクトルを示す。このように４つのパラメータを利用するアフィン動きモデルをＡＦ４という。本発明は、これに限定されなく、６つのパラメータを利用する場合にはＡＦ６といい、前述した実施形態を同一に適用することができる。
【0118】
図９の（ｂ）に示すように、
を現在ブロックの左上側制御点１００１の動きベクトル、
を右上側制御点１００２の動きベクトルであるとするとき、
、
と定義されることができる。ここで、ＡＦ４のアフィン動きモデルを次の数式４のように定義することができる。
【0119】
【数4】
【0120】
数式４において、ｗは現在ブロックの幅（ｗｉｄｔｈ）、ｈは現在ブロックの高さ（ｈｅｉｇｈｔ）を示す。そして、
は、それぞれ｛ｘ，ｙ｝位置の動きベクトルを示す。
【0121】
エンコーダ又はデコーダは、制御点動きベクトル（例えば、左上側制御点１００１及び右上側制御点１００２の動きベクトル）を利用して各ピクセル位置の動きベクトルを決定（又は、誘導）することができる。
【0122】
本発明において、アフィン動き予測により決定される動きベクトルの集合をアフィン動きベクトルフィールドと定義することができる。前記アフィン動きベクトルフィールドは、前記数式１ないし４のうち少なくとも１つを利用して決定される。
【0123】
符号化／復号化過程で、アフィン動き予測による動きベクトルは、ピクセル単位又は予め定義された（又は、予め設定された）ブロック（又は、サブブロック）単位で決定されることができる。例えば、ピクセル単位で決定される場合は、ブロック内の各ピクセルを基準に動きベクトルが誘導され、サブブロック単位で決定される場合は、現在ブロック内の各サブブロック単位を基準に動きベクトルが誘導される。他の例として、サブブロック単位で決定される場合、動きベクトルは左上側ピクセル又は中央ピクセルを基準に当該サブブロックの動きベクトルが誘導される。
【0124】
以下、本発明の説明において説明の便宜のために、アフィン動き予測により動きベクトルが４×４ブロック単位で決定される場合を中心に説明するが、本発明はこれに限定されるものではなく、本発明はピクセル単位又は他のサイズのブロック単位で適用されることができる。
【0125】
一方、図９の（ｂ）に示すように、現在ブロックのサイズが１６×１６である場合を仮定する。エンコーダ又はデコーダは、現在ブロックの左上側制御点１００１及び右上側制御点１００２の動きベクトルを利用して４×４サブブロック単位で動きベクトルを決定する。そして、各サブブロックの中央ピクセル値を基準に当該サブブロックの動きベクトルが決定される。
【0126】
図９の（ｂ）において、各サブブロックの中央に表示された矢印は、アフィン動きモデル（Ａｆｆｉｎ ｍｏｔｉｏｎ ｍｏｄｅｌ）により取得された動きベクトルを示す。
【0127】
アフィン動き予測は、アフィンマージモード（以下、「ＡＦマージモード」という）とアフィンインターモード（以下、「ＡＦインターモード」という）として利用されることができる。ＡＦマージモードは、スキップモード又はマージモードと類似して動きベクトル差（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）を符号化せず、２つの制御点動きベクトルを誘導して符号化又は復号化する方法である。ＡＦインターモードは、制御点動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）と制御点動きベクトルを決定した後、その差に該当する制御点動きベクトル差分値（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ：ＣＰＭＶＤ）を符号化又は復号化する方法である。この場合、ＡＦ４モードの場合は２つの制御点動きベクトル差分値が送信され、ＡＦ６モードの場合は３つの制御点動きベクトル差分値が送信される。
【0128】
ここで、ＡＦ４モードはＡＦ６モードに比べて少ない個数の動きベクトル差分値を送信するため、少ないビットで制御点動きベクトル（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：ＣＰＭＶ）を表現できるという長所があり、ＡＦ６モードは３つのＣＰＭＶＤを送信するため、優秀な予測子生成が可能であるので、残差コーディング（ｒｅｓｉｄｕａｌ ｃｏｄｉｎｇ）のためのビットを減らすことができるという長所がある。
【0129】
従って、本発明では、ＡＦインターモードにおいてＡＦ４モード及びＡＦ６モードを両方とも（又は、同時に）考慮する方法を提案する。
【0130】
図１０は、本発明が適用される実施形態として、アフィン予測モード（以下、「ＡＦモード」という）を利用して現在ブロックを含むビデオ信号を処理する過程を説明するフローチャートである。
【0131】
本発明は、ＡＦモードを利用して現在ブロックを含むビデオ信号を処理する方法を提供する。
【0132】
まず、ビデオ信号処理装置は、現在ブロックの少なくとも２つの制御点に隣接したピクセル又はブロックの動きベクトルを利用して動きベクトル対（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐａｉｒ）の候補リストを生成する（Ｓ１０１０）。ここで、前記制御点は前記現在ブロックのコーナーピクセルを意味し、前記動きベクトル対は前記現在ブロックの左上側コーナーピクセル及び右上側コーナーピクセルの動きベクトルを示す。
【0133】
一実施形態として、前記制御点は、前記現在ブロックの左上側コーナーピクセル、右上側コーナーピクセル、左下側コーナーピクセル又は右下側コーナーピクセルのうち少なくとも２つを含み、前記候補リストは、前記左上側コーナーピクセル、前記右上側コーナーピクセル及び前記左下側コーナーピクセルに隣接したピクセル又はブロックにより構成される。
【0134】
一実施形態として、前記候補リストは、前記左上側コーナーピクセルの対角隣接ピクセル（Ａ）、上側隣接ピクセル（Ｂ）及び左側隣接ピクセル（Ｃ）の動きベクトル、前記右上側コーナーピクセルの上側隣接ピクセル（Ｄ）及び対角隣接ピクセル（Ｅ）の動きベクトル、及び前記左下側コーナーピクセルの左隣ピクセル（Ｆ）及び対角隣接ピクセル（Ｇ）の動きベクトルに基づいて生成されることができる
【0135】
一実施形態として、前記方法は、前記候補リストの動きベクトル対が２つより小さい場合、ＡＭＶＰ候補リストを前記候補リストに追加するステップをさらに含んでもよい。
【0136】
一実施形態として、前記現在ブロックがＮ×４のサイズである場合、前記現在ブロックの制御点動きベクトルは、前記現在ブロック内の左側サブブロックと右側サブブロックの中央位置を基準に誘導された動きベクトルに決定され、前記現在ブロックが４×Ｎのサイズである場合、前記現在ブロックの制御点動きベクトルは、前記現在ブロック内の上側サブブロック及び下側サブブロックの中央位置を基準に誘導された動きベクトルに決定されることを特徴とする。
【0137】
一実施形態として、前記現在ブロックがＮ×４のサイズである場合、前記現在ブロック内の左側サブブロックの制御点動きベクトルは、第１制御点動きベクトルと第３制御点動きベクトルの平均値により決定され、右側サブブロックの制御点動きベクトルは、第２制御点動きベクトルと第４制御点動きベクトルの平均値により決定され、前記現在ブロックが４×Ｎのサイズである場合、前記現在ブロック内の上側サブブロックの制御点動きベクトルは、第１制御点動きベクトルと第２制御点動きベクトルの平均値により決定され、下側サブブロックの制御点動きベクトルは、第３制御点動きベクトルと第４制御点動きベクトルの平均値により決定されることを特徴とする。
【0138】
他の一実施形態として、前記方法は、前記ＡＦモードが行われるか否かを示す予測モード又はフラグ情報をシグナリングすることができる。
【0139】
この場合、前記ビデオ信号処理装置は、前記予測モード又はフラグ情報を受信し、前記予測モード又は前記フラグ情報によって前記ＡＦモードを行い、前記ＡＦモードによって動きベクトルを誘導することができる。ここで、前記ＡＦモードは、前記現在ブロックの制御点動きベクトルを用いてピクセル又はサブブロック単位で動きベクトルを誘導するモードを示すことを特徴とする。
【0140】
一方、前記ビデオ信号処理装置は、前記動きベクトル対の発散値（ｄｉｖｅｒｇｅｎｃｅ ｖａｌｕｅ）に基づいて既に設定された個数の動きベクトル対の最終候補リストを決定する（Ｓ１０２０）。ここで、前記最終候補リストは、発散値が小さい順に決定され、前記発散値は、動きベクトルの方向の類似性を示す値を意味する。
【0141】
前記ビデオ信号処理装置は、前記最終候補リストからレート歪みコスト（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ）に基づいて前記現在ブロックの制御点動きベクトルを決定する（Ｓ１０３０）。
【0142】
前記ビデオ信号処理装置は、前記制御点動きベクトルに基づいて前記現在ブロックの動きベクトル予測子を生成する（Ｓ１０４０）。
【0143】
図１１は、本発明が適用される実施形態（１－１）として、ＡＦ４モード又はＡＦ６モードの少なくとも１つに基づいて最適のコーディングモードを適応的に決定するフローチャートを示す。
【0144】
ビデオ信号処理装置は、スキップモード、マージモード、又はインターモードの少なくとも１つに基づいて予測を行う（Ｓ１１１０）。ここで、マージモードは一般的なマージモードだけでなく前述したＡＦマージモードを含んでもよく、インターモードは一般的なインターモードだけでなく前述したＡＦインターモードを含んでもよい。
【0145】
前記ビデオ信号処理装置は、ＡＦ４モード又はＡＦ６モードの少なくとも１つに基づいて動きベクトル予測を行う（Ｓ１１２０）。ここで、前記Ｓ１１１０ステップと前記Ｓ１１２０ステップはその順序に制限されない。
【0146】
前記ビデオ信号処理装置は、前記Ｓ１１２０ステップの結果を比較して、前記モードのうち最適のコーディングモードを決定する（Ｓ１１３０）。ここで、前記Ｓ１１２０ステップの結果はレート歪みコスト（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ）に基づいて比較される。
【0147】
以後、前記ビデオ信号処理装置は、最適のコーディングモードに基づいて現在ブロックの動きベクトル予測子を生成し、前記現在ブロックの動きベクトルから前記動きベクトル予測子を減算して動きベクトル差分値を取得する。
【0148】
【0149】
図１２は、本発明が適用される実施形態（１－２）として、ＡＦ４モード又はＡＦ６モードに基づいて適応的にデコードを行うフローチャートを示す。
【0150】
デコーダは、ビットストリームを受信する（Ｓ１２１０）。前記ビットストリームは、ビデオ信号内の現在ブロックのコーディングモードに関する情報を含む。
【0151】
前記デコーダは、前記現在ブロックのコーディングモードがＡＦモードであるか否かを確認する（Ｓ１２２０）。ここで、前記ＡＦモードは、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を利用するアフィン動き予測モードを意味し、例えば、アフィンマージモード（ａｆｆｉｎｅ ｍｅｒｇｅ ｍｏｄｅ）又はアフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ）の少なくとも１つを含んでもよく、前記アフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ）はＡＦ４モード又はＡＦ６モードの少なくとも１つを含んでもよい。
【0152】
ここで、前記Ｓ１２２０ステップは、ＡＦモードが行われるか否かを示すアフィンフラグにより確認される。例えば、前記アフィンフラグはａｆｆｉｎｅ＿ｆｌａｇと表現されることができる。前記ａｆｆｉｎｅ＿ｆｌａｇ＝１であると、現在ブロックに対してＡＦモードが行われることを示し、前記ａｆｆｉｎｅ＿ｆｌａｇ＝０であると、現在ブロックに対してＡＦモードが行われないことを示す。
【0153】
現在ブロックに対してＡＦモードが行われない場合、前記デコーダは、前記ＡＦモードではないコーディングモードによってデコード（すなわち、動きベクトル予測）を行う（Ｓ１２３０）。例えば、スキップモード、マージモード又はインターモードが利用されてもよい。
【0154】
現在ブロックに対してＡＦモードが行われる場合、前記デコーダは、前記現在ブロックに対してＡＦ４モードが適用されるか否かを確認する（Ｓ１２４０）。
【0155】
ここで、前記Ｓ１２４０ステップは、ＡＦ４モードが行われるか否か（又は、４つのパラメータによりアフィン動き予測が行われるか否か）を示すアフィンパラメータフラグによって確認できる。例えば、前記アフィンパラメータフラグは、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇと表現される。前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０であると、ＡＦ４モードによって動きベクトル予測が行われ（Ｓ１２５０）、前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１であると、ＡＦ６モードによって動きベクトル予測が行われることを意味するが、（Ｓ１２６０）、本発明はこれに限定されない。
【0156】
例えば、前記アフィンパラメータフラグはＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇの少なくとも１つを含む。
【0157】
ＡＦ４＿ｆｌａｇは現在ブロックに対してＡＦ４モードが行われるか否かを示す。ＡＦ４＿ｆｌａｇ＝１であると、現在ブロックに対してＡＦ４モードが行われ、ＡＦ４＿ｆｌａｇ＝０であると、現在ブロックに対してＡＦ４モードが行われない。ここで、ＡＦ４モードが行われるということは４つのパラメータで表現されるアフィン動きモデルを利用して動きベクトル予測を行うことを意味する。
【0158】
ＡＦ６＿ｆｌａｇは現在ブロックに対してＡＦ６モードが行われるか否かを示す。ＡＦ６＿ｆｌａｇ＝１であると、現在ブロックに対してＡＦ６モードが行われ、ＡＦ４＿ｆｌａｇ＝０であると、現在ブロックに対してＡＦ６モードが行われない。ここで、ＡＦ６モードが行われるということは、４つのパラメータで表現されるアフィン動きモデルを利用して動きベクトル予測を行うことを意味する。
【0159】
前記アフィンフラグ及び前記アフィンパラメータフラグは、スライス、最大コーディングユニット、コーディングユニット又は予測ユニットの少なくとも１つのレベルにおいて定義できる。
【0160】
例えば、ＡＦ＿ｆｌａｇ、ＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇの少なくとも１つはスライスレベルにおいて定義され、またブロックレベル又は予測ユニットレベルにおいて定義されることができる。
【0161】
図１３は、本発明が適用される実施形態（１－３）として、ＡＦ４モード又はＡＦ６モードに基づいてデコードを行うシンタックス構造を示す。
【0162】
デコーダは、ｍｅｒｇｅ＿ｆｌａｇを取得して、現在ブロックに対してマージモードが適用されるか否かを確認する（Ｓ１３１０）。
【0163】
前記現在ブロックに対してマージモードが適用されない場合、前記デコーダはａｆｆｉｎｅ＿ｆｌａｇを取得することができる（Ｓ１３２０）。ここで、ａｆｆｉｎｅ＿ｆｌａｇはＡＦモードが行われるか否かを示す。
【0164】
前記ａｆｆｉｎｅ＿ｆｌａｇ＝１であると、すなわち、現在ブロックに対してＡＦモードが行われると、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを取得することができる（Ｓ１３３０）。ここで、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇはＡＦ４モードが行われるか否か（又は、４つのパラメータによりアフィン動き予測が行われるか否か）を示す。
【0165】
前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０であると、すなわち、ＡＦ４モードによって動きベクトル予測が行われると、前記デコーダは、２つの動きベクトル差分値である、ｍｖｄ＿ＣＰ０及びｍｖｄ＿ＣＰ１を取得することができる（Ｓ１３４０）。ここで、ｍｖｄ＿ＣＰ０は制御点０に対する動きベクトル差分値を示し、ｍｖｄ＿ＣＰ１は制御点１に対する動きベクトル差分値を示す。
【0166】
そして、前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１であると、すなわち、ＡＦ６モードによって動きベクトル予測が行われると、前記デコーダは、３つの動きベクトル差分値である、ｍｖｄ＿ＣＰ０、ｍｖｄ＿ＣＰ１及びｍｖｄ＿ＣＰ２を取得することができる（Ｓ１３５０）。
【0167】
図１４は、本発明が適用される実施形態（２－１）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）に基づいてＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを適応的に決定するフローチャートを示す。
【0168】
エンコーダは、スキップモード、マージモード、又はインターモードの少なくとも１つに基づいて予測を行う（Ｓ１４１０）。
【0169】
前記エンコーダは、動きベクトル予測のための最適のコーディングモードを決定するために、現在ブロックに対して条件Ａが満足するか否かを確認する（Ｓ１４２０）。
【0170】
ここで、前記条件Ａは、ブロックサイズに対する条件を意味する。例えば、次の表１の実施形態が適用できる。
【0171】
【表1】
【0172】
前記表１のＥｘａｍｐｌｅ １において、前記条件Ａは前記現在ブロックのピクセル数（ｐｉｘＮｕｍ）が閾値（ＴＨ１）より大きいか否かを示す。ここで、前記閾値は６４、１２８、２５６、５１２、１０２４、・・・などの値を有し、例えば、ＴＨ１＝６４はブロックサイズが４×１６、８×８又は１６×４である場合を意味し、ＴＨ１＝１２８はブロックサイズが３２×４、１６×８、８×１６又は４×３２である場合を意味する。
【0173】
Ｅｘａｍｐｌｅ ２の場合、前記現在ブロックの幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）が両方とも閾値（ＴＨ１）より大きいか否かを示す。
【0174】
Ｅｘａｍｐｌｅ ３の場合、前記現在ブロックの幅（ｗｉｄｔｈ）が閾値（ＴＨ１）より大きいか、又は前記現在ブロックの高さ（ｈｅｉｇｈｔ）が閾値（ＴＨ１）より大きいかを示す。
【0175】
前記条件Ａが満足される場合、前記エンコーダは、ＡＦ４モード又はＡＦ６モードの少なくとも１つに基づいて動きベクトル予測を行う（Ｓ１４３０）。
【0176】
前記エンコーダは、前記Ｓ１４１０及び前記Ｓ１４３０ステップの結果を比較して、ＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを決定する（Ｓ１４４０）。
【0177】
一方、前記条件Ａが満足されない場合、前記エンコーダは、ＡＦモードではないモードのうち最適のコーディングモードを決定する（Ｓ１４４０）。
【0178】
以後、前記エンコーダは、最適のコーディングモードに基づいて現在ブロックの動きベクトル予測子を生成し、前記現在ブロックの動きベクトルから前記動きベクトル予測子を減算して動きベクトル差分値を取得することができる。
【0179】
【0180】
図１５は、本発明が適用される実施形態（２－２）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）に基づいてＡＦ４モード又はＡＦ６モードによって適応的にデコードを行うフローチャートを示す。
【0181】
デコーダは、ビットストリームを受信する（Ｓ１５１０）。前記ビットストリームは、ビデオ信号及び現在ブロックのコーディングモードに関する情報を含む。
【0182】
前記デコーダは、動きベクトル予測のための最適のコーディングモードを決定するために、現在ブロックに対して条件Ａが満足するか否かを確認する（Ｓ１５２０）。ここで、前記条件Ａは、ブロックサイズに対する条件を意味する。例えば、表１の実施形態が適用されることができる。
【0183】
前記条件Ａが満足される場合、前記デコーダは、前記現在ブロックのコーディングモードがＡＦモードであるか否かを確認する（Ｓ１５３０）。ここで、前記ＡＦモードは、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を用いるアフィン動き予測モードを意味し、本明細書で説明した実施形態が適用されることができる。
【0184】
ここで、前記Ｓ１５３０ステップは、ＡＦモードが行われるか否かを示すアフィンフラグにより確認されることができる。例えば、前記アフィンフラグはａｆｆｉｎｅ＿ｆｌａｇと表現される。前記ａｆｆｉｎｅ＿ｆｌａｇ＝１であると、現在ブロックに対してＡＦモードが行われることを示し、前記ａｆｆｉｎｅ＿ｆｌａｇ＝０であると、現在ブロックに対してＡＦモードが行われないことを示す。
【0185】
前記条件Ａが満足されない場合であるか、前記現在ブロックに対してＡＦモードが行われない場合、前記デコーダは、前記ＡＦモードではないコーディングモードによってデコード（すなわち、動きベクトル予測）を行うことができる（Ｓ１５４０）。例えば、スキップモード、マージモード又はインターモードが利用される。
【0186】
前記現在ブロックに対してＡＦモードが行われる場合、前記デコーダは、前記現在ブロックに対してＡＦ４モードが適用されるか否かを確認する（Ｓ１５５０）。
【0187】
ここで、前記Ｓ１５５０ステップはＡＦ４モードが行われるか否か（又は、４つのパラメータによりアフィン動き予測が行われるか否か）を示すアフィンパラメータフラグにより確認できる。例えば、前記アフィンパラメータフラグはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇと表現できる。前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０であると、ＡＦ４モードによって動きベクトル予測が行われ（Ｓ１５６０）、前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１であると、ＡＦ６モードによって動きベクトル予測が行われることを意味するが（Ｓ１５７０）、本発明はこれに限定されない。
【0188】
図１６は、本発明が適用される実施形態（２－３）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）に基づいてＡＦ４モード又はＡＦ６モードによってデコードを行うシンタックス構造を示す。
【0189】
デコーダは、ｍｅｒｇｅ＿ｆｌａｇを取得して、現在ブロックに対してマージモードが適用されるか否かを確認する（Ｓ１６１０）。
【0190】
前記現在ブロックに対してマージモードが適用されない場合、前記デコーダは、条件Ａが満足されるか否かを確認する（Ｓ１６２０）。ここで、前記条件Ａは、ブロックサイズに対する条件を意味する。例えば、前記表１の実施形態が適用されることができる。
【0191】
前記条件Ａが満足される場合、前記デコーダはａｆｆｉｎｅ＿ｆｌａｇを取得することができる（Ｓ１６２０）。ここで、ａｆｆｉｎｅ＿ｆｌａｇはＡＦモードが行われるか否かを示す。
【0192】
前記ａｆｆｉｎｅ＿ｆｌａｇ＝１であると、すなわち、現在ブロックに対してＡＦモードが行われると、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを取得できる（Ｓ１６３０）。ここで、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇはＡＦ４モードが行われるか否か（又は、４つのパラメータによりアフィン動き予測が行われるか否か）を示す。
【0193】
前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０であると、すなわち、ＡＦ４モードによって動きベクトル予測が行われると、前記デコーダは２つの動きベクトル差分値である、ｍｖｄ＿ＣＰ０及びｍｖｄ＿ＣＰ１を取得できる（Ｓ１６４０）。ここで、ｍｖｄ＿ＣＰ０は制御点０に対する動きベクトル差分値を示し、ｍｖｄ＿ＣＰ１は制御点１に対する動きベクトル差分値を示す。
【0194】
そして、前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１であると、すなわち、ＡＦ６モードによって動きベクトル予測が行われると、前記デコーダは３つの動きベクトル差分値である、ｍｖｄ＿ＣＰ０、ｍｖｄ＿ＣＰ１及びｍｖｄ＿ＣＰ２を取得できる（Ｓ１６５０）。
【0195】
図１７は、本発明が適用される実施形態（３－１）として、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを適応的に決定するフローチャートを示す。
【0196】
本発明は、現在ブロックのサイズに基づいてＡＦ４モードとＡＦ６モードを適応的に選択する方法を提供する。
【0197】
例えば、ＡＦ６モードはＡＦ４モードより追加的に１つの動きベクトル差分値を送信するので、相対的に大きなブロックにおいては効果的である。従って、現在ブロックのサイズが既に設定されたサイズより小さい（又は、小さいか等しい）場合、ＡＦ４モードのみを考慮してエンコードを行い、前記現在ブロックが既に設定されたサイズより大きいか等しい（又は、大きい）場合、ＡＦ６モードのみを考慮してエンコードを行う。
【0198】
一方、ＡＦ４モード又はＡＦ６モードのうち明確に１つのみが有利であると判断されない領域の場合は、ＡＦ４モード及びＡＦ６モードを両方とも考慮し、このうち最適のモードのみをシグナリングすることができる。
【0199】
図１７に示すように、エンコーダは、スキップモード、マージモード、又はインターモードの少なくとも１つに基づいて予測を行う（Ｓ１７１０）。
【0200】
前記エンコーダは、現在ブロックに対して条件Ｂが満足するか否かを確認する（Ｓ１７２０）。ここで、前記条件Ｂはブロックサイズに対する条件を意味する。例えば、次の表２の実施形態が適用されることができる。
【0201】
【表2】
【0202】
前記表２のＥｘａｍｐｌｅ １において、前記条件Ｂは、前記現在ブロックのピクセル数（ｐｉｘＮｕｍ）が閾値（ＴＨ２）より小さいか否かを示す。ここで、前記閾値は６４、１２８、２５６、５１２、１０２４、・・・などの値を有し、例えば、ＴＨ２＝６４はブロックサイズが４×１６、８×８、又は１６×４である場合を意味し、ＴＨ２＝１２８はブロックサイズが３２×４、１６×８、８×１６又は４×３２である場合を意味する。
【0203】
Ｅｘａｍｐｌｅ ２の場合、前記条件Ｂは、前記現在ブロックの幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）が両方とも閾値（ＴＨ２）より小さいか否かを示す。
【0204】
Ｅｘａｍｐｌｅ ３の場合、前記条件Ｂは、現在ブロックの幅（ｗｉｄｔｈ）が閾値（ＴＨ２）より小さいか、又は前記現在ブロックの高さ（ｈｅｉｇｈｔ）が閾値（ＴＨ２）より小さいかを示す。
【0205】
前記条件Ｂが満足される場合、前記エンコーダはＡＦ４モードに基づいて動きベクトル予測を行う（Ｓ１７３０）。
【0206】
前記条件Ｂが満足されない場合、前記エンコーダは、前記現在ブロックに対して条件Ｃが満足するか否かを確認する（Ｓ１７４０）。ここで、前記条件Ｃはブロックサイズに対する条件を意味する。例えば、次の表３の実施形態が適用されることができる。
【0207】
【表3】
【0208】
前記表３のＥｘａｍｐｌｅ １において、前記条件Ａは、前記現在ブロックのピクセル数（ｐｉｘＮｕｍ）が閾値（ＴＨ３）より大きいか等しいか否かを示す。ここで、前記閾値は６４、１２８、２５６、５１２、１０２４、・・・などの値を有し、例えば、ＴＨ３＝６４はブロックサイズが４×１６、８×８、または１６×４である場合を意味し、ＴＨ３＝１２８はブロックサイズが３２×４、１６×８、８×１６又は４×３２である場合を意味する。
【0209】
Ｅｘａｍｐｌｅ ２の場合、前記現在ブロックの幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）が両方とも閾値（ＴＨ３）より大きいか等しいか否かを示す。
【0210】
Ｅｘａｍｐｌｅ ３の場合、前記現在ブロックの幅（ｗｉｄｔｈ）が閾値（ＴＨ１）より大きいか等しいか、又は前記現在ブロックの高さ（ｈｅｉｇｈｔ）が閾値（ＴＨ１）より大きいか等しいかを示す。
【0211】
前記条件Ｃが満足される場合、前記エンコーダはＡＦ６モードに基づいて動きベクトル予測を行う（Ｓ１７６０）。
【0212】
前記条件Ｃが満足されない場合、前記エンコーダは、ＡＦ４モード及びＡＦ６モードに基づいて動きベクトル予測を行うことができる（Ｓ１７５０）。
【0213】
一方、前記条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）及び前記条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）において、閾値（ＴＨ２）と閾値（ＴＨ３）は次の数式５を満足するように決定されることができる。
【0214】
[数５]
TH_2 ≦ TH_3
TH_2 ≦ TH_3
【0215】
前記エンコーダは、前記Ｓ１７１０、Ｓ１７３０、Ｓ１７５０、Ｓ１７６０ステップの結果を比較して、ＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを決定する（Ｓ１７７０）。
【0216】
以後、前記エンコーダは、最適のコーディングモードに基づいて現在ブロックの動きベクトル予測子を生成し、前記現在ブロックの動きベクトルから前記動きベクトル予測子を減算して動きベクトル差分値を取得できる。
【0217】
【0218】
図１８は、本発明が適用される実施形態（３－２）として、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードによって適応的にデコードを行うフローチャートを示す。
【0219】
デコーダは、現在ブロックのコーディングモードがＡＦモードであるか否かを確認する（Ｓ１８１０）。ここで、前記ＡＦモードは、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を用いるアフィン動き予測モードを意味し、本明細書で説明した実施形態が適用されることができ、重複する説明は省略する。
【0220】
前記現在ブロックに対してＡＦモードが行われる場合、前記デコーダは、前記現在ブロックに対して条件Ｂが満足するか否かを確認する（Ｓ１８２０）。ここで、前記条件Ｂは、ブロックサイズに対する条件を意味する。例えば、前記表２の実施形態が適用されることができ、重複される説明は省略する。
【0221】
前記条件Ｂが満足される場合、前記デコーダは、ＡＦ４モードに基づいて動きベクトル予測を行う（Ｓ１８３０）。
【0222】
前記条件Ｂが満足されない場合、前記デコーダは、前記現在ブロックに対して条件Ｃが満足するか否かを確認する（Ｓ１８４０）。ここで、前記条件Ｃは、ブロックサイズに対する条件を意味する。例えば、前記表３の実施形態が適用されることができ、重複される説明は省略する。
【0223】
一方、前記条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）及び前記条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）において、閾値（ＴＨ２）と閾値（ＴＨ３）は前記数式５を満足するように決定されることができる。
【0224】
前記条件Ｃが満足される場合、前記デコーダは、ＡＦ６モードに基づいて動きベクトル予測を行う（Ｓ１８６０）。
【0225】
前記条件Ｃが満足されない場合、前記デコーダは、前記現在ブロックに対してＡＦ４モードが適用されるか否かを確認する（Ｓ１８５０）。
【0226】
ここで、前記Ｓ１８５０ステップは、ＡＦ４モードが行われるか否か（又は、４つのパラメータによりアフィン動き予測が行われるか否か）を示すアフィンパラメータフラグにより確認されることができる。
【0227】
例えば、前記アフィンパラメータフラグはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇで表現できる。前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０であると、ＡＦ４モードによって動きベクトル予測が行われ（Ｓ１８３０）、前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１であると、ＡＦ６モードによって動きベクトル予測が行われることを意味するが（Ｓ１８６０）、本発明はこれに限定されない。
【0228】
一方、前記現在ブロックに対してＡＦモードが行われない場合、前記デコーダは、前記ＡＦモードではないコーディングモードによってデコード（すなわち、動きベクトル予測）を行う（Ｓ１８７０）。例えば、スキップモード、マージモード又はインターモードが利用されることができる。
【0229】
図１９は、本発明が適用される実施形態（３－３）として、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードによってデコードを行うシンタックス構造を示す。
【0230】
デコーダは、ｍｅｒｇｅ＿ｆｌａｇを取得して、現在ブロックに対してマージモードが適用されるか否かを確認する（Ｓ１９１０）。
【0231】
前記現在ブロックに対してマージモードが適用されない場合、前記デコーダはａｆｆｉｎｅ＿ｆｌａｇを取得する（Ｓ１９２０）。ここで、ａｆｆｉｎｅ＿ｆｌａｇはＡＦモードが行われるか否かを示す。
【0232】
前記ａｆｆｉｎｅ＿ｆｌａｇ＝１であると、すなわち、現在ブロックに対してＡＦモードが行われると、前記デコーダは条件Ｂが満足するか否かを確認する（Ｓ１６２０）。ここで、前記条件Ｂはブロックサイズに対する条件を意味する。例えば、前記表２の実施形態が適用されることができる。
【0233】
前記条件Ｂが満足される場合、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを０に設定する（Ｓ１９３０）。ここで、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇはＡＦ４モードが行われるか否か（又は、４つのパラメータによりアフィン動き予測が行われるか否か）を示す。ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０は、ＡＦ４モードによって動きベクトル予測を行うことを意味する。
【0234】
前記条件Ｂが満足されずに条件Ｃが満足される場合、前記デコーダは、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを１に設定する（Ｓ１９４０）。ここで、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１は、ＡＦ６モードによって動きベクトル予測を行うことを意味する。
【0235】
それに対して、前記条件Ｂが満足されずに前記条件Ｃも満足されない場合、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを取得できる（Ｓ１９５０）。
【0236】
前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０であると、前記デコーダは、２つの動きベクトル差分値である、ｍｖｄ＿ＣＰ０及びｍｖｄ＿ＣＰ１を取得できる（Ｓ１９６０）。
【0237】
前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１であると、前記デコーダは、３つの動きベクトル差分値である、ｍｖｄ＿ＣＰ０、ｍｖｄ＿ＣＰ１及びｍｖｄ＿ＣＰ２を取得できる（Ｓ１９７０）。
【0238】
図２０は、本発明が適用される実施形態（４－１）として、隣接ブロックのコーディングモードに基づいてＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを適応的に決定するフローチャートを示す。
【0239】
エンコーダは、スキップモード、マージモード、又はインターモードの少なくとも１つに基づいて予測を行う（Ｓ２０１０）。
【0240】
前記エンコーダは、隣接ブロックがＡＦモードでコーディングされたか否かを確認する（Ｓ２０２０）。ここで、隣接ブロックがＡＦモードでコーディングされたか否かは、ｉｓＮｅｉｇｈｂｏｒＡｆｆｉｎｅ（）で表現できる。例えば、ｉｓＮｅｉｇｈｂｏｒＡｆｆｉｎｅ（）＝０であると、隣接ブロックはＡＦモードでコーディングされていない場合を意味し、ｉｓＮｅｉｇｈｂｏｒＡｆｆｉｎｅ（）＝１であると、隣接ブロックはＡＦモードでコーディングされた場合を意味する。
【0241】
前記隣接ブロックがＡＦモードでコーディングされていない場合、前記エンコーダは、ＡＦ４モードに基づいて動きベクトル予測を行う（Ｓ２０３０）。
【0242】
前記隣接ブロックがＡＦモードでコーディングされた場合、前記エンコーダは、ＡＦ４モードに基づいて動きベクトル予測を行い、ＡＦ６モードに基づいても動きベクトル予測を行う（Ｓ２０４０）。
【0243】
前記エンコーダは、前記Ｓ２０３０及び前記Ｓ２０４０ステップの結果を比較して、ＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを決定する（Ｓ２０５０）。
【0244】
以後、前記エンコーダは、最適なコーディングモードに基づいて現在ブロックの動きベクトル予測子を生成し、前記現在ブロックの動きベクトルから前記動きベクトル予測子を減算して動きベクトル差分値を取得できる。
【0245】
【0246】
図２１は、本発明が適用される実施形態（４－２）として、隣接ブロックのコーディングモードに基づいてＡＦ４モード又はＡＦ６モードによって適応的にデコードを行うフローチャートを示す。
【0247】
デコーダは、ビットストリームを受信することができる（Ｓ２１１０）。前記ビットストリームは、ビデオ信号内の現在ブロックのコーディングモードに関する情報を含む。
【0248】
前記デコーダは、前記現在ブロックのコーディングモードがＡＦモードであるか否かを確認する（Ｓ２１２０）。
【0249】
前記現在ブロックに対してＡＦモードが行われない場合、前記デコーダは、前記ＡＦモードではないコーディングモードによってデコード（すなわち、動きベクトル予測）を行う（Ｓ２１７０）。例えば、スキップモード、マージモード又はインターモードが利用されることができる。
【0250】
現在ブロックに対してＡＦモードが行われる場合、前記デコーダは、隣接ブロックがＡＦモードでコーディングされたか否かを確認する（Ｓ２１３０）。ここで、隣接ブロックがＡＦモードでコーディングされたか否かは、ｉｓＮｅｉｇｈｂｏｒＡｆｆｉｎｅ（）で表現できる。例えば、ｉｓＮｅｉｇｈｂｏｒＡｆｆｉｎｅ（）＝０であると、隣接ブロックはＡＦモードでコーディングされていない場合を意味し、ｉｓＮｅｉｇｈｂｏｒＡｆｆｉｎｅ（）＝１であると、隣接ブロックはＡＦモードでコーディングされた場合を意味する。
【0251】
前記隣接ブロックがＡＦモードでコーディングされた場合、前記デコーダはＡＦ４モードに基づいて動きベクトル予測を行う（Ｓ２１４０）。
【0252】
前記隣接ブロックがＡＦモードでコーディングされていない場合、前記デコーダは前記現在ブロックに対してＡＦ４モードが適用されるか否かを確認する（Ｓ２１５０）。
【0253】
ここで、前記Ｓ２１５０ステップは、ＡＦ４モードが行われるか否か（又は、４つのパラメータによりアフィン動き予測が行われるか否か）を示すアフィンパラメータフラグにより確認されることができる。例えば、前記アフィンパラメータフラグはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇで表現できる。前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０であると、ＡＦ４モードによって動きベクトル予測が行われ（Ｓ２１４０）、前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１であると、ＡＦ６モードによって動きベクトル予測が行われる（Ｓ２１６０）。
【0254】
図２２は、本発明が適用される実施形態（４－３）として、隣接ブロックのコーディングモードに基づいてＡＦ４モード又はＡＦ６モードによってデコードを行うシンタックス構造を示す。
【0255】
デコーダは、ｍｅｒｇｅ＿ｆｌａｇを取得して、現在ブロックに対してマージモードが適用されるか否かを確認する（Ｓ２２１０）。
【0256】
前記現在ブロックに対してマージモードが適用されない場合、前記デコーダはａｆｆｉｎｅ＿ｆｌａｇを取得できる（Ｓ２２２０）。ここで、ａｆｆｉｎｅ＿ｆｌａｇはＡＦモードが行われるか否かを示す。
【0257】
前記ａｆｆｉｎｅ＿ｆｌａｇ＝１であると、すなわち、現在ブロックに対してＡＦモードが行われると、前記デコーダは隣接ブロックがＡＦモードでコーディングされたか否かを確認する（Ｓ２２３０）。
【0258】
隣接ブロックがＡＦモードでコーディングされた場合、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを取得できる（Ｓ２２３０）。ここで、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇはＡＦ４モードが行われるか否か（又は、４つのパラメータによりアフィン動き予測が行われるか否か）を示す。
【0259】
隣接ブロックがＡＦモードでコーディングされていない場合、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを０に設定する（Ｓ２２４０）。
【0260】
前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０であると、すなわち、ＡＦ４モードによって動きベクトル予測が行われると、前記デコーダは２つの動きベクトル差分値である、ｍｖｄ＿ＣＰ０及びｍｖｄ＿ＣＰ１を取得できる（Ｓ２２５０）。
【0261】
そして、前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１であると、すなわち、ＡＦ６モードによって動きベクトル予測が行われると、前記デコーダは３つの動きベクトル差分値である、ｍｖｄ＿ＣＰ０、ｍｖｄ＿ＣＰ１及びｍｖｄ＿ＣＰ２を取得できる（Ｓ２２６０）。
【0262】
図２３は、本発明が適用される実施形態（５－１）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを適応的に決定するフローチャートを示す。
【0263】
本発明は、実施形態２と実施形態３を組み合わせる実施形態を示す。図２３では条件Ａ、Ｂ、Ｃを全て考慮した場合の一例を説明し、条件の順序は異なるように適用可能である。
【0264】
図２３に示すように、エンコーダはスキップモード、マージモード、又はインターモードの少なくとも１つに基づいて予測を行う（Ｓ２３１０）。
【0265】
前記エンコーダは、現在ブロックに対して条件Ａが満足するか否かを確認する（Ｓ２３２０）。ここで、前記条件Ａはブロックサイズに対する条件を意味し、前記表１の実施形態が適用されることができる。
【0266】
前記条件Ａが満足される場合、前記エンコーダは、ＡＦモードを除いたモードのうち最適のコーディングモードを決定する（Ｓ２３８０）。
【0267】
一方、前記条件Ａが満足されない場合、前記エンコーダは、前記現在ブロックに対して条件Ｂが満足するか否かを確認する（Ｓ２３３０）。ここで、前記条件Ｂはブロックサイズに対する条件を意味し、前記表２の実施形態が適用されることができる。
【0268】
前記条件Ｂが満足される場合、前記エンコーダはＡＦ４モードに基づいて動きベクトル予測を行う（Ｓ２３４０）。
【0269】
前記条件Ｂが満足されない場合、前記エンコーダは、前記現在ブロックに対して条件Ｃが満足するか否かを確認する（Ｓ２３５０）。ここで、前記条件Ｃはブロックサイズに対する条件を意味し、前記表３の実施形態が適用されることができる。
【0270】
前記条件Ｃが満足される場合、前記エンコーダはＡＦ６モードに基づいて動きベクトル予測を行う（Ｓ２３７０）。
【0271】
前記条件Ｃが満足されない場合、前記エンコーダはＡＦ４モードに基づいて動きベクトル予測を行い、また、ＡＦ６モードに基づいて動きベクトル予測を行う（Ｓ２３６０）。
【0272】
一方、前記条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）及び前記条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）において、閾値（ＴＨ２）と閾値（ＴＨ３）は前記数式５を満足するように決定されることができる。
【0273】
前記エンコーダは、前記Ｓ２３１０、Ｓ２３４０、Ｓ２３６０、Ｓ２３７０ステップの結果を比較して、最適のコーディングモードを決定する（Ｓ２３８０）。
【0274】
以後、前記エンコーダは、最適のコーディングモードに基づいて現在ブロックの動きベクトル予測子を生成し、前記現在ブロックの動きベクトルから前記動きベクトル予測子を減算して動きベクトル差分値を取得できる。
【0275】
【0276】
図２４は、本発明が適用される実施形態（５－２）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードによって適応的にデコードを行うフローチャートを示す。
【0277】
デコーダは、現在ブロックに対して条件Ａが満足するか否かを確認する（Ｓ２４１０）。ここで、前記条件Ａはブロックサイズに対する条件を意味する。例えば、前記表１の実施形態が適用されることができる。
【0278】
前記条件Ａが満足される場合、前記デコーダは前記現在ブロックのコーディングモードがＡＦモードであるか否かを確認する（Ｓ２４２０）。ここで、前記ＡＦモードは、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を用いるアフィン動き予測モードを意味し、本明細書で説明した実施形態が適用され、重複する説明は省略する。
【0279】
前記条件Ａが満足されない場合であるか、前記現在ブロックに対してＡＦモードが行われない場合、前記デコーダは前記ＡＦモードではないコーディングモードによってデコード（すなわち、動きベクトル予測）を行う（Ｓ２４８０）。例えば、スキップモード、マージモード又はインターモードが利用されることができる。
【0280】
前記現在ブロックに対してＡＦモードが行われる場合、前記デコーダは前記現在ブロックに対して条件Ｂが満足するか否かを確認する（Ｓ２４３０）。ここで、前記条件Ｂは、ブロックサイズに対する条件を意味する。例えば、前記表２の実施形態が適用されることができ、重複される説明は省略する。
【0281】
前記条件Ｂが満足される場合、前記デコーダはＡＦ４モードに基づいて動きベクトル予測を行う（Ｓ２４４０）。
【0282】
前記条件Ｂが満足されない場合、前記デコーダは前記現在ブロックに対して条件Ｃが満足するか否かを確認する（Ｓ２４５０）。ここで、前記条件Ｃはブロックサイズに対する条件を意味する。例えば、前記表３の実施形態が適用されることができ、重複される説明は省略する。
【0283】
一方で、前記条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）及び前記条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）において、閾値（ＴＨ２）と閾値（ＴＨ３）は前記数式５を満足するように決定されることができる。
【0284】
前記条件Ｃが満足される場合、前記デコーダはＡＦ６モードに基づいて動きベクトル予測を行う（Ｓ２４７０）。
【0285】
前記条件Ｃが満足されない場合、前記デコーダは前記現在ブロックに対してＡＦ４モードが適用されるか否かを確認する（Ｓ２４６０）。
【0286】
ここで、前記Ｓ２４６０ステップはＡＦ４モードが行われるか否か（又は、４つのパラメータによりアフィン動き予測が行われるか否か）を示すアフィンパラメータフラグにより確認されることができる。
【0287】
例えば、前記アフィンパラメータフラグはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇで表現できる。前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０であると、ＡＦ４モードによって動きベクトル予測が行われ（Ｓ２４４０）、前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１であると、ＡＦ６モードによって動きベクトル予測が行われることを意味するが（Ｓ２４７０）、本発明はこれに限定されない。
【0288】
図２５は、本発明が適用される実施形態（５－３）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）、条件Ｂ（ｃｏｎｄｉｔｉｏｎ Ｂ）又は条件Ｃ（ｃｏｎｄｉｔｉｏｎ Ｃ）の少なくとも１つに基づいて、ＡＦ４モード又はＡＦ６モードによってデコードを行うシンタックス構造を示す。
【0289】
デコーダは、ｍｅｒｇｅ＿ｆｌａｇを取得して、現在ブロックに対してマージモードが適用されるか否かを確認する（Ｓ２５１０）。
【0290】
前記現在ブロックに対してマージモードが適用されない場合、前記デコーダは条件Ａが満足するか否かを確認する（Ｓ２５２０）。ここで、前記条件Ａは、ブロックサイズに対する条件を意味する。例えば、前記表１の実施形態が適用されることができる。
【0291】
前記条件Ａが満足される場合、前記デコーダはａｆｆｉｎｅ＿ｆｌａｇを取得できる（Ｓ２５２０）。ここで、ａｆｆｉｎｅ＿ｆｌａｇはＡＦモードが行われるか否かを示す。
【0292】
前記ａｆｆｉｎｅ＿ｆｌａｇ＝１であると、すなわち、現在ブロックに対してＡＦモードが行われると、前記デコーダは条件Ｂが満足するか否かを確認する（Ｓ２５３０）。ここで、前記条件Ｂはブロックサイズに対する条件を意味する。例えば、前記表２の実施形態が適用されることができる。
【0293】
前記条件Ｂが満足される場合、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを０に設定する（Ｓ２５４０）。ここで、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇはＡＦ４モードが行われるか否か（又は、４つのパラメータによりアフィン動き予測が行われるか否か）を示す。ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０は、ＡＦ４モードによって動きベクトル予測を行うことを意味する。
【0294】
前記条件Ｂが満足されずに条件Ｃが満足される場合、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを１に設定する（Ｓ２５５０）。ここで、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１は、ＡＦ６モードによって動きベクトル予測を行うことを意味する。
【0295】
それに対して、前記条件Ｂが満足されずに前記条件Ｃも満足されない場合、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを取得できる（Ｓ２５６０）。
【0296】
前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０であると、前記デコーダは２つの動きベクトル差分値である、ｍｖｄ＿ＣＰ０及びｍｖｄ＿ＣＰ１を取得できる（Ｓ２５７０）。
【0297】
前記ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１であると、前記デコーダは３つの動きベクトル差分値である、ｍｖｄ＿ＣＰ０、ｍｖｄ＿ＣＰ１及びｍｖｄ＿ＣＰ２を取得できる（Ｓ２５８０）。
【0298】
図２６は、本発明が適用される実施形態（６－１）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）又は隣接ブロックのコーディングモードの少なくとも１つに基づいてＡＦ４モード又はＡＦ６モードを含む動きベクトル予測モードのうち最適のコーディングモードを適応的に決定するフローチャートを示す。
【0299】
エンコーダは、スキップモード、マージモード、又はインターモードの少なくとも１つに基づいて予測を行うことができる（Ｓ２６１０）。
【0300】
前記エンコーダは、現在ブロックに対して条件Ａが満足するか否かを確認する（Ｓ２６２０）。ここで、前記条件Ａはブロックサイズに対する条件を意味し、前記表１の実施形態が適用されることができる。
【0301】
前記条件Ａが満足される場合、前記エンコーダはＡＦモードを除いたモードのうち最適のコーディングモードを決定する（Ｓ２６６０）。
【0302】
一方、前記条件Ａが満足されない場合、前記エンコーダは隣接ブロックがＡＦモードでコーディングされたか否かを確認する（Ｓ２６３０）。ここで、隣接ブロックがＡＦモードでコーディングされたか否かは、ｉｓＮｅｉｇｈｂｏｒＡｆｆｉｎｅ（）で表現できる。例えば、ｉｓＮｅｉｇｈｂｏｒＡｆｆｉｎｅ（）＝０であると、隣接ブロックはＡＦモードでコーディングされていない場合を意味し、ｉｓＮｅｉｇｈｂｏｒＡｆｆｉｎｅ（）＝１であると、隣接ブロックはＡＦモードでコーディングされた場合を意味する。
【0303】
前記隣接ブロックがＡＦモードでコーディングされていない場合、前記エンコーダはＡＦ４モードに基づいて動きベクトル予測を行う（Ｓ２６４０）。
【0304】
前記隣接ブロックがＡＦモードでコーディングされた場合、前記エンコーダはＡＦ４モードに基づいて動きベクトル予測を行い、また、ＡＦ６モードに基づいて動きベクトル予測を行う（Ｓ２６５０）。
【0305】
前記エンコーダは、前記Ｓ２６１０、前記Ｓ２６４０及び前記Ｓ２６５０ステップの結果を比較して、最適のコーディングモードを決定する（Ｓ２６６０）。
【0306】
以後、前記エンコーダは最適なコーディングモードに基づいて現在ブロックの動きベクトル予測子を生成し、前記現在ブロックの動きベクトルから前記動きベクトル予測子を減算して動きベクトル差分値を取得できる。
【0307】
【0308】
図２７は、本発明が適用される実施形態（６－２）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）又は隣接ブロックのコーディングモードの少なくとも１つに基づいてＡＦ４モード又はＡＦ６モードによって適応的にデコードを行うフローチャートを示す。
【0309】
デコーダはビットストリームを受信できる（Ｓ２７１０）。前記ビットストリームは、ビデオ信号内の現在ブロックのコーディングモードに関する情報を含む。
【0310】
前記デコーダは、動きベクトル予測のための最適のコーディングモードを決定するために、現在ブロックに対して条件Ａが満足するか否かを確認する（Ｓ２７２０）。ここで、前記条件Ａはブロックサイズに対する条件を意味する。例えば、前記表１の実施形態が適用されることができる。
【0311】
前記条件Ａが満足される場合、前記デコーダは、前記現在ブロックのコーディングモードがＡＦモードであるか否かを確認する（Ｓ２７３０）。
【0312】
以下、Ｓ２７３０ステップないしＳ２７８０ステップは、図２１のＳ２１２０ステップないしＳ２１７０ステップで説明した内容が適用されることができ、重複される説明は省略する。
【0313】
図２８は、本発明が適用される実施形態（６－３）として、条件Ａ（ｃｏｎｄｉｔｉｏｎ Ａ）又は隣接ブロックのコーディングモードの少なくとも１つに基づいてＡＦ４モード又はＡＦ６モードによってデコードを行うシンタックス構造を示す。
【0314】
デコーダは、ｍｅｒｇｅ＿ｆｌａｇを取得して、現在ブロックに対してマージモードが適用されるか否かを確認する（Ｓ２８１０）。
【0315】
前記現在ブロックに対してマージモードが適用されない場合、前記デコーダは条件Ａが満足するか否かを確認する（Ｓ２８２０）。ここで、前記条件Ａはブロックサイズに対する条件を意味する。例えば、前記表１の実施形態が適用されることができる。
【0316】
前記条件Ａが満足される場合、前記デコーダはａｆｆｉｎｅ＿ｆｌａｇを取得できる（Ｓ２８２０）。ここで、ａｆｆｉｎｅ＿ｆｌａｇはＡＦモードが行われるか否かを示す。
【0317】
以下、Ｓ２８３０ステップないしＳ２８６０ステップは、図２２のＳ２２３０ステップないしＳ２２６０ステップで説明した内容が適用されることができ、重複される説明は省略する。
【0318】
図２９は、本発明が適用される実施形態として、ＡＦ４モード又はＡＦ６モードの少なくとも１つに基づいて動きベクトル予測子を生成するフローチャートを示す。
【0319】
デコーダは、現在ブロックに対してＡＦモードが適用されるか否かを確認する（Ｓ２９１０）。ここで、前記ＡＦモードは、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を用いる動き予測モードを示す。
【0320】
例えば、前記デコーダは、ビデオ信号からアフィンフラグを取得することができ、前記現在ブロックに対して前記ＡＦモードが適用されるか否かは前記アフィンフラグに基づいて確認されることができる。
【0321】
前記デコーダは、前記現在ブロックに対して前記ＡＦモードが適用される場合、ＡＦ４モードが利用されるか否かを確認する（Ｓ２９２０）。ここで、前記ＡＦ４モードは、前記アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を構成する４つのパラメータを利用して動きベクトルを予測するモードを示す。
【0322】
例えば、前記アフィンフラグによって前記現在ブロックに対して前記ＡＦモードが適用される場合、前記デコーダは、前記ビデオ信号からアフィンパラメータフラグを取得でき、前記アフィンパラメータフラグは、前記動きベクトル予測子が前記４つのパラメータを利用して生成されるか又は前記６つのパラメータを利用して生成されるかを示す。
【0323】
ここで、前記アフィンフラグ及び前記アフィンパラメータフラグは、スライス、最大コーディングユニット、コーディングユニット又は予測ユニットの少なくとも１つのレベルにおいて定義できる。
【0324】
前記デコーダは、ＡＦ４モードが利用されると、前記４つのパラメータを利用して動きベクトル予測子を生成し、ＡＦ４モードが利用されないと、前記アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を構成する６つのパラメータを利用して動きベクトル予測子を生成する（Ｓ２９３０）。
【0325】
前記デコーダは、前記動きベクトル予測子に基づいて前記現在ブロックの動きベクトルを取得できる（Ｓ２９４０）。
【0326】
一実施形態として、前記デコーダは、前記現在ブロックのサイズが既に設定された条件を満足するか否かを確認できる。その時、前記既に設定された条件は、前記現在ブロック内のピクセル数、前記現在ブロックの幅及び／又は高さのうち少なくとも１つが既に設定された閾値より大きいか否かを示す。
【0327】
例えば、前記現在ブロックのサイズが既に設定された条件を満足する場合、前記デコーダは、前記現在ブロックに対して前記ＡＦモードが適用されるか否かを確認することができる。
【0328】
それに対して、前記現在ブロックのサイズが既に設定された条件を満足しない場合、前記現在ブロックは、前記ＡＦモードではない他のコーディングモードに基づいてデコードされることができる。
【0329】
一実施形態として、前記デコーダは、前記現在ブロックに対して前記ＡＦモードが適用される場合、隣接ブロックに対してＡＦモードが適用されたか否かを確認することができる。
【0330】
前記隣接ブロックに対してＡＦモードが適用された場合、動きベクトル予測子は前記４つのパラメータを利用して生成され、前記隣接ブロックに対してＡＦモードが適用されない場合、前記デコーダは前記ＡＦ４モードが利用されるか否かを確認するステップを行う。
【0331】
図３０は、本発明が適用される実施形態として、ＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇに基づいて動きベクトル予測子を生成するフローチャートを示す。
【0332】
デコーダは、ビデオ信号からＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇの少なくとも１つを取得する（Ｓ３０１０）。ここで、ＡＦ４＿ｆｌａｇは、現在ブロックに対してＡＦ４モードが行われるか否かを示し、ＡＦ６＿ｆｌａｇは、現在ブロックに対してＡＦ６モードが行われるか否かを示す。
【0333】
ここで、前記ＡＦ４＿ｆｌａｇ及び前記ＡＦ６＿ｆｌａｇの少なくとも１つはスライスレベルにおいて定義され、またブロックレベル又は予測ユニットレベルにおいて定義されることができる。ただし、本発明は、これに限定されず、前記ＡＦ４＿ｆｌａｇ及び前記ＡＦ６＿ｆｌａｇの少なくとも１つは、スライス、最大コーディングユニット、コーディングユニット又は予測ユニットのうち少なくとも１つのレベルにおいて定義されることができる。
【0334】
前記デコーダは、ＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇの値を確認する（Ｓ３０２０）。
【0335】
ＡＦ４＿ｆｌａｇ＝１であると、現在ブロックに対してＡＦ４モードが行われ、ＡＦ４＿ｆｌａｇ＝０であると、現在ブロックに対してＡＦ４モードが行われない。ここで、ＡＦ４モードが行われるということは、４つのパラメータで表現されるアフィン動きモデルを利用して動きベクトル予測を行うことを意味する。
【0336】
ＡＦ６＿ｆｌａｇ＝１であると、現在ブロックに対してＡＦ６モードが行われ、ＡＦ４＿ｆｌａｇ＝０であると、現在ブロックに対してＡＦ６モードが行われない。ここで、ＡＦ６モードが行われるということは４つのパラメータで表現されるアフィン動きモデルを利用して動きベクトル予測を行うことを意味する。
【0337】
ＡＦ４＿ｆｌａｇ＝０、ＡＦ６＿ｆｌａｇ＝０であると、前記デコーダは、ＡＦ４モード及びＡＦ６モード以外のモードによって動きベクトル予測を行う（Ｓ３０３０）。
【0338】
ＡＦ４＿ｆｌａｇ＝１、ＡＦ６＿ｆｌａｇ＝０であると、前記デコーダはＡＦ４モードによって動きベクトル予測を行う（Ｓ３０４０）。
【0339】
ＡＦ４＿ｆｌａｇ＝０、ＡＦ６＿ｆｌａｇ＝１であると、前記デコーダはＡＦ６モードによって動きベクトル予測を行う（Ｓ３０５０）。
【0340】
ＡＦ４＿ｆｌａｇ＝１、ＡＦ６＿ｆｌａｇ＝１であると、前記デコーダはＡＦ４モード又はＡＦ６モードによって動きベクトル予測を行う（Ｓ３０６０）。
【0341】
図３１は、本発明が適用される実施形態として、隣接ブロックがＡＦモードでコーディングされたか否かに基づいてＡＦ４モード又はＡＦ６モードによって適応的にデコードを行うフローチャートを示す。
【0342】
デコーダは、現在ブロックに対してＡＦモードが適用されるか否かを確認する（Ｓ３１１０）。
【0343】
前記デコーダは、前記現在ブロックに対して前記ＡＦモードが適用される場合、隣接ブロックがＡＦモードでコーディングされたか否かを確認する（Ｓ３１２０）。
【0344】
前記デコーダは、隣接ブロックがＡＦモードでコーディングされた場合、ＡＦ４＿ｆｌａｇ又はＡＦ６＿ｆｌａｇの少なくとも１つを取得できる（Ｓ３１３０）。
【0345】
前記デコーダは、ＡＦ４＿ｆｌａｇ又はＡＦ６＿ｆｌａｇの少なくとも１つに基づいて４つ又は６つのパラメータを利用して動きベクトル予測子を生成する（Ｓ３１４０）。例えば、ＡＦ４＿ｆｌａｇ＝１であると、前記デコーダは、ＡＦ４モードによって動きベクトル予測を行うことができ、ＡＦ６＿ｆｌａｇ＝１であると、前記デコーダは、ＡＦ６モードによって動きベクトル予測を行うことができる。
【0346】
前記デコーダは、前記動きベクトル予測子に基づいて前記現在ブロックの動きベクトルを取得できる（Ｓ３１５０）。
【0347】
図３２は、本発明が適用される実施形態として、ＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇに基づいて適応的にデコードを行うシンタックスを示す。
【0348】
デコーダは、スライスレベルにおいてＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇを取得できる（Ｓ３０１０）。ここで、ＡＦ４＿ｆｌａｇは現在ブロックに対してＡＦ４モードが行われるか否かを示し、ＡＦ６＿ｆｌａｇは現在ブロックに対してＡＦ６モードが行われるか否かを示す。前記ＡＦ４＿ｆｌａｇはａｆｆｉｎｅ＿４＿ｆｌａｇで表現することができ、前記ＡＦ６＿ｆｌａｇはａｆｆｉｎｅ＿６＿ｆｌａｇで表現することができる。
【0349】
前記デコーダは、ブロックレベル又は予測ユニットレベルにおいてＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇに基づいて適応的にデコードを行うことができる。
【0350】
ａｆｆｉｎｅ＿４＿ｆｌａｇが０でないか、ａｆｆｉｎｅ＿６＿ｆｌａｇが０でない場合（すなわち、ａｆｆｉｎｅ＿４＿ｆｌａｇ＝０ ＆＆ ａｆｆｉｎｅ＿６＿ｆｌａｇ＝０以外の場合）、前記デコーダはアフィンフラグを取得できる（Ｓ３２２０）。前記アフィンフラグはＡＦモードが行われるか否かを示す。
【0351】
ＡＦモードが行われる場合、前記デコーダは、ＡＦ４＿ｆｌａｇ及びＡＦ６＿ｆｌａｇ値によって適応的にデコードを行うことができる。
【0352】
ａｆｆｉｎｅ＿４＿ｆｌａｇ＝１＆＆ａｆｆｉｎｅ＿６＿ｆｌａｇ＝０である場合、前記デコーダは、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを０に設定することができる。すなわち、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０はＡＦ４モードが行われることを意味する。
【0353】
ａｆｆｉｎｅ＿４＿ｆｌａｇ＝０＆＆ａｆｆｉｎｅ＿６＿ｆｌａｇ＝１である場合、前記デコーダは、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを１に設定することができる。すなわち、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝１はＡＦ６モードが行われることを意味する。
【0354】
ａｆｆｉｎｅ＿４＿ｆｌａｇ＝１＆＆ａｆｆｉｎｅ＿６＿ｆｌａｇ＝１であるの場合、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇをパーシング又は取得できる。ここで、前記デコーダは、ブロックレベル又は予測ユニットレベルにおいてａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ値に応じてＡＦ４モード又はＡＦ６モードによってデコードを行うことができる。
【0355】
その他、シンタックス構造は、前述した実施形態が適用されることができ、重複する説明は省略する。
【0356】
図３３は、本発明が適用される実施形態として、隣接ブロックがＡＦモードでコーディングされたか否かに基づいてＡＦ４モード又はＡＦ６モードによって適応的にデコードを行うシンタックスを示す。
【0357】
本実施形態の場合、図３２と重複される内容は前述した説明が適用されることができ、異なる部分のみを説明する。
【0358】
ａｆｆｉｎｅ＿４＿ｆｌａｇ＝１＆＆ａｆｆｉｎｅ＿６＿ｆｌａｇ＝１である場合、前記デコーダは隣接ブロックがＡＦモードでコーディングされたか否かを確認することができる。
【0359】
隣接ブロックがＡＦモードでコーディングされた場合、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇをパーシング又は取得する（Ｓ３３１０）。ここで、前記デコーダは、ブロックレベル又は予測ユニットレベルにおいてａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ値によってＡＦ４モード又はＡＦ６モードによってデコードを行うことができる。
【0360】
それに対して、隣接ブロックがＡＦモードでコーディングされていない場合、前記デコーダはａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇを０に設定することができる。すなわち、ａｆｆｉｎｅ＿ｐａｒａｍ＿ｆｌａｇ＝０はＡＦ４モードが行われることを意味する。
【0361】
図３４は、本発明が適用されるビデオコーディングシステムを示す。
【0362】
ビデオコーディングシステムは、ソースデバイス（ｓｏｕｒｃｅ ｄｅｖｉｃｅ）及び受信デバイス（ｒｅｃｅｉｖｉｎｇ ｄｅｖｉｃｅ）を含む。ソースデバイスは、エンコードされたビデオ／画像情報又はデータをファイル又はストリーミング形式でデジタル格納媒体又はネットワークを介して受信デバイスに伝達する。
【0363】
前記ソースデバイスは、ビデオソース（ｖｉｄｅｏ ｓｏｕｒｃｅ）、エンコード装置（ｅｎｃｏｄｉｎｇ ａｐｐａｒａｔｕｓ）、送信部（ｔｒａｎｓｍｉｔｔｅｒ）を含む。前記受信デバイスは、受信部（ｒｅｃｅｉｖｅｒ）、デコード装置（ｄｅｃｏｄｉｎｇ ａｐｐａｒａｔｕｓ）及びレンダラー（ｒｅｎｄｅｒｅｒ）を含む。前記エンコード装置は、ビデオ／画像エンコード装置と呼ばれてもよく、前記デコード装置は、ビデオ／画像デコード装置と呼ばれてもよい。送信機はエンコード装置に含まれてもよい。受信機はデコード装置に含まれてもよい。レンダラーはディスプレイ部を含んでもよく、ディスプレイ部は別のデバイス又は外部コンポーネントで構成されてもよい。
【0364】
ビデオソースは、ビデオ／画像のキャプチャ、合成又は生成過程によりビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含んでもよい。ビデオ／画像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含む。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含み、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどにより仮想のビデオ／画像が生成されることができ、この場合、関連データが生成される過程がビデオ／画像のキャッチャ過程を代わることができる。
【0365】
エンコード装置は、入力ビデオ／画像をエンコードする。エンコードは、圧縮及びコーディング効率のために予測、変換、量子化などの一連の手順を行う。エンコードされたデータ（エンコードされたビデオ／画像情報）はビットストリーム形式で出力される。
【0366】
送信部は、ビットストリーム形式で出力されたエンコードされたビデオ／画像情報又はデータをファイル又はストリーミング形式でデジタル格納媒体又はネットワークを介して受信デバイスの受信部に伝達する。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの多様な格納媒体を含む。送信部は、予め決められたファイルフォーメットによりメディアファイルを生成するためのエレメントを含み、放送／通信ネットワークを介する送信のためのエレメントを含む。受信部は、前記ビットストリームを抽出してデコード装置に伝達する。
【0367】
デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像をデコードする。
【0368】
レンダラーは、デコードされたビデオ／画像をレンダリングする。レンダリングされたビデオ／画像はディスプレイ部を介してディスプレイされる。
【0369】
図３５は、本発明が適用されるコンテンツのストリーミングシステムを示す。
【0370】
図３５に示すように、本発明が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置及びマルチメディア入力装置を含む。
【0371】
前記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割を果たす。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略されてもよい。
【0372】
前記ビットストリームは、本発明が適用されるエンコード方法又はビットストリーム生成方法により生成され、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で一時的に前記ビットストリームを格納することができる。
【0373】
前記ストリーミングサーバは、ウェブサーバに介するユーザ要求に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介の役割を果たす。ユーザが前記ウェブサーバにご希望のサービスを要求すると、前記ウェブサーバはこれをストリーミングサーバに伝達し、前記ストリーミングサーバはユーザにマルチメディアデータを送信する。ここで、前記コンテンツストリーミングシステムは別途の制御サーバを含んでもよく、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たす。
【0374】
前記ストリーミングサーバは、メディア格納所及び／又はエンコードサーバからコンテンツを受信する。例えば、前記エンコードサーバからコンテンツを受信する場合、前記コンテンツをリアルタイムに受信できる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは前記ビットストリームを一定時間格納することができる。
【0375】
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどを有することができる。
【0376】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営でき、この場合、各サーバで受信するデータは分散処理されることができる。
【0377】
前述したように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われることができる。例えば、前記図１、図２、図３４及び図３５に示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて行われることができる。
【0378】
また、本発明が適用されるデコーダ及びエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号及びデータ信号を処理するために使用できる。
【0379】
また、本発明が適用される処理方法は、コンピュータにより実行されるプログラムの形態で生産されることができ、コンピュータにより読み取りできる記録媒体に格納できる。本発明によるデータ構造を有するマルチメディアデータもまたコンピュータにより読み取りできる記録媒体に格納できる。前記コンピュータにより読み取りできる記録媒体は、コンピュータにより読み取りできるデータが格納される全ての種類の格納装置を含む。前記コンピュータにより読み取りできる格納媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスク、及び光学データ記憶装置を含むことができる。また、前記コンピュータにより読み取りできる記録媒体は、搬送波（例えば、インターネットを介する送信）の形態で実現されたメディアを含む。また、エンコード方法により生成されたビットストリームがコンピュータにより読み取りできる記録媒体に格納されるか、有無線通信ネットワークを介して送信できる。
【産業上の利用可能性】
【0380】
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであり、当業者であれば、以下に添付された特許請求範囲に開示された本発明の技術的思想とその技術的範囲内において、様々な他の実施形態を改良、変更、代替又は付加などが可能であろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【手続補正書】
【提出日】2023-12-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
アフィン動き予測モード（ＡＦモード）に基づいて現在ブロックを含むビデオ信号をデコードする方法において、
前記ビデオ信号からマージフラグを取得するステップであって、前記マージフラグは、マージモードが前記現在ブロックに適用されるか否かを表す、ステップと、
前記マージモードが前記現在ブロックに適用されないことに基づいて、前記ビデオ信号から、前記現在ブロックの幅と高さが１６と等しいか、又は１６より大きいことに基づいてアフィンフラグを取得するステップであって、前記アフィンフラグは、前記ＡＦモードが前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを取得するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測サンプルを取得するステップと、
前記現在ブロックに対するレジデュアルサンプルを取得するステップと、
前記予測サンプル及び前記レジデュアルサンプルに基づいて、前記現在ブロックを復元するステップと、
前記復元された現在ブロックをフィルタリングするステップと、を含み、
前記マージモードが前記現在ブロックに適用されないことを前記マージフラグが表すことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが取得される、方法。
前記ビデオ信号からマージフラグを取得するステップであって、前記マージフラグは、マージモードが前記現在ブロックに適用されるか否かを表す、ステップと、
前記マージモードが前記現在ブロックに適用されないことに基づいて、前記ビデオ信号から、前記現在ブロックの幅と高さが１６と等しいか、又は１６より大きいことに基づいてアフィンフラグを取得するステップであって、前記アフィンフラグは、前記ＡＦモードが前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを取得するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測サンプルを取得するステップと、
前記現在ブロックに対するレジデュアルサンプルを取得するステップと、
前記予測サンプル及び前記レジデュアルサンプルに基づいて、前記現在ブロックを復元するステップと、
前記復元された現在ブロックをフィルタリングするステップと、を含み、
前記マージモードが前記現在ブロックに適用されないことを前記マージフラグが表すことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが取得される、方法。
【請求項2】
前記アフィンフラグ及び前記アフィンパラメータフラグは、コーディングユニットのレベルにおいて定義される、請求項１に記載の方法。
【請求項3】
前記現在ブロックの前記幅と前記高さが１６より小さいことに基づいて、前記現在ブロックは、前記ＡＦモード以外のコーディングモードに基づいてデコードされる、請求項１に記載の方法。
【請求項4】
アフィン動き予測モード（ＡＦモード）に基づいて現在ブロックを含むビデオ信号をエンコードする方法において、
マージモードが前記現在ブロックに適用されるか否かを表すマージフラグを生成するステップと、
前記マージモードが前記現在ブロックに適用されないことに基づいて、前記現在ブロックの幅と高さが１６と等しいか、又は１６より大きいことに基づいてアフィンフラグを生成するステップであって、前記アフィンフラグは、前記ＡＦモードが前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを生成するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測サンプルを生成するステップと、
前記予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを生成するステップと、
前記レジデュアルサンプルに対して変換、量子化、及びエントロピーエンコードを行うステップと、を含み、
前記予測サンプル及び前記レジデュアルサンプルに基づいて、前記現在ブロックが復元され、
前記マージモードが前記現在ブロックに適用されないことを前記マージフラグが表すことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが生成される、方法。
マージモードが前記現在ブロックに適用されるか否かを表すマージフラグを生成するステップと、
前記マージモードが前記現在ブロックに適用されないことに基づいて、前記現在ブロックの幅と高さが１６と等しいか、又は１６より大きいことに基づいてアフィンフラグを生成するステップであって、前記アフィンフラグは、前記ＡＦモードが前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを生成するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測サンプルを生成するステップと、
前記予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを生成するステップと、
前記レジデュアルサンプルに対して変換、量子化、及びエントロピーエンコードを行うステップと、を含み、
前記予測サンプル及び前記レジデュアルサンプルに基づいて、前記現在ブロックが復元され、
前記マージモードが前記現在ブロックに適用されないことを前記マージフラグが表すことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが生成される、方法。
【請求項5】
ビデオ信号に対するデータの送信方法において、
前記ビデオ信号に対するビットストリームを生成するステップであって、前記ビットストリームは、エンコード方法により生成される、ステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記エンコード方法は、
マージモードが現在ブロックに適用されるか否かを表すマージフラグを生成するステップと、
前記マージモードが前記現在ブロックに適用されないことに基づいて、前記現在ブロックの幅と高さが１６と等しいか、又は１６より大きいことに基づいてアフィンフラグを生成するステップであって、前記アフィンフラグは、アフィン動き予測モード（ＡＦモード）が前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを生成するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測サンプルを生成するステップと、
前記予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを生成するステップと、
前記レジデュアルサンプルに対して変換、量子化、及びエントロピーエンコードを行うステップと、を含み、
前記予測サンプル及び前記レジデュアルサンプルに基づいて、前記現在ブロックが復元され、
前記マージモードが前記現在ブロックに適用されないことを前記マージフラグが表すことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが生成される、方法。
前記ビデオ信号に対するビットストリームを生成するステップであって、前記ビットストリームは、エンコード方法により生成される、ステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記エンコード方法は、
マージモードが現在ブロックに適用されるか否かを表すマージフラグを生成するステップと、
前記マージモードが前記現在ブロックに適用されないことに基づいて、前記現在ブロックの幅と高さが１６と等しいか、又は１６より大きいことに基づいてアフィンフラグを生成するステップであって、前記アフィンフラグは、アフィン動き予測モード（ＡＦモード）が前記現在ブロックに適用されるか否かを表し、前記ＡＦモードは、アフィン動きモデルを用いた動き予測モードを表す、ステップと、
前記ＡＦモードが前記現在ブロックに適用されることに基づいて、前記アフィン動きモデルに対して４つのパラメータ又は６つのパラメータが使用されるか否かを表すアフィンパラメータフラグを生成するステップと、
前記アフィン動きモデルに対して前記４つのパラメータ又は前記６つのパラメータが使用されることに基づいて、動きベクトル予測子を取得するステップと、
前記動きベクトル予測子に基づいて、前記現在ブロックに対する予測サンプルを生成するステップと、
前記予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを生成するステップと、
前記レジデュアルサンプルに対して変換、量子化、及びエントロピーエンコードを行うステップと、を含み、
前記予測サンプル及び前記レジデュアルサンプルに基づいて、前記現在ブロックが復元され、
前記マージモードが前記現在ブロックに適用されないことを前記マージフラグが表すことに基づいて、前記アフィンフラグ及び前記アフィンパラメータフラグが生成される、方法。