(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-19
(45)【発行日】2023-09-27
(54)【発明の名称】画像符号化方法及び装置、画像復号方法及び装置並びにプログラム
(51)【国際特許分類】
H04N 19/52 20140101AFI20230920BHJP
H04N 19/105 20140101ALI20230920BHJP
H04N 19/139 20140101ALI20230920BHJP
H04N 19/176 20140101ALI20230920BHJP
H04N 19/463 20140101ALI20230920BHJP
【FI】
H04N19/52
H04N19/105
H04N19/139
H04N19/176
H04N19/463
【外国語出願】
(21)【出願番号】P 2020144911
(22)【出願日】2020-08-28
(62)【分割の表示】P 2018541193の分割
【原出願日】2016-09-08
【審査請求日】2020-09-07
【審判番号】
【審判請求日】2022-11-02
(31)【優先権主張番号】201610081070.3
(32)【優先日】2016-02-06
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】チェン、ホアンバン
(72)【発明者】
【氏名】リン、シシン
(72)【発明者】
【氏名】ヤン、ハイタオ
【合議体】
【審判長】高橋 宣博
【審判官】畑中 高行
【審判官】川崎 優
(56)【参考文献】
【文献】中国特許出願公開第105163116(CN,A)
【文献】特開2012-165279(JP,A)
【文献】特開2020-205611(JP,A)
【文献】大久保 榮、H.265/HEVC教科書、第1版、2013年10月21日、p.136-137
(58)【調査した分野】(Int.Cl.,DB名)
H04N19/00-19/98
(57)【特許請求の範囲】
【請求項1】
復号予定ユニットの左側にある2つの隣接する復号されたユニットから、第1のシーケンスに従い第1に見つけられた第1の復号されたユニットを決定する段階であって、前記第1の復号されたユニットの動き予測モードは前記復号予定ユニットの動き予測モードと同一である、段階と、
前記復号予定ユニットの上方にある3つの隣接する復号されたユニットから、第2のシーケンスに従い第1に見つけられた第2の復号されたユニットを決定する段階であって、前記第2の復号されたユニットの動き予測モードは前記復号予定ユニットの動き予測モードと同一であり、前記第1の復号されたユニットの前記動き予測モード、前記第2の復号されたユニットの前記動き予測モード及び前記復号予定ユニットの前記動き予測モードはアフィン動き予測モードであり、前記第1のシーケンスは前記第2のシーケンスとは独立である、段階と、
前記第1の復号されたユニットの複数の制御点の動きベクトルと、前記第1の復号されたユニットの前記複数の制御点のサンプル座標と、前記復号予定ユニットのM個の制御点のサンプル座標とに基づき、前記復号予定ユニットの前記M個の制御点の第1の動きベクトル予測値を計算する段階と、
前記M個の制御点の前記第1の動きベクトル予測値に基づき、第1の動きベクトルグループを生成する段階と、
前記第2の復号されたユニットの複数の制御点の動きベクトルと、前記第2の復号されたユニットの前記複数の制御点のサンプル座標と、前記復号予定ユニットの前記M個の制御点の前記サンプル座標とに基づき、前記復号予定ユニットの前記M個の制御点の第2の動きベクトル予測値を計算する段階と、
前記M個の制御点の前記第2の動きベクトル予測値に基づき、第2の動きベクトルグループを生成する段階と、
ビットストリームから、最適な動きベクトルグループのインデックス識別子を取得し、前記インデックス識別子に基づき複数の動きベクトルグループから、ターゲットの動きベクトルグループを決定する段階であって、前記複数の動きベクトルグループは前記第1の動きベクトルグループ及び前記第2の動きベクトルグループを有する、段階と、
前記ターゲットの動きベクトルグループに基づき、前記復号予定ユニットを予測する段階であって、前記復号予定ユニットの各サンプルユニットはそれぞれの動きベクトルを有する、段階と、を備え
、
複数の動きベクトルグループから、ターゲットの動きベクトルグループを決定する前記段階は、前記複数の動きベクトルグループの数が予め設定された数より小さい場合、Q個の動きベクトルグループを生成する段階であって、Qは第1の値である、段階と、
前記Q個の動きベクトルグループ、前記第1の動きベクトルグループ及び前記第2の動きベクトルグループを含む前記複数の動きベクトルグループから、前記ターゲットの動きベクトルグループを決定する段階と、を含む、画像復号方法。
【請求項2】
Q+2は、予め設定された値より大きいか又はそれに等しい、請求項
1に記載の画像復号方法。
【請求項3】
Q個の動きベクトルグループを生成する前記段階は、
前記復号予定ユニットの前記M個の制御点にそれぞれ対応する復号されたユニットの動きベクトルに基づき、前記Q個の動きベクトルグループを生成する段階を含む、請求項
1または
2に記載の画像復号方法。
【請求項4】
符号化予定ユニットの左側にある2つの隣接する符号化されたユニットから、第1のシーケンスに従い第1に見つけられた第1の符号化されたユニットを決定する段階であって、前記第1の符号化されたユニットの動き予測モードは前記符号化予定ユニットの動き予測モードと同一である、段階と、
前記符号化予定ユニットの上方にある3つの隣接する符号化されたユニットから、第2のシーケンスに従い第1に見つけられた第2の符号化されたユニットを決定する段階であって、前記第2の符号化されたユニットの動き予測モードは前記符号化予定ユニットの動き予測モードと同一であり、前記第1の符号化されたユニットの前記動き予測モード、前記第2の符号化されたユニットの前記動き予測モード及び前記符号化予定ユニットの前記動き予測モードはアフィン動き予測モードであり、前記第1のシーケンスは前記第2のシーケンスとは独立である、段階と、
前記第1の符号化されたユニットの複数の制御点の動きベクトルと、前記第1の符号化されたユニットの前記複数の制御点のサンプル座標と、前記符号化予定ユニットのM個の制御点のサンプル座標とに基づき、前記符号化予定ユニットの前記M個の制御点の第1の動きベクトル予測値を計算し、前記M個の制御点の前記第1の動きベクトル予測値に基づき、第1の動きベクトルグループを生成する段階と、
前記第2の符号化されたユニットの複数の制御点の動きベクトルと、前記第2の符号化されたユニットの前記複数の制御点のサンプル座標と、前記符号化予定ユニットの前記M個の制御点の前記サンプル座標とに基づき、前記符号化予定ユニットの前記M個の制御点の第2の動きベクトル予測値を計算し、前記M個の制御点の前記第2の動きベクトル予測値に基づき、第2の動きベクトルグループを生成する段階と、
複数の動きベクトルグループから、ターゲットの動きベクトルグループを決定する段階であって、前記複数の動きベクトルグループは前記第1の動きベクトルグループ及び前記第2の動きベクトルグループを有する、段階と、
前記複数の動きベクトルグループ
及び前記ターゲットの動きベクトルグループ
に基づき、前記ターゲットの動きベクトルグループのインデックス識別子
を決定する段階と、
前記インデックス識別子をビットストリーム内に符号化する段階と、を備え
、
複数の動きベクトルグループから、ターゲットの動きベクトルグループを決定する前記段階は、
前記複数の動きベクトルグループの数が予め設定された数より小さい場合、Q個の動きベクトルグループを生成する段階であって、Qは第1の値である、段階と、
前記Q個の動きベクトルグループ、前記第1の動きベクトルグループ及び前記第2の動きベクトルグループを含む前記複数の動きベクトルグループから、前記ターゲットの動きベクトルグループを決定する段階と、を含む、画像符号化方法。
【請求項5】
Q+2は、予め設定された値より大きいか又はそれに等しい、請求項
4に記載の画像符号化方法。
【請求項6】
Q個の動きベクトルグループを生成する前記段階は、
前記符号化予定ユニットの前記M個の制御点にそれぞれ対応する符号化されたユニットの動きベクトルに基づき、前記Q個の動きベクトルグループを生成する段階を含む、請求項
4または
5に記載の画像符号化方法。
【請求項7】
復号予定ユニットの左側にある隣接する2つの復号されたユニットから、第1のシーケンスに従い第1に見つけられた第1の復号されたユニットを決定するよう構成され、前記第1の復号されたユニットの動き予測モードは前記復号予定ユニットの動き予測モードと同一であり、及び更に、前記復号予定ユニットの上方にある3つの隣接する復号されたユニットから、第2のシーケンスに従い第1に見つけられた第2の復号されたユニットを決定するよう構成され、前記第2の復号されたユニットの動き予測モードは前記復号予定ユニットの動き予測モードと同一であり、前記第1の復号されたユニットの前記動き予測モード、前記第2の復号されたユニットの前記動き予測モード及び前記復号予定ユニットの前記動き予測モードはアフィン動き予測モードであり、前記第1のシーケンスは前記第2のシーケンスとは独立である、決定モジュールと、
前記第1の復号されたユニットの複数の制御点の動きベクトルと、前記第1の復号されたユニットの前記複数の制御点のサンプル座標と、前記復号予定ユニットのM個の制御点のサンプル座標とに基づき、前記M個の制御点の第1の動きベクトル予測値を計算し、前記M個の制御点の前記第1の動きベクトル予測値に基づき、第1の動きベクトルグループを生成するよう構成され、及び更に、前記第2の復号されたユニットの複数の制御点の動きベクトルと、前記第2の復号されたユニットの前記複数の制御点のサンプル座標と、前記復号予定ユニットの前記M個の制御点の前記サンプル座標とに基づき、前記M個の制御点の第2の動きベクトル予測値を計算し、前記M個の制御点の前記第2の動きベクトル予測値に基づき、第2の動きベクトルグループを生成する、よう構成された計算モジュールと、を備える、画像復号装置であって、
前記決定モジュールは、更に、ビットストリームから最適な動きベクトルグループのインデックス識別子を取得し、前記インデックス識別子に基づき複数の動きベクトルグループからターゲットの動きベクトルグループを決定するよう構成されており、前記複数の動きベクトルグループは前記第1の動きベクトルグループ及び前記第2の動きベクトルグループを有し、
前記計算モジュールは、更に、前記ターゲットの動きベクトルグループに基づき、前記復号予定ユニットを予測するよう構成されており、前記復号予定ユニットの各サンプルユニットはそれぞれの動きベクトルを有
し、
前記決定モジュールは、具体的に、
前記複数の動きベクトルグループの数が予め設定された数より小さい場合、Q個の動きベクトルグループを生成するよう構成されており、Qは第1の値であり、Q+2は予め設定された値より大きいか又はそれに等しい、並びに
前記Q個の動きベクトルグループ、前記第1の動きベクトルグループ及び前記第2の動きベクトルグループを含む前記複数の動きベクトルグループから、前記ターゲットの動きベクトルグループを決定するよう構成されている、画像復号装置。
【請求項8】
更に、前記決定モジュールは、具体的に、
前記復号予定ユニットの前記M個の制御点にそれぞれ対応する復号されたユニットの動きベクトルに基づき、前記Q個の動きベクトルグループを生成するよう構成されている、請求項
7に記載の画像復号装置。
【請求項9】
符号化予定ユニットの左側にある隣接する2つの符号化されたユニットから、第1のシーケンスに従い第1に見つけられた第1の符号化されたユニットを決定するよう構成され、前記第1の符号化されたユニットの動き予測モードは前記符号化予定ユニットの動き予測モードと同一であり、及び更に、前記符号化予定ユニットの上方にある3つの隣接する符号化されたユニットから、第2のシーケンスに従い第1に見つけられた第2の符号化されたユニットを決定するよう構成され、前記第2の符号化されたユニットの動き予測モードは前記符号化予定ユニットの動き予測モードと同一であり、前記第1の符号化されたユニットの前記動き予測モード、前記第2の符号化されたユニットの前記動き予測モード及び前記符号化予定ユニットの前記動き予測モードはアフィン動き予測モードであり、前記第1のシーケンスは前記第2のシーケンスとは独立である、決定モジュールと、
前記第1の符号化されたユニットの複数の制御点の動きベクトルと、前記第1の符号化されたユニットの前記複数の制御点のサンプル座標と、前記符号化予定ユニットのM個の制御点のサンプル座標とに基づき、前記M個の制御点の第1の動きベクトル予測値を計算し、前記M個の制御点の前記第1の動きベクトル予測値に基づき、第1の動きベクトルグループを生成するよう構成され、更に、前記第2の符号化されたユニットの複数の制御点の動きベクトルと、前記第2の符号化されたユニットの前記複数の制御点のサンプル座標と、前記符号化予定ユニットの前記M個の制御点の前記サンプル座標とに基づき、前記M個の制御点の第2の動きベクトル予測値を計算し、前記M個の制御点の前記第2の動きベクトル予測値に基づき、第2の動きベクトルグループを生成する、よう構成された計算モジュールと、を備える、画像符号化装置であって、
前記決定モジュールは、更に、複数の動きベクトルグループから、ターゲットの動きベクトルグループを決定するよう構成されており、前記複数の動きベクトルグループは前記第1の動きベクトルグループ及び前記第2の動きベクトルグループを有し、前記画像符号化装置はさらに
前記複数の動きベクトルグループ
及び前記ターゲットの動きベクトルグループ
に基づき、前記ターゲットの動きベクトルグループのインデックス識別子
を決定し、前記インデックス識別子をビットストリーム内に符号化するよう構成された符号化モジュールを備え
、
前記決定モジュールは、具体的に、
前記複数の動きベクトルグループの数が予め設定された数より小さい場合、Q個の動きベクトルグループを生成するよう構成されており、Qは第1の値であり、Q+2は予め設定された値より大きいか又はそれに等しい、並びに
前記Q個の動きベクトルグループ、前記第1の動きベクトルグループ及び前記第2の動きベクトルグループを含む前記複数の動きベクトルグループから、前記ターゲットの動きベクトルグループを決定するよう構成されている、画像符号化装置。
【請求項10】
前記決定モジュールは、具体的に、
前記符号化予定ユニットの前記M個の制御点にそれぞれ対応する符号化されたユニットの動きベクトルに基づき、前記Q個の動きベクトルグループを生成するよう構成されている、請求項
9に記載の画像符号化装置。
【請求項11】
プロセッサと、メモリと、通信インタフェースと、バスとを備える画像処理装置であって、前記プロセッサは、前記メモリ及び前記通信インタフェースに前記バスを用いて接続されており、
前記メモリは、命令を格納するよう構成されており、
前記プロセッサは、前記命令を実行するよう構成されており、前記プロセッサが前記メモリ内に格納された前記命令を実行すると、前記プロセッサは、請求項1から
3のいずれか一項に記載の画像復号方法を実行できるようになる、画像処理装置。
【請求項12】
プロセッサと、メモリと、通信インタフェースと、バスとを備える画像処理装置であって、前記プロセッサは、前記メモリ及び前記通信インタフェースに前記バスを用いて接続されており、
前記メモリは、命令を格納するよう構成されており、
前記プロセッサは、前記命令を実行するよう構成されており、前記プロセッサが前記メモリ内に格納された前記命令を実行すると、前記プロセッサは、請求項
4から
6のいずれか一項に記載の画像符号化方法を実行できるようになる、画像処理装置。
【請求項13】
コンピュータに、請求項1から
3のいずれか一項に記載の画像復号方法を実行させるための、プログラム。
【請求項14】
コンピュータに、請求項
4から
6のいずれか一項に記載の画像符号化方法を実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理技術に関し、特に、画像符号化方法及び装置並びに画像復号方法及び装置に関する。
【背景技術】
【0002】
ビデオ会議、ビデオ監視、及びウェブテレビ等のビデオマルチメディアアプリケーションが、生活及び仕事において広く適用されている。従って、ビデオ画像品質、ビデオ画像伝送、ビデオ画像記憶にますます高い要件が課され、画像符号化技術が、それに応じて出現している。画像符号化技術において、ビデオ画像データの冗長な情報を削減し、ビデオ画像伝送及び記憶を容易にし、ビデオ画像品質を保証するために、ビデオ画像データが、符号化され得る。
【0003】
既存の画像符号化方法において、フレーム間予測(Intra-frame Prediction)に基づく符号化スキームが、用いられてよい。符号化予定ユニットの動きベクトルが、符号化予定ユニットの隣接する符号化されたユニットの動きベクトルに基づいて決定され、符号化予定ユニットの予測サンプル値が、符号化予定ユニットの動きベクトルに基づいて決定される。更に、符号化予定ユニットのビットストリームを取得するべく、符号化予定ユニットの元のサンプル値と予測サンプル値との間の残差が、符号化される。
【0004】
また、隣接する符号化されたユニットと符号化予定ユニットとの間の動き相関が、符号化予定ユニットの動きベクトルに影響を与える。従って、既存の画像符号化方法において決定される符号化予定ユニットの動きベクトルは、十分正確ではなく、その結果、画像符号化の精度が、比較的低い。
【発明の概要】
【0005】
本発明の実施形態は、画像符号化及び復号の精度を向上させるべく、画像符号化方法及び装置並びに画像復号方法及び装置を提供する。
【0006】
本発明の実施形態が、
第1の予め設定されたルールに従って、符号化予定ユニットの隣接する符号化されたユニットからN個の符号化されたユニットを決定する段階であって、N個の符号化されたユニットの動き予測モードが、符号化予定ユニットのそれと同じであり、Nは、正の整数である、段階と、
第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成する段階であって、nは、Nより大きくない任意の正の整数を有する、段階と、
第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階と、
第2の予め設定されたアルゴリズムを用いて、最適な動きベクトルグループに基づいて、符号化予定ユニットにおける各サンプルユニットの予測サンプル値を決定する段階と、
各サンプルユニットの元のサンプル値と各サンプルユニットの予測サンプル値との間の差に基づいて、各サンプルユニットの予測残差を決定する段階と、
符号化予定ユニットに対応するビットストリームを取得するべく、各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を符号化する段階であって、最適な動きベクトルグループのインデックス識別子は、復号装置に、各サンプルユニットの予測サンプル値を決定するように命令するために用いられる、段階と
を含む
画像符号化方法
を提供する。
【0007】
任意で、第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成する段階は、
第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルと、n番目の符号化されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、符号化予定ユニットのM個の制御点の動きベクトル予測値を決定する段階と
M個の制御点の動きベクトル予測値に基づいてn番目の動きベクトルグループを生成する段階と
を含んでよく、
Mは、符号化予定ユニットの動き予測モードに基づいて決定される正の整数である。
【0008】
任意で、M個の制御点は、符号化予定ユニットの左上の頂点及び右上の頂点を含み、
第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルと、n番目の符号化されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、符号化予定ユニットのM個の制御点の動きベクトル予測値を決定する段階は、
次式(1)を用いて、n番目の符号化されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の符号化されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の符号化されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、n番目の符号化されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の符号化されたユニットの右上の頂点のサンプル座標(x
3,y
3)、n番目の符号化されたユニットの左下の頂点のサンプル座標(x
4,y
4)、及び符号化予定ユニットの左上の頂点のサンプル座標(x
0,y
0)に基づいて、符号化予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する段階と、
【数1】
次式(2)を用いて、n番目の符号化されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の符号化されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の符号化されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の符号化されたユニットの右上の頂点のサンプル座標(x
3,y
3)、符号化予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)、符号化予定ユニットの左上の頂点のサンプル座標(x
0,y
0)、及び符号化予定ユニットの
右上の頂点のサンプル座標(x
1,y
1)に基づいて、符号化予定ユニットの右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する段階と、
【数2】
を含む。
【0009】
任意で、第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階は、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従ってN個の動きベクトルグループをソートする段階と、
Nが予め設定された値より大きいか又はそれに等しい場合、候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
前の予め設定された数の動きベクトルグループの各々と符号化予定ユニットとの間のマッチング誤差を決定する段階と、
マッチング誤差が最小である1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階と
を含んでよい。
【0010】
任意で、予め設定されたソートルールは、N個の符号化されたユニットの降順を含む。
【0011】
任意で、第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階は、
予め設定されたソートルールに従ってN個の動きベクトルグループをソートする段階と、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成する段階であって、NとQとの和は、予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、段階と、
候補動きベクトルキューを生成するべく、N個の動きベクトルグループの後にQ個の動きベクトルグループを追加する段階と、
候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
前の予め設定された数の動きベクトルグループの各々と符号化予定ユニットとの間のマッチング誤差を決定する段階と、
マッチング誤差が最小である1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階と
を含んでよい。
【0012】
任意で、Q個の動きベクトルグループを生成する段階は、
隣接する符号化されたユニットから、符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定する段階であって、m番目の制御点に対応する符号化されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
m番目の制御点に対応する符号化されたユニットの動きベクトルを、m番目の制御点の動きベクトル予測値として決定する段階と、
M個の制御点の動きベクトル予測値に基づいてQ個の動きベクトルグループを生成する段階と
を含んでよい。
【0013】
代替的に、Q個の動きベクトルグループを生成する段階は、
隣接する符号化されたユニットから、符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定する段階であって、m番目の制御点に対応する符号化されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
m番目の制御点に対応する符号化されたユニットの動きベクトルを、m番目の制御点の第1の動きベクトル予測値として決定する段階と、
M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成する段階と、
隣接する符号化されたユニットにおけるj番目の符号化されたユニットの動きベクトルを、m番目の制御点の第2の動きベクトル予測値として決定する段階であって、jは、1,...,又はJのいずれか1つであり、Jは、隣接する符号化されたユニットの数であり、Jは、正の整数である、段階と、
M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成する段階と、
Q個の動きベクトルグループを生成するべく、L個の第2の動きベクトルグループの後にK個の第1の動きベクトルグループを追加する段階と
を含んでよい。
【0014】
任意で、候補動きベクトルキューを生成するべく、ソートされたN個の動きベクトルグループの後にQ個の動きベクトルグループを追加する段階は、
q番目の動きベクトルグループに対応する固有値を決定する段階であって、qは、Qより大きくない任意の正の整数を有する、段階と、
Q個の動きベクトルグループに対応する固有値に基づいて昇順にQ個の動きベクトルグループをソートする段階と、
候補動きベクトルキューを生成するべく、ソートされたN個の動きベクトルグループの後にソートされたQ個の動きベクトルグループを追加する段階と
を含んでよい。
【0015】
任意で、q番目の動きベクトルグループに対応する固有値を決定する段階は、
M個の制御点における隣接する制御点の、q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定する段階と、
差の絶対値を予め設定された成分閾値と比較する段階であって、予め設定された成分閾値は、予測方向における符号化予定ユニットの範囲である、段階と、
差の絶対値が、予め設定された成分閾値より小さいか又はそれに等しい場合、q番目の動きベクトルグループに対応する固有値を決定する段階と
を含む。
【0016】
任意で、q番目の動きベクトルグループに対応する固有値を決定する段階は、
隣接する符号化されたユニットから、別の制御点に対応する符号化されたユニットを決定する段階であって、別の制御点に対応する符号化されたユニットと別の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、別の制御点は、符号化予定ユニットにおけるM個の制御点以外の任意の制御点である、段階と、
別の制御点に対応する符号化されたユニットの動きベクトルを、別の制御点の動きベクトル予測値として決定する段階と、
第3の予め設定されたアルゴリズムを用いて、別の制御点の動きベクトル予測値と、q番目の動きベクトルグループにおける、M個の制御点の、動きベクトル予測値とに基づいて、q番目の動きベクトルグループに対応する固有値を決定する段階と
を含んでよい。
【0017】
任意で、符号化予定ユニットの動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む。
【0018】
本発明の実施形態が、
第1の予め設定されたルールに従って、復号予定ユニットの隣接する復号されたユニットからN個の復号されたユニットを決定する段階であって、N個の復号されたユニットの動き予測モードが、復号予定ユニットのそれと同じであり、Nは、正の整数である、段階と、
第1の予め設定されたアルゴリズムを用いて、n番目の復号されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成する段階であって、nは、Nより大きくない任意の正の整数を有する、段階と、
各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を取得するべく、復号予定ユニットに対応するビットストリームを復号する段階と、
最適な動きベクトルグループのインデックス識別子に基づいて、N個の動きベクトルグループにおける最適な動きベクトルグループを決定する段階と、
第2の予め設定されたアルゴリズムを用いて、最適な動きベクトルグループに基づいて、復号予定ユニットにおける各サンプルユニットの予測サンプル値を決定する段階と、
各サンプルユニットの予測サンプル値と各サンプルユニットの予測残差との和に基づいて、各サンプルユニットの再構成サンプル値を決定する段階と
を含む
画像復号方法
を更に提供する。
【0019】
任意で、第1の予め設定されたアルゴリズムを用いて、n番目の復号されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成する段階は、
第1の予め設定されたアルゴリズムを用いて、n番目の復号されたユニットの動きベクトルと、n番目の復号されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、復号予定ユニットのM個の制御点の動きベクトル予測値を決定する段階と、
M個の制御点の動きベクトル予測値に基づいてn番目の動きベクトルグループを生成する段階と
を含んでよく、
Mは、復号予定ユニットの動き予測モードに基づいて決定される正の整数である。
【0020】
任意で、M個の制御点は、復号予定ユニットの左上の頂点及び右上の頂点を含み、
第1の予め設定されたアルゴリズムを用いて、n番目の復号されたユニットの動きベクトルと、n番目の復号されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、復号予定ユニットのM個の制御点の動きベクトル予測値を決定する段階は、
次式(1)を用いて、n番目の復号されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の復号されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の復号されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、n番目の復号されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の復号されたユニットの右上の頂点のサンプル座標(x
3,y
3)、n番目の復号されたユニットの左下の頂点のサンプル座標(x
4,y
4)、及び復号予定ユニットの左上の頂点のサンプル座標(x
0,y
0)に基づいて、復号予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する段階と、
【数1】
次式(2)を用いて、n番目の復号されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の復号されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の復号されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の復号されたユニットの右上の頂点のサンプル座標(x
3,y
3)、復号予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)、復号予定ユニットの左上の頂点のサンプル座標(x
0,y
0)、及び復号予定ユニットの
右上の頂点のサンプル座標(x
1,y
1)に基づいて、復号予定ユニットの右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する段階と、
【数2】
を含む。
【0021】
任意で、最適な動きベクトルグループのインデックス識別子に基づいて、N個の動きベクトルグループにおける最適な動きベクトルグループを決定する段階は、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従ってN個の動きベクトルグループをソートする段階と、
Nが予め設定された値より大きいか又はそれに等しい場合、候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
最適な動きベクトルグループのインデックス識別子に基づいて、前の予め設定された数の動きベクトルグループにおける最適な動きベクトルグループを決定する段階と
を含んでよい。
【0022】
任意で、予め設定されたソートルールは、N個の復号されたユニットの降順を含む。
【0023】
任意で、最適な動きベクトルグループのインデックス識別子に基づいて、N個の動きベクトルグループにおける最適な動きベクトルグループを決定する段階は、
予め設定されたソートルールに従ってN個の動きベクトルグループをソートする段階と、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成する段階であって、NとQとの和は、予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、段階と、
候補動きベクトルキューを生成するべく、N個の動きベクトルグループの後にQ個の動きベクトルグループを追加する段階と、
候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
最適な動きベクトルグループのインデックス識別子に基づいて、前の予め設定された数の動きベクトルグループにおける最適な動きベクトルグループを決定する段階と
を含んでよい。
【0024】
任意で、Q個の動きベクトルグループを生成する段階は、
隣接する復号されたユニットから、復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定する段階であって、m番目の制御点に対応する復号されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
m番目の制御点に対応する復号されたユニットの動きベクトルを、m番目の制御点の動きベクトル予測値として決定する段階と、
M個の制御点の動きベクトル予測値に基づいてQ個の動きベクトルグループを生成する段階と
を含む。
【0025】
代替的に、Q個の動きベクトルグループを生成する段階は、
隣接する復号されたユニットから、復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定する段階であって、m番目の制御点に対応する復号されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
m番目の制御点に対応する復号されたユニットの動きベクトルを、m番目の制御点の第1の動きベクトル予測値として決定する段階と、
M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成する段階と、
隣接する復号されたユニットにおけるj番目の復号されたユニットの動きベクトルを、m番目の制御点の第2の動きベクトル予測値として決定する段階であって、jは、1,...,又はJのいずれか1つであり、Jは、隣接する復号されたユニットの数であり、Jは、正の整数である、段階と、
M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成する段階と、
Q個の動きベクトルグループを生成するべく、L個の第2の動きベクトルグループの後にK個の第1の動きベクトルグループを追加する段階と
を含む。
【0026】
任意で、候補動きベクトルキューを生成するべく、ソートされたN個の動きベクトルグループの後にQ個の動きベクトルグループを追加する段階は、
q番目の動きベクトルグループに対応する固有値を決定する段階であって、qは、Qより大きくない任意の正の整数を有する、段階と、
Q個の動きベクトルグループに対応する固有値に基づいて昇順にQ個の動きベクトルグループをソートする段階と、
候補動きベクトルキューを生成するべく、ソートされたN個の動きベクトルグループの後にソートされたQ個の動きベクトルグループを追加する段階と
を含む。
【0027】
任意で、q番目の動きベクトルグループに対応する固有値を決定する段階は、
M個の制御点における隣接する制御点の、q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定する段階と、
差の絶対値を予め設定された成分閾値と比較する段階であって、予め設定された成分閾値は、予測方向における復号予定ユニットの範囲である、段階と、
差の絶対値が、予め設定された成分閾値より小さいか又はそれに等しい場合、q番目の動きベクトルグループに対応する固有値を決定する段階と
を含む。
【0028】
任意で、q番目の動きベクトルグループに対応する固有値を決定する段階は、
隣接する復号されたユニットから、別の制御点に対応する復号されたユニットを決定する段階であって、別の制御点に対応する復号されたユニットと別の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、別の制御点は、復号予定ユニットにおけるM個の制御点以外の任意の制御点である、段階と、
別の制御点に対応する復号されたユニットの動きベクトルを、別の制御点の動きベクトル予測値として決定する段階と、
第3の予め設定されたアルゴリズムを用いて、別の制御点の動きベクトル予測値と、q番目の動きベクトルグループにおける、M個の制御点の、動きベクトル予測値とに基づいて、q番目の動きベクトルグループに対応する固有値を決定する段階と
を含む。
【0029】
任意で、復号予定ユニットの動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む。
【0030】
本発明の実施形態が、
第1の予め設定されたルールに従って、符号化予定ユニットの隣接する符号化されたユニットからN個の符号化されたユニットを決定するように構成される決定モジュールであって、N個の符号化されたユニットの動き予測モードが、符号化予定ユニットのそれと同じであり、Nは、正の整数である、決定モジュールと、
第1の予め設定されたアルゴリズムを用いて、決定モジュールによって決定されたn番目の符号化されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成するように構成される計算モジュールであって、nは、Nより大きくない任意の正の整数を有する、計算モジュールと、
符号化予定ユニットに対応するビットストリームを取得するべく、各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を符号化するように構成される符号化モジュールであって、最適な動きベクトルグループのインデックス識別子は、復号装置に、各サンプルユニットの予測サンプル値を決定するように命令するために用いられる、符号化モジュールと
を含み、
決定モジュールは、
第2の予め設定されたルールに従って、計算モジュールによって取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして決定する
ように更に構成され、
計算モジュールは、
第2の予め設定されたアルゴリズムを用いて、決定モジュールによって決定された最適な動きベクトルグループに基づいて、符号化予定ユニットにおける各サンプルユニットの予測サンプル値を決定し、
各サンプルユニットの元のサンプル値と各サンプルユニットの予測サンプル値との間の差に基づいて、各サンプルユニットの予測残差を決定する
ように更に構成される、
画像符号化装置
を更に提供する。
【0031】
任意で、計算モジュールは、具体的には、
第1の予め設定されたアルゴリズムを用いて、決定モジュールによって決定されたn番目の符号化されたユニットの動きベクトルと、n番目の符号化されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、符号化予定ユニットのM個の制御点の動きベクトル予測値を決定する、
M個の制御点の動きベクトル予測値に基づいてn番目の動きベクトルグループを生成する
ように構成され、
Mは、符号化予定ユニットの動き予測モードに基づいて決定される正の整数である。
【0032】
任意で、M個の制御点は、符号化予定ユニットの左上の頂点及び右上の頂点を含み、
計算モジュールは、具体的には、
次式(1)を用いて、決定モジュールによって決定されたn番目の符号化されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の符号化されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の符号化されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、n番目の符号化されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の符号化されたユニットの右上の頂点のサンプル座標(x
3,y
3)、n番目の符号化されたユニットの左下の頂点のサンプル座標(x
4,y
4)、及び符号化予定ユニットの左上の頂点のサンプル座標(x
0,y
0)に基づいて、符号化予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する
ように構成され、
【数1】
計算モジュールは、
次式(2)を用いて、決定モジュールによって決定されたn番目の符号化されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の符号化されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の符号化されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の符号化されたユニットの右上の頂点のサンプル座標(x
3,y
3)、符号化予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)、符号化予定ユニットの左上の頂点のサンプル座標(x
0,y
0)、及び符号化予定ユニットの
右上の頂点のサンプル座標(x
1,y
1)に基づいて、符号化予定ユニットの右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する
ように更に構成される、
【数2】
。
【0033】
任意で、決定モジュールは、具体的には、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従ってN個の動きベクトルグループをソートする、
Nが予め設定された値より大きいか又はそれに等しい場合、候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する、
前の予め設定された数の動きベクトルグループの各々と符号化予定ユニットとの間のマッチング誤差を決定する、
マッチング誤差が最小である1つの動きベクトルグループを最適な動きベクトルグループとして決定する
ように構成される。
【0034】
任意で、予め設定されたソートルールは、N個の符号化されたユニットの降順を含む。
【0035】
任意で、決定モジュールは、
予め設定されたソートルールに従ってN個の動きベクトルグループをソートすることと、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成することであって、NとQとの和は、予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、生成することと、
候補動きベクトルキューを生成するべく、N個の動きベクトルグループの後にQ個の動きベクトルグループを追加することと、
候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定することと、
前の予め設定された数の動きベクトルグループの各々と符号化予定ユニットとの間のマッチング誤差を決定することと、
マッチング誤差が最小である1つの動きベクトルグループを最適な動きベクトルグループとして決定することと
を行うように更に構成される。
【0036】
任意で、決定モジュールは、
隣接する符号化されたユニットから、符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定することであって、m番目の制御点に対応する符号化されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
m番目の制御点に対応する符号化されたユニットの動きベクトルを、m番目の制御点の動きベクトル予測値として決定することと、
M個の制御点の動きベクトル予測値に基づいてQ個の動きベクトルグループを生成することと
を行うように更に構成される。
【0037】
任意で、決定モジュールは、
隣接する符号化されたユニットから、符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定することであって、m番目の制御点に対応する符号化されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
m番目の制御点に対応する符号化されたユニットの動きベクトルを、m番目の制御点の第1の動きベクトル予測値として決定することと、
M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成することと、
隣接する符号化されたユニットにおけるj番目の符号化されたユニットの動きベクトルを、m番目の制御点の第2の動きベクトル予測値として決定することであって、jは、1,...,又はJのいずれか1つであり、Jは、隣接する符号化されたユニットの数であり、Jは、正の整数である、決定することと、
M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成することと、
Q個の動きベクトルグループを生成するべく、L個の第2の動きベクトルグループの後にK個の第1の動きベクトルグループを追加することと
を行うように更に構成される。
【0038】
任意で、決定モジュールは、
q番目の動きベクトルグループに対応する固有値を決定することであって、qは、Qより大きくない任意の正の整数を有する、決定することと、
Q個の動きベクトルグループに対応する固有値に基づいて昇順にQ個の動きベクトルグループをソートすることと、
候補動きベクトルキューを生成するべく、ソートされたN個の動きベクトルグループの後にソートされたQ個の動きベクトルグループを追加することと
を行うように更に構成される。
【0039】
任意で、決定モジュールは、
M個の制御点における隣接する制御点の、q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定することと、
差の絶対値を予め設定された成分閾値と比較することであって、予め設定された成分閾値は、予測方向における符号化予定ユニットの範囲である、比較することと、
差の絶対値が、予め設定された成分閾値より小さいか又はそれに等しい場合、q番目の動きベクトルグループに対応する固有値を決定することと
を行うように更に構成される。
【0040】
任意で、決定モジュールは、
隣接する符号化されたユニットから、別の制御点に対応する符号化されたユニットを決定することであって、別の制御点に対応する符号化されたユニットと別の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、別の制御点は、符号化予定ユニットにおけるM個の制御点以外の任意の制御点である、決定することと、
別の制御点に対応する符号化されたユニットの動きベクトルを、別の制御点の動きベクトル予測値として決定することと、
第3の予め設定されたアルゴリズムを用いて、別の制御点の動きベクトル予測値と、q番目の動きベクトルグループにおける、M個の制御点の、動きベクトル予測値とに基づいて、q番目の動きベクトルグループに対応する固有値を決定することと
を行うように更に構成される。
【0041】
任意で、符号化予定ユニットの動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む。
【0042】
本発明の実施形態が、
第1の予め設定されたルールに従って、復号予定ユニットの隣接する復号されたユニットからN個の復号されたユニットを決定するように構成される決定モジュールであって、N個の復号されたユニットの動き予測モードが、復号予定ユニットのそれと同じであり、Nは、正の整数である、決定モジュールと、
第1の予め設定されたアルゴリズムを用いて、決定モジュールによって決定されたn番目の復号されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成するように構成される計算モジュールであって、nは、Nより大きくない任意の正の整数を有する、計算モジュールと、
各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を取得するべく、復号予定ユニットに対応するビットストリームを復号するように構成される復号モジュールと
を含み、
決定モジュールは、復号モジュールによって決定された最適な動きベクトルグループのインデックス識別子に基づいて、N個の動きベクトルグループにおける最適な動きベクトルグループを決定するように更に構成され、
計算モジュールは、第2の予め設定されたアルゴリズムを用いて、決定モジュールによって決定された最適な動きベクトルグループに基づいて、復号予定ユニットにおける各サンプルユニットの予測サンプル値を決定する、
各サンプルユニットの予測サンプル値と各サンプルユニットの予測残差との和に基づいて、各サンプルユニットの再構成サンプル値を決定する
ように更に構成される、
画像復号装置
を更に提供する。
【0043】
任意で、計算モジュールは、具体的には、
第1の予め設定されたアルゴリズムを用いて、決定モジュールによって決定されたn番目の復号されたユニットの動きベクトルと、n番目の復号されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、復号予定ユニットのM個の制御点の動きベクトル予測値を決定する、
M個の制御点の動きベクトル予測値に基づいてn番目の動きベクトルグループを生成する
ように構成され、
Mは、復号予定ユニットの動き予測モードに基づいて決定される正の整数である。
【0044】
任意で、M個の制御点は、復号予定ユニットの左上の頂点及び右上の頂点を含み、
計算モジュールは、具体的には、
次式(1)を用いて、決定モジュールによって決定されたn番目の復号されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の復号されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の復号されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、n番目の復号されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の復号されたユニットの右上の頂点のサンプル座標(x
3,y
3)、n番目の復号されたユニットの左下の頂点のサンプル座標(x
4,y
4)、及び復号予定ユニットの左上の頂点のサンプル座標(x
0,y
0)に基づいて、復号予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する
ように構成され、
【数1】
具体的には、計算モジュールは、
次式(2)を用いて、決定モジュールによって決定されたn番目の復号されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の復号されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の復号されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の復号されたユニットの右上の頂点のサンプル座標(x
3,y
3)、復号予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)、復号予定ユニットの左上の頂点のサンプル座標(x
0,y
0)、及び復号予定ユニットの
右上の頂点のサンプル座標(x
1,y
1)に基づいて、復号予定ユニットの右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する
ように更に構成される、
【数2】
。
【0045】
任意で、決定モジュールは、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従ってN個の動きベクトルグループをソートし、
Nが予め設定された値より大きいか又はそれに等しい場合、候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定し、
最適な動きベクトルグループのインデックス識別子に基づいて、前の予め設定された数の動きベクトルグループにおける最適な動きベクトルグループを決定する
ように更に構成される。
【0046】
任意で、予め設定されたソートルールは、N個の復号されたユニットの降順を含む。
【0047】
任意で、決定モジュールは、
予め設定されたソートルールに従ってN個の動きベクトルグループをソートすることと、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成することであって、NとQとの和は、予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、生成することと、
候補動きベクトルキューを生成するべく、N個の動きベクトルグループの後にQ個の動きベクトルグループを追加することと、
候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定することと、
最適な動きベクトルグループのインデックス識別子に基づいて前の予め設定された数の動きベクトルグループにおける最適な動きベクトルグループを決定することと
を行うように更に構成される。
【0048】
任意で、決定モジュールは、
隣接する復号されたユニットから、復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定することであって、m番目の制御点に対応する復号されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
m番目の制御点に対応する復号されたユニットの動きベクトルを、m番目の制御点の動きベクトル予測値として決定することと、
M個の制御点の動きベクトル予測値に基づいてQ個の動きベクトルグループを生成することと
を行うように更に構成される。
【0049】
任意で、決定モジュールは、
隣接する復号されたユニットから、復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定することであって、m番目の制御点に対応する復号されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
m番目の制御点に対応する復号されたユニットの動きベクトルを、m番目の制御点の第1の動きベクトル予測値として決定することと、
M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成することと、
隣接する復号されたユニットにおけるj番目の復号されたユニットの動きベクトルを、m番目の制御点の第2の動きベクトル予測値として決定することであって、jは、1,...,又はJのいずれか1つであり、Jは、隣接する復号されたユニットの数であり、Jは、正の整数である、決定することと、
M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成することと、
Q個の動きベクトルグループを生成するべく、L個の第2の動きベクトルグループの後にK個の第1の動きベクトルグループを追加することと
を行うように更に構成される。
【0050】
任意で、決定モジュールは、
q番目の動きベクトルグループに対応する固有値を決定することであって、qは、Qより大きくない任意の正の整数を有する、決定することと、
Q個の動きベクトルグループに対応する固有値に基づいて昇順にQ個の動きベクトルグループをソートすることと、
候補動きベクトルキューを生成するべく、ソートされたN個の動きベクトルグループの後にソートされたQ個の動きベクトルグループを追加することと
を行うように更に構成される。
【0051】
任意で、決定モジュールは、
M個の制御点における隣接する制御点の、q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定することと、
差の絶対値を予め設定された成分閾値と比較することであって、予め設定された成分閾値は、予測方向における復号予定ユニットの範囲である、比較することと、
差の絶対値が、予め設定された成分閾値より小さいか又はそれに等しい場合、q番目の動きベクトルグループに対応する固有値を決定することと
を行うように更に構成される。
【0052】
任意で、決定モジュールは、
隣接する復号されたユニットから、別の制御点に対応する復号されたユニットを決定することであって、別の制御点に対応する復号されたユニットと別の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、別の制御点は、復号予定ユニットにおけるM個の制御点以外の任意の制御点である、決定することと、
別の制御点に対応する復号されたユニットの動きベクトルを、別の制御点の動きベクトル予測値として決定することと、
第3の予め設定されたアルゴリズムを用いて、別の制御点の動きベクトル予測値と、q番目の動きベクトルグループにおける、M個の制御点の、動きベクトル予測値とに基づいて、q番目の動きベクトルグループに対応する固有値を決定することと
を行うように更に構成される。
【0053】
任意で、復号予定ユニットの動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む。
【0054】
本発明の実施形態が、
プロセッサと、メモリと、通信インタフェースと、バスとを含み、プロセッサは、バスを用いてメモリ及び通信インタフェースに接続されている、画像符号化装置であって、
メモリは、命令を格納するように構成され、
プロセッサは、命令を実行するように構成され、プロセッサが、メモリに格納された命令を実行する場合に、プロセッサは、先述の画像符号化方法のいずれか1つを実行する、
画像符号化装置
を更に提供する。
【0055】
本発明の実施形態が、
プロセッサと、メモリと、通信インタフェースと、バスとを含み、プロセッサは、バスを用いてメモリ及び通信インタフェースに接続されている、画像復号装置であって、
メモリは、命令を格納するように構成され、
プロセッサは、命令を実行するように構成され、プロセッサが、メモリに格納された命令を実行する場合に、プロセッサは、先述の画像復号方法のいずれか1つを実行する、
画像復号装置
を更に提供する。
【0056】
本発明の実施形態における画像符号化方法及び装置並びに画像復号方法及び装置によれば、
N個の符号化されたユニットは、第1の予め設定されたルールに従って、符号化予定ユニットの隣接する符号化されたユニットから決定されてよく、N個の符号化されたユニットの動き予測モードが、符号化予定ユニットのそれと同じであり、Nは、正の整数であり、
n番目の動きベクトルグループは、第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルに基づいて、生成され、nは、Nより大きくない任意の正の整数を有し、
1つの動きベクトルグループが、第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、最適な動きベクトルグループとして決定され、
符号化予定ユニットにおける各サンプルユニットの予測サンプル値は、第2の予め設定されたアルゴリズムを用いて、最適な動きベクトルグループに基づいて、決定され、
各サンプルユニットの予測残差は、各サンプルユニットの元のサンプル値と各サンプルユニットの予測サンプル値との間の差に基づいて、決定され、
各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子は、符号化予定ユニットに対応するビットストリームを取得するべく、符号化され、最適な動きベクトルグループのインデックス識別子は、復号装置に、各サンプルユニットの予測サンプル値を決定するように命令するために用いられる。N個の符号化されたユニットの動き予測モードが、符号化予定ユニットのそれと同じであるため、N個の符号化されたユニットと符号化予定ユニットとの間の動き相関が、比較的高い。加えて、最適な動きベクトルグループは、N個の符号化されたユニットの動きベクトルに基づいて決定されるN個の動きベクトルグループから決定される。従って、最適な動きベクトルグループに基づいて決定される、符号化予定ユニットにおける各サンプルユニットの、予測サンプル値は、より正確であり、符号化精度が、より高い。
【図面の簡単な説明】
【0057】
本発明の実施形態、又は、従来技術における技術的解決手段をより明確に説明するべく、実施形態又は従来技術を説明するために必要とされる添付図面を以下に簡潔に説明する。以下の説明における添付図面は、本発明のいくつかの実施形態を示し、当業者であれば、これらの添付図面から、創造的努力なく、他の図面を更に導出し得ることは明らかである。
【0058】
【
図1】本発明の実施形態1に係る、画像符号化方法のフローチャートである。
【0059】
【
図2】本発明の実施形態1に係る、画像符号化方法における符号化予定ユニット及び隣接する符号化されたユニットの概略構造図である。
【0060】
【
図3】本発明の実施形態2に係る、画像符号化方法のフローチャートである。
【0061】
【
図4】本発明の実施形態3に係る、画像復号方法のフローチャートである。
【0062】
【
図5】本発明の実施形態4に係る、画像符号化装置の概略構造図である。
【0063】
【
図6】本発明の実施形態5に係る、画像復号装置の概略構造図である。
【0064】
【
図7】本発明の実施形態6に係る、画像符号化装置の概略構造図である。
【0065】
【
図8】本発明の実施形態7に係る、画像復号装置の概略構造図である。
【発明を実施するための形態】
【0066】
本発明の実施形態の目的、技術的解決手段、及び利点をより明確にすべく、以下、本発明の実施形態における添付図面を参照して本発明の実施形態における技術的解決手段を明確かつ完全に説明する。説明されている実施形態は、本発明の実施形態の一部であって全てではないことは明らかである。創造的努力なく本発明の実施形態に基づいて当業者によって得られる全ての他の実施形態は、本発明の保護範囲内に含まれるものとする。
【0067】
本発明において提供されている画像符号化方法及び装置並びに画像復号方法並びに装置が、衛星及び地上波テレビ放送システム、ビデオ会議、セキュリティ監視、医療デモンストレーション、教室記録及び放送、及び法廷審問システム等のシナリオに適用されてよい。フレーム間予測モードを用いて、ビデオ画像の処理予定ユニットに対して動き予測が実行され、ビデオ画像は、動き予測の結果に基づいて符号化され又は復号される。本画像符号化方法及び装置によれば、ビデオ画像における符号化予定ユニットにおける各サンプルユニットの予測サンプル値が、動き予測によって取得されてよく、各サンプルユニットの予測サンプル値と各サンプルユニットの元のサンプル値との間の差が、符号化予定ユニットに対応するビットストリームを取得するために符号化され、これにより、符号化予定ユニットに対応する画像の記憶又は伝送が、符号化予定ユニットに対応するビットストリームの記憶又は伝送によって実装される。対応して、本画像復号方法及び装置によれば、ビデオ画像における復号予定ユニットにおける各サンプルユニットの予測サンプル値が、動き予測によって取得されてよく、復号予定ユニットに対応するビットストリームが、復号予定ユニットの各サンプルユニットの予測サンプル値と各サンプルユニットの元のサンプル値との間の差を取得するために復号され、更に、各サンプルユニットの再構成サンプル値が、差及び予測サンプル値に基づいて取得され、これにより、復号予定ユニットに対応する画像が、各サンプルユニットの再構成サンプル値に基づいて取得されてよい。例えば復号予定ユニットに対応するビットストリームは、画像符号化装置によって伝送され、画像復号装置によって受信されてもよく、又は、記憶デバイスから画像復号装置によって取得されてもよく、ここで、記憶デバイスにおけるビットストリームは、画像復号装置によって記憶デバイスに格納されてもよい。
【0068】
本発明の実施形態1が、画像符号化方法を提供する。画像符号化方法は、画像符号化装置によって実行されてよい。例えば、画像符号化装置は、ソフトウェア及び/又はハードウェアの形態で、画像処理機能を有する電子デバイスに統合されてよい。例えば、電子デバイスは、インテリジェント端末、パーソナルコンピュータ、大衆消費電子製品、又はビデオサーバであってよい。
図1は、本発明の実施形態1に係る、画像符号化方法のフローチャートである。
図1に示すとおり、本方法は、以下の段階を含んでよい。
【0069】
S101:第1の予め設定されたルールに従って、符号化予定ユニットの隣接する符号化されたユニットからN個の符号化されたユニットを決定する段階であって、N個の符号化されたユニットの動き予測モードが、符号化予定ユニットのそれと同じである。
【0070】
具体的には、符号化予定ユニットは、高効率映像符号化(High Efficiency Video Coding、略称:HEVC)規格及び後続の符号化規格における符号化ユニット(Coding Unit、略称:CU)であってよい。HEVC規格において、最大符号化ユニットは、符号化ツリーユニット(Coding Tree Unit、略称:CTU)であってよく、各CTUは、より小さいCUを取得するためにレベルごとに分割されてよい。CUのサイズは、64×64、32×32、16×16、及び8×8の4つのレベル等の、4つのレベルを含んでよい。64×64レベルでのCUが、64×64サンプルを含み、32×32レベルでのCUが、32×32サンプルを含み、16×16レベルでのCUが、16×16サンプルを含み、8×8レベルでのCUが、8×8サンプルを含む。符号化予定ユニットは、64×64、32×32、16×16、及び8×8の4つのレベルのいずれか1つに対応する符号化ユニットであってよい。
【0071】
ビデオ画像の画像のフレーム内の異なる符号化ユニットが、互いに独立している。異なる符号化ユニットは、同じであってもよく、又は異なっていてもよい。具体的には、画像の各フレームにおいて、画像符号化装置は、符号化ユニットごとに符号化を実行してよく、異なる符号化ユニットを符号化するために用いられる動き予測モードが、同じであってもよく、又は異なっていてもよい。画像符号化装置は、符号化ユニットの動き予測モードを用いて符号化ユニットにおける各サンプルユニットに対して動き予測を実行してよく、各サンプルユニットの予測サンプル値を決定し、符号化を更に実施する。動き予測モードは、符号化ユニットにおける制御点の動きベクトルを決定し、符号化ユニットにおける各サンプルユニットの予測サンプル値を更に決定するために用いられてよい。例えば、サンプルユニットは、サンプル又はサンプルブロックを含んでよく、ここで、サンプルブロックは、複数のサンプルを含んでよい。
【0072】
符号化予定ユニットの隣接する符号化されたユニットは、符号化予定ユニットの境界に隣接する位置における符号化されたユニットであってよい。
【0073】
S101において、第1の予め設定されたルールに従って、符号化予定ユニットの隣接する符号化されたユニットからN個の符号化されたユニットを決定する段階は、隣接する符号化されたユニットの中で、動き予測モードが、符号化予定ユニットのそれと同じであるN個の符号化されたユニットを決定するべく、予め設定されたトラバーサル順序で符号化予定ユニットの隣接する符号化されたユニットをトラバースする段階を含んでよい。隣接する符号化されたユニットをトラバースする段階は、隣接する符号化されたユニットの動き予測モードが、符号化予定ユニットのそれと同じであるかどうかを判断する段階であってよい。符号化されたユニットの動き予測モードは、確定であり、従って、隣接する符号化されたユニットの動き予測モードは、隣接する符号化されたユニットに対して符号化が実行される場合に用いられる動き予測モードであってよい。符号化予定ユニットの動き予測モードは、予測のために用いられ得る動き予測モードである。
【0074】
S101において、第1の予め設定されたルールに従って、符号化予定ユニットの隣接する符号化されたユニットからN個の符号化されたユニットを決定する段階の後、本方法は、動き予測モードに対応する指示情報を決定する段階を更に含んでよい。
【0075】
動き予測モードが、アフィン動き予測モードを含む場合、アフィン動き予測モードに対応する指示情報、例えば、構文要素アフィン‐マージ‐フラグ(affine‐merge‐flag)が、決定されてよく、アフィン‐マージ‐フラグは、1に設定される。
【0076】
動き予測モードが、アフィン動き予測モードを含むが、隣接する符号化されたユニットのいずれも、符号化予定ユニットのそれと同じ動き予測モードを有しない場合、アフィン‐マージ‐フラグは、0に設定されてよい。
【0077】
例えば、符号化予定ユニットの動き予測モードが、アフィン動き予測モードであってよい場合、画像符号化装置は、予め設定されたトラバーサル順序で符号化予定ユニットの隣接する符号化されたユニットをトラバースし、隣接する符号化されたユニットの中で、動き予測モードが、アフィン動き予測モードであるN個の符号化されたユニットを決定してよい。アフィン動き予測モードは、アフィン変換動き予測モードとも称されてよい。予め設定されたトラバーサル順序は、符号化予定ユニットの全ての隣接する符号化されたユニットのトラバーサル順序であってよい。例えば、N個の符号化されたユニットの各々は、4×4ユニットであってよい。
【0078】
図2は、本発明の実施形態1に係る、画像符号化方法における符号化予定ユニット及び隣接する符号化されたユニットの概略構造図である。
図2に示すとおり、例えば、符号化予定ユニットの隣接する符号化されたユニットは、符号化されたユニットA、符号化されたユニットB、符号化されたユニットC、符号化されたユニットD、及び符号化されたユニットEを含んでよい。符号化予定ユニットの動き予測モードが、アフィン動き予測モードである場合、符号化予定ユニットにおいて、複数の制御点、例えば、2つの制御点があってよい。例えば2つの制御点は、符号化予定ユニットの左上の頂点、及び符号化予定ユニットの右上の頂点であってよい。符号化予定ユニットの左上の頂点は、サンプルユニット0として表されてよく、符号化予定ユニットの右上の頂点は、サンプルユニット1として表されてよい。
【0079】
画像符号化装置は、第1の予測方向において符号化されたユニットA及び符号化されたユニットBを連続的にトラバースし、第1の予測方向において動き予測モードがアフィン動き予測モードである第1の符号化されたユニット、例えば、符号化されたユニットBを見つけ、第2の予測方向において符号化されたユニットC、符号化されたユニットD、及び符号化されたユニットEを連続的にトラバースし、動き予測モードがアフィン動き予測モードである第1の符号化されたユニット、例えば、符号化されたユニットDを見つけてよい。
【0080】
代替的に、画像符号化装置は、符号化されたユニットA、符号化されたユニットB、符号化されたユニットC、符号化されたユニットD、及び符号化されたユニットEを連続的にトラバースし、動き予測モードがアフィン動き予測モードである第1の符号化されたユニット、例えば、符号化されたユニットBを見つけてよい。
【0081】
S102:第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成する段階、nは、Nより大きくない任意の正の整数を有する。
【0082】
任意で、S102において、第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成する段階は、
第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルと、n番目の符号化されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、符号化予定ユニットのM個の制御点の動きベクトル予測値を決定する段階であって、Mは、符号化予定ユニットの動き予測モードに基づいて決定される正の整数である、段階と、
M個の制御点の動きベクトル予測値に基づいてn番目の動きベクトルグループを生成する段階と
を含んでよい。
【0083】
具体的には、M個の制御点は、符号化予定ユニットの頂点位置におけるサンプルユニットを含んでよい。符号化予定ユニットの動き予測モードが、アフィン動き予測モードである場合、Mは、1より大きくてよく、M個の制御点は、符号化予定ユニットのM個の頂点を含んでよい。
【0084】
例えば、符号化予定ユニットの動き予測モードが、アフィン動き予測モードである場合、Mは、2であってよく、M個の制御点は、符号化予定ユニットの左上の頂点及び符号化予定ユニットの右上の頂点を含んでよい。符号化予定ユニットの左上の頂点は、
図2におけるサンプルユニット0であってよく、符号化予定ユニットの右上の頂点は、
図2におけるサンプルユニット1であってよい。例えば、S101において決定されたN個の符号化されたユニットにおけるn番目の符号化されたユニットは、
図2における符号化されたユニットBであってよい。以下に、符号化されたユニットBを例として説明を提供する。
図2における符号化されたユニットBにおける少なくとも2つのサンプルユニットが、3つのサンプルユニット:符号化されたユニットBの左上の頂点、符号化されたユニットBの右上の頂点、及び符号化されたユニットBの左下の頂点であってよい。符号化されたユニットBの左上の頂点は、サンプルユニット2であってよく、符号化されたユニットBの右上の頂点は、サンプルユニット3として表されてよく、符号化されたユニットBの左下の頂点は、サンプルユニット4として表されてよい。
【0085】
第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルと、n番目の符号化されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、符号化予定ユニットのM個の制御点の動きベクトル予測値を決定する段階は、
次式(1)を用いて、n番目の符号化されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の符号化されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の符号化されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、n番目の符号化されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の符号化されたユニットの右上の頂点のサンプル座標(x
3,y
3)、n番目の符号化されたユニットの左下の頂点のサンプル座標(x
4,y
4)、及び符号化予定ユニットの左上の頂点のサンプル座標(x
0,y
0)に基づいて、符号化予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する段階と、
【数1】
次式(2)を用いて、n番目の符号化されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の符号化されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の符号化されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の符号化されたユニットの右上の頂点のサンプル座標(x
3,y
3)、符号化予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)、符号化予定ユニットの左上の頂点のサンプル座標(x
0,y
0)、及び符号化予定ユニットの
右上の頂点のサンプル座標(x
1,y
1)に基づいて、符号化予定ユニットの右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する段階と、
【数2】
を含んでよい。
【0086】
S103:第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階である。
【0087】
任意で、S103において、第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階は、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従ってN個の動きベクトルグループをソートする段階と、
Nが予め設定された値より大きいか又はそれに等しい場合、候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
前の予め設定された数の動きベクトルグループの各々と符号化予定ユニットとの間のマッチング誤差を決定する段階と、
マッチング誤差が最小である1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階と
を含んでよい。
【0088】
具体的には、予め設定されたソートルールは、N個の符号化されたユニットの降順を含んでよい。
【0089】
例えば、N個の符号化されたユニットの各々のサイズは、各符号化されたユニットの水平幅と垂直高さとの積であってよい。例えば、N個の符号化されたユニットの各々のサイズは、次式(3)に基づいて決定され得、
【数3】
ここで、S
iは、各符号化されたユニットのサイズであり、W
iは、各符号化されたユニットの水平幅であり、H
iは、各符号化されたユニットの垂直高さであり、iは、各符号化されたユニットの識別子である。
【0090】
例えば、Nが2である場合、N個の符号化されたユニットは、
図2において示される符号化されたユニットB及び符号化されたユニットDであってよい。
【0091】
符号化されたユニットBのサイズは、SBであってよい。SBは、WBとHBとの積である。WBは、符号化されたユニットBの水平幅である。HBは、符号化されたユニットBの垂直高さである。符号化されたユニットDのサイズは、SDであってよい。SDは、WDとHDとの積である。WDは、符号化されたユニットDの水平幅である。HDは、符号化されたユニットDの垂直高さである。例えば、符号化されたユニットBが、符号化されたユニットDより大きい場合、トラバーサル順序は、B>Dとして表されてよい。
【0092】
例えば、符号化されたユニットBに基づいて生成された、候補動きベクトルキューにおける、動きベクトルグループに対応するインデックス識別子が、1であってよい。例えば、符号化されたユニットDに基づいて生成された、候補動きベクトルキューにおける、動きベクトルグループに対応するインデックス識別子が、2であってよい。
【0093】
例えば、Nが10である、換言すると、候補動きベクトルキューが、10個の動きベクトルグループを含む場合、候補動きベクトルキューの前の予め設定された数の動きベクトルグループは、10個の動きベクトルグループにおける最初の5個の動きベクトルグループであってよい。
【0094】
任意で、候補動きベクトルキューの前の予め設定された数の動きベクトルグループから最適な動きベクトルグループを選択する段階は、
前の予め設定された数の動きベクトルグループの各々と符号化予定ユニットとの間のマッチング誤差を決定する段階と、
符号化予定ユニットとのマッチング誤差が最小である1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階と
であってよい。
【0095】
前の予め設定された数の動きベクトルグループの各々と符号化予定ユニットとの間のマッチング誤差を決定する段階は、
動きベクトルグループに基づいて、動きベクトルグループに対応する、符号化予定ユニットにおける、サンプルユニットの予測サンプル値を決定する段階と、
動きベクトルグループに対応するサンプルユニットの予測サンプル値とサンプルユニットの元のサンプル値との間の、差の二乗和(Sum of Squared Difference、略称:SSD)又は差の絶対値の和(Sum of Absolute Differences、略称:SAD)に基づいて、動きベクトルグループに対応するレート歪みコスト(Rate Distortion Cost、略称:RD Cost)を決定する段階と、
動きベクトルグループに対応するレート歪みコストに基づいて、動きベクトルグループと符号化予定ユニットとの間のマッチング誤差を決定する段階と
であってよい。
【0096】
具体的には、先述の段階において、動きベクトルグループに基づいて、動きベクトルグループに対応する、符号化予定ユニットにおける、サンプルユニットの予測サンプル値を決定する段階は、
動きベクトルグループに基づいてサンプルユニットの動きベクトル予測値を決定する段階、及び
サンプルユニットの動きベクトル予測値に基づいて動きベクトルグループに対応するレート歪みコストを更に決定する段階
を含んでよい。
【0097】
例えば、SADを例として、画像符号化装置は、次式(4)を用いて、符号化予定ユニットに対応するビットレートと、動きベクトルグループに対応するサンプルユニットの予測サンプル値とサンプルユニットの元のサンプル値との間のSADとに基づいて、動きベクトルグループに対応するレート歪みコストを決定してよく、
【数4】
ここで、Jは、動きベクトルグループに対応するレート歪みコストであり、SADは、動きベクトルグループに対応するサンプルユニットの予測サンプル値とサンプルユニットの元のサンプル値との間のSADであり、Rは、符号化予定ユニットに対応するビットレートであり、λは、ラグランジュ乗数であり、予め設定された定数である。
【0098】
S104:第2の予め設定されたアルゴリズムを用いて、最適な動きベクトルグループに基づいて、符号化予定ユニットにおける各サンプルユニットの予測サンプル値を決定する段階である。
【0099】
任意で、S104において、第2の予め設定されたアルゴリズムを用いて、最適な動きベクトルグループに基づいて、符号化予定ユニットにおける各サンプルユニットの予測サンプル値を決定する段階は、
第2の予め設定されたアルゴリズムを用いて、M個の制御点の、最適な動きベクトルグループにおける動きベクトル予測値、及び各サンプルユニットのサンプル座標に基づいて、符号化予定ユニットにおける各サンプルユニットの動きベクトル予測値を決定する段階と、
各サンプルユニットの動きベクトル予測値に基づいて、予め設定された参照フレームにおいて、各サンプルユニットの予測サンプル値を決定する段階と
を含んでよい。
【0100】
例えば、
図2に示すとおり、符号化予定ユニットの動き予測モードが、アフィン動き予測モードである場合、符号化予定ユニットにおいて2つの制御点:符号化予定ユニットの左上の頂点及び符号化予定ユニットの右上の頂点があってよい。
【0101】
例えば、画像符号化装置は、次式(5)を用いて、2つの制御点の、最適な動きベクトルグループにおける動きベクトル予測値、及び各サンプルユニットのサンプル座標に基づいて、符号化予定ユニットにおける各サンプルユニットの動きベクトル予測値を決定してよく、
【数5】
ここで、(v
x,v
y)は、各サンプルユニットの動きベクトル予測値であり、v
xは、各サンプルユニットの動きベクトル予測値の水平成分であり、v
yは、各サンプルユニットの動きベクトル予測値の垂直成分であり、(x,y)は、各サンプルユニットのサンプル座標であり、ここで、xは、各サンプルユニットの水平サンプル座標であり、yは、各サンプルユニットの垂直サンプル座標であり、wは、符号化予定ユニットの水平幅である。
【0102】
S105:各サンプルユニットの元のサンプル値と各サンプルユニットの予測サンプル値との間の差に基づいて、各サンプルユニットの予測残差を決定する段階である。
【0103】
S106:符号化予定ユニットに対応するビットストリームを取得するべく、各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を符号化する段階であって、最適な動きベクトルグループのインデックス識別子は、復号装置に、各サンプルユニットの予測サンプル値を決定するように命令するために用いられる。
【0104】
具体的には、S106において、符号化予定ユニットに対応するビットストリームを取得するべく、各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子に対して変換(Transformation)及び量子化(Quantization)が連続的に実行された後、符号化が実行されてよい。
【0105】
変換は、カルーネンレーベ変換(Karhunen-Loeve Transform、略称:KLT)、離散フーリエ変換、離散コサイン変換(Discrete Cosine Transform、略称DCT)、及び同様のもののいずれか1つであってよい。符号化は、エントロピー(Entropy)符号化であってよい。
【0106】
任意で、S106において、各サンプルユニットの予測残差と、最適な動きベクトルグループのインデックス識別子と、予め設定された参照フレームのインデックス識別子とは、符号化予定ユニットに対応するビットストリームを取得するために符号化されてよい。
【0107】
任意で、S106において、各サンプルユニットの予測残差と、最適な動きベクトルグループのインデックス識別子と、予め設定された参照フレームのインデックス識別子と、符号化予定ユニットの動き予測モードに対応する指示情報とは、符号化予定ユニットに対応するビットストリームを取得するために符号化されてよい。
【0108】
N個の符号化されたユニットは、符号化予定ユニットの隣接する符号化されたユニットにおける、同じ動き予測モードを有する符号化されたユニットであるため、N個の符号化されたユニットと符号化予定ユニットとの間の動き相関が、比較的高い。N個の動きベクトルグループは、N個の符号化されたユニットの動きベクトルに基づいて決定されるため、N個の動きベクトルグループにおける最適な動きベクトルグループに基づいて決定される、符号化予定ユニットにおける各サンプルユニットの、動きベクトル予測値は、より正確であり、これにより、符号化精度は、より高い。
【0109】
加えて、最適な動きベクトルグループは、候補動きベクトルキューの前の予め設定された数の動きベクトルグループから決定されてよく、候補動きベクトルキューは、ソートされたN個の動きベクトルグループに基づいて生成される。従って、候補動きベクトルキューにおける最適な動きベクトルグループのインデックス識別子は、比較的小さく、これにより、最適な動きベクトルグループのインデックス識別子を符号化するために用いられるビットの数は、比較的小さく、符号化効率が、向上する。
【0110】
本発明の実施形態1において提供されている画像符号化方法によれば、
N個の符号化されたユニットは、第1の予め設定されたルールに従って、符号化予定ユニットの隣接する符号化されたユニットから決定されてよく、N個の符号化されたユニットの動き予測モードが、符号化予定ユニットのそれと同じであり、
n番目の動きベクトルグループは、第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルに基づいて、生成され、nは、Nより大きくない任意の正の整数を有し、
1つの動きベクトルグループが、第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、最適な動きベクトルグループとして決定され、
符号化予定ユニットにおける各サンプルユニットの予測サンプル値は、第2の予め設定されたアルゴリズムを用いて、最適な動きベクトルグループに基づいて、決定され、
各サンプルユニットの予測残差は、各サンプルユニットの元のサンプル値と各サンプルユニットの予測サンプル値との間の差に基づいて、決定され、
各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子は、符号化予定ユニットに対応するビットストリームを取得するべく、符号化される。N個の符号化されたユニットの動き予測モードが、符号化予定ユニットのそれと同じであるため、N個の符号化されたユニットと符号化予定ユニットとの間の動き相関は、比較的高い。加えて、最適な動きベクトルグループは、N個の符号化されたユニットの動きベクトルに基づいて決定されるN個の動きベクトルグループから決定される。従って、最適な動きベクトルグループに基づいて決定される、符号化予定ユニットにおける各サンプルユニットの、予測サンプル値は、より正確であり、これにより、画像符号化の精度が、より高い。
【0111】
本発明の実施形態2が、画像符号化方法を更に提供する。
図3は、本発明の実施形態2に係る、画像符号化方法のフローチャートである。
図3に示すとおり、本方法によれば、先述の実施形態におけるS103において、第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階は、以下の段階を含んでよい。
【0112】
S301:予め設定されたソートルールに従ってN個の動きベクトルグループをソートする段階である。
【0113】
例えば、予め設定されたソートルールは、N個の符号化されたユニットの昇順又は降順であってよい。
【0114】
S302:Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成する段階であって、NとQとの和は、予め設定された値より大きいか又はそれに等しく、Qは、正の整数である。
【0115】
Nが予め設定された値より小さい場合、Q個の動きベクトルグループは、候補動きベクトルキューにおける動きベクトルグループの数を保証するために更に生成される必要があり、これにより、選択された最適な動きベクトルグループの精度を保証する。
【0116】
任意で、S302において、Q個の動きベクトルグループを生成する段階は、
隣接する符号化されたユニットから、符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定する段階であって、m番目の制御点に対応する符号化されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
m番目の制御点に対応する符号化されたユニットの動きベクトルを、m番目の制御点の動きベクトル予測値として決定する段階と、
M個の制御点の動きベクトル予測値に基づいてQ個の動きベクトルグループを生成する段階と
を含んでよい。
【0117】
例えば、
図2に示すとおり、隣接する符号化されたユニットが、符号化されたユニットA、符号化されたユニットB、符号化されたユニットC、符号化されたユニットD、及び符号化されたユニットEを含み、符号化予定ユニットにおいて2つの制御点がある場合、符号化予定ユニットの左上の頂点に対応する、隣接する符号化されたユニットにおける、符号化されたユニットは、符号化されたユニットCを含んでよく、符号化予定ユニットの右上の頂点に対応する、隣接する符号化されたユニットにおける、符号化されたユニットは、符号化されたユニットD及び符号化されたユニットEを含んでよい。
【0118】
例えば、符号化予定ユニットの左上の頂点に対応する符号化されたユニットが、符号化されたユニットCを含んでよい場合、左上の頂点の動きベクトル予測値は、
【数8】
であってよい。
【数8】
は、符号化されたユニットCの動きベクトルに基づいて決定された、左上の頂点の、動きベクトル予測値であってよい。
【0119】
例えば、符号化予定ユニットの右上の頂点に対応する符号化されたユニットが、符号化されたユニットD及び符号化されたユニットEを含んでよい場合、右上の頂点の動きベクトル予測値は、
【数9】
であってよく、右上の頂点の別の動きベクトル予測値は、
【数10】
であってよい。
【数9】
は、符号化されたユニットDの動きベクトルに基づいて決定された、右上の頂点の、動きベクトル予測値であってよい。
【数10】
は、符号化されたユニットEの動きベクトルに基づいて決定された、右上の頂点の、動きベクトル予測値であってよい。
【0120】
Q個の動きベクトルグループは、2つの動きベクトルグループ:
【数11】
及び
【数12】
を含んでよい。例えば、Qは、2であってよい。
【0121】
代替的に、S302において、Q個の動きベクトルグループを生成する段階は、
隣接する符号化されたユニットから、符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定する段階であって、m番目の制御点に対応する符号化されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
m番目の制御点に対応する符号化されたユニットの動きベクトルを、m番目の制御点の第1の動きベクトル予測値として決定する段階と、
M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成する段階と、
隣接する符号化されたユニットにおけるj番目の符号化されたユニットの動きベクトルを、m番目の制御点の第2の動きベクトル予測値として決定する段階であって、jは、1,...,又はJのいずれか1つであり、Jは、隣接する符号化されたユニットの数であり、Jは、正の整数である、段階と、
M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成する段階と、
Q個の動きベクトルグループを生成するべく、L個の第2の動きベクトルグループの後にK個の第1の動きベクトルグループを追加する段階と
を含んでよい。
【0122】
具体的には、Q個の動きベクトルグループは、複数回生成されてよい。例えば、K個の第1の動きベクトルグループが、生成され、次に、L個の第2の動きベクトルグループが、生成される。
【0123】
S303:候補動きベクトルキューを生成するべく、N個の動きベクトルグループの後にQ個の動きベクトルグループを追加する段階である。
【0124】
S304:候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階である。
【0125】
S304において候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階の実現プロセスは、実施形態1におけるそれと同様である。詳細はここでは再度説明しない。
【0126】
S305:前の予め設定された数の動きベクトルグループの各々と符号化予定ユニットとの間のマッチング誤差を決定する段階である。
【0127】
S305において各動きベクトルグループと符号化予定ユニットとの間のマッチング誤差を決定する段階の具体的な実現プロセスは、実施形態1におけるそれと同様である。詳細はここでは再度説明しない。
【0128】
S306:マッチング誤差が最小である1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階である。
【0129】
任意で、S303において、候補動きベクトルキューを生成するべく、N個の動きベクトルグループの後にQ個の動きベクトルグループを追加する段階は、
q番目の動きベクトルグループに対応する固有値を決定する段階であって、qは、Qより大きくない任意の正の整数を有する、段階と、
Q個の動きベクトルグループに対応する固有値に基づいて昇順にQ個の動きベクトルグループをソートする段階と、
候補動きベクトルキューを生成するべく、ソートされたN個の動きベクトルグループの後にソートされたQ個の動きベクトルグループを追加する段階と
を含んでよい。
【0130】
任意で、q番目の動きベクトルグループに対応する固有値を決定する段階は、
M個の制御点における隣接する制御点の、q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定する段階と、
差の絶対値を予め設定された成分閾値と比較する段階であって、予め設定された成分閾値は、予測方向における符号化予定ユニットの範囲である、段階と、
差の絶対値が、予め設定された成分閾値より小さいか又はそれに等しい場合、q番目の動きベクトルグループに対応する固有値を決定する段階と
を含んでよい。
【0131】
具体的には、予め設定された成分閾値は、水平予測方向における符号化予定ユニットの水平幅に基づいて決定されてよく、又は、予め設定された成分閾値は、垂直予測方向における符号化予定ユニットの垂直高さに基づいて決定されてよい。
【0132】
例えば、符号化予定ユニットのM個の制御点が、
図2に示すとおり、符号化予定ユニットの左上の頂
点及び右上の頂点を含む場合、Q個の動きベクトルグループは、2つの動きベクトルグループ:
【数13】
及び
【数14】
を含んでよく、ここで、
【数15】
は、符号化予定ユニットの左上の頂点の動きベクトル予測値であり、
【数16】
及び
【数17】
の両方は、符号化予定ユニットの右上の頂点の動きベクトル予測値である。
【0133】
例えば、本実施形態において、M個の制御点における隣接する制御点の動きベクトル予測値の、1つの予測方向における、成分間の差は、次式(6)に基づいて、予め設定された成分閾値と比較されてよく、
【数6】
ここで、
【数18】
は、左上の頂点の動きベクトル予測値の、水平予測方向における、成分であり、
【数19】
は、左上の頂点の動きベクトル予測値の、垂直予測方向における、成分であり、
【数20】
は、右上の頂点の動きベクトル予測値の、水平予測方向における、成分であり、
【数21】
は、右上の頂点の動きベクトル予測値の、垂直予測方向における、成分であり、iは、Cであってよく、jは、D及びEのいずれか一方であってよく、wは、符号化予定ユニットの水平幅であり、hは、符号化予定ユニットの垂直高さである。
【0134】
iがCである場合、jは、D及びE
のいずれか一方であり、
【数18】
と
【数20】
との間の差の絶対値は、
【数22】
より小さいか又はそれに等しく、
【数19】
と
【数21】
との間の差の絶対値は、
【数23】
より小さいか又はそれに等しく、動きベクトルグループ
【数24】
及び
【数25】
は、ソートされる。
【0135】
任意で、q番目の動きベクトルグループに対応する固有値を決定する段階は、
隣接する符号化されたユニットから、別の制御点に対応する符号化されたユニットを決定する段階であって、別の制御点に対応する符号化されたユニットと別の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、別の制御点は、符号化予定ユニットにおけるM個の制御点以外の任意の制御点である、段階と、
別の制御点に対応する符号化されたユニットの動きベクトルを、別の制御点の動きベクトル予測値として決定する段階と、
第3の予め設定されたアルゴリズムを用いて、別の制御点の動きベクトル予測値と、q番目の動きベクトルグループにおける、M個の制御点の、動きベクトル予測値とに基づいて、q番目の動きベクトルグループに対応する固有値を決定する段階と
を含んでよい。
【0136】
例えば、符号化予定ユニットにおけるM個の制御点が、符号化予定ユニットの左上の頂点及び右上の頂点を含んでよい場合、別の制御点は、符号化予定ユニットの左下の頂点、例えば、
図2における符号化予定ユニットのサンプルユニット5であってよい。
【0137】
別の制御点に対応する符号化されたユニットは、符号化されたユニットA及び符号化されたユニットBを含んでよい。従って、符号化されたユニットAの動きベクトルは、別の制御点の動きベクトル予測値
【数26】
として決定されてよく、符号化されたユニットBの動きベクトルは、別の制御点の動きベクトル予測値
【数27】
として決定されてよい。
【0138】
例えば、本実施形態において、q番目の動きベクトルグループに対応する固有値は、次式(7)を用いて、別の制御点の動きベクトル予測値と、q番目の動きベクトルグループにおける、M個の制御点の、動きベクトル予測値とに基づいて、決定されてよく、
【数7】
ここで、D(V)は、q番目の動きベクトルグループに対応する固有値であり、absは、絶対値関数であり、
【数28】
は、左下の頂点等の別の制御点の動きベクトル予測値の、水平予測方向における成分であり、
【数29】
は、左下の頂点等の別の制御点の動きベクトル予測値の、垂直予測方向における成分であり、kは、A及びBのいずれか一方であってよい。
【0139】
任意で、符号化予定ユニットの動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含んでよい。
【0140】
符号化予定ユニットの動き予測モードが、並進動き予測モードを含む場合、制御点の数、即ち、Mは、1であってよい。符号化予定ユニットの動き予測モードが、アフィン動き予測モードを含む場合、制御点の数、即ち、Mは、1より大きくてよい。
【0141】
本発明の実施形態2が、候補動きベクトルキューを決定する複数の実現プロセスを提供する。従って、符号化予定ユニットにおける各サンプルユニットの、候補動きベクトルキューから選択された最適な動きベクトルグループに基づいて決定される、予測サンプル値が、より正確であることがより良く保証され得、これにより、符号化精度が、より高く、最適な動きベクトルグループのインデックス識別子を符号化するために用いられるビットの数が、比較的小さく、符号化効率が、向上する。
【0142】
本発明の実施形態3が、画像復号方法を提供する。画像復号方法は、先述の画像符号化方法に対応する復号方法である。画像復号方法は、画像復号装置によって実行されてよい。例えば、画像復号装置は、ソフトウェア及び/又はハードウェアの形態で、画像処理機能を有する電子デバイスに統合されてよい。例えば、電子デバイスは、インテリジェント端末、パーソナルコンピュータ、大衆消費電子製品、又はビデオサーバであってよい。
図4は、本発明の実施形態3に係る、画像復号方法のフローチャートである。
図4に示すとおり、本方法は、以下の段階を含んでよい。
【0143】
S401:第1の予め設定されたルールに従って、復号予定ユニットの隣接する復号されたユニットからN個の復号されたユニットを決定する段階、N個の復号されたユニットの動き予測モードが、復号予定ユニットのそれと同じである。
【0144】
S401の具体的な実現プロセスは、先述の実施形態におけるS101のそれと同様である。詳細はここでは再度説明しない。
【0145】
S401において、第1の予め設定されたルールに従って、復号予定ユニットの隣接する復号されたユニットからN個の復号されたユニットを決定する段階の前、本方法は、
復号予定ユニットの動き予測モードを決定する段階
を更に含んでよい。
【0146】
具体的には、復号予定ユニットの動き予測モードを決定する段階は、
復号予定ユニットの動き予測モードを取得するべく、復号予定ユニットに対応する構文要素を解析する段階
を含んでよい。解析する段階の後取得された構文要素affine‐merge‐flagが1である場合、復号予定ユニットの動き予測モードは、アフィン動き予測モードである。解析する段階の後取得された構文要素affine‐merge‐flagが0である場合、復号予定ユニットの動き予測モードは、並進動き予測モードである。
【0147】
S402:第1の予め設定されたアルゴリズムを用いて、n番目の復号されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成する段階、nは、Nより大きくない任意の正の整数を有する。
【0148】
S402の具体的な実現プロセスは、先述の実施形態におけるS102のそれと同様である。詳細はここでは再度説明しない。
【0149】
S403:各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を取得するべく、復号予定ユニットに対応するビットストリームを復号する段階である。
【0150】
具体的には、S403において、復号予定ユニットに対応するビットストリームは、復号されてよく、逆量子化(de-quantization)及び逆変換(inverse transformation)が、復号した後に取得された情報に対して連続的に実行され、更に、各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子は、取得される。逆変換は、先述の実施形態におけるS106における変換に対応する逆変換であってよい。逆量子化は、先述の実施形態におけるS106における量子化に対応する逆量子化であってよい。復号することは、S106における符号化することに対応する復号すること、例えば、エントロピー符号化に対応する復号することであってよい。
【0151】
S404:最適な動きベクトルグループのインデックス識別子に基づいて、N個の動きベクトルグループにおける最適な動きベクトルグループを決定する段階である。
【0152】
最適な動きベクトルグループのインデックス識別子は、N個の動きベクトルグループにおける最適な動きベクトルグループのインデックス番号であってよい。
【0153】
S405:第2の予め設定されたアルゴリズムを用いて、最適な動きベクトルグループに基づいて、復号予定ユニットにおける各サンプルユニットの予測サンプル値を決定する段階である。
【0154】
S405において、復号予定ユニットにおける各サンプルユニットの予測サンプル値を決定する段階のプロセスは、先述の実施形態におけるS104のそれと同様であってよい。詳細はここでは再度説明しない。
【0155】
S406:各サンプルユニットの予測サンプル値と各サンプルユニットの予測残差との和に基づいて、各サンプルユニットの再構成サンプル値を決定する段階である。
【0156】
任意で、S402において、第1の予め設定されたアルゴリズムを用いて、n番目の復号されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成する段階は、
第1の予め設定されたアルゴリズムを用いて、n番目の復号されたユニットの動きベクトルと、n番目の復号されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、復号予定ユニットのM個の制御点の動きベクトル予測値を決定する段階と、
M個の制御点の動きベクトル予測値に基づいてn番目の動きベクトルグループを生成する段階と
を含んでよく、
Mは、復号予定ユニットの動き予測モードに基づいて決定される正の整数である。
【0157】
任意で、M個の制御点は、復号予定ユニットの左上の頂点、及び右上の頂点を含む。
【0158】
第1の予め設定されたアルゴリズムを用いて、n番目の復号されたユニットの動きベクトルと、n番目の復号されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、復号予定ユニットのM個の制御点の動きベクトル予測値を決定する段階は、
次式(1)を用いて、n番目の復号されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の復号されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の復号されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、n番目の復号されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の復号されたユニットの右上の頂点のサンプル座標(x
3,y
3)、n番目の復号されたユニットの左下の頂点のサンプル座標(x
4,y
4)、及び復号予定ユニットの左上の頂点のサンプル座標(x
0,y
0)に基づいて、復号予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する段階と、
【数1】
次式(2)を用いて、n番目の復号されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の復号されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の復号されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の復号されたユニットの右上の頂点のサンプル座標(x
3,y
3)、復号予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)、復号予定ユニットの左上の頂点のサンプル座標(x
0,y
0)、及び復号予定ユニットの
右上の頂点のサンプル座標(x
1,y
1)に基づいて、復号予定ユニットの右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する段階と、
【数2】
を含んでよい。
【0159】
任意で、S404において、最適な動きベクトルグループのインデックス識別子に基づいて、N個の動きベクトルグループにおける最適な動きベクトルグループを決定する段階は、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従ってN個の動きベクトルグループをソートする段階と、
Nが予め設定された値より大きいか又はそれに等しい場合、候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
最適な動きベクトルグループのインデックス識別子に基づいて、前の予め設定された数の動きベクトルグループにおける最適な動きベクトルグループを決定する段階と
を含んでよい。
【0160】
任意で、予め設定されたソートルールは、N個の復号されたユニットの降順を含む。
【0161】
代替的に、S404において、最適な動きベクトルグループのインデックス識別子に基づいて、N個の動きベクトルグループにおける最適な動きベクトルグループを決定する段階は、
予め設定されたソートルールに従ってN個の動きベクトルグループをソートする段階と、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成する段階であって、NとQとの和は、予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、段階と、
候補動きベクトルキューを生成するべく、N個の動きベクトルグループの後にQ個の動きベクトルグループを追加する段階と、
候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
最適な動きベクトルグループのインデックス識別子に基づいて、前の予め設定された数の動きベクトルグループにおける最適な動きベクトルグループを決定する段階と
を含んでよい。
【0162】
任意で、Q個の動きベクトルグループを生成する段階は、
隣接する復号されたユニットから、復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定する段階であって、m番目の制御点に対応する復号されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
m番目の制御点に対応する復号されたユニットの動きベクトルを、m番目の制御点の動きベクトル予測値として決定する段階と、
M個の制御点の動きベクトル予測値に基づいてQ個の動きベクトルグループを生成する段階と
を含んでよい。
【0163】
任意で、Q個の動きベクトルグループを生成する段階は、
隣接する復号されたユニットから、復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定する段階であって、m番目の制御点に対応する復号されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
m番目の制御点に対応する復号されたユニットの動きベクトルを、m番目の制御点の第1の動きベクトル予測値として決定する段階と、
M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成する段階と、
隣接する復号されたユニットにおけるj番目の復号されたユニットの動きベクトルを、m番目の制御点の第2の動きベクトル予測値として決定する段階であって、jは、1,...,又はJのいずれか1つであり、Jは、隣接する復号されたユニットの数であり、Jは、正の整数である、段階と、
M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成する段階と、
Q個の動きベクトルグループを生成するべく、L個の第2の動きベクトルグループの後にK個の第1の動きベクトルグループを追加する段階と
を含んでよい。
【0164】
任意で、候補動きベクトルキューを生成するべく、N個の動きベクトルグループの後にQ個の動きベクトルグループを追加する段階は、
q番目の動きベクトルグループに対応する固有値を決定する段階であって、qは、Qより大きくない任意の正の整数を有する、段階と、
Q個の動きベクトルグループに対応する固有値に基づいて昇順にQ個の動きベクトルグループをソートする段階と、
候補動きベクトルキューを生成するべく、ソートされたN個の動きベクトルグループの後にソートされたQ個の動きベクトルグループを追加する段階と
を含んでよい。
【0165】
任意で、q番目の動きベクトルグループに対応する固有値を決定する段階は、
M個の制御点における隣接する制御点の、q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定する段階と、
差の絶対値を予め設定された成分閾値と比較する段階であって、予め設定された成分閾値は、予測方向における復号予定ユニットの範囲である、段階と、
差の絶対値が、予め設定された成分閾値より小さいか又はそれに等しい場合、q番目の動きベクトルグループに対応する固有値を決定する段階と
を含む。
【0166】
任意で、q番目の動きベクトルグループに対応する固有値を決定する段階は、
隣接する復号されたユニットから、別の制御点に対応する復号されたユニットを決定する段階であって、別の制御点に対応する復号されたユニットと別の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、別の制御点は、復号予定ユニットにおけるM個の制御点以外の任意の制御点である、段階と、
別の制御点に対応する復号されたユニットの動きベクトルを、別の制御点の動きベクトル予測値として決定する段階と、
第3の予め設定されたアルゴリズムを用いて、別の制御点の動きベクトル予測値と、q番目の動きベクトルグループにおける、M個の制御点の、動きベクトル予測値とに基づいて、q番目の動きベクトルグループに対応する固有値を決定する段階と
を含んでよい。
【0167】
任意で、復号予定ユニットの動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む。復号予定ユニットの動き予測モードが、並進動き予測モードを含む場合、制御点の数は、1である。復号予定ユニットの動き予測モードが、アフィン動き予測モードを含む場合、制御点の数は、1より大きい。
【0168】
本発明の実施形態3において提供されている画像復号方法は、実施形態1及び実施形態2における画像符号化方法に対応する復号方法である。画像復号方法の有益な効果は、先述の実施形態のそれと同様である。詳細はここでは再度説明しない。
【0169】
本発明の実施形態4が、画像符号化装置を提供する。
図5は、本発明の実施形態4に係る、画像符号化装置の概略構造図である。
図5に示すとおり、画像符号化装置500は、決定モジュール501と、計算モジュール502と、符号化モジュール503とを含む。
【0170】
決定モジュール501は、第1の予め設定されたルールに従って、符号化予定ユニットの隣接する符号化されたユニットからN個の符号化されたユニットを決定するように構成され、N個の符号化されたユニットの動き予測モードが、符号化予定ユニットのそれと同じであり、Nは、正の整数である。
【0171】
計算モジュール502は、第1の予め設定されたアルゴリズムを用いて、決定モジュール501によって決定されたn番目の符号化されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成するように構成され、nは、Nより大きくない任意の正の整数を有する。
【0172】
決定モジュール501は、第2の予め設定されたルールに従って、計算モジュール502によって取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして決定するように更に構成される。
【0173】
計算モジュール502は、
第2の予め設定されたアルゴリズムを用いて、決定モジュールによって決定された最適な動きベクトルグループに基づいて、符号化予定ユニットにおける各サンプルユニットの予測サンプル値を決定する、
各サンプルユニットの元のサンプル値と各サンプルユニットの予測サンプル値との間の差に基づいて、各サンプルユニットの予測残差を決定する
ように更に構成される。
【0174】
符号化モジュール503は、
符号化予定ユニットに対応するビットストリームを取得するべく、各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を符号化する
ように構成され、
最適な動きベクトルグループのインデックス識別子は、復号装置に、各サンプルユニットの予測サンプル値を決定するように命令するために用いられる。
【0175】
任意で、計算モジュール502は、具体的には、
第1の予め設定されたアルゴリズムを用いて、決定モジュール501によって決定されたn番目の符号化されたユニットの動きベクトルと、n番目の符号化されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、符号化予定ユニットのM個の制御点の動きベクトル予測値を決定する、
M個の制御点の動きベクトル予測値に基づいてn番目の動きベクトルグループを生成する
ように構成され、
Mは、符号化予定ユニットの動き予測モードに基づいて決定される正の整数である。
【0176】
任意で、M個の制御点は、符号化予定ユニットの左上の頂点及び右上の頂点を含み、
計算モジュール502は、具体的には、
次式(1)を用いて、決定モジュール501によって決定されたn番目の符号化されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の符号化されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の符号化されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、n番目の符号化されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の符号化されたユニットの右上の頂点のサンプル座標(x
3,y
3)、n番目の符号化されたユニットの左下の頂点のサンプル座標(x
4,y
4)、及び符号化予定ユニットの左上の頂点のサンプル座標(x
0,y
0)に基づいて、符号化予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する
ように構成され、
【数1】
計算モジュール502は、
次式(2)を用いて、決定モジュール501によって決定されたn番目の符号化されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の符号化されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の符号化されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の符号化されたユニットの右上の頂点のサンプル座標(x
3,y
3)、符号化予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)、符号化予定ユニットの左上の頂点のサンプル座標(x
0,y
0)、及び符号化予定ユニットの
右上の頂点のサンプル座標(x
1,y
1)に基づいて、符号化予定ユニットの右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する
ように更に構成される、
【数2】
。
【0177】
任意で、決定モジュール501は、具体的には、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従ってN個の動きベクトルグループをソートする、
Nが予め設定された値より大きいか又はそれに等しい場合、候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する、
前の予め設定された数の動きベクトルグループの各々と符号化予定ユニットとの間のマッチング誤差を決定する、
マッチング誤差が最小である1つの動きベクトルグループを最適な動きベクトルグループとして決定する
ように構成される。
【0178】
任意で、予め設定されたソートルールは、N個の符号化されたユニットの降順を含む。
【0179】
任意で、決定モジュール501は、
予め設定されたソートルールに従ってN個の動きベクトルグループをソートすることと、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成することであって、NとQとの和は、予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、生成することと、
候補動きベクトルキューを生成するべく、N個の動きベクトルグループの後にQ個の動きベクトルグループを追加することと、
候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定することと、
前の予め設定された数の動きベクトルグループの各々と符号化予定ユニットとの間のマッチング誤差を決定することと、
マッチング誤差が最小である1つの動きベクトルグループを最適な動きベクトルグループとして決定することと
を行うように更に構成される。
【0180】
任意で、決定モジュール501は、
隣接する符号化されたユニットから、符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定することであって、m番目の制御点に対応する符号化されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
m番目の制御点に対応する符号化されたユニットの動きベクトルを、m番目の制御点の動きベクトル予測値として決定することと、
M個の制御点の動きベクトル予測値に基づいてQ個の動きベクトルグループを生成することと
を行うように更に構成される。
【0181】
任意で、決定モジュール501は、
隣接する符号化されたユニットから、符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定することであって、m番目の制御点に対応する符号化されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
m番目の制御点に対応する符号化されたユニットの動きベクトルを、m番目の制御点の第1の動きベクトル予測値として決定することと、
M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成することと、
隣接する符号化されたユニットにおけるj番目の符号化されたユニットの動きベクトルを、m番目の制御点の第2の動きベクトル予測値として決定することであって、jは、1,...,又はJのいずれか1つであり、Jは、隣接する符号化されたユニットの数であり、Jは、正の整数である、決定することと、
M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成することと、
Q個の動きベクトルグループを生成するべく、L個の第2の動きベクトルグループの後にK個の第1の動きベクトルグループを追加することと
を行うように更に構成される。
【0182】
任意で、決定モジュール501は、
q番目の動きベクトルグループに対応する固有値を決定することであって、qは、Qより大きくない任意の正の整数を有する、決定することと、
Q個の動きベクトルグループに対応する固有値に基づいて昇順にQ個の動きベクトルグループをソートすることと、
候補動きベクトルキューを生成するべく、ソートされたN個の動きベクトルグループの後にソートされたQ個の動きベクトルグループを追加することと
を行うように更に構成される。
【0183】
任意で、決定モジュール501は、
M個の制御点における隣接する制御点の、q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定することと、
差の絶対値を予め設定された成分閾値と比較することであって、予め設定された成分閾値は、予測方向における符号化予定ユニットの範囲である、比較することと、
差の絶対値が、予め設定された成分閾値より小さいか又はそれに等しい場合、q番目の動きベクトルグループに対応する固有値を決定することと
を行うように更に構成される。
【0184】
任意で、決定モジュール501は、
隣接する符号化されたユニットから、別の制御点に対応する符号化されたユニットを決定することであって、別の制御点に対応する符号化されたユニットと別の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、別の制御点は、符号化予定ユニットにおけるM個の制御点以外の任意の制御点である、決定することと、
別の制御点に対応する符号化されたユニットの動きベクトルを、別の制御点の動きベクトル予測値として決定することと、
第3の予め設定されたアルゴリズムを用いて、別の制御点の動きベクトル予測値と、q番目の動きベクトルグループにおける、M個の制御点の、動きベクトル予測値とに基づいて、q番目の動きベクトルグループに対応する固有値を決定することと
を行うように更に構成される。
【0185】
任意で、符号化予定ユニットの動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む。
【0186】
本発明の実施形態4において提供されている画像符号化装置は、実施形態1又は実施形態2のいずれか一方における画像符号化方法を実行するように構成されてよい。具体的な実現プロセス及び有益な効果は、先述の実施形態のそれらと同様である。詳細はここでは再度説明しない。
【0187】
本発明の実施形態5が、画像復号装置を更に提供する。
図6は、本発明の実施形態5に係る、画像復号装置の概略構造図である。
図6に示すとおり、画像復号装置600は、決定モジュール601と、計算モジュール602と、復号モジュール603とを含んでよい。
【0188】
決定モジュール601は、第1の予め設定されたルールに従って、復号予定ユニットの隣接する復号されたユニットからN個の復号されたユニットを決定するように構成され、N個の復号されたユニットの動き予測モードが、復号予定ユニットのそれと同じであり、Nは、正の整数である。
【0189】
計算モジュール602は、第1の予め設定されたアルゴリズムを用いて、決定モジュール601によって決定されたn番目の復号されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成するように構成され、nは、Nより大きくない任意の正の整数を有する。
【0190】
復号モジュール603は、
各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を取得するべく、復号予定ユニットに対応するビットストリームを復号する
ように構成される。
【0191】
決定モジュール601は、
復号モジュール603によって決定された最適な動きベクトルグループのインデックス識別子に基づいて、N個の動きベクトルグループにおける最適な動きベクトルグループを決定する
ように更に構成される。
【0192】
計算モジュール602は、
第2の予め設定されたアルゴリズムを用いて、決定モジュール601によって決定された最適な動きベクトルグループに基づいて、復号予定ユニットにおける各サンプルユニットの予測サンプル値を決定する、
各サンプルユニットの予測サンプル値と各サンプルユニットの予測残差との和に基づいて、各サンプルユニットの再構成サンプル値を決定する
ように更に構成される。
【0193】
任意で、計算モジュール602は、具体的には、
第1の予め設定されたアルゴリズムを用いて、決定モジュール601によって決定されたn番目の復号されたユニットの動きベクトルと、n番目の復号されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、復号予定ユニットのM個の制御点の動きベクトル予測値を決定する、
M個の制御点の動きベクトル予測値に基づいてn番目の動きベクトルグループを生成する
ように構成され、
Mは、復号予定ユニットの動き予測モードに基づいて決定される正の整数である。
【0194】
任意で、M個の制御点は、復号予定ユニットの左上の頂点及び右上の頂点を含み、
計算モジュール602は、具体的には、
次式(1)を用いて、決定モジュール601によって決定されたn番目の復号されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の復号されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の復号されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、n番目の復号されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の復号されたユニットの右上の頂点のサンプル座標(x
3,y
3)、n番目の復号されたユニットの左下の頂点のサンプル座標(x
4,y
4)、及び復号予定ユニットの左上の頂点のサンプル座標(x
0,y
0)に基づいて、復号予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する
ように構成され、
【数1】
具体的には、計算モジュール602は、
次式(2)を用いて、決定モジュール601によって決定されたn番目の復号されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、n番目の復号されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、n番目の復号されたユニットの左上の頂点のサンプル座標(x
2,y
2)、n番目の復号されたユニットの右上の頂点のサンプル座標(x
3,y
3)、復号予定ユニットの左上の頂点の動きベクトル予測値(v
x0,v
y0)、復号予定ユニットの左上の頂点のサンプル座標(x
0,y
0)、及び復号予定ユニットの
右上の頂点のサンプル座標(x
1,y
1)に基づいて、復号予定ユニットの右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する
ように更に構成される、
【数2】
。
【0195】
任意で、決定モジュール601は、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従ってN個の動きベクトルグループをソートし、
Nが予め設定された値より大きいか又はそれに等しい場合、候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定し、
最適な動きベクトルグループのインデックス識別子に基づいて、前の予め設定された数の動きベクトルグループにおける最適な動きベクトルグループを決定する
ように更に構成される。
【0196】
任意で、予め設定されたソートルールは、N個の復号されたユニットの降順を含む。
【0197】
任意で、決定モジュール601は、
予め設定されたソートルールに従ってN個の動きベクトルグループをソートすることと、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成することであって、NとQとの和は、予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、生成することと、
候補動きベクトルキューを生成するべく、N個の動きベクトルグループの後にQ個の動きベクトルグループを追加することと、
候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定することと、
最適な動きベクトルグループのインデックス識別子に基づいて前の予め設定された数の動きベクトルグループにおける最適な動きベクトルグループを決定することと
を行うように更に構成される。
【0198】
任意で、決定モジュール601は、
隣接する復号されたユニットから、復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定することであって、m番目の制御点に対応する復号されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
m番目の制御点に対応する復号されたユニットの動きベクトルを、m番目の制御点の動きベクトル予測値として決定することと、
M個の制御点の動きベクトル予測値に基づいてQ個の動きベクトルグループを生成することと
を行うように更に構成される。
【0199】
任意で、決定モジュール601は、
隣接する復号されたユニットから、復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定することであって、m番目の制御点に対応する復号されたユニットとm番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
m番目の制御点に対応する復号されたユニットの動きベクトルを、m番目の制御点の第1の動きベクトル予測値として決定することと、
M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成することと、
隣接する復号されたユニットにおけるj番目の復号されたユニットの動きベクトルを、m番目の制御点の第2の動きベクトル予測値として決定することであって、jは、1,...,又はJのいずれか1つであり、Jは、隣接する復号されたユニットの数であり、Jは、正の整数である、決定することと、
M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成することと、
Q個の動きベクトルグループを生成するべく、L個の第2の動きベクトルグループの後にK個の第1の動きベクトルグループを追加することと
を行うように更に構成される。
【0200】
任意で、決定モジュール601は、
q番目の動きベクトルグループに対応する固有値を決定することであって、qは、Qより大きくない任意の正の整数を有する、決定することと、
Q個の動きベクトルグループに対応する固有値に基づいて昇順にQ個の動きベクトルグループをソートすることと、
候補動きベクトルキューを生成するべく、ソートされたN個の動きベクトルグループの後にソートされたQ個の動きベクトルグループを追加することと
を行うように更に構成される。
【0201】
任意で、決定モジュール601は、
M個の制御点における隣接する制御点の、q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定することと、
差の絶対値を予め設定された成分閾値と比較することであって、予め設定された成分閾値は、予測方向における復号予定ユニットの範囲である、比較することと、
差の絶対値が、予め設定された成分閾値より小さいか又はそれに等しい場合、q番目の動きベクトルグループに対応する固有値を決定することと
を行うように更に構成される。
【0202】
任意で、決定モジュール601は、
隣接する復号されたユニットから、別の制御点に対応する復号されたユニットを決定することであって、別の制御点に対応する復号されたユニットと別の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、別の制御点は、復号予定ユニットにおけるM個の制御点以外の任意の制御点である、決定することと、
別の制御点に対応する復号されたユニットの動きベクトルを、別の制御点の動きベクトル予測値として決定することと、
第3の予め設定されたアルゴリズムを用いて、別の制御点の動きベクトル予測値と、q番目の動きベクトルグループにおける、M個の制御点の、動きベクトル予測値とに基づいて、q番目の動きベクトルグループに対応する固有値を決定することと
を行うように更に構成される。
【0203】
任意で、復号予定ユニットの動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む。
【0204】
本発明の実施形態5において提供されている画像復号装置は、実施形態3において提供されている画像復号方法を実行してよい。具体的な実現プロセス及び有益な効果は、先述の実施形態のそれらと同様である。詳細はここでは再度説明しない。
【0205】
本発明の実施形態6が、画像符号化装置を提供する。
図7は、本発明の実施形態6に係る、画像符号化装置の概略構造図である。
図7に示すとおり、画像符号化装置700は、プロセッサ701と、メモリ702と、通信インタフェース703と、バス704とを含む。プロセッサ701は、バス704を用いてメモリ702及び通信インタフェース703に接続されている。
【0206】
メモリ702は、命令を格納するように構成される。
【0207】
プロセッサ701は、命令を実行するように構成される。プロセッサ701が、メモリ702に格納された命令を実行する場合に、プロセッサ701は、実施形態1又は実施形態2のいずれか一方における画像符号化方法を実行する。
【0208】
本発明の実施形態6において提供されている画像符号化装置は、実施形態1又は実施形態2において提供されている画像符号化方法を実行してよい。具体的な実現プロセス及び有益な効果は、先述の実施形態のそれらと同様である。詳細はここでは再度説明しない。
【0209】
本発明の実施形態7が、画像復号装置を提供する。
図8は、本発明の実施形態7に係る、画像復号装置の概略構造図である。
図8に示すとおり画像復号装置800は、プロセッサ801と、メモリ802と、通信インタフェース803と、バス804とを含んでよい。プロセッサ801は、バス804を用いてメモリ802及び通信インタフェース803に接続されている。
【0210】
メモリ802は、命令を格納するように構成される。
【0211】
プロセッサ801は、命令を実行するように構成される。プロセッサ801が、メモリ802に格納された命令を実行する場合に、プロセッサ801は、実施形態3における画像復号方法を実行する。
【0212】
本発明の実施形態7において提供されている画像復号装置は、実施形態3において提供されている画像復号方法を実行してよい。具体的な実現プロセス及び有益な効果は、先述の実施形態のそれらと同様である。詳細はここでは再度説明しない。
【0213】
当業者であれば、方法の実施形態の段階の全て又はいくつかが、関連するハードウェアに命令するプログラムにより実装され得ることを理解し得る。プログラムは、コンピュータ可読記憶媒体に格納されてよい。プログラムが起動するとき、方法の実施形態の段階が実行される。先述の記憶媒体は、ROM、RAM、磁気ディスク、又は光ディスク等、プログラムコードを格納できる任意の媒体を含む。
【0214】
最後に、先述の実施形態は、本発明の技術的解決手段を説明することを意図したものに過ぎず、本発明を限定することを意図したものではないことに留意されたい。本発明は、先述の実施形態を参照して詳細に説明されたが、当業者であれば更に、本発明の実施形態の技術的解決手段の範囲から逸脱することなく、先述の実施形態において説明された技術的解決手段に対して変更を施し得る、又は、これらのいくつか若しくは全ての技術的特徴に対して等価な置き換えを成し得ることを理解すべきである。
(項目1)
第1の予め設定されたルールに従って、符号化予定ユニットの隣接する符号化されたユニットからN個の符号化されたユニットを決定する段階であって、前記N個の符号化されたユニットの動き予測モードが、前記符号化予定ユニットのそれと同じであり、Nは、正の整数である、段階と、
第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成する段階であって、nは、Nより大きくない任意の正の整数を有する、段階と、
第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして決定する段階と、
第2の予め設定されたアルゴリズムを用いて、前記最適な動きベクトルグループに基づいて、前記符号化予定ユニットにおける各サンプルユニットの予測サンプル値を決定する段階と、
各サンプルユニットの元のサンプル値と各サンプルユニットの前記予測サンプル値との間の差に基づいて、各サンプルユニットの予測残差を決定する段階と、
前記符号化予定ユニットに対応するビットストリームを取得するべく、各サンプルユニットの前記予測残差及び前記最適な動きベクトルグループのインデックス識別子を符号化する段階であって、前記最適な動きベクトルグループの前記インデックス識別子は、復号装置に、各サンプルユニットの前記予測サンプル値を決定するように命令するために用いられる、段階と
を備える
画像符号化方法。
(項目2)
第1の予め設定されたアルゴリズムを用いて、n番目の符号化されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを前記生成する段階は、
前記第1の予め設定されたアルゴリズムを用いて、前記n番目の符号化されたユニットの前記動きベクトルと、前記n番目の符号化されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、前記符号化予定ユニットの前記M個の制御点の動きベクトル予測値を決定する段階であって、Mは、前記符号化予定ユニットの前記動き予測モードに基づいて決定される正の整数である、段階と、
前記M個の制御点の前記動きベクトル予測値に基づいて前記n番目の動きベクトルグループを生成する段階と
を備える、項目1に記載の方法。
(項目3)
前記M個の制御点は、前記符号化予定ユニットの左上の頂点及び右上の頂点を有し、
前記第1の予め設定されたアルゴリズムを用いて、前記n番目の符号化されたユニットの前記動きベクトルと、前記n番目の符号化されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、前記符号化予定ユニットの前記M個の制御点の動きベクトル予測値を決定する段階は、
次式(1)を用いて、前記n番目の符号化されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、前記n番目の符号化されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、前記n番目の符号化されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、前記n番目の符号化されたユニットの前記左上の頂点のサンプル座標(x
2,y
2)、前記n番目の符号化されたユニットの前記右上の頂点のサンプル座標(x
3,y
3)、前記n番目の符号化されたユニットの前記左下の頂点のサンプル座標(x
4,y
4)、及び前記符号化予定ユニットの前記左上の頂点のサンプル座標(x
0,y
0)に基づいて、前記符号化予定ユニットの前記左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する段階と、
【数1】
次式(2)を用いて、前記n番目の符号化されたユニットの前記左上の頂点の前記動きベクトル(v
x2,v
y2)、前記n番目の符号化されたユニットの前記右上の頂点の前記動きベクトル(v
x3,v
y3)、前記n番目の符号化されたユニットの前記左上の頂点の前記サンプル座標(x
2,y
2)、前記n番目の符号化されたユニットの前記右上の頂点の前記サンプル座標(x
3,y
3)、前記符号化予定ユニットの前記左上の頂点の前記動きベクトル予測値(v
x0,v
y0)、前記符号化予定ユニットの前記左上の頂点の前記サンプル座標(x
0,y
0)、及び前記符号化予定ユニットの前記左上の頂点のサンプル座標(x
1,y
1)に基づいて、前記符号化予定ユニットの前記右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する段階と、
【数2】
を備える
、項目2に記載の方法。
(項目4)
第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして前記決定する段階は、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従って前記N個の動きベクトルグループをソートする段階と、
Nが予め設定された値より大きいか又はそれに等しい場合、前記候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
前の前記予め設定された数の動きベクトルグループの各々と前記符号化予定ユニットとの間のマッチング誤差を決定する段階と、
マッチング誤差が最小である1つの動きベクトルグループを前記最適な動きベクトルグループとして決定する段階と
を備える、項目2又は3に記載の方法。
(項目5)
前記予め設定されたソートルールは、前記N個の符号化されたユニットの降順を含む、項目4に記載の方法。
(項目6)
第2の予め設定されたルールに従って、取得されたN個の動きベクトルグループから、1つの動きベクトルグループを最適な動きベクトルグループとして前記決定する段階は、
予め設定されたソートルールに従って前記N個の動きベクトルグループをソートする段階と、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成する段階であって、NとQとの和は、前記予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、段階と、
候補動きベクトルキューを生成するべく、前記N個の動きベクトルグループの後に前記Q個の動きベクトルグループを追加する段階と、
前記候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
前の前記予め設定された数の動きベクトルグループの各々と前記符号化予定ユニットとの間のマッチング誤差を決定する段階と、
マッチング誤差が最小である1つの動きベクトルグループを前記最適な動きベクトルグループとして決定する段階と
を備える、項目2又は3に記載の方法。
(項目7)
Q個の動きベクトルグループを前記生成する段階は、
前記隣接する符号化されたユニットから、前記符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定する段階であって、前記m番目の制御点に対応する前記符号化されたユニットと前記m番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
前記m番目の制御点に対応する前記符号化されたユニットの動きベクトルを、前記m番目の制御点の動きベクトル予測値として決定する段階と、
前記M個の制御点の前記動きベクトル予測値に基づいて前記Q個の動きベクトルグループを生成する段階と
を備える、項目6に記載の方法。
(項目8)
Q個の動きベクトルグループを前記生成する段階は、
前記隣接する符号化されたユニットから、前記符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定する段階であって、前記m番目の制御点に対応する前記符号化されたユニットと前記m番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
前記m番目の制御点に対応する前記符号化されたユニットの動きベクトルを、前記m番目の制御点の第1の動きベクトル予測値として決定する段階と、
前記M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成する段階と、
前記隣接する符号化されたユニットにおけるj番目の符号化されたユニットの動きベクトルを、前記m番目の制御点の第2の動きベクトル予測値として決定する段階であって、jは、1,...,又はJのいずれか1つであり、Jは、前記隣接する符号化されたユニットの数であり、Jは、正の整数である、段階と、
前記M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成する段階と、
前記Q個の動きベクトルグループを生成するべく、前記L個の第2の動きベクトルグループの後に前記K個の第1の動きベクトルグループを追加する段階と
を備える、項目6に記載の方法。
(項目9)
候補動きベクトルキューを生成するべく、前記ソートされたN個の動きベクトルグループの後に前記Q個の動きベクトルグループを前記追加する段階は、
q番目の動きベクトルグループに対応する固有値を決定する段階であって、qは、Qより大きくない任意の正の整数を有する、段階と、
前記Q個の動きベクトルグループに対応する固有値に基づいて昇順に前記Q個の動きベクトルグループをソートする段階と、
前記候補動きベクトルキューを生成するべく、前記ソートされたN個の動きベクトルグループの後に前記ソートされたQ個の動きベクトルグループを追加する段階と
を備える、項目6から8の何れか一項に記載の方法。
(項目10)
q番目の動きベクトルグループに対応する固有値を前記決定する段階は、
前記M個の制御点における隣接する制御点の、前記q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定する段階と、
前記差の絶対値を予め設定された成分閾値と比較する段階であって、前記予め設定された成分閾値は、前記予測方向における前記符号化予定ユニットの範囲である、段階と、
前記差の前記絶対値が、前記予め設定された成分閾値より小さいか又はそれに等しい場合、前記q番目の動きベクトルグループに対応する前記固有値を決定する段階と
を備える、項目9に記載の方法。
(項目11)
q番目の動きベクトルグループに対応する固有値を前記決定する段階は、
前記隣接する符号化されたユニットから、別の制御点に対応する符号化されたユニットを決定する段階であって、前記別の制御点に対応する前記符号化されたユニットと前記別の制御点との間の距離は、前記予め設定された距離より小さいか又はそれに等しく、前記別の制御点は、前記符号化予定ユニットにおける前記M個の制御点以外の任意の制御点である、段階と、
前記別の制御点に対応する前記符号化されたユニットの動きベクトルを、前記別の制御点の動きベクトル予測値として決定する段階と、
第3の予め設定されたアルゴリズムを用いて、前記別の制御点の前記動きベクトル予測値と、前記q番目の動きベクトルグループにおける、前記M個の制御点の、動きベクトル予測値とに基づいて、前記q番目の動きベクトルグループに対応する前記固有値を決定する段階と
を備える、項目9又は10に記載の方法。
(項目12)
前記符号化予定ユニットの前記動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む、項目1から11の何れか一項に記載の方法。
(項目13)
第1の予め設定されたルールに従って、復号予定ユニットの隣接する復号されたユニットからN個の復号されたユニットを決定する段階であって、前記N個の復号されたユニットの動き予測モードが、前記復号予定ユニットのそれと同じであり、Nは、正の整数である、段階と、
第1の予め設定されたアルゴリズムを用いて、n番目の復号されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成する段階であって、nは、Nより大きくない任意の正の整数を有する、段階と、
各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を取得するべく、前記復号予定ユニットに対応するビットストリームを復号する段階と、
前記最適な動きベクトルグループの前記インデックス識別子に基づいて、N個の動きベクトルグループにおける前記最適な動きベクトルグループを決定する段階と、
第2の予め設定されたアルゴリズムを用いて、前記最適な動きベクトルグループに基づいて、前記復号予定ユニットにおける各サンプルユニットの予測サンプル値を決定する段階と、
各サンプルユニットの前記予測サンプル値と各サンプルユニットの前記予測残差との和に基づいて、各サンプルユニットの再構成サンプル値を決定する段階と
を備える
画像復号方法。
(項目14)
第1の予め設定されたアルゴリズムを用いて、n番目の復号されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを前記生成する段階は、
前記第1の予め設定されたアルゴリズムを用いて、前記n番目の復号されたユニットの前記動きベクトルと、前記n番目の復号されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、前記復号予定ユニットの前記M個の制御点の動きベクトル予測値を決定する段階であって、Mは、前記復号予定ユニットの前記動き予測モードに基づいて決定される正の整数である、段階と、
前記M個の制御点の前記動きベクトル予測値に基づいて前記n番目の動きベクトルグループを生成する段階と
を備える、項目13に記載の方法。
(項目15)
前記M個の制御点は、前記復号予定ユニットの左上の頂点及び右上の頂点を有し、
前記第1の予め設定されたアルゴリズムを用いて、前記n番目の復号されたユニットの前記動きベクトルと、前記n番目の復号されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、前記復号予定ユニットの前記M個の制御点の動きベクトル予測値を決定する段階は、
次式(1)を用いて、前記n番目の復号されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、前記n番目の復号されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、前記n番目の復号されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、前記n番目の復号されたユニットの前記左上の頂点のサンプル座標(x
2,y
2)、前記n番目の復号されたユニットの前記右上の頂点のサンプル座標(x
3,y
3)、前記n番目の復号されたユニットの前記左下の頂点のサンプル座標(x
4,y
4)、及び前記復号予定ユニットの前記左上の頂点のサンプル座標(x
0,y
0)に基づいて、前記復号予定ユニットの前記左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する段階と、
【数1】
次式(2)を用いて、前記n番目の復号されたユニットの前記左上の頂点の前記動きベクトル(v
x2,v
y2)、前記n番目の復号されたユニットの前記右上の頂点の前記動きベクトル(v
x3,v
y3)、前記n番目の復号されたユニットの前記左上の頂点の前記サンプル座標(x
2,y
2)、前記n番目の復号されたユニットの前記右上の頂点の前記サンプル座標(x
3,y
3)、前記復号予定ユニットの前記左上の頂点の前記動きベクトル予測値(v
x0,v
y0)、前記復号予定ユニットの前記左上の頂点の前記サンプル座標(x
0,y
0)、及び前記復号予定ユニットの前記左上の頂点のサンプル座標(x
1,y
1)に基づいて、前記復号予定ユニットの前記右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する段階と、
【数2】
を備える、項目14に記載の方法。
(項目16)
前記最適な動きベクトルグループの前記インデックス識別子に基づいて、N個の動きベクトルグループにおける前記最適な動きベクトルグループを前記決定する段階は、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従って前記N個の動きベクトルグループをソートする段階と、
Nが予め設定された値より大きいか又はそれに等しい場合、前記候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
前記最適な動きベクトルグループの前記インデックス識別子に基づいて、前の前記予め設定された数の動きベクトルグループにおける前記最適な動きベクトルグループを決定する段階と
を備える、項目14又は15に記載の方法。
(項目17)
前記予め設定されたソートルールは、前記N個の復号されたユニットの降順を含む、項目16に記載の方法。
(項目18)
前記最適な動きベクトルグループの前記インデックス識別子に基づいて、N個の動きベクトルグループにおける前記最適な動きベクトルグループを前記決定する段階は、
予め設定されたソートルールに従って前記N個の動きベクトルグループをソートする段階と、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成する段階であって、NとQとの和は、前記予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、段階と、
候補動きベクトルキューを生成するべく、前記N個の動きベクトルグループの後に前記Q個の動きベクトルグループを追加する段階と、
前記候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する段階と、
前記最適な動きベクトルグループの前記インデックス識別子に基づいて、前の前記予め設定された数の動きベクトルグループにおける前記最適な動きベクトルグループを決定する段階と
を備える、項目14又は15に記載の方法。
(項目19)
Q個の動きベクトルグループを前記生成する段階は、
前記隣接する復号されたユニットから、前記復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定する段階であって、前記m番目の制御点に対応する前記復号されたユニットと前記m番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
前記m番目の制御点に対応する前記復号されたユニットの動きベクトルを、前記m番目の制御点の動きベクトル予測値として決定する段階と、
前記M個の制御点の前記動きベクトル予測値に基づいて前記Q個の動きベクトルグループを生成する段階と
を備える、項目18に記載の方法。
(項目20)
Q個の動きベクトルグループを前記生成する段階は、
前記隣接する復号されたユニットから、前記復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定する段階であって、前記m番目の制御点に対応する前記復号されたユニットと前記m番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、段階と、
前記m番目の制御点に対応する前記復号されたユニットの動きベクトルを、前記m番目の制御点の第1の動きベクトル予測値として決定する段階と、
前記M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成する段階と、
前記隣接する復号されたユニットにおけるj番目の復号されたユニットの動きベクトルを、前記m番目の制御点の第2の動きベクトル予測値として決定する段階であって、jは、1,...,又はJのいずれか1つであり、Jは、前記隣接する復号されたユニットの数であり、Jは、正の整数である、段階と、
前記M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成する段階と、
前記Q個の動きベクトルグループを生成するべく、前記L個の第2の動きベクトルグループの後に前記K個の第1の動きベクトルグループを追加する段階と
を備える、項目18に記載の方法。
(項目21)
候補動きベクトルキューを生成するべく、前記ソートされたN個の動きベクトルグループの後に前記Q個の動きベクトルグループを前記追加する段階は、
q番目の動きベクトルグループに対応する固有値を決定する段階であって、qは、Qより大きくない任意の正の整数を有する、段階と、
前記Q個の動きベクトルグループに対応する固有値に基づいて昇順に前記Q個の動きベクトルグループをソートする段階と、
前記候補動きベクトルキューを生成するべく、前記ソートされたN個の動きベクトルグループの後に前記ソートされたQ個の動きベクトルグループを追加する段階と
を備える、項目18から20の何れか一項に記載の方法。
(項目22)
q番目の動きベクトルグループに対応する固有値を前記決定する段階は、
前記M個の制御点における隣接する制御点の、前記q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定する段階と、
前記差の絶対値を予め設定された成分閾値と比較する段階であって、前記予め設定された成分閾値は、前記予測方向における前記復号予定ユニットの範囲である、段階と、
前記差の前記絶対値が、前記予め設定された成分閾値より小さいか又はそれに等しい場合、前記q番目の動きベクトルグループに対応する前記固有値を決定する段階と
を備える、項目21に記載の方法。
(項目23)
q番目の動きベクトルグループに対応する固有値を前記決定する段階は、
前記隣接する復号されたユニットから、別の制御点に対応する復号されたユニットを決定する段階であって、前記別の制御点に対応する前記復号されたユニットと前記別の制御点との間の距離は、前記予め設定された距離より小さいか又はそれに等しく、前記別の制御点は、前記復号予定ユニットにおける前記M個の制御点以外の任意の制御点である、段階と、
前記別の制御点に対応する前記復号されたユニットの動きベクトルを、前記別の制御点の動きベクトル予測値として決定する段階と、
第3の予め設定されたアルゴリズムを用いて、前記別の制御点の前記動きベクトル予測値と、前記q番目の動きベクトルグループにおける、前記M個の制御点の、動きベクトル予測値とに基づいて、前記q番目の動きベクトルグループに対応する前記固有値を決定する段階と
を備える、項目21又は22に記載の方法。
(項目24)
前記復号予定ユニットの前記動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む、項目13から23の何れか一項に記載の方法。
(項目25)
第1の予め設定されたルールに従って、符号化予定ユニットの隣接する符号化されたユニットからN個の符号化されたユニットを決定するように構成される決定モジュールであって、前記N個の符号化されたユニットの動き予測モードが、前記符号化予定ユニットのそれと同じであり、Nは、正の整数である、決定モジュールと、
第1の予め設定されたアルゴリズムを用いて、前記決定モジュールによって決定されたn番目の符号化されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成するように構成される計算モジュールであって、nは、Nより大きくない任意の正の整数を有する、計算モジュールと、
前記符号化予定ユニットに対応するビットストリームを取得するべく、各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を符号化するように構成される符号化モジュールであって、前記最適な動きベクトルグループの前記インデックス識別子は、復号装置に、各サンプルユニットの予測サンプル値を決定するように命令するために用いられる、符号化モジュールと
を備え、
前記決定モジュールは、第2の予め設定されたルールに従って、前記計算モジュールによって取得されたN個の動きベクトルグループから、1つの動きベクトルグループを前記最適な動きベクトルグループとして決定するように更に構成され、
前記計算モジュールは、
第2の予め設定されたアルゴリズムを用いて、前記決定モジュールによって決定された前記最適な動きベクトルグループに基づいて、前記符号化予定ユニットにおける各サンプルユニットの前記予測サンプル値を決定する、
各サンプルユニットの元のサンプル値と各サンプルユニットの前記予測サンプル値との間の差に基づいて、各サンプルユニットの前記予測残差を決定する
ように更に構成される、
画像符号化装置。
(項目26)
前記計算モジュールは、具体的には、
前記第1の予め設定されたアルゴリズムを用いて、前記決定モジュールによって決定された前記n番目の符号化されたユニットの前記動きベクトルと、前記n番目の符号化されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、前記復号予定ユニットの前記M個の制御点の動きベクトル予測値を決定する、
前記M個の制御点の前記動きベクトル予測値に基づいて前記n番目の動きベクトルグループを生成する
ように構成され、
Mは、前記符号化予定ユニットの前記動き予測モードに基づいて決定される正の整数である、
項目25に記載の画像符号化装置。
(項目27)
前記M個の制御点は、前記符号化予定ユニットの左上の頂点及び右上の頂点を有し、
前記計算モジュールは、具体的には、
次式(1)を用いて、前記決定モジュールによって決定された前記n番目の符号化されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、前記n番目の符号化されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、前記n番目の符号化されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、前記n番目の符号化されたユニットの前記左上の頂点のサンプル座標(x
2,y
2)、前記n番目の符号化されたユニットの前記右上の頂点のサンプル座標(x
3,y
3)、前記n番目の符号化されたユニットの前記左下の頂点のサンプル座標(x
4,y
4)、及び前記符号化予定ユニットの前記左上の頂点のサンプル座標(x
0,y
0)に基づいて、前記符号化予定ユニットの前記左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する
ように構成され、
【数1】
前記計算モジュールは、
次式(2)を用いて、前記決定モジュールによって決定された前記n番目の符号化されたユニットの前記左上の頂点の前記動きベクトル(v
x2,v
y2)、前記n番目の符号化されたユニットの前記右上の頂点の前記動きベクトル(v
x3,v
y3)、前記n番目の符号化されたユニットの前記左上の頂点の前記サンプル座標(x
2,y
2)、前記n番目の符号化されたユニットの前記右上の頂点の前記サンプル座標(x
3,y
3)、前記符号化予定ユニットの前記左上の頂点の前記動きベクトル予測値(v
x0,v
y0)、前記符号化予定ユニットの前記左上の頂点の前記サンプル座標(x
0,y
0)、及び前記符号化予定ユニットの前記左上の頂点のサンプル座標(x
1,y
1)に基づいて、前記符号化予定ユニットの前記右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する
ように更に構成される、
【数2】
、項目26に記載の画像符号化装置。
(項目28)
前記決定モジュールは、具体的には、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従って前記N個の動きベクトルグループをソートする、
Nが予め設定された値より大きいか又はそれに等しい場合、前記候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定する、
前の前記予め設定された数の動きベクトルグループの各々と前記符号化予定ユニットとの間のマッチング誤差を決定する、
マッチング誤差が最小である1つの動きベクトルグループを前記最適な動きベクトルグループとして決定する
ように構成される、項目26又は27に記載の画像符号化装置。
(項目29)
前記予め設定されたソートルールは、前記N個の符号化されたユニットの降順を含む、項目28に記載の装置。
(項目30)
前記決定モジュールは、
予め設定されたソートルールに従って前記N個の動きベクトルグループをソートすることと、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成することであって、NとQとの和は、前記予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、生成することと、
候補動きベクトルキューを生成するべく、前記N個の動きベクトルグループの後に前記Q個の動きベクトルグループを追加することと、
前記候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定することと、
前の前記予め設定された数の動きベクトルグループの各々と前記符号化予定ユニットとの間のマッチング誤差を決定することと、
マッチング誤差が最小である1つの動きベクトルグループを前記最適な動きベクトルグループとして決定することと
を行うように更に構成される、項目26又は27に記載の装置。
(項目31)
前記決定モジュールは、
前記隣接する符号化されたユニットから、前記符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定することであって、前記m番目の制御点に対応する前記符号化されたユニットと前記m番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
前記m番目の制御点に対応する前記符号化されたユニットの動きベクトルを、前記m番目の制御点の動きベクトル予測値として決定することと、
前記M個の制御点の前記動きベクトル予測値に基づいて前記Q個の動きベクトルグループを生成することと
を行うように更に構成される、項目30に記載の画像符号化装置。
(項目32)
前記決定モジュールは、
前記隣接する符号化されたユニットから、前記符号化予定ユニットにおけるm番目の制御点に対応する符号化されたユニットを決定することであって、前記m番目の制御点に対応する前記符号化されたユニットと前記m番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
前記m番目の制御点に対応する前記符号化されたユニットの動きベクトルを、前記m番目の制御点の第1の動きベクトル予測値として決定することと、
前記M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成することと、
前記隣接する符号化されたユニットにおけるj番目の符号化されたユニットの動きベクトルを、前記m番目の制御点の第2の動きベクトル予測値として決定することであって、jは、1,...,又はJのいずれか1つであり、Jは、前記隣接する符号化されたユニットの数であり、Jは、正の整数である、決定することと、
前記M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成することと、
前記Q個の動きベクトルグループを生成するべく、前記L個の第2の動きベクトルグループの後に前記K個の第1の動きベクトルグループを追加することと
を行うように更に構成される、項目30に記載の画像符号化装置。
(項目33)
前記決定モジュールは、
q番目の動きベクトルグループに対応する固有値を決定することであって、qは、Qより大きくない任意の正の整数を有する、決定することと、
前記Q個の動きベクトルグループに対応する固有値に基づいて昇順に前記Q個の動きベクトルグループをソートすることと、
前記候補動きベクトルキューを生成するべく、前記ソートされたN個の動きベクトルグループの後に前記ソートされたQ個の動きベクトルグループを追加することと
を行うように更に構成される、項目30から32の何れか一項に記載の画像符号化装置。
(項目34)
前記決定モジュールは、
前記M個の制御点における隣接する制御点の、前記q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定することと、
前記差の絶対値を予め設定された成分閾値と比較することであって、前記予め設定された成分閾値は、前記予測方向における前記符号化予定ユニットの範囲である、比較することと、
前記差の前記絶対値が、前記予め設定された成分閾値より小さいか又はそれに等しい場合、前記q番目の動きベクトルグループに対応する前記固有値を決定することと
を行うように更に構成される、項目33に記載の画像符号化装置。
(項目35)
前記決定モジュールは、
前記隣接する符号化されたユニットから、別の制御点に対応する符号化されたユニットを決定することであって、前記別の制御点に対応する前記符号化されたユニットと前記別の制御点との間の距離は、前記予め設定された距離より小さいか又はそれに等しく、前記別の制御点は、前記符号化予定ユニットにおける前記M個の制御点以外の任意の制御点である、決定することと、
前記別の制御点に対応する前記符号化されたユニットの動きベクトルを、前記別の制御点の動きベクトル予測値として決定することと、
第3の予め設定されたアルゴリズムを用いて、前記別の制御点の前記動きベクトル予測値と、前記q番目の動きベクトルグループにおける、前記M個の制御点の、動きベクトル予測値とに基づいて、前記q番目の動きベクトルグループに対応する前記固有値を決定することと
を行うように更に構成される、項目33又は34に記載の画像符号化装置。
(項目36)
前記符号化予定ユニットの前記動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む、項目25から35の何れか一項に記載の画像符号化装置。
(項目37)
第1の予め設定されたルールに従って、復号予定ユニットの隣接する復号されたユニットからN個の復号されたユニットを決定するように構成される決定モジュールであって、前記N個の復号されたユニットの動き予測モードが、前記復号予定ユニットのそれと同じであり、Nは、正の整数である、決定モジュールと、
第1の予め設定されたアルゴリズムを用いて、前記決定モジュールによって決定されたn番目の復号されたユニットの動きベクトルに基づいて、n番目の動きベクトルグループを生成するように構成される計算モジュールであって、nは、Nより大きくない任意の正の整数を有する、計算モジュールと、
各サンプルユニットの予測残差及び最適な動きベクトルグループのインデックス識別子を取得するべく、前記復号予定ユニットに対応するビットストリームを復号するように構成される復号モジュールと
を備え、
前記決定モジュールは、前記復号モジュールによって決定された前記最適な動きベクトルグループの前記インデックス識別子に基づいて、N個の動きベクトルグループにおける前記最適な動きベクトルグループを決定するように更に構成され、
前記計算モジュールは、第2の予め設定されたアルゴリズムを用いて、前記決定モジュールによって決定された前記最適な動きベクトルグループに基づいて、前記復号予定ユニットにおける各サンプルユニットの予測サンプル値を決定する、
各サンプルユニットの前記予測サンプル値と各サンプルユニットの前記予測残差との和に基づいて、各サンプルユニットの再構成サンプル値を決定する
ように更に構成される、
画像復号装置。
(項目38)
前記計算モジュールは、具体的には、
前記第1の予め設定されたアルゴリズムを用いて、前記決定モジュールによって決定された前記n番目の復号されたユニットの前記動きベクトルと、前記n番目の復号されたユニットのサンプル座標と、M個の制御点のサンプル座標とに基づいて、前記復号予定ユニットの前記M個の制御点の動きベクトル予測値を決定する、
前記M個の制御点の前記動きベクトル予測値に基づいて前記n番目の動きベクトルグループを生成する
ように構成され、
Mは、前記復号予定ユニットの前記動き予測モードに基づいて決定される正の整数である、
項目37に記載の画像復号装置。
(項目39)
前記M個の制御点は、前記復号予定ユニットの左上の頂点及び右上の頂点を有し、
前記計算モジュールは、具体的には、
次式(1)を用いて、前記決定モジュールによって決定された前記n番目の復号されたユニットの左上の頂点の動きベクトル(v
x2,v
y2)、前記n番目の復号されたユニットの右上の頂点の動きベクトル(v
x3,v
y3)、前記n番目の復号されたユニットの左下の頂点の動きベクトル(v
x4,v
y4)、前記n番目の復号されたユニットの前記左上の頂点のサンプル座標(x
2,y
2)、前記n番目の復号されたユニットの前記右上の頂点のサンプル座標(x
3,y
3)、前記n番目の復号されたユニットの前記左下の頂点のサンプル座標(x
4,y
4)、及び前記復号予定ユニットの前記左上の頂点のサンプル座標(x
0,y
0)に基づいて、前記復号予定ユニットの前記左上の頂点の動きベクトル予測値(v
x0,v
y0)を決定する
ように構成され、
【数1】
具体的には、前記計算モジュールは、
次式(2)を用いて、前記決定モジュールによって決定された前記n番目の復号されたユニットの前記左上の頂点の前記動きベクトル(v
x2,v
y2)、前記n番目の復号されたユニットの前記右上の頂点の前記動きベクトル(v
x3,v
y3)、前記n番目の復号されたユニットの前記左上の頂点の前記サンプル座標(x
2,y
2)、前記n番目の復号されたユニットの前記右上の頂点の前記サンプル座標(x
3,y
3)、前記復号予定ユニットの前記左上の頂点の動きベクトル予測値(v
x0,v
y0)、前記復号予定ユニットの前記左上の頂点のサンプル座標(x
0,y
0)、及び前記復号予定ユニットの前記左上の頂点のサンプル座標(x
1,y
1)に基づいて、前記復号予定ユニットの前記右上の頂点の動きベクトル予測値(v
x1,v
y1)を決定する
ように更に構成される、
【数2】
、項目38に記載の画像復号装置。
(項目40)
前記決定モジュールは、
候補動きベクトルキューを生成するべく、予め設定されたソートルールに従って前記N個の動きベクトルグループをソートし、
Nが予め設定された値より大きいか又はそれに等しい場合、前記候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定し、
前記最適な動きベクトルグループの前記インデックス識別子に基づいて、前の前記予め設定された数の動きベクトルグループにおける前記最適な動きベクトルグループを決定する
ように更に構成される、項目38又は39に記載の画像復号装置。
(項目41)
前記予め設定されたソートルールは、前記N個の復号されたユニットの降順を含む、項目40に記載の画像復号装置。
(項目42)
前記決定モジュールは、
予め設定されたソートルールに従って前記N個の動きベクトルグループをソートすることと、
Nが予め設定された値より小さい場合、Q個の動きベクトルグループを生成することであって、NとQとの和は、前記予め設定された値より大きいか又はそれに等しく、Qは、正の整数である、生成することと、
候補動きベクトルキューを生成するべく、前記N個の動きベクトルグループの後に前記Q個の動きベクトルグループを追加することと、
前記候補動きベクトルキューの前の予め設定された数の動きベクトルグループを決定することと、
前記最適な動きベクトルグループの前記インデックス識別子に基づいて前の前記予め設定された数の動きベクトルグループにおける前記最適な動きベクトルグループを決定することと
を行うように更に構成される、項目40又は41に記載の画像復号装置。
(項目43)
前記決定モジュールは、
前記隣接する復号されたユニットから、前記復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定することであって、前記m番目の制御点に対応する前記復号されたユニットと前記m番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
前記m番目の制御点に対応する前記復号されたユニットの動きベクトルを、前記m番目の制御点の動きベクトル予測値として決定することと、
前記M個の制御点の前記動きベクトル予測値に基づいて前記Q個の動きベクトルグループを生成することと
を行うように更に構成される、項目42に記載の画像復号装置。
(項目44)
前記決定モジュールは、
前記隣接する復号されたユニットから、前記復号予定ユニットにおけるm番目の制御点に対応する復号されたユニットを決定することであって、前記m番目の制御点に対応する前記復号されたユニットと前記m番目の制御点との間の距離は、予め設定された距離より小さいか又はそれに等しく、mは、Mより大きくない任意の正の整数を有する、決定することと、
前記m番目の制御点に対応する前記復号されたユニットの動きベクトルを、前記m番目の制御点の第1の動きベクトル予測値として決定することと、
前記M個の制御点の第1の動きベクトル予測値に基づいてK個の第1の動きベクトルグループを生成することと、
前記隣接する復号されたユニットにおけるj番目の復号されたユニットの動きベクトルを、前記m番目の制御点の第2の動きベクトル予測値として決定することであって、jは、1,...,又はJのいずれか1つであり、Jは、前記隣接する復号されたユニットの数であり、Jは、正の整数である、決定することと、
前記M個の制御点の第2の動きベクトル予測値に基づいてL個の第2の動きベクトルグループを生成することと、
前記Q個の動きベクトルグループを生成するべく、前記L個の第2の動きベクトルグループの後に前記K個の第1の動きベクトルグループを追加することと
を行うように更に構成される、項目42に記載の画像復号装置。
(項目45)
前記決定モジュールは、
q番目の動きベクトルグループに対応する固有値を決定することであって、qは、Qより大きくない任意の正の整数を有する、決定することと、
前記Q個の動きベクトルグループに対応する固有値に基づいて昇順に前記Q個の動きベクトルグループをソートすることと、
前記候補動きベクトルキューを生成するべく、前記ソートされたN個の動きベクトルグループの後に前記ソートされたQ個の動きベクトルグループを追加することと
を行うように更に構成される、項目42から44の何れか一項に記載の画像復号装置。
(項目46)
前記決定モジュールは、
前記M個の制御点における隣接する制御点の、前記q番目の動きベクトルグループにおける、動きベクトル予測値の、1つの予測方向における、成分間の差を決定することと、
前記差の絶対値を予め設定された成分閾値と比較することであって、前記予め設定された成分閾値は、前記予測方向における前記復号予定ユニットの範囲である、比較することと、
前記差の前記絶対値が、前記予め設定された成分閾値より小さいか又はそれに等しい場合、前記q番目の動きベクトルグループに対応する前記固有値を決定することと
を行うように更に構成される、項目45に記載の画像復号装置。
(項目47)
前記決定モジュールは、
前記隣接する復号されたユニットから、別の制御点に対応する復号されたユニットを決定することであって、前記別の制御点に対応する前記復号されたユニットと前記別の制御点との間の距離は、前記予め設定された距離より小さいか又はそれに等しく、前記別の制御点は、前記復号予定ユニットにおける前記M個の制御点以外の任意の制御点である、決定することと、
前記別の制御点に対応する前記復号されたユニットの動きベクトルを、前記別の制御点の動きベクトル予測値として決定することと、
第3の予め設定されたアルゴリズムを用いて、前記別の制御点の前記動きベクトル予測値と、前記q番目の動きベクトルグループにおける、前記M個の制御点の、動きベクトル予測値とに基づいて、前記q番目の動きベクトルグループに対応する前記固有値を決定することと
を行うように更に構成される、項目45又は46に記載の画像復号装置。
(項目48)
前記復号予定ユニットの前記動き予測モードは、並進動き予測モード又はアフィン動き予測モードを含む、項目37から47の何れか一項に記載の画像復号装置。
(項目49)
プロセッサと、メモリと、通信インタフェースと、バスとを備え、前記プロセッサは、前記バスを用いて前記メモリ及び前記通信インタフェースに接続されている、画像符号化装置であって、
前記メモリは、命令を格納するように構成され、
前記プロセッサは、前記命令を実行するように構成され、前記プロセッサが、前記メモリに格納された前記命令を実行する場合に、前記プロセッサは、項目1から12の何れか一項に記載の画像符号化方法を実行する、
画像符号化装置。
(項目50)
プロセッサと、メモリと、通信インタフェースと、バスとを備え、前記プロセッサは、前記バスを用いて前記メモリ及び前記通信インタフェースに接続されている、画像復号装置であって、
前記メモリは、命令を格納するように構成され、
前記プロセッサは、前記命令を実行するように構成され、前記プロセッサが、前記メモリに格納された前記命令を実行する場合に、前記プロセッサは、項目13から24の何れか一項に記載の画像復号方法を実行する、
画像復号装置。