(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-03
(45)【発行日】2023-03-13
(54)【発明の名称】イメージ予測方法および装置
(51)【国際特許分類】
H04N 19/52 20140101AFI20230306BHJP
【FI】
H04N19/52
【外国語出願】
(21)【出願番号】P 2020031922
(22)【出願日】2020-02-27
(62)【分割の表示】P 2018505411の分割
【原出願日】2015-12-31
【審査請求日】2020-03-30
(31)【優先権主張番号】201510543542.8
(32)【優先日】2015-08-29
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(73)【特許権者】
【識別番号】505383316
【氏名又は名称】中国科学技▲術▼大学
【氏名又は名称原語表記】UNIVERSITY OF SCIENCE AND TECHNOLOGY OF CHINA
【住所又は居所原語表記】96, Jinzhai Road, Baohe District, Hefei, Anhui 230026, P.R. China
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】ルウ、ズオイ
(72)【発明者】
【氏名】リ、リ
(72)【発明者】
【氏名】リ、ホウチャン
(72)【発明者】
【氏名】ヤン、ハイタオ
【審査官】鉢呂 健
(56)【参考文献】
【文献】MATHEW, Reji and TAUBMAN, David S.,Quad-Tree Motion Modeling With Leaf Merging,IEEE Transactions on Circuits and Systems for Video Technology,IEEE,2010年09月20日,Volume 20, Issue 10,pp. 1331-1345,<DOI: 10.1109/TCSVT.2010.2077480>
【文献】HUANG, Han et al.,Control-Point Representation and Differential Coding Affine-Motion Compensation,IEEE Transactions on Circuits and Systems for Video Technology,IEEE,2013年03月27日,Volume 23, Issue 10,pp. 1651-1660,<DOI: 10.1109/TCSVT.2013.2254977>
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
現在のイメージブロックのアフィンベースインター予測のための方法であって、
候補アフィンブロックを決定することであって、前記候補アフィンブロックは、前記現在のイメージブロックに空間的に隣接するアフィン符号化ブロックである、決定することと、
前記候補アフィンブロックの少なくとも2つの制御点の動きベクトルに従って、前記現在のイメージブロックの少なくとも2つの制御点の
動きベクトル(MVs)を導出することと、
前記現在のイメージブロックの少なくとも2つの制御点の前記
動きベクトルに従って、前記現在のイメージブロックの各ピクセル点又は各ピクセル行列の動きベクトルを導出することと、
前記現在のイメージブロックの各ピクセル点又は各ピクセル行列の前記動きベクトルに基づいて、前記現在のイメージブロックの予測値を取得すること、を含む、方法。
【請求項2】
前記候補アフィンブロックの少なくとも2つの制御点の動きベクトルに従って、前記現在のイメージブロックの少なくとも2つの制御点の
動きベクトル(MVs)を導出することは、
6パラメータアフィンモデルが前記現在のイメージブロックに用いられる場合、前記候補アフィンブロックの3つの制御点の動きベクトルに従って、前記現在のイメージブロックの3つの制御点の
動きベクトル(MVs)を導出することと、
4パラメータアフィンモデルが前記現在のイメージブロックに用いられる場合、前記候補アフィンブロックの2つの制御点の動きベクトルに従って、前記現在のイメージブロックの2つの制御点の
動きベクトル(MVs)を導出すること、
を含む、請求項1に記載の方法。
【請求項3】
前記候補アフィンブロックは矩形ブロックであり、前記候補アフィンブロックの前記制御点は、前記候補アフィンブロックの左上制御点、右上制御点、左下制御点、および右下制御点のうちの2つ以上を含む、請求項1
または2に記載の方法。
【請求項4】
前記現在のイメージブロックは矩形ブロックであり、前記現在のイメージブロックの前記制御点は、前記現在のイメージブロックの左上制御点、右上制御点、左下制御点、および右下制御点のうちの2つ以上を含む、請求項1から
3のいずれか一項に記載の方法。
【請求項5】
前記現在のイメージブロックの各ピクセル点又は各ピクセル行列の前記動きベクトルに基づいて、前記現在のイメージブロックの予測値を取得することは、
前記現在のイメージブロックの前記各ピクセル点又は各ピクセル行列の前記動きベクトル及び参照フレーム情報に従って、動き補償を通じて、前記現在のイメージブロックの前記各ピクセル点又は各ピクセル行列の予測値を取得することと、
前記現在のイメージブロックの前記各ピクセル点又は各ピクセル行列の前記予測値を使用することによって前記現在のイメージブロックの予測値を取得すること、
を含む、請求項1から
4のいずれか一項に記載の方法。
【請求項6】
前記現在のイメージブロックの前記参照フレーム情報は、前記候補アフィンブロックの参照フレーム情報と同一である、請求項
5に記載の方法。
【請求項7】
前記現在のイメージブロックの少なくとも2つの制御点の前記
動きベクトルは、前記候補アフィンブロックに対応する、又は前記現在のイメージブロックの少なくとも2つの制御点の前記動きベクトルは、ビットストリームに含まれるインデックス
に対応する、請求項
6に記載の方法。
【請求項8】
前記現在のイメージブロックの少なくとも2つの制御点の前記
動きベクトルに従って、前記現在のイメージブロックの各ピクセル点又は各ピクセル行列の動きベクトルを前記導出することは、
前記現在のイメージブロックの2つの制御点の前記
動きベクトルに従って、前記現在のイメージブロックの各ピクセル点の動きベクトルを導出することを含み、
【数8】
xおよびyは、それぞれ、前記現在のイメージブロックにおける前記ピクセル点の横座標および縦座標を表し、vxおよびvyは、前記イメージブロックにおける前記ピクセル点の対応する横方向動きベクトルおよび縦方向動きベクトルを表し、x
0、x
1、および、y
0、y
1はそれぞれ、前記現在のイメージブロックにおける前記2つの制御点の横座標および縦座標を表し、vx
0、vx
1、および、vy
0、vy
1は、前記現在のイメージブロックにおける2つの制御点の対応する横方向動きベクトルおよび縦方向動きベクトルを表す、請求項1から
7のいずれか一項に記載の方法。
【請求項9】
請求項1から
8のいずれか一項に記載の方法を実施するように構成される1つ以上のモジュールを備える、インター予測装置。
【請求項10】
プロセッサと、
前記プロセッサに結合され、前記プロセッサによる実行のためのプログラムを格納する非一時的コンピュータ可読記憶媒体であって、前記プログラムは、前記プロセッサによって実行される場合、請求項1から
8のいずれか一項に記載の方法を行うようにデコーダを構成する、非一時的コンピュータ可読記憶媒体と、
を備える、デコーダ。
【請求項11】
符号化器であって、
プロセッサと、
前記プロセッサに結合され、前記プロセッサによる実行のためのプログラムを格納する非一時的コンピュータ可読記憶媒体であって、前記プログラムは、前記プロセッサによって実行される場合、請求項1から
8のいずれか一項に記載の方法を行うように前記符号化器を構成する、非一時的コンピュータ可読記憶媒体と、を備える
符号化器。
【請求項12】
1又は複数のプロセッサによって実行される場合、前記1又は複数のプロセッサに、請求項1から
8のいずれか一項に記載の方法を実行させる複数のコンピュータ命令を備える、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、2015年8月29日に中華人民共和国国家知識産権局に出願された、参照によって全体が本明細書に組み込まれる、「イメージ予測方法および装置」と題する中国特許出願第201510543542.8号に対する優先権を主張するものである。
【0002】
本発明は、ビデオイメージ処理の分野に関連し、特に、イメージ予測方法および装置に関連する。
【背景技術】
【0003】
インターネット技術の急速な発展に伴い、また、人々の物質的および精神的な文化の豊かさが増加するにつれて、映像のアプリケーション、特に、高精細度映像のアプリケーションに関して、インターネットに対する要求が増加している。しかしながら、高精細度映像は、莫大な量のデータを有する。限定された帯域幅を用いてインターネット上で高精細度映像を伝送するために解決される必要がある第1の問題は、高精細度映像の圧縮および符号化である。現在、映像符号化規格の策定に取り組んでいる国際機関は、2つ存在する。すなわち、国際標準化機構(International Organization for Standardization、略称:ISO)/国際電気標準会議(International Electrotechnical Commission、略称:IEC)のムービングピクチャエクスパーツグループ(Moving Picture Experts Group、略称:MPEG)、および、国際電気通信連合 電気通信標準化部門(International Telecommunication Union-Telecommunication standardization sector、略称:ITU‐T)のビデオコーディングエキスパーツグループ(Video Coding Experts Group、略称:VCEG)である。1986年に設立されたMPEGは、主に、ストレージ、テレビ放送、および、インターネットまたは無線ネットワーク上のストリーミングメディアなどに適用される、マルチメディアの分野における関連規格の策定を担っている。ITU‐Tは主に、ビデオ電話、ビデオ会議、または他のアプリケーションなどのリアルタイム映像通信の分野についての映像符号化規格を策定する。
【0004】
過去数十年において、様々なアプリケーションのための国際的な映像符号化規格が成功裏に策定されてきた。それらには主に、ビデオコンパクトディスク(Video Compact Disc、略称:VCD)のためのMPEG‐1規格、デジタルビデオディスク(digital video disc、略称:DVD)およびデジタルビデオ放送(digital video broadcasting、略称:DVB)のためのMPEG‐2規格、ビデオ会議のためのH.261規格、H.263規格、およびH.264規格、任意の形態のオブジェクトの符号化を可能にするMPEG‐4規格、ならびに、最新の高効率映像符号化(High Efficiency Video Coding、略称:HEVC)規格が含まれる。
【0005】
最新の映像符号化規格HEVCと比較すると、線形変換に基づく動きベクトル場を用いる動き補償予測技術は、回転およびズームの動きを含むシーケンスについて、符号化性能を著しく改善できる。アフィン変換に基づく既存の動き補償予測技術において、イメージブロックのアフィン変換パラメータが取得された後、イメージブロックにおける各点の動きベクトルを計算する必要があり、点の動きベクトルに従って動き補償予測を実行する必要がある。これにより、各点の動き補償予測信号を取得する。
【0006】
アフィン変換に基づく動きモデルは、回転およびズームの動きを効果的に符号化するための方法である。処理予定イメージブロック内の各ピクセルの動きベクトルは、ブロックの4つの頂点の動きベクトルを使用することによって導出され得る。回転およびズームのみを含む動きについては、処理予定イメージブロックにおける任意の2つの制御点の動きベクトルのみを取得することによって、アフィン変換モデルを取得できる。アフィン変換モデルパラメータが、制御点の動きベクトルを使用することによって計算され、これにより、現在のブロックにおける各ピクセル点の動きベクトルを取得する。アフィン動き予測モードのレート歪みコストが、映像符号化規格におけるフレーム間予測モードのレート歪みコストと比較される。アフィン動き予測モードのレート歪みコストがより小さい場合、アフィン動き予測モードが処理予定イメージブロックの符号化に使用される。そのようなブロックは、アフィン動き予測ブロックと称され、対応する予測単位は、アフィン動き予測単位と称される。加えて、アフィン動き予測ブロックの4頂点の動き情報、および、中央位置の動き情報は、4×4のサイズを基本単位として記憶される。中央位置の動きベクトル値は、2つの制御点の動きベクトル値の平均値である。動き情報は、動きベクトル、参照フレームインデックス、および予測方向などを含む。
【0007】
符号化効率を改善するために、処理予定イメージブロックの隣接ブロックの動き情報は、処理予定イメージブロックにおける制御点の動き情報として直接的に再使用され得る。隣接ブロックの動きベクトルを検索開始点として使用することによって動き検索をさらに実行する必要はなく、また、動きベクトルの差を符号化する必要はないので、動きベクトルの差の符号化のために消費されるビットが減少する。そのような方法は、現在のブロックのために再使用される隣接ブロックの動きベクトル情報の精度に対する要求が比較的高いが、隣接ブロックの動きベクトル情報の精度は、従来技術において保証できない。その結果、符号化効率を改善することができない。
【発明の概要】
【0008】
本発明は、符号化効率を改善するためのイメージ予測方法および装置を提供する。
【0009】
第1態様によれば、イメージ予測方法であって、イメージ単位の第1参照単位を取得する段階であって、第1参照単位の予測イメージを取得するために使用されるアフィンモデルと同一のアフィンモデルが、イメージ単位の予測イメージを取得するために使用される、段階と、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得する段階と、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報に従って、イメージ単位の基本動き補償単位の動き情報を取得する段階とを備える方法が提供される。
【0010】
第1態様に関連して、第1態様の第1の可能な実装において、イメージ単位の第1参照単位を取得する段階は、イメージ単位に隣接する予測単位が、アフィンモデルを使用することにより予測イメージを取得するかどうかを予め設定された順序で検査する段階と、イメージ単位に隣接する予測単位について、アフィンモデルを使用することによって予測イメージが取得される場合、検査を停止し、予測単位を第1参照単位として使用する段階とを有する。
【0011】
第1態様または第1態様の第1の可能な実装に関連して、第1態様の第2の可能な実装において、プリセット位置は、第1参照単位における単位端点位置である。
【0012】
第1態様、第1態様の第1の可能な実装、または、第1態様の第2の可能な実装のいずれか1つに関連して、第1態様の第3の可能な実装において、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得する段階は、第1参照単位における3つのプリセット位置での基本動き補償単位の動き情報を取得する段階を有し、対応して、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報に従ってイメージ単位の基本動き補償単位の動き情報を取得する段階は、第1参照単位における3つのプリセット位置での基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、イメージ単位の基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得する段階を有する。
【0013】
第1態様の第3の可能な実装に関連して、第1態様の第4の可能な実装において、第1参照単位における3つのプリセット位置での基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、イメージ単位の基本動き補償単位の予測方向、参照フレームインデックス、動きベクトルを取得する段階は、第1参照単位における3つのプリセット位置での基本動き補償単位の予測方向を、イメージ単位の基本動き補償単位に割り当てる段階と、第1参照単位における前記3つのプリセット位置での前記基本動き補償単位の参照フレームインデックスを、イメージ単位の基本動き補償単位に割り当てる段階と、第1参照単位における3つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得する段階とを備える。
【0014】
第1態様の第4の可能な実装に関連して、第1態様の第5の可能な実装において、第1参照単位における3つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得する段階は、
【数1】
の方式で実装され、xおよびyは、それぞれ、イメージ単位の基本動き補償単位の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2、x
3、および、y
1、y
2、y
3はそれぞれ、第1参照単位における3つのプリセット位置での基本動き補償単位の横座標および縦座標であり、vx
1、vx
2、vx
3、および、vy
1、vy
2、vy
3はそれぞれ、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0015】
第1態様、第1態様の第1の可能な実装、または、第1態様の第2の可能な実装のいずれか1つに関連して、第1態様の第6の可能な実装において、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得する段階は、第1参照単位における2つのプリセット位置での基本動き補償単位の動き情報を取得する段階を有し、対応して、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報に従ってイメージ単位の基本動き補償単位の動き情報を取得する段階は、第1参照単位における2つのプリセット位置での基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、イメージ単位の基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得する段階を有する。
【0016】
第1態様の第6の可能な実装に関連して、第1態様の第7の可能な実装において、第1参照単位における2つのプリセット位置での基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、イメージ単位の基本動き補償単位の予測方向、参照フレームインデックス、動きベクトルを取得する段階は、第1参照単位における2つのプリセット位置での基本動き補償単位の予測方向を、イメージ単位の基本動き補償単位に割り当てる段階と、第1参照単位における2つのプリセット位置での基本動き補償単位の参照フレームインデックスを、イメージ単位の基本動き補償単位に割り当てる段階と、第1参照単位における2つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得する段階とを備える。
【0017】
第1態様の第7の可能な実装に関連して、第1態様の第8の可能な実装において、第1参照単位における2つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得する段階は、
【数2】
の方式で実装され、xおよびyは、それぞれ、イメージ単位の基本動き補償単位の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2、および、y
1、y
2はそれぞれ、第1参照単位における2つのプリセット位置での基本動き補償単位の横座標および縦座標であり、vx
1、vx
2、および、vy
1、vy
2は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
第1態様または第1態様の第1~8の可能な実装のいずれか1つに関連して、第1態様の第9の可能な実装において、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の位置情報を取得する段階をさらに含み、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報に従って、イメージ単位の基本動き補償単位の動き情報を取得する段階は、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の位置情報および動き情報に従って、イメージ単位における2またはより多くのプリセット位置の動き情報を取得する段階と、イメージ単位における2またはより多くのプリセット位置の動き情報およびイメージ単位における2またはより多くのプリセット位置の位置情報に従って、イメージ単位の基本動き補償単位の動き情報を取得する段階と、を含む。
【0018】
第2態様によれば、イメージ単位の第1参照単位を取得するように構成された第1取得モジュールであって、第1参照単位の予測イメージを取得するために使用されるアフィンモデルと同一のアフィンモデルが、イメージ単位の予測イメージを取得するために使用される、第1取得モジュールと、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得するように構成された第2取得モジュールと、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報に従って、イメージ単位の基本動き補償単位の動き情報を取得するように構成された第3取得モジュールとを備えるイメージ予測装置が提供される。
【0019】
第2態様に関連して、第2態様の第1の可能な実装において、第1取得モジュールは、イメージ単位に隣接する予測単位が、アフィンモデルを使用することにより予測イメージを取得するかどうかを予め設定された順序で検査し、イメージ単位に隣接する予測単位について、アフィンモデルを使用することによって予測イメージが取得される場合、検査を停止し、予測単位を第1参照単位として使用するように構成される。
【0020】
第2態様または第2態様の第1の可能な実装に関連して、第2態様の第2の可能な実装において、プリセット位置は、第1参照単位における単位端点位置である。
【0021】
第2態様、第2態様の第1の可能な実装、または、第2態様の第2の可能な実装のいずれか1つに関連して、第2態様の第3の可能な実装において、第3取得モジュールは、第1参照単位における3つのプリセット位置での基本動き補償単位の動き情報を取得するように構成され、対応して、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報に従って、イメージ単位の基本動き補償単位の動き情報を取得することは、第1参照単位における3つのプリセット位置での基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、イメージ単位の基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得することを有する。
【0022】
第2態様の第3の可能な実装に関連して、第2態様の第4の可能な実装において、第3取得モジュールはさらに、第1参照単位における3つのプリセット位置での基本動き補償単位の予測方向を、イメージ単位の基本動き補償単位に割り当て、第1参照単位における3つのプリセット位置での基本動き補償単位の参照フレームインデックスを、イメージ単位の基本動き補償単位に割り当て、ならびに、第1参照単位における3つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得するように構成される。
【0023】
第2態様の第4の可能な実装に関連して、第2態様の第5の可能な実装において、第1参照単位における3つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得することは、
【数3】
の方式で実装され、xおよびyは、それぞれ、イメージ単位の基本動き補償単位の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2、x
3、および、y
1、y
2、y
3はそれぞれ、第1参照単位における3つのプリセット位置での基本動き補償単位の横座標および縦座標であり、vx
1、vx
2、vx
3および、vy
1、vy
2、vy
3は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0024】
第2態様、第2態様の第1の可能な実装、または、第2態様の第2の可能な実装のいずれか1つに関連して、第2態様の第6の可能な実装において、第3取得モジュールは、第1参照単位における2つのプリセット位置での基本動き補償単位の動き情報を取得するように構成され、対応して、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報に従って、イメージ単位の基本動き補償単位の動き情報を取得することは、第1参照単位における2つのプリセット位置での基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、イメージ単位の基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得することを有する。
【0025】
第2態様の第6の可能な実装に関連して、第2態様の第7の可能な実装において、第3取得モジュールはさらに、第1参照単位における2つのプリセット位置での基本動き補償単位の予測方向を、イメージ単位の基本動き補償単位に割り当て、第1参照単位における2つのプリセット位置での基本動き補償単位の参照フレームインデックスを、イメージ単位の基本動き補償単位に割り当て、ならびに、第1参照単位における2つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得するように構成される。
【0026】
第2態様の第7の可能な実装に関連して、第2態様の第8の可能な実装において、第1参照単位における2つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得することは、
【数4】
の方式で実装され、xおよびyは、それぞれ、イメージ単位の基本動き補償単位の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2、および、y
1、y
2はそれぞれ、第1参照単位における2つのプリセット位置での基本動き補償単位の横座標および縦座標であり、vx
1、vx
2、および、vy
1、vy
2、は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
第2態様または第2態様の第1~8の可能な実装のいずれか1つに関連して、第2態様の第9の可能な実装において、第3取得モジュールは、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の位置情報および第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報に従って、イメージ単位における2またはより多くのプリセット位置の動き情報を取得し、イメージ単位の2またはより多くのプリセット位置の動き情報およびイメージ単位における2またはより多くのプリセット位置の位置情報に従って、イメージ単位の基本動き補償単位の動き情報を取得するように構成される。
【0027】
上述の技術的解決法に基づき、本発明の実施形態におけるイメージ予測方法および装置によれば、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報は再使用され、したがって、動きベクトルの差を符号化および復号化することなく、ならびに、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルが取得される。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【図面の簡単な説明】
【0028】
本発明の複数の実施形態における技術的解決法をより明確に説明すべく、実施形態または従来技術を説明するために必要な添付の図面を以下で簡潔に説明する。以下の説明における添付図面は、本発明の一部の実施形態を示しているに過ぎず、当業者ならば、創造的努力なく、これらの添付図面から他の図面をさらに導き出し得ることは明らかである。
【0029】
【
図1】本発明の実施形態に係るイメージ予測方法の概略フローチャートである。
【0030】
【
図2】本発明の実施形態に係る候補予測単位の概略図である。
【0031】
【
図3】本発明の実施形態に係るアフィンイメージブロックおよび制御点の概略図である。
【0032】
【
図4】本発明の実施形態に係るイメージ予測方法の別の概略フローチャートである。
【0033】
【
図5】本発明の実施形態に係るイメージ予測装置の概略ブロック図である。
【0034】
【
図6】本発明の実施形態に係るイメージ予測装置の別の概略ブロック図である。
【0035】
【
図7】本発明の実施形態に係るイメージ予測装置の別の概略ブロック図である。
【0036】
【
図8】本発明の実施形態に係るイメージ予測装置の別の概略ブロック図である。
【発明を実施するための形態】
【0037】
本発明の実施形態における添付図面を参照して、本発明の実施形態における技術的解決法を以下で明確かつ完全に説明する。説明されている実施形態は、本発明の実施形態の一部であって、全部ではないことは明らかである。当業者によって、本発明の実施形態に基づいて、創造的努力なく取得されたすべての他の実施形態は、本発明の保護範囲内に属するものとする。
【0038】
本発明の実施形態において、各予測単位における2つの制御点に基づく(4パラメータ)、回転およびズームのアフィンモデルが使用されるか、もしくは、各予測単位における3つの制御点に基づく(6パラメータ)、回転およびズームのアフィンモデルが使用され得るか、または、各予測単位における4つの制御点に基づく(8パラメータ)配景的アフィンモデルなどが使用され得ることを理解すべきである。これらに限定は課されない。
【0039】
基本動き補償単位は、動き補償を実行するための最小単位であり、当該単位は、一様の動き情報を有することを理解すべきである。本発明の実施形態において、ピクセル点が基本動き補償単位として使用されるか、または、ピクセル行列などが基本動き補償単位として使用され得る。これらに限定は課されない。
【0040】
4パラメータのアフィンモデルにおいて、任意の2つの基本動き補償単位の動き情報から、当該2つの基本動き補償単位が位置するアフィン動き予測単位におけるすべての動き補償単位の動き情報が補間され得ることを理解すべきである。好ましくは、アフィン動き予測単位中の任意の2つの単位端点における基本動き補償単位を選択することによって、より正確な補間動き情報が取得され得る。単位端点の位置は、アフィン動き予測単位、すなわち第1参照単位の2つの隣接する辺が合流する点である。例えば、アフィン動き予測単位が三角形である場合、単位端点は、三角形の3つの頂点であり、アフィン動き予測単位が四角形である場合、単位端点は、四角形の4つの頂点である、等である。この実施形態において、アフィン動き予測単位におけるすべての動き補償単位の動き情報は、基本動き補償単位から補間される。説明を容易にするために、この基本動き補償単位は制御点と称される。
【0041】
本発明の実施形態は、復号器によって実装されるイメージ予測方法を提供する。方法は、具体的には、イメージ単位の第1参照単位を取得する段階であって、第1参照単位の予測イメージを取得するために使用されるアフィンモデルが、イメージ単位の予測イメージを取得するために使用される、段階と、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得する段階と、第1参照単位からの動き情報に従って、イメージ単位の基本動き補償単位の動き情報を取得する段階とを備える。
【0042】
本発明のこの実施形態におけるイメージ予測方法および装置によれば、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報は再使用され、したがって、動きベクトルの差を符号化および復号化することなく、および、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルが取得される。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0043】
好ましくは、プリセット位置は、第1参照単位における単位端点位置であり、端点位置は、第1参照単位の2つの隣接する辺が合流する点である。
【0044】
好ましくは、例えば、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得する段階は、第1参照単位における3つのプリセット位置での基本動き補償単位の動き情報を取得する段階を有し、対応して、第1参照単位からの動き情報に従ってイメージ単位の基本動き補償単位の動き情報を取得する段階は、第1参照単位における3つのプリセット位置での基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、イメージ単位の基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得する段階を有する。
【0045】
第1参照単位における3つのプリセット位置での基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、イメージ単位の基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得する段階は、第1参照単位における3つのプリセット位置での基本動き補償単位の予測方向を、イメージ単位の基本動き補償単位に割り当てる段階と、第1参照単位における3つのプリセット位置での基本動き補償単位の参照フレームインデックスを、イメージ単位の基本動き補償単位に割り当てる段階と、第1参照単位における3つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得する段階とであり得る。
【0046】
第1参照単位における3つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得する段階は、
【数5】
の方式で実装され、xおよびyは、それぞれ、イメージ単位の基本動き補償単位の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2
、x
3
、および、y
1、y
2
、y
3
はそれぞれ、第1参照単位における
3つのプリセット位置での基本動き補償単位の横座標および縦座標であり、vx
1、vx
2
、vx
3
、および、vy
1、vy
2
、vy
3
は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0047】
補間によってイメージ単位の基本動き補償単位の動きベクトルを取得するために使用される上述の式は、第1参照単位における選択された任意のプリセット位置での基本動き補償単位の動き情報に従って補間を完了するために使用される一般的な式である。具体的な実施形態において、この式は、選択されたプリセット位置の特殊性に従って、種々のアプリケーションシナリオのために簡略化され得る。例えば、本発明の具体的な実施形態において、単位における左上、左下、右上の単位端点がプリセット位置として選択され、式は以下のように簡略化される。
【数6】
ここで、xおよびyは、それぞれ、処理予定イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、
x
2
、x
3
、x
4
、および、
y
2
、y
3
、y
4
はそれぞれ、アフィン動き予測単位における3つの制御点の横座標および縦座標であり、
vx
2
、vx
3
、vx
4
、および、vy
2
、vy
3
、vy
4
は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0048】
あるいは、例えば、方法は、第1参照単位における2つのプリセット位置での基本動き補償単位の動き情報を取得する段階を備え、対応して、第1参照単位からの動き情報に従って、イメージ単位の基本動き補償単位の動き情報を取得する段階は、第1参照単位における2つのプリセット位置での基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、イメージ単位の基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得する段階を有する。
【0049】
第1参照単位における2つのプリセット位置での基本動き補償単位の動きベクトルに従って、補間によって、イメージ単位の基本動き補償単位の動きベクトルを取得する段階は、
【数7】
の方式で実装され、xおよびyは、それぞれ、イメージ単位の基本動き補償単位の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2、および、y
1、y
2はそれぞれ、第1参照単位における2つのプリセット位置での基本動き補償単位の横座標および縦座標であり、vx
1、vx
2、および、vy
1、vy
2は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0050】
補間によってイメージ単位の基本動き補償単位の動きベクトルを取得するために使用される上述の式は、第1参照単位における選択された任意のプリセット位置での基本動き補償単位の動き情報に従って補間を完了するために使用される一般的な式である。具体的な実施形態において、この式は、選択されたプリセット位置の特殊性に従って、種々のアプリケーションシナリオのために簡略化され得る。例えば、本発明の具体的な実施形態において、単位における左上および右上の単位端点がプリセット位置として選択され、式は以下のように簡略化される。
【数8】
ここで、xおよびyは、それぞれ、処理予定イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
0、x
1、および、y
0、y
1はそれぞれ、アフィン
動き予測単位における2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0051】
加えて、本発明はさらに、符号化処理に適用されるイメージ予測方法を提供する。符号化処理に適用されるイメージ予測方法は、復号化処理に適用される上述のイメージ予測方法と同一である。したがって、符号化性能の同一の改善効果が取得され得る。
【0052】
以下では、具体的な例を使用することにより、本発明の具体的な実装を説明する。
【0053】
図1は、本発明の実施形態に係るイメージ予測方法の概略フローチャートである。
図1に示される方法は、復号器のような復号化装置によって実行され得る。
【0054】
具体的には、
図1に示されるように、方法1000は、以下の段階を備える。
【0055】
S1100:ビットストリームを読み取り、ビットストリームを解析して、構文要素を取得する。構文要素は、処理予定イメージブロックが隣接ブロックのアフィンモデル動き情報を再使用するかどうかを決定するために使用される。処理予定イメージブロックが隣接ブロックのアフィンモデル動き情報を再使用すると決定されたとき、処理は段階S1200に進む。
【0056】
S1200:処理予定イメージブロックについての参照として使用されるアフィン動き予測単位を決定する。
【0057】
当該段階の第1の具体的な実装方法1210は、以下の段階を備える。
【0058】
S1211:処理予定イメージブロックのための候補予測単位の集合を決定する。
【0059】
図2に示されるように、本発明のこの実施形態において、処理予定イメージブロックに空間的に隣接する、A、B、C、DおよびEの5つの位置での4×4のブロックがそれぞれ位置する予測単位が選択されて集合を形成する。あるいは、位置A、B、C、DおよびEのうちのいくつかが選択され得るか、または、時間領域において処理予定イメージブロックに隣接する他のブロックが位置する予測単位が選択され得て集合を形成することを理解すべきである。これらに限定は課されない。
【0060】
S1212:集合における予測単位がアフィン動き予測単位であるかどうかを予め設定された順序で検査する。
【0061】
予め設定された順序は、プロトコルにおいて符号化側および復号化側によって予め定められた順序であり、符号化側と復号化側との間で一定に維持される。本発明のこの実施形態において、予め設定された順序は、A、B、C、DおよびEである。あるいは、予め設定された順序は、B、D、A、EおよびCであり得るか、または、別の順序であり得ることを理解すべきである。これらに限定は課されない。
【0062】
S1213:予測単位がアフィン動き予測単位であることが分かった場合、検査を停止して、処理予定イメージブロックによって参照されるアフィン動き予測単位として予測単位を使用する。
【0063】
段階の第2の具体的な実装方法1220は、以下の段階を備える。
【0064】
S1221:処理予定イメージブロックについての候補予測単位の集合を決定する。
【0065】
S1211と同一の集合決定方式に加えて、方法はさらに、集合における非アフィン動き予測単位ブロックを集合から除外する段階を備え得る。例えば、S1211の決定方式を使用することによって決定される集合は、A、B、C、DおよびEが位置する予測単位を含み、CおよびDが位置する予測単位は、アフィン動き予測単位ではない。したがって、CおよびDは、集合から除外され、候補予測単位の決定された集合は、A、BおよびEが位置する予測単位を含む。
【0066】
あるいは、方法は、集合の容量を限定する段階と、許容可能な量の候補予測単位から外れた順位の検査順序を有する候補予測単位を集合から除外する段階とを備え得る。例えば、集合における候補予測単位の量は、最大で2に設定される。S1212の検査順序に従って、S1211の決定方式を使用して決定される、検査順序に沿った集合は、A、D、C、EおよびBである。したがって、C、EおよびBが集合から除外され、候補予測単位の決定された集合は、AおよびDが位置する予測単位を含む。集合の容量は、3または4に設定され得るか、または、0より大きいが、S1211の決定方式を使用することによって決定された候補予測単位の最大量より小さいか、もしくはそれに等しい範囲内に容量が含まれる場合、限定されないことがあり得ることを理解すべきである。
【0067】
あるいは、上述の2つの集合決定方式は、組み合わせて使用され得る。
【0068】
S1222:ビットストリームを読み取り、ビットストリームを解析して、構文要素を取得する。構文要素は、処理予定イメージブロックについての参照として使用され、かつ、候補予測単位の集合内にあるアフィン動き予測単位のインデックス情報を示すために使用される。
【0069】
S1223:インデックス情報に従って、処理予定イメージブロックについての参照として使用されるアフィン動き予測単位を決定する。
【0070】
例えば、候補予測単位の集合が2つの候補予測単位AおよびBを含む場合、Aのインデックスは0であり、Bのインデックスは1である。ビットストリームは読み取られ、解析されてインデックス情報が取得される。インデックス情報が0である場合、処理予定イメージブロックによって参照されるアフィン動き予測単位は、Aが位置する予測単位である。インデックス情報が1である場合、処理予定イメージブロックによって参照されるアフィン動き予測単位は、Bが位置する予測単位である。
【0071】
S1300:アフィン動き予測単位における制御点の位置情報および動き情報を取得する。
【0072】
段階の第1の具体的な実装方法1310は、アフィン動き予測単位における4つの制御点から、任意の3つの制御点を選択する段階と、3つの制御点の位置情報、動きベクトル情報、予測方向、および参照フレームインデックスを取得する段階とを備える。同一のアフィン動き予測単位におけるすべてのピクセル点は、同一の予測方向、および、同一の参照フレームインデックスを有するので、すべての制御点の予測方向および参照フレームインデックスも同一である。
【0073】
第2の具体的な実装方法1320は、アフィン
動き予測単位における4つの制御点から、第1制御点および第2制御点と称され得る任意の2つの制御点を選択する段階と、2つの制御点の位置情報、動きベクトル情報、予測方向、および参照フレームインデックスを取得する段階と、その後、残りの2つの制御点から、第3制御点と称され得る任意の制御点を選択する段階と、第3制御点の位置情報を取得する段階とを備える。第3制御点の動きベクトル情報は、第1制御点および第2制御点に従って、以下の方式で導出され得る。
【数9】
xおよびyは、それぞれ、第3制御点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2、および、y
1、y
2は、それぞれ、第1制御点および第2制御点の横座標および縦座標であり、vx
1、vx
2、および、vy
1、vy
2は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0074】
同一のアフィン動き予測単位におけるすべてのピクセル点は、同一の予測方向、および、同一の参照フレームインデックスを有するので、すべての制御点の予測方向および参照フレームインデックスも同一である。第3制御点は、第1制御点および第2制御点のものと同一の予測方向および参照フレームインデックスを有する。
【0075】
上述の2つの具体的な実装のいずれかによれば、段階S1300の後、少なくとも3つの制御点の動き情報および位置情報が取得される。
【0076】
図3に示されるように、本発明のこの実施形態において、3つの頂点によって表される制御点は、処理予定イメージブロックの隣接ブロックAが位置するアフィン
動き予測単位の左上(x
2、y
2)、右上(x
3、y
3)、および左下(x
4、y
4)の頂点が選択される。この実施形態において、x
2はx
4に等しく、y
2はy
3に等しい。
【0077】
制御点はランダムに選択されることを理解すべきである。これに限定は課されない。
【0078】
S1400:上述の選択された3つの制御点の位置情報および動き情報に従って、イメージブロックにおけるピクセル点の動き情報を取得する。
【0079】
段階の第1の具体的な実装方法1410は、以下の段階を備える。
【0080】
S1411:すべての制御点の予測方向および参照フレームインデックスは同一であるので、制御点の任意の1つの予測方向および参照フレームインデックスは、処理予定イメージブロックにおけるピクセル点に割り当てられる。あるいは、処理予定イメージブロックの参照フレーム情報を取得するためにビットストリームが解析され得て、参照フレーム情報は、予測方向および参照フレームインデックスを含む。
【0081】
S1412:S1300において取得された、任意の3つの制御点の位置情報および動きベクトルに従って、処理予定イメージブロックにおけるピクセル点の動きベクトルを取得する。これは以下の方式で実装される。
【数10】
ここで、xおよびyは、それぞれ、処理予定イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、
x
2
、x
3
、x
4
、および、y
2
、y
3
、y
4
は、それぞれ、アフィン
動き予測単位における任意の3つの制御点の横座標および縦座標であり、
vx
2
、vx
3
、vx
4
、および、vy
2
、vy
3
、vy
4
は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0082】
段階の第2の具体的な実装方法1420は、以下の段階を備える。
【0083】
S1421:すべての制御点の予測方向および参照フレームインデックスは同一であるので、制御点の任意の1つの予測方向および参照フレームインデックスは、処理予定イメージブロックにおけるピクセル点に割り当てられる。あるいは、処理予定イメージブロックの参照フレーム情報を取得するためにビットストリームが解析され得て、参照フレーム情報は、予測方向および参照フレームインデックスを含む。
【0084】
S1422:
図3において示されるように、S1300において取得された、任意の3つの制御点の位置情報および動きベクトルに従って、処理予定イメージブロックにおける任意の2つの制御点の動きベクトルを取得する。これは以下の方式で実装される。
【数11】
ここで、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
2、x
3、x
4、および、y
2、y
3、y
4は、それぞれ、アフィン
動き予測単位における3つの制御点の横座標および縦座標であり、vx
2、vx
3、vx
4、および、vy
2、vy
3、vy
4は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0085】
S1423:S1422において取得された、2つの制御点の動きベクトルに従って、処理予定イメージブロックにおけるピクセル点の動きベクトルを取得する。これは以下の方式で実装される。
【数12】
ここで、xおよびyは、それぞれ、イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0086】
段階の第3の具体的な実装方法1430は、以下の段階を備える。
【0087】
S1431:すべての制御点の予測方向および参照フレームインデックスは同一であるので、制御点の任意の1つの予測方向および参照フレームインデックスは、処理予定イメージブロックにおけるピクセル点に割り当てられる。あるいは、処理予定イメージブロックの参照フレーム情報を取得するためにビットストリームが解析され得て、参照フレーム情報は、予測方向および参照フレームインデックスを含む。
【0088】
S1432:
図3において示されるように、S1400において取得された、任意の3つの制御点の位置情報および動きベクトルに従って、処理予定イメージブロックにおける任意の2つの制御点の動きベクトルを取得する。これは以下の方式で実装される。
【数13】
ここで、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
2、x
3、x
4、および、y
2、y
3、y
4は、それぞれ、アフィン
動き予測単位における3つの制御点の横座標および縦座標であり、vx
2、vx
3、vx
4、および、vy
2、vy
3、vy
4は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0089】
S1433:ビットストリームを解析して、処理予定イメージブロックにおける2つの制御点の動きベクトルの残差を取得し、および、S1432において取得された、2つの制御点の動きベクトルに残差を加算して、処理予定イメージブロックにおける2つの制御点の更新された動きベクトルを取得する。残差が加算されるので、更新された動きベクトルは、より正確になる。
【0090】
S1434:2つの制御点のS1433において取得された動きベクトルに従って、処理予定イメージブロックにおけるピクセル点の動きベクトルを取得する。これは以下の方式で実装される。
【数14】
ここで、xおよびyは、それぞれ、処理予定イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0091】
S1500:取得された予測方向、参照フレームインデックス、および動きベクトルに従って、動き補償を実行し、処理予定イメージブロックにおけるピクセル点の予測値を求める。ここで、すべてのピクセル点の予測値は、処理予定イメージの予測イメージを形成する。
【0092】
本発明のこの実施形態において、第1、第2、第3、第4とは、ピクセル点を区別することのみを意図しており、本発明の保護範囲に対する何らかの限定として解釈されるべきではないことを理解すべきである。例えば、第1制御点は、第2制御点とも称され得て、第2制御点は、第1制御点と称され得る、等である。
【0093】
上述の処理の連番は、実行順を意味するものではないことをさらに理解すべきである。処理の実行順は、処理の機能および内部論理に従って決定されるべきであり、本発明のこの実施形態の実装処理に対する何らかの限定として解釈すべきではない。
【0094】
6パラメータのアフィン変換モデルまたは8パラメータのアフィン変換モデルを使用することによって予測イメージを取得するための方法は、4パラメータのアフィン変換モデルを使用することによって予測イメージを取得するための方法と実質的に同一であることをさらに理解すべきである。簡潔にするために、ここでは詳細を説明しない。
【0095】
具体的には、復号化側は、同一のアフィン動き予測モデルを使用することによって、アフィン動き予測単位の動き情報を再使用し、したがって、動きベクトルの差を符号化および復号化することなく、および、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルを取得する。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0096】
本発明の有益な効果をより良く証明するために、ランダムアクセス(Random Access)符号化構成および低遅延(Low delay)符号化構成に関連して、本発明のこの実施形態と、従来技術における2つの制御点に基づくアフィン変換モデルを使用する予測方法との間で性能比較が実行される。負の値は、改善された符号化性能の割合を示し、正の値は、低下した符号化性能の割合を示す。
表1:アフィンシーケンス
【表1】
【0097】
見て分かるように、ランダムアクセスの低ビットレート、ランダムアクセスの高ビットレート、低遅延の低ビットレート、および低遅延の高ビットレートのテスト条件下において、本発明はそれぞれ、複雑性が基本的に変化しない状態を維持するとき、ビットレートを2.7%、2.1%、5.7%、および4.3%減らしており、それにより、符号化効率が改善する。
【0098】
上記では、
図1から
図3を参照して、本発明の本実施形態に係る、復号化側上で実装されるイメージ予測方法を詳細に説明する。以下では、
図2から
図4を参照して、本発明の実施形態に係る、符号化側で実装されるイメージ予測方法を詳細に説明する。符号化側の関連操作は、復号化側のものと実質的に一致することに留意すべきである。繰り返しを避けるために、詳細はここでは説明しない。
【0099】
図4は、本発明の実施形態に係るイメージ予測方法2000の別の概略フローチャートである。
図4に示される方法は、符号化器のような符号化装置によって実行され得る。
【0100】
具体的には、
図4に示されるように、方法2000は、以下の段階を備える。
【0101】
S2100:処理予定イメージブロックについての参照として使用されるアフィン動き予測単位を決定する。
【0102】
段階の第1の具体的な実装方法2110は、以下の段階を備える。
【0103】
S2111:処理予定イメージブロックについての候補予測単位の集合を決定する。
【0104】
図2に示されるように、本発明のこの実施形態において、処理予定イメージブロックに空間的に隣接する、A、B、C、DおよびEの5つの位置での4×4のブロックがそれぞれ位置する予測単位が選択されて集合を形成する。あるいは、位置A、B、C、DおよびEのうちのいくつかが選択され得るか、または、時間領域において処理予定イメージブロックに隣接する他のブロックが位置する予測単位が選択され得て集合を形成することを理解すべきである。これらに限定は課されない。
【0105】
S2112:集合における予測単位がアフィン動き予測単位であるかどうかを予め設定された順序で検査する。
【0106】
予め設定された順序は、プロトコルにおいて符号化側および復号化側によって予め定められた順序であり、符号化側と復号化側との間で一定に維持される。本発明のこの実施形態において、予め設定された順序は、A、B、C、DおよびEである。あるいは、予め設定された順序は、B、D、A、EおよびCであり得るか、または、別の順序であり得ることを理解すべきである。これらに限定は課されない。
【0107】
S2113:予測単位がアフィン動き予測単位であることが分かった場合、検査を停止して、処理予定イメージブロックによって参照されるアフィン動き予測単位として予測単位を使用する。
【0108】
S2114:いずれの候補予測単位もアフィン動き予測単位でない場合、構文要素を符号化し(構文要素は、処理予定イメージブロックが隣接ブロックのアフィン予測情報を再使用しないことを示すために使用される)、その後の段階の実行を停止する。そうでない場合、その後の段階の実行を継続する。
【0109】
段階の第2の具体的な実装方法2120は、以下の段階を備える。
【0110】
S2121:処理予定イメージブロックについての候補予測単位の集合を決定する。
【0111】
S2111と同一の集合決定方式に加えて、方法はさらに、集合における非アフィン動き予測単位ブロックを集合から除外する段階を備え得る。例えば、S1211の決定方式を使用することによって決定される集合は、A、B、C、DおよびEが位置する予測単位を含み、CおよびDが位置する予測単位は、アフィン動き予測単位ではない。したがって、CおよびDは、集合から除外され、候補予測単位の決定された集合は、A、BおよびEが位置する予測単位を含む。
【0112】
あるいは、方法は、集合の容量を限定する段階と、許容可能な量の候補予測単位から外れた順位の検査順序を有する候補予測単位を集合から除外する段階とを備え得る。例えば、集合における候補予測単位の量は、最大で2に設定される。S2112の検査順序に従って、S2111の決定方式を使用して決定される集合は、A、D、C、EおよびBである。したがって、C、EおよびBが集合から除外され、候補予測単位の決定された集合は、AおよびDが位置する予測単位を含む。集合の容量は、3または4に設定され得るか、または、0より大きいが、S2111の決定方式を使用することによって決定された候補予測単位の最大量より小さいか、もしくはそれに等しい範囲内に容量が属する場合、限定されないことがあり得ることを理解すべきである。
【0113】
あるいは、上述の2つの集合決定方式は、組み合わせて使用され得る。
【0114】
S2122:いずれの候補予測単位もアフィン動き予測単位でない場合、構文要素を符号化し(構文要素は、処理予定イメージブロックが隣接ブロックのアフィン予測情報を再使用しないことを示すために使用される)、その後の段階の実行を停止する。候補予測単位のうちの少なくとも1つがアフィン動き予測単位である場合、その後の段階の実行を継続する。
【0115】
S2123:候補予測単位の集合における各候補予測単位にインデックス値を割り当てる。各インデックス値によって示される候補予測単位は、プロトコルにおいて、符号化側および復号化側によって予め定められ、符号化側および復号化側で一定に維持される。
【0116】
S2124:候補予測単位の集合におけるすべての候補予測単位を走査(traverse)し、その後の段階であるS2200からS2400に従って処理を実行して処理予定イメージブロックの予測イメージを取得し、処理予定イメージブロックのための符号化を完了する。選択された候補予測ベクトルによってもたらされる符号化ゲインを比較し、最大の符号化ゲインを有する候補予測単位を、処理予定イメージブロックによって参照されるアフィン動き予測単位として選択する。
【0117】
例えば、候補予測単位の集合が2つの候補予測単位AおよびBを含む場合、Aのインデックスは0、Bのインデックスは1である。処理予定イメージブロックによって参照されるアフィン動き予測単位としてAを使用して、その後の処理段階を完了し、処理予定イメージブロックの予測イメージを取得し、処理予定イメージブロックについての符号化を完了することによって得られるゲインが最大である場合、Aが、処理予定イメージブロックによって参照されるアフィン動き予測単位である。そうでない場合、Bが、処理予定イメージブロックによって参照されるアフィン動き予測単位である。
【0118】
符号化速度を改善するために、段階S2124は、高速アルゴリズムと置き換えられ得ることを理解すべきである。例えば、候補予測単位の集合における、すべてではなくとも一部の候補予測単位が、走査のために選択され得る。あるいは、処理予定イメージブロックの全体の符号化処理が完了されず、予測イメージが取得された後に、予測イメージの精度に従って、もっとも正確な予測イメージを取得するために使用できる予測単位が、処理予定イメージブロックによって参照されるアフィン動き予測単位として使用される。
【0119】
S2200:アフィン動き予測単位における制御点の位置情報および動き情報を取得する。この段階は、S1300と一致するので、詳細は再度説明しない。
【0120】
S2300:上述の3つの選択された制御点の位置情報および動き情報に従って、イメージブロックにおけるピクセル点の動き情報を取得する。この段階は、S1400と一致しているので、詳細は再度説明しない。
【0121】
S2400:取得された予測方向、参照フレームインデックス、および動きベクトルに従って、動き補償を実行し、処理予定イメージブロックにおけるピクセル点の予測値を求める。ここで、すべてのピクセル点の予測値は、処理予定イメージの予測イメージを形成する。この段階は、S1500と一致しているので、詳細は再度説明しない。
【0122】
S2500:S2100からS2400の段階を使用することによって取得された予測イメージを使用することによって完了される符号化の符号化性能と、他の方法を使用することによって取得された予測イメージを使用することによって完了される符号化の符号化性能とを比較して、最大の符号化ゲインが得られる方法を、予測イメージを符号化するための方法として選択する。
【0123】
また、符号化速度を改善するために、S2500は、S2124において説明される高速アルゴリズムに置き換えられ得ることを理解すべきである。詳細は再度説明しない。
【0124】
S2600:S2100からS2400の段階を使用することによって予測イメージを取得するための方法がS2500において使用される場合、構文要素を符号化し(構文要素は、処理予定イメージブロックが、S2100からS2400の段階を使用することによって予測イメージを取得するための方法を使用することによって、予測イメージを取得することを示すために使用される)、別の構文要素を符号化する(構文要素は、S2124において選択される予測単位のインデックス情報を示すために使用される)。
【0125】
また、本発明のこの実施形態におけるイメージ予測方法は予測技術として、複数の参照フレームを予測のために使用する技術のような、従来技術における別の予測技術と技術的に組み合わされ得ることを理解すべきである。これらに限定は課されない。
【0126】
具体的には、符号化側は、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報を再使用し、したがって、動きベクトルの差を符号化および復号化することなく、ならびに、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルを取得する。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0127】
以下では、
図5を参照して、本発明の実施形態に係る復号化装置を詳細に説明する。
図5に示されるように、復号化装置10は、イメージ単位のアフィン動き予測単位を取得するように構成された第1取得モジュール11と、アフィン動き予測単位の位置情報および動き情報を取得するように構成された第2取得モジュール12と、位置情報および動き情報に従ってイメージ単位の動き情報を取得するように構成された第3取得モジュール13とを有する。
【0128】
具体的には、符号化側は、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報を再使用し、したがって、動きベクトルの差を符号化および復号化することなく、ならびに、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルを取得する。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0129】
本発明のこの実施形態において、任意で、ビットストリームが読み取られ、解析され、構文要素が取得される。構文要素は、処理予定イメージブロックが隣接ブロックのアフィンモデル動き情報を再使用するかどうかを決定するために使用される。処理予定イメージブロックが隣接ブロックのアフィンモデル動き情報を再使用すると決定されたとき、処理は継続する。
【0130】
本発明のこの実施形態において、任意で、第1取得モジュール11が、具体的には、処理予定イメージブロックについての参照として使用されるアフィン動き予測単位を決定するように構成されることは、処理予定イメージブロックについての候補予測単位の集合を決定し、集合における予測単位がアフィン動き予測単位であるかどうかを予め設定された順序で検査し、予測単位がアフィン動き予測単位であることが分かった場合、検査を停止して、処理予定イメージブロックによって参照されるアフィン動き予測単位として予測単位を使用すること、または、処理予定イメージブロックについての候補予測単位の集合を決定し、ビットストリームを読み取り、ビットストリームを解析して構文要素を取得し(構文要素は、候補予測単位の集合の中にあり、かつ、処理予定イメージブロックについての参照として使用されるアフィン動き予測単位のインデックス情報を示すために使用される)、インデックス情報に従って、処理予定イメージブロックについての参照として使用されるアフィン動き予測単位を決定することを含む。
【0131】
本発明のこの実施形態において、任意で、第2取得モジュール12が、具体的には、アフィン
動き予測単位における制御点の位置情報および動き情報を取得するように構成されることは、アフィン
動き予測単位における4つの制御点から任意の3つの制御点を選択し、3つの制御点の位置情報、動きベクトル情報、予測方向、および参照フレームインデックスを取得すること、または、アフィン
動き予測単位における4つの制御点から、第1制御点および第2制御点と称され得る任意の2つの制御点を選択し、2つの制御点の位置情報、動きベクトル情報、予測方向、および参照フレームインデックスを取得し、次に、残りの2つの制御点から、第3制御点と称され得る任意の制御点を選択し、第3制御点の位置情報を取得することを含む。第3制御点の動きベクトル情報は、第1制御点および第2制御点に従って、以下の方式で導出され得る。
【数15】
xおよびyは、それぞれ、第3制御点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2、および、y
1、y
2は、それぞれ、第1制御点および第2制御点の横座標および縦座標であり、y
1はy
2に等しく、vx
1、vx
2、および、vy
1、vy
2は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0132】
同一のアフィン動き予測単位におけるすべてのピクセル点は、同一の予測方向、および、同一の参照フレームインデックスを有するので、すべての制御点の予測方向および参照フレームインデックスも同一である。第3制御点は、第1制御点および第2制御点のものと同一の予測方向および参照フレームインデックスを有する。
【0133】
本発明のこの実施形態において、任意で、第3取得モジュール13が、具体的には、上述の選択された3つの制御点の位置情報および動き情報に従って、イメージブロックにおけるピクセル点の動き情報を取得するように構成されることは、制御点の任意の1つの予測方向および参照フレームインデックスを処理予定イメージブロックにおけるピクセル点に割り当てること、または、ビットストリームを解析して処理予定イメージブロックの参照フレーム情報を取得すること(参照フレーム情報は、予測方向および参照フレームインデックスを含む)を含む。
【0134】
本発明のこの実施形態において、任意で、第3取得モジュール13が、具体的には、上述の選択された3つの制御点の位置情報および動き情報に従ってイメージブロックにおけるピクセル点の動き情報を取得するように構成されることは、任意の3つの制御点の取得された位置情報および動きベクトルに従って、処理予定イメージブロックにおけるピクセル点の動きベクトルを取得することを含む。これは以下の方式で実装される。
【数16】
ここで、xおよびyは、それぞれ、処理予定イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2、x
3、および、y
1、y
2、y
3は、それぞれ、アフィン
動き予測単位における任意の3つの制御点の横座標および縦座標であり、vx
1、vx
2、vx
3、および、vy
1、vy
2、vy
3は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0135】
あるいは、処理予定イメージブロックにおける任意の2つの制御点の動きベクトルは、任意の3つの制御点の取得された位置情報および動きベクトルに従って取得される。これは、以下の方式で実装される。
【数17】
ここで、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
0およびy
0は、それぞれ、処理予定イメージブロックにおける制御点の横座標および縦座標であり、x
2、x
3、x
4、および、y
2、y
3、y
4は、それぞれ、アフィン動き予測単位における3つの制御点の横座標および縦座標であり、vx
2、vx
3、vx
4、および、vy
2、vy
3、vy
4は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0136】
処理予定イメージブロックにおけるピクセル点の動きベクトルは、2つの制御点の取得された動きベクトルに従って取得される。これは以下の方式で実装される。
【数18】
ここで、xおよびyは、それぞれ、イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0137】
あるいは、処理予定イメージブロックにおける任意の2つの制御点の動きベクトルは、任意の3つの制御点の取得された位置情報および動きベクトルに従って取得される。これは以下の方式で実装される。
【数19】
ここで、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
2、x
3、x
4、および、y
2、y
3、y
4は、それぞれ、アフィン
動き予測単位における3つの制御点の横座標および縦座標であり、vx
2、vx
3、vx
4、および、vy
2、vy
3、vy
4は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0138】
ビットストリームを解析して、処理予定イメージブロックにおける2つの制御点の動きベクトルの残差を取得し、2つの制御点の取得された動きベクトルに残差を加算して、処理予定イメージブロックにおける2つの制御点の更新された動きベクトルを取得する。
【0139】
処理予定イメージブロックにおけるピクセル点の動きベクトルは、2つの制御点の取得された動きベクトルに従って取得される。これは以下の方式で実装される。
【数20】
ここで、xおよびyは、それぞれ、処理予定イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0140】
本発明のこの実施形態において、任意で、第3取得モジュール13は、具体的には、処理予定イメージブロックにおけるピクセル点の予測値を求めるために、取得された予測方向、参照フレームインデックス、および動きベクトルに従って、動き補償を実行するように構成される。すべてのピクセル点の予測値は、処理予定イメージの予測イメージを形成する。
【0141】
本発明の本実施形態に係る符号化装置10は、対応して、本発明の実施形態におけるイメージ予測方法1000を実行し得て、
図1における方法の対応する手順を実装するために、符号化装置10のモジュールの上述の、および、他の操作および/または機能は、別々に使用されることを理解すべきである。簡潔にするために、ここでは詳細を説明しない。
【0142】
したがって、本発明のこの実施形態における復号化装置は、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報を再使用し、したがって、動きベクトルの差を符号化および復号化することなく、ならびに、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルを取得する。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0143】
以下では、
図6を参照して、本発明の実施形態に係る符号化装置を詳細に説明する。
図6に示されるように、符号化装置20は、イメージ単位のアフィン動き予測単位を取得するように構成された第1取得モジュール
21と、アフィン動き予測単位の位置情報および動き情報を取得するように構成された第2取得モジュール
22と、位置情報および動き情報に従ってイメージ単位の動き情報を取得するように構成された第3取得モジュール
23とを有する。
【0144】
具体的には、符号化側は、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報を再使用し、したがって、動きベクトルの差を符号化および復号化することなく、ならびに、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルを取得する。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0145】
本発明のこの実施形態において、任意で、第1取得モジュール21が、具体的には、処理予定イメージブロックについての参照として使用されるアフィン動き予測単位を決定するように構成されることは、処理予定イメージブロックについての候補予測単位の集合を決定し、集合における予測単位がアフィン動き予測単位であるかどうかを予め設定された順序で検査し、予測単位がアフィン動き予測単位であることが分かった場合、検査を停止し、処理予定イメージブロックによって参照されるアフィン動き予測単位として予測単位を使用し、もしくは、いずれの候補予測単位もアフィン動き予測単位でない場合、構文要素を符号化し(構文要素は、処理予定イメージブロックが、隣接ブロックのアフィン予測情報を再使用しないことを示すために使用される)、その後の段階の実行を停止し、そうでない場合、その後の段階の実行を継続すること、または、処理予定イメージブロックについての候補予測単位の集合を決定し、いずれの候補予測単位もアフィン動き予測単位でない場合、構文要素を符号化し(構文要素は、処理予定イメージブロックが、隣接ブロックのアフィン予測情報を再使用しないことを示すために使用される)、その後の段階の実行を停止し、そうでない場合、その後の段階の実行を継続し、インデックス値を候補予測単位の集合における各候補予測単位に割り当てることを含む。各インデックス値によって表される候補予測単位は、プロトコルにおいて、符号化側および復号化側によって予め定められ、符号化側および復号化側で一定に維持される。処理予定イメージブロックの予測イメージを取得し、処理予定イメージブロックについての符号化を完了するために、候補予測単位の集合におけるすべての候補予測単位が走査される。選択された候補予測ベクトルによってもたらされる符号化ゲインが比較され、最大の符号化ゲインを有する候補予測単位が、処理予定イメージブロックによって参照されるアフィン動き予測単位として選択される。
【0146】
本発明のこの実施形態において、任意で、第2取得モジュール22は、具体的には、アフィン動き予測単位における制御点の位置情報および動き情報を取得するように構成される。当該モジュールの機能は、第2取得モジュール12のものと同一であり、詳細は再度説明しない。
【0147】
本発明のこの実施形態において、任意で、第3取得モジュール23は、具体的には、上述の選択された3つの制御点の位置情報および動き情報に従って、イメージブロックにおけるピクセル点の動き情報を取得するように構成される。当該モジュールの機能は、第3取得モジュール13のものと同一であり、詳細は再度説明しない。
【0148】
本発明のこの実施形態において、任意で、第3取得モジュール23は、具体的には、処理予定イメージブロックにおけるピクセル点の予測値を求めるために、取得された予測方向、参照フレームインデックス、および動きベクトルに従って、動き補償を実行するように構成される。すべてのピクセル点の予測値は、処理予定イメージの予測イメージを形成する。当該モジュールの機能は、第3取得モジュール13のものと同一であり、詳細は再度説明しない。
【0149】
本発明のこの実施形態において、任意で、この装置によって取得される予測イメージを使用することによって完了される符号化の符号化性能は、他の装置を使用することによって取得される予測イメージを使用することによって完了される符号化の符号化性能と比較され、最大の符号化ゲインが得られる装置が、予測イメージを符号化するための装置として選択される。
【0150】
本発明のこの実施形態において、任意で、この装置を使用することによって取得される予測イメージが使用される場合、構文要素が符号化され(構文要素は、この装置を使用することによって予測イメージを取得するための方法が使用されることを示すために使用される)、別の構文要素が符号化される(構文要素は、選択された予測単位のインデックス情報を示すために使用される)。
【0151】
本発明の本実施形態に係る符号化装置20は、対応して、本発明の実施形態におけるイメージ予測方法2000を実行し得て、
図4における方法の対応する手順を実装するために、符号化装置20のモジュールの上述の、および、他の操作および/または機能は、別々に使用されることを理解すべきである。簡潔にするために、ここでは詳細を説明しない。
【0152】
したがって、本発明のこの実施形態における符号化装置は、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報を再使用し、したがって、動きベクトルの差を符号化および復号化することなく、ならびに、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルを取得する。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0153】
図7に示されるように、本発明の実施形態はさらに、プロセッサ31、メモリ32、およびバスシステム33を有する復号化装置30を提供する。プロセッサ31およびメモリ32は、バスシステム33を使用することによって接続され、メモリ32は、命令を記憶するように構成され、プロセッサ31は、メモリ32に記憶された命令を実行するように構成される。復号化装置30のメモリ32は、プログラムコードを記憶し、プロセッサ31は、メモリ32に記憶されたプログラムコードを呼び出し得て、イメージ単位の第1参照単位を取得する操作であって、
第1参照単位の予測イメージを取得するために使用されるアフィンモデルが、イメージ単位の予測イメージを取得するために使用される、操作と、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得する操作と、
第1参照単位からの動き情報に従って、イメージ単位の基本動き補償単位の動き情報を取得する操作とを実行する。
【0154】
したがって、本発明のこの実施形態における復号化装置は、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報を再使用し、したがって、動きベクトルの差を符号化および復号化することなく、ならびに、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルを取得する。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0155】
本発明のこの実施形態において、プロセッサ31は、中央演算処理装置(Central Processing Unit、略称:CPU)であり得て、プロセッサ31はさらに、別の汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは別のプログラマブル論理素子、ディスクリートゲートもしくはトランジスタ論理素子、またはディスクリートハードウェアコンポーネントなどであり得ることを理解すべきである。汎用プロセッサは、マイクロプロセッサであり得て、または、プロセッサは、任意の従来型プロセッサなどであり得る。
【0156】
メモリ32は、リードオンリメモリおよびランダムアクセスメモリを含んでよく、命令およびデータをプロセッサ31に提供する。メモリ32の一部はさらに、不揮発性ランダムアクセスメモリを含んでよい。例えば、メモリ32はさらに、デバイスタイプ情報を記憶してよい。
【0157】
バスシステム33にはさらに、データバスに加えて、電源バス、制御バス、および状態信号バスなどが含まれ得る。しかしながら、説明を明確にする目的で、図における様々な種類のバスはすべて、バスシステム33として示されている。
【0158】
実装中、上述した方法の各段階は、プロセッサ31におけるハードウェア集積論理回路によって、または、ソフトウェア形式の命令によって実装され得る。本発明の実施形態に関連して開示される方法の段階は、ハードウェアプロセッサを使用することによって直接実行および完了され得るか、または、プロセッサにおけるハードウェアモジュールおよびソフトウェアモジュールの組み合わせを使用することによって実行および完了され得る。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、リードオンリメモリ、プログラマブルリードオンリメモリ、電気的消去可能プログラマブルメモリ、またはレジスタのような、当技術分野において成熟した記憶媒体に配置されてよい。記憶媒体は、メモリ32に位置し、プロセッサ31は、メモリ32における情報を読み取り、プロセッサのハードウェア31と共に、上述した方法における段階を完了する。繰り返しを避けるために、詳細はここでは再度説明しない。
【0159】
任意で、実施形態において、プロセッサ31は具体的には、ビットストリームを読み取り、ビットストリームを解析して、構文要素を取得するように構成される。構文要素は、処理予定イメージブロックが隣接ブロックのアフィンモデル動き情報を再使用するかどうかを決定するために使用される。処理予定イメージブロックが隣接ブロックのアフィンモデル動き情報を再使用すると決定されたとき、処理は継続する。
【0160】
任意で、実施形態において、プロセッサ31が、具体的には、処理予定イメージブロックについての参照として使用されるアフィン動き予測単位を決定するように構成されることは、処理予定イメージブロックについての候補予測単位の集合を決定し、集合における予測単位がアフィン動き予測単位であるかどうかを予め設定された順序で検査し、予測単位がアフィン動き予測単位であることが分かった場合、検査を停止して、処理予定イメージブロックによって参照されるアフィン動き予測単位として予測単位を使用すること、または、処理予定イメージブロックについての候補予測単位の集合を決定し、ビットストリームを読み取り、ビットストリームを解析して構文要素を取得し(構文要素は、候補予測単位の集合の中にあり、かつ、処理予定イメージブロックについての参照として使用されるアフィン動き予測単位のインデックス情報を示すために使用される)、インデックス情報に従って、処理予定イメージブロックについての参照として使用されるアフィン動き予測単位を決定することを含む。
【0161】
任意で、実施形態において、プロセッサ31が、具体的には、アフィン
動き予測単位における制御点の位置情報および動き情報を取得するように構成されることは、アフィン
動き予測単位における4つの制御点から任意の3つの制御点を選択し、3つの制御点の位置情報、動きベクトル情報、予測方向、および参照フレームインデックスを取得すること、または、アフィン
動き予測単位における4つの制御点から、第1制御点および第2制御点と称され得る任意の2つの制御点を選択し、2つの制御点の位置情報、動きベクトル情報、予測方向、および参照フレームインデックスを取得し、次に、残りの2つの制御点から、第3制御点と称され得る任意の制御点を選択し、第3制御点の位置情報を取得することを含む。第3制御点の動きベクトル情報は、第1制御点および第2制御点に従って、以下の方式で導出され得る。
【数21】
xおよびyは、それぞれ、第3制御点の横座標および縦座標であり、y
1はy
2に等しく、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2、および、y
1、y
2は、それぞれ、第1制御点および第2制御点の横座標および縦座標であり、vx
1、vx
2、および、vy
1、vy
2は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0162】
同一のアフィン動き予測単位におけるすべてのピクセル点は、同一の予測方向、および、同一の参照フレームインデックスを有するので、すべての制御点の予測方向および参照フレームインデックスも同一である。第3制御点は、第1制御点および第2制御点と同一の予測方向および参照フレームインデックスを有する。
【0163】
実施形態において、任意で、プロセッサ31が、具体的には、上述の選択された3つの制御点の位置情報および動き情報に従って、イメージブロックにおけるピクセル点の動き情報を取得するように構成されることは、制御点の任意の1つの予測方向および参照フレームインデックスを処理予定イメージブロックにおけるピクセル点に割り当てること、または、ビットストリームを解析して処理予定イメージブロックの参照フレーム情報を取得すること(参照フレーム情報は、予測方向および参照フレームインデックスを含む)を含む。
【0164】
実施形態において、任意で、プロセッサ31が、具体的には、上述の選択された3つの制御点の位置情報および動き情報に従ってイメージブロックにおけるピクセル点の動き情報を取得するように構成されることは、任意の3つの制御点の取得された位置情報および動きベクトルに従って、処理予定イメージブロックにおけるピクセル点の動きベクトルを取得することを含む。これは以下の方式で実装される。
【数22】
ここで、xおよびyは、それぞれ、処理予定イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1、x
2、x
3、および、y
1、y
2、y
3は、それぞれ、アフィン
動き予測単位における任意の3つの制御点の横座標および縦座標であり、vx
1、vx
2、vx
3、および、vy
1、vy
2、vy
3は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0165】
あるいは、処理予定イメージブロックにおける任意の2つの制御点の動きベクトルは、任意の3つの制御点の取得された位置情報および動きベクトルに従って取得される。これは以下の方式で実装される。
【数23】
ここで、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
2、x
3、x
4、および、y
2、y
3、y
4は、それぞれ、アフィン
動き予測単位における3つの制御点の横座標および縦座標であり、vx
2、vx
3、vx
4、および、vy
2、vy
3、vy
4は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0166】
処理予定イメージブロックにおけるピクセル点の動きベクトルは、2つの制御点の取得された動きベクトルに従って取得される。これは以下の方式で実装される。
【数24】
ここで、xおよびyは、それぞれ、イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0167】
あるいは、処理予定イメージブロックにおける任意の2つの制御点の動きベクトルは、任意の3つの制御点の取得された位置情報および動きベクトルに従って取得される。これは以下の方式で実装される。
【数25】
ここで、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
2、x
3、x
4、および、y
2、y
3、y
4は、それぞれ、アフィン
動き予測単位における3つの制御点の横座標および縦座標であり、vx
2、vx
3、vx
4、および、vy
2、vy
3、vy
4は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0168】
ビットストリームを解析して、処理予定イメージブロックにおける2つの制御点の動きベクトルの残差を取得し、2つの制御点の取得された動きベクトルに残差を加算して、処理予定イメージブロックにおける2つの制御点の更新された動きベクトルを取得する。
【0169】
処理予定イメージブロックにおけるピクセル点の動きベクトルは、2つの制御点の取得された動きベクトルに従って取得される。これは以下の方式で実装される。
【数26】
ここで、xおよびyは、それぞれ、処理予定イメージブロックにおけるピクセル点の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
0、x
1、および、y
0、y
1は、それぞれ、処理予定イメージブロックにおける2つの制御点の横座標および縦座標であり、y
0はy
1に等しく、vx
0、vx
1、および、vy
0、vy
1は、対応する横方向動きベクトルおよび縦方向動きベクトルである。
【0170】
実施形態において、任意で、プロセッサ31は、具体的には、処理予定イメージブロックにおけるピクセル点の予測値を求めるために、取得された予測方向、参照フレームインデックス、および動きベクトルに従って、動き補償を実行するように構成される。すべてのピクセル点の予測値は、処理予定イメージの予測イメージを形成する。
【0171】
本発明の本実施形態に係る復号化装置30は、本発明の実施形態における復号化装置10に対応し得て、本発明の実施形態における方法1000を実行する、対応する主なエンティティに対応し得ることを理解すべきである。復号化装置30のモジュールの上述の、および他の操作および/または機能は、
図1における方法の対応する手順を実装するために別々に使用される。簡潔にするために、ここでは詳細を説明しない。
【0172】
したがって、本発明のこの実施形態における復号化装置は、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報を再使用し、したがって、動きベクトルの差を符号化および復号化することなく、ならびに、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルを取得する。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0173】
図8に示されるように、本発明の実施形態はさらに、プロセッサ41、メモリ42、およびバスシステム43を有する符号化装置40を提供する。プロセッサ41およびメモリ42は、バスシステム43を使用することによって接続され、メモリ42は、命令を記憶するように構成され、プロセッサ41は、メモリ42に記憶された命令を実行するように構成される。符号化装置40のメモリ42は、プログラムコードを記憶し、プロセッサ41は、メモリ42に記憶されたプログラムコードを呼び出し得て、イメージ単位の第1参照単位を取得する操作であって、
第1参照単位の予測イメージを取得するために使用されるアフィンモデルが、イメージ単位の予測イメージを取得するために使用される、操作と、第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得する操作と、
第1参照単位からの動き情報に従って、イメージ単位の基本動き補償単位の動き情報を取得する操作とを実行する。
【0174】
したがって、本発明のこの実施形態における符号化装置は、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報を再使用し、したがって、動きベクトルの差を符号化および復号化することなく、ならびに、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルを取得する。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0175】
本発明のこの実施形態において、プロセッサ41は、中央演算処理装置(Central Processing Unit、略称:CPU)であり得て、プロセッサ41はさらに、別の汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは別のプログラマブル論理素子、ディスクリートゲートもしくはトランジスタ論理素子、またはディスクリートハードウェアコンポーネントなどであり得ることを理解すべきである。汎用プロセッサは、マイクロプロセッサであり得て、または、プロセッサは、任意の従来型プロセッサなどであり得る。
【0176】
メモリ42は、リードオンリメモリおよびランダムアクセスメモリを含んでよく、プロセッサ41に命令およびデータを提供する。メモリ42の一部はさらに、不揮発性ランダムアクセスメモリを含んでよい。例えば、メモリ42はさらに、デバイスタイプ情報を記憶してよい。
【0177】
バスシステム43にはさらに、データバスに加えて、電源バス、制御バス、および状態信号バスなどが含まれ得る。しかしながら、説明を明確にする目的で、図における様々な種類のバスはすべて、バスシステム43として示されている。
【0178】
実装中、上述した方法の各段階は、プロセッサ41におけるハードウェア集積論理回路によって、または、ソフトウェア形式の命令によって実装され得る。本発明の実施形態に関連して開示される方法の段階は、ハードウェアプロセッサを使用することによって直接実行および完了され得るか、または、プロセッサにおけるハードウェアモジュールおよびソフトウェアモジュールの組み合わせを使用することによって実行および完了され得る。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、リードオンリメモリ、プログラマブルリードオンリメモリ、電気的消去可能プログラマブルメモリ、またはレジスタのような、当技術分野において成熟した記憶媒体に配置されてよい。記憶媒体は、メモリ42に位置し、プロセッサ41は、メモリ42における情報を読み取り、プロセッサのハードウェア41と共に、上述した方法における段階を完了する。繰り返しを避けるために、詳細はここでは再度説明しない。
【0179】
この実施形態において、任意で、プロセッサ41が、具体的には、処理予定イメージブロックについての参照として使用されるアフィン動き予測単位を決定するように構成されることは、処理予定イメージブロックについての候補予測単位の集合を決定し、集合における予測単位がアフィン動き予測単位であるかどうかを予め設定された順序で検査し、予測単位がアフィン動き予測単位であることが分かった場合、検査を停止し、処理予定イメージブロックによって参照されるアフィン動き予測単位として予測単位を使用し、もしくは、いずれの候補予測単位もアフィン動き予測単位でない場合、構文要素を符号化し(構文要素は、処理予定イメージブロックが、隣接ブロックのアフィン予測情報を再使用しないことを示すために使用される)、その後の段階の実行を停止し、そうでない場合、その後の段階の実行を継続すること、または、処理予定イメージブロックについての候補予測単位の集合を決定し、いずれの候補予測単位もアフィン動き予測単位でない場合、構文要素を符号化し(構文要素は、処理予定イメージブロックが、隣接ブロックのアフィン予測情報を再使用しないことを示すために使用される)、その後の段階の実行を停止し、そうでない場合、その後の段階の実行を継続し、インデックス値を候補予測単位の集合における各候補予測単位に割り当てることを含む。各インデックス値によって表される候補予測単位は、プロトコルにおいて、符号化側および復号化側によって予め定められ、符号化側および復号化側で一定に維持される。処理予定イメージブロックの予測イメージを取得し、処理予定イメージブロックについての符号化を完了するために、候補予測単位の集合におけるすべての候補予測単位が走査される。選択された候補予測ベクトルによってもたらされる符号化ゲインが比較され、最大の符号化ゲインを有する候補予測単位が、処理予定イメージブロックによって参照されるアフィン動き予測単位として選択される。
【0180】
任意で、実施形態において、プロセッサ41は、具体的には、アフィン動き予測単位における制御点の位置情報および動き情報を取得するように構成される。モジュールの機能は、プロセッサ31のものと同一であり、詳細は再度説明しない。
【0181】
任意で、実施形態において、プロセッサ41は、具体的には、選択された3つの制御点の位置情報および動き情報に従って、イメージブロックにおけるピクセル点の動き情報を取得するように構成される。モジュールの機能は、プロセッサ31のものと同一であり、詳細は再度説明しない。
【0182】
実施形態において、任意で、プロセッサ41は、具体的には、処理予定イメージブロックにおけるピクセル点の予測値を求めるために、取得された予測方向、参照フレームインデックス、および動きベクトルに従って、動き補償を実行するように構成される。すべてのピクセル点の予測値は、処理予定イメージの予測イメージを形成する。当該モジュールの機能は、プロセッサ31のものと同一であり、詳細は再度説明しない。
【0183】
実施形態において、任意で、プロセッサ41は、具体的には、この装置によって取得される予測イメージを使用することによって完了される符号化の符号化性能と、別の装置を使用することによって取得される予測イメージを使用することによって完了される符号化の符号化性能とを比較するように、および、最大の符号化ゲインが得られる装置を、予測イメージを符号化するための装置として選択するように構成される。
【0184】
実施形態において、任意で、プロセッサ41は、具体的には、この装置を使用することによって取得される予測イメージが使用される場合、構文要素を符号化するように(構文要素は、この装置を使用することによって予測イメージを取得するための方法が使用されることを示すために使用される)、および、別の構文要素を符号化するように(構文要素は、選択された予測単位のインデックス情報を示すために使用される)構成される。
【0185】
本発明の本実施形態に係る符号化装置40は、本発明の実施形態における符号化装置20に対応し得て、本発明の実施形態における方法2000を実行する、対応する主なエンティティに対応し得ることを理解すべきである。符号化装置40のモジュールの上述の、および他の操作および/または機能は、
図4における方法の対応する手順を実装するために別々に使用される。簡潔にするために、ここでは詳細を説明しない。
【0186】
したがって、本発明のこの実施形態における符号化装置は、同一のアフィン動き予測モデルを使用する第1参照単位の動き情報を再使用し、したがって、動きベクトルの差を符号化および復号化することなく、ならびに、高精度動きベクトルを余分に検索することなく、現在のイメージ単位のより正確な動きベクトルを取得する。このようにして、予測精度が改善され、符号化および復号化の複雑性が維持され、それにより、符号化および復号化の性能が改善する。
【0187】
明細書全体において言及される「実施形態」または「一実施形態」は、実施形態に関連する特定の機能、構造、または特徴が、本発明の少なくとも1つの実施形態に含まれることを意味することを理解すべきである。従って、本明細書全体に出現する「一実施形態において」または「実施形態において」は、同じ実施形態を指すものではない。さらに、これらの特定の機能、構造、または特徴は、1つまたは複数の実施形態において、任意の適切な方式を用いることによって、組み合わせられてよい。
【0188】
上述の処理の連番は、本発明の様々な実施形態における実行順序を意味しないことを理解されたい。処理の実行順序は、処理の機能および内部論理に従って決定されるべきであり、本発明の実施形態の実装処理に対して何らかの限定を加えるものと解釈されるべきではない。
【0189】
さらに、「システム」および「ネットワーク」という用語は、本明細書において、互換的に用いられてよい。本明細書における「および/または」という用語は、関連対象を説明するための関連関係だけを説明するものであり、3つの関係が存在し得ることを表すことを理解すべきである。例えば、Aおよび/またはBは次の3つの場合、つまり、Aだけが存在すること、AおよびBの両方が存在すること、ならびにBだけが存在することを表し得る。さらに、本明細書における記号「/」は概して、関連対象物間の「または」の関係を示す。
【0190】
本願の実施形態において、「Aに対応するB」は、BがAと対応付けられており、BがAに従って決定されてよいことを示すことを理解されたい。しかしながら、Bに従ってAを決定することは、BがAのみに従って決定されることを意味するものではない、すなわち、Bは、Aおよび/または他の情報に従って決定されてもよいことをさらに理解されたい。
【0191】
当業者は、本明細書に開示される実施形態に説明される例と組み合わせて、ユニットおよびアルゴリズムのステップが、電子ハードウェア、コンピュータソフトウェア、またはこれらの組み合わせにより実装され得ることを認識し得る。ハードウェアとソフトウェアとの間の互換性を明確に説明すべく、前述では概して、それぞれの例について構成および段階を機能に従って説明している。機能がハードウェアまたはソフトウェアのいずれによって実行されるかは、技術的解決法の特定の適用および設計の制約条件に依存する。当業者であれば、異なる方法を用いて、特定の適用の各々について、説明された機能を実装しよう。しかしながら、そのような実装が、本発明の範囲を越えるものとみなされるべきではない。
【0192】
当業者によれば、説明の便宜および簡潔性の目的のために、前述されたシステム、装置、およびユニットの詳細な動作プロセスについては、上述の方法の実施形態において対応するプロセスが参照されてよく、詳細は本明細書において再度説明されないことが明確に理解されよう。
【0193】
本願において提供されるいくつかの実施形態において、開示されるシステム、装置、および方法は、他の方式で実装されてよいことを理解されたい。例えば、説明された装置の実施形態は、例に過ぎない。例えば、ユニットの区分は、論理的機能の区分に過ぎず、実際の実装においては他の区分であってよい。例えば、複数のユニットまたはコンポーネントは、別のシステムと組み合わせられまたは統合されてよい。または、いくつかの機能は、無視されてよく、または、実行されなくてよい。加えて、表示または説明された相互結合または直接的な結合もしくは通信接続は、いくつかのインタフェースを使用することによって実装されてよい。装置間またはユニット間の間接連結または通信接続は、電子的、機械的、または他の形式で、実装されてよい。
【0194】
別個の部分として説明されたユニットは、物理的に別個であってもなくてもよく、ユニットとして示された部分は、物理的ユニットであってもなくてもよいか、1つの位置に配置されてよいか、または、複数のネットワークユニット上に分散されてよい。実施形態の解決法の目的を達成するための実際の要件に応じて、ユニットの一部または全部が選択されてよい。
【0195】
加えて、本発明の実施形態の機能ユニットが1つの処理ユニットに統合されてよく、または、当該ユニットの各々が物理的に単独で存在してよく、または、2またはそれより多くのユニットが1つのユニットに統合される。
【0196】
統合されたユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用された場合、統合されたユニットは、コンピュータ可読記憶媒体に記憶されてよい。そのような理解に基づいて、本発明の技術的解決法は本質的に、または従来技術に寄与する部分は、または技術的解決法のいくつかは、ソフトウェア製品の形態で実装されてよい。ソフトウェア製品は、記憶媒体に記憶され、コンピュータデバイス(パーソナルコンピュータ、サーバ、またはネットワークデバイスであってよい)に、本発明の実施形態において説明された方法の段階の全部または一部を実行するように命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、リードオンリメモリ(Read-Only Memory、略称:ROM)、ランダムアクセスメモリ(Random Access Memory、略称:RAM)、磁気ディスク、または光ディスクのような、プログラムコードを記憶できる任意の媒体を含む。
【0197】
上述の説明は、本発明の具体的な実装例に過ぎず、本発明の保護範囲を限定することを意図するものではない。本発明において開示された技術的範囲内で当業者によって容易に案出されたいかなる変形または置き換えも、本発明の保護範囲内に当然に含まれるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に当然に従うものとする。
本願によれば、以下の各項目もまた開示される。
[項目1]
イメージ予測の方法であって、
イメージ単位の第1参照単位を取得する段階であって、前記イメージ単位および前記第1参照単位について、同一のアフィンモデルを使用することによってそれぞれの予測イメージが取得される、段階と、
前記第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得する段階と、
前記動き情報に従って、前記イメージ単位の基本動き補償単位の動き情報を取得する段階と
を備える方法。
[項目2]
イメージ単位の第1参照単位を取得する前記段階は、
前記イメージ単位に隣接する予測単位について、前記アフィンモデルを使用することによって予測イメージが取得されるかどうかを予め設定された順序で検査する段階と、
結果がイエスである場合、前記検査を停止し、前記予測単位を前記第1参照単位として使用する段階と
を有する、項目1に記載の方法。
[項目3]
前記プリセット位置が、前記第1参照単位における単位端点位置である、項目1に記載の方法。
[項目4]
前記第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得する前記段階は、前記第1参照単位における3つのプリセット位置での基本動き補償単位の動き情報を取得する段階を有し、
対応して、前記動き情報に従って前記イメージ単位の基本動き補償単位の動き情報を取得する前記段階は、前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、前記イメージ単位の前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得する段階を有する、
項目1から3のいずれか一項に記載の方法。
[項目5]
前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、前記イメージ単位の前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得する前記段階は、
同一の予測方向を、前記イメージ単位の前記基本動き補償単位、および、前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位に割り当てる段階と、
同一の参照フレームインデックスを、前記イメージ単位の前記基本動き補償単位、および、前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位に割り当てる段階と、
前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位の前記動きベクトルに従って、補間によって、前記イメージ単位の前記基本動き補償単位の前記動きベクトルを取得する段階と
を備える、項目4に記載の方法。
[項目6]
前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位の前記動きベクトルに従って、補間によって、前記イメージ単位の前記基本動き補償単位の前記動きベクトルを取得する前記段階は、
[数27]
の方式で実装され、
xおよびyは、それぞれ、前記イメージ単位の前記基本動き補償単位の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1
、x
2
、x
3
、および、y
1
、y
2
、y
3
はそれぞれ、前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位の横座標および縦座標であり、vx
1
、vx
2
、vx
3
、および、vy
1
、vy
2
、vy
3
は、対応する横方向動きベクトルおよび縦方向動きベクトルである、
項目5に記載の方法。
[項目7]
前記第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得する前記段階は、前記第1参照単位における2つのプリセット位置での基本動き補償単位の動き情報を取得する段階を有し、
対応して、前記動き情報に従って前記イメージ単位の基本動き補償単位の動き情報を取得する前記段階は、前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、前記イメージ単位の前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得する段階を有する、
項目1から3のいずれか一項に記載の方法。
[項目8]
前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、前記イメージ単位の前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得する前記段階は、
同一の予測方向を、前記イメージ単位の前記基本動き補償単位、および、前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位に割り当てる段階と、
同一の参照フレームインデックスを、前記イメージ単位の前記基本動き補償単位、および、前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位に割り当てる段階と、
前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位の前記動きベクトルに従って、補間によって、前記イメージ単位の前記基本動き補償単位の前記動きベクトルを取得する段階と
を有する、項目7に記載の方法。
[項目9]
前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位の前記動きベクトルに従って、補間によって、前記イメージ単位の前記基本動き補償単位の前記動きベクトルを取得する前記段階は、
[数28]
の方式で実装され、
xおよびyは、それぞれ、前記イメージ単位の前記基本動き補償単位の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1
、x
2
、および、y
1
、y
2
はそれぞれ、前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位の横座標および縦座標であり、vx
1
、vx
2
、および、vy
1
、vy
2
は、対応する横方向動きベクトルおよび縦方向動きベクトルである、
項目8に記載の方法。
[項目10]
イメージ予測の装置であって、
イメージ単位の第1参照単位を取得するように構成された第1取得モジュールであって、前記イメージ単位および前記第1参照単位について、同一のアフィンモデルを使用することによってそれぞれの予測イメージが取得される、第1取得モジュールと、
前記第1参照単位における2またはより多くのプリセット位置での基本動き補償単位の動き情報を取得するように構成された第2取得モジュールと、
前記位置情報および前記動き情報に従って、前記イメージ単位の基本動き補償単位の動き情報を取得するように構成された第3取得モジュールと
を備える装置。
[項目11]
前記第1取得モジュールは、
前記イメージ単位に隣接する予測単位について、前記アフィンモデルを使用することによって予測イメージが取得されるかどうかを予め設定された順序で検査し、
結果がイエスである場合、前記検査を停止し、前記予測単位を前記第1参照単位として使用する
ように構成された、項目10に記載の装置。
[項目12]
前記プリセット位置は、前記第1参照単位における単位端点位置である、項目10に記載の装置。
[項目13]
前記第3取得モジュールは、前記第1参照単位における3つのプリセット位置での基本動き補償単位の動き情報を取得するように構成され、
対応して、前記動き情報に従って、前記イメージ単位の基本動き補償単位の動き情報を取得することは、前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、前記イメージ単位の前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得することを有する、
項目10から12のいずれか一項に記載の装置。
[項目14]
前記第3取得モジュールはさらに、
同一の予測方向を、前記イメージ単位の前記基本動き補償単位、および、前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位に割り当て、
同一の参照フレームインデックスを、前記イメージ単位の前記基本動き補償単位、および、前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位に割り当て、ならびに、
前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位の前記動きベクトルに従って、補間によって、前記イメージ単位の前記基本動き補償単位の前記動きベクトルを取得するように構成された、
項目13に記載の装置。
[項目15]
前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位の前記動きベクトルに従って、補間によって、前記イメージ単位の前記基本動き補償単位の前記動きベクトルを取得することは、
[数29]
の方式で実装され、
xおよびyは、それぞれ、前記イメージ単位の前記基本動き補償単位の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1
、x
2
、x
3
、および、y
1
、y
2
、y
3
はそれぞれ、前記第1参照単位における前記3つのプリセット位置での前記基本動き補償単位の横座標および縦座標であり、vx
1
、vx
2
、vx
3
、および、vy
1
、vy
2
、vy
3
は、対応する横方向動きベクトルおよび縦方向動きベクトルである、
項目14に記載の装置。
[項目16]
前記第3取得モジュールは、前記第1参照単位における2つのプリセット位置での基本動き補償単位の動き情報を取得するように構成され、
対応して、前記動き情報に従って、前記イメージ単位の基本動き補償単位の動き情報を取得することは、前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルに従って、前記イメージ単位の前記基本動き補償単位の予測方向、参照フレームインデックス、および動きベクトルを取得することを有する、
項目10から12のいずれか一項に記載の装置。
[項目17]
前記第3取得モジュールはさらに、
同一の予測方向を、前記イメージ単位の前記基本動き補償単位、および、前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位に割り当て、
同一の参照フレームインデックスを、前記イメージ単位の前記基本動き補償単位、および、前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位に割り当て、ならびに、
前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位の前記動きベクトルに従って、補間によって、前記イメージ単位の前記基本動き補償単位の前記動きベクトルを取得するように構成された、
項目16に記載の装置。
[項目18]
前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位の前記動きベクトルに従って、補間によって、前記イメージ単位の前記基本動き補償単位の前記動きベクトルを取得することは、
[数30]
の方式で実装され、
xおよびyは、それぞれ、前記イメージ単位の前記基本動き補償単位の横座標および縦座標であり、vxおよびvyは、対応する横方向動きベクトルおよび縦方向動きベクトルであり、x
1
、x
2
、および、y
1
、y
2
はそれぞれ、前記第1参照単位における前記2つのプリセット位置での前記基本動き補償単位の横座標および縦座標であり、vx
1
、vx
2
、および、vy
1
、vy
2
は、対応する横方向動きベクトルおよび縦方向動きベクトルである、
項目17に記載の装置。