特許 7412343 画像符号化装置、画像復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-28

(45)【発行日】2024-01-12

(54)【発明の名称】画像符号化装置、画像復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/52 20140101AFI20240104BHJP

【ＦＩ】

H04N19/52

【請求項の数】 10

(21)【出願番号】P 2020548412

(86)(22)【出願日】2019-09-12

(86)【国際出願番号】 JP2019035813

(87)【国際公開番号】W WO2020059616

(87)【国際公開日】2020-03-26

【審査請求日】2022-08-12

(31)【優先権主張番号】P 2018178123

(32)【優先日】2018-09-21

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】根本 慎平

【審査官】田部井 和彦

(56)【参考文献】

【文献】特開２０１８－１１３７０２（ＪＰ，Ａ）

【文献】国際公開第２０１２／０８１１６２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０１８２５０２（ＵＳ，Ａ１）

【文献】Shunsuke Iwamura et al.，CE4-2.11: MVPlanar prediction，JVET-K0349-v1[online]，2018年07月03日，pp.1-3，インターネット <URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0349-v1.zip>

【文献】Shunsuke Iwamura et al.，CE4-related: Angular merge prediction，JVET-L0411r1[online]，2018年09月27日，pp.1-4，インターネット <URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L0411-v3.zip>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／５２

(57)【特許請求の範囲】

【請求項1】

画像をブロック分割してブロックごとに符号化する画像符号化装置であって、
符号化するべき対象ブロックに適用するイントラ予測モードを決定するイントラ予測部と、
前記符号化するべき対象ブロックを複数の小領域に分割する小領域分割部と、
前記対象ブロックの周囲の符号化済みブロックのうち、どの方向の符号化済みブロックを参照すべきかを表す参照方向を決定する参照方向決定部と、
前記決定された参照方向に位置する符号化済みブロックのインター予測に適用された動きベクトルを参照して、前記小領域ごとに動きベクトルを導出する動きベクトル導出部と、
前記導出された動きベクトルを用いて前記小領域ごとにインター予測を行うことにより、前記対象ブロックの予測画像を生成する予測画像生成部と、
前記決定された参照方向を表す参照方向情報を符号化してストリーム出力するエントロピー符号化部と、を備えることを特徴とする画像符号化装置。

【請求項2】

前記対象ブロックの周囲に位置する各符号化済みブロックのインター予測に適用された動きベクトルを含む複数の参照動きベクトルを取得する参照動きベクトル取得部をさらに備え、
前記動きベクトル導出部は、前記複数の小領域に含まれる１つの小領域ごとに、
前記１つの小領域を基準として前記参照方向に位置する符号化済みブロックに対応する参照動きベクトルを前記複数の参照動きベクトルの中から特定し、
前記特定した参照動きベクトルを用いて、前記１つの小領域の動きベクトルを外挿によって導出することを特徴とする請求項１に記載の画像符号化装置。

【請求項3】

前記エントロピー符号化部は、前記小領域ごとの動きベクトルを符号化することなく、前記参照方向情報を符号化してストリーム出力することを特徴とする請求項１又は２に記載の画像符号化装置。

【請求項4】

前記予測画像生成部は、
前記小領域ごとにインター予測を行って前記小領域ごとの予測画像を生成し、
前記小領域ごとの予測画像を合成することにより前記対象ブロックの予測画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。

【請求項5】

符号化ストリームをブロックごとに復号する画像復号装置であって
復号するべき対象ブロックに適用するイントラ予測モードに関する制御情報に従ってイントラ予測を行うことによりイントラ予測画像を生成するイントラ予測部と、
前記復号するべき対象ブロックを複数の小領域に分割する小領域分割部と、
前記符号化ストリームを復号することにより、前記対象ブロックの周囲の復号済みブロックのうちどの方向の復号済みブロックを参照すべきかを表す参照方向を取得するエントロピー復号部と、
前記取得された参照方向に位置する復号済みブロックのインター予測に適用された動きベクトルを参照して、前記小領域ごとに動きベクトルを導出する動きベクトル導出部と、
前記導出された動きベクトルを用いて前記小領域ごとにインター予測を行うことにより、前記対象ブロックの予測画像を生成する予測画像生成部と、を備えることを特徴とする画像復号装置。

【請求項6】

前記対象ブロックの周囲に位置する各復号済みブロックのインター予測に適用された動きベクトルを含む複数の参照動きベクトルを取得する参照動きベクトル取得部をさらに備え、
前記動きベクトル導出部は、前記複数の小領域に含まれる１つの小領域ごとに、
前記１つの小領域を基準として前記参照方向に位置する復号済みブロックに対応する参照動きベクトルを前記複数の参照動きベクトルの中から特定し、
前記特定した参照動きベクトルを用いて、前記１つの小領域の動きベクトルを外挿によって導出することを特徴とする請求項５に記載の画像復号装置。

【請求項7】

前記エントロピー復号部は、前記小領域ごとの動きベクトルを前記符号化ストリームから取得することなく、前記参照方向を前記符号化ストリームから取得することを特徴とする請求項５又は６に記載の画像復号装置。

【請求項8】

前記予測画像生成部は、
前記小領域ごとにインター予測を行って前記小領域ごとの予測画像を生成し、
前記小領域ごとの予測画像を合成することにより前記対象ブロックの予測画像を生成することを特徴とする請求項５乃至７のいずれか１項に記載の画像復号装置。

【請求項9】

コンピュータを請求項１乃至４のいずれか１項に記載の画像符号化装置として機能させることを特徴とするプログラム。

【請求項10】

コンピュータを請求項５乃至８のいずれか１項に記載の画像復号装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化装置、画像復号装置、及びプログラムに関する。

【背景技術】

【0002】

従来の動画像（映像）符号化方式における画像符号化装置は、原画像をブロックに分割し、ブロックごとに、フレーム間の時間的相関を利用したインター予測とフレーム内の空間的相関を利用したイントラ予測とを切り替えながら予測を行い、予測により得られた予測画像の誤差を表す予測残差に対し直交変換、量子化、エントロピー符号化を施すことにより、ストリーム出力するように構成されている。

【0003】

このような符号化方式のひとつであるＨ.２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、符号化対象のブロック（ＣＵ： Ｃｏｄｉｎｇ Ｕｎｉｔ）のインター予測に用いる動きベクトルの導出モードとして、マージモードが導入されている。

【0004】

ここで導入されたマージモードでは、符号化対象ＣＵの左や上に隣接する複数のＣＵを参照して、それらのＣＵのインター予測モードで適用した動きベクトルをもとに候補リストを作成し、そのリストのうちどの動きベクトルを使うかを示すインデックスを符号化して伝送することで動きベクトルの情報量の低減を実現している（非特許文献１参照）。

【0005】

また、非特許文献２では、マージモードの応用として、符号化対象ＣＵに隣接する複数の周囲のブロックの中から代表ＣＵを２つ選択し、選択した代表ＣＵのインター予測で適用した動きベクトルを用いて回転モデルを算出し、算出した回転モデルを符号化対象ＣＵに対し適用するＡｆｆｉｎｅモードが提案されている。

【0006】

具体的には、Ａｆｆｉｎｅモードでは、符号化対象ＣＵをあらかじめ規定したＮ×Ｎ画素の小領域（例えば４ｘ４画素）に分割し、前記回転モデルにより小領域ごとにその小領域の位置に応じた動きベクトルを算出することで、符号化対象ＣＵ内の小領域ごとに異なる動きベクトル用いたインター予測を実現している。

【先行技術文献】

【非特許文献】

【0007】

【文献】High Efficiency Video Coding (HEVC) -Algorithms and Architechtures-, V. Sze, M. Budagavi, G. J. Sullivan, Springer

【文献】"Algorithm description for Versatile Video Coding and Test Model 2 (VTM 2)," JVET-K1002

【発明の開示】

【発明が解決しようとする課題】

【0008】

しかしながら、非特許文献１に記載のマージモードでは、隣接する複数のＣＵによる候補リストのうち、１つの動きベクトルのみを用いて符号化対象ＣＵのインター予測を行うため、複雑な動きや２つのオブジェクトの境界部分での予測精度は低く、当該領域においてマージモードを用いると符号化効率が低下してしまう問題がある。

【0009】

また、非特許文献２に記載のＡｆｆｉｎｅモードでは、周囲のＣＵに適用した複数の動きベクトルを用いて小領域ごとに異なる動きベクトルを用いたインター予測が可能であるため、回転などの動きを精度よく予測可能ではあるが、前記マージモードと同様に、オブジェクト境界における予測精度が低く、符号化効率が低下してしまう問題を解決できていない。

【0010】

一方、符号化対象ＣＵを細かく分割して符号化することで、オブジェクト境界における予測精度は向上可能であるが、分割形状を示すフラグや、各分割されたブロックに対する動きベクトルなどの情報量が増大し、符号化効率が低下してしまう問題がある。

【0011】

そこで、本発明は、インター予測の予測精度を改善し、符号化効率を向上可能な画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

第１の特徴に係る画像符号化装置は、画像をブロック分割してブロックごとに符号化する画像符号化装置であって、符号化するべき対象ブロックを複数の小領域に分割する小領域分割部と、前記対象ブロックの周囲の符号化済みブロックのうちどの方向の符号化済みブロックを参照すべきかを表す参照方向を決定する参照方向決定部と、前記決定された参照方向に位置する符号化済みブロックのインター予測に適用された動きベクトルを参照して、前記小領域ごとに動きベクトルを導出する動きベクトル導出部と、前記導出された動きベクトルを用いて前記小領域ごとにインター予測を行うことにより、前記対象ブロックの予測画像を生成する予測画像生成部と、前記決定された参照方向を表す参照方向情報を符号化してストリーム出力するエントロピー符号化部とを備えることを要旨とする。

【0013】

第１の特徴において、画像符号化装置は、前記対象ブロックの周囲に位置する各符号化済みブロックのインター予測に適用された動きベクトルを含む複数の参照動きベクトルを取得する参照動きベクトル取得部をさらに備えてもよい。前記動きベクトル導出部は、前記複数の小領域に含まれる１つの小領域ごとに、前記１つの小領域を基準として前記参照方向に位置する符号化済みブロックに対応する参照動きベクトルを前記複数の参照動きベクトルの中から特定し、前記特定した参照動きベクトルを用いて、前記１つの小領域の動きベクトルを外挿によって導出してもよい。

【0014】

第１の特徴において、前記エントロピー符号化部は、前記小領域ごとの動きベクトルを符号化することなく、前記参照方向情報を符号化してストリーム出力してもよい。

【0015】

第１の特徴において、前記予測画像生成部は、前記小領域ごとにインター予測を行って前記小領域ごとの予測画像を生成し、前記小領域ごとの予測画像を合成することにより前記対象ブロックの予測画像を生成してもよい。

【0016】

第２の特徴に係る画像復号装置は、符号化ストリームをブロックごとに復号する画像復号装置であって、復号するべき対象ブロックを複数の小領域に分割する小領域分割部と、前記符号化ストリームを復号することにより、前記対象ブロックの周囲の復号済みブロックのうちどの方向の復号済みブロックを参照すべきかを表す参照方向を取得するエントロピー復号部と、前記取得された参照方向に位置する復号済みブロックのインター予測に適用された動きベクトルを参照して、前記小領域ごとに動きベクトルを導出する動きベクトル導出部と、前記導出された動きベクトルを用いて前記小領域ごとにインター予測を行うことにより、前記対象ブロックの予測画像を生成する予測画像生成部とを備えることを要旨とする。

【0017】

第２の特徴において、画像復号装置は、前記対象ブロックの周囲に位置する各復号済みブロックのインター予測に適用された動きベクトルを含む複数の参照動きベクトルを取得する参照動きベクトル取得部をさらに備えてもよい。前記動きベクトル導出部は、前記複数の小領域に含まれる１つの小領域ごとに、前記１つの小領域を基準として前記参照方向に位置する復号済みブロックに対応する参照動きベクトルを前記複数の参照動きベクトルの中から特定し、前記特定した参照動きベクトルを用いて、前記１つの小領域の動きベクトルを外挿によって導出してもよい。

【0018】

第２の特徴において、前記エントロピー復号部は、前記小領域ごとの動きベクトルを前記符号化ストリームから取得することなく、前記参照方向を前記符号化ストリームから取得してもよい。

【0019】

第２の特徴において、前記予測画像生成部は、前記小領域ごとにインター予測を行って前記小領域ごとの予測画像を生成し、前記小領域ごとの予測画像を合成することにより前記対象ブロックの予測画像を生成してもよい。

【0020】

第３の特徴に係るプログラムは、コンピュータを第１の特徴に係る画像符号化装置として機能させることを要旨とする。

【0021】

第４の特徴に係るプログラムは、コンピュータを第２の特徴に係る画像復号装置として機能させることを要旨とする。

【発明の効果】

【0022】

本発明によれば、インター予測の予測精度を改善し、符号化効率を向上可能な画像符号化装置、画像復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0023】

【図1】実施形態に係る画像符号化装置の構成を示す図である。

【図2】実施形態に係る画像符号化装置のインター予測部の構成を示す図である。

【図3】実施形態に係る小領域の構成例を示す図である。

【図4】実施形態に係る参照動きベクトルの一例を示す図である。

【図5】実施形態に係る参照方向の種類の一例を示す図である。

【図6】実施形態に係る参照方向が左下方向の場合の例を示す図である。

【図7】左下２６．５度方向を参照して外挿を行う例を示す図である。

【図8】実施形態に係る画像符号化装置のインター予測部の動作を示す図である。

【図9】実施形態に係る画像復号装置の構成を示す図である。

【図10】実施形態に係る画像復号装置のインター予測部の構成を示す図である。

【図11】実施形態に係る画像復号装置のインター予測部の動作を示す図である。

【図12】その他の実施形態に係る動きベクトルの導出方法を示す図である。

【発明を実施するための形態】

【0024】

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0025】

＜画像符号化装置＞
まず、本実施形態に係る画像符号化装置について説明する。図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

【0026】

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを備える。

【0027】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数のブロックに分割し、分割により得たブロックを減算部１１０に出力する。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置が復号を行う単位である。以下において、かかるブロックをＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と称する。

【0028】

減算部１１０は、ブロック分割部１００から入力された符号化対象ＣＵと、符号化対象ＣＵを予測部１７０が予測して得た予測画像との差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ＣＵの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0029】

変換・量子化部１２０は、ＣＵ単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを備える。

【0030】

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

【0031】

量子化部１２２は、変換部１２１から入力された直交変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ＣＵ内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。

【0032】

エントロピー符号化部１３０は、量子化部１２２から入力された直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、予測部１７０から予測に関する制御情報が入力され、入力された制御情報のエントロピー符号化も行う。

【0033】

逆量子化・逆変換部１４０は、ＣＵ単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを備える。

【0034】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部１４２に出力する。

【0035】

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0036】

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１７０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算して符号化対象ＣＵを再構成（復号）し、復号したＣＵ単位の復号画像をメモリ１６０に出力する。かかる復号画像は、再構成画像と称されることがある。

【0037】

メモリ１６０は、合成部１５０から入力された復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

【0038】

予測部１７０は、ＣＵ単位で予測を行う。予測部１７０は、イントラ予測部１７１と、インター予測部１７２と、切替部１７３とを備える。

【0039】

イントラ予測部１７１は、メモリ１６０に記憶された復号画像のうち、符号化対象ＣＵの周辺にある復号画素値を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部１７３に出力する。また、イントラ予測部１７１は、複数のイントラ予測モードの中から、対象ＣＵに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。イントラ予測部１７１は、選択したイントラ予測モードに関する制御情報をエントロピー符号化部１３０に出力する。

【0040】

インター予測部１７２は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ＣＵを予測してインター予測画像を生成し、生成したインター予測画像を切替部１７３に出力する。インター予測部１７２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７２は、インター予測に関する制御情報をエントロピー符号化部１３０に出力する。

【0041】

切替部１７３は、イントラ予測部１７１から入力されるイントラ予測画像とインター予測部１７２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

【0042】

次に、画像符号化装置１のインター予測部１７２について説明する。図２は、画像符号化装置１のインター予測部１７２の構成を示す図である。

【0043】

図２に示すように、インター予測部１７２は、小領域分割部１７２ａと、参照動きベクトル取得部１７２ｂと、参照方向決定部１７２ｃと、動きベクトル導出部１７２ｄと、予測画像生成部１７２ｅとを備える。

【0044】

小領域分割部１７２ａは、符号化対象（予測対象）のＣＵをあらかじめ規定したサイズの複数の小領域に分割し、分割により得られた各小領域の情報を動きベクトル導出部１７２ｄ及び予測画像生成部１７２ｅに出力する。かかる小領域は、サブブロックと称されてもよい。

【0045】

図３は、小領域の構成例を示す図である。図３（ａ）に示すように、各小領域のサイズを同一とし、例えば小領域を４×４画素ごとの領域としてもよい。

【0046】

或いは、画像符号化装置及び画像復号装置で共通の処理をあらかじめ規定しておけば、図３（ｂ）に示すように、各小領域のサイズを異ならせてもよい。例えば、符号化対象ＣＵの境界付近を細かく、中心付近を荒く分割するような方法で小領域に分割してもよい。

【0047】

参照動きベクトル取得部１７２ｂは、符号化対象ＣＵの周囲（上や左）に位置する各符号化済みＣＵのインター予測に適用された動きベクトルを参照動きベクトルとして取得し、取得した参照動きベクトルのリストを参照方向決定部１７２ｃ及び動きベクトル導出部１７２ｄに出力する。

【0048】

図４は、参照動きベクトルの一例を示す図である。図４（ａ）に示すように、符号化対象ＣＵの上や左に位置する符号化済みＣＵのうち一部の符号化済みＣＵにイントラ予測が適用された場合には、参照動きベクトル取得部１７２ｂは、当該一部の符号化済みＣＵに近接するＣＵに適用した動きベクトルを代用することによって参照動きベクトルを補間してもよいし、周囲の利用可能な動きベクトルの加重平均などによって参照動きベクトルを算出して補間してもよい。符号化対象ＣＵが画面端である場合にも同様にして補間する。

【0049】

図４（ｂ）に示すように、符号化対象ＣＵの左上の座標を（０，０）、符号化対象ＣＵの幅をＷ、高さをＨ、小領域のサイズ（ここでは小領域の幅と高さが等しい場合を例に説明する）をＳとすると、参照動きベクトルｒｅｆＭＶは下記の式（１）のように算出される。

【0050】

refMV[-1][-1] = MV[-1][-1]
refMV[-1][n] = MV[-1][(n+1)*S-1] (n=0…(H+W)/S-1)
refMV[n][-1] = MV[(n+1)*S-1][-1] (n=0…(H+W)/S-1) ・・・（１）
ただし、式（１）中のＭＶ［ｘ］［ｙ］は、（ｘ，ｙ）座標に位置する画素を包含するＣＵが適用された動きベクトルを表す。

【0051】

なお、動きベクトルは、動きベクトルの水平及び垂直方向のベクトルの値のほか、参照するピクチャ（参照画像）の時間的な位置（例えばＰＯＣ：Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔや参照リスト内の参照インデックス）などを含んでもよい。

【0052】

参照方向決定部１７２ｃは、符号化対象ＣＵの周囲に位置する符号化済みＣＵのうち、どの方向の符号化済みＣＵを参照すべきかを表す参照方向を決定し、決定した参照方向を表す参照方向情報を動きベクトル導出部１７２ｄ及びエントロピー符号化部１３０に出力する。具体的には、参照方向は、どの方向に位置する参照動きベクトルを用いて符号化対象ＣＵ内の小領域に対し適用する動きベクトルを外挿するかを示す。

【0053】

例えば、参照方向決定部１７２ｃは、あらかじめ規定した参照方向の候補の中から参照方向を決定する。図５は、参照方向の候補の一例を示す図である。図５（ａ）乃至（ｅ）に示すように、参照方向の候補として５種類の参照方向を規定する。

【0054】

具体的には、図５（ａ）は「左下方向を参照」を示し、図５（ｂ）は「左方向を参照」を示し、図５（ｃ）は「左上方向を参照」を示し、図５（ｄ）は「上方向を参照」を示し、図５（ｅ）は「右上方向を参照」を示す。

【0055】

図中の太線で囲まれたブロックを符号化対象ＣＵとし、符号化対象ＣＵの左や上に位置するブロック群及びその動きベクトルを、符号化対象ＣＵの周辺に位置する符号化済みのＣＵ及びそのＣＵに適用された動きベクトルとする。なお、本例では、イントラ予測が適用された場合など動きベクトルが利用できない場合の補間処理は既に行われているものとする。

【0056】

参照方向決定部１７２ｃは、上記５種類の参照方向のうち、どの参照方向による外挿を符号化対象ＣＵに対して適用するかを決定する。参照方向決定部１７２ｃは、例えば、選択可能なすべての参照方向による外挿を試行し、生成された動きベクトルを用いて符号化対象ＣＵを予測し、直交変換し、量子化し、及びエントロピー符号化し、発生情報量と原画からの歪み量との一次結合によりレート歪み（ＲＤ）コストを算出し、ＲＤコストが最小となる参照方向を決定する。

【0057】

なお、ＲＤコストを算出するための前処理としては、試行する参照方向による外挿で得られる動きベクトルによる予測残差の統計量の比較により簡易に参照方向を絞り込みもしくは決定してもよい。また、原画に対しエッジ量などの特徴量解析を行うことで参照方向を決定してもよいし、時間的、空間的に隣接する動きベクトルの統計量解析により参照方向を決定してもよい。

【0058】

動きベクトル導出部１７２ｄは、参照方向決定部１７２ｃが決定した参照方向に位置する符号化済みブロックのインター予測に適用された参照動きベクトルを参照して、小領域ごとに動きベクトルを導出し、小領域ごとに導出した動きベクトルを予測画像生成部１７２ｅに出力する。本実施形態において、動きベクトル導出部１７２ｄは、参照動きベクトルを用いて符号化対象ＣＵ内の各小領域に適用する動きベクトルを外挿する。

【0059】

図６は、参照方向が左下方向の場合の例を示す図である。図６におけるｒｅｆＭＶは参照動きベクトルであり、ｐＭＶは外挿された各小領域に適用する動きベクトルとする。図６に示すように、参照方向が左下方向である場合には、動きベクトル導出部１７２ｄは、外挿された動きベクトルｐＭＶを下記の式（２）のように算出する。

【0060】

pMV[x][y] = refMV[-1][x+y-1] ・・・（２）
ただし、x=0…W/S-1, y=0…H/S-1である。

【0061】

なお、小領域に適用する動きベクトルを参照方向に位置する１つの参照動きベクトルのコピーにより決定する場合に限定されず、参照方向の付近に位置する複数の参照動きベクトルの加重平均により算出してもよい。例えば、動きベクトル導出部１７２ｄは、参照方向付近の３つの参照動きベクトルを用いて動きベクトルｐＭＶを下記の式（３）のように算出してもよい。

【0062】

pMV[x][y] = (refMV[-1][x+y-2] + refMV[-1][x+y-1]*2 + refMV[-1][x+y])/4 ・・・（３）
また、本実施例では、参照方向として、垂直方向・水平方向及び傾きが４５度の方向を例にして説明したが、画像符号化装置と画像復号装置とで共通の処理を行えば、角度は任意に設定可能である。例えば、図７に示すように左下２６．５度方向を参照して外挿を行う例では、動きベクトル導出部１７２ｄは、ｐＭＶ［ｘ］［ｙ］を下記の式（４）のように算出してもよい。

【0063】

【数1】

予測画像生成部１７２ｅは、動きベクトル導出部１７２ｄにより導出された動きベクトルを用いて、符号化対象ＣＵ内の小領域ごとにインター予測を行うことにより、符号化対象ＣＵの予測画像を生成し、生成した予測画像（インター予測画像）を切替部１７３に出力する。

【0064】

具体的には、予測画像生成部１７２ｅは、動きベクトル導出部１７２ｄにより小領域ごとに導出された動きベクトルを用いて、小領域ごとにインター予測を行うことにより小領域ごとの予測画像を生成する。そして、予測画像生成部１７２ｅは、小領域ごとの予測画像を合成することにより符号化対象ＣＵの予測画像を生成する。

【0065】

なお、かかる予測画像は切替部１７３を介して減算部１１０に入力され、減算部１１０は符号化対象ＣＵと予測画像との間の差を表す予測残差を変換・量子化部１２０に出力する。変換・量子化部１２０は、予測残差から量子化された直交変換係数を生成し、生成した直交変換係数をエントロピー符号化部１３０に出力する。

【0066】

エントロピー符号化部１３０は、参照方向決定部１７２ｃから入力された参照方向情報を、変換・量子化部１２０から入力された直交変換係数とともにエントロピー符号化し、ストリーム出力する。

【0067】

次に、画像符号化装置１のインター予測部１７２の動作について説明する。図８は、画像符号化装置１のインター予測部１７２の動作を示す図である。

【0068】

図８に示すように、ステップＳ１０１において、小領域分割部１７２ａは、符号化対象ＣＵを複数の小領域に分割する。

【0069】

ステップＳ１０２において、参照方向決定部１７２ｃは、符号化対象ＣＵの周囲の符号化済みブロックのうちどの方向の符号化済みブロックを参照すべきかを表す参照方向を決定する。

【0070】

ステップＳ１０３において、動きベクトル導出部１７２ｄは、ステップＳ１０２で参照方向決定部１７２ｃにより決定された参照方向に位置する符号化済みブロックのインター予測に適用された動きベクトルを参照して、小領域ごとに動きベクトルを導出する。

【0071】

ステップＳ１０４において、予測画像生成部１７２ｅは、ステップＳ１０３で動きベクトル導出部１７２ｄにより導出された動きベクトルを用いて小領域ごとにインター予測を行うことにより、符号化対象ＣＵの予測画像を生成する。

【0072】

なお、エントロピー符号化部１３０は、ステップＳ１０２で参照方向決定部１７２ｃにより決定された参照方向を示す参照方向情報を符号化してストリーム出力する。

【0073】

このように、本実施形態に係る画像符号化装置１によれば、符号化対象ＣＵ内の小領域ごとに異なる動きベクトルを用いて小領域ごとにきめ細かなインター予測を行うことができるため、複雑な動きや２つのオブジェクトの境界部分での予測精度を改善できる。

【0074】

また、符号化対象ＣＵについて１つの参照方向情報を符号化ストリームに含めればよいため、符号化対象ＣＵ内の小領域ごとに動きベクトルを符号化ストリームに含める場合に比べて、伝送すべき情報量を削減できる。

【0075】

＜画像復号装置＞
次に、本実施形態に係る画像復号装置について説明する。図９は、本実施形態に係る画像復号装置２の構成を示す図である。

【0076】

図９に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを備える。

【0077】

エントロピー復号部２００は、画像符号化装置１により生成された符号化ストリームを復号し、量子化された直交変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、予測（イントラ予測及びインター予測）に関する制御情報を取得し、取得した制御情報を予測部２４０に出力する。

【0078】

本実施形態において、エントロピー復号部２００は、符号化ストリームに含まれる参照方向情報を復号し、復号した参照方向情報をインター予測部２４２に出力する。

【0079】

逆量子化・逆変換部２１０は、ＣＵ単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを備える。

【0080】

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から入力された量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、直交変換係数を復元し、復元した直交変換係数を逆変換部２１２に出力する。

【0081】

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0082】

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２４０から入力された予測画像とを画素単位で合成することにより、元のＣＵを再構成（復号）し、ＣＵ単位の復号画像をメモリ２３０に出力する。

【0083】

メモリ２３０は、合成部２２０から入力された復号画像を記憶する。メモリ２３０は、復号画像をフレーム単位で記憶する。メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

【0084】

予測部２４０は、ＣＵ単位で予測を行う。予測部２４０は、イントラ予測部２４１と、インター予測部２４２と、切替部２４３とを備える。

【0085】

イントラ予測部２４１は、メモリ２３０に記憶された復号画像を参照し、エントロピー復号部２００から入力された制御情報に従ってイントラ予測を行うことによりイントラ予測画像を生成し、生成したイントラ予測画像を切替部２４３に出力する。

【0086】

インター予測部２４２は、メモリ２３０に記憶された復号画像を参照画像として用いて予測対象のＣＵを予測するインター予測を行う。インター予測部２４２は、エントロピー復号部２００から入力された制御情報に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を切替部２４３に出力する。

【0087】

切替部２４３は、イントラ予測部２４１から入力されるイントラ予測画像とインター予測部２４２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

【0088】

次に、画像復号装置２のインター予測部２４２について説明する。図１０は、画像復号装置２のインター予測部２４２の構成を示す図である。ここでは画像符号化装置１のインター予測部１７２の動作と重複する動作については適宜説明を省略する。

【0089】

図１０に示すように、インター予測部２４２は、小領域分割部２４２ａと、参照動きベクトル取得部２４２ｂと、動きベクトル導出部２４２ｄと、予測画像生成部２４２ｅとを備える。

【0090】

小領域分割部２４２ａは、復号対象（予測対象）のＣＵをあらかじめ規定したサイズの複数の小領域に分割し、分割により得られた各小領域の情報を動きベクトル導出部２４２ｄ及び予測画像生成部２４２ｅに出力する。

【0091】

参照動きベクトル取得部２４２ｂは、復号対象ＣＵの周囲（上や左）に位置する各復号済みＣＵのインター予測に適用された動きベクトルを参照動きベクトルとして取得し、取得した参照動きベクトルのリストを動きベクトル導出部２４２ｄに出力する。

【0092】

動きベクトル導出部２４２ｄは、エントロピー復号部２００から入力された参照方向情報に基づいて、画像符号化装置１により決定された参照方向に位置する復号済みブロックのインター予測に適用された参照動きベクトルを参照して、小領域ごとに動きベクトルを導出し、小領域ごとに導出した動きベクトルを予測画像生成部２４２ｅに出力する。

【0093】

予測画像生成部２４２ｅは、動きベクトル導出部２４２ｄにより導出された動きベクトルを用いて、復号対象ＣＵ内の小領域ごとにインター予測を行うことにより、復号対象ＣＵの予測画像を生成し、生成した予測画像（インター予測画像）を切替部２４３に出力する。

【0094】

具体的には、予測画像生成部２４２ｅは、動きベクトル導出部２４２ｄにより小領域ごとに導出された動きベクトルを用いて、小領域ごとにインター予測を行うことにより小領域ごとの予測画像を生成する。そして、予測画像生成部１７２ｅは、小領域ごとの予測画像を合成することにより復号対象ＣＵの予測画像を生成する。

【0095】

なお、かかる予測画像は切替部２４３を介して合成部２２０に入力され、合成部２２０は、逆変換部２１２から入力された予測残差と、予測画像とを画素単位で合成することにより、元のＣＵを再構成（復号）し、ＣＵ単位の復号画像をメモリ２３０に出力する。

【0096】

次に、画像復号装置２のインター予測部２４２の動作について説明する。図１１は、画像復号装置２のインター予測部２４２の動作を示す図である。

【0097】

図１１に示すように、ステップＳ２０１において、小領域分割部２４２ａは、復号対象ＣＵを複数の小領域に分割する。

【0098】

ステップＳ２０２において、動きベクトル導出部２４２ｄは、エントロピー復号部２００により復号された参照方向情報に応じて、画像符号化装置１により決定された参照方向を取得する。

【0099】

ステップＳ２０３において、動きベクトル導出部２４２ｄは、ステップＳ２０２で取得された参照方向に位置する復号済みブロックのインター予測に適用された動きベクトルを参照して、小領域ごとに動きベクトルを導出する。

【0100】

ステップＳ２０４において、予測画像生成部２４２ｅは、ステップＳ２０３で動きベクトル導出部２４２ｄにより導出された動きベクトルを用いて小領域ごとにインター予測を行うことにより、復号対象ＣＵの予測画像を生成する。

【0101】

このように、本実施形態に係る画像復号装置２によれば、復号対象ＣＵ内の小領域ごとに異なる動きベクトルを用いて小領域ごとにきめ細かなインター予測を行うことができるため、複雑な動きや２つのオブジェクトの境界部分での予測精度を改善できる。

【0102】

＜その他の実施形態＞
上述した実施形態において、参照動きベクトルを用いて符号化対象ＣＵ内の各小領域に適用する動きベクトルを外挿する一例について説明した。しかしながら、図１２に示すように、２以上の参照動きベクトルを用いて、小領域に適用する動きベクトルを内挿してもよい。図１２に示す例では、参照方向が左下方向であり、小領域が左下方向のＣＵに適用された参照動きベクトルを参照するが、当該小領域は、右上方向のＣＵに適用された参照動きベクトルもさらに参照する。左下方向のＣＵと当該小領域との間の距離と、右上方向のＣＵと当該小領域との間の距離とに応じて参照動きベクトルを重み付けし、当該小領域に適用する動きベクトルを内挿する。

【0103】

画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムにより提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0104】

また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

【0105】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0106】

本願は、日本国特許第２０１８－１７８１２３号（２０１８年９月２１日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】