特許 7449690 インター予測装置、画像符号化装置、画像復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-06

(45)【発行日】2024-03-14

(54)【発明の名称】インター予測装置、画像符号化装置、画像復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/105 20140101AFI20240307BHJP

   H04N 19/139 20140101ALI20240307BHJP

   H04N 19/176 20140101ALI20240307BHJP

   H04N 19/513 20140101ALI20240307BHJP

【ＦＩ】

H04N19/105

H04N19/139

H04N19/176

H04N19/513

【請求項の数】 6

(21)【出願番号】P 2019233775

(22)【出願日】2019-12-25

(65)【公開番号】P2020109959

(43)【公開日】2020-07-16

【審査請求日】2022-11-25

(31)【優先権主張番号】P 2018248654

(32)【優先日】2018-12-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】根本 慎平

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０２０－０５３７２５（ＪＰ，Ａ）

【文献】特開２０１１－０６６５６９（ＪＰ，Ａ）

【文献】特開２００６－２４６３９６（ＪＰ，Ａ）

【文献】特開平０７－３２２２５３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／０００９０３８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

原画像を分割して得た符号化対象ブロックのインター予測を行うインター予測装置であって、
前記符号化対象ブロックの周囲のブロックに適用した第１動きベクトルを取得する隣接ベクトル取得部と、
前記符号化対象ブロックに適用する第２動きベクトルを、前記第１動きベクトルを用いて補正することにより補正動きベクトルを生成する動きベクトル補正部と、
前記補正動きベクトルを用いて前記インター予測を行うことにより、前記符号化対象ブロックの予測画像を生成する予測画像生成部と、を備え、
前記動きベクトル補正部は、
前記符号化対象ブロックの幅及び高さに応じて決定したパラメータと前記第１動きベクトルとを用いて前記第２動きベクトルを補正することを特徴とするインター予測装置。

【請求項2】

前記符号化対象ブロックを複数の小領域に分割する小領域分割部をさらに備え、
前記動きベクトル補正部は、前記符号化対象ブロックの各小領域に適用する第２動きベクトルを、当該小領域の位置に対応する前記第１動きベクトルを用いて補正することにより補正動きベクトルを生成することを特徴とする請求項１に記載のインター予測装置。

【請求項3】

前記動きベクトル補正部は、
前記小領域の位置に応じて決定した重みを用いて、当該小領域の位置に対応する前記第１動きベクトルを重み付けし、
前記重み付けされた第１動きベクトルを用いて、当該小領域に適用する第２動きベクトルを補正することを特徴とする請求項２に記載のインター予測装置。

【請求項4】

請求項１乃至３のいずれか１項に記載のインター予測装置を備えることを特徴とする画像符号化装置。

【請求項5】

請求項１乃至３のいずれか１項に記載のインター予測装置を備えることを特徴とする画像復号装置。

【請求項6】

コンピュータを請求項１乃至３のいずれか１項に記載のインター予測装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、インター予測装置、画像符号化装置、画像復号装置、及びプログラムに関する。

【背景技術】

【0002】

非特許文献１に記載のＨＥＶＣに代表される従来の映像符号化方式では、画像符号化装置は、原画像をブロックに分割し、ブロックごとにインター予測とイントラ予測とを切り替えながら予測を行い、予測により得られた予測画像の誤差を表す予測残差に対し直交変換、量子化、エントロピー符号化を施すことにより、ストリーム出力するように構成されている。

【0003】

かかる映像符号化方式におけるインター予測では、符号化対象のブロック（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ）に適用する動きベクトルが、当該符号化対象ＣＵに隣接する隣接ＣＵに適用する動きベクトルと異なる場合には、符号化対象ＣＵの予測画像及び隣接ＣＵの予測画像は特徴が大きく異なる。

【0004】

図１に示す従来の映像符号化方式の例では、オブジェクト＃１は左上に動いており、オブジェクト＃２は右上に動いているものとする。オブジェクト＃１のみが含まれる符号化対象ＣＵの左側に位置する隣接ＣＵ＃１に対するインター予測では、オブジェクト＃１の動きと同様の動きベクトル（ＭＶ＃３）が適用される可能性が高い。符号化対象ＣＵは、オブジェクト＃１及びオブジェクト＃２の両方を含むオブジェクト境界に位置するが、多くの領域をオブジェクト＃１が占めることから、左側に隣接する隣接ＣＵ＃１の動きベクトル（ＭＶ＃２）と同様の動きベクトル（ＭＶ＃１）が符号化対象ＣＵに適用される可能性が高い。

【0005】

隣り合うＣＵ同士の動きベクトルが同様である場合には、ＣＵの境界領域の動きの連続性は高く、予測精度は高くなる可能性が高い。一方、図１の符号化対象ＣＵの上側に隣接するＣＵ＃２はオブジェクト＃２を多く含むことから、オブジェクト＃２の動きと同様の動きベクトル（ＭＶ＃３）が適用される可能性が高い。すなわち、符号化対象ＣＵに適用する動きベクトル（ＭＶ＃１）と隣接ＣＵ＃１に適用する動きベクトル（ＭＶ＃３）とは大きく異なる可能性が高い。このような隣り合うＣＵ同士の動きベクトルが大きく異なる場合には、これらのＣＵのどちらか少なくとも一方にオブジェクト境界が含まれる可能性が高い。

【先行技術文献】

【非特許文献】

【0006】

【文献】Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６）， "Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

【発明の概要】

【発明が解決しようとする課題】

【0007】

オブジェクト境界における動きベクトルの不連続性は予測精度の低下を招き、符号化効率が低下してしまう問題がある。ＨＥＶＣでは、この問題を解決するため、ループフィルタにおいて、符号化対象ＣＵに適用した動きベクトルと隣接ブロックに適用した動きベクトルとの差が予め規定した値より大きいか否かに応じて、ブロック歪を除去するデブロッキングフィルタを適用するか否かを制御する手法が導入されている。

【0008】

しかしながら、予測（インター予測）においては、上記の動きベクトルの不連続性にかかわらず同一の処理が適用されているため、直交変換係数の伝送に必要な情報量がオブジェクト境界付近のブロックで増大し、符号化効率が低下してしまう問題がある。

【0009】

そこで、本発明は、インター予測を行う場合において符号化効率を向上させることが可能なインター予測装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

第１の態様に係るインター予測装置は、原画像を分割して得た符号化対象ブロックのインター予測を行う。前記インター予測装置は、前記符号化対象ブロックに隣接する隣接復号済みブロック群に適用した１つ以上の第１動きベクトルを取得する隣接ベクトル取得部と、前記符号化対象ブロックに適用する第２動きベクトルを、前記第１動きベクトルを用いて補正することにより補正動きベクトルを生成する動きベクトル補正部と、前記補正動きベクトルを用いて前記インター予測を行うことにより、前記符号化対象ブロックの予測画像を生成する予測画像生成部とを備える。

【0011】

第２の態様に係る画像符号化装置は、第１の態様に係るインター予測装置を備えることを要旨とする。

【0012】

第３の態様に係る画像復号装置は、第１の態様に係るインター予測装置を備えることを要旨とする。

【0013】

第４の態様に係るプログラムは、コンピュータを第１の態様に係るインター予測装置として機能させることを要旨とする。

【発明の効果】

【0014】

本発明によれば、インター予測を行う場合において符号化効率を向上させることが可能なインター予測装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0015】

【図1】背景技術を説明するための図である。

【図2】第１及び第２実施形態に係る画像符号化装置の構成を示す図である。

【図3】第１実施形態に係るインター予測部（インター予測装置）の構成を示す図である。

【図4】第１及び第２実施形態に係る隣接ベクトル取得部の動作例を示す図である。

【図5】第１実施形態に係る動きベクトル補正部の動作例を示す図である。

【図6】第１及び第２実施形態に係る画像復号装置の構成を示す図である。

【図7】第１実施形態に係るインター予測部の動作を示す図である。

【図8】第１実施形態に係るインター予測部の変更例を示す図である。

【図9】第２実施形態に係るインター予測部（インター予測装置）の構成を示す図である。

【図10】第２実施形態に係る小領域の一例を示す図である。

【図11】第２実施形態に係る動きベクトル補正部の動作例を示す図である。

【図12】第２実施形態に係るインター予測部の動作を示す図である。

【図13】第２実施形態に係る動きベクトル補正部の変更例を示す図である。

【図14】第２実施形態に係る動きベクトル補正部の変更例の動作を示す図である。

【発明を実施するための形態】

【0016】

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0017】

＜１．第１実施形態＞
＜画像符号化装置＞
まず、本実施形態に係る画像符号化装置について説明する。図２は、本実施形態に係る画像符号化装置１の構成を示す図である。

【0018】

図２に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

【0019】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数のブロックに分割し、分割により得たブロックを減算部１１０に出力する。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置が復号を行う単位である。以下において、かかるブロックをＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ぶ。また、画像符号化装置１が処理するＣＵを符号化対象ＣＵと呼び、画像復号装置が処理するＣＵを復号対象ＣＵと呼ぶ。

【0020】

減算部１１０は、ブロック分割部１００から入力された符号化対象ＣＵと、符号化対象ＣＵを予測部１７０が予測して得た予測画像との差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ＣＵの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0021】

変換・量子化部１２０は、ＣＵ単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

【0022】

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

【0023】

量子化部１２２は、変換部１２１から入力された直交変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ＣＵ内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。

【0024】

エントロピー符号化部１３０は、量子化部１２２から入力された直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、予測部１７０から予測に関する制御情報が入力され、入力された制御情報のエントロピー符号化も行う。

【0025】

逆量子化・逆変換部１４０は、ＣＵ単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

【0026】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部１４２に出力する。

【0027】

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0028】

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１７０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算して符号化対象ＣＵを再構成（復号）し、復号したＣＵ単位の復号画像をメモリ１６０に出力する。かかる復号画像は、再構成画像と称されることがある。

【0029】

メモリ１６０は、合成部１５０から入力された復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。さらに、メモリ１６０は、インター予測部１７２において算出された動きベクトルをＣＵごとに記憶する。なお、メモリ１６０は、複数のメモリにより構成されてもよい。また、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

【0030】

予測部１７０は、ＣＵ単位で予測を行う。予測部１７０は、イントラ予測部１７１と、インター予測部１７２と、切替部１７３とを有する。

【0031】

イントラ予測部１７１は、メモリ１６０に記憶された復号画像のうち、符号化対象ＣＵの周辺にある復号画素値を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部１７３に出力する。イントラ予測部１７１は、複数のイントラ予測モードの中から、符号化対象ＣＵに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。イントラ予測部１７１は、選択したイントラ予測モードに関する制御情報をエントロピー符号化部１３０に出力する。

【0032】

インター予測部１７２は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ＣＵを予測してインター予測画像を生成し、生成したインター予測画像を切替部１７３に出力する。また、インター予測部１７２は、ＣＵごとに算出した動きベクトルをメモリ１６０に出力し、当該動きベクトルをメモリ１６０に記憶させる。

【0033】

インター予測部１７２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７２は、インター予測に関する制御情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

【0034】

切替部１７３は、イントラ予測部１７１から入力されるイントラ予測画像とインター予測部１７２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

【0035】

次に、本実施形態に係る画像符号化装置１のインター予測部１７２について説明する。図３は、本実施形態に係る画像符号化装置１のインター予測部１７２の構成を示す図である。

【0036】

図３に示すように、本実施形態に係るインター予測部１７２は、隣接ベクトル取得部１７２ａと、動きベクトル算出部１７２ｃと、動きベクトル補正部１７２ｄと、予測画像生成部１７２ｅとを有する。

【0037】

隣接ベクトル取得部１７２ａは、メモリ１６０から、符号化対象ＣＵの周囲（上や左）に位置する各隣接復号済みＣＵのインター予測に適用された動きベクトルＶｐを取得し、取得した動きベクトルＶｐのリストを動きベクトル補正部１７２ｄに出力する。なお、動きベクトルは、動きベクトルの水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）のベクトルの値のほか、参照するピクチャ（参照画像）の時間的な位置（例えば、ＰＯＣ：Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔや参照リスト内の参照インデックス）などを含んでもよい。

【0038】

図４に示すように、符号化対象ＣＵの上や左に位置する隣接復号済みＣＵのうち一部の隣接復号済みＣＵにイントラ予測が適用された場合には、隣接ベクトル取得部１７２ａは、当該一部の隣接復号済みＣＵに近接するＣＵに適用した動きベクトルを代用することによって動きベクトルを補間してもよいし、周囲の利用可能な動きベクトルの加重平均などによって動きベクトルを算出して補間してもよいし、符号化方式で予め規定した動きベクトルを設定してもよい。符号化対象ＣＵが画面端である場合にも同様にして補間する。

【0039】

動きベクトル算出部１７２ｃは、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルＶを算出し、算出した動きベクトルＶを動きベクトル補正部１７２ｄに出力する。

【0040】

動きベクトル補正部１７２ｄは、動きベクトル算出部１７２ｃにより算出された動きベクトルＶを、隣接ベクトル取得部１７２ａにより取得された動きベクトルＶｐを用いて補正することにより補正動きベクトルＶ'を生成し、補正動きベクトルＶ'を予測画像生成部１７２ｅに出力する。

【0041】

具体的には、動きベクトル補正部１７２ｄは、図５に示すようにして動きベクトルＶを補正する。動きベクトル補正部１７２ｄは、隣接ベクトル取得部１７２ａにより取得した隣接動きベクトルＶｐ及び当該符号化対象ブロックの動きベクトルＶを用いて加重平均により動きベクトルＶを補正する。

【0042】

第１に、動きベクトル補正部１７２ｄは、隣接動きベクトルＶｐを、符号化対象ＣＵの左側に位置する隣接動きベクトルＶ_L及び上側に位置する隣接動きベクトルＶ_Tに下記の式（１）のように分類する。

【0043】

V_L= [Vp[-1,0], Vp[-1,1], Vp[-1,2], …, Vp[-1,N-1]]
V_T= [Vp[0,-1], Vp[1,-1], Vp[2,-1], …, Vp[M-1,-1]]
（１）

【0044】

第２に、動きベクトル補正部１７２ｄは、動きベクトルＶの補正に用いる重み係数Ｗ_L、Ｗ_T、Ｗ_Vを決定する。動きベクトル補正部１７２ｄは、例えば、下記の式（２）により重み係数Ｗ_L、Ｗ_T、Ｗ_Vを算出する。

【0045】

W_L= 32 >> log2(height)
W_T= 32 >> log2(width)
W_V= 32 - W_L - W_T
（２）

【0046】

但し、ｗｉｄｔｈ， ｈｅｉｇｈｔは符号化対象ＣＵの幅、高さをそれぞれ表す。なお、重み係数Ｗ_L、Ｗ_Tはブロックの幅や高さ、もしくはその比に応じて決定されるものであればよく、式（２）の計算方法に限定されない。

【0047】

第３に、動きベクトル補正部１７２ｄは、補正前の動きベクトルＶ［ｘ，ｙ］を、重み係数Ｗ_L、Ｗ_Tと、隣接動きベクトルＶ_L及びＶ_Tとに基づいて補正し、例えば下記の式（３）により補正後の動きベクトルＶ'を算出する。

【0048】

V'= W_L・median(V_L) + W_T・median(V_T) + W_V・V)
（３）

【0049】

予測画像生成部１７２ｅは、動きベクトル補正部１７２ｄにより生成された補正動きベクトルＶ'を用いて符号化対象ＣＵのインター予測を行うことにより、符号化対象ＣＵの予測画像を生成し、生成した予測画像（インター予測画像）を切替部１７３に出力する。

【0050】

なお、かかる予測画像は切替部１７３を介して減算部１１０に入力され、減算部１１０は符号化対象ＣＵと予測画像との間の差を表す予測残差を変換・量子化部１２０に出力する。変換・量子化部１２０は、予測残差から量子化された直交変換係数を生成し、生成した直交変換係数をエントロピー符号化部１３０に出力する。

【0051】

＜画像復号装置＞
次に、本実施形態に係る画像復号装置について説明する。但し、上記の画像符号化装置１と同様な動作については重複する説明を省略する。図６は、本実施形態に係る画像復号装置２の構成を示す図である。

【0052】

図６に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

【0053】

エントロピー復号部２００は、画像符号化装置１により生成された符号化ストリームを復号し、量子化された直交変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、予測（イントラ予測及びインター予測）に関する制御情報を取得し、取得した制御情報を予測部２４０に出力する。

【0054】

逆量子化・逆変換部２１０は、ＣＵ単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

【0055】

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から入力された量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ＣＵの直交変換係数を復元し、復元した直交変換係数を逆変換部２１２に出力する。

【0056】

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0057】

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２４０から入力された予測画像とを画素単位で合成することにより、元のＣＵを再構成（復号）し、ＣＵ単位の復号画像をメモリ２３０に出力する。

【0058】

メモリ２３０は、合成部２２０から入力された復号画像を記憶する。メモリ２３０は、復号画像をフレーム単位で記憶する。さらに、メモリ２３０は、インター予測部２４２において算出された動きベクトルをＣＵごとに記憶する。メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。なお、メモリ２３０は、複数のメモリにより構成されてもよい。合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

【0059】

予測部２４０は、ＣＵ単位で予測を行う。予測部２４０は、イントラ予測部２４１と、インター予測部２４２と、切替部２４３とを有する。

【0060】

イントラ予測部２４１は、メモリ２３０に記憶された復号画像を参照し、エントロピー復号部２００から入力された制御情報に従って、復号対象ＣＵをイントラ予測により予測することによりイントラ予測画像を生成し、生成したイントラ予測画像を切替部２４３に出力する。

【0061】

インター予測部２４２は、メモリ２３０に記憶された復号画像を参照画像として用いて、復号対象ＣＵをインター予測により予測する。インター予測部２４２は、エントロピー復号部２００から入力された制御情報に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を切替部２４３に出力する。本実施形態において、インター予測部２４２は、図３に示すインター予測部１７２と同じ構成を有する。

【0062】

切替部２４３は、イントラ予測部２４１から入力されるイントラ予測画像とインター予測部２４２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

【0063】

＜インター予測部の動作＞
図７は、本実施形態に係る画像符号化装置１のインター予測部１７２の動作を示す図である。画像復号装置２のインター予測部２４２も、画像符号化装置１のインター予測部１７２と同様にして動作する。但し、インター予測部２４２の動作においては、インター予測部１７２の動作における「符号化対象ＣＵ」を「復号対象ＣＵ」と読み替える。

【0064】

図７に示すように、ステップＳ１において、隣接ベクトル取得部１７２ａは、メモリ１６０から、符号化対象ＣＵの周囲（上や左）に位置する各隣接復号済みＣＵのインター予測に適用された動きベクトルＶｐを取得する。

【0065】

ステップＳ２において、動きベクトル算出部１７２ｃは、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルＶを算出する。

【0066】

ステップＳ３において、動きベクトル補正部１７２ｄは、動きベクトル算出部１７２ｃにより算出された動きベクトルＶを、隣接ベクトル取得部１７２ａにより取得された動きベクトルＶｐを用いて補正することにより補正動きベクトルＶ'を生成する。

【0067】

ステップＳ４において、予測画像生成部１７２ｅは、補正動きベクトルＶ'を用いてインター予測を行い、符号化対象ＣＵの予測画像を生成する。

【0068】

このように、本実施形態に係るインター予測部１７２によれば、隣接動きベクトルＶｐを用いて補正された動きベクトルを用いて、動きベクトルの不連続性を低減させることができるため、予測残差がオブジェクト境界付近のブロックで増大することを抑制し、符号化効率を向上させることができる。

【0069】

＜インター予測部の変更例＞
図８は、第１実施形態に係るインター予測部１７２の変更例を示す図である。

【0070】

図８に示すように、インター予測部１７２は、上述した実施形態に係る構成に加えて、連続性評価部１７２ｆと、補正用隣接ベクトル決定部１７２ｇとを有する。

【0071】

連続性評価部１７２ｆは、符号化対象ＣＵに適用する動きベクトルＶを隣接動きベクトルＶｐと比較することにより、隣接復号済みブロック群に含まれる各復号済みブロックと符号化対象ＣＵとの境界の領域の動きの連続性を評価する。

【0072】

連続性評価部１７２ｆは、符号化対象ＣＵに隣接する復号済みの１又は複数の隣接ＣＵに適用された動きベクトルＶｐをメモリ１６０から取得する。そして、連続性評価部１７２ｆは、符号化対象ＣＵに適用された動きベクトルＶと、隣接する復号済みＣＵ群に適用された動きベクトルＶｐとの比較により、隣接する復号済みＣＵ群について符号化対象ＣＵとの動きの連続性を評価し、評価結果を補正用隣接ベクトル決定部１７２ｇに出力する。

【0073】

例えば、連続性評価部１７２ｆは、符号化対象ＣＵに適用される動きベクトルＶと復号済みＣＵの動きベクトルＶｐとの差（距離）を表すＬ１ノルムが予め規定した閾値未満である場合には連続性が高いと評価する。一方、当該Ｌ１ノルムが閾値以上である場合には連続性が低いと評価する。但し、連続性の指標値としてはＬ１ノルムに限定されるものではなく、他の指標値を用いてもよい。

【0074】

なお、動きベクトルは、Ｘ軸及びＹ軸方向のベクトル値のほか、参照する復号済みフレームを示すフラグ（例えば、ＨＥＶＣにおけるｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ，ｒｅｆ＿ｉｄｘ）を含むものとする。連続性評価部１７２ｆは、隣接ブロックとの動きベクトルの連続性の評価にあたっては、符号化対象ＣＵを含むフレーム（現フレーム）と符号化対象ＣＵの参照先の復号済みフレームとの時間的な距離（ＰＯＣ距離）と、現フレームと隣接する復号済みＣＵの参照先の復号済みフレームとのＰＯＣ距離とに応じて、当該隣接する復号済みＣＵに適用した動きベクトルのベクトル値をスケーリングしたのちに連続性を評価してもよい。

【0075】

補正用隣接ベクトル決定部１７２ｇは、連続性評価部１７２ｆにより評価された動きの連続性に基づいて、動きベクトルＶの補正に用いる動きベクトルを動きベクトルＶｐに基づいて決定する。

【0076】

例えば、補正用隣接ベクトル決定部１７２ｇは、
V_L= [Vp[-1,0], Vp[-1,1], Vp[-1,2], …, Vp[-1,N-1]]
V_T = [Vp[0,-1], Vp[1,-1], Vp[2,-1], …, Vp[M-1,-1]]
であるとき、
V'_L=[ v_L ∈V_L | || v_L - V ||₂< Th ]
V'_T=[ v_T ∈V_T | || v_T - V ||₂< Th ]
というように動きベクトルＶの補正に用いる動きベクトルを決定する。

【0077】

すなわち、Ｖ'_Lは符号化対象ＣＵの左側の隣接ベクトルＶｐのうち、動きベクトルＶとのＬ２ノルムが閾値Ｔｈ以下のベクトルにより構成される集合であり、Ｖ'_Tは符号化対象ＣＵの上側の隣接ベクトルＶｐのうち、動きベクトルＶとのＬ２ノルムが閾値Ｔｈ以下のベクトルにより構成される集合である。

【0078】

動きベクトル補正部１７２ｄは、これらＶ'_L及びＶ'_T（第３動きベクトル）を用いて、下記の式（４）により補正後の動きベクトルＶ'を算出する。

【0079】

V'= W_L・median(V'_L) + W_T・median(V'_T) + W_V・V)
（４）

【0080】

＜２．第２実施形態＞
第２実施形態について、第１実施形態との相違点を主として説明する。

【0081】

図９は、第２実施形態に係る画像符号化装置１のインター予測部１７２の構成を示す図である。

【0082】

図９に示すように、第２実施形態に係るインター予測部１７２は、第１実施形態で説明した構成（隣接ベクトル取得部１７２ａ、動きベクトル算出部１７２ｃ、動きベクトル補正部１７２ｄ、予測画像生成部１７２ｅ）に加えて、小領域分割部１７２ｂを有する。

【0083】

小領域分割部１７２ｂは、符号化対象ＣＵをあらかじめ規定したサイズの複数の小領域に分割し、分割により得られた各小領域の情報を動きベクトル補正部１７２ｄに出力する。かかる小領域は、サブブロックと称されてもよい。

【0084】

図１０は、小領域の一例を示す図である。図１０（ａ）に示すように、各小領域のサイズを同一とし、例えば各小領域を４×４画素ごとの領域としてもよい。或いは、画像復号装置及び画像復号装置で共通の処理をあらかじめ規定しておけば、図１０（ｂ）に示すように、各小領域のサイズを異ならせてもよい。例えば、符号化対象ＣＵの境界付近を細かく、中心付近を荒く分割するような方法で小領域に分割してもよい。

【0085】

動きベクトル算出部１７２ｃは、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルＶを算出し、算出した動きベクトルＶを動きベクトル補正部１７２ｄに出力する。本実施形態において、動きベクトル算出部１７２ｃは、符号化対象ＣＵについて１つの動きベクトルＶを算出してもよいし、小領域分割部１７２ｂが符号化対象ＣＵを分割して得た小領域ごとに動きベクトルＶを算出してもよい。

【0086】

動きベクトル補正部１７２ｄは、動きベクトル算出部１７２ｃにより算出された動きベクトルＶを、隣接ベクトル取得部１７２ａにより取得された動きベクトルＶｐを用いて補正することにより補正動きベクトルＶ'を生成し、補正動きベクトルＶ'を予測画像生成部１７２ｅに出力する。

【0087】

本実施形態において、動きベクトル補正部１７２ｄは、図１１に示すように、小領域ごとに動きベクトルＶを補正する。動きベクトル補正部１７２ｄは、小領域の位置に応じて決定した重みを用いて、当該小領域の位置に対応する隣接復号済みＣＵの動きベクトルＶｐを重み付けし、重み付けした動きベクトルＶｐを用いて、当該小領域に適用する動きベクトルＶを補正する。

【0088】

例えば、動きベクトル補正部１７２ｄは、符号化対象ＣＵの小領域ごとの動きベクトルの配列Ｖ［ｘ，ｙ］に補正前の動きベクトルＶを代入する。但し、補正前の動きベクトルＶが符号化対象ＣＵ内の小ブロックごとに異なる動きベクトルである場合、小ブロックごとに設定された動きベクトルに基づいて、小領域ごとに異なる動きベクトルを動きベクトル配列Ｖ［ｘ，ｙ］に代入する。前記小ブロックのサイズが前述の小領域と異なる場合には、予め規定する方法で、代入する。例えば、小ブロックのサイズが小領域よりも大きい場合には、小ブロック内に含まれる全ての小領域の動きベクトル配列Ｖ［ｘ，ｙ］に小ブロックの動きベクトルを代入する。一方、小ブロックのサイズが小領域よりも小さい場合には、小領域に含まれる全ての小ブロックの動きベクトルの平均や中央値などにより算出されたベクトルを小領域の動きベクトルＶ［ｘ，ｙ］に代入する。

【0089】

第１に、動きベクトル補正部１７２ｄは、各小領域の位置に応じて重み係数Ｗ_L、Ｗ_T、Ｗ_LT、Ｗ_Vを決定する。動きベクトル補正部１７２ｄは、例えば、下記の式（５）により重み係数Ｗ_L、Ｗ_T、Ｗ_LT、Ｗ_Vを算出する。

【0090】

【数1】

（５）

【0091】

但し、ｘ，ｙは小領域の位置を表しており、ｗｉｄｔｈ、ｈｅｉｇｈｔは符号化対象ＣＵの幅、高さをそれぞれ表す。なお、重み係数Ｗ_L、Ｗ_T、Ｗ_LT、Ｗ_Vは小領域の位置やＣＵの幅、高さに応じて決定されるものであればよく、式（５）の計算方法に限定されない。

【0092】

第２に、動きベクトル補正部１７２ｄは、補正前の動きベクトルＶ［ｘ，ｙ］を、重み係数Ｗ_L、Ｗ_T、Ｗ_LT、Ｗ_Vと隣接動きベクトルＶｐとに基づいて補正し、例えば下記の式（６）により補正後の動きベクトルＶ'［ｘ，ｙ］を算出する。

【0093】

【数2】

（６）

【0094】

予測画像生成部１７２ｅは、動きベクトル補正部１７２ｄにより生成された補正動きベクトルＶ'［ｘ，ｙ］を用いて符号化対象ＣＵの小領域ごとにインター予測を行うことにより、符号化対象ＣＵの予測画像を生成し、生成した予測画像（インター予測画像）を切替部１７３に出力する。

【0095】

具体的には、予測画像生成部１７２ｅは、小領域ごとの動きベクトルＶ'［ｘ，ｙ］を用いて、小領域ごとにインター予測を行うことにより小領域ごとの予測画像を生成し、小領域ごとの予測画像を合成することにより符号化対象ＣＵの予測画像を生成する。

【0096】

なお、かかる予測画像は切替部１７３を介して減算部１１０に入力され、減算部１１０は符号化対象ＣＵと予測画像との間の差を表す予測残差を変換・量子化部１２０に出力する。変換・量子化部１２０は、予測残差から量子化された直交変換係数を生成し、生成した直交変換係数をエントロピー符号化部１３０に出力する。なお、エントロピー符号化部１３０は、小領域ごとの動きベクトルを符号化（シグナリング）せずに、符号化対象ＣＵごとに１つの動きベクトルを符号化すればよい。

【0097】

また、本実施形態において、画像復号装置２のインター予測部２４２は、図９に示すインター予測部１７２と同じ構成を有する。

【0098】

＜インター予測部の動作＞
図１２は、本実施形態に係る画像符号化装置１のインター予測部１７２の動作を示す図である。画像復号装置２のインター予測部２４２も、画像符号化装置１のインター予測部１７２と同様にして動作する。但し、インター予測部２４２の動作においては、インター予測部１７２の動作における「符号化対象ＣＵ」を「復号対象ＣＵ」と読み替える。

【0099】

図１２に示すように、ステップＳ１１において、隣接ベクトル取得部１７２ａは、メモリ１６０から、符号化対象ＣＵの周囲（上や左）に位置する各隣接復号済みＣＵのインター予測に適用された動きベクトルＶｐを取得する。

【0100】

ステップＳ１２において、小領域分割部１７２ｂは、符号化対象ＣＵをあらかじめ規定したサイズの複数の小領域に分割する。

【0101】

ステップＳ１３において、動きベクトル算出部１７２ｃは、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルＶを算出する。

【0102】

ステップＳ１４において、動きベクトル補正部１７２ｄは、動きベクトル算出部１７２ｃにより算出された動きベクトルＶを、隣接ベクトル取得部１７２ａにより取得された動きベクトルＶｐを用いて補正することにより補正動きベクトルＶ'を生成する。

【0103】

ステップＳ１５において、予測画像生成部１７２ｅは、補正動きベクトルＶ'を用いて小領域ごとにインター予測を行い、符号化対象ＣＵの予測画像を生成する。

【0104】

このように、本実施形態に係るインター予測部１７２によれば、復号対象ＣＵ内の小領域ごとに、隣接動きベクトルＶｐを用いて補正された動きベクトルを用いてきめ細かなインター予測を行うことができるため、予測残差がオブジェクト境界付近のブロックで増大することを抑制し、符号化効率を向上させることができる。

【0105】

＜インター予測部の変更例＞
図１３は、第２実施形態に係るインター予測部１７２の変更例を示す図である。

【0106】

図１３に示すように、本変更例に係るインター予測部１７２は、上述した実施形態に係る構成に加えて、連続性評価部１７２ｆと、補正小領域決定部１７２ｈとを有する。

【0107】

連続性評価部１７２ｆは、符号化対象ＣＵに適用する動きベクトルＶを隣接動きベクトルＶｐと比較することにより、隣接復号済みブロック群に含まれる各復号済みブロックと符号化対象ＣＵとの境界の領域の動きの連続性を評価する。

【0108】

連続性評価部１７２ｆは、符号化対象ＣＵに隣接する復号済みの１又は複数の隣接ＣＵに適用された動きベクトルＶｐをメモリ１６０から取得する。そして、連続性評価部１７２ｆは、符号化対象ＣＵに適用された動きベクトルＶと、隣接する復号済みＣＵ群に適用された動きベクトルＶｐとの比較により、隣接する復号済みＣＵ群について符号化対象ＣＵとの動きの連続性を評価し、評価結果を補正小領域決定部１７２ｈに出力する。

【0109】

例えば、連続性評価部１７２ｆは、図１４（ａ）に示すように、符号化対象ＣＵに適用される動きベクトルＶと復号済みＣＵの動きベクトルＶｐとの差（距離）を表すＬ１ノルムが予め規定した閾値未満である場合には連続性が高いと評価する。一方、当該Ｌ１ノルムが閾値以上である場合には連続性が低いと評価する。但し、連続性の指標値としてはＬ１ノルムに限定されるものではなく、他の指標値を用いてもよい。

【0110】

なお、動きベクトルは、Ｘ軸及びＹ軸方向のベクトル値のほか、参照する復号済みフレームを示すフラグ（例えば、ＨＥＶＣにおけるｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ，ｒｅｆ＿ｉｄｘ）を含むものとする。連続性評価部１７２ｆは、隣接ブロックとの動きベクトルの連続性の評価にあたっては、符号化対象ＣＵを含むフレーム（現フレーム）と符号化対象ＣＵの参照先の復号済みフレームとの時間的な距離（ＰＯＣ距離）と、現フレームと隣接する復号済みＣＵの参照先の復号済みフレームとのＰＯＣ距離とに応じて、当該隣接する復号済みＣＵに適用した動きベクトルのベクトル値をスケーリングしたのちに連続性を評価してもよい。

【0111】

補正小領域決定部１７２ｈは、連続性評価部１７２ｆにより評価された動きの連続性に基づいて、動きベクトルＶを補正するべき少なくとも１つの小領域を決定する。例えば、図１４（ｂ）に示すように、補正小領域決定部１７２ｈは、動きの連続性が低い領域に対応する各小領域のみを、動きベクトルＶを補正するべき小領域として決定する。但し、補正小領域決定部１７２ｈは、符号化対象ＣＵの全ての小領域を、動きベクトルＶを補正するべき小領域として決定してもよい。

【0112】

本変更例において、動きベクトル補正部１７２ｄは、補正小領域決定部１７２ｈにより決定された小領域について補正動きベクトルＶ'を生成する。また、動きベクトル補正部１７２ｄは、小領域の位置と、連続性評価部１７２ｆにより評価された動きの連続性とに応じて重み係数を決定し、決定した重み係数を用いて、当該小領域の位置に対応する隣接動きベクトルＶｐを重み付けしてもよい。

【0113】

動きベクトル補正部１７２ｄは、動きの連続性が低い領域に対応する隣接動きベクトルＶｐの重みを大きくするように設定してもよい。例えば、式（５）に対して動きの連続性に対応する値ｃ_x、ｃ_yを導入し、下記の式（７）により重み係数Ｗ_L、Ｗ_T、Ｗ_LT、Ｗ_Vを算出する。

【0114】

【数3】

（７）

【0115】

このように、本変更例によれば、ブロック境界領域における動きの連続性を考慮して符号化対象ＣＵ（小領域）の動きベクトルＶを補正することにより、インター予測を行う場合における符号化効率をさらに向上させることができる。

【0116】

＜３．その他の実施形態＞
画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムにより提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0117】

また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

【0118】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0119】

１ ：画像符号化装置
２ ：画像復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：イントラ予測部
１７２ ：インター予測部
１７２ａ ：隣接ベクトル取得部
１７２ｂ ：小領域分割部
１７２ｃ ：動きベクトル算出部
１７２ｄ ：動きベクトル補正部
１７２ｅ ：予測画像生成部
１７２ｆ ：連続性評価部
１７２ｇ ：補正用隣接ベクトル決定部
１７２ｈ ：補正小領域決定部
１７３ ：切替部
２００ ：エントロピー復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：イントラ予測部
２４２ ：インター予測部
２４３ ：切替部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】