特開 2023-123811 画像復号装置及び画像復号方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023123811

(43)【公開日】2023-09-05

(54)【発明の名称】画像復号装置及び画像復号方法

(51)【国際特許分類】

   H04N 19/105 20140101AFI20230829BHJP

   H04N 19/176 20140101ALI20230829BHJP

   H04N 19/136 20140101ALI20230829BHJP

【ＦＩ】

H04N19/105

H04N19/176

H04N19/136

【審査請求】有

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023110403

(22)【出願日】2023-07-05

(62)【分割の表示】P 2022066620の分割

【原出願日】2019-03-29

(31)【優先権主張番号】P 2018065780

(32)【優先日】2018-03-29

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】根本 慎平

(57)【要約】

【課題】符号化効率を改善可能とする。
【解決手段】画像符号化装置（１）は、ブロック単位の対象画像を符号化する。画像符号化装置（１）は、複数の参照画像を用いて予測を行うことにより、前記対象画像に対応する予測画像を生成する予測部（１０９）と、前記複数の参照画像間の類似度を画素単位で評価する評価部（１１１）と、前記対象画像と前記予測画像との間の画素単位での差分を示す予測残差を算出する算出部（１０１）と、前記評価部による評価の結果に基づいて、直交変換及び量子化を適用する前記予測残差の一部の領域を決定する決定部（１１２）と、前記予測残差における前記一部の領域に限定して直交変換及び量子化を行う変換・量子化部（１０２）と、を備える。
【選択図】図１０

【特許請求の範囲】

【請求項1】

符号化データからブロック単位の対象画像を復号する画像復号装置であって、
複数の参照画像を用いて双予測を行うことにより、前記対象画像のブロックに対応する予測画像のブロックを生成する予測部と、
前記複数の参照画像間の類似度を示す評価値を算出する評価部と、
前記符号化データを復号して予測残差を取得する取得部と、
前記予測残差を前記予測画像のブロックと合成して前記対象画像のブロックを再構成する合成部と、を備え、
前記評価部は、前記複数の参照画像間の画素単位での差分絶対値を算出し、当該画素単位での差分絶対値に応じて、前記評価値を算出し、
前記評価値は、前記合成部の合成対象を、前記ブロックよりも小さい単位であって複数の画素からなる部分的ブロック単位で補正するために用いられる、画像復号装置。

【請求項2】

前記評価部は、前記部分的ブロック単位で、前記複数の参照画像間の画素単位での前記差分絶対値を算出し、当該画素単位での差分絶対値に応じて、前記評価値を算出する
請求項１に記載の画像復号装置。

【請求項3】

符号化データからブロック単位の対象画像を復号する画像復号方法であって、
複数の参照画像を用いて双予測を行うことにより、前記対象画像のブロックに対応する予測画像のブロックを生成する予測ステップと、
前記複数の参照画像間の類似度を示す評価値を算出する評価ステップと、
前記符号化データを復号して予測残差を取得する取得ステップと、
前記予測残差を前記予測画像のブロックと合成して前記対象画像のブロックを再構成する合成ステップと、を備え、
前記評価ステップは、前記複数の参照画像間の画素単位での差分絶対値を算出し、当該画素単位での差分絶対値に応じて、前記評価値を算出するステップを含み、
前記評価値は、前記合成ステップでの合成対象を、前記ブロックよりも小さい単位であって複数の画素からなる部分的ブロック単位で補正するために用いられる、画像復号方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像復号装置及び画像復号方法に関する。

【背景技術】

【0002】

従来、対象画像（画像ブロック）を符号化する符号化装置において、複数の参照画像を用いて動き補償予測を行い、対象画像に対応する予測画像を生成し、当該対象画像と予測画像との間の画素単位での差分を示す予測残差に対して直交変換及び量子化を行う方法が知られている。

【0003】

また、画像符号化装置は、直交変換及び量子化により得られた量子化変換係数をエントロピー符号化により符号化するとともに、量子化変換係数に対して逆量子化及び逆直交変換を行って予測残差を復元する。そして、画像符号化装置は、復元した予測残差を予測画像と合成して対象画像を再構成し、再構成画像をそれ以降の予測に用いる。

【0004】

一方、画像復号装置は、エントロピー符号化された量子化変換係数を復号するとともに、複数の参照画像を用いて動き補償予測を行い、対象画像に対応する予測画像を生成する。画像復号装置は、量子化変換係数を逆量子化及び逆直交変換して予測残差を復元し、復元予測残差を予測画像と合成して対象画像を再構成する。

【0005】

かかる画像符号化装置及び画像復号装置は、複数の参照画像を用いる動き補償予測において、例えば、複数の参照画像を平均化することにより予測画像を生成する（非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６）， “Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

【発明の概要】

【0007】

しかしながら、予測画像を生成するための複数の参照画像間の類似度が著しく低い部分が存在する場合、当該部分における予測画像の精度（すなわち、予測精度）が低下し、当該部分における予測残差が他の部分に比べて大きくなる。

【0008】

予測残差が大きい部分と小さい部分とが混在する予測残差を直交変換すると、低周波数成分に電力が集中せずに、変換係数の電力集中度が低下する。かかる変換係数について高周波数成分を粗く量子化すると、高周波数成分における変換係数が劣化する。かかる変換係数の劣化は、逆量子化及び逆直交変換を経て画像（ブロック）内に全体的に伝搬する。

【0009】

このようにして劣化した復元予測残差を予測画像に合成して対象画像ブロックを再構成すると、高精度な予測が行われた部分にも画質の劣化が伝搬してしまう。つまり、予測精度が低い部分に起因して、予測精度が高い部分にも直交変換係数の量子化の影響が伝搬することで画質が劣化し、これにより、符号化効率の低下を引き起こすという問題があった。

【0010】

そこで、本発明は、複数の参照画像を用いて予測を行う場合において符号化効率を改善可能な画像復号装置及び画像復号方法を提供することを目的とする。

【0011】

第１の特徴に係る画像復号装置は、符号化データからブロック単位の対象画像を復号する画像復号装置であって、複数の参照画像を用いて双予測を行うことにより、前記対象画像のブロックに対応する予測画像のブロックを生成する予測部と、前記複数の参照画像間の類似度を示す評価値を算出する評価部と、前記符号化データを復号して予測残差を取得する取得部と、前記予測残差を前記予測画像のブロックと合成して前記対象画像のブロックを再構成する合成部と、を備え、前記評価値は、前記合成部の合成対象を、前記ブロックよりも小さい単位であって複数の画素からなる部分的ブロック単位で補正するために用いられる。

【0012】

ここで、予測部が行う予測は、複数の参照画像を用いるものであればどのような予測方式であるかを問わず、様々な予測方式を利用可能である。代表的な予測方法の例としては双方向動き補償予測が挙げられるが、ＨＥＶＣ方式で用いられているＩｎｔｒａＢＣモード（イントラブロックコピーモード）による予測であってもよい。

【0013】

第２の特徴に係る画像復号装置は、符号化ビットストリームからブロック単位の対象画像を復号する画像復号装置であって、インター予測を行うことにより、前記対象画像のブロックに対応する予測画像のブロックを生成する予測部と、前記符号化ビットストリームを復号し、画像符号化装置が予測残差のブロックの一部の領域に限定して変換及び量子化を行って得られた量子化変換係数を取得するエントロピー復号部と、前記一部の領域を特定する特定部と、を備え、前記エントロピー復号部は、前記一部の領域に関する複数のモードから選択したモードを示す情報を取得し、前記複数のモードは、前記一部の領域の垂直方向サイズを前記ブロックのサイズと等しくしつつ前記一部の領域の水平方向サイズを前記ブロックのサイズよりも小さくするモードと、前記一部の領域の垂直方向サイズを前記ブロックのサイズよりも小さくしつつ前記一部の領域の水平方向サイズを前記ブロックのサイズと等しくするモードと、を含む。

【0014】

第３の特徴に係るプログラムは、コンピュータを第１の特徴に係る画像符号化装置として機能させるためのプログラムである。

【0015】

第４の特徴に係るプログラムは、コンピュータを第２の特徴に係る画像復号装置として機能させるためのプログラムである。

【0016】

本発明によれば、複数の参照画像を用いて予測を行う場合において符号化効率を改善可能な画像復号装置及び画像復号方法を提供できる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係る画像符号化装置の構成を示す図である。

【図2】実施形態に係る画像復号装置の構成を示す図である。

【図3】動き補償予測の一例を示す図である。

【図4】動き補償予測により生成される予測画像の一例を示す図である。

【図5】評価部の構成の一例を示す図である。

【図6】実施形態に係る決定部の動作の一例を示す図である。

【図7】実施形態に係る画像符号化装置における動作フロー例を示す図である。

【図8】実施形態に係る画像復号装置における動作フロー例を示す図である。

【図9】実施形態の変更例２における動作例を示す図である。

【図10】実施形態の変更例３における動作例を示す図である。

【発明を実施するための形態】

【0018】

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号を行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0019】

＜１．画像符号化装置の構成＞
図１は、実施形態に係る画像符号化装置１の構成を示す図である。図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部（算出部）１０１と、変換部１０２ａと、量子化部１０２ｂと、エントロピー符号化部１０３と、逆量子化部１０４ａと、逆変換部１０４ｂと、合成部１０５と、イントラ予測部１０６と、ループフィルタ１０７と、フレームメモリ１０８と、動き補償予測部１０９と、切替部１１０と、評価部１１１と、決定部１１２とを備える。

【0020】

ブロック分割部１００は、フレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、画像ブロックを減算部１０１（及び動き補償予測部１０９）に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。但し、画像ブロックの形状は正方形に限定されるものではなく、長方形の形状であってもよい。画像ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位であり、かかる画像ブロックを対象画像ブロックと称する。かかる画像ブロックは、符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）や符号化ブロック（ＣＢ：Ｃｏｄｉｎｇ Ｂｌｏｃｋ）と称されることがある。

【0021】

減算部１０１は、ブロック分割部１００から入力された対象画像ブロックと対象画像ブロックに対応する予測画像（予測画像ブロック）との間の画素単位での差分を示す予測残差を算出する。具体的には、減算部１０１は、対象画像ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換部１０２ａに出力する。なお、予測画像は、後述するイントラ予測部１０６又は動き補償予測部１０９から切替部１１０を介して減算部１０１に入力される。

【0022】

変換部１０２ａ及び量子化部１０２ｂは、予測残差に対して直交変換処理及び量子化処理を行う変換・量子化部１０２を構成する。変換・量子化部１０２は、対象画像ブロックのすべての画素位置の予測残差を対象として直交変換及び量子化を行うのではなく、対象画像ブロックの一部の領域の予測残差を対象として直交変換及び量子化を行う。かかる一部の領域は、予測残差が大きいと想定される領域であり、決定部１１２により決定される。以下において、かかる一部の領域を「部分的変換ブロック」と称する。部分的変換ブロックは、対象画像ブロックの一部である。

【0023】

変換部１０２ａは、決定部１１２から入力された部分的変換ブロックの情報に基づいて、減算部１０１から入力された対象画像ブロックの予測残差のうち部分的変換ブロックに対応する領域を特定する。変換部１０２ａは、減算部１０１から入力された予測残差から部分的変換ブロックの予測残差を抽出し、抽出した予測残差に対して直交変換を行い、空間周波数成分の強度（電力）を示す変換係数を算出し、算出した変換係数を量子化部１０２ｂに出力する。なお、直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

【0024】

量子化部１０２ｂは、変換部１０２ａから入力された部分的変換ブロックの変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１０２ｂは、量子化制御情報、生成した量子化変換係数情報などをエントロピー符号化部１０３及び逆量子化部１０４ｂに出力する。

【0025】

エントロピー符号化部１０３は、量子化部１０２ｂから入力された部分的変換ブロック量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１０３には、イントラ予測部１０６及び動き補償予測部１０９から予測に関する情報が入力され、ループフィルタ１０７からフィルタ処理に関する情報が入力され、決定部１１２から部分的変換ブロックに関する情報が入力される。エントロピー符号化部１０３は、これらの情報のエントロピー符号化も行う。

【0026】

逆量子化部１０４ａ及び逆変換部１０４ｂは、逆量子化・逆変換部１０４を構成する。逆量子化・逆変換部１０４は、量子化部１０２ｂから入力された部分的変換ブロックの量子化変換係数に対して逆量子化及び逆直交変換を行うことにより、部分的変換ブロックに対応する部分的な予測残差を復元する。

【0027】

逆量子化部１０４ａは、量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１０４ａは、量子化部１０２ｂから入力された部分的変換ブロックの量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１０４ｂに出力する。

【0028】

逆変換部１０４ｂは、変換部１０２ａが行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１０２ａが離散コサイン変換を行った場合には、逆変換部１０４ｂは逆離散コサイン変換を行う。逆変換部１０４ｂは、逆量子化部１０４ａから入力された部分的変換ブロックの変換係数に対して逆直交変換を行って部分的な予測残差を復元し、復元した部分的な予測残差を合成部１０５に出力する。

【0029】

合成部１０５は、決定部１１２から入力された部分的変換ブロックの情報に基づいて、切替部１１０から入力された予測画像のうち部分的変換ブロックに対応する領域を特定する。そして、合成部１０５は、逆変換部１０４ｂから入力された復元予測残差（復元された部分的な予測残差）を、予測画像のうち部分的変換ブロックに対応する領域と合成することにより、対象画像ブロックを再構成する。具体的には、合成部１０５は、復元された部分的な予測残差の各画素値と、予測画像のうち部分的変換ブロックに対応する領域の各画素値を加算して対象画像ブロックを再構成する。合成部１０５は、再構成した対象画像ブロックである再構成画像をイントラ予測部１０６及びループフィルタ１０７に出力する。

【0030】

イントラ予測部１０６は、合成部１０５から入力された再構成画像を用いてイントラ予測を行ってイントラ予測画像を生成し、イントラ予測画像を切替部１１０に出力する。また、イントラ予測部１０６は、選択したイントラ予測モードの情報等をエントロピー符号化部１０３に出力する。

【0031】

ループフィルタ１０７は、合成部１０５から入力された再構成画像に対して、後処理としてのフィルタ処理を行い、フィルタ処理後の再構成画像をフレームメモリ１０８に出力する。また、ループフィルタ１０７は、フィルタ処理に関する情報をエントロピー符号化部１０３に出力する。

【0032】

フレームメモリ１０８は、ループフィルタ１０７から入力された再構成画像をフレーム単位で記憶する。

【0033】

動き補償予測部１０９は、フレームメモリ１０８に記憶された１又は複数の再構成画像を参照画像として用いるインター予測を行う。具体的には、動き補償予測部１０９は、ブロックマッチングなどの手法により動きベクトルを算出し、動きベクトルに基づいて動き補償予測画像を生成し、動き補償予測画像を切替部１１０に出力する。また、動き補償予測部１０９は、動きベクトルに関する情報をエントロピー符号化部１０３に出力する。

【0034】

切替部１１０は、イントラ予測部１０６から入力されたイントラ予測画像と、動き補償予測部１０９から入力された動き補償予測画像とを切替えて、予測画像（イントラ予測画像又は動き補償予測画像）を減算部１０１及び合成部１０５に出力する。

【0035】

評価部１１１は、動き補償予測部１０９が複数の参照画像を用いて動き補償予測を行う場合において、複数の参照画像間の類似度を画素単位で評価し、評価結果の情報を決定部１１２に出力する。なお、評価部１１１は、複数の参照画像を用いたイントラ予測（例えば、イントラブロックコピーモード）などを用いる場合であって、イントラ予測部１０６が複数の参照画像を用いて予測を行う場合にも、複数の参照画像間の類似度の評価を行ってもよい。

【0036】

決定部１１２は、評価部１１１による評価の結果に基づいて、直交変換及び量子化を適用する部分的変換ブロックを決定する。具体的には、決定部１１２は、評価部１１１による評価の結果に基づいて、部分的変換ブロックの中心位置と、この中心位置を基準とした部分的変換ブロックのサイズとを決定する。決定部１１２は、決定した部分的変換ブロックを示す情報を変換部１０２ａ及び合成部１０５に出力し、決定した部分的変換ブロックのサイズを示す情報（サイズ情報）をエントロピー符号化部１０３に出力する。かかるサイズ情報は、エントロピー符号化部１０３において符号化され、符号化データに含まれる制御情報の一部として出力される。

【0037】

＜２．画像復号装置の構成＞
図２は、実施形態に係る画像復号装置２の構成を示す図である。図２に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化部２０１ａと、逆変換部２０１ｂと、合成部２０２と、イントラ予測部２０３と、ループフィルタ２０４と、フレームメモリ２０５と、動き補償予測部２０６と、切替部２０７と、評価部２０８と、特定部２０９とを備える。

【0038】

エントロピー復号部２００は、符号化装置１により生成された符号化データを復号し、画像符号化装置１において直交変換及び量子化が適用された部分的変換ブロックに対応する量子化変換係数を逆量子化部２０１ａに出力する。また、エントロピー復号部２００は、符号化データを復号し、予測（イントラ予測及び動き補償予測）に関する情報とフィルタ処理に関する情報とを取得する。エントロピー復号部２００は、予測に関する情報をイントラ予測部２０３及び動き補償予測部２０６に出力し、フィルタ処理に関する情報をループフィルタ２０４に出力する。エントロピー復号部２００は、部分的変換ブロックのサイズ情報を特定部２０９および逆変換部２０１ｂに出力する。

【0039】

逆量子化部２０１ａ及び逆変換部２０１ｂは、逆量子化・逆変換部２０１を構成する。逆量子化・逆変換部２０１は、量子化変換係数に対して逆量子化及び逆直交変換を行うことにより、部分的変換ブロックに対応する部分的な予測残差を復元する。

【0040】

逆量子化部２０１ａは、画像符号化装置１の量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。逆量子化部２０１ａは、エントロピー復号部２００から入力された部分的変換ブロックの量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部２０１ｂに出力する。

【0041】

逆変換部２０１ｂは、画像符号化装置１の変換部１０２ａが行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２０１ｂは、エントロピー復号部２００から入力された部分的変換ブロックのサイズ情報に基づいて、逆量子化部２０１ａから入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２０２に出力する。

【0042】

合成部２０２は、特定部２０９から入力された部分的変換ブロックの情報に基づいて、切替部２０７から入力された予測画像のうち部分的変換ブロックに対応する領域を特定する。合成部２０２は、逆変換部２０１ｂにより復元された部分的な予測残差を、予測画像のうち部分的変換ブロックに対応する領域と画素単位で合成することにより、元の対象画像ブロックを再構成し、再構成画像ブロックをイントラ予測部２０３及びループフィルタ２０４に出力する。

【0043】

イントラ予測部２０３は、合成部２０２から入力された再構成画像ブロックを参照し、エントロピー復号部２００から入力されたイントラ予測情報に従ってイントラ予測を行うことによりイントラ予測画像を生成し、イントラ予測画像を切替部２０７に出力する。

【0044】

ループフィルタ２０４は、エントロピー復号部２００から入力されたフィルタ処理情報に基づいて、合成部２０２から入力された再構成画像に対して、画像符号化装置１のループフィルタ１０７が行うフィルタ処理と同様なフィルタ処理を行い、フィルタ処理後の再構成画像をフレームメモリ２０５に出力する。

【0045】

フレームメモリ２０５は、ループフィルタ２０４から入力された再構成画像をフレーム単位で記憶する。フレームメモリ２０５は、記憶した再構成画像を表示順に画像復号装置２の外部に出力する。

【0046】

動き補償予測部２０６は、フレームメモリ２０５に記憶された１又は複数の再構成画像を参照画像として用いて、エントロピー復号部２００から入力された動きベクトル情報に従って動き補償予測（インター予測）を行うことにより、動き補償予測画像を生成し、動き補償予測画像を切替部２０７に出力する。

【0047】

切替部２０７は、イントラ予測部２０３から入力されたイントラ予測画像と、動き補償予測部２０６から入力された動き補償予測画像とを切替えて、予測画像（イントラ予測画像又は動き補償予測画像）を合成部２０２に出力する。

【0048】

評価部２０８は、画像符号化装置１の評価部１１１と同様な動作を行う。具体的には、評価部２０８は、動き補償予測部２０６が複数の参照画像を用いて動き補償予測を行う場合において、複数の参照画像間の類似度を画素単位で評価し、評価結果の情報を特定部２０９に出力する。なお、評価部２０８は、複数の参照画像を用いたイントラ予測（例えば、イントラブロックコピーモード）などを用いる場合であって、イントラ予測部２０３が複数の参照画像を用いて予測を行う場合にも、複数の参照画像間の類似度の評価を行ってもよい。

【0049】

特定部２０９は、評価部２０８による評価の結果に基づいて、画像符号化装置１において直交変換及び量子化が適用された部分的変換ブロックを特定する。具体的には、特定部２０９は、評価部２０８による評価の結果に基づいて部分的変換ブロックの中心位置を特定する。そして、特定部２０９は、特定した中心位置と、エントロピー復号部２００から入力されたサイズ情報とに基づいて、部分的変換ブロックを特定する。特定部２０９は、特定した部分的変換ブロックを示す情報を合成部２０２に出力する。

【0050】

＜３．動き補償予測＞
図３は、動き補償予測の一例を示す図である。図４は、動き補償予測により生成される予測画像の一例を示す図である。動き補償予測のシンプルな例として、ＨＥＶＣで用いられている双予測、特に前方向と後方向予測（両方向予測）を用いる場合について説明する。

【0051】

図３に示すように、動き補償予測は、対象フレーム（現フレーム）に対して時間的に前及び後のフレームを参照する。図３の例では、ｔフレーム目の画像中のブロックの動き補償予測を、ｔ－１フレーム目とｔ＋１フレーム目とを参照して行う。動き補償は、ｔ－１及びｔ＋１フレーム目の参照フレーム内から、対象画像ブロックと類似する箇所（ブロック）をシステムで設定された探索範囲の中から検出する。

【0052】

検出された箇所が参照画像である。対象画像ブロックに対する参照画像の相対位置を示す情報が図中に示す矢印であり、動きベクトルと呼ばれる。動きベクトルの情報は、画像符号化装置１において、参照画像のフレーム情報とともにエントロピー符号化によって符号化される。一方、画像復号装置２は、画像符号化装置１により生成された動きベクトルの情報に基づいて参照画像を検出する。

【0053】

図３及び図４に示すように、動き補償予測によって検出された参照画像１及び２は、対象画像ブロックに対し、参照するフレーム内で位置合わせされた類似する部分画像であるため、対象画像ブロック（符号化対象画像）に類似した画像となる。図４の例では、対象画像ブロックは、星の絵柄と部分的な円の絵柄とを含んでいる。参照画像１は、星の絵柄と全体的な円の絵柄とを含んでいる。参照画像２は、星の絵柄を含むが、円の絵柄を含んでいない。

【0054】

かかる参照画像１及び２から予測画像を生成する。予測処理は処理負荷の高い処理であるため、参照画像１及び２を平均化することによって予測画像を生成することが一般的である。但し、より高度な処理、例えば、ローパスフィルタやハイパスフィルタ等による信号強調処理を併用して予測画像を生成してもよい。ここで、参照画像１は円の絵柄を含み、参照画像２は円の絵柄を含まないため、参照画像１及び２を平均化して予測画像を生成すると、予測画像における円の絵柄は、参照画像１に比べて信号が半減している。

【0055】

参照画像１及び２から得られた予測画像と対象画像ブロック（符号化対象画像）との差分が予測残差である。図４に示す予測残差において、星の絵柄のエッジのずれ部分と丸の絵柄のずれた部分（斜線部）とにのみ大きな差分が生じているが、それ以外の部分については、精度よく予測が行えており、差分が少なくなる（図４の例では差分が生じていない）。

【0056】

差分が生じていない部分（星の絵柄の非エッジ部分及び背景部分）は、参照画像１と参照画像２との間の類似度が高い部分であって、高精度な予測が行われた部分である。一方、大きな差分が生じている部分は、各参照画像に特有な部分、すなわち、参照画像１と参照画像２との間の類似度が著しく低い部分である。よって、参照画像１と参照画像２との間の類似度が著しく低い部分は、予測の精度が低く、大きな差分（残差）を生じさせることが分かる。

【0057】

このように差分が大きい部分と差分が無い部分とが混在した予測残差を直交変換すると、低周波数成分に電力が集中せずに、変換係数の電力集中度が低下する。その結果、量子化による変換係数の劣化が大きくなり、かかる変換係数の劣化が逆量子化及び逆直交変換を経て画像（対象画像ブロック）内に全体的に伝搬する。

【0058】

そして、逆量子化及び逆直交変換によって復元された予測残差（復元予測残差）を予測画像に合成して対象画像ブロックを再構成すると、図４に示す星の絵柄の非エッジ部分及び背景部分のように高精度な予測が行われた部分にも画質の劣化が伝搬してしまう。

【0059】

実施形態においては、参照画像１と参照画像２との間の類似度が低い部分（すなわち、予測残差が大きいと推定される部分）である部分的変換ブロックに限定して予測残差の直交変換及び量子化を行うことにより、量子化によって生じる変換係数の劣化の対象画像ブロック内の予測残差が小さい領域への伝播を抑制可能になり、これにより画質を改善できる。

【0060】

＜４．画像符号化装置及び画像復号装置における評価部＞
画像符号化装置１において、評価部１１１は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。同様に、画像復号装置２において、評価部２０８は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。

【0061】

図５は、画像符号化装置１における評価部１１１の構成の一例を示す図である。図５に示すように、評価部１１１は、差分算出部（減算部）１１１ａと、正規化部１１１ｂと、調整部１１１ｃとを備える。

【0062】

差分算出部１１１ａは、参照画像１と参照画像２との間の差分値を画素単位で算出し、算出した差分値を正規化部１１１ｂに出力する。差分値は、類似度を示す値の一例である。差分値が小さいほど類似度が高く、差分値が大きいほど類似度が低いといえる。差分算出部１１１ａは、各参照画像に対してフィルタ処理を行ったうえで差分値を算出してもよい。差分算出部１１１ａは、二乗誤差等の統計量を算出し、かかる統計量を類似度として用いてもよい。以下においては、類似度として差分値を用いる一例について説明する。

【0063】

正規化部１１１ｂは、類似度算出部１１１ａから入力された差分値を、ブロック内で最大となる差分値（すなわち、ブロック内の差分値の最大値）で正規化して出力する。正規化された差分値は、部分的変換ブロックを決定するための重要度として用いられる。差分値が小さいほど類似度が高く、予測精度も高くなるため、符号化における重要度が低い。一方、差分値が大きいほど類似度が低く、予測精度も低くなるため、符号化における重要度が高い。

【0064】

正規化部１１１ｂは、差分算出部１１１ａから入力された各画素の差分値を、ブロック内で差分値が最大となる画素の差分値（すなわち、ブロック内の差分値の最大値）で正規化し、正規化した差分値である正規化差分値（重要度）を出力する。

【0065】

調整部１１１ｃは、量子化の粗さを定める量子化パラメータ（Ｑｐ）に基づいて、正規化部１１１ｂから入力された正規化差分値を調整し、調整した正規化差分値を出力する。量子化の粗さが大きいほど復元予測残差の劣化度が高いため、調整部１１１ｃは、量子化パラメータ（Ｑｐ）に基づいて正規化差分値（重み）を調整する。

【0066】

評価部１１１が出力する各画素位置（ｉｊ）の重要度Ｒｉｊは、例えば下記の式（１）のように表現することができる。

【0067】

Rij = (abs(Xij-Yij)/maxD ×Scale(Qp)) ・・・（１）

【0068】

式（１）において、Ｘｉｊは参照画像１の画素ｉｊの画素値であり、Ｙｉｊは参照画像２の画素ｉｊの画素値であり、ａｂｓは絶対値を得る関数である。図５に示す差分算出部１１１ａでは、ａｂｓ（Ｘｉｊ－Ｙｉｊ）を出力する。

【0069】

また、式（１）において、ｍａｘＤは、ブロック内の差分値ａｂｓ（Ｘｉｊ－Ｙｉｊ）の最大値である。ｍａｘＤを求めるために、ブロック内のすべての画素について差分値を求める必要があるが、この処理を省略するためにすでに符号化処理済みの隣接するブロックの最大値などで代用してもよい。或いは、量子化パラメータ（Ｑｐ）とｍａｘＤとの対応関係を定めるテーブルを用いて、量子化パラメータ（Ｑｐ）からｍａｘＤを求めてもよい。或いは、予め仕様で規定された固定値をｍａｘＤとして用いてもよい。正規化部１１１ｂは、ａｂｓ（Ｘｉｊ－Ｙｉｊ）／ｍａｘＤを出力する。

【0070】

また、式（１）において、Ｓｃａｌｅ（Ｑｐ）は、量子化パラメータ（Ｑｐ）に応じて乗じられる係数である。Ｓｃａｌｅ（Ｑｐ）は、Ｑｐが大きい場合に１．０に近づき、小さい場合に０に近づくように設計され、その度合いはシステムによって調整するものとする。或いは、予め仕様で規定された固定値をＳｃａｌｅ（Ｑｐ）として用いてもよい。さらに、処理を簡略化するため、Ｓｃａｌｅ（ＱＰ）を１．０などシステムに応じて設計された固定値としてもよい。

【0071】

調整部１１１ｃは、ａｂｓ（Ｘｉｊ－Ｙｉｊ）／ｍａｘＤ×Ｓｃａｌｅ（Ｑｐ）を重要度Ｒｉｊとして出力する。また、このＲｉｊは、システムに応じて設計される感度関数によって調整された重み付けを出力しても良い。例えば、ａｂｓ（Ｘｉｊ－Ｙｉｊ）／ｍａｘＤ×Ｓｃａｌｅ（Ｑｐ）＝Ｒｉｊとし、Ｒｉｊ＝Ｃｌｉｐ（Ｒｉｊ，１．０，０．０）とする、又はＲｉｊ＝Ｃｌｉｐ（Ｒｉｊ＋ｏｆｆｓｅｔ，１．０，０．０）とオフセットをつけて感度を調整してもよい。なお、Ｃｌｉｐ（ｘ，ｍａｘ，ｍｉｎ）は、ｘがｍａｘを超える場合はｍａｘで、ｘがｍｉｎを下回る場合はｍｉｎでクリップする処理を示す。

【0072】

このようにして算出された重要度Ｒｉｊは、０から１．０までの範囲内の値となる。基本的には、重要度Ｒｉｊは、参照画像間の画素位置ｉｊの差分値が大きい（すなわち、予測精度が低い）場合に１．０に近づき、参照画像間の画素位置ｉｊの差分値が小さい（すなわち、予測精度が高い）場合に０に近づく。評価部１１１は、ブロック内の各画素位置ｉｊの重要度Ｒｉｊからなる２次元のマップ情報をブロック単位で決定部１１２に出力する。

【0073】

或いは、評価部１１１は、Ｒｉｊを下記の式（２）のように算出してもよい。

【0074】

Rij = 1.0 - (abs(Xij-Yij)/maxD × Scale(Qp)) ・・・（２）

【0075】

式（２）を用いる場合、Ｒｉｊは、画素位置ｉｊの差分値が大きい（すなわち、予測精度が低い）場合に０に近づき、小さい（すなわち、予測精度が高い）場合に１に近づく。よって、Ｒｉｊは、画素位置ｉｊの予測精度（確度）を表す値とみなすことができる。以下においては、評価部１１１が式（２）を用いてブロック内の各画素位置ｉｊの確度Ｒｉｊからなる２次元のマップ情報を出力する一例を説明し、かかるマップ情報を適宜「確度マップ」と称する。

【0076】

また、画像復号装置２における評価部２０８は、画像符号化装置１における評価部１１１と同様に構成される。具体的には、画像復号装置２における評価部２０８は、類似度算出部２０８ａと、正規化部２０８ｂと、調整部２０８ｃとを備える。画像復号装置２における評価部２０８は、ブロック内の各画素位置ｉｊの確度Ｒｉｊからなる確度マップを特定部２０９に出力する。

【0077】

なお、評価部１１１及び評価部２０８は、複数の参照画像を用いる予測を適用する場合にのみ評価（Ｒｉｊの算出）を行い、それ以外のモード、例えば単方向予測や複数参照画像を用いないイントラ予測処理においては、評価を行わなくてもよい。

【0078】

なお、評価部１１１は、以下に示す方法で誤差マップを算出し、特定部２０９に出力してもよい。

【0079】

双予測モードの予測画像の生成に用いる２つの参照画像（参照先ブロック）の輝度信号をＬ０［ｉ，ｊ］及びＬ１［ｉ，ｊ］（但し、［ｉ，ｊ］は対象画像ブロック内の座標）とすると、下記の式（３）により誤差マップｍａｐ［ｉ，ｊ］及びその最大値ｍａｘ＿ｍａｐを算出する。

【0080】

map [i,j] = abs (L0 [i,j] - L1 [i,j])
max#map = max (map [i,j]) ・・・（３）

【0081】

式（３）のmax#mapが６ビット精度を超える（６４を超える）場合には、下記の式（４）により、max#mapが６ビット精度に収まるように設定したｓｈｉｆｔにより誤差マップ及び最大値を更新する。

【0082】

max#map = max#map >> shift
map [i,j] = map [i,j] >> shift ・・・（４）

【0083】

式（４）により算出する誤差マップは、確度マップと異なり、予測残差が大きいと推定される領域の値が大きくなり、予測残差が小さいと推定される領域の値が小さくなる。即ち、前述の正規化された確度マップは
確度マップ[i,j] = 1 - (map[i,j]/max#map)
により算出可能である。以下、本発明の実施形態について誤差マップを用いて説明するが、上述の確度マップを用いて予測精度を推定するよう構成してもよい。

【0084】

＜５．画像符号化装置における決定部及び画像復号装置における特定部＞
画像符号化装置１において、決定部１１２は、評価部１１１による評価の結果に基づいて、部分的変換ブロックの中心位置と、この中心位置を基準とした部分的変換ブロックのサイズとを決定する。図６は、決定部１１２の動作の一例を示す図である。

【0085】

第１に、決定部１１２は、図６（Ａ）に示すように、評価部１１１から入力された誤差マップに基づいて、誤差マップ中でmap[i, j]が最大となる画素位置である最低確度位置を検出し、検出した最低確度位置を中心位置として決定する。なお、前述のように、誤差マップによる最低確度位置検出に変えて、確度マップ中でrijが最小となる画素位置を最低確度位置とするよう構成してもよい。或いは、最低確度位置を中心位置とすることに変えて、決定部１１２は、誤差マップの重心を算出し、算出した重心を中心位置として決定してもよい。

【0086】

第２に、決定部１１２は、図６（Ｂ）に示すように、誤差マップを水平方向及び垂直方向に平均化し、水平方向の誤差マップ（水平誤差マップ）及び垂直方向の誤差マップ（垂直誤差マップ）を生成する。そして、決定部１１２は、水平誤差マップ及び垂直誤差マップにおいて、最低確度位置を基準に１画素ずつ範囲を広げ、全体のＸ％（例えば、２５％又は５０％）の確度の低い画素位置をカバーする水平及び垂直方向の各長さを決定する。決定部１１２は、目標符号量に対する、対象画像ブロックよりも前に符号化済みの符号化データの符号量の残りの符号量に基づいてＸの値を決定してもよいし、システム固定の値をＸとして用いてもよい。また、処理の高速化を目的として、２の倍数（２、４、８、１６など）の長さにおいて、Ｘ％を満足する水平及び垂直方向の各長さを決定してもよい。水平の長さ及び垂直方向の長さをそれぞれ決定することにより、部分的変換ブロックとして、正方形のブロック形状に限らず矩形のブロック形状を用いることができる。

【0087】

決定部１１２は、決定した部分的変換ブロックの中心位置情報及びサイズ情報（水平及び垂直方向の各長さ）を変換部１０２ａ及び合成部１０５に出力し、サイズ情報をエントロピー符号化部１０３に出力する。サイズ情報は、エントロピー符号化部１０３において符号化され、符号化データに含まれる制御情報の一部として出力される。なお、部分的変換ブロックの中心位置は、画像復号装置２における特定部２０９が誤差マップに基づいて特定可能であり、中心位置情報を符号化する必要はないため、符号量を削減できる。

【0088】

一方、画像符号化装置１において、特定部２０９は、評価部２０８による評価の結果に基づいて部分的変換ブロックの中心位置を特定し、特定した中心位置と、復号したサイズ情報とに基づいて、部分的変換ブロックを特定する。

【0089】

第１に、特定部２０９は、画像符号化装置１における決定部１１２と同じ方法で、誤差マップに基づいて中心位置を特定する。

【0090】

第２に、特定部２０９は、エントロピー復号部２００から入力されたサイズ情報（水平及び垂直方向の各長さ）に基づいて、対象画像ブロックのサイズを特定する。このようにして、特定部２０９は、部分的変換ブロックの中心位置及びサイズを特定できる。

【0091】

特定部２０９は、特定した部分的変換ブロックの中心位置情報及びサイズ情報（水平及び垂直方向の各長さ）を合成部２０２に出力する。

【0092】

なお、予め中心位置の候補がシステムで規定されていてもよい。かかる場合、決定部１１２及び特定部２０９は、検出した最低確度位置又は重心に最も近い候補位置を中心位置として決定及び特定してもよい。

【0093】

＜６．画像符号化の動作＞
図７は、実施形態に係る画像符号化装置１における動作フロー例を示す図である。

【0094】

図７に示すように、ステップＳ１０１において、動き補償予測部１０９は、複数の参照画像を用いて動き補償予測を行うことにより対象画像ブロックを予測し、対象画像ブロックに対応する予測画像を生成する。動き補償予測情報は、エントロピー符号化部１０３で符号化データの一部として生成され、エントロピー符号化部１０３は、動き補償予測情報を含む符号化データを出力する。

【0095】

ステップＳ１０２において、評価部１１１は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価し、対象画像ブロック内の各画素位置の予測確度の低さを表す誤差マップを生成する。

【0096】

ステップＳ１０３において、決定部１１２は、誤差マップに基づいて、対象画像ブロック内において直交変換及び量子化を適用する一部の領域である部分的変換ブロックを決定し、決定した部分的変換ブロックを変換・量子化部１０２（具体的には、変換部１０２ａ）及び合成部１０５に通知及び設定する。また、部分的変換ブロックのサイズ情報は、エントロピー符号化部１０３で符号化データの一部として符号化される。

【0097】

ステップＳ１０４において、減算部１０１は、対象画像ブロックと予測画像との間の画素単位での差分を示す予測残差を算出する。

【0098】

ステップＳ１０５において、変換・量子化部１０２は、減算部１０１が算出した予測残差のうち部分的変換ブロックの予測残差に対して直交変換及び量子化を行うことにより、量子化変換係数を生成する。

【0099】

ステップＳ１０６において、エントロピー符号化部１０３は、部分的変換ブロックの量子化変換係数をエントロピー符号化して符号化データを出力する。

【0100】

ステップＳ１０７において、逆量子化・逆変換部１０４は、部分的変換ブロックの量子化変換係数に対して逆量子化及び逆直交変換を行うことにより部分的変換ブロックの予測残差を復元し、部分的変換ブロックの復元予測残差を生成する。

【0101】

ステップＳ１０８において、合成部１０５は、部分的変換ブロックの復元予測残差を、予測画像のうち部分的変換ブロックに対応する領域と画素単位で合成することにより対象画像ブロックを再構成し、再構成画像ブロックを生成する。

【0102】

ステップＳ１０９において、ループフィルタ１０７は、再構成画像ブロックに対してフィルタ処理を行う。また、ループフィルタに関する情報（オフセットおよびオフセットを適用するカテゴリ情報など）は、エントロピー符号化部１０３で符号化データの一部として符号化される。

【0103】

ステップＳ１１０において、フレームメモリ１０８は、フィルタ処理後の再構成画像ブロックをフレーム単位で記憶する。

【0104】

＜７．画像復号の動作＞
図８は、実施形態に係る画像復号装置２における動作フロー例を示す図である。

【0105】

図８に示すように、ステップＳ２０１において、エントロピー復号部２００は、符号化データを復号して量子化変換係数、動きベクトル情報、ループフィルタに関する情報、及び部分的変換ブロックのサイズ情報を取得する。

【0106】

ステップＳ２０２において、動き補償予測部２０６は、動きベクトル情報に基づく複数の参照画像を用いて動き補償予測を行うことにより対象画像ブロックを予測し、対象画像ブロックに対応する予測画像を生成する。

【0107】

ステップＳ２０３において、評価部２０８は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価し、対象画像ブロック内の各画素位置の予測の確度の低さを表す誤差マップを生成する。

【0108】

ステップＳ２０４において、特定部２０９は、誤差マップと、部分的変換ブロックのサイズ情報とに基づいて、対象画像ブロック内において直交変換及び量子化が適用された部分的変換ブロックを特定し、特定した部分的変換ブロックを合成部２０２に通知及び設定する。

【0109】

ステップＳ２０５において、逆量子化・逆変換部２０１は、部分的変換ブロックの量子化変換係数に対して逆量子化及び逆直交変換を行うことにより部分的変換ブロックの予測残差を復元し、部分的変換ブロックの復元予測残差を生成する。

【0110】

ステップＳ２０６において、合成部２０２は、部分的変換ブロックの復元予測残差を、予測画像のうち部分的変換ブロックに対応する領域と画素単位で合成することにより対象画像ブロックを再構成し、再構成画像ブロックを生成する。

【0111】

ステップＳ２０７において、ループフィルタ２０４は、再構成画像ブロックに対してフィルタ処理を行う。

【0112】

ステップＳ２０８において、フレームメモリ２０５は、フィルタ処理後の再構成画像ブロックをフレーム単位で記憶して出力する。

【0113】

＜８．実施形態のまとめ＞
実施形態に係る画像符号化装置１は、複数の参照画像を用いて予測を行うことにより、対象画像ブロックに対応する予測画像を生成する動き補償予測部１０９と、これら複数の参照画像間の類似度を画素単位で評価する評価部１１１と、対象画像ブロックと予測画像との間の画素単位での差分を示す予測残差を算出する減算部１０１と、評価部１１１による評価の結果に基づいて、予測残差のうち直交変換及び量子化を適用する部分的変換ブロックを決定する決定部１１２と、予測残差における部分的変換ブロックに限定して直交変換及び量子化を行う変換・量子化部１０２と、を備える。

【0114】

実施形態に係る画像復号装置２は、複数の参照画像を用いて予測を行うことにより、対象画像ブロックに対応する予測画像を生成する動き補償予測部２０６と、これら複数の参照画像間の類似度を画素単位で評価する評価部２０８と、符号化データを復号し、画像符号化装置１において直交変換及び量子化が適用された部分的変換ブロックの量子化変換係数を取得するエントロピー復号部２００と、評価部２０８による評価の結果に基づいて部分的変換ブロックを特定する特定部２０９と、を備える。

【0115】

実施形態によれば、予測画像の生成に用いる参照画像間の類似度が低い部分（すなわち、予測残差が大きいと推定される部分）に限定して予測残差の直交変換及び量子化を行うことが可能になり、画質を改善できるとともに、符号化データの符号量を削減できる。したがって、符号化効率を改善できる。

【0116】

＜９．変更例１＞
上述した実施形態において、１つの対象画像ブロックに対して１つの部分的変換ブロックを決定する一例を説明した。しかしながら、１つの対象画像ブロックに対して複数の部分的変換ブロックを決定してもよい。

【0117】

例えば、画像符号化装置１において、決定部１１２は、最低確度位置に加えて、確度が２番目に低い画素位置及び確度が３番目に低い画素位置を検出し、検出した各画素位置を中心とする部分的変換ブロックを決定する。かかる場合、決定部１１２は、決定した部分的変換ブロックの個数（例えば、３個）を示す個数情報をエントロピー符号化部１０３に出力し、エントロピー符号化部１０３は個数情報を符号化する。

【0118】

一方、画像復号装置２において、エントロピー復号部２００は、符号化データから個数情報を復号し、個数情報を特定部２０９に出力する。特定部２０９は、個数情報に基づいて部分的変換ブロックの個数を特定し、各部分的変換ブロックを特定する。

【0119】

決定部１１２は、検出した画素位置間の距離を評価し、部分的変換ブロックが互いに重ならないように各部分的変換ブロックを決定する。或いは、決定部１１２は、検出した画素位置間の距離が一定値未満である場合に、これらの画素位置に対応する複数の部分的変換ブロックを統合してもよい。例えば、２番目に低い画素位置を中心とする部分的変換ブロックを、最低確度位置を中心とする部分的変換ブロックと結合する。かかる場合、確度が４番目に低い画素位置をさらに検出し、検出した画素位置を中心とする部分的変換ブロックを追加してもよい。

【0120】

＜１０．変更例２＞
画像符号化装置１の動き補償予測部１０９及び画像復号装置２の動き補償予測部２０８は、対象画像ブロック（ＣＵ）を複数の小ブロックに分割し、小ブロックごとに異なる動きベクトルを適用可能とし、小ブロックごとに片方向予測、双予測を切り替え可能であってもよい。かかる場合、片方向予測及び双方向予測の両方を用いて予測画像を生成するＣＵに対しては、画像符号化装置１の評価部１１１及び画像復号装置２の評価部２０８が誤差マップを算出しないものとしてもよい。一方、全ての小ブロックについて双予測により予測画像を生成している場合には、画像符号化装置１の評価部１１１及び画像復号装置２の評価部２０８は、誤差マップを生成する。

【0121】

また、画像符号化装置１の動き補償予測部１０９及び画像復号装置２の動き補償予測部２０８は、動きベクトルの異なるブロック境界における予測画像の不連続性低減のために、重複動き補償（ＯＢＭＣ：Ｏｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）を行ってもよい。画像符号化装置１の評価部１１１及び画像復号装置２の評価部２０８は、誤差マップ生成の際に、ＯＢＭＣによる参照画素の補正を考慮してもよい。

【0122】

例えば、ＯＢＭＣの補正に用いる周囲のブロックの予測モードが双予測である場合には、画像符号化装置１の評価部１１１及び画像復号装置２の評価部２０８は、ＯＢＭＣの補正が影響する予測画像の領域について、周辺ブロックの双予測の予測画像生成に用いる参照画像（Ｌ０及びＬ１）の動きベクトルを用いて誤差マップを補正する。具体的には、ｍａｐ［ｉ，ｊ］のブロック境界領域について、隣り合うブロックの動きベクトルが双予測である場合には、隣り合うブロックの誤差マップとの位置に応じた加重平均をする。隣り合うブロックがイントラモードの場合や、片方向予測の場合には、誤差マップの補正は行わない。図９のケースでは、上側のブロック境界についてはＬ０_aとＬ１_aを用いて誤差マップを生成し、その下側の領域について（当該ＣＵと重なり合う領域について）当該ＣＵの誤差マップとの加重平均をする。下側や右側、左側ＣＵの予測モードが片方向予測であるので、それらのＣＵと重なり合う領域については誤差マップの補正は行わない。

【0123】

＜１１．変更例３＞
画像符号化装置１の決定部１１２は、以下に示す方法で部分的変換ブロックを決定してもよい。

【0124】

決定部１１２は、例えば対象画像ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）に対して双予測により予測画像を生成する場合であって、このＣＵに変換スキップモードが適用されない場合（すなわち、直交変換を適用する場合）に、部分的変換ブロックを決定する。なお、変換スキップモードが適用されるか否かのフラグは符号化データに含まれる。

【0125】

図１０は、本変更例における部分的変換ブロックの決定方法を示す図である。

【0126】

第１に、決定部１１２は、図１０（Ａ）に示すように、誤差マップの重心を下記の式（５）により算出する。ここでは、誤差マップとして、上述した誤差マップｍａｐ［ｉ，ｊ］を用いるものとする。

【0127】

【数1】

【0128】

ここで、ｇｘは水平方向の重心位置であり、ｇｙは垂直方向の重心位置である。

【0129】

第２に、決定部１１２は、図１０（Ｂ）に示すように、部分的変換ブロックのサイズの候補（サイズモード）の中から最適なサイズを選択する。具体的には、決定部１１２は、各サイズモードを用いた場合のＲＤコストを算出し、ＲＤコストに基づいて最適なサイズモードを決定する。ＲＤコストの算出においては、変換係数のシグナリングコスト及びＣＵ全体の歪みを考慮する。サイズモードは、例えば以下の４つである。

【0130】

モード１：部分的変換ブロックのサイズをＣＵサイズと等しくするモード（すなわち、ＣＵ全体を直交変換するモード）
モード２：部分的変換ブロックの垂直方向サイズ及び水平方向サイズをそれぞれＣＵサイズの２分の１とするモード
モード３：部分的変換ブロックの垂直方向サイズをＣＵサイズと等しくし、部分的変換ブロックの水平方向サイズをＣＵサイズの２分の１とするモード
モード４：部分的変換ブロックの垂直方向サイズをＣＵサイズの２分の１とし、部分的変換ブロックの水平方向サイズをＣＵサイズと等しくするモード

【0131】

ここでは、モード１以外のモードが決定され、部分的変換ブロックを設定すると仮定して説明を進める。なお、決定部１１２は、中心位置（ｇｘ，ｇｙ）を中心とした部分的変換ブロックがＣＵ境界を越えないように設定する。

【0132】

第３に、変換部１０２ａは、図１０（Ｃ）に示すように、決定された中心位置及びサイズに基づいて部分的変換ブロックの予測残差（残差信号）に対して部分的な直交変換を行う。

【0133】

第４に、図１０（Ｄ）に示すように、量子化部１０２ｂは部分的変換ブロックの変換係数を量子化し、エントロピー符号化部１０３は量子化された変換係数をエントロピー符号化する。

【0134】

また、エントロピー符号化部１０３は、部分的直交変換を適用するか否かを示すフラグであるｂＰａｒｔｉａｌＴｒａｎｓｆｏｒｍと、部分的変換ブロックのサイズを示す情報であるｓｉｚｅＭｏｄｅとを符号化データに含める。ｂＰａｒｔｉａｌＴｒａｎｓｆｏｒｍは、部分的直交変換を適用する場合には“１”であり、部分的直交変換を適用しない場合には“０”である。ｓｉｚｅＭｏｄｅは、例えば、モード２の場合には“０”であり、モード３の場合には“１０”であり、モード４の場合には“１１”である。なお、上記のＲＤコストの算出においては、かかるシグナリングのコストも考慮する。

【0135】

一方、画像復号装置２において、エントロピー復号部２００は、符号化データを復号し、変換スキップモードが適用されているか否かのフラグを取得する。エントロピー復号部２００は、復号対象のＣＵに対して双予測により予測画像を生成する場合であって、このＣＵに変換スキップモードが適用されない場合（すなわち、直交変換を適用する場合）に、ｂＰａｒｔｉａｌＴｒａｎｓｆｏｒｍ及びｓｉｚｅＭｏｄｅを取得する。そして、特定部２０９は、評価部２０８により生成された誤差マップと、ｓｉｚｅＭｏｄｅとに基づいて部分的変換ブロックを特定する。その後の動作については、上述した実施形態と同様である。

【0136】

＜１２．その他の実施形態＞
上述した各実施形態において、動き補償予測としてインター予測を主として説明した。インター予測においては、現フレームと異なるフレーム内の参照画像が現フレームの対象画像ブロックの予測に用いられる。しかしながら、動き補償予測としてイントラブロックコピーと呼ばれる技術も適用することが可能である。イントラブロックコピーにおいては、現フレームと同じフレーム内の参照画像が現フレームの対象画像ブロックの予測に用いられる。

【0137】

上述した本発明の具体例は、画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムにより提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

【0138】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0139】

なお、日本国特許出願第２０１８－６５７８０号（２０１８年３月２９日出願）の全内容が、参照により、本願明細書に組み込まれている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】