特許 7483964 画像符号化装置、画像復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】画像符号化装置、画像復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/12 20140101AFI20240508BHJP

   H04N 19/136 20140101ALI20240508BHJP

   H04N 19/176 20140101ALI20240508BHJP

   H04N 19/70 20140101ALI20240508BHJP

【ＦＩ】

H04N19/12

H04N19/136

H04N19/176

H04N19/70

【請求項の数】 4

(21)【出願番号】P 2023020232

(22)【出願日】2023-02-13

(62)【分割の表示】P 2018152991の分割

【原出願日】2018-08-15

(65)【公開番号】P2023053272

(43)【公開日】2023-04-12

【審査請求日】2023-02-13

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】根本 慎平

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０１６－２１３６１５（ＪＰ，Ａ）

【文献】特開２００３－２０４５５０（ＪＰ，Ａ）

【文献】特開２０００－０５９７８５（ＪＰ，Ａ）

【文献】国際公開第２０１１／０８０８０７（ＷＯ，Ａ１）

【文献】国際公開第２０１１／０８０８０６（ＷＯ，Ａ１）

【文献】国際公開第２０１０／０８７８０７（ＷＯ，Ａ１）

【文献】国際公開第２０１０／０１０９４２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

フレーム単位の現画像を分割して得られたブロック単位の対象画像を符号化する画像符号化装置であって、
前記現画像を前記ブロックに分割するブロック分割を行うブロック分割部と、
複数の参照画像を用いて前記対象画像を双予測により予測して予測画像を生成する予測部と、
前記予測部が前記双予測を行う場合、前記ブロック分割により前記ブロックのサイズが決定された後において、前記複数の参照画像間の類似度を示す差分絶対値和を前記ブロックよりも小さい領域単位であって複数の画素からなる前記領域単位で算出する評価部と、を備え、
前記評価部が前記領域単位で算出した前記差分絶対値和に基づいて符号化の処理を制御することを特徴とする画像符号化装置。

【請求項2】

フレーム単位の現画像を分割して得られたブロック単位の対象画像を復号する画像復号装置であって、
複数の参照画像を用いて前記対象画像を双予測により予測して予測画像を生成する予測部と、
前記予測部が前記双予測を行う場合、符号化側でブロック分割によりサイズが決定された前記ブロックについて、前記複数の参照画像間の類似度を示す差分絶対値和を前記ブロックよりも小さい領域単位であって複数の画素からなる前記領域単位で算出する評価部と、を備え、
前記評価部が前記領域単位で算出した前記差分絶対値和に基づいて復号の処理を制御することを特徴とする画像復号装置。

【請求項3】

コンピュータを請求項１に記載の画像符号化装置として機能させることを特徴とするプログラム。

【請求項4】

コンピュータを請求項２に記載の画像復号装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化装置、画像復号装置、及びプログラムに関する。

【背景技術】

【0002】

従来、フレーム単位の現画像を分割して得られたブロック単位の対象画像を符号化する画像符号化装置において、複数の参照画像を用いて対象画像を予測して予測画像を生成し、対象画像と予測画像との間の差分を示す予測残差に対して直交変換処理を行って変換係数を算出し、変換係数を量子化及びエントロピー符号化して符号化データを出力する方法が知られている。

【0003】

また、画像符号化装置と同様に、画像復号装置は、複数の参照画像を用いて対象画像を予測して予測画像を生成する。画像復号装置は、符号化データを復号して変換係数を取得するとともに逆量子化し、逆量子化後の変換係数に対して逆直交変換処理を行って予測残差を算出し、予測画像と予測残差とを合成することにより対象画像を復号する。

【0004】

ＨＥＶＣでは、変換処理（直交変換処理及び逆直交変換処理）に適用可能な直交変換として、ＤＣＴ－２及びＤＳＴ－７の２種類が規定されている（非特許文献１参照）。具体的には、ＨＥＶＣでは、対象画像のブロックサイズや、対象画像に適用するイントラ予測のモードに基づいて、２種類の直交変換のうちどちらの種類の直交変換を適用するかを決定する。

【先行技術文献】

【非特許文献】

【0005】

【文献】Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６）， “Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、対象画像のブロックサイズや対象画像に適用するイントラ予測のモードに基づいて直交変換の種類を決定するだけでは、予測残差におけるエネルギー分布に応じた最適な種類の直交変換を適用することができない。例えば、本来ＤＣＴ－２の方が効率
的に予測残差のエネルギーを集中させる場合であっても、適用する直交変換としてＤＳＴ－７を決定してしまう場合があるため、符号化効率が低下してしまう問題がある。

【0007】

また、予測残差のエネルギーをより効率的に集中させる直交変換の方法としてＫＬＴが挙げられるが、画像符号化装置で行ったＫＬＴの逆処理のための情報を画像復号装置側で必要とすることから、伝送すべき情報量が増大してしまい、符号化効率が低下してしまう問題がある。

【0008】

そこで、本発明は、符号化効率を改善できる画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

第１の特徴に係る画像符号化装置は、フレーム単位の現画像を分割して得られたブロック単位の対象画像を符号化する画像符号化装置であって、複数の参照画像を用いて前記対象画像を予測して予測画像を生成する予測部と、前記複数の参照画像間の類似度を画素単位で評価することにより、前記予測画像における誤差の分布を示すマップ情報を生成する評価部と、前記対象ブロックと前記予測画像との差分を示す予測残差を画素単位で算出する減算部と、前記予測残差に適用する直交変換を前記マップ情報に基づいて決定する決定部と、前記決定された直交変換によって前記予測残差に対する直交変換処理を行う変換部と、を備えることを要旨とする。他の特徴に係る画像符号化装置は、フレーム単位の現画像を分割して得られたブロック単位の対象画像を符号化する画像符号化装置であって、複数の参照画像を用いて前記対象画像を予測して予測画像を生成する予測部と、前記複数の参照画像間の類似度を示す差分絶対値和を前記ブロックよりも小さい領域単位であって複数の画素からなる前記領域単位で算出する評価部と、を備え、前記評価部が前記領域単位で算出した前記差分絶対値和に基づいて符号化の処理を制御することを要旨とする。

【0010】

第２の特徴に係る画像復号装置は、フレーム単位の現画像を分割して得られたブロック単位の対象画像を復号する画像復号装置であって、符号化データを復号することにより変換係数を取得する復号部と、複数の参照画像を用いて前記対象画像を予測して予測画像を生成する予測部と、前記複数の参照画像間の類似度を画素単位で評価することにより、前記予測画像における誤差の分布を示すマップ情報を生成する評価部と、前記変換係数に適用する逆直交変換を前記マップ情報に基づいて決定する決定部と、前記決定された逆直交変換によって前記変換係数に対する逆直交変換処理を行う逆変換部と、を備えることを要旨とする。他の特徴に係る画像復号装置は、フレーム単位の現画像を分割して得られたブロック単位の対象画像を復号する画像復号装置であって、複数の参照画像を用いて前記対象画像を予測して予測画像を生成する予測部と、前記複数の参照画像間の類似度を示す差分絶対値和を前記ブロックよりも小さい領域単位であって複数の画素からなる前記領域単位で算出する評価部と、を備え、前記評価部が前記領域単位で算出した前記差分絶対値和に基づいて復号の処理を制御することを要旨とする。

【0011】

第３の特徴に係るプログラムは、コンピュータを第１の特徴に係る画像符号化装置として機能させることを要旨とする。

【0012】

第４の特徴に係るプログラムは、コンピュータを第２の特徴に係る画像復号装置として機能させることを要旨とする。

【発明の効果】

【0013】

本発明によれば、符号化効率を改善できる画像符号化装置、画像復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0014】

【図1】第１実施形態に係る画像符号化装置の構成を示す図である。

【図2】第１乃至第３実施形態に係るインター予測の一例を示す図である。

【図3】第１乃至第３実施形態に係る評価部の構成の一例を示す図である。

【図4】第１実施形態に係る適応変換生成部の動作を示す図である。

【図5】第１実施形態に係る画像復号装置の構成を示す図である。

【図6】第２実施形態に係る画像符号化装置の構成を示す図である。

【図7】第２実施形態に係る画像復号装置の構成を示す図である。

【図8】第３実施形態に係る画像符号化装置の構成を示す図である。

【図9】第３実施形態に係る特徴量評価部の動作を示す図である。

【図10】第３実施形態に係る画像復号装置の構成を示す図である。

【発明を実施するための形態】

【0015】

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0016】

＜第１実施形態＞
第１実施形態に係る画像符号化装置及び画像復号装置について説明する。第１実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号を行う。

【0017】

（画像符号化装置）
図１は、第１実施形態に係る画像符号化装置１の構成を示す図である。図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０と、評価部１８０と、決定部１９０とを備える。

【0018】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、分割により得たブロックを減算部１１０に出力する。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位である。

【0019】

減算部１１０は、ブロック分割部１００から入力されたブロックと当該ブロックを予測部１７０が予測して得た予測画像（予測ブロック）との間の画素単位での差分を示す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0020】

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを備える。

【0021】

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。第１実施形態において、変換部１２１は、ＫＬＴにより直交変換処理を行う。

【0022】

量子化部１２２は、変換部１２１から入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。

【0023】

エントロピー符号化部１３０は、量子化部１２２から入力された変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ
Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、予測部１７０から予測に関する制御情報が入力され、入力された制御情報のエントロピー符号化も行う。

【0024】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを備える。

【0025】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

【0026】

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0027】

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１７０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算してブロックを再構成（復号）し、復号したブロック単位の復号画像をメモリ１６０に出力する。かかる復号画像は、再構成画像と称されることがある。

【0028】

メモリ１６０は、合成部１５０から入力された復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

【0029】

予測部１７０は、ブロック単位で予測を行う。予測部１７０は、イントラ予測部１７１と、インター予測部１７２と、切替部１７３とを備える。

【0030】

イントラ予測部１７１は、メモリ１６０に記憶された復号画像のうち、予測対象のブロックの周辺にある復号画素値を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部１７３に出力する。また、イントラ予測部１７１は、複数のイントラ予測モードの中から、対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。イントラ予測部１７１は、選択したイントラ予測モードに関する制御情報をエントロピー符号化部１３０に出力する。なお、イントラ予測モードには、Ｐｌａｎａｒ予測、ＤＣ予測、及び方向性予測がある。

【0031】

インター予測部１７２は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、予測対象のブロックを予測してインター予測画像を生成し、生成したインター予測画像を切替部１７３に出力する。インター予測部１７２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７２は、インター予測に関する制御情報（インター予測方法や動きベクトルの情報等）をエントロピー符号化部１３０に出力する。インター予測部１７２は、インター予測画像を生成するために複数の参照画像を用いる場合に、当該複数の参照画像を評価部１８０に出力する。

【0032】

なお、複数の参照画像を用いて行う予測は、インター予測における双予測が代表的なものであるが、これに限定されない。予測部１７０は、複数の参照画像を用いてイントラブロックコピーによる予測を行ってもよい。イントラブロックコピーでは、現フレームと同じフレーム内の参照画像が現フレーム内のブロックの予測に用いられる。複数の参照画像を用いてイントラブロックコピーによる予測を行う場合、予測部１７０は、当該複数の参照画像を評価部１８０に出力する。

【0033】

切替部１７３は、イントラ予測部１７１から入力されるイントラ予測画像とインター予測部１７２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

【0034】

評価部１８０は、予測部１７０から入力された複数の参照画像間の類似度を画素単位で評価することにより、当該複数の参照画像を用いて生成された予測画像における誤差の分布を示すマップ情報を生成し、生成したマップ情報を決定部１９０に出力する。評価部１８０の詳細については後述する。

【0035】

決定部１９０は、評価部１８０から入力されたマップ情報に基づいて、評価部１８０により予測精度が評価された予測画像に対応する予測残差に適用する直交変換を決定し、決定した直交変換を変換部１２１及び逆変換部１４２に出力する。第１実施形態において、決定部１９０は、マップ情報に基づいて垂直方向の直交変換及び水平方向の直交変換を生成する適応変換生成部１９１を備える。変換部１２１は、決定部１９０から入力された直交変換に従って直交変換処理を行う。逆変換部１４２は、決定部１９０から入力された直交変換に従って直交変換処理を行う。適応変換生成部１９１の詳細については後述する。

【0036】

（インター予測の一例）
図２は、インター予測の一例を示す図である。図２（ａ）はインター予測の一例としての双予測を示し、図２（ｂ）は双予測により生成される予測画像の一例を示す。

【0037】

図２（ａ）に示すように、双予測は、対象フレーム（現フレーム）に対して時間的に前及び後のフレームを参照する。図２（ａ）の例では、ｔフレーム目の画像中のブロックの予測を、ｔ－１フレーム目とｔ＋１フレーム目とを参照して行う。動き検出では、ｔ－１及びｔ＋１フレーム目の参照フレーム内から、対象画像ブロックと類似する箇所（ブロック）をシステムで設定された探索範囲の中から検出する。

【0038】

検出された箇所が参照画像である。対象画像ブロックに対する参照画像の相対位置を示す情報が図中に示す矢印であり、動きベクトルと呼ばれる。動きベクトルの情報は、画像符号化装置１において、参照画像のフレーム情報とともにエントロピー符号化によって符号化される。一方、画像復号装置は、画像符号化装置１により生成された動きベクトルの情報に基づいて参照画像を検出する。

【0039】

図２（ａ）及び図２（ｂ）に示すように、動き検出によって検出された参照画像１及び２は、対象画像ブロックに対し、参照するフレーム内で位置合わせされた類似する部分画像であるため、対象画像ブロック（符号化対象画像）に類似した画像となる。図２（ｂ）の例では、対象画像ブロックは、星の絵柄と部分的な円の絵柄とを含んでいる。参照画像１は、星の絵柄と全体的な円の絵柄とを含んでいる。参照画像２は、星の絵柄を含むが、円の絵柄を含んでいない。

【0040】

かかる参照画像１及び２から予測画像を生成する。なお、予測処理は、一般的に、特徴は異なるが部分的に類似する参照画像１及び２を平均化することによって、それぞれの参照画像の特徴を備えた予測画像を生成する。但し、より高度な処理、例えば、ローパスフ
ィルタやハイパスフィルタ等による信号強調処理を併用して予測画像を生成してもよい。ここで、参照画像１は円の絵柄を含み、参照画像２は円の絵柄を含まないため、参照画像１及び２を平均化して予測画像を生成すると、予測画像における円の絵柄は、参照画像１に比べて信号が半減する。

【0041】

参照画像１及び２から得られた予測画像と対象画像ブロック（符号化対象画像）との差分が予測残差である。図２（ｂ）に示す予測残差において、星の絵柄のエッジのずれ部分と丸の絵柄のずれた部分（斜線部）とにのみ大きな差分が生じているが、それ以外の部分については、精度よく予測が行えており、差分が少なくなる（図２（ｂ）の例では差分が生じていない）。

【0042】

差分が生じていない部分（星の絵柄の非エッジ部分及び背景部分）は、参照画像１と参照画像２との間の類似度が高い部分であって、高精度な予測が行われた部分である。一方、大きな差分が生じている部分は、各参照画像に特有な部分、すなわち、参照画像１と参照画像２との間の類似度が著しく低い部分である。よって、参照画像１と参照画像２との間の類似度が著しく低い部分は、予測の精度が低く、大きな差分（残差）を生じさせることが分かる。

【0043】

このように差分が大きい部分と差分が無い部分とが混在した予測残差を直交変換し、量子化による変換係数の劣化が生じると、かかる変換係数の劣化が逆量子化及び逆直交変換を経て画像（ブロック）内に全体的に伝搬する。そして、逆量子化及び逆直交変換によって復元された予測残差（復元予測残差）を予測画像に合成して対象画像ブロックを再構成すると、図２（ｂ）に示す星の絵柄の非エッジ部分及び背景部分のように高精度な予測が行われた部分にも画質の劣化が伝搬してしまう。

【0044】

（評価部）
図３は、評価部１８０の構成の一例を示す図である。図３に示すように、評価部１８０は、差分算出部（減算部）１８０ａと、正規化部１８０ｂと、調整部１８０ｃとを備える。

【0045】

差分算出部１８０ａは、参照画像１と参照画像２との間の差分値（差の絶対値）を画素単位で算出し、算出した差分値を正規化部１８０ｂに出力する。かかる差分値は、類似度を示す値の一例である。差分値が小さいほど類似度が高く、差分値が大きいほど類似度が低いといえる。差分算出部１８０ａは、各参照画像に対してフィルタ処理を行ったうえで差分値を算出してもよい。差分算出部１８０ａは、二乗誤差等の統計量を算出し、かかる統計量を類似度として用いてもよい。

【0046】

正規化部１８０ｂは、差分算出部１８０ａから入力された差分値を、ブロック内で最大となる差分値（すなわち、ブロック内の差分値の最大値）で正規化して出力する。かかる差分値が小さいほど類似度が高く、予測精度も高くなる。一方、差分値が大きいほど類似度が低く、予測精度も低くなる（予測誤差が大きくなる）。

【0047】

正規化部１８０ｂは、差分算出部１８０ａから入力された各画素の差分値を、ブロック内で差分値が最大となる画素の差分値（すなわち、ブロック内の差分値の最大値）で正規化し、正規化した差分値である正規化差分値を出力する。かかる正規化差分値は、予測誤差の大きさを表す推定値として用いることができる。

【0048】

調整部１８０ｃは、量子化の粗さを定める量子化パラメータ（Ｑｐ）に基づいて、正規化部１８０ｂから入力された正規化差分値を調整し、調整した正規化差分値を出力する。量子化の粗さが大きいほど復元予測残差の劣化度が高いため、調整部１８０ｃは、量子化
パラメータ（Ｑｐ）に基づいて正規化差分値（重み）を調整する。

【0049】

評価部１８０が出力する各画素位置（ｉｊ）における予測誤差の推定値Ｒｉｊは、例えば下記の式（１）のように表現することができる。

【0050】

Rij = (abs(Xij-Yij)/maxD × Scale(Qp)) ・・・（１）

【0051】

式（１）において、Ｘｉｊは参照画像１の画素ｉｊの画素値であり、Ｙｉｊは参照画像２の画素ｉｊの画素値であり、ａｂｓは絶対値を得る関数である。差分算出部１８０ａでは、ａｂｓ（Ｘｉｊ－Ｙｉｊ）を出力する。

【0052】

また、式（１）において、ｍａｘＤは、ブロック内の差分値ａｂｓ（Ｘｉｊ－Ｙｉｊ）の最大値である。ｍａｘＤを求めるために、ブロック内のすべての画素について差分値を求める必要があるが、この処理を省略するためにすでに符号化処理済みの隣接するブロックの最大値などで代用してもよい。或いは、量子化パラメータ（Ｑｐ）とｍａｘＤとの対応関係を定めるテーブルを用いて、量子化パラメータ（Ｑｐ）からｍａｘＤを求めてもよい。或いは、予め仕様で規定された固定値をｍａｘＤとして用いてもよい。正規化部１８０ｂは、ａｂｓ（Ｘｉｊ－Ｙｉｊ）／ｍａｘＤを出力する。

【0053】

また、式（１）において、Ｓｃａｌｅ（Ｑｐ）は、量子化パラメータ（Ｑｐ）に応じて乗じられる係数である。Ｓｃａｌｅ（Ｑｐ）は、Ｑｐが大きい場合に１．０に近づき、小さい場合に０に近づくように設計され、その度合いはシステムによって調整するものとする。或いは、予め仕様で規定された固定値をＳｃａｌｅ（Ｑｐ）として用いてもよい。さらに、処理を簡略化するため、Ｓｃａｌｅ（Ｑｐ）を１．０などシステムに応じて設計された固定値としてもよい。

【0054】

調整部１８０ｃは、ａｂｓ（Ｘｉｊ－Ｙｉｊ）／ｍａｘＤ×Ｓｃａｌｅ（Ｑｐ）を誤差推定値Ｒｉｊとして出力する。また、このＲｉｊは、システムに応じて設計される感度関数によって調整された重み付けを出力してもよい。例えば、ａｂｓ（Ｘｉｊ－Ｙｉｊ）／ｍａｘＤ×Ｓｃａｌｅ（Ｑｐ）＝Ｒｉｊとし、Ｒｉｊ＝Ｃｌｉｐ（Ｒｉｊ，１．０，０．０）とする、又はＲｉｊ＝Ｃｌｉｐ（Ｒｉｊ＋ｏｆｆｓｅｔ，１．０，０．０）とオフセットをつけて感度を調整してもよい。なお、Ｃｌｉｐ（ｘ，ｍａｘ，ｍｉｎ）は、ｘがｍａｘを超える場合はｍａｘで、ｘがｍｉｎを下回る場合はｍｉｎでクリップする処理を示す。

【0055】

このようにして算出された画素位置ごとの誤差推定値Ｒｉｊは、０から１．０までの範囲内の値となる。基本的には、誤差推定値Ｒｉｊは、参照画像間の画素位置ｉｊの差分値が大きい（すなわち、予測精度が低い）場合に１．０に近づき、参照画像間の画素位置ｉｊの差分値が小さい（すなわち、予測精度が高い）場合に０に近づく。評価部１８０は、ブロック内の各画素位置ｉｊの誤差推定値Ｒｉｊからなる２次元のマップ情報（以下、「誤差マップ」と称する）を出力する。

【0056】

（適応変換生成部）
図４は、第１実施形態に係る適応変換生成部１９１の動作を示す図である。適応変換生成部１９１は、評価部１８０から入力された誤差マップを用いて、予測残差に対して垂直方向に適用する垂直適応直交変換及び水平方向に適用する水平適応直交変換を主成分分析により生成する。

【0057】

具体的には、適応変換生成部１９１は、誤差マップを列ベクトルの集合とみなして共分散行列を生成し、生成した共分散行列の固有ベクトルを算出する。適応変換生成部１９１は、得られた固有ベクトルを垂直適応直交変換として出力する。また、適応変換生成部１
９１は、生成した垂直適応直交変換を垂直方向に適用して得られた行列を行ベクトルの集合とみなして共分散行列を生成し、その固有ベクトルを算出する。適応変換生成部１９１は、得られた固有ベクトルを水平適応直交変換として出力する。

【0058】

図４（ａ）に示すように、適応変換生成部１９１は、誤差マップが幅ｗ高さｈであるとき、誤差マップをｗ個のｈ×１の列ベクトルとみなして、共分散行列Λ_hを算出する。適応変換生成部１９１は、得られた共分散行列を対角化することで固有ベクトルを算出する。ここで、共分散行列の対角化には、例えばＪａｃｏｂｉ法などを用いて反復演算により算出する。適応変換生成部１９１は、得られた固有ベクトルｅ₀からｅ_h変換の結合によりｈ×ｈの行列を垂直適応直交変換として出力する。

【0059】

さらに、図４（ｂ）に示すように、適応変換生成部１９１は、誤差マップをｈ個の１×ｗの行ベクトルとみなして、共分散行列Λ_hを算出する。適応変換生成部１９１は、得られた共分散行列を対角化することで固有ベクトルを算出する。適応変換生成部１９１は、得られた固有ベクトルの結合によりｗ×ｗの行列を水平適応直交変換として出力する。

【0060】

ＨＥＶＣ（非特許文献１参照）や、国際標準化団体で検討中の最新の映像符号化技術（ＪＥＭ）などの映像符号化手法では、変換処理を高速かつ軽量に行う目的で、整数精度の変換係数及びビットシフトにより実現している。本実施形態に係る適応変換生成部１９１においても、得られた固有ベクトルを整数係数に近似し、変換係数のダイナミックレンジが拡大しないようなビットシフト量を予め画像符号化装置及び画像復号装置で規定してもよい。

【0061】

なお、図１に示すように、変換部１２１は、適応変換生成部１９１から入力された垂直適応直交変換及び水平適応直交変換を用いて、減算部１１０により生成された予測残差に対し垂直及び水平方向に直交変換処理を行うことにより変換係数を算出し、算出した変換係数を量子化部１２２に出力する。

【0062】

また、逆変換部１４２は、適応変換生成部１９１から入力された垂直適応直交変換及び水平適応直交変換を用いて、逆量子化部１４１から入力された変換係数に対して、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。

【0063】

（画像復号装置）
図５は、第１実施形態に係る画像復号装置２の構成を示す図である。図５に示すように、画像復号装置２は、エントロピー符号復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０と、評価部２５０と、決定部２６０とを備える。

【0064】

エントロピー符号復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化された変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー符号復号部２００は、予測（イントラ予測及びインター予測）に関する制御情報を取得し、取得した制御情報を予測部２４０に出力する。

【0065】

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを備える。

【0066】

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー符号復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

【0067】

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0068】

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２４０から入力された予測画像とを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の復号画像をメモリ２３０に出力する。

【0069】

メモリ２３０は、合成部２２０から入力された復号画像を記憶する。メモリ２３０は、復号画像をフレーム単位で記憶する。メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

【0070】

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、イントラ予測部２４１と、インター予測部２４２と、切替部２４３とを備える。

【0071】

イントラ予測部２４１は、メモリ２３０に記憶された復号画像を参照し、エントロピー符号復号部２００から入力された制御情報に従ってイントラ予測を行うことによりイントラ予測画像を生成し、生成したイントラ予測画像を切替部２４３に出力する。

【0072】

インター予測部２４２は、メモリ２３０に記憶された復号画像を参照画像として用いて予測対象のブロックを予測するインター予測を行う。インター予測部２４２は、エントロピー符号復号部２００から入力された制御情報（インター予測方法や動きベクトル情報等）に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を切替部２４３に出力する。インター予測部２４２は、インター予測画像を生成するために複数の参照画像を用いる場合に、当該複数の参照画像を評価部２５０に出力する。

【0073】

なお、複数の参照画像を用いて行う予測は、インター予測における双予測が代表的なものであるが、これに限定されない。予測部２４０は、複数の参照画像を用いてイントラブロックコピーによる予測を行ってもよい。複数の参照画像を用いてイントラブロックコピーによる予測を行う場合、予測部２４０は、当該複数の参照画像を評価部２５０に出力する。

【0074】

切替部２４３は、イントラ予測部２４１から入力されるイントラ予測画像とインター予測部２４２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

【0075】

評価部２５０は、画像符号化装置１の評価部１８０（図３参照）と同様な動作を行う。評価部２５０は、予測部２４０から入力された複数の参照画像間の類似度を画素単位で評価することにより、当該複数の参照画像を用いて生成された予測画像における誤差の分布を示す誤差マップを生成し、生成した誤差マップを決定部２６０に出力する。

【0076】

決定部２６０は、評価部２５０から入力された誤差マップに基づいて、評価部２５０により予測精度が評価された予測画像に対応する予測残差に適用する逆直交変換を決定し、決定した逆直交変換を逆変換部２１２に出力する。決定部２６０は、誤差マップに基づいて垂直方向の直交変換及び水平方向の直交変換を生成する適応変換生成部２６１を備える。適応変換生成部２６１は、画像符号化装置１の適応変換生成部１９１と同様な動作（図
４参照）を行う。逆変換部２１２は、決定部２６０から入力された逆直交変換に従って逆直交変換処理を行う。

【0077】

（第１実施形態のまとめ）
第１実施形態に係る画像符号化装置１は、フレーム単位の現画像を分割して得られたブロック単位の対象画像を符号化する。画像符号化装置１は、複数の参照画像を用いて対象画像を予測して予測画像を生成する予測部１７０と、当該複数の参照画像間の類似度を画素単位で評価することにより、予測画像における誤差の分布を示す誤差マップを生成する評価部１８０と、対象ブロックと予測画像との差分を示す予測残差を画素単位で算出する減算部１１０と、予測残差に適用する直交変換を誤差マップに基づいて決定する決定部１９０と、決定された直交変換によって予測残差に対する直交変換処理を行う変換部１２１とを備える。決定部１９０は、マップ情報に基づいて直交変換を生成する適応変換生成部１９１を備える。

【0078】

また、第１実施形態に係る画像復号装置２は、フレーム単位の現画像を分割して得られたブロック単位の対象画像を復号する。画像復号装置２は、符号化データを復号することにより変換係数を取得するエントロピー符号復号部２００と、複数の参照画像を用いて対象画像を予測して予測画像を生成する予測部２４０と、当該複数の参照画像間の類似度を画素単位で評価することにより、予測画像における誤差の分布を示す誤差マップを生成する評価部２５０と、変換係数に適用する逆直交変換を誤差マップに基づいて決定する決定部２６０と、決定された逆直交変換によって変換係数に対する逆直交変換処理を行う逆変換部２１２とを備える。決定部２６０は、マップ情報に基づいて逆直交変換を生成する適応変換生成部２６１を備える。

【0079】

このように、第１実施形態によれば、予測画像における誤差の分布を示す誤差マップに基づいて直交変換を生成することにより、予測残差におけるエネルギー分布に応じた最適な直交変換を適用することができる。

【0080】

また、画像符号化装置１及び画像復号装置２のそれぞれが誤差マップに基づいて直交変換を生成可能であるため、画像符号化装置１で行った直交変換（ＫＬＴ）の逆処理のための情報を画像復号装置２側で必要としない。よって、伝送すべき情報量の増大を抑制できる。

【0081】

したがって、第１実施形態に係る画像符号化装置１及び画像復号装置２によれば、予測残差のエネルギーを効率的に集中させる適応直交変換を適用可能にし、符号化効率を改善できる。

【0082】

＜第２実施形態＞
第２実施形態に係る画像符号化装置１及び画像復号装置２について、第１実施形態との相違点を主として説明する。

【0083】

（画像符号化装置）
図６は、第２実施形態に係る画像符号化装置１の構成を示す図である。図６に示すように、第２実施形態に係る画像符号化装置１は、決定部１９０の構成が第１実施形態とは異なる。決定部１９０は、第１実施形態と同様に、誤差マップの主成分分析（図４参照）により直交変換を生成する適応変換生成部１９１を備える。第２実施形態において、決定部１９０は、候補選択部（第１選択部）１９２と、直交変換選択部（第２選択部）１９３とをさらに備える。

【0084】

適応変換生成部１９１は、誤差マップに基づいて生成した適応直交変換（垂直適応直交
変換及び水平適応直交変換）を候補選択部１９２に出力する。

【0085】

候補選択部１９２は、予め規定された複数種類の直交変換の中から、適応変換生成部１９１から入力された適応直交変換との相関が高い順に１つ以上の直交変換候補を選択し、選択した１つ以上の直交変換候補を直交変換選択部２６３に出力する。予め規定された複数種類の直交変換は、画像符号化装置１及び画像復号装置２で共有されている。第２実施形態において、複数種類の直交変換として、ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、及びＤＣＴ－５が予め規定されているものとする。

【0086】

具体的には、候補選択部１９２は、適応変換生成部１９１から入力された水平適応直交変換と各直交変換（ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、ＤＣＴ－５）との相関を評価する。そして、候補選択部１９２は、相関評価の結果に基づいて、複数種類の直交変換のうち、相関の高い順に１つ以上の直交変換を適応直交変換候補として直交変換選択部１９３に出力する。

【0087】

なお、候補選択部１９２が出力する適応直交変換候補の数は、画像符号化装置１及び画像復号装置２で同じ数とするように予め規定される。また、候補選択部１９２が出力する適応直交変換候補の数は、符号化対象の画像ブロックのブロックサイズや色成分（輝度成分、色差成分）などに応じて可変としてもよい。

【0088】

さらに、候補選択部１９２は、水平方向と垂直方向とで適応直交変換候補を別々に選択してもよい。かかる場合、候補選択部１９２は、適応変換生成部１９１から入力された垂直適応直交変換と各直交変換（ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、ＤＣＴ－５）との相関をさらに評価し、適応水平直交変換候補に加えて適応垂直直交変換候補を直交変換選択部１９３に出力する。

【0089】

直交変換選択部１９３は、候補選択部１９２から入力された１つ以上の直交変換候補の中から、予測残差に適用する直交変換を選択し、選択した直交変換を変換部１２１及び逆変換部１４２に出力する。また、直交変換選択部１９３は、選択した直交変換の種類を示すインデックスをエントロピー符号化部１３０に出力する。

【0090】

例えば、直交変換選択部１９３は、各直交変換候補を適用した場合の符号化効率をシミュレーションにより算出し、かかるシミュレーションの結果に応じて最適な直交変換を選択する。なお、直交変換選択部１９３は、水平方向及び垂直方向で同一種類の直交変換を選択するよう構成してもよいし、水平方向及び垂直方向で別々の種類の直交変換を選択するよう構成してもよい。

【0091】

エントロピー符号化部１３０は、直交変換選択部１９３から入力された適応直交変換インデックスをエントロピー符号化する。水平方向及び垂直方向で別々の種類の直交変換を選択する場合には、エントロピー符号化部１３０は、水平方向及び垂直方向で別々の適応直交変換インデックスをエントロピー符号化する。但し、適応直交変換候補が１種類の直交変換により構成されている場合には、画像復号装置２において一意に直交変換を特定できるため、かかるインデックスをエントロピー符号化しなくてもよい。

【0092】

（画像復号装置）
図７は、第２実施形態に係る画像復号装置２の構成を示す図である。図７に示すように、第２実施形態に係る画像復号装置２は、決定部２６０の構成が第１実施形態とは異なる。決定部２６０は、第１実施形態と同様に、誤差マップの主成分分析（図４参照）により直交変換を生成する適応変換生成部２６１を備える。第２実施形態において、決定部２６０は、候補選択部（第１選択部）２６２と、直交変換選択部（第２選択部）２６３とをさらに備える。

【0093】

適応変換生成部２６１は、誤差マップに基づいて生成した適応直交変換（垂直適応直交変換及び水平適応直交変換）を候補選択部２６２に出力する。

【0094】

候補選択部２６２は、予め規定された複数種類の直交変換の中から、適応変換生成部２６１から入力された適応直交変換との相関が高い順に１つ以上の直交変換候補を選択し、選択した１つ以上の直交変換候補を直交変換選択部２６３に出力する。上述したように、複数種類の直交変換として、ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、及びＤＣＴ－５が予め規定されているものとする。

【0095】

具体的には、候補選択部２６２は、適応変換生成部２６１から入力された水平適応直交変換と各直交変換（ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、ＤＣＴ－５）との相関を評価する。そして、候補選択部２６２は、相関評価の結果に基づいて、複数種類の直交変換のうち、相関の高い順に１つ以上の直交変換を適応直交変換候補として直交変換選択部２６３に出力する。

【0096】

上述したように、候補選択部２６２が出力する適応直交変換候補の数は、画像符号化装置１及び画像復号装置２で同じ数とするように予め規定される。また、候補選択部２６２が出力する適応直交変換候補の数は、復号対象の画像ブロックのブロックサイズや色成分（輝度成分、色差成分）などに応じて可変としてもよい。

【0097】

さらに、候補選択部２６２は、水平方向と垂直方向とで適応直交変換候補を別々に選択してもよい。かかる場合、候補選択部２６２は、適応変換生成部２６１から入力された垂直適応直交変換と各直交変換（ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、ＤＣＴ－５）との相関をさらに評価し、適応水平直交変換候補に加えて適応垂直直交変換候補を直交変換選択部２６３に出力する。

【0098】

一方、エントロピー符号復号部２００は、１つ以上の直交変換候補の中から画像符号化装置１が選択した直交変換を示すインデックスを復号し、当該インデックスを直交変換選択部２６３に出力する。水平方向及び垂直方向で別々の種類の直交変換を選択する場合には、エントロピー符号復号部２００は、水平方向及び垂直方向で別々の適応直交変換インデックスを復号する。

【0099】

直交変換選択部２６３は、エントロピー符号復号部２００から入力されたインデックスに基づいて、候補選択部２６２から入力された１つ以上の直交変換候補の中から変換係数に適用する逆直交変換を選択し、選択した逆直交変換を逆変換部２１２に出力する。なお、直交変換選択部２６３は、水平方向及び垂直方向で同一種類の直交変換を選択するよう構成してもよいし、水平方向及び垂直方向で別々の種類の直交変換を選択するよう構成してもよい。

【0100】

（第２実施形態のまとめ）
第２実施形態に係る画像符号化装置１において、決定部１９０は、誤差マップの主成分分析により直交変換を生成する適応変換生成部１９１と、予め規定された複数種類の直交変換の中から、生成された直交変換との相関が高い順に１つ以上の直交変換候補を選択する候補選択部１９２と、１つ以上の直交変換候補の中から予測残差に適用する直交変換を選択する直交変換選択部１９３とを備える。エントロピー符号化部１３０は、１つ以上の直交変換候補の中から直交変換選択部１９３が選択した直交変換を示すインデックスを符号化する。

【0101】

また、第２実施形態に係る画像復号装置２において、決定部２６０は、誤差マップの主成分分析により直交変換を生成する適応変換生成部２６１と、予め規定された複数種類の直交変換の中から、生成された直交変換との相関が高い順に１つ以上の直交変換候補を選択する候補選択部２６２と、１つ以上の直交変換候補の中から変換係数に適用する逆直交変換を選択する直交変換選択部２６３とを備える。エントロピー符号復号部２００は、１つ以上の直交変換候補の中から画像符号化装置１が選択した直交変換を示すインデックスを復号する。直交変換選択部２６３は、当該インデックスに基づいて、１つ以上の直交変換候補の中から変換係数に適用する逆直交変換を選択する。

【0102】

このように、第２実施形態によれば、予め規定された複数種類の直交変換の中から、誤差マップの主成分分析により生成された直交変換（ＫＬＴ）と相関の高い直交変換候補を選択し、当該直交変換候補の中から変換処理に適用する直交変換を選択する。予め規定された複数種類の直交変換（ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、ＤＣＴ－５）は、ＫＬＴに比べて演算処理量が少ない。

【0103】

したがって、第２実施形態によれば、予測残差のエネルギーを効率的に集中させる直交変換を適用可能にして符号化効率を改善しつつ、第１実施形態に比べて変換処理の演算処理量を削減できる。

【0104】

＜第３実施形態＞
第３実施形態に係る画像符号化装置１及び画像復号装置２について、第１実施形態及び第２実施形態との相違点を主として説明する。

【0105】

上述した第２実施形態では、予め規定された複数種類の直交変換の中から、誤差マップの主成分分析により生成された直交変換（ＫＬＴ）と相関の高い直交変換候補を選択していた。これに対し、第３実施形態では、予め規定された複数種類の直交変換の中から、誤差マップの特徴量評価によって直交変換候補を選択する。

【0106】

（画像符号化装置）
図８は、第３実施形態に係る画像符号化装置１の構成を示す図である。図８に示すように、第３実施形態に係る画像符号化装置１は、決定部１９０が特徴量評価部１９１ａを備える点で第２実施形態とは異なる。特徴量評価部１９１ａは、評価部１８０から入力された誤差マップの特徴量を評価し、評価結果を候補選択部１９２に出力する。

【0107】

図９は、特徴量評価部１９１ａの動作を示す図である。図９に示すように、特徴量評価部１９１ａは、誤差マップのエネルギー分布を評価するために、誤差マップを水平方向に４分割するとともに垂直方向に４分割し、分割された各領域について誤差推定値の合計値Ｅｘｙ（Ｅ₀₀乃至Ｅ₃₃）を算出する。特徴量評価部１９１ａは、評価したエネルギー分布Ｅ₀₀乃至Ｅ₃₃を候補選択部１９２に出力する。

【0108】

候補選択部１９２は、下記の条件に基づいて、予め規定された複数種類の直交変換（ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、ＤＣＴ－５）の中から適応直交変換候補を選択し、選択した適応直交変換候補を直交変換選択部１９３に出力する。

【0109】

（ａ）候補選択部１９２は、水平方向について：

【0110】

【数1】

【0111】

のとき、ＤＣＴ－２及びＤＳＴ－１を水平適応直交変換候補として選択し、

【0112】

【数2】

【0113】

のとき、ＤＣＴ－２及びＤＳＴ－７を水平適応直交変換候補として選択し、

【0114】

【数3】

【0115】

のとき、ＤＣＴ－２及びＤＣＴ－５を水平適応直交変換候補として選択し、
いずれも当てはまらないとき、ＤＣＴ－８及びＤＳＴ－７を水平適応直交変換候補として選択する。

【0116】

（ｂ）候補選択部１９２は、垂直方向について：

【0117】

【数4】

【0118】

のとき、ＤＣＴ－２及びＤＳＴ－１を垂直適応直交変換候補として選択し、

【0119】

【数5】

【0120】

のとき、ＤＣＴ－２及びＤＳＴ－７を垂直適応直交変換候補として選択し、

【0121】

【数6】

【0122】

のとき、ＤＣＴ－２及びＤＣＴ－５を垂直適応直交変換候補として選択し、
いずれも当てはまらないとき、ＤＣＴ－８及びＤＳＴ－７を垂直適応直交変換候補として選択する。

【0123】

ここでは、候補選択部１９２が出力する適応直交変換候補の数は、水平方向及び垂直方向のそれぞれで２つであるが、候補選択部１９２が出力する適応直交変換候補の数は、符号化対象の画像ブロックのブロックサイズや色成分（輝度成分、色差成分）などに応じて可変としてもよい。

【0124】

直交変換選択部１９３は、第２実施形態と同様に、候補選択部１９２から入力された直交変換候補の中から、予測残差に適用する直交変換を選択し、選択した直交変換を変換部１２１及び逆変換部１４２に出力する。また、直交変換選択部１９３は、選択した直交変換の種類を示すインデックスをエントロピー符号化部１３０に出力する。エントロピー符号化部１３０は、直交変換選択部１９３から入力された適応直交変換インデックスをエントロピー符号化する。

【0125】

（画像復号装置）
図１０は、第３実施形態に係る画像復号装置２の構成を示す図である。図１０に示すように、第３実施形態に係る画像復号装置２は、決定部２６０が特徴量評価部２６１ａを備える点で第２実施形態とは異なる。特徴量評価部２６１ａは、画像符号化装置１の特徴量評価部１９１ａと同様な動作を行う（図９参照）。

【0126】

特徴量評価部２６１ａは、誤差マップのエネルギー分布を評価するために、誤差マップを水平方向に４分割するとともに垂直方向に４分割し、分割された各領域について誤差推定値の合計値Ｅｘｙ（Ｅ₀₀乃至Ｅ₃₃）を算出する。特徴量評価部２６１ａは、評価したエネルギー分布Ｅ₀₀乃至Ｅ₃₃を候補選択部２６２に出力する。

【0127】

候補選択部２６２は、画像符号化装置１の候補選択部１９２と同様な条件に基づいて、予め規定された複数種類の直交変換（ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、ＤＣＴ－５）の中から適応直交変換候補を選択し、選択した適応直交変換候補を直交変換選択部２６３に出力する。

【0128】

一方、エントロピー符号復号部２００は、直交変換候補の中から画像符号化装置１が選択した直交変換を示すインデックスを復号し、当該インデックスを直交変換選択部２６３に出力する。直交変換選択部２６３は、エントロピー符号復号部２００から入力されたインデックスに基づいて、候補選択部２６２から入力された直交変換候補の中から変換係数に適用する逆直交変換を選択し、選択した逆直交変換を逆変換部２１２に出力する。

【0129】

（第３実施形態のまとめ）
第３実施形態に係る画像符号化装置１において、決定部１９０は、誤差マップの特徴量を評価する特徴量評価部１９１ａと、評価された特徴量に基づいて、予め規定された複数種類の直交変換の中から１つ以上の直交変換候補を選択する候補選択部１９２と、１つ以上の直交変換候補の中から予測残差に適用する直交変換を選択する直交変換選択部１９３とを備える。エントロピー符号化部１３０は、１つ以上の直交変換候補の中から直交変換選択部１９３が選択した直交変換を示すインデックスを符号化する。

【0130】

また、第３実施形態に係る画像復号装置２において、決定部２６０は、誤差マップの特徴量を評価する特徴量評価部２６１ａと、評価された特徴量に基づいて、予め規定された複数種類の直交変換の中から１つ以上の直交変換候補を選択する候補選択部２６２と、１つ以上の直交変換候補の中から変換係数に適用する逆直交変換を選択する直交変換選択部２６３とを備える。エントロピー符号復号部２００は、１つ以上の直交変換候補の中から画像符号化装置１が選択した直交変換を示すインデックスを復号する。直交変換選択部２６３は、当該インデックスに基づいて、１つ以上の直交変換候補の中から変換係数に適用する逆直交変換を選択する。

【0131】

このように、第３実施形態によれば、誤差マップの特徴量をシンプルな演算処理により評価できるため、誤差マップの主成分分析により直交変換（ＫＬＴ）を生成する第２実施形態に比べて演算処理量を削減できる。

【0132】

したがって、第３実施形態によれば、予測残差のエネルギーを効率的に集中させる直交変換を適用可能にして符号化効率を改善しつつ、第２実施形態に比べて誤差マップの分析のための演算処理量を削減できる。

【0133】

＜その他の実施形態＞
上述した第１乃至第３実施形態において、一次元の直交変換を用いて垂直方向及び垂直方向で別々に変換処理を行う一例について説明した。しかしながら、一次元の直交変換に代えて二次元の直交変換を用いて垂直方向及び垂直方向の変換処理をまとめて行ってもよい。

【0134】

また、画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムにより提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0135】

また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

【0136】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0137】

１ ：画像符号化装置
２ ：画像復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：イントラ予測部
１７２ ：インター予測部
１７３ ：切替部
１８０ ：評価部
１８０ａ ：差分算出部
１８０ｂ ：正規化部
１８０ｃ ：調整部
１９０ ：決定部
１９１ ：適応変換生成部
１９１ａ ：特徴量評価部
１９２ ：候補選択部
１９３ ：直交変換選択部
２００ ：エントロピー符号復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：イントラ予測部
２４２ ：インター予測部
２４３ ：切替部
２５０ ：評価部
２６０ ：決定部
２６１ ：適応変換生成部
２６１ａ ：特徴量評価部
２６２ ：候補選択部
２６３ ：直交変換選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】