特許 6033725 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6033725

(24)【登録日】2016年11月4日

(45)【発行日】2016年11月30日

(54)【発明の名称】動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

(51)【国際特許分類】

   H04N 19/12 20140101AFI20161121BHJP

   H04N 19/136 20140101ALI20161121BHJP

   H04N 19/176 20140101ALI20161121BHJP

【ＦＩ】

   H04N19/12

   H04N19/136

   H04N19/176

【請求項の数】12

【全頁数】23

(21)【出願番号】特願2013-70235(P2013-70235)

(22)【出願日】2013年3月28日

(65)【公開番号】特開2014-195145(P2014-195145A)

(43)【公開日】2014年10月9日

【審査請求日】2015年8月28日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100122426

【弁理士】

【氏名又は名称】加藤 清志

(72)【発明者】

【氏名】河村 圭

(72)【発明者】

【氏名】内藤 整

【審査官】 岩井 健二

(56)【参考文献】

【文献】 国際公開第２００９／００１８６４（ＷＯ，Ａ１）

【文献】 Kei Kawamura et al.，AHG7: Adaptive colour-space transformation of residual signals，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，11th Meeting: Shanghai, CN，２０１２年１０月，JCTVC-K0193_r1，pp.1-5

【文献】 Kei Kawamura et al.，AHG7: In-loop color-space transformation of residual signals for range extensions，12th Meeting: Geneva, CH，Joint Collaborative Team on Video Coding (JCT-VC)，２０１３年 １月，JCTVC-L0371，pp.1-4

【文献】 加藤晴久 他，H.264/MPEG-4 AVCの符号情報に基づく適応的色空間変換方式，映像情報メディア学会，一般社団法人映像情報メディア学会，２０１２年，Vol.66 ,No.9，pp.J310 - J317

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置であって、
符号化済みの画素を用いて変換行列を導出する変換行列導出手段と、
前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する色空間変換手段と、
前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する量子化手段と、
を備え、
前記変換行列導出手段は、
固定小数点で逆平方根の計算を行う逆平方根計算手段と、
固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、
を備えるとともに、
前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、
前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像符号化装置。

【請求項2】

前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、
前記色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記無相関空間における残差信号を生成し、その後、当該無相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする請求項１に記載の動画像符号化装置。

【請求項3】

前記変換行列導出手段は、
前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、
前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、
前記参照画素を用いて前記変換行列を導出することを特徴とする請求項１または２に記載の動画像符号化装置。

【請求項4】

前記変換行列導出手段は、
前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、
前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を２のべき乗にすることを特徴とする請求項３に記載の動画像符号化装置。

【請求項5】

フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置であって、
符号化済みの画素を用いて変換行列を導出する変換行列導出手段と、
符号化された信号を復号する復号手段と、
前記復号手段により復号された信号を逆量子化して残差信号を生成する逆量子化手段と、
前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する逆色空間変換手段と、を備え、
前記変換行列導出手段は、
固定小数点で逆平方根の計算を行う逆平方根計算手段と、
固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えるとともに、
前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、
前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像復号装置。

【請求項6】

前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、
前記逆色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記相関空間における残差信号を生成し、その後、当該相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする請求項５に記載の動画像復号装置。

【請求項7】

前記変換行列導出手段は、
前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、
前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、
前記参照画素を用いて前記変換行列を導出することを特徴とする請求項５または６に記載の動画像復号装置。

【請求項8】

前記変換行列導出手段は、
前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、
前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を２のべき乗にすることを特徴とする請求項７に記載の動画像復号装置。

【請求項9】

変換行列導出手段、色空間変換手段、量子化手段、および符号化手段を備え、前記変換行列導出手段が、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段とを備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法であって、
前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、
前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第２のステップと、
前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第３のステップと、
前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第４のステップと、を備え、
前記第１のステップにおいて、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像符号化方法。

【請求項10】

変換行列導出手段、復号手段、逆量子化手段、および逆色空間変換手段を備え、前記変換行列導出手段が、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段とを備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法であって、
前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、
前記復号手段が、符号化された信号を復号する第２のステップと、
前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第３のステップと、
前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第４のステップと、を備え、
前記第１のステップにおいて、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像復号方法。

【請求項11】

変換行列導出手段、色空間変換手段、量子化手段、および符号化手段を備え、前記変換行列導出手段が、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段とを備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、
前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第２のステップと、
前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第３のステップと、
前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第４のステップと、を備え、
前記第１のステップにおいて、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とするプログラム。

【請求項12】

変換行列導出手段、復号手段、逆量子化手段、および逆色空間変換手段を備え、前記変換行列導出手段が、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段とを備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、
前記復号手段が、符号化された信号を復号する第２のステップと、
前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第３のステップと、
前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第４のステップと、を備え、
前記第１のステップにおいて、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。

【背景技術】

【0002】

イントラ予測（フレーム内予測）やインター予測（フレーム間予測）と、残差変換と、を用いた動画像符号化方式が提案されている（例えば、非特許文献１、２参照）。

【0003】

［動画像符号化装置ＭＭの構成および動作］
図６は、上述の動画像符号化方式を利用して動画像を符号化する、従来例に係る動画像符号化装置ＭＭのブロック図である。動画像符号化装置ＭＭは、インター予測部１０、イントラ予測部２０、変換・量子化部３０、エントロピー符号化部４０、逆量子化・逆変換部５０、インループフィルタ部６０、第１のバッファ部７０、および第２のバッファ部８０を備える。

【0004】

インター予測部１０は、入力画像ａと、第１のバッファ部７０から供給される後述のローカルデコード画像ｇと、を入力とする。このインター予測部１０は、入力された画像を用いてインター予測を行ってインター予測画像ｂを生成し、出力する。

【0005】

イントラ予測部２０は、入力画像ａと、第２のバッファ部８０から供給される後述のローカル復号画像ｆと、を入力とする。このイントラ予測部２０は、入力された画像を用いてイントラ予測を行ってイントラ予測画像ｃを生成し、出力する。

【0006】

変換・量子化部３０は、入力画像ａと、インター予測画像ｂまたはイントラ予測画像ｃと、の誤差（残差）信号を入力とする。この変換・量子化部３０は、入力された残差信号を変換および量子化して量子化係数ｄを生成し、出力する。

【0007】

エントロピー符号化部４０は、量子化係数ｄと、図示しないサイド情報と、を入力とする。このエントロピー符号化部４０は、入力された信号をエントロピー符号化し、ビットストリームｚとして出力する。

【0008】

逆量子化・逆変換部５０は、量子化係数ｄを入力とする。この逆量子化・逆変換部５０は、量子化係数ｄを逆量子化および逆変換して、逆変換された残差信号ｅを生成し、出力する。

【0009】

第２のバッファ部８０は、ローカル復号画像ｆを蓄積し、適宜、イントラ予測部２０およびインループフィルタ部６０に供給する。ローカル復号画像ｆとは、インター予測画像ｂまたはイントラ予測画像ｃと、逆変換された残差信号ｅと、を合算した信号のことである。

【0010】

インループフィルタ部６０は、ローカル復号画像ｆを入力とする。このインループフィルタ部６０は、ローカル復号画像ｆに対してデブロックフィルタといったフィルタを適用して、ローカルデコード画像ｇを生成し、出力する。

【0011】

第１のバッファ部７０は、ローカルデコード画像ｇを蓄積し、適宜、インター予測部１０に供給する。

【0012】

［動画像復号装置ＮＮの構成および動作］
図７は、動画像符号化装置ＭＭにより生成されたビットストリームｚから動画像を復号する、従来例に係る動画像復号装置ＮＮのブロック図である。動画像復号装置ＮＮは、エントロピー復号部６１０、逆変換・逆量子化部６２０、インター予測部６３０、イントラ予測部６４０、インループフィルタ部６５０、第１のバッファ部６６０、および第２のバッファ部６７０を備える。

【0013】

エントロピー復号部６１０は、ビットストリームｚを入力とする。このエントロピー復号部６１０は、ビットストリームｚについてエントロピー復号して、量子化係数Ｂを生成し、出力する。

【0014】

逆変換・逆量子化部６２０、インター予測部６３０、イントラ予測部６４０、インループフィルタ部６５０、第１のバッファ部６６０、および第２のバッファ部６７０は、それぞれ、図６に示した逆量子化・逆変換部５０、インター予測部１０、イントラ予測部２０、インループフィルタ部６０、第１のバッファ部７０、および第２のバッファ部８０と同様に動作する。

【0015】

動画像符号化装置ＭＭや動画像復号装置ＮＮは、イントラ予測や変換および量子化により、空間的な冗長性を削減し、インター予測により、時間的な冗長性を削減することができる。しかし、動画像符号化装置ＭＭや動画像復号装置ＮＮは、色成分ごとに独立して信号処理を行うため、色空間の相関性を十分には削減できず、冗長性を十分には削減できない場合がある。

【0016】

ここで、ＲＧＢ色空間は、色成分間の相関性が非常に高いのに対して、ＹＵＶ色空間やＹＣｂＣｒ色空間は、色成分間の相関性が低い。このため、ＹＵＶ色空間やＹＣｂＣｒ色空間の画像が、動画像符号化装置の入力画像として用いられることが多い。

【0017】

また、色空間の冗長性を削減する方式が提案されている（例えば、非特許文献３参照）。この方式には、色空間の変換をブロック単位で行うという特徴と、色空間の変換行列を符号化済みの参照画素から特異値分解アルゴリズムを用いて導出するという特徴と、色空間の変換後の色空間でイントラ予測やインター予測を行うという特徴と、がある。

【0018】

［動画像符号化装置ＰＰの構成および動作］
図８は、上述の色空間の冗長性を削減する方式を適用した、従来例に係る動画像符号化装置ＰＰのブロック図である。動画像符号化装置ＰＰは、図６に示した従来例に係る動画像符号化装置ＭＭとは、変換行列導出部９０、第１の色空間変換部１００、第２の色空間変換部１１０、第３の色空間変換部１２０、および逆色空間変換部１３０を備える。なお、動画像符号化装置ＰＰにおいて、動画像符号化装置ＭＭと同一構成要件については、同一符号を付し、その説明を省略する。

【0019】

変換行列導出部９０は、ローカルデコード画像ｇまたはローカル復号画像ｆを入力とする。この変換行列導出部９０は、入力された画像から参照画素を特定して色空間の変換行列ｈを導出し、出力する。

【0020】

第１の色空間変換部１００は、入力画像ａと、変換行列ｈと、を入力とする。この第１の色空間変換部１００は、入力画像ａに変換行列ｈを適用して色空間変換を行って、無相関空間における入力画像を生成し、出力する。

【0021】

第２の色空間変換部１１０は、ローカルデコード画像ｇと、変換行列ｈと、を入力とする。この第２の色空間変換部１１０は、ローカルデコード画像ｇに変換行列ｈを適用して色空間変換を行って、無相関空間におけるローカルデコード画像を生成し、出力する。

【0022】

第３の色空間変換部１２０は、ローカル復号画像ｆと、変換行列ｈと、を入力とする。この第３の色空間変換部１２０は、ローカル復号画像ｆに変換行列ｈを適用して色空間変換を行って、無相関空間におけるローカル復号画像を生成し、出力する。

【0023】

逆色空間変換部１３０は、インター予測画像ｂまたはイントラ予測画像ｃと逆変換された残差信号ｅとを合算した合算信号と、変換行列ｈと、を入力とする。この逆色空間変換部１３０は、上述の合算信号に変換行列ｈを適用して逆色空間変換を行って、ローカル復号画像ｆを生成し、出力する。

【0024】

［動画像復号装置ＱＱの構成および動作］
図９は、動画像符号化装置ＰＰにより生成されたビットストリームｚから動画像を復号する、従来例に係る動画像復号装置ＱＱのブロック図である。動画像復号装置ＱＱは、図７に示した従来例に係る動画像復号装置ＮＮとは、変換行列導出部６８０、第１の色空間変換部６９０、第２の色空間変換部７００、および逆色空間変換部７１０を備える点が異なる。なお、動画像復号装置ＱＱにおいて、動画像復号装置ＮＮと同一構成要件については、同一符号を付し、その説明を省略する。

【0025】

変換行列導出部６８０、第１の色空間変換部６９０、第２の色空間変換部７００、および逆色空間変換部７１０は、それぞれ、図８に示した変換行列導出部９０、第２の色空間変換部１１０、第３の色空間変換部１２０、および逆色空間変換部１３０と同様に動作する。

【0026】

また、非特許文献４にも、非特許文献３と同様に色空間を変換する方式が示されている。この方式には、予測残差に色空間変換を適用する特徴があり、この方式によれば、非特許文献３に示されている方式と比べて色空間変換の回数を少なくすることができる。

【先行技術文献】

【非特許文献】

【0027】

【非特許文献1】ISO/IEC 14496-10 - MPEG-4 Part 10, Advanced Video Coding.

【非特許文献2】JCTVC-L1003, High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Consent)

【非特許文献3】加藤ら、H.264/MPEG-4 AVCの符号情報に基づく適応的色空間変換方式

【非特許文献4】JCTVC-L0371, AHG7: In-loop color-space transformation of residual signals for range extensions

【非特許文献5】William H. Press、 William T. Vetterling、 Saul A. Teukolsky、 Brian P. Flannery共著、「ニューメリカルレシピ・イン・シー 日本語版−Ｃ言語による数値計算のレシピ」、初版、技術評論社、１９９３年６月、p.３４５−３５１

【非特許文献6】CUTE CODE、［online］、［平成２５年３月１２日検索］、インターネット<URL:http://matthewarcus.wordpress.com/2012/11/19/134/>

【発明の概要】

【発明が解決しようとする課題】

【0028】

上述のような従来の色空間変換を伴う動画像符号化装置や動画像復号装置は、色空間の変換後の色空間で、符号化処理や復号処理を行う。このため、色空間変換を適用する画素数が多くなってしまい、処理負荷を軽減できないという課題があった。

【0029】

そこで、本発明は、上述の課題を鑑みてなされたものであり、処理負荷を軽減しつつ色空間の冗長性を削減することを目的とする。

【課題を解決するための手段】

【0030】

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置であって、符号化済みの画素を用いて変換行列を導出する変換行列導出手段（例えば、図１の変換行列導出部９０Ａに相当）と、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する色空間変換手段（例えば、図１の色空間変換部１００Ａに相当）と、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する量子化手段（例えば、図１の変換・量子化部３０に相当）と、前記量子化手段により生成された量子化係数を符号化する符号化手段（例えば、図１のエントロピー符号化部４０に相当）と、を備えることを特徴とする動画像符号化装置を提案している。

【0031】

ここで、残差信号には、色成分間の相関性が残っている。そこで、この発明によれば、残差信号に対して変換行列を適用して、色空間変換を行うこととした。このため、残差信号に含まれる色成分間の相関性を減らすことができ、色空間の冗長性を削減することができる。

【0032】

また、この発明によれば、上述のように、残差信号に対して変換行列を適用して、色空間変換を行うこととした。このため、図８に示した従来例に係る動画像符号化装置ＰＰでは３つ必要であった色空間変換部を、１つにすることができる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。

【0033】

（２） 本発明は、（１）の動画像符号化装置について、前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、前記色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記無相関空間における残差信号を生成し、その後、当該無相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする動画像符号化装置を提案している。

【0034】

この発明によれば、（１）の動画像符号化装置において、画像や残差信号の色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、３つの色成分のそれぞれの色空間解像度が同一である入力画像だけでなく、３つの色空間のそれぞれの色空間解像度のうち少なくとも１つが異なる入力画像についても、符号化することができる。

【0035】

（３） 本発明は、（１）または（２）の動画像符号化装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、前記参照画素を用いて前記変換行列を導出することを特徴とする動画像符号化装置を提案している。

【0036】

この発明によれば、（１）または（２）の動画像符号化装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定し、参照画素を用いて変換行列を導出することができる。

【0037】

（４） 本発明は、（３）の動画像符号化装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を２のべき乗にすることを特徴とする動画像符号化装置を提案している。

【0038】

この発明によれば、（３）の動画像符号化装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定することができる。

【0039】

（５） 本発明は、（１）〜（４）のいずれかの動画像符号化装置について、前記変換行列導出手段は、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えることを特徴とする動画像符号化装置を提案している。

【0040】

ここで、上述のような従来の色空間変換を伴う動画像符号化装置は、変換行列の導出に、一般的なＳＶＤ（Singular Value Decomposition：特異値分解）アルゴリズムを用いる。このため、小数点演算が必要であり、ハードウェア化に適さないという課題もあった。

【0041】

そこで、この発明によれば、（１）〜（４）のいずれかの動画像符号化装置において、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、小数点演算が不要になるので、ハードウェア化に適した色空間変換を行うことができる。

【0042】

また、この発明によれば、（１）〜（４）のいずれかの動画像符号化装置において、上述のように、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、処理負荷を軽減することができる。

【0043】

（６） 本発明は、（５）の動画像符号化装置について、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像符号化装置を提案している。

【0044】

この発明によれば、（５）の動画像符号化装置において、入力画像のビット深度に適応させた固定小数点で、逆平方根の計算およびヤコビ固有値計算法による計算を行うことができる。

【0045】

（７） 本発明は、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置であって、符号化済みの画素を用いて変換行列を導出する変換行列導出手段（例えば、図５の変換行列導出部６８０Ａに相当）と、符号化された信号を復号する復号手段（例えば、図５のエントロピー復号部６１０に相当）と、前記復号手段により復号された信号を逆量子化して残差信号を生成する逆量子化手段（例えば、図５の逆変換・逆量子化部６２０に相当）と、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する逆色空間変換手段（例えば、図５の逆色空間変換部７１０Ａに相当）と、を備えることを特徴とする動画像復号装置を提案している。

【0046】

ここで、残差信号には、色成分間の相関性が残っている。そこで、この発明によれば、残差信号に対して変換行列を適用して、色空間変換を行う。このため、残差信号に含まれる色成分間の相関性を減らすことができ、色空間の冗長性を削減することができる。

【0047】

また、この発明によれば、上述のように、残差信号に対して変換行列を適用して、色空間変換を行うこととした。このため、図９に示した従来例に係る動画像復号装置ＱＱでは２つ必要であった色空間変換部が不要になる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。

【0048】

（８） 本発明は、（７）の動画像復号装置について、前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、前記逆色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記相関空間における残差信号を生成し、その後、当該相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする動画像復号装置を提案している。

【0049】

この発明によれば、（７）の動画像復号装置において、画像や残差信号の色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、３つの色成分のそれぞれの色空間解像度が同一である入力画像だけでなく、３つの色空間のそれぞれの色空間解像度のうち少なくとも１つが異なる画像についても、復号することができる。

【0050】

（９） 本発明は、（７）または（８）の動画像復号装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、前記参照画素を用いて前記変換行列を導出することを特徴とする動画像復号装置を提案している。

【0051】

この発明によれば、（７）または（８）の動画像復号装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定し、参照画素を用いて変換行列を導出することができる。

【0052】

（１０） 本発明は、（９）の動画像復号装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を２のべき乗にすることを特徴とする動画像復号装置を提案している。

【0053】

この発明によれば、（９）の動画像復号装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定することができる。

【0054】

（１１） 本発明は、（７）〜（１０）のいずれかの動画像復号装置について、前記変換行列導出手段は、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えることを特徴とする動画像復号装置を提案している。

【0055】

ここで、上述のような従来の色空間変換を伴う動画像復号装置は、変換行列の導出に、一般的なＳＶＤ（Singular Value Decomposition：特異値分解）アルゴリズムを用いる。このため、小数点演算が必要であり、ハードウェア化に適さないという課題もあった。

【0056】

そこで、この発明によれば、（７）〜（１０）のいずれかの動画像復号装置において、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、小数点演算が不要になるので、ハードウェア化に適した色空間変換を行うことができる。

【0057】

また、この発明によれば、（７）〜（１０）のいずれかの動画像復号装置において、上述のように、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、処理負荷を軽減することができる。

【0058】

（１２） 本発明は、（１１）の動画像復号装置について、前記逆平方根計算手段は、前記動画像を構成する画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像復号装置を提案している。

【0059】

この発明によれば、（１１）の動画像復号装置において、画像のビット深度に適応させた固定小数点で、逆平方根の計算およびヤコビ固有値計算法による計算を行うことができる。

【0060】

（１３） 本発明は、変換行列導出手段（例えば、図１の変換行列導出部９０Ａに相当）、色空間変換手段（例えば、図１の色空間変換部１００Ａに相当）、量子化手段（例えば、図１の変換・量子化部３０に相当）、および符号化手段（例えば、図１のエントロピー符号化部４０に相当）を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法であって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第２のステップと、前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第３のステップと、前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第４のステップと、を備えることを特徴とする動画像符号化方法を提案している。

【0061】

この発明によれば、上述した効果と同様の効果を奏することができる。

【0062】

（１４） 本発明は、変換行列導出手段（例えば、図５の変換行列導出部６８０Ａに相当）、復号手段（例えば、図５のエントロピー復号部６１０に相当）、逆量子化手段（例えば、図５の逆変換・逆量子化部６２０に相当）、および逆色空間変換手段（例えば、図５の逆色空間変換部７１０Ａに相当）を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法であって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、前記復号手段が、符号化された信号を復号する第２のステップと、前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第３のステップと、前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第４のステップと、を備えることを特徴とする動画像復号方法を提案している。

【0063】

この発明によれば、上述した効果と同様の効果を奏することができる。

【0064】

（１５） 本発明は、変換行列導出手段（例えば、図１の変換行列導出部９０Ａに相当）、色空間変換手段（例えば、図１の色空間変換部１００Ａに相当）、量子化手段（例えば、図１の変換・量子化部３０に相当）、および符号化手段（例えば、図１のエントロピー符号化部４０に相当）を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第２のステップと、前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第３のステップと、前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。

【0065】

この発明によれば、上述した効果と同様の効果を奏することができる。

【0066】

（１６） 本発明は、変換行列導出手段（例えば、図５の変換行列導出部６８０Ａに相当）、復号手段（例えば、図５のエントロピー復号部６１０に相当）、逆量子化手段（例えば、図５の逆変換・逆量子化部６２０に相当）、および逆色空間変換手段（例えば、図５の逆色空間変換部７１０Ａに相当）を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、前記復号手段が、符号化された信号を復号する第２のステップと、前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第３のステップと、前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。

【0067】

この発明によれば、上述した効果と同様の効果を奏することができる。

【発明の効果】

【0068】

本発明によれば、処理負荷を軽減しつつ色空間の冗長性を削減することができる。

【図面の簡単な説明】

【0069】

【図1】本発明の第１実施形態に係る動画像符号化装置のブロック図である。

【図2】前記実施形態に係る動画像符号化装置が行う参照画素の特定について説明するための図である。

【図3】前記実施形態に係る動画像符号化装置が行う参照画素の特定について説明するための図である。

【図4】前記実施形態に係る動画像符号化装置が行う参照画素の特定について説明するための図である。

【図5】本発明の第１実施形態に係る動画像復号装置のブロック図である。

【図6】従来例に係る動画像符号化装置のブロック図である。

【図7】従来例に係る動画像復号装置のブロック図である。

【図8】従来例に係る動画像符号化装置のブロック図である。

【図9】従来例に係る動画像復号装置のブロック図である。

【発明を実施するための形態】

【0070】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0071】

＜第１実施形態＞
［動画像符号化装置ＡＡの構成および動作］
図１は、本発明の第１実施形態に係る動画像符号化装置ＡＡのブロック図である。動画像符号化装置ＡＡは、３つの色成分を有し、これら３つの色成分のそれぞれの色空間解像度が同一である入力画像ａについて、符号化してビットストリームｚとして出力する。この動画像符号化装置ＡＡは、図８に示した従来例に係る動画像符号化装置ＰＰとは、変換行列導出部９０の代わりに変換行列導出部９０Ａを備える点と、第１の色空間変換部１００と第２の色空間変換部１１０と第３の色空間変換部１２０との代わりに色空間変換部１００Ａを備える点と、逆色空間変換部１３０の代わりに逆色空間変換部１３０Ａを備える点と、が異なる。なお、動画像符号化装置ＡＡにおいて、動画像符号化装置ＰＰと同一構成要件については、同一符号を付し、その説明を省略する。

【0072】

色空間変換部１００Ａは、入力画像ａとインター予測画像ｂまたはイントラ予測画像ｃとの誤差（残差）信号と、変換行列ｈと、を入力とする。この色空間変換部１００Ａは、残差信号に変換行列ｈを適用して色空間変換を行って、無相関空間における残差信号を生成し、出力する。

【0073】

逆色空間変換部１３０Ａは、逆変換された残差信号ｅと、変換行列ｈと、を入力とする。この逆色空間変換部１３０Ａは、逆変換された残差信号ｅに変換行列ｈを適用して逆色空間変換を行って、相関空間における残差信号を生成し、出力する。

【0074】

変換行列導出部９０Ａは、ローカルデコード画像ｇまたはローカル復号画像ｆを入力とする。この変換行列導出部９０Ａは、入力された画像から参照画素を特定して色空間の変換行列ｈを導出し、出力する。変換行列導出部９０Ａによる参照画素の特定と、変換行列導出部９０Ａによる変換行列ｈの導出と、について以下に詳述する。

【0075】

（参照画素の特定）
変換行列導出部９０Ａによる参照画素の特定について、以下に説明する。この参照画素を特定する手法は、符号化対象ブロックに、イントラ予測を適用する場合と、インター予測を適用する場合と、で異なる。

【0076】

まず、符号化対象ブロックにイントラ予測を適用する場合における、変換行列導出部９０Ａによる参照画素の特定について、図２、３を用いて以下に説明する。図２において、丸は、符号化対象ブロックを構成する８×８の予測対象画素を示し、三角および四角は、参照画素の候補である参照画素候補を示す。参照画素候補は、符号化対象ブロックに隣接する。

【0077】

変換行列導出部９０Ａは、参照画素候補の中から、イントラ予測方向に応じて参照画素を特定する。本実施形態では、動画像符号化装置ＡＡがＨＥＶＣ（High Efficiency Video Coding）に対応しているものとする。すると、イントラ予測方向には、方向性が存在しないＤＣ、Ｐｌａｎａｒと、方向性が存在する３２種類（図３参照）と、が存在することになる。

【0078】

イントラ予測方向が縦方向である場合、すなわちイントラ予測方向が図３の２６〜３４のいずれかである場合には、図２の三角で示した参照画素候補を参照画素として特定する。また、イントラ予測方向が横方向である場合、すなわちイントラ予測方向が図３の２〜１０のいずれかである場合には、図２の四角で示した参照画素候補を参照画素として特定する。一方、イントラ予測方向が斜め方向である場合、すなわちイントラ予測方向が図３の１１〜２５のいずれかである場合には、図２の三角で示した参照画素候補と、図２の四角で示した参照画素候補と、を参照画素として特定する。

【0079】

なお、参照画素数が２のべき乗であれば、後述の変換行列の導出が容易になる。そこで、変換行列導出部９０Ａは、図２の斜線で示した位置の画素については、参照画素候補としないものとする。

【0080】

次に、符号化対象ブロックにインター予測を適用する場合における、変換行列導出部９０Ａによる参照画素の特定について、図４を用いて以下に説明する。

【0081】

変換行列導出部９０Ａは、符号化対象ブロックの動きベクトルが指す参照フレーム内の領域（図４の参照ブロックに相当）から、符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素として特定する。

【0082】

なお、上述のように、参照画素数が２のべき乗であれば、後述の変換行列の導出が容易になる。そこで、符号化対象ブロックの形状が正方形ではない場合など、参照画素数が２のべき乗ではない場合には、参照画素を適宜間引いて、参照画素数を２のべき乗にする。

【0083】

（変換行列の導出）
変換行列導出部９０Ａによる変換行列ｈの導出について、以下に説明する。

【0084】

まず、変換行列導出部９０Ａは、ｘ行ｙ列の行列を生成する。ここで、ｘは、色成分の数を示し、例えば、入力画像ａがＹＣｂＣｒ形式の画像である場合には、ｘ＝３となる。また、ｙは、参照画素数を示し、例えば、参照画素数が１６個である場合には、ｙ＝１６となる。また、ｘ行ｙ列の行列の各要素は、参照画素の色成分ごとの画素値で構成される。

【0085】

次に、変換行列導出部９０Ａは、色成分ごとに、特定した全ての参照画素の画素値の平均値を求め、この平均値をｘ行ｙ列の行列の各要素から減算する。

【0086】

次に、変換行列導出部９０Ａは、ｘ行ｙ列の行列の転置行列を求め、ｘ行ｙ列の行列と、このｘ行ｙ列の行列の転置行列と、を乗算して、共分散行列を生成する。

【0087】

次に、変換行列導出部９０Ａは、共分散行列の対角要素の最大値が２^Ｎ〜２^Ｎ＋１−１の間に収まるように、共分散行列をシフト演算により正規化して、以下の数式（１）に示す共分散行列ｃｏｖを求める。ここで、いずれかの対角要素がゼロであれば、変換行列ｈを単位行列とする。

【0088】

【数1】

【0089】

次に、変換行列導出部９０Ａは、固有ベクトルをＥと表記し、Ｅ_０を単位行列として、共分散行列ｃｏｖを対象に整数化したヤコビ固有値計算法（例えば、非特許文献５参照）を適用して、変換行列Ｅ_ｎを導出する。具体的には、まず、共分散行列ｃｏｖの要素の値をｃｏｖ（ｐ、ｑ）で表し、数式（１）のｄ、ｅ、ｆから最大値を探し、行数をｐ、列数をｑとするとともに、ｐｐ＝ｃｏｖ（ｐ、ｐ）、ｑｑ＝ｃｏｖ（ｑ、ｑ）、ｐｑ＝ｃｏｖ（ｐ、ｑ）とする。次に、以下の数式（２）〜（１２）の計算を繰り返す。

【0090】

【数2】

【0091】

【数3】

【0092】

【数4】

【0093】

【数5】

【0094】

【数6】

【0095】

【数7】

【0096】

【数8】

【0097】

【数9】

【0098】

【数10】

【0099】

【数11】

【0100】

【数12】

【0101】

なお、数式（４）〜（６）において、逆平方根の計算を、例えば非特許文献６に示されている方法により、整数精度で実行する。また、数式（１）〜（１２）において、逆平方根の計算をＭビット固定小数点で実行し、他の計算をＮビット固定小数点で実行する。以上によれば、全ての演算を整数化し、加減算、乗算、およびシフト演算のみで実行することができる。

【0102】

［動画像復号装置ＢＢの構成および動作］
図５は、本発明の第１実施形態に係る動画像符号化装置ＡＡにより生成されたビットストリームｚから動画像を復号する、本発明の第１実施形態に係る動画像復号装置ＢＢのブロック図である。動画像復号装置ＢＢは、図９に示した従来例に係る動画像復号装置ＱＱとは、変換行列導出部６８０の代わりに変換行列導出部６８０Ａを備える点と、第１の色空間変換部６９０と第２の色空間変換部７００と逆色空間変換部７１０との代わりに逆色空間変換部７１０Ａを備える点と、が異なる。なお、動画像復号装置ＢＢにおいて、動画像復号装置ＱＱと同一構成要件については、同一符号を付し、その説明を省略する。

【0103】

逆色空間変換部７１０Ａは、逆変換・逆量子化部６２０から出力された逆変換された残差信号Ｃと、変換行列導出部６８０Ａから出力された変換行列Ｈと、を入力とする。この逆色空間変換部７１０Ａは、逆変換された残差信号Ｃに変換行列Ｈを適用して逆色空間変換を行って、その結果を出力する。

【0104】

変換行列導出部６８０Ａは、図１に示した変換行列導出部９０Ａと同様に動作し、変換行列Ｈを導出して出力する。

【0105】

以上の動画像符号化装置ＡＡや動画像復号装置ＢＢによれば、以下の効果を奏することができる。

【0106】

動画像符号化装置ＡＡや動画像復号装置ＢＢは、残差信号に対して変換行列を適用して、色空間変換を行う。ここで、残差信号には、色成分間の相関性が残っているため、残差信号に含まれる色成分間の相関性を減らすことができ、色空間の冗長性を削減することができる。

【0107】

また、動画像符号化装置ＡＡは、上述のように、残差信号に対して変換行列を適用して、色空間変換を行う。このため、図８に示した従来例に係る動画像符号化装置ＰＰでは３つ必要であった色空間変換部を、１つにすることができる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。

【0108】

また、動画像符号化装置ＡＡや動画像復号装置ＢＢは、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定し、参照画素を用いて変換行列を導出することができる。

【0109】

また、動画像符号化装置ＡＡや動画像復号装置ＢＢは、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行う。このため、小数点演算が不要になるので、ハードウェア化に適した色空間変換を行うことができるとともに、処理負荷を軽減することができる。

【0110】

また、動画像復号装置ＢＢは、上述のように、残差信号に対して変換行列を適用して、色空間変換を行う。このため、図９に示した従来例に係る動画像復号装置ＱＱでは２つ必要であった色空間変換部が不要になる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。

【0111】

ここで、例えば、Ｍ＝１６、Ｎ＝１２とし、繰り返し計算のうち、逆平方根については２回で、ヤコビ固有値計算法については３回で打ち切るものとする。すると、図６の動画像符号化装置ＭＭや、図７の動画像復号装置ＮＮと比べて、同一のＰＳＮＲ（Peak Signal to Noise Ratio）を実現するのに、符号化時間や復号時間の増加を７％で抑えつつ、符号量を平均して２４％削減することができる。

【0112】

＜第２実施形態＞
本発明の第２実施形態に係る動画像符号化装置ＣＣについて、以下に説明する。動画像符号化装置ＣＣは、３つの色成分を有し、これら３つの色成分のそれぞれの色空間解像度が同一または少なくとも１つが異なる入力画像ａについて、符号化してビットストリームｚとして出力する。この動画像符号化装置ＣＣは、図１に示した本発明の第１実施形態に係る動画像符号化装置ＡＡとは、変換行列導出部９０Ａの代わりに変換行列導出部９０Ｂを備える点と、色空間変換部１００Ａの代わりに色空間変換部１００Ｂを備える点と、逆色空間変換部１３０Ａの代わりに逆色空間変換部１３０Ｂを備える点と、が異なる。なお、動画像符号化装置ＣＣにおいて、動画像符号化装置ＡＡと同一構成要件については、同一符号を付し、その説明を省略する。

【0113】

変換行列導出部９０Ｂは、変換行列導出部９０Ａと同様の処理を行うが、その処理の前段階において、入力されたローカルデコード画像ｇまたはローカル復号画像ｆの色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃える処理を行う。

【0114】

色空間変換部１００Ｂは、色空間変換部１００Ａと同様の処理を行うが、その処理の前段階において第１の解像度変換処理を行うとともに、その処理の後段階において第１の逆解像度変換処理を行う。第１の解像度変換処理では、入力された残差信号の色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃える処理を行う。また、第１の逆解像度変換処理では、色空間変換部１００Ａと同様の処理により生成した無相関空間における残差信号について、第１の解像度変換処理により揃えた色空間解像度を元に戻す処理を行う。

【0115】

逆色空間変換部１３０Ｂは、逆色空間変換部１３０Ａと同様の処理を行うが、その処理の前段階において第２の解像度変換処理を行うとともに、その処理の後段階において第２の逆解像度変換処理を行う。第２の解像度変換処理では、入力された逆変換された残差信号ｅの色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃える処理を行う。また、第２の逆解像度変換処理では、逆色空間変換部１３０Ａと同様の処理により生成した相関空間における残差信号について、第２の解像度変換処理により揃えた色空間解像度を元に戻す処理を行う。

【0116】

［動画像復号装置ＤＤの構成および動作］
本発明の第２実施形態に係る動画像符号化装置ＣＣにより生成されたビットストリームｚから動画像を復号する、本発明の第２実施形態に係る動画像復号装置ＤＤについて、以下に説明する。動画像復号装置ＤＤは、図５に示した本発明の第１実施形態に係る動画像復号装置ＢＢとは、変換行列導出部６８０Ａの代わりに変換行列導出部６８０Ｂを備える点と、逆色空間変換部７１０Ａの代わりに逆色空間変換部７１０Ｂを備える点と、が異なる。なお、動画像復号装置ＤＤにおいて、動画像復号装置ＢＢと同一構成要件については、同一符号を付し、その説明を省略する。

【0117】

変換行列導出部６８０Ｂおよび逆色空間変換部７１０Ｂは、それぞれ、変換行列導出部９０Ｂおよび逆色空間変換部１３０Ｂと同様に動作する。

【0118】

以上の動画像符号化装置ＣＣによれば、動画像符号化装置ＡＡが奏することのできる上述の効果に加えて、以下の効果を奏することができる。

【0119】

動画像符号化装置ＣＣは、変換行列導出部９０Ｂ、色空間変換部１００Ｂ、および逆色空間変換部１３０Ｂにおいて、画像や残差信号の色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、３つの色成分のそれぞれの色空間解像度が同一である入力画像だけでなく、３つの色空間のそれぞれの色空間解像度のうち少なくとも１つが異なる入力画像についても、符号化することができる。

【0120】

また、以上の動画像復号装置ＤＤによれば、動画像復号装置ＢＢが奏することのできる上述の効果に加えて、以下の効果を奏することができる。

【0121】

動画像復号装置ＤＤは、変換行列導出部６８０Ｂおよび逆色空間変換部７１０Ｂにおいて、画像や残差信号の色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、３つの色成分のそれぞれの色空間解像度が同一であるビットストリームだけでなく、３つの色空間のそれぞれの色空間解像度のうち少なくとも１つが異なるビットストリームについても、復号することができる。

【0122】

なお、本発明の動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤに読み込ませ、実行することによって、本発明を実現できる。

【0123】

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤに設けられたプロセッサによって行われる。

【0124】

また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

【0125】

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0126】

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

【0127】

例えば、上述の第１実施形態では、図２に示したように、参照画素候補は、予測対象画素の上方に存在する２行分の画素と、予測対象画素の左方に存在する２列分の画素と、からなるものとしたが、これら行数や列数は、「２」に限らず、例えば「１」や「３」であってもよい。

【0128】

また、上述の各実施形態では、入力画像ａが有する色成分は、３つであるものとしたが、これに限らず、２つ以上であればよく、例えば２つや４つであってもよい。

【0129】

また、上述の各実施形態において、入力画像ａのビット深度に適応させた固定小数点で逆平方根の計算を行うとともに、入力画像ａのビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うこととしてもよい。

【符号の説明】

【0130】

ＡＡ、ＣＣ、ＭＭ、ＰＰ・・・動画像符号化装置
ＢＢ、ＤＤ、ＮＮ、ＱＱ・・・動画像復号装置
９０、９０Ａ、９０Ｂ、６８０、６８０Ａ、６８０Ｂ・・・変換行列導出部
１００Ａ、１００Ｂ・・・色空間変換部
１３０、１３０Ａ、１３０Ｂ、７１０、７１０Ａ、７１０Ｂ・・・逆色空間変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】