特許第6154753号(P6154753)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ KDDI株式会社の特許一覧

特許6154753動画像復号装置、動画像復号方法、およびプログラム
<>
  • 特許6154753-動画像復号装置、動画像復号方法、およびプログラム 図000004
  • 特許6154753-動画像復号装置、動画像復号方法、およびプログラム 図000005
  • 特許6154753-動画像復号装置、動画像復号方法、およびプログラム 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6154753
(24)【登録日】2017年6月9日
(45)【発行日】2017年6月28日
(54)【発明の名称】動画像復号装置、動画像復号方法、およびプログラム
(51)【国際特許分類】
   H04N 19/593 20140101AFI20170619BHJP
   H04N 19/61 20140101ALI20170619BHJP
【FI】
   H04N19/593
   H04N19/61
【請求項の数】11
【全頁数】17
(21)【出願番号】特願2014-1343(P2014-1343)
(22)【出願日】2014年1月8日
(65)【公開番号】特開2015-130604(P2015-130604A)
(43)【公開日】2015年7月16日
【審査請求日】2016年7月27日
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100122426
【弁理士】
【氏名又は名称】加藤 清志
(72)【発明者】
【氏名】河村 圭
(72)【発明者】
【氏名】内藤 整
【審査官】 岩井 健二
(56)【参考文献】
【文献】 特開2013−106302(JP,A)
【文献】 特開2012−095101(JP,A)
【文献】 特開2006−310941(JP,A)
【文献】 特開2005−039841(JP,A)
【文献】 国際公開第2012/160797(WO,A1)
【文献】 Kei Kawamura et al.,AHG7: On luma-chroma mode support in HEVC fidelity range extension,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,11th Meeting: Shanghai, CN,2012年10月,JCTVC-K0190_r1,pp.1-4
【文献】 Wei Pu et al.,Non-RCE1: Inter Color Component Residual Prediction,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting: Vienna, AT,2013年 7月,JCTVC-N0266_r4,pp.1-7
【文献】 Kei Kawamura and Sei Naito,Non-RCE1: Inter colour-component residual coefficients prediction,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,15th Meeting: Geneva, CH,2013年10月,JCTVC-O0263,pp.1-5
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 − 19/98
(57)【特許請求の範囲】
【請求項1】
複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置であって、
符号化された信号から、予測係数を復号する予測係数復号手段と、
前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分について、予測残差信号の変換係数レベルを復号する基準変換係数レベル復号手段と、
前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分について、予測残差信号の変換係数レベルを復号する対象変換係数レベル復号手段と、
前記符号化された信号から、前記基準となる色成分の量子化係数を導出する基準量子化係数導出手段と、
前記符号化された信号から、前記予測対象となる色成分の量子化係数を導出する予測対象量子化係数導出手段と、
前記予測係数復号手段により復号された予測係数と、前記基準量子化係数導出手段により導出された量子化係数と、前記予測対象量子化係数導出手段により導出された量子化係数と、に基づいて、実予測係数を導出する実予測係数導出手段と、
前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記対象変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記実予測係数導出手段により導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベルを導出する対象変換係数実レベル導出手段と、
前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号を導出する基準逆変換手段と、
前記対象変換係数実レベル導出手段により導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号を導出する予測対象逆変換手段と、を備えることを特徴とする動画像復号装置。
【請求項2】
前記実予測係数導出手段は、
前記予測係数復号手段により復号された予測係数と、前記基準量子化係数導出手段により導出された量子化係数と、を乗算して第1の乗算結果を求め、
前記第1の乗算結果を、前記予測対象量子化係数導出手段により導出された量子化係数で除算して、前記実予測係数を導出することを特徴とする請求項1に記載の動画像復号装置。
【請求項3】
前記実予測係数導出手段は、
前記基準量子化係数導出手段により導出された量子化係数と、前記予測対象量子化係数導出手段により導出された量子化係数と、の組み合せごとの、前記基準量子化係数導出手段により導出された量子化係数を前記予測対象量子化係数導出手段により導出された量子化係数で除算した結果が定められているテーブルを備えることを特徴とする請求項2に記載の動画像復号装置。
【請求項4】
対象変換係数実レベル導出手段は、
前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記実予測係数導出手段により導出された実予測係数と、を乗算して第2の乗算結果を求め、
前記第2の乗算結果に、前記対象変換係数レベル復号手段により復号された予測残差信号の変換係数レベルを加算して、前記予測対象となる色成分の変換係数実レベルを導出することを特徴とする請求項1から3のいずれかに記載の動画像復号装置。
【請求項5】
前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が1:1の色形式の画像を符号化して得られたものであることを特徴とする請求項1から4のいずれかに記載の動画像復号装置。
【請求項6】
前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が、水平方向に1:1で、垂直方向に2:1である色形式の画像を符号化して得られたものであることを特徴とする請求項1から4のいずれかに記載の動画像復号装置。
【請求項7】
前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が、水平方向に2:1で、垂直方向に2:1である色形式の画像を符号化して得られたものであることを特徴とする請求項1から4のいずれかに記載の動画像復号装置。
【請求項8】
前記符号化された信号に基づいて、変換ブロック内における前記基準となる色成分と前記予測対象となる色成分との変換基底を比較する基底比較手段を備え、
前記予測係数復号手段は、前記基底比較手段により変換基底が異なると判定された場合には、前記予測係数をゼロとすることを特徴とする請求項1から7のいずれかに記載の動画像復号装置。
【請求項9】
変換ブロックのサイズごとに変換基底が定められている場合に、前記符号化された信号に基づいて、変換ブロック内における前記基準となる色成分と前記予測対象となる色成分との変換基底を比較する基底比較手段を備え、
前記予測係数復号手段は、前記基底比較手段により変換基底が異なると判定された場合には、前記予測係数をゼロとすることを特徴とする請求項1から7のいずれかに記載の動画像復号装置。
【請求項10】
予測係数復号手段、基準変換係数レベル復号手段、対象変換係数レベル復号手段、基準量子化係数導出手段、予測対象量子化係数導出手段、実予測係数導出手段、対象変換係数実レベル導出手段、基準逆変換手段、および予測対象逆変換手段を備え、複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置における動画像復号方法であって、
前記予測係数復号手段が、符号化された信号から、予測係数を復号する第1のステップと、
前記基準変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分について、予測残差信号の変換係数レベルを復号する第2のステップと、
前記対象変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分について、予測残差信号の変換係数レベルを復号する第3のステップと、
前記基準量子化係数導出手段が、前記符号化された信号から、前記基準となる色成分の量子化係数を導出する第4のステップと、
前記予測対象量子化係数導出手段が、前記符号化された信号から、前記予測対象となる色成分の量子化係数を導出する第5のステップと、
前記実予測係数導出手段が、前記第1のステップにおいて復号された予測係数と、前記第4のステップにおいて導出された量子化係数と、前記第5のステップにおいて導出された量子化係数と、に基づいて、実予測係数を導出する第6のステップと、
前記対象変換係数実レベル導出手段が、前記第2のステップにおいて復号された予測残差信号の変換係数レベルと、前記第3のステップにおいて復号された予測残差信号の変換係数レベルと、前記第6のステップにおいて導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベルを導出する第7のステップと、
前記基準逆変換手段が、前記第2のステップにおいて復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号を導出する第8のステップと、
前記予測対象逆変換手段が、前記第7のステップにおいて導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号を導出する第9のステップと、を備えることを特徴とする動画像復号方法。
【請求項11】
予測係数復号手段、基準変換係数レベル復号手段、対象変換係数レベル復号手段、基準量子化係数導出手段、予測対象量子化係数導出手段、実予測係数導出手段、対象変換係数実レベル導出手段、基準逆変換手段、および予測対象逆変換手段を備え、複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
前記予測係数復号手段が、符号化された信号から、予測係数を復号する第1のステップと、
前記基準変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分について、予測残差信号の変換係数レベルを復号する第2のステップと、
前記対象変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分について、予測残差信号の変換係数レベルを復号する第3のステップと、
前記基準量子化係数導出手段が、前記符号化された信号から、前記基準となる色成分の量子化係数を導出する第4のステップと、
前記予測対象量子化係数導出手段が、前記符号化された信号から、前記予測対象となる色成分の量子化係数を導出する第5のステップと、
前記実予測係数導出手段が、前記第1のステップにおいて復号された予測係数と、前記第4のステップにおいて導出された量子化係数と、前記第5のステップにおいて導出された量子化係数と、に基づいて、実予測係数を導出する第6のステップと、
前記対象変換係数実レベル導出手段が、前記第2のステップにおいて復号された予測残差信号の変換係数レベルと、前記第3のステップにおいて復号された予測残差信号の変換係数レベルと、前記第6のステップにおいて導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベルを導出する第7のステップと、
前記基準逆変換手段が、前記第2のステップにおいて復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号を導出する第8のステップと、
前記予測対象逆変換手段が、前記第7のステップにおいて導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号を導出する第9のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像復号装置、動画像復号方法、およびプログラムに関する。
【背景技術】
【0002】
イントラ予測(フレーム内予測)およびインター予測(フレーム間予測)と、残差変換と、を用いた動画像符号化方式が提案されている(例えば、非特許文献1参照)。
【0003】
以下に、上述の動画像符号化方式に対応する従来例に係る動画像符号化装置について説明する。従来例に係る動画像符号化装置は、まず、入力画像を符号化ブロックに分割する。次に、符号化ブロックよりも小さなサイズである予測ブロック単位で、入力画像と、イントラ予測画像またはインター予測画像と、の誤差(残差)信号を変換・量子化して量子化係数レベルを生成する。次に、生成した量子化係数レベルをサイド情報とともにエントロピー符号化して、ビットストリームを生成する。
【0004】
さらに、上述の動画像符号化装置は、量子化係数レベルを逆量子化および逆変換して誤差(残差)信号を生成し、イントラ予測画像またはインター予測画像と合算してフィルタ前ローカル復号画像を生成する。フィルタ前ローカル復号画像は、イントラ予測に利用される。また、フィルタ前ローカル復号画像にインループフィルタ(例えばデブロックフィルタなど)を適用してフィルタ後ローカル復号画像を生成し、フレームバッファに蓄積しておく。フィルタ後ローカル復号画像は、適宜、インター予測に利用される。
【0005】
上述の動画像符号化方式に対応する従来例に係る動画像復号装置は、上述の従来例に係る動画像符号化装置で行われる手順と逆の手順により、ビットストリームから出力画像を得る。
【0006】
HEVC Version 1では、YUV4:2:0色形式が対象となっており、HEVC Version 2では、YUV4:2:2色形式、YUV4:4:4色形式、RGB4:4:4色形式などに色形式の対象を拡張したRange Extensionsが検討されている。また、4:4:4色形式では、U/VやB/Rのように、色差成分の画素数が4:2:0色形式の場合と比べて4倍になるので、符号化効率を改善するための手法が検討されている。この手法のひとつとして、非特許文献2には、イントラ予測残差信号およびインター予測残差信号を対象として、色成分間の相関を用いて符号化効率を改善する成分間残差信号予測手法が示されている。
【0007】
上述の成分間残差信号予測手法では、動画像符号化装置は、輝度信号の予測残差信号に、サイド情報として動画像復号装置に送る係数を乗算して、色差信号の予測残差信号を予測する。色差信号は、イントラ予測値またはインター予測値と成分間残差信号予測値とを原信号から引いた残差信号を、HEVC Version 1のフレームワークを用いて符号化される。このため、変換および量子化される色差残差信号rは、以下の数式(1)により導出される。
【0008】
【数1】
【0009】
なお、数式(1)において、Orgは、色差の原信号を示し、Predは、イントラ予測信号またはインター予測信号を示す。また、αは、動画像符号化装置で導出された予測係数を示し、{−8、−4、−2、−1、0、1、2、4、8}の値を取る。また、r’は、輝度の再構成した残差信号を示す。
【0010】
動画像復号装置は、再構成された色差信号Recを、復号した色差残差信号r’(x、y)を用いて以下の数式(2)により導出する。
【0011】
【数2】
【0012】
以上のように、変換空間で色成分間の相関の復元が行われる。
【先行技術文献】
【非特許文献】
【0013】
【非特許文献1】ITU-T Recommendation H.265, "High Efficiency Video Coding"
【非特許文献2】W. Pu, et.al, “RCE1: Descriptions and Results for Experiments 1, 2, 3, and 4”, JCTVC-O0202, Oct. 2013.
【発明の概要】
【発明が解決しようとする課題】
【0014】
しかし、上述の成分間残差信号予測手法に対応した従来例に係る動画像復号装置は、上述の数式(2)に示したように、色差の残差信号の復号を行うために、輝度の残差信号の復号結果を用いる。このため、色差の残差信号の復号が完了するまで、輝度の残差信号の復号結果を記憶しておかなければならず、必要とする記憶容量が大きくなってしまうという課題があった。また、逆変換後の信号に対して色成分間の相関を復元するため、変換ブロック内の全ての信号に対して上述の数式(2)の計算を行わなければならず、処理負荷の軽減が求められていた。
【0015】
そこで、本発明は、上述の課題を鑑みてなされたものであり、変換空間で色成分間の相関を用いた動画像の復号において、必要とする記憶容量の削減と、処理負荷の軽減と、を実現することを目的とする。
【課題を解決するための手段】
【0016】
本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置(例えば、図1の動画像復号装置1に相当)であって、符号化された信号(例えば、図1のビットストリームSIG1に相当)から、予測係数(例えば、図1の予測係数SIG4に相当)を復号する予測係数復号手段(例えば、図1の予測係数復号部13に相当)と、前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分(例えば、後述の輝度成分に相当)について、予測残差信号の変換係数レベル(例えば、図1の輝度成分の予測残差信号の変換係数レベルSIG3に相当)を復号する基準変換係数レベル復号手段(例えば、図1の輝度変換係数レベル復号部12に相当)と、前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分(例えば、後述の色差成分に相当)について、予測残差信号の変換係数レベル(例えば、図1の色差成分の予測残差信号の変換係数レベルSIG5に相当)を復号する対象変換係数レベル復号手段(例えば、図1の色差変換係数レベル復号部14に相当)と、前記符号化された信号から、前記基準となる色成分の量子化係数(例えば、図1の輝度量子化係数SIG2に相当)を導出する基準量子化係数導出手段(例えば、図1の輝度量子化係数復号部11に相当)と、前記符号化された信号から、前記予測対象となる色成分の量子化係数(例えば、図1の色差量子化係数SIG6に相当)を導出する予測対象量子化係数導出手段(例えば、図1の色差量子化係数復号部15に相当)と、前記予測係数復号手段により復号された予測係数と、前記基準量子化係数導出手段により導出された量子化係数と、前記予測対象量子化係数導出手段により導出された量子化係数と、に基づいて、実予測係数(例えば、図1の実予測係数SIG7に相当)を導出する実予測係数導出手段(例えば、図1の実係数導出部16に相当)と、前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記対象変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記実予測係数導出手段により導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベル(例えば、図1の色差変換係数実レベルSIG8に相当)を導出する対象変換係数実レベル導出手段(例えば、図1の色差変換係数実レベル導出部17に相当)と、前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号(例えば、図1の輝度成分の残差信号SIG9に相当)を導出する基準逆変換手段(例えば、図1の輝度逆量子化・逆変換部18に相当)と、前記対象変換係数実レベル導出手段により導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号(例えば、図1の色差成分の残差信号SIG10に相当)を導出する予測対象逆変換手段(例えば、図1の色差逆量子化・逆変換部19に相当)と、を備えることを特徴とする動画像復号装置を提案している。
【0017】
この発明によれば、実予測係数導出手段により、予測係数と、基準となる色成分の量子化係数と、予測対象となる色成分の量子化係数と、に基づいて、実予測係数を導出することとした。また、対象変換係数実レベル導出手段により、基準となる色成分の予測残差信号の変換係数レベルと、予測対象となる色成分の予測残差信号の変換係数レベルと、実予測係数導出手段により導出された実予測係数と、に基づいて、予測対象となる色成分の変換係数実レベルを導出することとした。このため、基準となる色成分の予測残差信号の復号結果を用いることなく、予測対象となる色成分の予測残差信号の復号を行うことができる。したがって、予測対象となる色成分の予測残差信号の復号が完了するまで、基準となる色成分の予測残差信号の復号結果を記憶しておく必要がないため、必要とする記憶容量を削減することができる。また、逆変換後の信号に対して色成分間の相関を復元するわけではないので、変換ブロック内の全ての信号に対して上述の数式(2)の計算を行うわけではなく、処理負荷を軽減することができる。
【0018】
(2) 本発明は、(1)の動画像復号装置について、前記実予測係数導出手段は、前記予測係数復号手段により復号された予測係数と、前記基準量子化係数導出手段により導出された量子化係数と、を乗算して第1の乗算結果を求め、前記第1の乗算結果を、前記予測対象量子化係数導出手段により導出された量子化係数で除算して、前記実予測係数を導出することを特徴とする動画像復号装置を提案している。
【0019】
この発明によれば、(1)の動画像復号装置において、予測係数と、基準となる色成分の量子化係数と、を乗算し、この乗算結果を予測対象となる色成分の量子化係数で除算して、実予測係数を導出することができる。
【0020】
(3) 本発明は、(2)の動画像復号装置について、前記実予測係数導出手段は、前記基準量子化係数導出手段により導出された量子化係数と、前記予測対象量子化係数導出手段により導出された量子化係数と、の組み合せごとの、前記基準量子化係数導出手段により導出された量子化係数を前記予測対象量子化係数導出手段により導出された量子化係数で除算した結果が定められているテーブルを備えることを特徴とする動画像復号装置を提案している。
【0021】
この発明によれば、(2)の動画像復号装置において、基準となる色成分の量子化係数を、予測対象となる色成分の量子化係数で除算した結果を、テーブルとして用意しておくこととした。このため、(2)の動画像復号装置において必要であった除算を行うことなく、実予測係数を導出することができる。したがって、除算による桁落ちを考慮する必要がなくなるため、処理負荷をさらに軽減することができる。
【0022】
(4) 本発明は、(1)から(3)のいずれかの動画像復号装置について、対象変換係数実レベル導出手段は、前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記実予測係数導出手段により導出された実予測係数と、を乗算して第2の乗算結果を求め、前記第2の乗算結果に、前記対象変換係数レベル復号手段により復号された予測残差信号の変換係数レベルを加算して、前記予測対象となる色成分の変換係数実レベルを導出することを特徴とする動画像復号装置を提案している。
【0023】
この発明によれば、(1)から(3)のいずれかの動画像復号装置において、基準となる色成分の予測残差信号の変換係数レベルと、実予測係数導出手段により導出された実予測係数と、を乗算し、この乗算結果に、予測対象となる色成分の予測残差信号の変換係数レベルを加算して、予測対象となる色成分の変換係数実レベルを導出することができる。
【0024】
(5) 本発明は、(1)から(4)のいずれかの動画像復号装置について、前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が1:1の色形式の画像(例えば、後述のRGB4:4:4色形式の画像に相当)を符号化して得られたものであることを特徴とする動画像復号装置を提案している。
【0025】
この発明によれば、(1)から(4)のいずれかの動画像復号装置において、基準となる色成分と、予測対象となる色成分と、の画素数比が1:1の色形式の画像を符号化して得られた信号の復号において、上述の効果を奏することができる。
【0026】
(6) 本発明は、(1)から(4)のいずれかの動画像復号装置について、前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が、水平方向に1:1で、垂直方向に2:1である色形式の画像(例えば、後述のYUV4:2:2色形式の画像に相当)を符号化して得られたものであることを特徴とする動画像復号装置を提案している。
【0027】
この発明によれば、(1)から(4)のいずれかの動画像復号装置において、基準となる色成分と、予測対象となる色成分と、の画素数比が、水平方向に1:1で、垂直方向に2:1である色形式の画像を符号化して得られた信号の復号において、上述の効果を奏することができる。
【0028】
(7) 本発明は、(1)から(4)のいずれかの動画像復号装置について、前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が、水平方向に2:1で、垂直方向に2:1である色形式の画像(例えば、後述のYUV4:2:0色形式の画像に相当)を符号化して得られたものであることを特徴とする動画像復号装置を提案している。
【0029】
この発明によれば、(1)から(4)のいずれかの動画像復号装置において、基準となる色成分と、予測対象となる色成分と、の画素数比が、水平方向に2:1で、垂直方向に2:1である色形式の画像を符号化して得られた信号の復号において、上述の効果を奏することができる。
【0030】
(8) 本発明は、(1)から(7)のいずれかの動画像復号装置について、前記符号化された信号に基づいて、変換ブロック内における前記基準となる色成分と前記予測対象となる色成分との変換基底を比較する基底比較手段(例えば、後述の基底比較部に相当)を備え、前記予測係数復号手段は、前記基底比較手段により変換基底が異なると判定された場合には、前記予測係数をゼロとすることを特徴とする動画像復号装置を提案している。
【0031】
この発明によれば、(1)から(7)のいずれかの動画像復号装置において、変換ブロック内における基準となる色成分と予測対象となる色成分との変換基底が異なる場合、予測係数をゼロにすることとした。このため、変換ブロック内における基準となる色成分と予測対象となる色成分との変換基底が異なる場合に、予測係数復号手段による処理負荷を軽減することができる。
【0032】
(9) 本発明は、(1)から(7)のいずれかの動画像復号装置について、変換ブロックのサイズごとに変換基底が定められている場合に、前記符号化された信号に基づいて、変換ブロック内における前記基準となる色成分と前記予測対象となる色成分との変換基底を比較する基底比較手段を備え、前記予測係数復号手段は、前記基底比較手段により変換基底が異なると判定された場合には、前記予測係数をゼロとすることを特徴とする動画像復号装置を提案している。
【0033】
この発明によれば、(1)から(7)のいずれかの動画像復号装置において、変換ブロックのサイズごとに変換基底が定められており、変換ブロック内における基準となる色成分と予測対象となる色成分との変換基底が異なる場合、予測係数をゼロにすることとした。このため、変換ブロックのサイズごとに変換基底が定められており、変換ブロック内における基準となる色成分と予測対象となる色成分との変換基底が異なる場合に、予測係数復号手段による処理負荷を軽減することができる。
【0034】
(10) 本発明は、予測係数復号手段(例えば、図1の予測係数復号部13に相当)、基準変換係数レベル復号手段(例えば、図1の輝度変換係数レベル復号部12に相当)、対象変換係数レベル復号手段(例えば、図1の色差変換係数レベル復号部14に相当)、基準量子化係数導出手段(例えば、図1の輝度量子化係数復号部11に相当)、予測対象量子化係数導出手段(例えば、図1の色差量子化係数復号部15に相当)、実予測係数導出手段(例えば、図1の実係数導出部16に相当)、対象変換係数実レベル導出手段(例えば、図1の色差変換係数実レベル導出部17に相当)、基準逆変換手段(例えば、図1の輝度逆量子化・逆変換部18に相当)、および予測対象逆変換手段(例えば、図1の色差逆量子化・逆変換部19に相当)を備え、複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置(例えば、図1の動画像復号装置1に相当)における動画像復号方法であって、前記予測係数復号手段が、符号化された信号(例えば、図1のビットストリームSIG1に相当)から、予測係数(例えば、図1の予測係数SIG4に相当)を復号する第1のステップと、前記基準変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分(例えば、後述の輝度成分に相当)について、予測残差信号の変換係数レベル(例えば、図1の輝度成分の予測残差信号の変換係数レベルSIG3に相当)を復号する第2のステップと、前記対象変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分(例えば、後述の色差成分に相当)について、予測残差信号の変換係数レベル(例えば、図1の色差成分の予測残差信号の変換係数レベルSIG5に相当)を復号する第3のステップと、前記基準量子化係数導出手段が、前記符号化された信号から、前記基準となる色成分の量子化係数(例えば、図1の輝度量子化係数SIG2に相当)を導出する第4のステップと、前記予測対象量子化係数導出手段が、前記符号化された信号から、前記予測対象となる色成分の量子化係数(例えば、図1の色差量子化係数SIG6に相当)を導出する第5のステップと、前記実予測係数導出手段が、前記第1のステップにおいて復号された予測係数と、前記第4のステップにおいて導出された量子化係数と、前記第5のステップにおいて導出された量子化係数と、に基づいて、実予測係数(例えば、図1の実予測係数SIG7に相当)を導出する第6のステップと、前記対象変換係数実レベル導出手段が、前記第2のステップにおいて復号された予測残差信号の変換係数レベルと、前記第3のステップにおいて復号された予測残差信号の変換係数レベルと、前記第6のステップにおいて導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベル(例えば、図1の色差変換係数実レベルSIG8に相当)を導出する第7のステップと、前記基準逆変換手段が、前記第2のステップにおいて復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号(例えば、図1の輝度成分の残差信号SIG9に相当)を導出する第8のステップと、前記予測対象逆変換手段が、前記第7のステップにおいて導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号(例えば、図1の色差成分の残差信号SIG10に相当)を導出する第9のステップと、を備えることを特徴とする動画像復号方法を提案している。
【0035】
この発明によれば、予測係数と、基準となる色成分の量子化係数と、予測対象となる色成分の量子化係数と、に基づいて、実予測係数を導出することとした。また、基準となる色成分の予測残差信号の変換係数レベルと、予測対象となる色成分の予測残差信号の変換係数レベルと、実予測係数と、に基づいて、予測対象となる色成分の変換係数実レベルを導出することとした。このため、上述した効果と同様の効果を奏することができる。
【0036】
(11) 本発明は、予測係数復号手段(例えば、図1の予測係数復号部13に相当)、基準変換係数レベル復号手段(例えば、図1の輝度変換係数レベル復号部12に相当)、対象変換係数レベル復号手段(例えば、図1の色差変換係数レベル復号部14に相当)、基準量子化係数導出手段(例えば、図1の輝度量子化係数復号部11に相当)、予測対象量子化係数導出手段(例えば、図1の色差量子化係数復号部15に相当)、実予測係数導出手段(例えば、図1の実係数導出部16に相当)、対象変換係数実レベル導出手段(例えば、図1の色差変換係数実レベル導出部17に相当)、基準逆変換手段(例えば、図1の輝度逆量子化・逆変換部18に相当)、および予測対象逆変換手段(例えば、図1の色差逆量子化・逆変換部19に相当)を備え、複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置(例えば、図1の動画像復号装置1に相当)における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記予測係数復号手段が、符号化された信号(例えば、図1のビットストリームSIG1に相当)から、予測係数(例えば、図1の予測係数SIG4に相当)を復号する第1のステップと、前記基準変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分(例えば、後述の輝度成分に相当)について、予測残差信号の変換係数レベル(例えば、図1の輝度成分の予測残差信号の変換係数レベルSIG3に相当)を復号する第2のステップと、前記対象変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分(例えば、後述の色差成分に相当)について、予測残差信号の変換係数レベル(例えば、図1の色差成分の予測残差信号の変換係数レベルSIG5に相当)を復号する第3のステップと、前記基準量子化係数導出手段が、前記符号化された信号から、前記基準となる色成分の量子化係数(例えば、図1の輝度量子化係数SIG2に相当)を導出する第4のステップと、前記予測対象量子化係数導出手段が、前記符号化された信号から、前記予測対象となる色成分の量子化係数(例えば、図1の色差量子化係数SIG6に相当)を導出する第5のステップと、前記実予測係数導出手段が、前記第1のステップにおいて復号された予測係数と、前記第4のステップにおいて導出された量子化係数と、前記第5のステップにおいて導出された量子化係数と、に基づいて、実予測係数(例えば、図1の実予測係数SIG7に相当)を導出する第6のステップと、前記対象変換係数実レベル導出手段が、前記第2のステップにおいて復号された予測残差信号の変換係数レベルと、前記第3のステップにおいて復号された予測残差信号の変換係数レベルと、前記第6のステップにおいて導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベル(例えば、図1の色差変換係数実レベルSIG8に相当)を導出する第7のステップと、前記基準逆変換手段が、前記第2のステップにおいて復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号(例えば、図1の輝度成分の残差信号SIG9に相当)を導出する第8のステップと、前記予測対象逆変換手段が、前記第7のステップにおいて導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号(例えば、図1の色差成分の残差信号SIG10に相当)を導出する第9のステップと、をコンピュータに実行させるためのプログラムを提案している。
【0037】
この発明によれば、コンピュータを用いてプログラムを実行することで、予測係数と、基準となる色成分の量子化係数と、予測対象となる色成分の量子化係数と、に基づいて、実予測係数を導出することとした。また、基準となる色成分の予測残差信号の変換係数レベルと、予測対象となる色成分の予測残差信号の変換係数レベルと、実予測係数と、に基づいて、予測対象となる色成分の変換係数実レベルを導出することとした。このため、上述した効果と同様の効果を奏することができる。
【発明の効果】
【0038】
本発明によれば、変換空間で色成分間の相関を用いた動画像の復号において、必要とする記憶容量の削減と、処理負荷の軽減と、を実現することができる。
【図面の簡単な説明】
【0039】
図1】本発明の第1実施形態に係る動画像復号装置のブロック図である。
図2】本発明の第2実施形態に係る動画像復号装置のブロック図である。
図3】本発明の第3実施形態に係る動画像復号装置のブロック図である。
【発明を実施するための形態】
【0040】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0041】
<第1実施形態>
[動画像復号装置1の構成および動作]
図1は、本発明の第1実施形態に係る動画像復号装置1のブロック図である。動画像復号装置1は、YUV4:4:4色形式の画像を予め符号化して生成されたビットストリームSIG1について、輝度成分を基準となる色成分とし、色差成分を予測対象となる色成分として、変換空間で色成分間相関を用いて復号して出力画像SIG14を得る。この動画像復号装置1は、輝度量子化係数復号部11、輝度変換係数レベル復号部12、予測係数復号部13、色差変換係数レベル復号部14、色差量子化係数復号部15、実係数導出部16、色差変換係数実レベル導出部17、輝度逆量子化・逆変換部18、色差逆量子化・逆変換部19、フレームバッファ20、およびイントラ・インター予測部21を備える。
【0042】
輝度量子化係数復号部11は、ビットストリームSIG1を入力とする。この輝度量子化係数復号部11は、ビットストリームSIG1から、輝度量子化係数SIG2を導出して出力する。
【0043】
輝度変換係数レベル復号部12は、ビットストリームSIG1を入力とする。この輝度変換係数レベル復号部12は、ビットストリームSIG1から、輝度成分の予測残差信号の変換係数レベルSIG3を復号して出力する。
【0044】
予測係数復号部13は、ビットストリームSIG1を入力とする。この予測係数復号部13は、ビットストリームSIG1から、上述の数式(2)のαを予測係数SIG4として復号して出力する。
【0045】
色差変換係数レベル復号部14は、ビットストリームSIG1を入力とする。この色差変換係数レベル復号部14は、ビットストリームSIG1から、色差成分の予測残差信号の変換係数レベルSIG5を復号して出力する。
【0046】
色差量子化係数復号部15は、ビットストリームSIG1を入力とする。この色差量子化係数復号部15は、ビットストリームSIG1から、色差量子化係数SIG6を導出して出力する。
【0047】
実係数導出部16は、輝度量子化係数SIG2と、予測係数SIG4と、色差量子化係数SIG6と、を入力とする。この実係数導出部16は、これら入力された信号に基づいて、実予測係数SIG7を導出して出力する。実予測係数SIG7の導出は、例えば、輝度量子化係数SIG2と予測係数SIG4とを乗算し、この乗算結果を色差量子化係数SIG6で除算することによって、実現できる。なお、輝度量子化係数SIG2および色差量子化係数SIG6の組み合せごとの、輝度量子化係数SIG2を色差量子化係数SIG6で除算した結果が定められているテーブルを、予め用意しておいてもよい。このテーブルを用意しておくことで、上述の除算が不要になり、除算による桁落ちを考慮する必要がなくなるため、処理負荷をさらに軽減することができる。
【0048】
色差変換係数実レベル導出部17は、輝度成分の予測残差信号の変換係数レベルSIG3と、色差成分の予測残差信号の変換係数レベルSIG5と、実予測係数SIG7と、を入力とする。この色差変換係数実レベル導出部17は、これら入力された信号に基づいて、色差変換係数実レベルSIG8を導出して出力する。色差変換係数実レベルSIG8の導出は、例えば、輝度成分の予測残差信号の変換係数レベルSIG3と実予測係数SIG7とを乗算し、この乗算結果に色差成分の予測残差信号の変換係数レベルSIG5を加算することによって、実現できる。
【0049】
輝度逆量子化・逆変換部18は、輝度成分の予測残差信号の変換係数レベルSIG3を入力とする。この輝度逆量子化・逆変換部18は、輝度成分の予測残差信号の変換係数レベルSIG3を逆量子化および逆変換して、輝度成分の残差信号SIG9を導出して出力する。
【0050】
色差逆量子化・逆変換部19は、色差変換係数実レベルSIG8を入力とする。この色差逆量子化・逆変換部19は、色差変換係数実レベルSIG8を逆量子化および逆変換して、色差成分の残差信号SIG10を導出して出力する。
【0051】
フレームバッファ20は、輝度成分の残差信号SIG9と、色差成分の残差信号SIG10と、予測画像SIG13と、を加算して生成されるローカル復号画像SIG11を入力とする。このフレームバッファ20は、入力されたローカル復号画像SIG11を蓄積し、適宜、ローカル復号画像SIG12としてイントラ・インター予測部21に供給するとともに、蓄積したローカル復号画像SIG11を表示順に並び替えて出力画像SIG14として出力する。
【0052】
イントラ・インター予測部21は、ローカル復号画像SIG12を入力とする。このイントラ・インター予測部21は、ローカル復号画像SIG12を用いて、適宜、イントラ予測またはインター予測を行って、イントラ予測画像またはインター予測画像を生成し、予測画像SIG13として出力する。
【0053】
以上の動画像復号装置1によれば、以下の効果を奏することができる。
【0054】
動画像復号装置1は、実係数導出部16により、輝度量子化係数SIG2と、予測係数SIG4と、色差量子化係数SIG6と、に基づいて、実予測係数SIG7を導出する。また、色差変換係数実レベル導出部17により、輝度成分の予測残差信号の変換係数レベルSIG3と、色差成分の予測残差信号の変換係数レベルSIG5と、実予測係数SIG7と、に基づいて、色差変換係数実レベルSIG8を導出する。このため、輝度成分の予測残差信号の復号結果を用いることなく、色差成分の予測残差信号の復号を行うことができる。したがって、色差成分の予測残差信号の復号が完了するまで、輝度成分の予測残差信号の復号結果を記憶しておく必要がないため、必要とする記憶容量を削減することができる。また、逆変換後の信号に対して色成分間の相関を復元するわけではないので、変換ブロック内の全ての信号に対して上述の数式(2)の計算を行うわけではなく、処理負荷を軽減することができる。
【0055】
<第2実施形態>
[動画像復号装置2の構成および動作]
図2は、本発明の第2実施形態に係る動画像復号装置2のブロック図である。動画像復号装置2は、図1に示した本発明の第1実施形態に係る動画像復号装置1とは、実係数導出部16および色差変換係数実レベル導出部17の代わりに色差変換係数実レベル導出部17Aを備える点が異なる。なお、動画像復号装置2において、動画像復号装置1と同一構成要件については、同一符号を付し、その説明を省略する。
【0056】
色差変換係数実レベル導出部17Aは、輝度量子化係数SIG2と、輝度成分の予測残差信号の変換係数レベルSIG3と、予測係数SIG4と、色差成分の予測残差信号の変換係数レベルSIG5と、色差量子化係数SIG6と、を入力とする。この色差変換係数実レベル導出部17Aは、これら入力された信号に基づいて、色差変換係数実レベルSIG8を導出して出力する。色差変換係数実レベルSIG8の導出は、例えば、輝度量子化係数SIG2と輝度成分の予測残差信号の変換係数レベルSIG3と予測係数SIG4とを乗算するとともに、色差成分の予測残差信号の変換係数レベルSIG5と色差量子化係数SIG6とを乗算し、これら2種類の乗算結果を加算することによって実現できる。
【0057】
以上の動画像復号装置2によれば、動画像復号装置1が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
【0058】
動画像復号装置2は、動画像復号装置1に設けられた実係数導出部16および色差変換係数実レベル導出部17の代わりに色差変換係数実レベル導出部17Aを備えており、色差変換係数実レベル導出部17Aは、輝度量子化係数SIG2と輝度成分の予測残差信号の変換係数レベルSIG3と予測係数SIG4とを乗算するとともに、色差成分の予測残差信号の変換係数レベルSIG5と色差量子化係数SIG6とを乗算し、これら2種類の乗算結果を加算することによって、色差変換係数実レベルSIG8を導出することができる。このため、実係数導出部16において行われていた除算が不要になり、除算による桁落ちを考慮する必要がなくなるため、処理負荷をさらに軽減することができる。
【0059】
<第3実施形態>
[動画像復号装置3の構成および動作]
図3は、本発明の第3実施形態に係る動画像復号装置3のブロック図である。動画像復号装置3は、図1に示した本発明の第1実施形態に係る動画像復号装置1とは、輝度量子化係数復号部11、色差量子化係数復号部15、実係数導出部16、および色差変換係数実レベル導出部17の代わりに、色差変換係数実レベル導出部17Bを備える点が異なる。なお、動画像復号装置3において、動画像復号装置1と同一構成要件については、同一符号を付し、その説明を省略する。
【0060】
動画像復号装置3は、輝度成分の量子化係数と、色差成分の量子化係数と、が同一である場合に用いられる動画像復号装置である。このため、図1に示した実予測係数SIG7の導出を行わず、色差変換係数実レベル導出部17Bにより、予測係数SIG4をそのまま用いて色差変換係数実レベルSIG8を導出する。
【0061】
具体的には、色差変換係数実レベル導出部17Bは、輝度成分の予測残差信号の変換係数レベルSIG3と、予測係数SIG4と、色差成分の予測残差信号の変換係数レベルSIG5と、を入力とする。この色差変換係数実レベル導出部17Bは、これら入力された信号に基づいて、色差変換係数実レベルSIG8を導出して出力する。色差変換係数実レベルSIG8の導出は、例えば、輝度成分の予測残差信号の変換係数レベルSIG3と予測係数SIG4とを乗算し、この乗算結果に色差成分の予測残差信号の変換係数レベルSIG5を加算することによって、実現できる。
【0062】
以上の動画像復号装置3によれば、動画像復号装置1が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
【0063】
動画像復号装置3は、実予測係数SIG7の導出を行うことなく、色差変換係数実レベルSIG8を導出することができる。このため、処理負荷をさらに軽減できる。
【0064】
なお、本発明の動画像復号装置1、2、3の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像復号装置1、2、3に読み込ませ、実行することによって、本発明を実現できる。
【0065】
ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD−ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像復号装置1、2、3に設けられたプロセッサによって行われる。
【0066】
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像復号装置1、2、3から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
【0067】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像復号装置1、2、3にすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0068】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【0069】
例えば、上述の各実施形態では、ビットストリームSIG1は、YUV4:4:4色形式の画像を符号化して得られたものとしたが、これに限らない。例えば、基準色成分(例えば上述の輝度)と予測対象色成分(例えば上述の色差)との画素比が1:1の色形式の画像、例えばRGB4:4:4色形式の画像を符号化して得られたものであってもよい。また、基準色成分と予測対象色成分との画素数比が、水平方向に1:1で、垂直方向が2:1である色形式の画像を符号化して得られたもの、例えばYUV4:2:2色形式の画像を符号化して得られたものであってもよい。また、基準色成分と予測対象色成分との画素数比が、水平方向に2:1で、垂直方向が2:1である色形式の画像を符号化して得られたもの、例えばYUV4:2:0色形式の画像を符号化して得られたものであってもよい。
【0070】
また、上述の各実施形態において、基準色成分(例えば上述の輝度成分)と予測対象色成分(例えば上述の色差成分)とで基底が異なる場合には、予測係数SIG4をゼロとみなすこととしてもよい。この場合、基底が異なるか否かを求めるために、基底比較部を設ける必要がある。基底比較部は、ビットストリームSIG1を入力とし、変換ブロック内における基準色成分と予測対象色成分との変換基底を比較し、比較結果を予測係数復号部13に出力する。予測係数復号部13は、比較結果に基づいて、基底が異なる場合には、予測係数SIG4をゼロとし、基底が一致する場合には、上述の各実施形態における方法により予測係数SIG4を求める。
【0071】
また、上述の各実施形態において、変換ブロックのサイズごとに基底が定められており、基準信号について定められている基底と、予測対象信号について定められている基底と、が異なる場合に、予測係数SIG4をゼロとみなすこととしてもよい。この場合、基底が異なるか否かを求めるために、変換基底決定部を設ける必要がある。変換基底決定部は、ビットストリームSIG1を入力とし、色成分ごとに、利用する変換ブロックサイズを求め、求めた変換ブロックサイズに応じた基底を求める。そして、色成分ごとに求めた変換基底を比較し、比較結果を予測係数復号部13に出力する。予測係数復号部13は、比較結果に基づいて、基底が異なる場合には、予測係数SIG4をゼロとし、基底が一致する場合には、上述の各実施形態における方法により予測係数SIG4を求める。
【符号の説明】
【0072】
1、2、3・・・動画像復号装置
11・・・輝度量子化係数復号部
12・・・輝度変換係数レベル復号部
13・・・予測係数復号部
14・・・色差変換係数レベル復号部
15・・・色差量子化係数復号部
16・・・実係数導出部
17、17A、17B・・・色差変換係数実レベル導出部
18・・・輝度逆量子化・逆変換部
19・・・色差逆量子化・逆変換部
20・・・フレームバッファ
21・・・イントラ・インター予測部
図1
図2
図3