(58)【調査した分野】(Int.Cl.,DB名)
正距円筒図法で与えられるフレームを分割した符号化木ブロック単位にフレーム間予測又はフレーム内予測を適用して得られる予測残差を、符号化木ブロックを構成する符号化ブロックごとに変換及び量子化して符号化する動画像符号化装置であって、
当該符号化ブロックへ適用すべき量子化パラメータ(QP)を符号化前ブロックの画素値及び当該符号化ブロックのフレーム内位置に基づいて算出する算出部と、
前記適用すべき量子化パラメータ(QP)を当該符号化ブロックの左隣ブロック、上隣ブロック又は既に符号化されたブロックに対して前記算出部により算出された量子化パラメータに基づいて予測して予測値(QP[予測])を得る予測部と、
当該符号化ブロックがフレーム左端に位置しており、かつ当該符号化ブロックと、隣接する上と左の両符号化ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合に、前記予測値(QP[予測])を補正して補正値(QP[予測][補正])を得て、当該条件を満たさない場合には前記予測値(QP[予測])の値をそのまま補正値(QP[予測][補正])となす補正部と、を備え、
前記補正値(QP[補正][予測])と前記適用すべき量子化パラメータ(QP)との差分を符号化することを特徴とする動画像符号化装置。
正距円筒図法で与えられるフレームを分割した符号化木ブロック単位にフレーム間予測又はフレーム内予測を適用して得られる予測残差を、符号化木ブロックを構成する符号化ブロックごとに変換及び量子化して符号化する動画像符号化装置であって、
前記符号化ブロックへ適用すべき量子化パラメータ(QP)を当該符号化ブロックの左隣ブロック、上隣ブロック又は既に符号化されたブロックに対して算出された量子化パラメータに基づいて予測して予測値(QP[予測])を得る予測部を備え、
該符号化ブロックがフレーム左端に位置しており、かつ当該符号化ブロックと、隣接する上と左の両符号化ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合にのみ、正距円筒図法によりフレーム内の矩形から球表面に射影した際の面積比に基づいて設定される、符号化ブロックの位置のフレーム内における縦中心位置からの縦方向の乖離の所定関数(COR(D))を用いて、当該符号化ブロックの位置(D[現在])に対する前記所定関数の値(COR(D[現在]))と、当該符号化ブロックに対して前記予測部が前記予測値(QP[予測])を予測するために参照した既に符号化されたブロックの位置(D[参照])に対する前記所定関数の値(COR(D[参照]))と、の差分として差分量子化パラメータ(ΔQP)を算出して符号化し、
前記予測部により得られた予測値(QP[予測])に前記差分量子化パラメータ(ΔQP)を加算して当該量子化されるブロックのフレーム内縦方向位置における量子化パラメータとして符号化とすることを特徴とする動画像符号化装置。
正距円筒図法で与えられるフレームを分割した符号化木ブロック単位にフレーム間予測又はフレーム内予測を適用して得られた予測残差を、符号化木ブロックを構成する符号化ブロックごとに変換及び量子化し、適用すべき量子化パラメータ(QP)とその予測値(QP[予測])との差分量子化パラメータ(ΔQP)を符号化して得られた符号化ストリームを、当該符号化ブロックに対応する復号ブロックごとに復号する動画像復号装置であって、
当該復号ブロックへ適用すべき量子化パラメータ(QP)の予測値(QP[予測])を当該復号ブロックの左隣ブロック、上隣ブロック又は既に復号されたブロックにおいて既に復号された適用すべき量子化パラメータ(QP)に基づいて予測する予測部と、
当該復号ブロックがフレーム左端に位置しており、かつ当該復号ブロックと、隣接する上と左の両復号ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合に、前記予測値(QP[予測])を補正して補正値(QP[予測][補正])を得て、当該条件を満たさない場合には前記予測値(QP[予測])の値をそのまま補正値(QP[予測][補正])となす補正部と、
前記符号化ストリームを復号して得られる当該復号ブロックの差分量子化パラメータ(ΔQP)と前記補正値(QP[予測][補正])とを加算して、当該復号ブロックへ適用すべき量子化パラメータ(QP)を得ることを特徴とする動画像復号装置。
前記補正部は、前記条件を満たす場合に、当該復号ブロックが属するスライスに付与されている量子化パラメータを前記補正値(QP[予測][補正])として得ることを特徴とする請求項3に記載の動画像復号装置。
前記関数COR(D)は、正距円筒図法で与えられるフレームの位置Dにおいて、正距円筒図法によりフレーム内の矩形から球表面に射影した際の面積比に基づいて設定される所定関数であることを特徴とする請求項4または6に記載の動画像復号装置。
【背景技術】
【0002】
非特許文献1は、イントラ予測(フレーム内予測)またはインター予測(フレーム間予測)と、残差変換と、エントロピー符号化とを用いた動画像符号化方式の標準規格としてHEVC(H. 265)を規定している。
【0003】
HEVCに即した従来例に係る動画像符号化装置の全体概略的な動作は次の通りである。まず、入力画像を複数の符号化木ブロックに分割する。次に、分割した符号化木ブロックをさらに符号化ブロック単位に分割し、符号化ブロック単位で、入力画像と、イントラ予測画像またはインター予測画像と、の誤差(残差)信号を変換および量子化してレベル値を生成する。次に、生成したレベル値をサイド情報(画素値の再構成に必要な予測モードや動きベクトルなどの関連情報)とともにエントロピー符号化して、ビットストリームを生成する。
【0004】
一方、上述の動画像符号化方式に対応する従来例に係る動画像復号装置は、上述の従来例に係る動画像符号化装置で行われる手順と逆の手順により、ビットストリームから出力画像を得る。具体的には、ビットストリームから得られたレベル値を逆量子化および逆変換して残差信号を生成し、イントラ予測画像またはインター予測画像と合算し、イントラ予測に用いられると同時に、インループフィルタ(例えば、デブロックフィルタ)を適用して局所復号画像を生成し、フレームバッファに蓄積する。この局所復号画像は、インター予測に用いられる。なお、ビットストリームからサイド情報およびレベル値を得る処理のことは、パース処理と呼ばれ、これらサイド情報およびレベル値を用いて画素値を再構成することは、復号処理と呼ばれる。
【0005】
以上の従来例に係る動画像符号化装置及び動画像復号装置において、量子化における量子化パラメータは、予測された量子化パラメータと差分量子化パラメータを加算して導出される。
図1に、当該従来例に係る導出処理のブロック構成(符号化時の構成)を示す。すなわち、符号化時には当該ブロックに対して適用すべき量子化パラメータQPを算出処理301によって算出すると共に、予測処理302によって当該ブロックの当該量子化パラメータQPの予測値QP[予測]を求める。そして、差分処理に303よって得られる差分量子化パラメータΔQP=QP-QP[予測]が符号化される。ここで、適切に予測処理302を行うことにより、符号化対象となる差分量子化パラメータΔQPによる発生符号量を抑制し、効率的な符号化が可能となる。
【0006】
復号時(ブロック構成は不図示)には、上記符号化時の逆の処理によって、差分量子化パラメータを復号して量子化パラメータを導出する。
図2に、当該従来例に係る導出処理のブロック構成(復号時の構成)を示す。当該示す通り、復号された差分量子化パラメータΔQPと、予測処理402によって求められた予測値QP[予測]と、を加算処理403によって加算することで、当該ブロックの量子化パラメータQP=QP[予測]+ΔQPが復号されたものとして得られる。
【0007】
以上において、量子化パラメータの予測(
図1の符号化時の予測処理302及び
図2の復号時の予測処理402の両者)には、当該フレームに設定された量子化パラメータ、または当該量子化ブロックに隣接する量子化ブロックにおける量子化パラメータ、または符号化順(復号順)でひとつ前に利用した量子化パラメータを用いる。当該量子化パラメータの予測については非特許文献2や特許文献1などに開示されている。
【0008】
また、360度映像やバーチャルリアリティと呼ばれる映像や映像体験がある。ある1地点から空間全体を見渡した時の画像を撮影し、閲覧時に任意の一部分を通常視野角のカメラで撮影したときのように射影して映像を見る体験である。ここで、360度映像は球の表面に画素が存在しており、内側から覗き込んでいるとモデル化可能である。球表面を均等にサンプリングすることが画素値を得られるが、この画素値集合をそのまま記録すると位置情報が必要となり、既存の画像処理では扱いにくい。
【0009】
そこで、360度映像において利用される映像形式のひとつに正距円筒図法(Equirectangular Projection)がある。これは
図3に模式的に示すように、球SPの赤道に当たる線L1Aを矩形画像Rの長辺L1Bとし、北極と南極を結ぶ線L2Aを矩形画像Rの短辺L2Bとして、球SPを矩形画像Rへと展開したものである。すなわち、正距離円筒図法とは球面SP上の(東西方向の経度値、南北方向の緯度値)ペアで特定される点をそのまま地図(矩形画像R)の(横座標値、縦座標値)ペアで特定される点に割り当てる図法である。ここで球の半径をrとすると、展開される矩形のサイズ(横長さ×縦長さ)は
図3にも示すように(2πr)×(πr)となり、アスペクト比が2:1となる。また、矩形の上辺と下辺は球の極付近が引き伸ばされていることになる。例えば、赤道付近における拡大率は1%以下であるが、赤道と極の中間点では約30%の増加、極近くでは10倍以上にもなる。
【発明を実施するための形態】
【0020】
図4は、本発明の一実施形態に係る動画像符号化装置の機能ブロック図である。動画像符号化装置100は、入力部101、差分器102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、加算器106、ローカル復号画像メモリ107、インループフィルタ108、フレームバッファ109、動き補償部110、制御部111、イントラ予測部112及びスイッチ113を備える。
【0021】
図5は、本発明の一実施形態に係る動画像復号装置の機能ブロック図である。動画像復号装置200は、出力部201、エントロピー復号部204、逆量子化・逆変換部205、加算器206、ローカル復号画像メモリ207、インループフィルタ208、フレームバッファ209、動き補償部210、デプスイントラ予測部211、イントラ予測部212及び制御部213を備える。
【0022】
動画像符号化装置100には、
図3で説明したような360度映像の各フレームを正距円筒図法によって矩形画像Rのフレームとすることで通常形式の動画像となったものが入力される。動画像符号化装置100は当該入力された動画像に種々の予測などを適用してから、これを符号化する。動画像復号装置200は、当該符号化されたデータを復号して、対応する予測などを適用してから、当初の動画像を復号して出力する。
【0023】
なお、動画像符号化装置100をエンコーダ、動画像復号装置200をデコーダと略称する。当該
図4及び
図5にそれぞれ示したエンコーダ及びデコーダの全体的な構成自体に関しては、前掲の非特許文献1などで開示されているHEVCの構成に即したものである。
【0024】
以下、エンコーダ及びデコーダの各部の概要を説明するが、上記の通り当該全体概要の動作はHEVCに即したものである。なお、同一又は対応する処理については、エンコーダ及びデコーダの機能部を併記しながら説明する。
【0025】
入力部101では、正距円筒図法が適用された動画像をエンコーダ側での符号化対象の入力として受け取り、当該データを差分器102に渡す。出力部201では、当該動画像がエンコーダ側で符号化されて得られたビットストリームがデコーダ側で復号されてフレームバッファ209に蓄積されているのを、デコーダ側の出力として、出力する。差分器102は、入力部101から受け取った動画像データにおける信号と、その予測信号として、制御部111の判断によってインター予測部110またはイントラ予測部112が生成した信号と、の差分を求めて、当該差分の値を変換・量子化部103へ渡す。
【0026】
変換・量子化部103は、差分器102より得た差分を、ブロック単位で直交変換して変換係数とし、さらに当該変換係数を量子化して、量子化値をエントロピー符号化部104及び逆量子化・逆変換部105へ渡す。エントロピー符号化部104は、変換・量子化部103から得た量子化値と、制御部111が適宜、必要に応じて出力した予測のパラメータ等(スイッチ113の切り替えで適用されたインター予測部110又はイントラ予測部112における予測のパラメータ等)と、をエントロピー符号化して、エンコーダ側の出力とする。
【0027】
本発明においては特に、変換・量子化部103において正距円筒図法の動画像の特性に適した量子化パラメータによる量子化が行われる。エントロピー符号化部104はまた、上記量子化値に加えてさらに、当該量子化パラメータの差分値も符号化する。これらの詳細については
図6を参照して後述する。
【0028】
エントロピー復号部204は、エンコーダ側がエントロピー符号化部104で出力したビットストリームを、デコーダ側での入力として受け取り、エントロピー復号して、量子化値及び予測パラメータ等並びに量子化値パラメータ差分値を得る。量子化値及び量子化値パラメータ差分値は逆量子化・逆変換部205へ渡され、予測パラメータ等は、制御部211に渡される。
【0029】
逆量子化・逆変換部105(逆量子化・逆変換部205)は、変換・量子化部103(エントロピー復号部204)より受け取った量子化値を、変換・量子化部103の逆の処理によって、逆量子化及び逆変換して、差分値(画素の差分値であり、予測残差としての差分値)となし、加算器106,206に渡す。なお、逆量子化・逆変換部205では当該画素の差分値を得る際に、エントロピー復号部204から受け取った量子化値パラメータ差分値を利用するが、その詳細については
図7を参照して後述する。
【0030】
加算器106,206は、制御部111,211の判断によって、インター予測部110,210またはイントラ予測部112,212のいずれかが生成した予測信号と、逆量子化・逆変換部105,205が出力した差分値(予測残差)と、を加算して、復号された信号となし、当該復号された信号を、ローカル復号画像メモリ107,207に渡す。
【0031】
ローカル復号画像メモリ107,207は、当該復号された信号を保持して、イントラ予測部112,212が予測を行う際の参照に供すると共に、当該復号された信号をインループフィルタ108,208に出力する。インループフィルタ108,208は、当該復号された信号にインループフィルタの処理を施して、フレームバッファ109,209に出力する。
【0032】
フレームバッファ109,209は、フィルタ処理された信号を保持して、インター予測部110,210が予測を行う際の参照に供する。デコーダ側では前述のように、フレームバッファ209は当該フィルタ処理された信号をデコーダの出力として、出力部201へ渡す。
【0033】
インター予測部110,210は、フレームバッファ109,209の参照信号を用いてインター予測(動き予測、画面間予測)を行って予測信号を生成し、スイッチ113,213を経由して当該予測信号を差分器102及び加算器106(デコーダ側では加算器206のみ)へ渡す。動きベクトルなどの予測パラメータは、デコーダ側では、予測信号の生成の際に生成され符号化されるのに対し、エンコーダ側では、予測信号の生成の際に利用される。
【0034】
イントラ予測部112,212は、ローカル復号画像メモリ107,207の参照信号を用いてイントラ予測(画面内予測)を行って予測信号を生成し、スイッチ113,213を経由して当該予測信号を差分器102及び加算器106(デコーダ側では加算器206のみ)へ渡す。イントラ予測における予測モードなどの予測パラメータは、デコーダ側では、予測信号の生成の際に生成され符号化されるのに対し、エンコーダ側では、予測信号の生成の際に利用される。
【0035】
スイッチ113,213は、制御部111,211の制御に従い、当該ブロックにインター予測部110,210が適用された場合には当該インター予測部110,210が出力する予測信号を差分器102及び加算器106(デコーダ側では加算器206のみ)へと通すようにし、当該ブロックにイントラ予測部112,212が適用された場合には当該イントラ予測部112,212が出力する予測信号を差分器102及び加算器106(デコーダ側では加算器206のみ)へと通すようにする。
【0036】
制御部111,211は、動画像符号化装置100の符号化及び動画像復号装置200の復号における全体的な制御を行う。当該制御には動画像の各フレームにおけるインター予測・イントラ予測の適用区別やブロックサイズの設定、
図8で説明する各フレームを分割した符号化木単位における具体的な四分木分割構造の設定などが含まれる。エンコーダ側では、当該制御に必要なパラメータ等を符号化させるようにし、デコーダ側では、復号して当該パラメータを必要とする機能部に渡す。
【0037】
エンコーダ側では、制御部111は、いずれかのインター予測部110又はイントラ予測部112において予測パラメータが生成された場合、
図1に点線で示されるように当該予測パラメータをエントロピー符号化部104へと渡すように制御して、エントロピー符号化部104において当該予測パラメータを符号化させる。デコーダ側では、予測パラメータが復号された場合、対応する予測部(インター予測部210又はイントラ予測部212)へと渡す。
【0038】
なお、
図4,5では、当該制御部111又は211と、予測部110,112又は210,212と、の間における予測パラメータの授受の流れや、当該制御部111,211のその他の制御処理の際の制御対象の機能部との間のデータ授受の流れは、図が煩雑となるため、描くのを省略している。すなわち、
図4,5は符号化及び復号の際の画素関連の処理の流れ(
図6,7を参照して後述する量子化パラメータ関連の処理の流れを除く)に着目して描かれたものであり、その他の制御信号の授受の流れは描くのを省略している。
【0039】
図6は、
図4の変換・量子化部103における量子化パラメータ関連の処理の一実施形態に関してより詳細に示す機能ブロック図である。変換・量子化部103は、変換部15、量子化部16及び導出部50を備え、導出部50はさらに記憶部10、算出部11、予測部12、減算部13及び補正部14を備える。
【0040】
導出部50は全体として、
図1で説明した従来例における導出処理に対応する処理、すなわち、量子化部16で利用する当該ブロックに対する量子化パラメータの導出処理を行う。ここで、算出部11が
図1の算出処理301に対応する処理を行い、記憶部10及び予測部12が
図1の予測処理302に対応する処理を行い、減算部13が
図1の減算処理303に対応する処理を行う。そして、本発明の導出部50は特に、当該対応する
図1の構成に対してさらに、補正部14が追加された構成となることで、
図1の予測処理302に対して補正処理が追加される構成となっている。
【0041】
変換部15及び量子化部16は、前掲の非特許文献1に規定されるHEVCに即した変換処理及び量子化処理を行う。具体的には以下の通りである。
【0042】
変換部15は、差分器102より出力された予測残差に対して離散コサイン変換などの直交変換またはその近似変換などを適用して変換係数となし、当該変換係数を量子化部16へと出力する。量子化部16は、導出部50から出力される当該ブロックに対する量子化パラメータに対応する量子化マトリクスを用いて、変換部15から出力された変換係数を量子化して量子化値となし、エントロピー符号化部104へと出力する。量子化部106で利用する量子化マトリクスは、導出部50から出力された量子化パラメータに加えてさらに、当該ブロックに対して適用された予測(インター予測又はイントラ予測)や当該ブロックのサイズ等に対応した所定のものとすることができる。
【0043】
導出部50は前述の通り、
図1の導出処理に対応する処理を、本発明の補正部14による補正処理を追加したうえで実行する。具体的には以下の通りである。
【0044】
算出部11では、当該符号化対象ブロックの変換係数に対して適用すべき量子化パラメータQPの算出を行い、当該量子化パラメータQPを補正部14へと出力する。ここで、量子化パラメータQPの算出処理には、前掲の非特許文献1に規定されたHEVCに即した算出処理を用いることができ、入力部101を参照して得られる当該符号化対象ブロックの符号化前の状態の画素のアクティビティ、及び/又は、エントロピー符号化部104が継続的に出力している符号化ビットストリームのデータ量実績値の推移と予め設定されている目標ビットレートから定まる当該時点における目標符号量との差分値(すなわち、当該ブロックに割り当て可能な符号量の目安)、に基づいて適切な量子化パラメータQPを算出することができる。
【0045】
ここで、当該ブロックのアクティビティは当該符号化前の状態のブロックの画素値の分散などによって算出することができる。なお、算出部11では上記のようにエントロピー符号化部104の出力する符号化ビットストリームのデータ量を監視するが、当該監視する流れの矢印等は
図6では描くのを省略している。
【0046】
ここで、本発明における算出部11ではさらに、以上のような従来手法通りの量子化パラメータ算出においてさらに、符号化対象の動画像フレームが
図3で説明したような正距円筒図法で用いるものとして構成されていることも考慮したうえで、適切な量子化パラメータの算出を行う。具体的には、以下の通りである。
【0047】
すなわち、以下の(式1)のように、当該ブロック位置が
図3で説明した赤道から北極又は南極の側へと離れているほど、より大きくなる関数値COR(D)(Dは
図3の矩形画像Rにおける赤道線L1Bと当該ブロック位置(重心等)との距離、すなわち当該ブロックの赤道からの乖離距離)を加算することによって、正距円筒図法の映像に適した量子化パラメータQP(D)を得ることができる。
QP(D)=QP(0)+COR(D) …(式1)
【0048】
上記の(式1)においてQP(0)は当該ブロックが基準位置としての赤道位置(D=0の位置)に該当する場合の所定の量子化パラメータであり、前述した従来手法で算出することができる。ここで、上記の(式1)における加算量を定める関数COR(D)は具体的には、以下のような考察に基づいて設定すればよい。
【0049】
場所に応じた球表面と正距円筒図法との画素数の比(拡大率、すなわち、正距円筒図法で与えられるフレームの位置Dにおいて、正距円筒図法によりフレーム内の矩形から球表面に射影した際の面積比)は指数関数ほどではないが、多項式の次数6程度以上で拡大している。また、量子化パラメータは6大きくなるごとに、量子化ステップが2倍になる。例えば、75度〜90度に位置する画素数の比は約7.7倍となる。この関係を考慮して補正するための加算量COR(75度〜90度の位置)を決めると、量子化パラメータの補正値は23となる。これではブロックノイズが発生してしまうため、6程度に抑える必要がある。そこで、当該ブロックの位置Dにおける面積比の対数に比例させた加算値COR(D)とすることで、符号量の削減とブロックノイズの抑制を実現可能となる。
【0050】
上記COR(D)の別の例として、以下の(式1A)のような数式で与えられるCOR2(y)としてもよい。
【0052】
ここで、yは正距円筒図法において画像の高さにより正規化した画像上部(または画像下部)からの距離(値としては0〜1.0)を表す。すなわち、yは距離Dを規格化し、向きの定義付けを変更したもの(Dは赤道中心からの乖離であるのに対して、yは極の側からの乖離である)に相当し、COR(D)=COR2(y)として表現したものに相当する。clip(v,V)は値vを0以上V以下にするクリップ関数、floor(v)は値vを整数にする切り捨て関数である。係数aとbは補正値である。例えばaとbは9.0と10.0とする。
【0053】
以上、算出部11では各ブロックにおいて、従来通りのHEVCに即した算出処理によって前述の通り画素のアクティビティ及び/又は目標符号量との差分値によって算出される量子化パラメータを、(式1)におけるQP(0)の値すなわち基準値としての赤道位置を想定した場合の値(当該ブロックが仮に赤道位置にあった場合を想定しての基準値)として求めたうえで、(式1)における加算量COR(D)又はその別の例としての(式1A)におけるCOR2(y)を加えることで、位置Dを考慮した適切な量子化パラメータQP(D)を求めることができる。
【0054】
また、上記では赤道位置の場合を基準値として従来通りのHEVCに即した算出処理による量子化パラメータの値を求めるものとしたが、基準値となる位置は赤道位置から離れた位置に設定するようにしてもよい。
【0055】
記憶部10では、算出部11が上記のように算出した量子化パラメータQP(QP(D))を記憶することで、当該記憶した量子化パラメータを次に説明する予測部12の予測処理のための参照に供する。
【0056】
予測部12では、当該現在の量子化ブロックよりも過去に既に符号化され記憶部10に記憶されている量子化パラメータQPを参照することで、当該現在の量子化ブロックに対して適用すべき量子化パラメータの予測値QP[予測]を求め、補正部14へと出力する。
【0057】
補正部14では、当該現在の量子化ブロックが一定の条件に該当する場合に、予測部12から出力された予測値QP[予測]を補正して補正された量子化パラメータ予測値QP[予測][補正]となし、減算部13へと出力する。補正部14では、当該一定の条件に該当しない場合は、予測部12から出力された予測値QP[予測]に対して補正を行うことなくそのままの値で、減算部13へと出力する。当該一定条件及び補正の詳細に関しては後述する。
【0058】
減算部13では、当該量子化ブロックに対して算出部11より算出された量子化パラメータQP(QP(D))から、予測部12で予測され補正部14で一定条件該当の場合に補正された予測量子化パラメータQP[予測][補正](当該表記で補正される場合とされない場合の両方の値を示すものとする。以下同様。)を減算して差分量子化パラメータΔQPを得て、当該差分量子化パラメータΔQPを符号化対象としてエントロピー符号化部104へと出力する。
【0059】
予測部12による予測処理は、前掲の非特許文献2又は特許文献1に即したものを利用することができる。すなわち、前述の通り、(1)当該フレームに設定された量子化パラメータ、または(2)当該量子化ブロックに隣接する量子化ブロックにおける量子化パラメータ、または(3)符号化順(復号順)でひとつ前に利用した量子化パラメータを用いて、予測部12は予測を行う。ここで、(2)及び(3)は記憶部10に記憶されており、(1)についても設定値として記憶部10に記憶しておくことができる。
【0060】
具体的には、以下の(式2)のように、原則として当該量子化ブロックの左隣の量子化ブロックの量子化パラメータQP[LEFT]と、当該量子化ブロックの上隣の量子化ブロックの量子化パラメータQP[ABOVE]と、の平均値を予測値QP[予測]とする。
QP[予測]=(QP[LEFT]+QP[ABOVE])/2 …(式2)
【0061】
ただし、例外として、上記(式2)において平均値として予測するに際して、当該量子化ブロックの左隣の量子化ブロックが異なる符号化木ブロックに属している場合はQP[LEFT]の値を符号化順(復号順)でひとつ前に利用した量子化パラメータQP[PREV]の値に置き換えるようにし、同様に、当該量子化ブロックの上隣の量子化ブロックが異なる符号化木ブロックに属している場合はQP[ABOVE]の値を符号化順(復号順)でひとつ前に利用した量子化パラメータQP[PREV]の値に置き換えるようにする。従って、当該量子化ブロックの左隣と上隣の両ブロックが異なる符号化木ブロックに属している場合は、QP[予測]=QP[PREV]となる。また、予測が利用できない場合や指定されている場合は前述の通り(1)当該フレームに設定された量子化パラメータを予測値として用いることができる。
【0062】
ここで、上記の予測部12による予測(非特許文献2の従来手法の予測)をそのまま適用すると、一定条件に該当する場合に、算出部11において正距円筒図法のフレームを想定して算出されている量子化パラメータQP(D)の予測値として不適切となる(すなわち、減算部13で得られる差分量ΔQPが大きくなってしまう)ことがある。具体的に、当該一定条件に該当する場合とは以下の(条件A)の通りである。
(条件A)…当該量子化ブロックがフレーム左端に位置しており、かつ当該量子化ブロックと、隣接する上と左の両量子化ブロックとが異なる符号化木ブロック(CTU)に属している場合
【0063】
図8は、HEVCにおける符号化木ブロック(CTU)と、当該CTUを構成する量子化ブロックの一例を示す図である。
図8では、符号化木ブロックCTUの一例として、ブロックCTUがサイズ64×64で構成されており、図示するような13個の個別の量子化ブロック(すなわち変換ブロックであり符号化ブロックでもある)TU1〜TU13を含んで構成される場合が示されている。符号化木ブロックCTUには所定の量子化(及びこれに伴う符号化)の順序が定めされており、当該ブロックTU1〜TU13は付与した符号の順番(TU1→TU2→TU3→ … →TU12→TU13の順番)に量子化される。図示する通り、ブロックTU9のみがその他のブロックの2倍のサイズ(32×32)であり、その他のブロックはサイズ(16×16)で構成されている。
【0064】
例えば、ブロックTU8とブロックTU9との間は空間的に離れてしまっているため、ブロックTU9の量子化パラメータとしてブロックTU8のものを利用すると不都合が生ずる。また、ブロックTU9の左隣は別の符号化木ブロックとなっており、これも予測のための参照領域としては不適切である。そこで、ブロックTU9の量子化パラメータの予測のために、ブロックTU3を参照して利用するといったことが、予測部12(前掲の非特許文献2の予測手法)によって可能となる。
【0065】
一方、
図9は、前述の(条件A)に該当する量子化ブロックの模式例を示す図であり、フレームFの模式例として、横4個×縦3個の合計12個のCTUで構成される例が示されている。
図9の一連のCTUのうち、「当該量子化ブロックがフレーム左端に位置している」ものは、太枠で示すフレーム左端(ラスタスキャン順で早い側)の3個のCTU内の最も左側にあるTU20〜TU25の6個であり、且つ、当該6個のうち、当該量子化ブロックの左隣及び上隣(の両方)が当該CTUと異なるCTUに属しているものは、グレー表記で示したTU20,TU22,TU24の3個であり、これらが(条件A)に該当する例である。なお、当該
図9の例においては、符号化木ブロック内でのスキャン順は、
図8で例示したものと概ね同様であることを想定している。
図9では当該図示しているTU以外の箇所は任意のTUに分割されているものとし、特にTUの分割の詳細は図示していない。
【0066】
これら(条件A)に該当するTU20,TU22,TU24に関して、予測部12による予測を適用することを考えると、次のような不都合が生ずる。すなわち、TU20に関しては、フレームFの先頭CTUの先頭量子化ブロックであるため、そもそも予測(イントラ予測)として参照するのに適切な量子化ブロックが存在しない。また、TU22に関しては、一段上側にあり且つフレーム右端のCTU内にあるTU220が予測参照ブロックとなる。しかしながら、TU220はTU22と縦方向での位置Dの相違があるため、(式1)によって定まる適切な量子化パラメータの値に、COR(D)の項のDの値の相違によって発生する差分がある。従って、単純に予測部12の予測を適用すると当該位置Dの相違によって発生した差分が、ゼロとならずに減算部13での符号化対象として残ってしまい、余分な符号化量を発生させてしまう。同様に、TU24に関しても予測部12の予測ではTU240が参照されることとなるが、COR(D)のDの値の相違に起因する差分が、余分な符号化量を発生させる。
【0067】
そこで、本発明の補正部14においては、第一実施形態として、上記のように当該量子化ブロックが(条件A)に該当する場合に、予測参照される量子化ブロックの縦方向位置の相違によって発生してしまう、適切な予測値に対する差分をゼロとするように、補正処理を行う。具体的には、当該量子化ブロックの縦位置がD[現在]であり、予測部12が前述の(式2)によって予測値を計算するために参照する量子化ブロック((条件A)に該当することから当該量子化ブロックによる予測値QP[予測]の値はQP[PREV]となる)の縦位置がD[参照]であるとすると、予測部12の予測値QP[予測]を以下の(式3)のように補正して、補正値QP[予測][補正]を得る。(式3)のCOR(D)については(式1)で説明した通りである。前述の通り、(式3)のCOR(D)の代わりに(式1A)で与えられるCOR2(y)を用いてもよい。
QP[予測][補正]=QP[予測]+COR(D[現在])-COR(D[参照]) …(式3)
【0068】
補正部12ではまた、第二実施形態として、以下の(式4)のように補正値QP[予測][補正]を得てもよい。
QP[予測][補正]=QP[付与] …(式4)
(式4)において、QP[付与]は、当該量子化ブロックの属するスライスに付与されている量子化パラメータであり、具体的な値は前述の(式1)すなわち算出部11が当該位置Dの量子化ブロックにおいて適切な量子化パラメータとして計算する値を設定しておけばよい。
【0069】
(式3)による第一実施形態では「COR(D[現在])-COR(D[参照])」の項によって差分(すなわち相対値)として予測部12の予測値を補正しており、一方、(式4)による第二実施形態では、位置Dに依存する絶対値QP[付与]で予測部12の予測値を(いわば完全に上書きして置き換えることにより)補正している。以上では、
図6を参照してエンコーダ側の補正処理を担う補正部14を説明したが、次に説明するように、デコーダ側でも全く同様の補正処理が補正部24によって行われる。補正部24も上記第一実施形態又は第二実施形態による補正処理を行うが、当該補正処理を可能とすべく、エンコーダ側とデコーダ側とは(式1)が共通であるものとする。(式1)の情報のうち、関数COR(D)の情報を参照することで、エンコーダ側の補正部24では第一実施形態が可能となる。また、(式1)の情報全体を参照することで、エンコーダ側の補正部24では第二実施形態が可能となる。(式1)の利用の有無はピクチャ単位のフラグをサイド情報として送る。
【0070】
なお、前述の第一実施形態の補正部14による、(式3)による「COR(D[現在])-COR(D[参照])」の項による差分として予測部12の予測値を補正する手法と実質的に同一のアプローチとなる第三実施形態として、次のようにしてもよい。すなわち、(条件A)に該当する量子化ブロックに関しては、(式3)で与えられる「COR(D[現在])-COR(D[参照])」の項による差分を当該量子化ブロックに対応する差分量子化パラメータ(ΔQP)の値として符号化しておけばよい。さらに、(条件A)に該当する量子化ブロックに関しては、当該量子化ブロックに対して予測部12で得られる予測値QP[予測]と、当該差分量子化パラメータΔQPと、を加算して得られる量子化パラメータを符号化することで、当該量子化ブロックの位置D(すなわち、フレーム内縦方向位置D)に該当する場合の基準値としての量子化パラメータをデコーダ側でも参照可能とすることができる。なお、当該参照可能とするための加算処理及び符号化処理の流れは、
図6(補正部14が省略された構成の
図6)では描くのを省略している。
【0071】
当該第三実施形態においては、(条件A)に該当する量子化ブロックに直接、適切な差分量子化パラメータ(ΔQP)を対応付けて符号化することとなり、非特許文献2の手法に従う予測部12では前述の通り(1)〜(3)の3種類のいずれかの手法で予測する。従って、当該第三実施形態において結果的に補正部12は省略されることとなる。
【0072】
図7は、
図5の逆量子化・逆変換部205の量子化パラメータ関連の処理の一実施形態に関してより詳細に示す機能ブロック図である。逆量子化・逆変換部205は、逆量子化部26、逆変換部25及び導出部60を備え、導出部60はさらに記憶部20、予測部22、加算部23及び補正部24を備える。
【0073】
導出部60は全体として、
図2で説明した導出処理に対応する処理、すなわち、逆量子化部26で利用する当該ブロックに対する量子化パラメータの導出処理を行う。ここで、記憶部20及び予測部22が
図2の予測処理402に対応する処理を行い、加算部23が
図2の加算処理403に対応する処理を行う。そして、本発明の導出部60は特に、当該対応する
図2の構成に対してさらに、補正部24が追加された構成となっている。
【0074】
逆量子化部26及び逆変換部25は、前掲の非特許文献1に規定されるHEVCに即した逆量子化処理及び逆変換処理を行う。具体的には以下の通りである。
【0075】
逆量子化部26は、エントロピー復号部104から出力された量子化値に対して導出部60で得られた当該ブロックの量子化パラメータに対応する量子化マトリクスを逆に適用して変換係数となし、当該変換係数を逆変換部25へと出力する。逆変換部25は当該変換係数を逆変換して予測残差となし、加算器206へと出力する。すなわち、逆量子化部26及び逆変換部25はそれぞれ、
図6の量子化部16と変換部15の逆の処理を行う。
【0076】
導出部60は前述の通り、
図2の導出処理に対応する処理を、本発明の補正部24による補正処理を追加したうえで実行する。具体的には以下の通りである。
【0077】
加算部23は、エントロピー復号部205より復号されて得られる差分量子化パラメータΔQPと、補正部24より得られる量子化パラメータ予測値の補正値QP[予測][補正]と、を加算することによって当該ブロックに対する復号された量子化パラメータQP= QP[予測][補正]+ΔQPを求め、逆量子化部26及び記憶部20へと出力する。
【0078】
記憶部20では、加算部23が出力した補正値としての量子化パラメータQPを記憶することで、当該記憶した値QPを次に説明する予測部22の予測処理のための参照に供する。すなわち、当該デコーダ側の記憶部20の予測部22に対する役割は、エンコーダ側の記憶部10の予測部12に対する役割と同様である。
【0079】
予測部22は、記憶部20を参照して、当該対象となる量子化ブロックに対する量子化パラメータQP[予測]を求めて補正部24へと出力する。当該デコーダ側の予測部22の当該予測処理は、
図6で説明したエンコーダ側の予測部12の予測処理と同様であるため、その詳細な説明は省略する。
【0080】
補正部24は、予測部22より得られた予測値QP[予測]を補正して予測値の補正値QP[予測][補正]を得て、加算部23へと出力する。当該デコーダ側の補正部24による当該補正処理は、
図6で説明したエンコーダ側の補正部14の補正処理と同様であるため、その詳細な説明は省略する。なお、エンコーダ側の補正部14で説明した通り、デコーダ側の補正部24においても、当該復号対象の量子化ブロックが(条件A)に該当する場合に、第一実施形態又は第二実施形態によって予測値QP[予測]を補正して加算部23へと出力し、(条件A)に該当しない場合には、予測部22より得られた予測値QP[予測]の値を補正することなくそのまま、加算部23へと出力する。
【0081】
さらに、エンコーダ側の補正部14で説明した通り、エンコーダ側が前述の第三実施形態を取り、(条件A)に該当する量子化ブロックに対して直接、差分量子化パラメータを符号化する場合、デコーダ側の補正部24も省略可能である。
【0082】
すなわち、第三実施形態はエンコーダ側及びデコーダ側の全体として、次のような効果を奏することが可能である。エンコーダ側においては、(条件A)に該当する量子化ブロックについては前述の通り、フレーム内縦方向位置Dに応じた正距離円筒図法を考慮した適切な量子化パラメータを予測部22に予測処理と加算部23に差分量子化パラメータの加算処理を行わせることによって得たうえで符号化すると共に、差分量子化パラメータを符号化してデコーダ側にも伝達する。
【0083】
デコーダ側は同じく、(条件A)に該当する量子化ブロックについては、予測部22は当該量子化ブロックに対応する予測値を出力し、当該伝達された差分量子化パラメータΔQPを加算する。従って、補正部24はスキップされ、加算部23が出力した量子化パラメータがそのまま、逆量子化部26において利用される。デコーダ側ではまた、HEVCに即した既存の復号装置の枠組みに従って、前述したエンコーダ側で符号化された当該量子化ブロックの位置D(すなわち、フレーム内縦方向位置D)に該当する場合の基準値としての量子化パラメータを復号して参照可能とするが、当該参照可能とするための処理の流れは
図7(補正部24が省略された構成の
図7)では描くのを省略している。
【0084】
以上、エンコーダ側及びデコーダ側の両者において(条件A)に該当する場合は、適切な差分量子化パラメータ(本発明特有の正距離円筒図法を考慮した適切な差分量子化パラメータ)を利用するよう動作を制御することは、前掲の非特許文献2の予測の枠組み内で可能である。さらに、(条件A)に該当しない量子化ブロックに関しても、エンコーダ側及びデコーダ側の両者において、(条件A)の量子化ブロックにおいて与えられている適切な量子化パラメータをもとに、予測部12,22が、前掲の非特許文献2の手法によって適切な予測量子化パラメータを求めることができる。
【0085】
すなわち、第三実施形態では、以上のように動作することで、
図6における補正部14を省略し、且つ、
図7における補正部24を省略した構成によって、エンコーダ側及びデコーダ側の両者において、前掲の非特許文献2の手法に即した予測部12,22の動作で、正距離円筒図法を考慮した適切な符号化及び復号が可能となる。
【0086】
以上、本発明によれば、正距円筒図法形式 のフレームで構成された動画像の量子化パラメータを適切に設定し、且つ、当該量子化パラメータを適切に予測して符号化又は復号することができる。本発明の動画像符号化装置100(
図4)及び動画像復号装置(
図5)は、一般的な構成のコンピュータ、すなわち、CPU、当該CPUにワークエリアを提供する一次メモリ、所定データやプログラム等を格納する二次記憶装置などを備えた一般的な構成のコンピュータによって、
図4及び
図5(並びに
図6及び
図7)の各部の機能を所定プログラムを読み込んで実行するCPUが実現することができる。また、
図4及び
図5(並びに
図6及び
図7)のうちの任意の一部分又は全部を、汎用的なCPUがプログラムを実行することによって実現するのに代えて、専用ハードウェア(専用LSIなど)によって実現するようにしてもよい。