(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-05
(45)【発行日】2024-03-13
(54)【発明の名称】符号化装置、復号装置及びプログラム
(51)【国際特許分類】
H04N 19/12 20140101AFI20240306BHJP
H04N 19/129 20140101ALI20240306BHJP
H04N 19/159 20140101ALI20240306BHJP
H04N 19/176 20140101ALI20240306BHJP
【FI】
H04N19/12
H04N19/129
H04N19/159
H04N19/176
(21)【出願番号】P 2021032134
(22)【出願日】2021-03-01
(62)【分割の表示】P 2016103693の分割
【原出願日】2016-05-24
【審査請求日】2021-03-01
【審判番号】
【審判請求日】2022-12-23
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】岩村 俊輔
(72)【発明者】
【氏名】市ヶ谷 敦郎
【合議体】
【審判長】畑中 高行
【審判官】川崎 優
【審判官】高橋 宣博
(56)【参考文献】
【文献】特許第7093152(JP,B2)
【文献】米国特許出願公開第2012/0057630(US,A1)
【文献】国際公開第2012/096194(WO,A1)
【文献】Iwamura,S.,et al.、Direction-dependent scan order with JEM tools、Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH,26 May -1 June 2016,Document:JVET-C0069(version 2)、2016年5月18日
【文献】Ankur Saxena et al.、CE7: Mode-dependent DCT/DST for intra prediction in video coding,Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting:Daegu,KR,20-28 January,2011 Document:JCTVC-D033(version 4)、2011年1月22日
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
動画像を構成するフレーム単位の原画像をブロックに分割して符号化する符号化装置であって、
イントラ予測処理の種別を示すイントラ予測モードを用いて、符号化の対象ブロックに対応する予測画像を生成するイントラ予測部と、
前記イントラ予測部によって生成された前記予測画像と前記対象ブロックとの差分により残差信号を生成する残差信号生成部と、
ブロック符号化順に応じて定められる、前記予測画像の生成に
利用可能な復号済み参照画素の位置と、前記イントラ予測モードとに応じて、予め規定されている
直交変換処理群の中から適用する
直交変換処理を選択する変換部と
、を具備する符号化装置。
【請求項2】
前記変換部は、前記参照画素の位置と前記イントラ予測モードとに応じて、DCT及びDSTを含む直交変換処理群の中から、前記対象ブロック単位で適用する直交変換処理として1つの直交変換処理を選択する請求項1に記載の符号化装置。
【請求項3】
動画像を構成するフレーム単位の原画像を分割して得たブロック単位で復号する復号装置であって、
イントラ予測処理の種別を示すイントラ予測モードを復号するエントロピー復号部と、
前記イントラ予測モードを用いて、復号の対象ブロックに対応する予測画像を生成するイントラ予測部と、
量子化された変換係数に対して、逆量子化処理を施す逆量子化部と、
ブロック復号順に応じて定められる、前記予測画像の生成に
利用可能な復号済み参照画素の位置と、前記イントラ予測モードとに応じて、予め規定されている逆
直交変換処理群の中から適用する逆
直交変換処理を選択する逆変換部と
、を具備す
る復号装置。
【請求項4】
前記逆変換部は、前記参照画素の位置と前記イントラ予測モードとに応じて、逆DCT及び逆DSTを含む逆直交変換処理群の中から、前記対象ブロック単位で適用する逆直交変換処理として1つの逆直交変換処理を選択する請求項3に記載の復号装置。
【請求項5】
コンピュータを、請求項1に記載の符号化装置として機能させるためのプログラム。
【請求項6】
コンピュータを、請求項
3に記載の復号装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、符号化装置、復号装置及びプログラムに関する。
【背景技術】
【0002】
H.265/HEVC(High Efficiency Video Coding)に代表される動画像(映像)符号化方式では、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の2種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロピー符号化処理を行い得られたストリームを出力するように構成されている。
【0003】
HEVCにおけるイントラ予測では、Planar予測やDC予測や方向予測の計35種類のイントラ予測モードが用意されており、エンコーダで決定されたイントラ予測モードに従って、隣接する復号済み参照画素を用いてイントラ予測を行うように構成されている。以下、特に記載が無い場合には、「参照画素」という記載は、復号済み参照画素を示すものとする。
【0004】
ここで、HEVCにおけるイントラ予測では、フレーム内で最も左上に位置する符号化対象ブロック(以下、「CU:Coding Unit」と呼ぶ)等、隣接する参照画素が存在しないCUでは、規定した値(10ビットの動画像であれば「512」)を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されている。
【0005】
また、従来のHEVCでは、符号化処理が、左上からラスタースキャン順に行われるために、参照画素が復号済みでない場合がある。このような場合には、最も近い復号済み参照画素を0次外挿した値を用いて予測画像を生成するように構成されている。
【0006】
とりわけ、従来のHEVCにおけるイントラ予測では、ラスタースキャン順による符号化処理により、CUの左下側や右上側に位置する参照画素が復号済みでない場合が多く、このような場合に、復号済みでない参照画素が存在する方向からの方向予測を行うと予測精度が低下し、符号化効率が低減してしまうという問題点があった。
【0007】
かかる問題点を解決するために、イントラ予測において、CU内に存在する複数の変換ブロック(以下、「TU:Transform Unit」と呼ぶ)に対する符号化処理順として、ラスタースキャン順(例えば、Z型)の他、U型やX型等の符号化順に自由度を持たせることによって予測精度の向上を図る技術が知られている(非特許文献1参照)。
【0008】
また、HEVCで用いられているイントラ予測は、空間的に隣接する上側又は左側の参照画素を利用した予測であり、参照画素に近い位置の予測画素の精度が高く、参照画素から遠い位置の予測画素の精度が低くなる傾向にある(
図10参照)。
【0009】
なお、本明細書の図において、イントラ予測モードの方向(予測方向)を示す矢印は、HEVC規格書における記載と同様に、イントラ予測の対象の画素から参照画素に向かうものとする(以下同様)。
【0010】
従来のHEVCでは、かかる性質を利用し、参照画素の位置する左側及び上側の方向から水平方向及び垂直方向に離散サイン変換(DST:Discrete Sine Transform)或いは離散コサイン変換(DCT:Discrete Cosine Transform)等の直交変換処理を適用し、残差信号のエントロピーを減少させている。
【0011】
特に、
図11に示すように、DSTのインパルス応答の形状は、その端点の一方が閉じており、その端点の他方が広がるような非対称な形状をしているため、
図12に示すように、残差信号の信号強度に合わせてDSTを適用することで、エントロピーの減少を効果的に行うことができる。
【0012】
ところで、非特許文献2では、従来のHEVCで採用されている直交変換処理(DCT-II、DST-VII)に加えて、選択できる直交変換処理の基底の種類を増加する技術が記載されている。
【0013】
非特許文献2に記載されている技術によれば、残差信号のエネルギーをより集中させる(エントロピーを削減可能な)最適な直交変換処理を選択することで、符号化効率を改善することができる。
【0014】
一方で、直交変換処理の基底の種類を増やすことにより、適用した直交変換処理がどれであったかを示すフラグ情報の伝送及び蓄積に必要な情報量が増大してしまうという問題点がある。
【0015】
かかる問題点を防ぐため、非特許文献2に記載されている技術では、イントラ予測モードに応じて、イントラ予測によって得られる残差信号に対する直交変換処理を選択するように構成されている。
【0016】
その理由としては、イントラ予測を行う方向により残差信号のエネルギー分布の傾向に統計的な偏りがあるためであり、エントロピー低減の効果が統計的に高い直交変換処理に選択肢を限定することで、適用した直交変換処理の基底を示すフラグ情報の伝送及び蓄積に必要な情報量を低減させることが可能となる。
【先行技術文献】
【非特許文献】
【0017】
【文献】望月等、「平均値座標に基づいた適用イントラ予測方式」、情報処理学会研究報告、vol、2012-AVM-77、No.12
【文献】X.Zhao、J.Chen、M.Karczewicz、「Mode-dependent non-separable secondary transform」、ITU-T SG16/Q6 Doc. COM16-C1044、2015年10月
【発明の概要】
【発明が解決しようとする課題】
【0018】
しかしながら、非特許文献2に記載されている技術では、イントラ予測モードにおいて用いられる参照画素の位置を考慮することなく、イントラ予測モードに応じて、選択可能な直交変換処理の基底群(直交変換処理群)を決定するように構成されている。
【0019】
ここで、右側や下側の参照画素を用いたイントラ予測により得られる残差信号の特徴は、上側や左側の参照信号を用いたイントラ予測により得られる残差信号の特徴とは異なる。
【0020】
したがって、非特許文献2に記載されている技術では、右側や下側の参照画素を用いたイントラ予測が行われる場合に、イントラ予測モードのみで選択可能な直交変換処理群を切り替えてしまうと、統計的にエントロピー低減の効果が高くない選択肢の中から適用する直交変換処理を選択することとなり、かえってエントロピーが増大し、符号化性能が低下する可能性があるという問題点があった。
【0021】
そこで、本発明は、上述した課題を解決するためになされたものであり、イントラ予測において、エントロピーを効率的に低減させ、符号化性能を向上させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0022】
本発明の第1の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記イントラ予測部によって生成された前記予測画像と前記原画像との差分により残差信号を生成するように構成されている残差信号生成部と、前記予測画像の生成に用いる参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、前記残差信号生成部によって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されている反転部と、前記イントラ予測モードと前記予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている直交変換処理群の中から適用する直交変換処理を選択し、前記反転部によって反転された前記残差信号に対して、選択した前記直交変換処理を施すように構成されている直交変換部とを具備することを要旨とする。
【0023】
本発明の第2の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、量子化された変換係数に対して、逆量子化処理を施すように構成されている逆量子化部と、前記イントラ予測モードと前記予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている逆直交変換処理群の中から適用する逆直交変換処理を選択し、前記逆量子化部から出力された信号に対して、選択した前記逆直交変換処理を施すように構成されている逆直交変換部と、前記参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、前記逆直交変換部から出力された信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されている反転部とを具備することを要旨とする。
【0024】
本発明の第3の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記イントラ予測部によって生成された前記予測画像と前記原画像との差分により残差信号を生成するように構成されている残差信号生成部と、前記イントラ予測モードと前記予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている直交変換処理群の中から適用する直交変換処理を選択するように構成されている直交変換部とを具備しており、前記直交変換部は、前記参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、前記残差信号生成部によって生成された残差信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で、選択した前記直交変換処理を施すように構成されていることを要旨とする。
【0025】
本発明の第4の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、量子化された変換係数に対して、逆量子化処理を施すように構成されている逆量子化部と、前記イントラ予測モードと前記予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている逆直交変換処理群の中から適用する逆直交変換処理を選択するように構成されている逆直交変換部とを具備しており、前記逆直交変換部は、前記参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、前記逆量子化部から出力された信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で、選択した前記逆直交変換処理を施すように構成されていることを要旨とする。
【0026】
本発明の第5の特徴は、コンピュータを、上述の第1及び第3の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。
【0027】
本発明の第5の特徴は、コンピュータを、上述の第2及び第4の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。
【発明の効果】
【0028】
本発明によれば、イントラ予測において、エントロピーを効率的に低減させ、符号化性能を向上させることができる符号化装置、復号装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0029】
【
図1】
図1は、第1の実施形態に係る符号化装置1の機能ブロックの一例を示す図である。
【
図2】
図2は、第1の実施形態に係る符号化装置1の直交変換・量子化部14cの機能ブロックの一例を示す図である。
【
図3】
図3は、第1の実施形態において用いられるイントラ予測モードの方向の一例を示す図である。
【
図4】
図4は、第1の実施形態における予測画像の生成方法の一例を示す図である。
【
図5】
図5は、第1の実施形態における予測画像の生成方法の一例を示す図である。
【
図6】
図6は、第1の実施形態に係る符号化装置1の動作の一例を示すフローチャートである。
【
図7】
図7は、第1の実施形態に係る復号装置3の機能ブロックの一例を示す図である。
【
図8】
図8は、第1の実施形態に係る復号装置3の逆量子化・逆変換部33bの機能ブロックの一例を示す図である。
【
図9】
図9は、第1の実施形態に係る復号装置3の動作の一例を示すフローチャートである。
【
図10】
図10は、従来技術について説明するための図である。
【
図11】
図11は、従来技術について説明するための図である。
【
図12】
図12は、従来技術について説明するための図である。
【発明を実施するための形態】
【0030】
(第1の実施形態)
以下、
図1~
図9を参照して、本発明の第1の実施形態に係る符号化装置1及び復号装置3について説明する。
【0031】
ここで、本実施形態に係る符号化装置1及び復号装置3は、HEVC等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお、本実施形態に係る符号化装置1及び復号装置3は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。
【0032】
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像をCUに分割して符号化するように構成されている。また、本実施形態に係る符号化装置1は、CUを複数のTUに分割することができるように構成されていてもよい。以下、本実施形態では、CUを複数のTUに分割するケースを例に挙げて説明するが、本発明は、CUを複数のTUに分割しないであって、当該CUの参照画素の位置が下側や右側を含む場合ケースにも適用可能である。
【0033】
なお、本実施形態では、フレーム内で最も左上に位置するCU等、隣接する復号済み参照画素が存在しない符号化対象のCUでは、規定した値(10ビットの動画像であれば「512」)を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されているため、符号化対象のCUの左側に隣接する画素について全て参照画素とすることができるものとする。
【0034】
図1に示すように、本実施形態に係る符号化装置1は、イントラ予測モード決定部11と、TU分割決定部12と、符号化順制御部13と、逐次局部復号画像生成部14と、メモリ15と、エントロピー符号化部16とを具備している。
【0035】
イントラ予測モード決定部11は、CUに適用する最適なイントラ予測モードを決定するように構成されている。
【0036】
TU分割決定部12は、CUを複数のTUに分割するか否かについて決定するように構成されている。なお、本実施形態では、CUを複数のTUに分割する方法として、4分割のケースを例に挙げて説明しているが、CUを複数のTUに分割する際の分割数や分割形状については、かかるケースに制限されるものではない。
【0037】
符号化順制御部13は、イントラ予測モード(例えば、イントラ予測モードの方向)に基づいてCU内のTUの符号化順を決定するように構成されている。
【0038】
例えば、符号化順制御部13は、TU分割決定部12によってCUを複数のTUに分割することが決定された場合に、イントラ予測モード決定部11によって決定されたイントラ予測モードの方向が左下から右上に向かう方向である場合(すなわち、左下から右上に向かって方向予測が行われる場合)に、CU内のTUの符号化順として、従来のラスタースキャン順でなく、CU内の左下のTU→CU内の右下のTU→CU内の左上のTU→CU内の右上のTUという符号化順、或いは、CU内の左下のTU→CU内の左上のTU→CU内の右下のTU→CU内の右上のTUという符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。
【0039】
逐次局部復号画像生成部14は、符号化順制御部13によって決定された符号化順及びCUのTUへの分割方法に基づいて局部復号画像(TUごとの復号画像)を生成するように構成されている。
【0040】
具体的には、逐次局部復号画像生成部14は、TU分割決定部12によってCUを複数のTUに分割することが決定された場合に、符号化順制御部13により決定された符号化順に従って、逐次、局部復号画像を生成するように構成されている。
【0041】
図1に示すように、逐次局部復号画像生成部14は、イントラ予測部14aと、残差信号生成部14bと、直交変換・量子化部14cと、逆量子化部・逆直交変換部14dと、局部復号画像生成部14eとを具備している。
【0042】
イントラ予測部14aは、イントラ予測モード決定部11により決定されたイントラ予測モードを用いて予測画像を生成するように構成されている。すなわち、イントラ予測部14aは、かかるイントラ予測モードに応じて予測画像を生成する際に用いる参照画素の位置を決定し、かかる参照画素を用いて予測画像を生成するように構成されている。
【0043】
さらに、イントラ予測部14aは、符号化順制御部13によって決定された符号化順で、予測画像を生成するように構成されていてもよい。
【0044】
残差信号生成部14bは、イントラ予測部14aによって生成された予測画像と原画像との差分により残差信号を生成するように構成されている。
【0045】
直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成されている。
【0046】
図2に示すように、直交変換・量子化部14cは、反転部14c1と、直交変換部14c2と、量子化部14c3とを具備している。
【0047】
反転部14c1は、予測画像の生成に用いる参照画素の位置に右側及び下側の少なくとも一方が含まれる場合(右側及び下側の少なくとも一方に隣接する参照画素を用いて予測画像を生成する場合)に、残差信号生成部14bによって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されている。
【0048】
例えば、反転部14c1は、参照画素の位置に下側が含まれる場合(下側に隣接する参照画素を用いて予測画像を生成する場合)に、残差信号を垂直方向に反転するように構成されていてもよい。
【0049】
或いは、反転部14c1は、参照画素の位置に右側が含まれる場合(右側に隣接する参照画素を用いて予測画像を生成する場合)に、残差信号を水平方向に反転するように構成されていてもよい。
【0050】
直交変換部14c2は、反転部14c1によって反転された残差信号に対して直交変換処理を施すように構成されている。
【0051】
具体的には、直交変換部14c2は、イントラ予測モードと予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている直交変換処理群(直交変換の基底群)の中から適用する直交変換処理を選択し、反転部14c1によって反転された残差信号に対して、選択した直交変換処理を施すように構成されている。
【0052】
図3に、本実施形態において用いられるイントラ予測モードの一例について示す。
図3に示すように、本実施形態では、イントラ予測モード2~9は、カテゴリAに分類され、イントラ予測モード10~26は、カテゴリBに分類され、イントラ予測モード27~34は、カテゴリCに分類されるものとする。
【0053】
なお、本実施形態では、
図3に示すHEVCにおけるイントラ予測モードを用いる例について説明するが、本発明は、他のイントラ予測モードが用いられる例に対しても適用可能である。
【0054】
ここで、予測画像と原画像との差分により得られる残差信号は、直交変換処理を用いて直交変換係数に変換される。直交変換処理により残差信号のエネルギーが集中することにより、後段のエントロピー符号化処理での符号化効率を向上させることができる。
【0055】
HEVCにおいては、DCT及びDSTが適用可能な直交変換処理として用意され、ブロックサイズや予測モードに応じて切り替えながら直交変換処理が行われる。
【0056】
ここで、直交変換処理は、DSTやDCT等に限定されるものではなく、エネルギーを集中させる目的で残差信号に対して適用する変換処理(高速化のため整数化したものを含む)であれば、どのような変換処理であっても良い。
【0057】
選択可能な直交変換処理の種類を増加させることで、様々なエネルギー分布を有する残差信号に対して、よりエネルギーが集中する直交変換処理を選択できる可能性は高くなるが、一方で、どの直交変換処理を適用するかを示すフラグ情報の伝送及び蓄積に必要な情報量は増大する。
【0058】
なお、残差信号のエネルギー分布は、イントラ予測に用いる参照画素からの距離に統計的に相関関係がある。このため、左側の参照画素のみを用いるイントラ予測モードと、左側及び上側の参照画素を用いるイントラ予測モードでは、残差信号のエネルギー分布は異なる。
【0059】
したがって、非特許文献2に記載されている技術は、残差信号のネネルギー分布の偏りとイントラ予測モードの方向との相関性を利用して、イントラ予測モードの方向に応じて選択可能な直交変換処理群を切り替えるように構成されている。
【0060】
図4(a)及び
図4(b)に、残差信号のエネルギー分布の例として、HEVCにおけるイントラ予測モード2(左側に位置する参照画素のみを用いるイントラ予測モード)及びイントラ予測モード18(左側及び上側に位置する参照画素を用いるイントラ予測モード)における残差信号のエネルギー分布の違いを示す。
【0061】
このように、異なるエネルギー分布を有する残差信号に対しては、エントロピー低減効果の統計的に高い直交変換処理が異なる。
【0062】
そこで、非特許文献2に記載されている技術では、上述のようにイントラ予測モードの方向に応じて選択可能な直交変換処理群を用意し、その中から最適な直交変換処理を選択するように構成されている。
【0063】
かかる技術によれば、イントラ予測モードの方向に応じて適用可能な直交変換処理群を切り替えることで、残差信号の統計的なエネルギー分布を効率的に集中させつつ、適用した直交変換処理がどれであるかを示すフラグの情報量を削減することが可能となる。
【0064】
しかしながら、
図5のように、左側及び下側に位置する参照画素を用いてイントラ予測モード2の方向予測を行う場合には、左側に位置する参照画素のみを用いてイントラ予測モード2の方向予測を行う場合と比べて、参照画素の位置が異なることで、残差信号のエネルギー分布も異なる。
【0065】
左側及び下側に位置する参照画素を用いたイントラ予測モード2の方向予測による残差信号のエネルギー分布(
図5参照)は、
図4(b)に示す左側及び上側に位置する参照画素を用いたイントラ予測モード18の方向予測による残差信号を垂直方向に反転したものと同様のエネルギー分布となる。
【0066】
すなわち、イントラ予測モード2の方向予測を行う際に、参照画素の位置として左側及び下側が含まれる場合であって残差信号を垂直方向に反転させた上で直交変換処理を適用した場合に得られる直交変換係数のエネルギー分布は、イントラ予測モード18の方向予測を行う際に、参照画素の位置として左側及び上側が含まれる場合であって残差信号を水平方向及び垂直方向に反転させることなく直交変換処理を適用した場合に得られる直交変換係数のエネルギー分布と同様となる(
図4(b)及び
図5参照)。
【0067】
イントラ予測モード2の方向予測による残差信号に対する直交変換処理により得られる直交変換係数のエネルギー分布は、イントラ予測に用いる参照画素の位置により異なるため、イントラ予測モードのみに基づいて、適用可能な直交変換処理群を決定することで、エントロピーが増大して符号化性能が低下してしまう恐れがある。
【0068】
したがって、直交変換部14c2は、イントラ予測において参照画素の位置により残差信号を水平方向及び垂直方向の少なくとも一方に反転する場合、適用したイントラ予測モードの方向及び参照画素の位置に応じて、選択可能な直交変換処理群を決定する。
【0069】
すなわち、直交変換部14c2は、イントラ予測モードがカテゴリBに属している場合、イントラ予測モードの方向に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0070】
例えば、直交変換部14c2は、イントラ予測モードが18である場合、イントラ予測モード18の方向に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0071】
或いは、直交変換部14c2は、イントラ予測モードがカテゴリAに属している場合で、且つ、参照画素の位置として下側が含まれていない場合、イントラ予測モードの方向に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0072】
例えば、直交変換部14c2は、イントラ予測モードが2である場合で、且つ、参照画素の位置として下側が含まれていない場合、イントラ予測モード2の方向に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0073】
或いは、直交変換部14c2は、イントラ予測モードがカテゴリCに属している場合で、且つ、参照画素の位置として右側が含まれていない場合、イントラ予測モードの方向に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0074】
例えば、直交変換部14c2は、イントラ予測モードが34である場合で、且つ、参照画素の位置として右側が含まれていない場合、イントラ予測モード34の方向に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0075】
また、直交変換部14c2は、参照画素の位置に下側が含まれる場合に、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0076】
ここで、「イントラ予測モードの方向を垂直方向に反転する」とは、
図3の例では、イントラ予測モード2~9の方向とイントラ予測モード18~11の方向との間でそれぞれ変換することを意味する、すなわち、イントラ予測モード10の方向を基準にして各イントラ予測モードの方向を線対称な位置関係にあるイントラ予測モードの方向に変換することを意味する。
【0077】
すなわち、直交変換部14c2は、イントラ予測モードがカテゴリAに属している場合で、且つ、参照画素の位置として下側が含まれている場合、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0078】
例えば、直交変換部14c2は、イントラ予測モードが2である場合で、且つ、参照画素の位置として下側が含まれている場合、イントラ予測モード2の方向を垂直方向に反転した方向(イントラ予測モード18の方向)に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0079】
或いは、直交変換部14c2は、参照画素の位置に右側が含まれる場合に、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0080】
ここで、「イントラ予測モードの方向を水平方向に反転する」とは、
図3の例では、イントラ予測モード18~25の方向とイントラ予測モード34~27の方向との間でそれぞれ変換することを意味する、すなわち、イントラ予測モード26の方向を基準にして各イントラ予測モードの方向を線対称な位置関係にあるイントラ予測モードの方向に変換することを意味する。
【0081】
すなわち、直交変換部14c2は、イントラ予測モードがカテゴリCに属している場合で、且つ、参照画素の位置として右側が含まれている場合、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0082】
例えば、直交変換部14c2は、イントラ予測モードが34である場合で、且つ、参照画素の位置として右側が含まれている場合、イントラ予測モード34の方向を水平方向に反転した方向(イントラ予測モード18の方向)に応じて予め規定されている直交変換群の中から適用する直交変換処理を選択するように構成されていてもよい。
【0083】
量子化部14c3は、直交変換部14c2から出力された信号に対して量子化処理を施し、量子化された変換係数を生成するように構成されている。
【0084】
逆量子化部・逆直交変換部14dは、直交変換・量子化部14cによって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施して残差信号を生成するように構成されている。
【0085】
局部復号画像生成部14eは、逆量子化部・逆直交変換部14dによって生成された残差信号に対してイントラ予測部14aによって生成された予測画像を加えることで局部復号画像を生成するように構成されている。
【0086】
メモリ15は、逐次局部復号画像生成部14によって生成された局部復号画像を参照画像として利用可能に保持するように構成されている。
【0087】
エントロピー符号化部16は、イントラ予測モード決定部11によって決定されたイントラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
【0088】
図6に、本実施形態に係る符号化装置1の動作の一例について説明するためのフローチャートについて示す。
【0089】
図6に示すように、ステップS101において、符号化装置1は、決定したイントラ予測モードに応じて予測画像を生成する際に用いる参照画素の位置を決定し、かかる参照画素を用いて予測画像を生成し、予測画像と原画像との差分により残差信号を生成する。
【0090】
ステップS102において、符号化装置1は、予測画像の生成に用いる参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、残差信号生成部14bによって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転する。
【0091】
ステップS103において、符号化装置1は、イントラ予測モードと予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている直交変換処理群の中から適用する直交変換処理を選択し、反転された残差信号に対して、選択した直交変換処理を施す。
【0092】
ステップS104において、符号化装置1は、直交変換処理が施された信号に対して量子化処理を施し、量子化された変換係数を生成する。
【0093】
ステップS105において、符号化装置1は、イントラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力する。
【0094】
また、本実施形態に係る復号装置3は、動画像を構成するフレーム単位の原画像をCUに分割して復号するように構成されている。また、本実施形態に係る復号装置3は、本実施形態に係る符号化装置1と同様に、CUを複数のTUに分割することができるように構成されている。
【0095】
図7に示すように、本実施形態に係る復号装置3は、エントロピー復号部31と、復号順制御部32と、逐次復号画像生成部33と、メモリ34とを具備している。
【0096】
エントロピー復号部31は、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化装置1から出力されたストリームから、変換係数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置1によって、フレーム単位の原画像をCUに分割して符号化された信号として得られた量子化された変換係数である。
【0097】
復号順制御部32は、イントラ予測モードに基づいてCU内のTUの復号順を決定するように構成されている。
【0098】
具体的には、復号順制御部32は、エントロピー復号部31によって出力されたTU分割が行われた否か(CUが複数のTUに分割されているか否か)について示すフラグ及びイントラ予測モードの方向に応じて、CU内のTUの復号順を決定するように構成されている。
【0099】
例えば、復号順制御部32は、符号化順制御部13と同様に、CUが複数のTUに分割されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、CU内の左下のTU→CU内の右下のTU→CU内の左上のTU→CU内の右上のTUという復号順、或いは、CU内の左下のTU→CU内の左上のTU→CU内の右下のTU→CU内の右上のTUという復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。
【0100】
逐次復号画像生成部33は、復号順制御部32によって決定された復号順及びCUのTUへの分割方法に基づいて復号画像(TUごとの復号画像)を生成するように構成されている。
【0101】
具体的には、逐次復号画像生成部33は、CUが複数のTUに分割されている場合に、復号順制御部32によって決定された復号順に従って、エントロピー復号部31によって出力された量子化された変換係数に対して、逐次、逆量子化処理や逆直交変換処理やイントラ予測を行うことによって、復号画像を生成するように構成されている。
【0102】
図7に示すように、逐次復号画像生成部33は、イントラ予測部33aと、逆量子化・逆変換部33bと、復号画像生成部33cとを具備している。
【0103】
イントラ予測部33aは、復号順制御部32によって決定した復号順に従って、エントロピー復号部31によって出力されたイントラ予測モードを用いて、予測画像を生成するように構成されていてもよい。
【0104】
逆量子化・逆変換部33bは、エントロピー復号部31によって出力された量子化された変換係数に対して逆量子化処理及び逆変換処理(例えば、逆直交変換処理)を施すことによって、残差信号を生成するように構成されている。
【0105】
図8に示すように、逆量子化・逆変換部33bは、逆量子化部33b1と、逆直交変換部33b2と、逆直交変換部33b3とを具備している。
【0106】
逆量子化部33b1は、エントロピー復号部31によって出力された量子化された変換係数に対して、逆量子化処理を施すように構成されている。
【0107】
逆直交変換部33b2は、逆量子化部33b1から出力された信号(変換係数)に対して、逆直交変換処理を施すように構成されている。
【0108】
具体的には、逆直交変換部33b2は、直交変換部14c2と同様に、イントラ予測モードと予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択し、逆量子化部33b1から出力された信号に対して、選択した逆直交変換処理を施すように構成されている。
【0109】
すなわち、逆直交変換部33b2は、イントラ予測モードがカテゴリBに属している場合、イントラ予測モードの方向に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0110】
例えば、逆直交変換部33b2は、イントラ予測モードが18である場合、イントラ予測モード18の方向に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0111】
或いは、逆直交変換部33b2は、イントラ予測モードがカテゴリAに属している場合で、且つ、参照画素の位置として下側が含まれていない場合、イントラ予測モードの方向に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0112】
例えば、逆直交変換部33b2は、イントラ予測モードが2である場合で、且つ、参照画素の位置として下側が含まれていない場合、イントラ予測モード2の方向に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0113】
或いは、逆直交変換部33b2は、イントラ予測モードがカテゴリCに属している場合で、且つ、参照画素の位置として右側が含まれていない場合、イントラ予測モードの方向に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0114】
例えば、逆直交変換部33b2は、イントラ予測モードが34である場合で、且つ、参照画素の位置として右側が含まれていない場合、イントラ予測モード34の方向に応じて
予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0115】
また、逆直交変換部33b2は、参照画素の位置に下側が含まれる場合に、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0116】
すなわち、逆直交変換部33b2は、イントラ予測モードがカテゴリAに属している場合で、且つ、参照画素の位置として下側が含まれている場合、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0117】
例えば、逆直交変換部33b2は、イントラ予測モードが2である場合で、且つ、参照画素の位置として下側が含まれている場合、イントラ予測モード2の方向を垂直方向に反転した方向(イントラ予測モード18の方向)に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0118】
或いは、逆直交変換部33b2は、参照画素の位置に右側が含まれる場合に、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0119】
すなわち、逆直交変換部33b2は、イントラ予測モードがカテゴリCに属している場合で、且つ、参照画素の位置として右側が含まれている場合、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0120】
例えば、逆直交変換部33b2は、イントラ予測モードが34である場合で、且つ、参照画素の位置として右側が含まれている場合、イントラ予測モード34の方向を水平方向に反転した方向(イントラ予測モード18の方向)に応じて予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択するように構成されていてもよい。
【0121】
反転部33b3は、参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、逆直交変換部33b2から出力された信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されている。
【0122】
具体的には、反転部33b3は、参照画素の位置に下側が含まれる場合に、逆直交変換部33b2から出力された信号を垂直方向に反転させるように構成されていてもよい。
【0123】
或いは、反転部33b3は、参照画素の位置に右側が含まれる場合に、逆直交変換部33b2から出力された信号を水平方向に反転するように構成されていてもよい。
【0124】
復号画像生成部33cは、イントラ予測部33aによって生成された予測画像と逆量子化・逆変換部33bによって生成された残差信号とを加えることで復号画像を生成するように構成されている。
【0125】
メモリ34は、逐次復号画像生成部33によって生成された復号画像を、イントラ予測及びインター予測のための参照画像として利用可能に保持するように構成されている。
【0126】
図9に、本実施形態に係る復号装置3の動作の一例について説明するためのフローチャートについて示す。
【0127】
図9に示すように、ステップS201において、復号装置3は、イントラ予測モードを用いて、予測画像を生成する。
【0128】
ステップS202において、復号装置3は、量子化された変換係数に対して、逆量子化処理を施す。
【0129】
ステップS203において、復号装置3は、イントラ予測モードと予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている逆直交変換群の中から適用する逆直交変換処理を選択し、逆量子化処理が施された信号に対して、選択した逆直交変換処理を施す。
【0130】
ステップS204において、復号装置3は、参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、逆直交変換処理が施された信号を水平方向及び垂直方向の少なくとも一方に反転させる。
【0131】
本実施形態に係る符号化装置1及び復号装置3によれば、イントラ予測により得られた残差信号に対して、イントラ予測モードの方向だけでなく参照画素の位置に応じて異なる直交変換処理群を切り替えて用いることが可能となり、エントロピーを低減可能となり符号化効率が向上する。
【0132】
(第2の実施形態)
以下、本発明の第2の実施形態に係る符号化装置1及び復号装置3について、上述の第1の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
【0133】
本実施形態に係る符号化装置1は、反転部14c1を具備しておらず、本実施形態に係る復号装置3は、反転部33b3を具備していない。
【0134】
本実施形態に係る符号化装置1において、直交変換部14c2は、イントラ予測モードと予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている直交変換処理群の中から適用する直交変換処理を選択するように構成されている。
【0135】
ここで、直交変換部14c2は、参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、残差信号生成部14bによって生成された残差信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で、選択した前記直交変換処理を施すように構成されている。
【0136】
具体的には、直交変換部14c2は、参照画素の位置に下側が含まれる場合に、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている直交変換処理群の中から適用する直交変換処理を選択し、残差信号に対して垂直方向の基底を反転させた上で、選択した直交変換処理を施すように構成されていてもよい。
【0137】
或いは、直交変換部14c2は、参照画素の位置に右側が含まれる場合に、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている直交変換処理群の中から適用する直交変換処理を選択し、残差信号に対して水平方向の基底を反転させた上で、選択した直交変換処理を施すように構成されていてもよい。
【0138】
本実施形態に係る復号装置3において、逆直交変換部33b2は、イントラ予測モードと予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている逆直交変換処理群の中から適用する逆直交変換処理を選択するように構成されている。
【0139】
ここで、逆直交変換部33b2は、参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、逆量子化部33b1から出力された信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で、選択した直交変換処理を施すように構成されている。
【0140】
具体的には、逆直交変換部33b2は、参照画素の位置に下側が含まれる場合に、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている逆直交変換処理群の中から適用する逆直交変換処理を選択し、逆量子化部33b1から出力された信号に対して垂直方向の基底を反転させた上で、選択した逆直交変換処理を施すように構成されていてもよい。
【0141】
或いは、逆直交変換部33b2は、参照画素の位置に右側が含まれる場合に、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている逆直交変換処理群の中から適用する逆直交変換処理を選択し、逆量子化部33b1から出力された信号に対して水平方向の基底を反転させた上で、選択した逆直交変換処理を施すように構成されていてもよい。
【0142】
(その他の実施形態)
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0143】
また、上述の実施形態では特に触れていないが、上述の符号化装置1及び復号装置3によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0144】
或いは、上述の符号化装置1及び復号装置3内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
【符号の説明】
【0145】
1…符号化装置
11…イントラ予測モード決定部
12…TU分割決定部
13…符号化順制御部
14…逐次局部復号画像生成部
14a…イントラ予測部
14b…残差信号生成部
14c…直交変換・量子化部
14c1…反転部
14c2…直交変換部
14c3…量子化部
14d…逆量子化部・逆直交変換部
14e…局部復号画像生成部
15…メモリ
16…エントロピー符号化部
3…復号装置
31…エントロピー復号部
32…復号順制御部
33…逐次局部復号画像生成部
33a…イントラ予測部
33b…逆量子化・逆変換部
33b1…逆量子化部
33b2…逆直交変換部
33b3…反転部
33c…復号画像生成部
34…メモリ