(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-05
(45)【発行日】2024-01-16
(54)【発明の名称】イントラ予測装置、画像復号装置、及びプログラム
(51)【国際特許分類】
H04N 19/11 20140101AFI20240109BHJP
H04N 19/136 20140101ALI20240109BHJP
H04N 19/176 20140101ALI20240109BHJP
H04N 19/186 20140101ALI20240109BHJP
【FI】
H04N19/11
H04N19/136
H04N19/176
H04N19/186
(21)【出願番号】P 2023035813
(22)【出願日】2023-03-08
(62)【分割の表示】P 2022024560の分割
【原出願日】2020-06-23
【審査請求日】2023-03-08
(31)【優先権主張番号】P 2019117928
(32)【優先日】2019-06-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】岩村 俊輔
(72)【発明者】
【氏名】市ヶ谷 敦郎
(72)【発明者】
【氏名】根本 慎平
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第2018/127624(WO,A1)
【文献】国際公開第2018/037896(WO,A1)
【文献】国際公開第2014/161043(WO,A1)
【文献】国際公開第2014/156046(WO,A1)
【文献】国際公開第2012/176405(WO,A1)
【文献】Fabien Racape et al.,CE3-related: Wide-angle intra prediction for non-square blocks,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-K0500_r4,11th Meeting: Ljubljana, SI,2018年07月,pp.1-13
【文献】Shunsuke Iwamura, Shimpei Nemoto and Atsuro Ichigaya,Non-CE3: On chroma DM derivation table for 4:2:2 chroma format,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0655,15th Meeting: Gothenburg, SE,2019年06月,pp.1-4
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
輝度信号及び色差信号により構成される画像を分割して得られた輝度ブロック及び色差ブロックに対してイントラ予測を行うイントラ予測装置であって、
前記色差ブロックに適用するイントラ予測モードの候補の1つとして、前記色差ブロックに対応する前記輝度ブロックに適用したイントラ予測モードのモード番号を特定する色差候補特定部と、
前記色差ブロック及び対応する輝度ブロックについてのフォーマットとして、水平方向における前記輝度信号に対する前記色差信号の解像度比と、垂直方向における前記輝度信号に対する前記色差信号の解像度比とが異なるフォーマットである場合、変換テーブルを用いて、前記色差候補特定部により特定された変換前のモード番号を変換するとともに変換後のモード番号を出力する色差予測モード変換部と、を備え、
前記変換テーブルは、
方向性予測について、前記変換前のモード番号のうち左下方向に対応するイントラ予測モードを含む一定数のモード番号を、前記変換後のモード番号のうち右上方向に対応するイントラ予測モードを含む一定数のモード番号と対応付けていることを特徴とするイントラ予測装置。
【請求項2】
前記変換テーブルは、
前記変換前のモード番号のうちモード番号“2”、“3”、“4”、“5”、“6”、及び“7”を、前記変換後のモード番号のうちモード番号“61”、“62”、“63”、“64”、“65”、及び“66”とそれぞれ対応付けていることを特徴とする請求項1に記載のイントラ予測装置。
【請求項3】
請求項1又は2に記載のイントラ予測装置を備えることを特徴とする画像復号装置。
【請求項4】
コンピュータを請求項1又は2に記載のイントラ予測装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、イントラ予測装置、画像復号装置、及びプログラムに関する。
【背景技術】
【0002】
静止画像や動画像の伝送時や保存時のデータ量を圧縮するため映像符号化方式においては、フレーム内の空間的な相関を利用し、符号化対象ブロック周辺の復号済み参照画素を参照するイントラ予測が利用されている。イントラ予測のモードには、例えばPlanar予測、DC予測、及び方向性予測がある。
【0003】
従来の映像符号化方式の1つであるHEVC(Hight Efficiency Video Coding)では、画像を正方形の符号化対象ブロックに分割し、ブロック単位で符号化及び復号を行っている。
【0004】
HEVCの方向性予測では、垂直方向を基準とし、時計回りを正、反時計回りを負としたとき、-135°から45°までの間において複数の予測方向が定義されており、-135°から+45°に向けて予測方向ごとにモード番号が昇順で割り当てられている。
【0005】
HEVCでは、色差ブロックのイントラ予測時に、この色差ブロックに対応する輝度ブロックのイントラ予測に用いられたイントラ予測モードであるDM(Derived Mode)を含む複数の候補モードの中から、色差ブロックのイントラ予測に用いるイントラ予測モードを決定している。
【0006】
また、HEVCは色差フォーマットとして4:2:2を適用可能であり、この色差フォーマットは色差信号の水平方向解像度が輝度信号に比べて半分になるため、輝度ブロックが正方形であるのに対して、色差ブロックは縦長のブロック形状になる。
【0007】
このため、4:2:2の色差フォーマットを適用した場合、色差ブロックの形状に即してDMを変換するDM変換処理が適用されている。具体的には、表1に示すように、変換前のモード番号(modeIdx)を変換後のモード番号(IntraPredModeC)と対応付ける変換テーブルを用いてDMを変換する。なお、HEVCでは、モード番号「2」から「34」までが方向性予測である。
【0008】
【0009】
一方、次世代の映像符号化方式であるVVC(Versatile Video Coding)では、方向性予測は、モード番号「2」から「66」までの65通りの方向性予測が導入され、よりきめ細かなイントラ予測を可能としている(例えば非特許文献1参照)。
【0010】
また、VVCでは、HEVCのような正方形のブロック形状に加えて、非正方形のブロック形状も適用可能であり、非正方形のブロック形状に即したイントラ予測モードである広角イントラ予測(WAIP:Wide-Angle Intra Prediction)が導入される。ブロック形状に応じたイントラ予測モードから適用モードを選択することで、より柔軟なイントラ予測を可能としている。
【0011】
WAIPでは、非正方形のブロック形状時に、正方形のブロック形状時の予測モードの一部(横長ブロックではモード番号の小さい側、縦長ブロックではモード番号の大きい側)を削除し、さらに削除したのと同数の予測モードを反対側(横長ブロックではモード番号の大きい側、縦長ブロックではモード番号の小さい側)に追加する処理を行う。
【先行技術文献】
【非特許文献】
【0012】
【文献】JVET-M1001 Versatile Video Coding (Draft 4)
【発明の開示】
【0013】
第1の態様に係るイントラ予測装置は、輝度信号及び色差信号により構成される画像を分割して得られた輝度ブロック及び色差ブロックに対してイントラ予測を行う。前記イントラ予測装置は、前記色差ブロックに適用するイントラ予測モードの候補の1つとして、前記色差ブロックに対応する前記輝度ブロックに適用したイントラ予測モードのモード番号を特定する色差候補特定部と、前記色差ブロック及び対応する輝度ブロックについてのフォーマットとして、水平方向における前記輝度信号に対する前記色差信号の解像度比と、垂直方向における前記輝度信号に対する前記色差信号の解像度比とが異なるフォーマットである場合、変換テーブルを用いて、前記色差候補特定部により特定された変換前のモード番号を変換するとともに変換後のモード番号を出力する色差予測モード変換部とを備える。前記変換テーブルは、方向性予測について、前記変換前のモード番号のうちモード番号の小さい順で一定数のモード番号を、前記変換後のモード番号のうちモード番号の大きい順で一定数のモード番号と対応付ける。
【0014】
第2の態様に係る画像復号装置は、第1の態様に係るイントラ予測装置を備える。
【0015】
第3の態様に係るプログラムは、コンピュータを第1の態様に係るイントラ予測装置として機能させる。
【図面の簡単な説明】
【0016】
【
図1】実施形態に係る画像符号化装置の構成を示す図である。
【
図2】実施形態に係る輝度ブロックに用いるイントラ予測モードの候補を示す図である。
【
図4】
図4(a)は、輝度ブロックのブロック形状が横長形状である場合のモード番号「2」から「66」までのイントラ予測角度範囲の一例を示す図であり、
図4(b)は、輝度ブロックのブロック形状が縦長形状である場合のモード番号「2」から「66」までのイントラ予測角度範囲の一例を示す図である。
【
図5】実施形態に係る画像復号装置の構成を示す図である。
【
図6】実施形態に係るイントラ予測部(イントラ予測装置)の構成を示す図である。
【
図7】
図7(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が2:1の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【
図8】
図8(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が4:1の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【
図9】
図9(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が8:1の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【
図10】
図10(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が1:2の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【
図11】
図11(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が1:4の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【
図12】
図12(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が1:8の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【発明を実施するための形態】
【0017】
表1に示す従来のDM変換処理に用いる変換テーブルでは、WAIPの広角なイントラ予測モード、すなわち、-135°から+45°までの角度範囲から外れるような予測方向が考慮されていない。このような変換テーブルを用いる場合、モード番号「2」である-135°よりも反時計回りに大きい角度の予測方向のイントラ予測モードに変換できない。
【0018】
よって、従来のDM変換処理は、色差ブロックの形状に即してDMを変換することができない場合があり、色差ブロックの予測効率を向上させる点において改善の余地があった。
【0019】
そこで、本開示は、色差ブロックの予測効率を向上させることを目的とする。
【0020】
図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、MPEGに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【0021】
<画像符号化装置>
まず、本実施形態に係る画像符号化装置について説明する。
図1は、本実施形態に係る画像符号化装置1の構成を示す図である。
【0022】
図1に示すように、画像符号化装置1は、ブロック分割部100と、減算部110と、変換・量子化部120と、エントロピー符号化部130と、逆量子化・逆変換部140と、合成部150と、メモリ160と、予測部170とを有する。
【0023】
ブロック分割部100は、動画像を構成するフレーム(或いはピクチャ)単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部110に出力する。画像ブロックのサイズは、例えば32×32画素、16×16画素、8×8画素、又は4×4画素等である。画像ブロックの形状は正方形に限らず非正方形(非正方形)であってもよい。画像ブロックは、画像符号化装置1が符号化を行う単位(符号化対象ブロック)であり、且つ画像復号装置が復号を行う単位(復号対象ブロック)である。このような画像ブロックはCU(Coding Unit)と呼ばれることがある。
【0024】
入力画像は、輝度信号(Y)及び色差信号(Cb、Cr)により構成されており、入力画像内の各画素は輝度成分(Y)及び色差成分(Cb、Cr)により構成される。画像符号化装置1は、4:4:4、4:2:2、及び4:2:0の3つの色差フォーマット(Chroma format)に対応している。
【0025】
ブロック分割部100は、輝度信号と色差信号とに対してブロック分割を行う。以下において、ブロック分割の形状が輝度信号と色差信号とで同じである場合について主として説明するが、輝度信号と色差信号とで分割を独立に制御可能であってもよい。画像符号化装置1は、輝度ブロック及び色差ブロックを別々に符号化することが可能である。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。
【0026】
減算部110は、ブロック分割部100から出力された符号化対象ブロックと、符号化対象ブロックを予測部170が予測して得た予測ブロックとの差分(誤差)を表す予測残差を算出する。具体的には、減算部110は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部120に出力する。
【0027】
変換・量子化部120は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部120は、変換部121と、量子化部122とを有する。
【0028】
変換部121は、減算部110から出力された予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部122に出力する。直交変換とは、例えば、離散コサイン変換(DCT:Discrete Cosine Transform)や離散サイン変換(DST:Discrete Sine Transform)、カルーネンレーブ変換(KLT: Karhunen-Loeve Transform)等をいう。
【0029】
量子化部122は、変換部121から出力された直交変換係数を量子化パラメータ(Qp)及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部130及び逆量子化・逆変換部140に出力する。なお、量子化パラメータ(Qp)は、ブロック内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。
【0030】
エントロピー符号化部130は、量子化部122から出力された直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ(ビットストリーム)を生成し、符号化データを画像符号化装置1の外部に出力する。エントロピー符号化には、ハフマン符号やCABAC(Context-based Adaptive Binary Arithmetic Coding;コンテキスト適応型2値算術符号)等を用いることができる。なお、エントロピー符号化部130は、ブロック分割部100から各ブロックの形状(アスペクト比)等の情報を取得し、予測部170から予測に関するインデックス等の情報を取得し、これらの情報のエントロピー符号化も行う。
【0031】
逆量子化・逆変換部140は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部140は、逆量子化部141と、逆変換部142とを有する。
【0032】
逆量子化部141は、量子化部122が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部141は、量子化部122から出力された直交変換係数を、量子化パラメータ(Qp)及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部142に出力する。
【0033】
逆変換部142は、変換部121が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部121が離散コサイン変換を行った場合には、逆変換部142は逆離散コサイン変換を行う。逆変換部142は、逆量子化部141から出力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部150に出力する。
【0034】
合成部150は、逆変換部142から出力された復元予測残差を、予測部170から出力された予測ブロックと画素単位で合成する。合成部150は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを再構成(復号)し、復号したブロック単位の復号画像をメモリ160に出力する。このような復号画像は、再構成画像と呼ばれることがある。
【0035】
メモリ160は、合成部150から出力された復号画像を記憶する。メモリ160は、復号画像をフレーム単位で記憶する。メモリ160は、記憶している復号画像を予測部170に出力する。なお、合成部150とメモリ160との間にループフィルタが設けられてもよい。
【0036】
予測部170は、ブロック単位で予測を行う。予測部170は、インター予測部171と、イントラ予測部172と、切替部173とを有する。
【0037】
インター予測部171は、メモリ160に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部173に出力する。
【0038】
インター予測部171は、複数の参照画像を用いるインター予測(典型的には、双予測)や、1つの参照画像を用いるインター予測(片方向予測)の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部171は、インター予測に関する情報(動きベクトル等)をエントロピー符号化部130に出力する。
【0039】
イントラ予測部172は、メモリ160に記憶された復号画像のうち、符号化対象ブロックの周辺にある復号画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部173に出力する。また、イントラ予測部172は、選択したイントラ予測モードに関するインデックスをエントロピー符号化部130に出力する。
【0040】
切替部173は、インター予測部171から入力されるインター予測ブロックとイントラ予測部172から入力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部110及び合成部150に出力する。
【0041】
イントラ予測部172は、複数のイントラ予測モードの中から、イントラ予測対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測の対象ブロックを予測する。
【0042】
具体的には、イントラ予測部172は、輝度ブロックについてイントラ予測を行い、輝度イントラ予測ブロックを出力する。また、イントラ予測部172は、色差ブロックについてイントラ予測を行い、色差イントラ予測ブロックを出力する。
【0043】
イントラ予測部172は、色差ブロックのイントラ予測を行うよりも前に、この色差ブロックに対応する輝度ブロックのイントラ予測を行う。そして、イントラ予測部172は、各輝度ブロックのイントラ予測に用いたイントラ予測モードをメモリ160に記憶させる。
【0044】
色差ブロックに対応する輝度ブロックとは、色差信号の解像度変換を考慮した色差ブロックの位置に対応する位置にある輝度ブロックをいう。但し、色差ブロックの位置に対応して複数の輝度ブロックがある場合、色差ブロックを垂直方向に2分割し、かつ水平方向に2分割し、これにより得られる4つの分割ブロックのうち、右下分割ブロックにおける左上頂点の色差ピクセル(画素)に対応する輝度ピクセル(画素)が含まれる輝度ブロックを、色差ブロックに対応する輝度ブロックとする。
【0045】
図2は、本実施形態に係る輝度ブロックに用いるイントラ予測モードの候補を示す図である。
【0046】
図2に示すように、0から66までの67通りのイントラ予測モードがある。イントラ予測モードのモード番号「0」はPlanar予測であり、イントラ予測モードのモード番号「1」はDC予測であり、イントラ予測モードのモード番号「2」乃至「66」は方向性予測である。
【0047】
方向性予測において、矢印の方向はイントラ予測時に参照画素を参照する方向である予測方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。
【0048】
ブロックの右上の頂点と左下の頂点とを通る対角線に平行な予測方向として、左下方向を参照するイントラ予測モードであるモード番号「2」と、右上方向を参照するイントラ予測モードであるモード番号「66」とがあり、モード番号「2」からモード番号「66」まで時計回りに所定角度ごとにモード番号が割り振られている。
【0049】
左下方向を参照するモード番号「2」における予測方向は、水平方向とのなす角度が45°である。モード番号「66」における予測方向は、垂直方向とのなす角度が45°である。なお、垂直方向を基準とし、時計回りを正、反時計回りを負としたとき、モード番号「2」における予測方向は-135°であり、モード番号「66」における予測方向は45°である。
【0050】
ブロック分割部100が出力する符号化対象ブロックは、正方形のブロック形状に加えて、非正方形のブロック形状もとりうる。符号化対象ブロックのブロック形状が非正方形である場合、イントラ予測部172は、符号化対象ブロックに用いるイントラ予測モードの予測方向の範囲を調整する。このような技術は、Wide Angle Intra Prediction(WAIP)と呼ばれる。
【0051】
【0052】
図3に示すように、WAIPにおいて、イントラ予測部172は、輝度ブロックのブロック形状が横長形状(すなわち、高さよりも幅が大きい形状)である場合、モード番号の小さい順に一部のイントラ予測モードを削除し、モード番号の大きい方にその削除分のイントラ予測モードを追加する。
【0053】
一方、イントラ予測部172は、輝度ブロックのブロック形状が縦長形状(すなわち、高さよりも幅が小さい形状)である場合、例えば、モード番号の大きい順に一部のイントラ予測モードを削除し、モード番号の小さい方にその削除分のイントラ予測モードを追加する。
【0054】
このようなWAIPの処理は、追加したイントラ予測モードのうち最も外側のイントラ予測モードが、非正方形ブロックの対角線と並行になるように予測方向が決定される。予測ブロック形状に応じたイントラ予測モードから適用モードを選択することで、より柔軟なイントラ予測を可能としている。
【0055】
図4(a)は、輝度ブロックのブロック形状が横長形状である場合のモード番号「2」から「66」までのイントラ予測角度範囲(Range of intra prediction angle)の一例を示す図である。
図4(b)は、輝度ブロックのブロック形状が縦長形状である場合のモード番号「2」から「66」までのイントラ予測角度範囲の一例を示す図である。
図4(a)及び(b)において、白抜きで示す正方形は予測対象のブロックの画素を示し、網掛けで示す正方形は参照画素を示す。
図4(a)及び(b)に示すように、輝度ブロックのブロック形状が非正方形である場合、モード番号「2」及び「66」の予測方向は、45°とは異なる角度になる。
【0056】
イントラ予測部172は、これらのイントラ予測モードの中から、輝度ブロックのイントラ予測に用いるイントラ予測モードを選択し、選択したイントラ予測モードを用いて輝度ブロックのイントラ予測を行って輝度イントラ予測ブロックを出力する。また、イントラ予測部172は、これらの候補の中から選択したイントラ予測モードを示すインデックス(以下、「輝度イントラ予測モードインデックス」と呼ぶ)をエントロピー符号化部130に出力し、エントロピー符号化部130がこのインデックスを符号化して出力する。
【0057】
このように、非正方形ブロックについては、従来のいくつかの方向性イントラ予測モードが適応的に広角イントラ予測モードに置き換えられる。置き換えられたイントラ予測モードは、元のモード番号を示す輝度イントラ予測モードインデックスにより画像復号装置2側に通知される。画像復号装置2側では、輝度イントラ予測モードインデックスの解析後に、広角モードのモード番号に置き換える。このため、イントラ予測モードの総数は67のままである。
【0058】
一方、色差ブロックのイントラ予測モードの候補の数は、輝度ブロックのイントラ予測モードの候補の数よりも少ない。
【0059】
色差ブロックと輝度ブロックとで共通するイントラ予測モードの候補は、Planarモード(モード番号「0」)、DCモード(モード番号「1」)、垂直予測モード(モード番号「50」)、水平予測モード(モード番号「18」)の4つであり、これにDMを追加して5つになる。Planarモード(モード番号「0」)、DCモード(モード番号「1」)、垂直予測モード(モード番号「50」)、水平予測モード(モード番号「18」)の4つは「デフォルトモード」と呼ばれることがある。
【0060】
DMは、色差ブロックに対応する輝度ブロックのイントラ予測に用いられたイントラ予測モードである。なお、色差ブロックに特有なイントラ予測モードとして、輝度ブロックの復号済み画素を予測に用いる色成分間予測がある。以下においては、色成分間予測の機能がディスエーブルである場合について説明するが、色成分間予測の機能がイネーブルであってもよい。
【0061】
イントラ予測部172は、これらの色差イントラ予測候補の中から、色差ブロックのイントラ予測に用いるイントラ予測モードを選択し、選択したイントラ予測モードを用いて色差ブロックのイントラ予測を行って色差イントラ予測ブロックを出力する。また、イントラ予測部172は、これらの候補の中から選択したイントラ予測モードを示すインデックス(以下、「色差イントラ予測モードインデックス」と呼ぶ)をエントロピー符号化部130に出力し、エントロピー符号化部130がこのインデックスを符号化して出力する。
【0062】
表2に示すように、色差イントラ予測モードインデックスは、5つのイントラ予測モード候補のいずれかを示すインデックスである。
【0063】
【0064】
色差ブロックに対応する輝度ブロックに適用したイントラ予測モードがデフォルトモードと重複する場合、モード番号「66」が代替モードとして追加される。一方、色差ブロックに対応する輝度ブロックに適用したイントラ予測モードがデフォルトモードと重複しない場合、この輝度ブロックに適用したイントラ予測モードのモード番号「X」がDMとして追加される。
【0065】
<画像復号装置>
次に、本実施形態に係る画像復号装置について説明する。
図5は、本実施形態に係る画像復号装置2の構成を示す図である。
【0066】
図5に示すように、画像復号装置2は、エントロピー復号部200と、逆量子化・逆変換部210と、合成部220と、メモリ230と、予測部240とを有する。
【0067】
エントロピー復号部200は、画像符号化装置1により生成された符号化データを復号し、量子化された直交変換係数を逆量子化・逆変換部210に出力する。また、エントロピー復号部200は、予測(イントラ予測及びインター予測)に関するインデックスを取得し、取得したインデックスを予測部240に出力する。ここで、エントロピー復号部200は、輝度イントラ予測モードインデックス及び色差イントラ予測モードインデックスを予測部240に出力する。さらに、エントロピー復号部200は、各ブロックの形状(アスペクト比)等の情報を取得し、取得した情報を予測部240に出力する。
【0068】
逆量子化・逆変換部210は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部210は、逆量子化部211と、逆変換部212とを有する。
【0069】
逆量子化部211は、画像符号化装置1の量子化部122が行う量子化処理に対応する逆量子化処理を行う。逆量子化部211は、エントロピー復号部200から出力された量子化直交変換係数を、量子化パラメータ(Qp)及び量子化行列を用いて逆量子化する。これにより、逆量子化部211は、復号対象ブロックの直交変換係数を復元し、復元した直交変換係数を逆変換部212に出力する。
【0070】
逆変換部212は、画像符号化装置1の変換部121が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部212は、逆量子化部211から出力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差(復元予測残差)を合成部220に出力する。
【0071】
合成部220は、逆変換部212から出力された予測残差と、予測部240から出力された予測ブロックとを画素単位で合成することにより、元のブロックを再構成(復号)し、ブロック単位の復号画像をメモリ230に出力する。
【0072】
メモリ230は、合成部220から出力された復号画像を記憶する。メモリ230は、復号画像をフレーム単位で記憶する。メモリ230は、フレーム単位の復号画像を画像復号装置2の外部に出力する。なお、合成部220とメモリ230との間にループフィルタが設けられてもよい。
【0073】
予測部240は、ブロック単位で予測を行う。予測部240は、インター予測部241と、イントラ予測部242と、切替部243とを有する。
【0074】
インター予測部241は、メモリ230に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部241は、エントロピー復号部200から出力されたインデックス及び動きベクトル等に従ってインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部243に出力する。
【0075】
イントラ予測部242は、メモリ230に記憶された復号画像を参照し、エントロピー復号部200から出力されたインデックスに基づいて、復号対象ブロックをイントラ予測により予測する。これにより、イントラ予測部242は、イントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部243に出力する。
【0076】
具体的には、イントラ予測部172は、輝度ブロックについてイントラ予測を行い、輝度イントラ予測ブロックを出力する。また、イントラ予測部172は、色差ブロックについてイントラ予測を行い、色差イントラ予測ブロックを出力する。
【0077】
イントラ予測部172は、色差ブロックのイントラ予測を行うよりも前に、この色差ブロックに対応する輝度ブロックのイントラ予測を行う。そして、イントラ予測部172は、各輝度ブロックのイントラ予測に用いたイントラ予測モードをメモリ230に記憶させる。
【0078】
切替部243は、インター予測部241から入力されるインター予測ブロックとイントラ予測部242から入力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部220に出力する。
【0079】
図6は、本実施形態に係るイントラ予測部242の構成を示す図である。イントラ予測部242は、画像復号装置2に設けられるイントラ予測装置に相当する。
【0080】
図6に示すように、イントラ予測部242は、輝度予測モード決定部242aと、輝度イントラ予測部242bと、色差候補特定部242cと、色差予測モード決定部242dと、色差予測モード変換部242eと、色差イントラ予測部242fとを有する。
【0081】
輝度予測モード決定部242aは、エントロピー復号部200から出力された輝度イントラ予測モードインデックス及び輝度ブロックのアスペクト比に基づいて、輝度ブロックに適用するイントラ予測モードを決定し、決定したイントラ予測モードのモード番号を輝度イントラ予測部242b及びメモリ230に出力する。具体的には、輝度予測モード決定部242aは、非正方形の輝度ブロックについて、そのアスペクト比に応じて、輝度イントラ予測モードインデックスが示すイントラ予測モードを広角イントラ予測モードに置き換える。
【0082】
輝度イントラ予測部242bは、輝度予測モード決定部242aから出力されたモード番号が示すイントラ予測モードにより、輝度ブロックに隣接する復号済みの輝度参照画素を参照して輝度ブロックのイントラ予測を行う。これにより、輝度イントラ予測部242bは、輝度イントラ予測ブロックを出力する。
【0083】
色差候補特定部242cは、表2に示すように、輝度ブロックに適用したイントラ予測モードのモード番号と、あらかじめ規定された複数の予測モード(複数のデフォルトモード)とに基づいて、色差ブロックに適用可能な複数のイントラ予測モード候補を生成し、生成したイントラ予測モード候補を色差予測モード決定部242dに出力する。例えば、色差候補特定部242cは、輝度ブロックに適用したイントラ予測モードのモード番号が「0」(Planar予測)である場合には、イントラ予測モード候補を構成するモード番号として、「66」、「50」、「18」、「1」、「0」を色差予測モード決定部242dに出力する。
【0084】
ここで、色差候補特定部242cは、色差ブロックに適用するイントラ予測モードの候補の1つとして、この色差ブロックに対応する輝度ブロックに適用したイントラ予測モードのモード番号をDMとして特定する。DMは、表2に示す「X」に相当する。
【0085】
色差予測モード決定部242dは、エントロピー復号部200から出力された色差イントラ予測モードインデックスと、色差候補特定部242cから出力された複数のイントラ予測モード候補とに基づいて、複数のイントラ予測モード候補の中から色差ブロックに適用するイントラ予測モードを決定し、決定したイントラ予測モードのモード番号を色差イントラ予測部242fに出力する。
【0086】
表2に示すように、色差予測モード決定部242dは、輝度ブロックに適用したイントラ予測モードがデフォルトモードではなく、且つ色差イントラ予測モードインデックスが「4」である場合、色差ブロックに適用するイントラ予測モードとしてDM(すなわち、輝度ブロックに適用したイントラ予測モード)を決定する。
【0087】
色差予測モード変換部242eは、色差信号の水平方向解像度が輝度信号に比べて低い色差フォーマット、具体的には、色差フォーマットが4:2:2である場合、DM変換処理を行う。具体的には、色差予測モード変換部242eは、色差候補特定部242cにより特定されたDMを、変換前のモード番号を変換後のモード番号と対応付ける変換テーブルを用いて変換する。
【0088】
色差予測モード変換部242eは、色差予測モード決定部242dがイントラ予測モードを決定する前に、変換テーブルを用いてDMの変換を行ってもよい。色差予測モード変換部242eは、色差予測モード決定部242dがイントラ予測モードとしてDMを決定した場合に限り、変換テーブルを用いてDMの変換を行ってもよい。なお、色差予測モード変換部242eは、色差予測モード決定部242dがイントラ予測モードとしてモード番号「66」を決定した場合にも、変換テーブルを用いてモード番号「66」の変換を行ってもよい。
【0089】
色差予測モード変換部242eは、テーブル記憶部242e1と、変換部242e2とを有する。本実施形態において、テーブル記憶部242e1は、変換テーブルとして、アスペクト比ごとに用意された複数の変換テーブルを記憶する。変換部242e2は、色差ブロックに対応する輝度ブロックのアスペクト比に対応する変換テーブルをテーブル記憶部242e1から取得するとともに、取得した変換テーブルを用いてDMを変換し、変換後のDMのモード番号を出力する。
【0090】
変換テーブルは、WAIPを考慮した構成になっている。具体的には、変換テーブルは、方向性予測について、変換前のモード番号のうちモード番号の小さい順で一定数のモード番号を、変換後のモード番号のうちモード番号の大きい順で一定数のモード番号と対応付ける。
【0091】
まず、色差ブロックに対応する輝度ブロックのアスペクト比(W:H)が1:1及び2:1の場合に用いる変換テーブルを表3に示す。なお、「W」はブロック幅を画素数で示し、「H」はブロック高さを画素数で示す。
【0092】
【0093】
図7(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が2:1の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【0094】
図7(A)に示すように、輝度ブロックのアスペクト比(W:H)が2:1の場合、輝度ブロックが横長形状であるため、この形状に即して元のモード番号「2」から「7」までのイントラ予測モードが削除され、時計回りにモード番号「66」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「2」から「7」になる。
【0095】
図7(B)に示すように、輝度ブロックのアスペクト比(W:H)が2:1の場合、色差ブロックが正方形になるため、広角のイントラ予測モードは追加されない。
【0096】
図7(A)及び(B)に示すように、輝度ブロックのモード番号「2」から「7」までは、色差ブロックのモード番号「61」から「66」までに対応する。表3に示す変換テーブルは、このような対応関係に基づく構成を有しており、変換前のモード番号「2」から「7」までが変換後のモード番号「61」から「66」までと対応付けられている。
【0097】
次に、色差ブロックに対応する輝度ブロックのアスペクト比(W:H)が4:1の場合に用いる変換テーブルを表4に示す。
【0098】
【0099】
表4に示すように、変換前のモード番号「10」、「11」に対して変換後のモード番号「5」、「7」が対応付けられている点で表3と異なっているが、変換前のモード番号「2」から「7」までが変換後のモード番号「61」から「66」までと対応付けられている点は表3と同じである。
【0100】
図8(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が4:1の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【0101】
図8(A)に示すように、輝度ブロックのアスペクト比(W:H)が4:1の場合、輝度ブロックが横長形状であるため、この形状に即して元のモード番号「2」から「11」までのイントラ予測モードが削除され、時計回りにモード番号「66」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「2」から「11」になる。
【0102】
図8(B)に示すように、輝度ブロックのアスペクト比(W:H)が4:1の場合、色差ブロックのアスペクト比(W:H)が2:1になるため、この形状に即して元のモード番号「2」から「7」までのイントラ予測モードが削除され、時計回りにモード番号「66」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「2」から「7」になる。
【0103】
図8(A)及び(B)に示すように、輝度ブロックのモード番号「2」から「7」までは、色差ブロックのモード番号「61」から「66」までに対応する。表4に示す変換テーブルは、このような対応関係に基づく構成を有している。
【0104】
次に、色差ブロックに対応する輝度ブロックのアスペクト比(W:H)が8:1の場合に用いる変換テーブルを表5に示す。
【0105】
【0106】
表5に示すように、変換前のモード番号「10」、「11」、「12」、「13」に対して変換後のモード番号「5」、「7」、「9」、「11」がそれぞれ対応付けられている点で表3と異なっているが、変換前のモード番号「2」から「7」までが変換後のモード番号「61」から「66」までと対応付けられている点は表3と同じである。
【0107】
図9(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が8:1の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【0108】
図9(A)に示すように、輝度ブロックのアスペクト比(W:H)が8:1の場合、輝度ブロックが横長形状であるため、この形状に即して元のモード番号「2」から「13」までのイントラ予測モードが削除され、時計回りにモード番号「66」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「2」から「13」になる。
【0109】
図9(B)に示すように、輝度ブロックのアスペクト比(W:H)が8:1の場合、色差ブロックのアスペクト比(W:H)が4:1になるため、この形状に即して元のモード番号「2」から「11」までのイントラ予測モードが削除され、時計回りにモード番号「66」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「2」から「11」になる。
【0110】
図9(A)及び(B)に示すように、輝度ブロックのモード番号「2」から「7」までは、色差ブロックのモード番号「61」から「66」までに対応する。表5に示す変換テーブルは、このような対応関係に基づく構成を有している。
【0111】
次に、色差ブロックに対応する輝度ブロックのアスペクト比(W:H)が1:2の場合に用いる変換テーブルを表6に示す。
【0112】
【0113】
表6に示すように、変換前のモード番号「61」、「62」に対して変換後のモード番号「57」、「57」がそれぞれ対応付けられている点で表3と異なっているが、変換前のモード番号「2」から「7」までが変換後のモード番号「61」から「66」までと対応付けられている点は表3と同じである。
【0114】
図10(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が1:2の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【0115】
図10(A)に示すように、輝度ブロックのアスペクト比(W:H)が1:2の場合、輝度ブロックが縦長形状であるため、この形状に即して元のモード番号「61」から「66」までのイントラ予測モードが削除され、反時計回りにモード番号「2」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「61」から「66」になる。
【0116】
図10(B)に示すように、輝度ブロックのアスペクト比(W:H)が1:2の場合、色差ブロックのアスペクト比(W:H)が1:4になるため、この形状に即して元のモード番号「57」から「66」までのイントラ予測モードが削除され、反時計回りにモード番号「2」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「57」から「66」になる。
【0117】
図10(A)及び(B)に示すように、輝度ブロックのモード番号「2」から「7」までは、色差ブロックのモード番号「61」から「66」までに対応する。表6に示す変換テーブルは、このような対応関係に基づく構成を有している。
【0118】
次に、色差ブロックに対応する輝度ブロックのアスペクト比(W:H)が1:4及び1:8の場合に用いる変換テーブルを表7に示す。
【0119】
【0120】
表7に示すように、変換前のモード番号「57」、「58」、「61」、「62」に対して変換後のモード番号「55」、「55」、「57」、「57」がそれぞれ対応付けられている点で表3と異なっているが、変換前のモード番号「2」から「7」までが変換後のモード番号「61」から「66」までと対応付けられている点は表3と同じである。
【0121】
図11(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が1:4の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【0122】
図11(A)に示すように、輝度ブロックのアスペクト比(W:H)が1:4の場合、輝度ブロックが縦長形状であるため、この形状に即して元のモード番号「57」から「66」までのイントラ予測モードが削除され、反時計回りにモード番号「2」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「57」から「66」になる。
【0123】
図11(B)に示すように、輝度ブロックのアスペクト比(W:H)が1:4の場合、色差ブロックのアスペクト比(W:H)が1:8になるため、この形状に即して元のモード番号「55」から「66」までのイントラ予測モードが削除され、反時計回りにモード番号「2」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「55」から「66」になる。
【0124】
図11(A)及び(B)に示すように、輝度ブロックのモード番号「2」から「7」までは、色差ブロックのモード番号「61」から「66」までに対応する。表7に示す変換テーブルは、このような対応関係に基づく構成を有している。
【0125】
図12(A)及び(B)は、輝度ブロックのアスペクト比(W:H)が1:8の場合における輝度ブロック(Y)及び色差ブロック(C)の関係を示す図である。
【0126】
図12(A)に示すように、輝度ブロックのアスペクト比(W:H)が1:8の場合、輝度ブロックが縦長形状であるため、この形状に即して元のモード番号「55」から「66」までのイントラ予測モードが削除され、反時計回りにモード番号「2」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「55」から「66」になる。
【0127】
図12(B)に示すように、輝度ブロックのアスペクト比(W:H)が1:8の場合、色差ブロックのアスペクト比(W:H)が1:16になるため、この形状に即して元のモード番号「53」から「66」までのイントラ予測モードが削除され、反時計回りにモード番号「2」よりも広角のイントラ予測モードが追加される。追加された広角イントラ予測モードのモード番号が「53」から「66」になる。
【0128】
図12(A)及び(B)に示すように、輝度ブロックのモード番号「2」から「7」までは、色差ブロックのモード番号「61」から「66」までに対応する。表7に示す変換テーブルは、このような対応関係に基づく構成を有している。
【0129】
色差イントラ予測部242fは、色差予測モード決定部242dから出力されたモード番号が示すイントラ予測モード、具体的には、色差予測モード変換部242eによる変換後のモード番号により、色差ブロックに隣接する復号済みの色差参照画素を参照して色差ブロックのイントラ予測を行うことにより、色差イントラ予測ブロックを出力する。
【0130】
このように、本実施形態に係る変換テーブル(表3乃至表7)は、WAIPの広角なイントラ予測モード、すなわち、-135°から+45°までの角度範囲から外れるような予測方向を考慮した構成になっている。これにより、-135°よりも反時計回りに大きい角度の広角イントラ予測モードや、+45°よりも時計回りに大きい角度の広角イントラ予測モードにDMを変換可能になるため、色差ブロックの形状に即してDMを変換することができる。よって、色差ブロックの予測効率を向上させることができる。
【0131】
<変更例>
上述した実施形態において、色差予測モード変換部242eは、色差フォーマットが4:2:2である場合、輝度ブロックのアスペクト比に応じて色差イントラ予測モードの変換を行っている。このような構成においては、輝度ブロックのアスペクト比と色差ブロックのアスペクト比との違いを厳密に考慮しているため、色差ブロックに適用するイントラ予測方向の精度が高くなり、符号化効率が改善する。
【0132】
一方、上述した実施形態では、輝度ブロックのアスペクト比に応じて複数の変換テーブルを保持する必要があり、変換テーブルを保持するために必要なメモリ量が増大する。
【0133】
そこで、本変更例では、色差予測モード変換部242eは、輝度ブロックのアスペクト比にかかわらず、表8に示す1つの変換テーブルにより色差イントラ予測モードを変換する。具体的には、テーブル記憶部242e1は、変換テーブルとして1つの変換テーブルを記憶する。変換部242e2は、この変換テーブルをテーブル記憶部242e1から取得するとともに、取得した変換テーブルを用いてDMを変換する。
【0134】
【0135】
本変更例によれば、色差ブロックのイントラ予測方向の精度を向上させつつ、変換テーブルを保持するためのメモリ量を低減できる。
【0136】
<その他の実施形態>
画像符号化装置1が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。画像復号装置2が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0137】
画像符号化装置1が行う各処理を実行する回路を集積化し、画像符号化装置1を半導体集積回路(チップセット、SoC)により構成してもよい。画像復号装置2が行う各処理を実行する回路を集積化し、画像復号装置2を半導体集積回路(チップセット、SoC)により構成してもよい。
【0138】
以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0139】
本願は、日本国特許出願第2019-117928号(2019年6月25日出願)の優先権を主張し、その内容の全てが本願明細書に組み込まれている。