特許 7361498 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-05

(45)【発行日】2023-10-16

(54)【発明の名称】イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/11 20140101AFI20231006BHJP

   H04N 19/136 20140101ALI20231006BHJP

   H04N 19/176 20140101ALI20231006BHJP

   H04N 19/186 20140101ALI20231006BHJP

   H04N 19/593 20140101ALI20231006BHJP

【ＦＩ】

H04N19/11

H04N19/136

H04N19/176

H04N19/186

H04N19/593

【請求項の数】 7

(21)【出願番号】P 2019099529

(22)【出願日】2019-05-28

(65)【公開番号】P2020195063

(43)【公開日】2020-12-03

【審査請求日】2022-04-28

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】根本 慎平

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】井口 和久

(72)【発明者】

【氏名】市ヶ谷 敦郎

【審査官】田中 純一

(56)【参考文献】

【文献】特開２０１８－０７８４０９（ＪＰ，Ａ）

【文献】特開２０１５－２１１２６５（ＪＰ，Ａ）

【文献】Jeeyoon Park, et al.，CE3-related: Chroma Intra Mode Coding with Lumped Luma Directions and Replacement for DM mode，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 March 2019，JVET-N0218r1，2019年03月26日，pp.1-8，庁内DB（送付可）

【文献】Jianle Chen, et al.，Algorithm description for Versatile Video Coding and Test Model 2 (VTM 2)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10-18 July 2018，JVET-K1002-v2，2018年10月02日，pp.1-21，庁内DB（送付可）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

輝度信号と色差信号とにより構成される画像を輝度ブロックと色差ブロックとに分割して得られた前記色差ブロックに対してイントラ予測を行うイントラ予測装置であって、
前記色差ブロックに対応する輝度ブロックのイントラ予測に用いられたイントラ予測モードを第１候補モードとして決定する第１決定部と、
前記第１候補モードと重複しない第２候補モードを決定する第２決定部と、
前記第１候補モード及び前記第２候補モードを含む複数の候補モードの中から前記色差ブロックのイントラ予測に用いるイントラ予測モードを選択する予測モード選択部と、を備え、
前記第２決定部は、前記第２候補モードとして予め定められたデフォルトモードと前記第１候補モードとが重複する場合、前記重複するデフォルトモードに代えて用いる代替モードとして、前記色差ブロックのブロック形状に基づいて、前記色差ブロックの左下の頂点から右上の頂点へ向かう参照方向に対応するイントラ予測モードを決定することを特徴とするイントラ予測装置。

【請求項2】

前記第２決定部は、
前記色差ブロックの高さに対する前記色差ブロックの幅の比が大きくなるにつれて、前記代替モードとして決定するイントラ予測モードの参照方向と、垂直方向とのなす角度が大きくなるように前記代替モードを決定し、
前記色差ブロックの高さに対する前記色差ブロックの幅の比が小さくなるにつれて、前記代替モードとして決定するイントラ予測モードの参照方向と、垂直方向とのなす角度が小さくなるように前記代替モードを決定することを特徴とする請求項１に記載のイントラ予測装置。

【請求項3】

輝度信号と色差信号とにより構成される画像を輝度ブロックと色差ブロックとに分割して得られた前記色差ブロックに対してイントラ予測を行うイントラ予測装置であって、
前記色差ブロックに対応する輝度ブロックのイントラ予測に用いられたイントラ予測モードを第１候補モードとして決定する第１決定部と、
前記第１候補モードと重複しない第２候補モードを決定する第２決定部と、
前記第１候補モード及び前記第２候補モードを含む複数の候補モードの中から前記色差ブロックのイントラ予測に用いるイントラ予測モードを選択する予測モード選択部と、を備え、
前記第２決定部は、前記第２候補モードとして予め定められたデフォルトモードと前記第１候補モードとが重複する場合において、前記重複するデフォルトモードに代えて用いる代替モードとして、
前記色差ブロックの幅が前記色差ブロックの高さよりも大きい場合には、前記色差ブロックの左下の頂点から右上の頂点へ向かう参照方向に対応するイントラ予測モードを決定し、
前記色差ブロックの幅が前記色差ブロックの高さよりも小さい場合には、前記色差ブロックの右上の頂点から左下の頂点へ向かう参照方向に対応するイントラ予測モードを決定することを特徴とするイントラ予測装置。

【請求項4】

前記第２決定部は、
前記色差ブロックの幅が前記色差ブロックの高さよりも大きい場合、前記色差ブロックの高さに対する前記色差ブロックの幅の比が大きくなるにつれて、前記代替モードとして決定するイントラ予測モードの参照方向と、垂直方向とのなす角度が大きくなるように前記代替モードを決定し、
前記色差ブロックの幅が前記色差ブロックの高さよりも小さい場合、前記色差ブロックの高さに対する前記色差ブロックの幅の比が小さくなるにつれて、前記代替モードとして決定するイントラ予測モードの参照方向と、水平方向とのなす角度が大きくなるように前記代替モードを決定することを特徴とする請求項３に記載のイントラ予測装置。

【請求項5】

請求項１乃至４のいずれか１項に記載のイントラ予測装置を備えることを特徴とする画像符号化装置。

【請求項6】

請求項１乃至４のいずれか１項に記載のイントラ予測装置を備えることを特徴とする画像復号装置。

【請求項7】

コンピュータを請求項１乃至４のいずれか１項に記載のイントラ予測装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イントラ予測装置、画像符号化装置、画像復号装置、及びプログラムに関する。

【背景技術】

【0002】

従来から、伝送時や保存時の静止画像や動画像のデータ量を圧縮するため映像符号化方式の研究が行われている。近年、映像符号化技術では８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。

【0003】

ＭＰＥＧ及びＩＴＵが合同で標準化を行っている次世代符号化方式であるＶＶＣでは、フレーム内の空間的な相関を利用したイントラ予測が利用されている（非特許文献１参照）。符号化対象ブロック周辺の復号済み参照画素を利用し、Ｐｌａｎａｒ予測、ＤＣ予測、及び６５通りの方向性予測からなる計６７通りの予測モードの中から、エンコーダ側で最適なモードが選択され、選択された情報がデコーダ側へ送られる。

【0004】

また、ＶＶＣでは、画像を構成する輝度信号及び色差信号に対して個別にブロック分割を行い、分割して得た輝度ブロック及び色差ブロックをそれぞれ符号化する。

【0005】

色差ブロックのイントラ予測においては、色差ブロックに対応する輝度ブロックのイントラ予測に用いられたイントラ予測モードを第１候補モードとして決定し、第１候補モードと重複しない第２候補モードを決定し、これらの候補モードの中から色差ブロックのイントラ予測に用いるイントラ予測モードを選択することが想定されている。このような第１候補モードは、ＤＭ（Ｄｉｒｅｃｔ Ｍｏｄｅ、若しくはＤｅｒｉｖｅｄ Ｍｏｄｅ）と呼ばれることがある。

【0006】

第２候補モードとして予め定められたデフォルトモードのうちのいずれかのモードと、第１候補モード（ＤＭ）とが重複する場合、重複するデフォルトモードに代えて第２候補モードとして用いる代替モードを決定する。デフォルトモードは、Ｐｌａｎａｒモード（モード０）、垂直モード（モード５０）、水平モード（モード１８）、及びＤＣモード（モード１）である。代替モードとしては、デフォルトモード以外の固定のイントラ予測モードを用いることが想定されている。

【先行技術文献】

【非特許文献】

【0007】

【文献】ＪＶＥＴ－Ｍ１００１ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ４）

【発明の開示】

【発明が解決しようとする課題】

【0008】

ＶＶＣにおけるブロック分割では、ＨＥＶＣのような正方形のブロック形状に加えて、長方形（非正方形）のブロック形状も新たに追加されるため、色差ブロックが長方形のブロック形状になりうる。

【0009】

しかしながら、現在想定されている代替モードの決定方法は、色差ブロックのブロック形状にかかわらず固定のイントラ予測モードを代替モードとして用いるものであるため、色差ブロックのイントラ予測の予測精度を向上させる点において改善の余地がある。

【0010】

そこで、本発明は、色差ブロックのブロック形状が長方形である場合であっても代替モードとして適切なイントラ予測モードを用いることを可能とし、色差ブロックのイントラ予測の予測精度を向上させるイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

第１の態様に係るイントラ予測装置は、輝度信号と色差信号とにより構成される画像を輝度ブロックと色差ブロックとに分割して得られた前記色差ブロックに対してイントラ予測を行う。前記イントラ予測装置は、前記色差ブロックに対応する輝度ブロックのイントラ予測に用いられたイントラ予測モードを第１候補モードとして決定する第１決定部と、前記第１候補モードと重複しない第２候補モードを決定する第２決定部と、前記第１候補モード及び前記第２候補モードを含む複数の候補モードの中から前記色差ブロックのイントラ予測に用いるイントラ予測モードを選択する予測モード選択部とを備える。前記第２決定部は、前記第２候補モードとして予め定められたデフォルトモードと前記第１候補モードとが重複する場合、前記重複するデフォルトモードに代えて用いる代替モードを、前記色差ブロックのブロック形状に基づいて決定する。

【0012】

第２の態様に係る画像符号化装置は、第１の態様に係るイントラ予測装置を備える。

【0013】

第３の態様に係る画像復号装置は、第１の態様に係るイントラ予測装置を備える。

【0014】

第４の態様に係るプログラムは、コンピュータを第１の態様に係るイントラ予測装置として機能させる。

【発明の効果】

【0015】

本発明によれば、色差ブロックのブロック形状が長方形である場合であっても代替モードとして適切なイントラ予測モードを用いることを可能とし、色差ブロックのイントラ予測の予測精度を向上させるイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0016】

【図1】実施形態に係る画像符号化装置の構成を示す図である。

【図2】実施形態に係る輝度ブロックに用いるイントラ予測モードの候補を示す図である。

【図3】実施形態に係るＷＡＩＰを示す図である。

【図4】図４（ａ）は、輝度ブロックのブロック形状が横長形状である場合のモード番号「２」から「６６」までのイントラ予測角度範囲の一例を示す図であり、図４（ｂ）は、輝度ブロックのブロック形状が縦長形状である場合のモード番号「２」から「６６」までのイントラ予測角度範囲の一例を示す図である。

【図5】実施形態に係る画像符号化装置のイントラ予測部の構成を示す図である。

【図6】実施形態に係る代替モード決定部の動作例１を示す図である。

【図7】実施形態に係る代替モード決定部の動作例２を示す図である。

【図8】実施形態に係る画像復号装置の構成を示す図である。

【図9】実施形態に係る画像復号装置のイントラ予測部の構成を示す図である。

【図10】実施形態に係るイントラ予測部の動作フロー例を示す図である。

【発明を実施するための形態】

【0017】

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0018】

＜画像符号化装置の構成＞
まず、本実施形態に係る画像符号化装置について説明する。図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

【0019】

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

【0020】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、画像符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ画像復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

【0021】

入力画像は、輝度信号（Ｙ）及び色差信号（Ｃ_b、Ｃ_r）により構成されており、入力画像内の各画素は輝度成分（Ｙ）及び色差成分（Ｃ_b、Ｃ_r）により構成される。ブロック分割部１００は、輝度信号と色差信号とでブロック分割を独立に設定可能である。画像符号化装置１は、輝度ブロック及び色差ブロックを別々に符号化することが可能である。以下において、輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

【0022】

減算部１１０は、ブロック分割部１００から入力された符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0023】

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

【0024】

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ？Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

【0025】

量子化部１２２は、変換部１２１から入力された直交変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。

【0026】

エントロピー符号化部１３０は、量子化部１２２から入力された直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、予測部１７０から予測に関するシンタックス等の情報が入力され、入力された情報のエントロピー符号化も行う。

【0027】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

【0028】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部１４２に出力する。

【0029】

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0030】

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１７０から入力された予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを再構成（復号）し、復号したブロック単位の復号画像をメモリ１６０に出力する。このような復号画像は、再構成画像と呼ばれることがある。

【0031】

メモリ１６０は、合成部１５０から入力された復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

【0032】

予測部１７０は、ブロック単位で予測を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。

【0033】

インター予測部１７１は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。

【0034】

インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

【0035】

イントラ予測部１７２は、メモリ１６０に記憶された復号画像のうち、符号化対象ブロックの周辺にある復号画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。また、イントラ予測部１７２は、選択した予測モードに関するシンタックスをエントロピー符号化部１３０に出力する。

【0036】

切替部１７３は、インター予測部１７１から入力されるインター予測ブロックとイントラ予測部１７２から入力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

【0037】

イントラ予測部１７２は、複数の予測モードの中から、イントラ予測対象ブロックに適用する最適な予測モードを選択し、選択した予測モードを用いてイントラ予測の対象ブロックを予測する。

【0038】

具体的には、イントラ予測部１７２は、輝度ブロックについてイントラ予測を行い、輝度イントラ予測ブロックを出力する。また、イントラ予測部１７２は、色差ブロックについてイントラ予測を行い、色差イントラ予測ブロックを出力する。

【0039】

イントラ予測部１７２は、色差ブロックのイントラ予測を行うよりも前に、この色差ブロックに対応する輝度ブロックのイントラ予測を行う。そして、イントラ予測部１７２は、各輝度ブロックのイントラ予測に用いたイントラ予測モードをメモリ２３０に記憶させる。

【0040】

色差ブロックに対応する輝度ブロックとは、色差信号の解像度変換を考慮した色差ブロックの位置に対応する位置にある輝度ブロックをいう。但し、色差ブロックの位置に対応して複数の輝度ブロックがある場合、色差ブロックを垂直方向に２分割し、かつ水平方向に２分割し、これにより得られる４つの分割ブロックのうち、右下分割ブロックにおける左上頂点の色差ピクセル（画素）に対応する輝度ピクセル（画素）が含まれる輝度ブロックを、色差ブロックに対応する輝度ブロックとする。

【0041】

図２は、本実施形態に係る輝度ブロックに用いるイントラ予測モードの候補を示す図である。

【0042】

図２に示すように、０から６６までの６７通りの予測モードがある。予測モードのモード「０」はＰｌａｎａｒ予測であり、予測モードのモード「１」はＤＣ予測であり、予測モードのモード「２」乃至「６６」は方向性予測である。

【0043】

方向性予測において、矢印の方向は参照方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。

【0044】

ブロックの右上の頂点と左下の頂点とを通る対角線に平行な参照方向として、左下方向を参照する予測モードであるモード「２」と、右上方向を参照する予測モードであるモード「６６」とがあり、モード「２」からモード「６６」まで時計回りに所定角度ごとにモード番号が割り振られている。

【0045】

左下方向を参照するモード「２」における参照方向は、水平方向とのなす角度が４５°である。モード「６６」における参照方向は、垂直方向とのなす角度が４５°である。

【0046】

ブロック分割部１００が出力する輝度ブロックは、正方形のブロック形状に加えて、長方形のブロック形状もとりうる。輝度ブロックのブロック形状が長方形である場合、イントラ予測部１７２は、輝度ブロックに用いるイントラ予測モードの参照方向の範囲を調整する。このような技術は、Ｗｉｄｅ Ａｎｇｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ（ＷＡＩＰ）と呼ばれることがある。

【0047】

図３は、本実施形態に係るＷＡＩＰを示す図である。

【0048】

図３に示すように、ＷＡＩＰにおいて、イントラ予測部１７２は、輝度ブロックのブロック形状が横長形状（すなわち、高さよりも幅が大きい形状）である場合、モード番号の小さい順に一部のイントラ予測モードを削除し、モード番号の大きい方にその削除分のイントラ予測モードを追加する。

【0049】

一方、イントラ予測部１７２は、輝度ブロックのブロック形状が縦長形状（すなわち、高さよりも幅が小さい形状）である場合、例えば、モード番号の大きい順に一部のイントラ予測モードを削除し、モード番号の小さい方にその削除分のイントラ予測モードを追加する。

【0050】

このようなＷＡＩＰの処理は、追加した予測モードのうち最も外側の予測モードが、長方形ブロックの対角線と並行になるように参照方向が決定される。予測ブロック形状に応じたイントラ予測モードから適用モードを選択することで、より柔軟なイントラ予測を可能としている。

【0051】

なお、図３に示すモード番号は、イントラ予測モードを示すシンタックス上は違うモード番号が割り当てられていてもよい。この場合、輝度ブロックのブロック形状に応じて、モード番号「２」乃至「６６」を読み替えればよい。

【0052】

図４（ａ）は、輝度ブロックのブロック形状が横長形状である場合のモード番号「２」から「６６」までのイントラ予測角度範囲（Ｒａｎｇｅ ｏｆ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ａｎｇｌｅ）の一例を示す図である。図４（ｂ）は、輝度ブロックのブロック形状が縦長形状である場合のモード番号「２」から「６６」までのイントラ予測角度範囲の一例を示す図である。図４（ａ）及び（ｂ）において、白抜きで示す正方形は予測対象のブロックの画素を示し、網掛けで示す正方形は参照画素を示す。図４（ａ）及び（ｂ）に示すように、輝度ブロックのブロック形状が長方形である場合、モード「２」及び「６６」の参照方向は、４５°とは異なる角度になる。

【0053】

一方、色差ブロックのイントラ予測モードの候補の数は、輝度ブロックのイントラ予測モードの候補の数よりも少ない。

【0054】

色差ブロックと輝度ブロックとで共通するイントラ予測モードの候補は、Ｐｌａｎａｒモード（モード０）、垂直予測モード（モード５０）、水平予測モード（モード１８）、及びＤＣモード（モード１）の４つであり、これにＤＭを追加して５つになる。

【0055】

ＤＭは、色差ブロックに対応する輝度ブロックのイントラ予測に用いられたイントラ予測モードである。なお、色差ブロックに特有なイントラ予測モードとして、輝度ブロックの復号済み画素を予測に用いるＬｉｎｅａｒ Ｍｏｄｅ（ＬＭ）と呼ばれるモードもある。

【0056】

イントラ予測部１７２は、これらの候補の中から、色差ブロックのイントラ予測に用いるイントラ予測モードを選択し、選択したイントラ予測モードを用いて色差ブロックのイントラ予測を行って色差イントラ予測ブロックを出力する。また、イントラ予測部１７２は、これらの候補の中から選択したイントラ予測モードを示すシンタックスをエントロピー符号化部１３０に出力し、エントロピー符号化部１３０がこのシンタックスを符号化して出力する。

【0057】

図５は、本実施形態に係るイントラ予測部１７２の構成を示す図である。イントラ予測部１７２は、画像符号化装置１に設けられるイントラ予測装置に相当する。図５においては、色差ブロックのイントラ予測に関連する構成を図示している。

【0058】

図５に示すように、イントラ予測部１７２は、第１決定部１７２ａと、第２決定部１７２ｂと、予測モード選択部１７２ｃと、色差イントラ予測部１７２ｄとを有する。

【0059】

第１決定部１７２ａは、メモリ１６０を参照し、予測対象の色差ブロックに対応する輝度ブロックのイントラ予測に用いられたイントラ予測モードを第１候補モード（ＤＭ）として決定し、決定した第１候補モード（ＤＭ）を第２決定部１７２ｂ及び予測モード選択部１７２ｃに出力する。

【0060】

ここで、第１候補モード（ＤＭ）に当たる予測モードが、予め定められたデフォルトモード、すなわち、Ｐｌａｎａｒモード（モード０）、垂直モード（モード５０）、水平モード（モード１８）、及びＤＣモード（モード１）のいずれかのモードと同じである場合、選択肢のうち２モードが重複してしまい冗長となる。

【0061】

第２決定部１７２ｂは、第１候補モード（ＤＭ）と重複しない第２候補モード（本実施形態では、４つのイントラ予測モード）を決定し、決定した第２候補モードを予測モード選択部１７２ｃに出力する。

【0062】

第２決定部１７２ｂは、代替モード決定部１７２１を有する。代替モード決定部１７２１は、予め定められたデフォルトモードと第１候補モード（ＤＭ）とが重複する場合、重複するデフォルトモードに代えて第２候補モードとして用いる代替モードを、予測対象の色差ブロックのブロック形状に基づいて決定する。色差ブロックのブロック形状とは、この色差ブロックの幅（Ｗ：ｗｉｄｔｈ）及び高さ（Ｈ：ｈｅｉｇｈｔ）をいう。

【0063】

例えば、代替モード決定部１７２１は、第１候補モード（ＤＭ）が、デフォルトモードの１つであるＰｌａｎａｒモード（モード０）である場合、デフォルトモードに含まれるＰｌａｎａｒモード（モード０）を削除し、Ｐｌａｎａｒモード（モード０）の代わりに代替モードを決定して第２候補モードに追加する。

【0064】

図６は、本実施形態に係る代替モード決定部１７２１の動作例１を示す図である。動作例１において、代替モード決定部１７２１は、予測対象の色差ブロックのブロック形状に基づいて、この色差ブロックの左下の頂点から右上の頂点へ向かう参照方向に対応するイントラ予測モードを代替モードとして決定する。

【0065】

言い換えると、代替モード決定部１７２１は、色差ブロックのブロック形状から、図３に示すような右上方向参照の予測モードのうち、最も外側のイントラ予測モード（すなわち、垂直方向とのなす角度が最も大きいイントラ予測モード）を代替モードとして決定する。

【0066】

具体的には、代替モード決定部１７２１は、色差ブロックの高さ（Ｈ）に対する色差ブロックの幅（Ｗ）の比が大きくなるにつれて、代替モードとして決定するイントラ予測モードの参照方向と、垂直方向とのなす角度が大きくなるように代替モードを決定する。代替モード決定部１７２１は、色差ブロックの高さ（Ｈ）に対する色差ブロックの幅（Ｗ）の比が小さくなるにつれて、代替モードとして決定するイントラ予測モードの参照方向と、垂直方向とのなす角度が小さくなるように代替モードを決定する。

【0067】

図６に示す例において、代替モード決定部１７２１は、色差ブロックの高さ（Ｈ）に対する色差ブロックの幅（Ｗ）の比が大きくなるにつれて、代替モードとして決定するイントラ予測モードのモード番号を大きくするように代替モードを決定する。

【0068】

動作例１によれば、予測対象の色差ブロックの上側の参照画素を参照するイントラ予測モードであって、かつ、デフォルトモードの１つである垂直モード（モード５０）から最も離れたイントラ予測モードを代替モードとして決定できる。

【0069】

ラスタスキャン順に処理が行われるため、予測対象の色差ブロックの上側の参照画素は復号済みである可能性が高いため、上側の参照画素を参照するイントラ予測モードを代替モードとして決定することとしている。

【0070】

また、デフォルトモードの１つである垂直モード（モード５０）から最も離れたイントラ予測モードを代替モードとして決定することにより、イントラ予測モードの候補に多様性を持たせることができるため、予測モード選択部１７２ｃがより最適なイントラ予測モードを選択しやすくすることができる。

【0071】

図７は、本実施形態に係る代替モード決定部１７２１の動作例２を示す図である。動作例２において、代替モード決定部１７２１は、予測対象の色差ブロックの幅（Ｗ）が色差ブロックの高さ（Ｈ）よりも大きい場合、色差ブロックの左下の頂点から右上の頂点へ向かう参照方向に対応するイントラ予測モードを代替モードとして決定する。一方、色差ブロックの幅（Ｗ）が色差ブロックの高さ（Ｈ）よりも小さい場合、代替モード決定部１７２１は、色差ブロックの右上の頂点から左下の頂点へ向かう参照方向に対応するイントラ予測モードを代替モードとして決定する。

【0072】

代替モード決定部１７２１は、色差ブロックの幅（Ｗ）が色差ブロックの高さ（Ｈ）よりも大きい場合、色差ブロックの高さに対する色差ブロックの幅の比（Ｗ／Ｈ）が大きくなるにつれて、代替モードとして決定するイントラ予測モードの参照方向と、垂直方向とのなす角度が大きくなるように代替モードを決定する。

【0073】

代替モード決定部１７２１は、色差ブロックの幅（Ｗ）が色差ブロックの高さ（Ｈ）よりも小さい場合、色差ブロックの高さに対する色差ブロックの幅の比（Ｗ／Ｈ）が小さくなるにつれて、代替モードとして決定するイントラ予測モードの参照方向と、水平方向とのなす角度が大きくなるように代替モードを決定する。

【0074】

図７に示す例において、代替モード決定部１７２１は、色差ブロックの幅（Ｗ）が色差ブロックの高さ（Ｈ）よりも大きい場合、色差ブロックの高さに対する色差ブロックの幅の比（Ｗ／Ｈ）が大きくなるにつれて、代替モードとして決定するイントラ予測モードのモード番号を大きくするように代替モードを決定する。

【0075】

また、代替モード決定部１７２１は、色差ブロックの幅（Ｗ）が色差ブロックの高さ（Ｈ）よりも小さい場合、色差ブロックの高さに対する色差ブロックの幅の比（Ｗ／Ｈ）が小さくなるにつれて、代替モードとして決定するイントラ予測モードのモード番号を小さくするように代替モードを決定する。

【0076】

動作例２によれば、デフォルトモードを構成する水平モード（モード１８）及び垂直モード（モード５０）から最も離れたイントラ予測モードを代替モードとして決定することができる。これにより、イントラ予測モードの候補に多様性を持たせることができるため、予測モード選択部１７２ｃがより最適なイントラ予測モードを選択しやすくすることができる。

【0077】

予測モード選択部１７２ｃは、第１決定部１７２ａから入力された第１候補モード（ＤＭ）と第２決定部１７２ｂから入力された第２候補モード（４つ）とを含む複数の候補モードの中から、予測対象の色差ブロックのイントラ予測に用いるイントラ予測モードを選択し、選択したイントラ予測モードを色差イントラ予測部１７２ｄに出力する。また、予測モード選択部１７２ｃは、選択したイントラ予測モードを示すシンタックスをエントロピー符号化部１３０に出力する。

【0078】

色差イントラ予測部１７２ｄは、予測モード選択部１７２ｃから入力されたイントラ予測モードを用いて予測対象の色差ブロックのイントラ予測を行うことにより、色差イントラ予測ブロックを生成し、生成した色差イントラ予測ブロックを切替部１７３に出力する。

【0079】

＜画像復号装置の構成＞
次に、本実施形態に係る画像復号装置について説明する。図８は、本実施形態に係る画像復号装置２の構成を示す図である。

【0080】

図８に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

【0081】

エントロピー復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化された直交変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、予測（イントラ予測及びインター予測）に関するシンタックスを取得し、取得したシンタックスを予測部２４０に出力する。

【0082】

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

【0083】

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から入力された量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの直交変換係数を復元し、復元した直交変換係数を逆変換部２１２に出力する。

【0084】

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0085】

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２４０から入力された予測ブロックとを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の復号画像をメモリ２３０に出力する。

【0086】

メモリ２３０は、合成部２２０から入力された復号画像を記憶する。メモリ２３０は、復号画像をフレーム単位で記憶する。メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

【0087】

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。

【0088】

インター予測部２４１は、メモリ２３０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２４１は、エントロピー復号部２００から入力されたシンタックス及び動きベクトル等に従ってインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。

【0089】

イントラ予測部２４２は、メモリ２３０に記憶された復号画像を参照し、エントロピー復号部２００から入力されたシンタックスに基づいて、復号対象ブロックをイントラ予測により予測することによりイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。

【0090】

具体的には、イントラ予測部１７２は、輝度ブロックについてイントラ予測を行い、輝度イントラ予測ブロックを出力する。また、イントラ予測部１７２は、色差ブロックについてイントラ予測を行い、色差イントラ予測ブロックを出力する。

【0091】

イントラ予測部１７２は、色差ブロックのイントラ予測を行うよりも前に、この色差ブロックに対応する輝度ブロックのイントラ予測を行う。そして、イントラ予測部１７２は、各輝度ブロックのイントラ予測に用いたイントラ予測モードをメモリ２３０に記憶させる。

【0092】

切替部２４３は、インター予測部２４１から入力されるインター予測ブロックとイントラ予測部２４２から入力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

【0093】

図９は、本実施形態に係るイントラ予測部２４２の構成を示す図である。イントラ予測部２４２は、画像復号装置２に設けられるイントラ予測装置に相当する。図９においては、色差ブロックのイントラ予測に関連する構成を図示している。

【0094】

図９に示すように、イントラ予測部２４２は、第１決定部２４２ａと、第２決定部２４２ｂと、予測モード選択部２４２ｃと、色差イントラ予測部２４２ｄとを有する。第２決定部２４２ｂは、代替モード決定部２４２１を有する。

【0095】

第１決定部２４２ａ、第２決定部２４２ｂ、予測モード選択部２４２ｃ、及び色差イントラ予測部２４２ｄは、図５に示した第１決定部１７２ａ、第２決定部１７２ｂ、予測モード選択部１７２ｃ、及び色差イントラ予測部１７２ｄとそれぞれ同様な動作を行う。

【0096】

但し、予測モード選択部２４２ｃは、第１決定部２４２ａから入力された第１候補モード（ＤＭ）と第２決定部２４２ｂから入力された第２候補モード（４つ）とを含む複数の候補モードの中から、エントロピー復号部２００から入力されたイントラ予測モードシンタックスに基づいて、予測対象の色差ブロックのイントラ予測に用いるイントラ予測モードを選択する。

【0097】

＜色差イントラ予測の動作フロー例＞
次に、本実施形態に係るイントラ予測の動作フロー例について説明する。画像符号化装置１及び画像復号装置２でイントラ予測の動作は同じであるが、ここでは画像復号装置２におけるイントラ予測（イントラ予測部２４２）の動作を説明する。図１０は、イントラ予測部２４２の動作フロー例を示す図である。

【0098】

図１０に示すように、ステップＳ１において、第１決定部２４２ａは、メモリ１６０を参照し、予測対象の色差ブロックに対応する輝度ブロックのイントラ予測に用いられたイントラ予測モードを第１候補モード（ＤＭ）として決定し、決定した第１候補モード（ＤＭ）を第２決定部２４２ｂ及び予測モード選択部２４２ｃに出力する。

【0099】

ステップＳ２において、第２決定部２４２ｂ（代替モード決定部２４２１）は、予め定められたデフォルトモード（４つ）と第１候補モード（ＤＭ）とが重複するか否かを判定する。

【0100】

デフォルトモードと第１候補モード（ＤＭ）とが重複しない場合（ステップＳ２：ＮＯ）、ステップＳ３において、第２決定部２４２ｂ（代替モード決定部２４２１）は、デフォルトモードを予測モード選択部２４２ｃに出力する。この場合、予測モード選択部２４２ｃは、第１決定部２４２ａから入力された第１候補モード（ＤＭ）と第２決定部２４２ｂから入力された第２候補モード（４つ）とを含む複数の候補モードの中から、予測対象の色差ブロックのイントラ予測に用いるイントラ予測モードを選択し、選択したイントラ予測モードを色差イントラ予測部２４２ｄに出力する。

【0101】

一方、デフォルトモードと第１候補モード（ＤＭ）とが重複する場合（ステップＳ２：ＹＥＳ）、ステップＳ４において、第２決定部２４２ｂ（代替モード決定部２４２１）は、重複するデフォルトモードに代えて用いる代替モードを予測対象の色差ブロックのブロック形状に基づいて決定し、デフォルトモード（３つ）と代替モードとを予測モード選択部２４２ｃに出力する。この場合、ステップＳ５において、予測モード選択部２４２ｃは、第１決定部２４２ａから入力された第１候補モード（ＤＭ）と第２決定部２４２ｂから入力された第２候補モード（４つ）及び代替モードとを含む複数の候補モードの中から、予測対象の色差ブロックのイントラ予測に用いるイントラ予測モードを選択し、選択したイントラ予測モードを色差イントラ予測部２４２ｄに出力する。

【0102】

ステップＳ６において、色差イントラ予測部１７２ｄは、予測モード選択部１７２ｃから入力されたイントラ予測モードを用いて予測対象の色差ブロックのイントラ予測を行うことにより、色差イントラ予測ブロックを生成する。

【0103】

＜実施形態のまとめ＞
以上説明したように、イントラ予測部２４２は、画像を分割して得た色差ブロックに対するイントラ予測を行う。イントラ予測部２４２は、色差ブロックに対応する輝度ブロックのイントラ予測に用いられたイントラ予測モードを第１候補モードとして決定する第１決定部２４２ａと、第１候補モードと重複しない第２候補モードを決定する第２決定部２４２ｂと、第１候補モード及び第２候補モードを含む複数の候補モードの中から色差ブロックのイントラ予測に用いるイントラ予測モードを選択する予測モード選択部２４２ｃとを備える。第２決定部２４２ｂは、第２候補モードとして予め定められたデフォルトモードと第１候補モードとが重複する場合、重複するデフォルトモードに代えて第２候補モードとして用いる代替モードを、色差ブロックのブロック形状に基づいて決定する。

【0104】

これにより、ＶＶＣにおけるブロック分割のように、色差ブロックが長方形のブロック形状になりうる場合であっても、色差ブロック形状に応じた代替モードを決定できるため、色差ブロックについてより柔軟なイントラ予測を可能とし、色差ブロックのイントラ予測の予測精度を向上させることができる。

【0105】

＜その他の実施形態＞
画像符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0106】

画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

【0107】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0108】

１ ：画像符号化装置
２ ：画像復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：インター予測部
１７２ ：イントラ予測部
１７２ａ ：第１決定部
１７２ｂ ：第２決定部
１７２ｃ ：予測モード選択部
１７２ｄ ：色差イントラ予測部
１７３ ：切替部
２００ ：エントロピー復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：インター予測部
２４２ ：イントラ予測部
２４２ａ ：第１決定部
２４２ｂ ：第２決定部
２４２ｃ ：予測モード選択部
２４２ｄ ：色差イントラ予測部
２４３ ：切替部
１７２１ ：代替モード決定部
２４２１ ：代替モード決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】