特許 7590510 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/593 20140101AFI20241119BHJP

【ＦＩ】

H04N19/593

【請求項の数】 7

(21)【出願番号】P 2023131193

(22)【出願日】2023-08-10

(62)【分割の表示】P 2019143889の分割

【原出願日】2019-08-05

(65)【公開番号】P2023138826

(43)【公開日】2023-10-02

【審査請求日】2023-08-10

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】根本 慎平

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１８／０９２８６８（ＷＯ，Ａ１）

【文献】国際公開第２０１２／１０００４７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１３／０３０１７１６（ＵＳ，Ａ１）

【文献】特開２００９－２８４２７５（ＪＰ，Ａ）

【文献】Saverio Blasi, Andre Seixas Dias and Gosala Kulupana，Non-CE4: CIIP using triangular partitions，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O 0522，15th Meeting: Gothenburg, SE，2019年07月，pp.1-5

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

画像を分割して得たブロックに対するイントラ予測を行うイントラ予測装置であって、
前記イントラ予測の予測対象ブロックを複数の非矩形領域に分割する場合、前記分割に用いる分割線を決定するとともに、前記複数の非矩形領域のそれぞれに適用するイントラ予測モードとして互いに異なるイントラ予測モードを決定する決定部と、
前記決定部が決定した前記互いに異なるイントラ予測モードを用いて前記複数の非矩形領域のそれぞれの予測画像を生成し、生成した予測画像を合成して前記予測対象ブロックに対応するイントラ予測画像を出力する予測部と、を備え、
前記決定部は、前記予測対象ブロックの周辺にある復号済みブロックに適用されたイントラ予測モードに基づいて、前記分割線と、前記複数の非矩形領域のそれぞれに適用する前記互いに異なるイントラ予測モードとのうち、少なくとも一方を決定することを特徴とするイントラ予測装置。

【請求項2】

前記複数の非矩形領域のそれぞれは、三角形を含む非矩形の領域であることを特徴とする請求項１に記載のイントラ予測装置。

【請求項3】

前記決定部は、前記分割線の方向として斜め方向を決定することを特徴とする請求項１に記載のイントラ予測装置。

【請求項4】

前記決定部は、前記予測対象ブロックの上にある復号済みブロックである上ブロックに適用されたイントラ予測モードと、前記予測対象ブロックの左にある復号済みブロックである左ブロックに適用されたイントラ予測モードとに基づいて、前記決定を行うことを特徴とする請求項１に記載のイントラ予測装置。

【請求項5】

請求項１乃至４のいずれか１項に記載のイントラ予測装置を備えることを特徴とする画像符号化装置。

【請求項6】

請求項１乃至４のいずれか１項に記載のイントラ予測装置を備えることを特徴とする画像復号装置。

【請求項7】

コンピュータを請求項１乃至４のいずれか１項に記載のイントラ予測装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イントラ予測装置、画像符号化装置、画像復号装置、及びプログラムに関する。

【背景技術】

【0002】

従来から、伝送時や保存時の静止画像や動画像のデータ量を圧縮するため映像符号化方式の研究が行われている。近年、映像符号化技術では８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。

【0003】

ＭＰＥＧ及びＩＴＵが合同で標準化を行っている次世代符号化方式であるＶＶＣは、フレーム内の空間的な相関を利用したイントラ予測及びフレーム間の空間的な相関を利用したインター予測を用いている（非特許文献１参照）。

【0004】

イントラ予測では、イントラ予測の対象ブロックの周辺の復号済み参照画素を利用し、Ｐｌａｎａｒ予測、ＤＣ予測、及び６５通りの方向性予測からなる計６７通りの予測モードの中から、画像符号化装置側で最適なモードが選択され、選択された情報が画像復号装置側へ伝送される。

【0005】

ＶＶＣでは、インター予測を用いた予測画像の生成において、インター予測の対象ブロックを対角線で分割し、分割して得た三角形領域のそれぞれで別々の動き予測を用いることで予測精度を高める技術が実装されている。その際、三角形領域ごとの予測（以下、「三角形分割予測」と呼ぶ）を用いるか否かを示すフラグ、及び２つの対角線のどちらの対角線で分割を行うかを示すフラグを画像符号化装置から画像復号装置へ伝送している。

【先行技術文献】

【非特許文献】

【0006】

【文献】ＪＶＥＴ－Ｎ１００１ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ５）

【発明の開示】

【発明が解決しようとする課題】

【0007】

インター予測においては三角形分割予測が可能となっており、イントラ予測では三角形分割予測が利用されていないが、イントラ予測においても絵柄やテクスチャが三角形の形状であることは多く、三角形領域ごとに予測を行うことは有効であると考えられる。しかしながら、イントラ予測はそのモード数が多いため、それぞれの三角形領域ごとにイントラ予測モードを画像符号化装置から画像復号装置へ伝送すると、伝送するべき符号量が多くなってしまうという欠点がある。

【0008】

そこで、本発明は、伝送するべき符号量の増大を抑制しつつ三角形分割予測をイントラ予測で利用可能とするイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

第１の態様に係るイントラ予測装置は、画像を分割して得たブロックに対するイントラ予測を行うイントラ予測装置であって、前記イントラ予測の予測対象ブロックを複数の非矩形領域に分割する場合、前記分割に用いる分割線を決定するとともに、前記複数の非矩形領域のそれぞれに適用するイントラ予測モードを決定する決定部と、前記決定部が決定したイントラ予測モードを用いて前記複数の非矩形領域のそれぞれの予測画像を生成し、生成した予測画像を合成してイントラ予測画像を出力する予測部と、を備え、前記決定部は、前記予測対象ブロックの周辺にある復号済みブロックに適用されたイントラ予測モードに基づいて、前記分割線と、前記複数の非矩形領域のそれぞれに適用するイントラ予測モードとのうち、少なくとも一方を決定する。実施形態に係るイントラ予測装置は、イントラ予測の予測対象ブロックを対角線で分割する場合、前記予測対象ブロックの２つの対角線の中から前記分割に用いる分割対角線を決定するとともに、前記予測対象ブロックを分割して得た複数の三角形領域のそれぞれに適用するイントラ予測モードを決定する決定部と、前記決定部が決定したイントラ予測モードを用いて前記複数の三角形領域のそれぞれの予測画像を生成し、生成した予測画像を合成してイントラ予測画像を出力する予測部とを備える。前記決定部は、前記予測対象ブロックの周辺にある復号済みブロックに適用されたイントラ予測モードに基づいて、前記分割対角線と、前記複数の三角形領域のそれぞれに適用するイントラ予測モードとのうち、少なくとも一方を決定する。

【0010】

第２の態様に係る画像符号化装置は、第１の態様に係るイントラ予測装置を備える。

【0011】

第３の態様に係る画像復号装置は、第１の態様に係るイントラ予測装置を備える。

【0012】

第４の態様に係るプログラムは、コンピュータを第１の態様に係るイントラ予測装置として機能させる。

【発明の効果】

【0013】

本発明によれば、伝送するべき符号量の増大を抑制しつつ三角形分割予測をイントラ予測で利用可能とするイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る画像符号化装置の構成を示す図である。

【図2】実施形態に係るイントラ予測モードの候補を示す図である。

【図3】実施形態に係る三角形分割予測を示す図である。

【図4】実施形態に係る画像符号化装置のイントラ予測部の構成を示す図である。

【図5】実施形態に係る決定部の処理の具体例を示す図である。

【図6】実施形態に係る画像復号装置の構成を示す図である。

【図7】実施形態に係る画像復号装置のイントラ予測部の構成を示す図である。

【図8】実施形態に係るイントラ予測部の動作フロー例を示す図である。

【図9】他の実施形態に係る決定部の処理例を示す図である。

【発明を実施するための形態】

【0015】

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又
は類似の符号を付している。

【0016】

＜画像符号化装置の構成＞
まず、本実施形態に係る画像符号化装置の構成について説明する。図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

【0017】

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

【0018】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、画像符号化装置１が符号化を行う単位（すなわち、符号化対象ブロック）であり、且つ画像復号装置が復号を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

【0019】

減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0020】

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

【0021】

変換部１２１は、減算部１１０から出力される予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

【0022】

量子化部１２２は、変換部１２１から出力される直交変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。

【0023】

エントロピー符号化部１３０は、量子化部１２２から出力される直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、予測部１７０から予測に関するフラグ及び識別子等の情報が入力され、入力された情報のエントロピー符号化も行う。

【0024】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

【0025】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部１４２に出力する。

【0026】

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から出力される直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0027】

合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１７０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号（再構成）し、復号済みブロック（再構成ブロック）をメモリ１６０に出力する。

【0028】

メモリ１６０は、合成部１５０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号画像として蓄積する。メモリ１６０は、記憶している復号済みブロック若しくは復号画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

【0029】

予測部１７０は、ブロック単位で予測を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。本実施形態において、イントラ予測部１７２は、画像符号化装置１に設けられるイントラ予測装置に相当する。

【0030】

インター予測部１７１は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。

【0031】

ここで、インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

【0032】

イントラ予測部１７２は、メモリ１６０に記憶された復号画像のうち、符号化対象ブロックの周辺にある復号画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。

【0033】

一般的に、イントラ予測部１７２は、複数のイントラ予測モードの中から、イントラ予測の予測対象ブロックに適用する予測モードを選択し、選択した予測モードを用いてイントラ予測の対象ブロックを予測する。イントラ予測部１７２は、選択した予測モードに関する識別子をエントロピー符号化部１３０に出力する。

【0034】

図２は、本実施形態に係るイントラ予測モードの候補を示す図である。ここでは、符号化対象ブロックのうち輝度ブロックに用いるイントラ予測モードの候補を示している。図
２に示すように、イントラ予測モードの候補は、０から６６までの６７通りの予測モードがある。予測モードのモード「０」はＰｌａｎａｒ予測であり、予測モードのモード「１」はＤＣ予測であり、予測モードのモード「２」乃至「６６」は方向性予測である。方向性予測において、矢印の方向は参照方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。ブロックの右上頂点及び左下頂点を通る対角線に平行な参照方向として、左下方向を参照する予測モードであるモード「２」と、右上方向を参照する予測モードであるモード「６６」とがあり、モード「２」からモード「６６」まで時計回りに所定角度ごとにモード番号が割り振られている。

【0035】

切替部１７３は、インター予測部１７１から出力されるインター予測ブロックとイントラ予測部１７２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

【0036】

このように構成された画像符号化装置１において、イントラ予測部１７２は、イントラ予測の予測対象ブロックを対角線で分割し、分割して得た三角形領域のそれぞれに別々のイントラ予測モードを適用する三角形分割予測を行うことが可能である。例えば、イントラ予測部１７２は、三角形の形状を有する絵柄やテクスチャを構成する予測対象ブロックに対して三角形分割予測を適用する。

【0037】

図３は、本実施形態に係る三角形分割予測を示す図である。なお、以下において、予測対象ブロックのブロック形状が正方形である一例について主として説明するが、予測対象ブロックのブロック形状は非正方形（矩形）であってもよい。

【0038】

図３に示すように、イントラ予測部１７２は、予測対象ブロックにおける２つの対角線の中から選択された１つの対角線を分割対角線として決定する。図３（ａ）に、予測対象ブロックの左上頂点及び右下頂点を通る対角線を分割対角線として決定する一例を示す。図３（ｂ）に、予測対象ブロックの右上頂点及び左下頂点を通る対角線を分割対角線として決定する一例を示す。

【0039】

図３（ａ）に示す例では、イントラ予測部１７２は、左上頂点及び右下頂点を通る対角線で予測対象ブロックを右上三角形領域（Ｐａｒｔｉｔｉｏｎ １）及び左下三角形領域（Ｐａｒｔｉｔｉｏｎ ２）に２分割し、２つの分割領域に対応する２つの予測画像を生成し、２つの予測画像を合成することでイントラ予測ブロックを出力する。

【0040】

図３（ｂ）に示す例では、イントラ予測部１７２は、右上頂点及び左下頂点を通る対角線で予測対象ブロックを左上三角形領域（Ｐａｒｔｉｔｉｏｎ １）及び右下三角形領域（Ｐａｒｔｉｔｉｏｎ ２）に２分割し、２つの分割領域に対応する２つの予測画像を生成し、２つの予測画像を合成することでイントラ予測ブロックを出力する。

【0041】

このような三角形分割予測により、絵柄に応じてきめ細かなイントラ予測を行うことが可能になるため、イントラ予測の予測精度を向上させることができる。しかしながら、このような三角形分割予測を行う場合、画像符号化装置１は、次の３種類の追加情報を画像復号装置側に伝送（シグナリング）する必要があり得る。

【0042】

１）三角形分割予測を行うか否かを示す「三角形分割予測フラグ」
２）図３（ａ）及び図３（ｂ）のどちらの分割対角線を適用するかを示す「分割対角線識別子」
３）各三角形領域に適用するイントラ予測モードを示す「イントラ予測モード識別子」

【0043】

特に、イントラ予測はそのモード数が多いため、それぞれの三角形領域ごとにイントラ
予測モード識別子を画像符号化装置１から伝送すると、伝送するべき符号量が多くなってしまい、符号化効率が低下し得る。

【0044】

そこで、本実施形態では、イントラ予測部１７２は、予測対象ブロックの周辺にある復号済みブロックに適用されたイントラ予測モードに基づいて、分割対角線と、複数の三角形領域のそれぞれに適用するイントラ予測モードとのうち、少なくとも一方を決定する。

【0045】

ここで、予測対象ブロックの周辺にある復号済みブロックに適用されたイントラ予測モードは、画像符号化装置１及び画像復号装置の両方が利用可能な情報である。このような情報を元に分割対角線を決定することで分割対角線識別子の伝送が不要になり、このような情報を元に複数の三角形領域のそれぞれに適用するイントラ予測モードを決定することでイントラ予測モード識別子の伝送が不要になる。

【0046】

このため、三角形分割予測をイントラ予測で利用する場合であっても、「分割対角線識別子」及び「イントラ予測モード識別子」の少なくとも一方を伝送不要とすることができるため、伝送するべき符号量の増大を抑制しつつ、イントラ予測の精度を向上させることができる。

【0047】

以下において、イントラ予測部１７２が、予測対象ブロックの周辺にある復号済みブロックに適用されたイントラ予測モードに基づいて、分割対角線と複数の三角形領域のそれぞれに適用するイントラ予測モードとの両方を決定する一例について説明する。

【0048】

しかしながら、イントラ予測部１７２は、予測対象ブロックの周辺にある復号済みブロックに適用されたイントラ予測モードに基づいて分割対角線のみを決定し、複数の三角形領域のそれぞれに適用するイントラ予測モードを別の基準で決定してもよい。或いは、イントラ予測部１７２は、予測対象ブロックの周辺にある復号済みブロックに適用されたイントラ予測モードに基づいて、複数の三角形領域のそれぞれに適用するイントラ予測モードのみを決定し、分割対角線を別の基準で決定してもよい。

【0049】

次に、本実施形態に係る画像符号化装置１のイントラ予測部１７２の構成について説明する。図４は、画像符号化装置１のイントラ予測部１７２の構成を示す図である。

【0050】

図４に示すように、イントラ予測部１７２は、決定部１７２１と、予測部１７２２とを有する。

【0051】

決定部１７２１は、イントラ予測の予測対象ブロックを対角線で分割する場合、予測対象ブロックの２つの対角線の中から分割に用いる分割対角線を決定するとともに、予測対象ブロックを分割して得た複数の三角形領域のそれぞれに適用するイントラ予測モードを決定する。本実施形態において、決定部１７２１は、予測対象ブロックの周辺にある復号済みブロックに適用されたイントラ予測モードに基づいて、分割対角線と、複数の三角形領域のそれぞれに適用するイントラ予測モードとを決定する。

【0052】

ここで、決定部１７２１の機能を（ア）「入力」、（イ）「出力」、（ウ）「処理」の３つに分けると、次のようになる。

【0053】

（ア）入力：決定部１７２１は、周辺ブロック（上・左）で利用されたイントラ予測モード情報をメモリ１６０から受け取る。

【0054】

（イ）出力：決定部１７２１は、分割対角線（三角形領域の形状情報）及び各三角形領域に適用するイントラ予測モードを示す情報を出力する。

【0055】

（ウ）処理：決定部１７２１は、イントラ予測において三角形分割予測を利用する場合、周辺ブロック（上・左）で利用されたイントラ予測モードに応じて、分割対角線（三角形領域の形状）及び各三角形領域に適用するイントラ予測モードを決定する。

【0056】

図５は、本実施形態に係る決定部１７２１の処理の具体例を示す図である。図５において、「Ａ」、「Ｂ」は、イントラ予測モードのうち方向性の予測モード、具体的には、モード「２」からモード「６６」まで間の予測モードである。一方、「Ｃ」、「Ｄ」は、イントラ予測モードのうち非方向性の予測モード、具体的には、モード「０」であるＰｌａｎａｒ予測モード、モード「１」であるＤＣ予測モードである。ここでは、「Ｃ」がＰｌａｎａｒモードであり、「Ｄ」がＤＣモードであるものとする。

【0057】

図５に示すように、決定部１７２１は、予測対象ブロックの上にある復号済みブロックである上ブロックに適用されたイントラ予測モードと、予測対象ブロックの左にある復号済みブロックである左ブロックに適用されたイントラ予測モードとに基づいて決定を行う。画像符号化装置１はラスタスキャン順で符号化処理を行うため、上ブロック及び左ブロックを利用することとしている。決定部１７２１は、これらの周辺ブロックのイントラ予測モードの情報をメモリ１６０から取得する。

【0058】

なお、図５において、上ブロック及び左ブロックのそれぞれが正方形である一例を示しているが、上ブロック及び左ブロックの少なくとも一方が非正方形であってもよい。また上ブロック及び左ブロックのそれぞれのサイズが符号化対象ブロックと同じサイズである一例を示しているが、上ブロックの幅及び左ブロックの高さのうち少なくとも一方のサイズが符号化対象ブロックの幅及び高さよりも小さくてもよい。上ブロック及び左ブロックが符号化対象ブロックよりも小さいサイズであることを想定する場合、例えば、上ブロックは、予測対象ブロック内で最も右上にある画素に隣接する画素を含む上側隣接ブロックとし、左ブロックは、予測対象ブロック内で最も左下にある画素に隣接する画素を含む左側隣接ブロックとしてもよい。

【0059】

或いは、上ブロックは、予測対象ブロック内で最も左上にある画素に隣接する画素を含む上側隣接ブロックとし、左ブロックも予測対象ブロック内で最も左上にある画素に隣接する画素を含む左側隣接ブロックとしてもよい。

【0060】

或いは、上ブロックは、予測対象ブロックの上側に隣接するブロックのうち、接している長さが最も長い上側隣接ブロックとし、左ブロックも予測対象ブロックの左側に隣接するブロックのうち、接している長さが最も長い左側隣接ブロックとしてもよい。

【0061】

決定部１７２１は、図５（ａ）乃至（ｃ）に示すように、上ブロックに適用されたイントラ予測モードと左ブロックに適用されたイントラ予測モードとが互いに異なる場合、予測対象ブロックの左上頂点及び右下頂点を通る対角線を分割対角線として決定する。そして、決定部１７２１は、予測対象ブロックを、上ブロックと隣接する右上三角形領域と、左ブロックと隣接する左下三角形領域とに分割して取り扱う。

【0062】

図５（ａ）の例では、上ブロックが方向性予測モード「Ａ」であり、左ブロックが方向性予測モード「Ｂ」であるため、イントラ予測モードが互いに異なっている。図５（ｂ）の例では、上ブロックが非方向性予測モード「Ｃ」であり、左ブロックが方向性予測モード「Ｂ」であるため、イントラ予測モードが互いに異なっている。図５（ｃ）の例では、上ブロックが非方向性予測モード「Ｃ」であり、左ブロックが非方向性予測モード「Ｄ」であるため、イントラ予測モードが互いに異なっている。

【0063】

決定部１７２１は、図５（ａ）乃至（ｃ）に示すように、上ブロックに適用されたイントラ予測モードを右上三角形領域に適用するイントラ予測モードとして決定するとともに、左ブロックのイントラ予測モードを左下三角形領域に適用するイントラ予測モードとして決定する。

【0064】

具体的には、図５（ａ）の例では、決定部１７２１は、上ブロックの方向性予測モード「Ａ」を右上三角形領域に適用すると決定し、左ブロックの方向性予測モード「Ｂ」を左下三角形領域に適用すると決定する。図５（ｂ）の例では、上ブロックの非方向性予測モード「Ｃ」を右上三角形領域に適用すると決定し、左ブロックの方向性予測モード「Ｂ」を左下三角形領域に適用すると決定する。図５（ｃ）の例では、決定部１７２１は、上ブロックの非方向性予測モード「Ｃ」を右上三角形領域に適用すると決定し、左ブロックの非方向性予測モード「Ｄ」を左下三角形領域に適用すると決定する。

【0065】

このように、上ブロックに適用されたイントラ予測モードを右上三角形領域に適用するイントラ予測モードとして決定するとともに、左ブロックのイントラ予測モードを左下三角形領域に適用するイントラ予測モードとして決定することにより、空間的に相関が高い隣接ブロックのイントラ予測モードを各三角形領域に適用できるため、イントラ予測の精度を高めることができる。

【0066】

一方、決定部１７２１は、図５（ｄ）及び（ｅ）に示すように、上ブロックに適用されたイントラ予測モードと左ブロックに適用されたイントラ予測モードとが同一である場合、予測対象ブロックの右上頂点及び左下頂点を通る対角線を分割対角線として決定する。そして、決定部１７２１は、予測対象ブロックを、上ブロック及び左ブロックの両方と隣接する左上三角形領域と、上ブロック及び左ブロックのいずれとも隣接しない右下三角形領域とに分割して取り扱う。

【0067】

図５（ｄ）の例では、上ブロックが方向性予測モード「Ａ」であり、左ブロックも方向性予測モード「Ａ」であるため、イントラ予測モードが同一である。図５（ｅ）の例では、上ブロックが非方向性予測モード「Ｃ」であり、左ブロックも非方向性予測モード「Ｃ」であるため、イントラ予測モードが同一である。

【0068】

決定部１７２１は、図５（ｄ）及び（ｅ）に示すように、上ブロック及び左ブロックに適用された同一のイントラ予測モードを左上三角形領域に適用するイントラ予測モードとして決定する。図５（ｄ）の例では、決定部１７２１は、方向性予測モード「Ａ」を左上三角形領域に適用すると決定する。図５（ｅ）の例では、決定部１７２１は、非方向性予測モード「Ｃ」を左上三角形領域に適用すると決定する。

【0069】

上ブロック及び左ブロックに同一のイントラ予測モードを適用する場合、上ブロック及び左ブロックは相関が高く、上ブロック及び左ブロックの間にある左上三角形領域も同様に相関が高いと考えられる。このため、上ブロック及び左ブロックに適用された同一のイントラ予測モードを左上三角形領域に適用することにより、空間的に相関が高い隣接ブロックのイントラ予測モードを左上三角形領域に適用できるため、イントラ予測の精度を高めることができる。

【0070】

また、決定部１７２１は、図５（ｄ）及び（ｅ）に示すように、右下三角形領域に適用するイントラ予測モードとして非方向性イントラ予測モードを決定する。具体的には、決定部１７２１は、図５（ｄ）に示すように、上ブロック及び左ブロックに適用された同一のイントラ予測モードが方向性予測モードである場合、予め定められた非方向性予測モード「Ｃ」を右下三角形領域に適用すると決定する。

【0071】

予測対象ブロックの右上頂点及び左下頂点を通る対角線を分割対角線とする場合、右下三角形領域は、上ブロック及び左ブロックのイントラ予測モードとの相関が低いと考えられる。このため、予め定められた非方向性予測モードを右下三角形領域に適用することとしている。

【0072】

一方、決定部１７２１は、図５（ｅ）に示すように、上ブロック及び左ブロックに適用された同一のイントラ予測モードが第１の非方向性イントラ予測モード「Ｃ」である場合、右下三角形領域に適用するイントラ予測モードとして、第１の非方向性イントラ予測モード「Ｃ」とは異なる第２の非方向性イントラ予測モード「Ｄ」を決定する。

【0073】

予測対象ブロックの右上頂点及び左下頂点を通る対角線を分割対角線とする場合、右下三角形領域は、上ブロック及び左ブロックのイントラ予測モードとの相関が低いと考えられる。このため、上ブロック及び左ブロックに適用された非方向性予測モードとは異なる非方向性予測モードを右下三角形領域に適用することとしている。

【0074】

このようにして、決定部１７２１は、イントラ予測において三角形分割予測を利用する場合、周辺ブロック（上・左）で利用されたイントラ予測モードに基づいて、分割対角線（三角形領域の形状）、及び各三角形領域に適用するイントラ予測モードを決定するとともに、決定した内容を示す情報を予測部１７２２に出力する。

【0075】

予測部１７２２は、決定部１７２１が決定したイントラ予測モードを用いて複数の三角形領域のそれぞれの予測画像を生成し、生成した予測画像を合成してイントラ予測画像を出力する。予測部１７２２は、予測画像生成部１７２２ａと、予測画像合成部１７２２ｂとを有する。

【0076】

予測画像生成部１７２２ａの機能を「入力」、「出力」、「処理」の３つに分けると、次のようになる。

【0077】

入力：予測画像生成部１７２２ａは、分割対角線（三角形領域の形状）の情報と、各三角形領域に適用するイントラ予測モードの情報とを決定部１７２１から受け取る。また、予測画像生成部１７２２ａは、イントラ予測に用いる参照画素情報（すなわち、予測対象ブロックの周辺の復号済み参照画素情報）をメモリ１６０から受け取る。

【0078】

出力：予測画像生成部１７２２ａは、各三角形領域の予測画像を出力する。

【0079】

処理：分割対角線の情報と各三角形領域に適用するイントラ予測モードの情報とから、各三角形領域に対するイントラ予測を行い、各三角形領域の予測画像を生成する。

【0080】

また、予測画像合成部１７２２ｂの機能を「入力」、「出力」、「処理」の３つに分けると、次のようになる。

【0081】

入力：予測画像合成部１７２２ｂは、２つの三角形領域に対応する２つの予測画像を予測画像生成部１７２２ａから受け取る。

【0082】

出力：予測画像合成部１７２２ｂは、合成後のイントラ予測ブロックを出力する。

【0083】

処理：予測画像合成部１７２２ｂは、２つの予測画像を合成して１つのイントラ予測ブロックを生成する。予測画像合成部１７２２ｂは、このような合成の際に、対角線部分にフィルタ処理を施してもよい。

【0084】

＜画像復号装置の構成＞
次に、本実施形態に係る画像復号装置の構成について説明する。図６は、本実施形態に係る画像復号装置２の構成を示す図である。

【0085】

図６に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

【0086】

エントロピー復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化された直交変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、予測（イントラ予測及びインター予測）に関する識別子を取得し、取得した識別子を予測部２４０に出力する。

【0087】

本実施形態において、エントロピー復号部２００は、画像符号化装置１が三角形分割予測を適用したブロックについて、三角形分割予測を適用したことを示す三角形分割予測フラグを取得し、取得した三角形分割予測フラグを予測部２４０（イントラ予測部２４２）に出力する。

【0088】

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

【0089】

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの直交変換係数を復元し、復元した直交変換係数を逆変換部２１２に出力する。

【0090】

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0091】

合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２４０から出力される予測ブロックとを画素単位で合成することにより、元のブロックを復号（再構成）し、復号済みブロックをメモリ２３０に出力する。

【0092】

メモリ２３０は、合成部２２０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号画像として蓄積する。メモリ２３０は、復号済みブロック若しくは復号画像を予測部２４０に出力する。また、メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

【0093】

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。本実施形態において、イントラ予測部２４２は、画像復号装置２に設けられるイントラ予測装置に相当する。

【0094】

インター予測部２４１は、メモリ２３０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２４１は、エントロピー復号部２００から出力される識別子及び動きベクトル等に従ってインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。

【0095】

イントラ予測部２４２は、メモリ１６０に記憶された復号画像のうち、イントラ予測の予測対象ブロック（復号対象ブロック）の周辺にある復号画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。イントラ予測部２４２は、エントロピー復号部２００から出力される三角形分割予測フラグに基づいて、復号対象ブロックに三角形分割予測を適用するか否かを決定する。

【0096】

復号対象ブロックに三角形分割予測を適用しない場合、イントラ予測部２４２は、エントロピー復号部２００から出力されるイントラ予測モード識別子に基づいて、復号対象ブロックに適用するイントラ予測モードを決定し、決定したイントラ予測モードによりイントラ予測を行うことでイントラ予測ブロックを出力する。

【0097】

一方、復号対象ブロックに三角形分割予測を適用する場合、イントラ予測部２４２は、予測対象ブロックの周辺にある復号済みブロックに適用されたイントラ予測モードに基づいて、分割対角線と複数の三角形領域のそれぞれに適用するイントラ予測モードとを決定する。そして、イントラ予測部２４２は、決定した分割対角線で予測対象ブロックを２分割し、決定したイントラ予測モードにより２つの分割領域に対応する２つの予測画像を生成し、２つの予測画像を合成することでイントラ予測ブロックを出力する。

【0098】

切替部２４３は、インター予測部２４１から出力されるインター予測ブロックとイントラ予測部２４２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

【0099】

図７は、本実施形態に係る画像復号装置２のイントラ予測部２４２の構成を示す図である。イントラ予測部２４２は、画像復号装置２に設けられるイントラ予測装置に相当する。

【0100】

図７に示すように、イントラ予測部２４２は、決定部２４２１と、予測部２４２２とを有する。また、予測部２４２２は、予測画像生成部２４２２ａと、予測画像合成部２４２２ｂとを有する。

【0101】

決定部２４２１、予測画像生成部２４２２ａ、及び予測画像合成部２４２２ｂは、図４に示した決定部１７２１、予測画像生成部１７２２ａ、及び予測画像合成部１７２２ｂとそれぞれ同様な動作を行う。但し、決定部２４２１には、イントラ予測において復号対象ブロックに対して三角形分割予測を適用するか否かを示す三角形分割予測フラグがエントロピー復号部２００から入力され、この三角形分割予測フラグに基づいて三角形分割予測を適用するか否かを決定する。

【0102】

＜イントラ予測の動作フロー例＞
次に、本実施形態に係るイントラ予測の動作フロー例について説明する。画像符号化装置１及び画像復号装置２でイントラ予測の動作は同じであるが、ここでは画像復号装置２におけるイントラ予測（イントラ予測部２４２）の動作を説明する。

【0103】

図８は、イントラ予測部２４２の動作フロー例を示す図である。イントラ予測部２４２は、イントラ予測において復号対象ブロックに対して三角形分割予測を適用することを示す三角形分割予測フラグがエントロピー復号部２００から入力された場合、図８に示す動作を行う。

【0104】

図８に示すように、ステップＳ１において、決定部２４２１は、メモリ２３０を参照し、上ブロックに適用されたイントラ予測モードと左ブロックに適用されたイントラ予測モ
ードとが同じであるか否かを判定する。

【0105】

上ブロックに適用されたイントラ予測モードと左ブロックに適用されたイントラ予測モードとが互いに異なる場合（ステップＳ１：ＮＯ）、ステップＳ２において、決定部２４２１は、予測対象ブロックの左上頂点及び右下頂点を通る対角線を分割対角線として決定し、予測対象ブロックを、上ブロックと隣接する右上三角形領域と、左ブロックと隣接する左下三角形領域とに分割して取り扱う（図３（ａ）参照）。ステップＳ３において、決定部２４２１は、上ブロックに適用されたイントラ予測モードを右上三角形領域に適用すると決定するとともに、左ブロックのイントラ予測モードを左下三角形領域に適用すると決定する。

【0106】

一方、上ブロックに適用されたイントラ予測モードと左ブロックに適用されたイントラ予測モードとが同一である場合（ステップＳ１：ＹＥＳ）、ステップＳ６において、決定部２４２１は、予測対象ブロックの右上頂点及び左下頂点を通る対角線を分割対角線として決定し、予測対象ブロックを、上ブロック及び左ブロックの両方と隣接する左上三角形領域と、上ブロック及び左ブロックのいずれとも隣接しない右下三角形領域とに分割して取り扱う（図３（ｂ）参照）。

【0107】

この場合、ステップＳ７において、決定部２４２１は、上ブロック及び左ブロックに適用された同一のイントラ予測モードが方向性予測モードであるか否かを判定する。

【0108】

上ブロック及び左ブロックに適用された同一のイントラ予測モードが方向性予測モードである場合（ステップＳ７：ＹＥＳ）、ステップＳ８において、決定部２４２１は、上ブロック及び左ブロックに適用された同一のイントラ予測モードを左上三角形領域に適用すると決定するとともに、予め定められた非方向性予測モードを右下三角形領域に適用すると決定する。

【0109】

一方、上ブロック及び左ブロックに適用された同一のイントラ予測モードが非方向性予測モードである場合（ステップＳ７：ＮＯ）、ステップＳ９において、決定部２４２１は、上ブロック及び左ブロックに適用された同一のイントラ予測モードを左上三角形領域に適用すると決定するとともに、当該同一のイントラ予測モード（非方向性予測モード）とは異なる非方向性イントラ予測モードを右下三角形領域に適用すると決定する。例えば、決定部２４２１は、上ブロック及び左ブロックに適用された同一のイントラ予測モードがＤＣ予測モードである場合、Ｐｌａｎａｒ予測モードを右下三角形領域に適用すると決定する。また、決定部２４２１は、上ブロック及び左ブロックに適用された同一のイントラ予測モードがＰｌａｎａｒ予測モードである場合、ＤＣ予測モードを右下三角形領域に適用すると決定する。

【0110】

その後、ステップＳ４において、予測画像生成部２４２２ａは、メモリ２３０を参照しつつ、決定部２４２１が決定したイントラ予測モードを用いて各三角形領域の予測画像を生成する。ステップＳ５において、予測画像合成部２４２２ｂは、予測画像生成部２４２２ａが生成した予測画像を合成してイントラ予測画像を出力する。

【0111】

＜その他の実施形態＞
上述した実施形態において、決定部１７２１及び決定部２４２１は、上ブロック及び左ブロックに同一のイントラ予測モードが適用されている場合、非方向性予測モードを予測対象ブロックの右下三角形領域に適用すると決定していた。

【0112】

しかしながら、このような場合において、決定部１７２１及び決定部２４２１は、図９に示すように、予測対象ブロックの右上にある復号済みブロックである右上ブロックに適
用されたイントラ予測モードと、予測対象ブロックの左下にある復号済みブロックである左下ブロックに適用されたイントラ予測モードとのうち、少なくとも一方に基づいて、右下三角形領域に適用するイントラ予測モードを決定する。

【0113】

図９（ａ）は上ブロック及び左ブロックに同一の方向性予測モード「Ａ」が適用された一例を示し、図９（ｂ）は上ブロック及び左ブロックに同一の非方向性予測モード「Ｃ」が適用された一例を示している。なお、右上ブロックは上ブロックの右側に隣接する復号済みブロックであり、左下ブロックは左ブロックの下側に隣接する復号済みブロックである。

【0114】

例えば、決定部１７２１及び決定部２４２１は、右上ブロック及び左下ブロックに同一のイントラ予測モードが適用されている場合、当該同一のイントラ予測モードを右下三角形領域に適用すると決定してもよい。決定部１７２１及び決定部２４２１は、右上ブロック及び左下ブロックに異なるイントラ予測モードが適用されている場合、右上ブロックに適用されたイントラ予測モードを右下三角形領域に適用すると決定してもよい。

【0115】

上述した実施形態において、予測対象ブロックの上ブロックや左ブロックにも三角形分割予測が適用されていてもよい。この場合、三角形分割予測が適用された隣接ブロック（上ブロック又は左ブロック）のうち、予測対象ブロックに接している辺が含まれる三角形領域の予測モードを、その隣接ブロックの予測モードとみなしてもよい。或いは、三角形分割予測を適用した隣接ブロックを、一律に、特定の予測モードを用いたブロックとみなしてもよい。上述の特定の予測モードの例としては、Planar予測モードやDC予測モードなどがある。

【0116】

画像符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0117】

画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

【0118】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0119】

１ ：画像符号化装置
２ ：画像復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：インター予測部
１７２ ：イントラ予測部
１７３ ：切替部
２００ ：エントロピー復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：インター予測部
２４２ ：イントラ予測部
２４３ ：切替部
１７２１ ：決定部
１７２２ ：予測部
１７２２ａ ：予測画像生成部
１７２２ｂ ：予測画像合成部
２４２１ ：決定部
２４２２ ：予測部
２４２２ａ ：予測画像生成部
２４２２ｂ ：予測画像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】