特開 2025-27687 イントラ予測装置、符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025027687

(43)【公開日】2025-02-28

(54)【発明の名称】イントラ予測装置、符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/11 20140101AFI20250220BHJP

   H04N 19/176 20140101ALI20250220BHJP

   H04N 19/167 20140101ALI20250220BHJP

   H04N 19/70 20140101ALI20250220BHJP

   H04N 19/593 20140101ALI20250220BHJP

【ＦＩ】

H04N19/11

H04N19/176

H04N19/167

H04N19/70

H04N19/593

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023132716

(22)【出願日】2023-08-16

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】根本 慎平

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159RC12

5C159TA32

5C159TB08

5C159TC31

5C159UA02

5C159UA05

(57)【要約】

【課題】処理の複雑度の増大を抑制しつつ、曲線的なイントラ予測によって符号化効率を向上させる。
【解決手段】画像を構成するブロック単位でイントラ予測を行うイントラ予測装置は、直線的な予測方向を有する第１予測モードが割り当てられた対象ブロックが複数のサブ領域に分割される場合において、前記サブ領域ごとに前記予測方向を徐々に変化させる場合における最終的な予測方向を示す第２予測モードを決定する決定部と、前記第１予測モードの予測方向を基準として前記サブ領域ごとに前記予測方向を前記第２予測モードの予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる割当部と、前記各サブ領域を、対応するサブ予測モードを用いて前記イントラ予測により予測する予測部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像を構成するブロック単位でイントラ予測を行うイントラ予測装置であって、
直線的な予測方向を有する第１予測モードが割り当てられた対象ブロックが複数のサブ領域に分割される場合において、
前記サブ領域ごとに前記予測方向を徐々に変化させる場合における最終的な予測方向を示す第２予測モードを決定する決定部と、
前記第１予測モードの予測方向を基準として前記サブ領域ごとに前記予測方向を前記第２予測モードの予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる割当部と、
前記各サブ領域を、対応するサブ予測モードを用いて前記イントラ予測により予測する予測部と、を備える
イントラ予測装置。

【請求項2】

前記予め定められた規則は、数式又はテーブルとして定められ、
前記割当部は、前記第１予測モードと、前記第２予測モードと、前記複数のサブ領域の数を示す分割数とから、前記数式又は前記テーブルに従って、前記各サブ領域に前記サブ予測モードを割り当てる
請求項１に記載のイントラ予測装置。

【請求項3】

前記割当部は、前記複数のサブ領域のうち隣接するサブ領域間における前記サブ予測モードの変化が均一になるように前記各サブ領域に前記サブ予測モードを割り当てる
請求項１に記載のイントラ予測装置。

【請求項4】

前記割当部は、前記複数のサブ領域のうち隣接するサブ領域間における前記サブ予測モードの変化が不均一になるように前記各サブ領域に前記サブ予測モードを割り当てる
請求項１に記載のイントラ予測装置。

【請求項5】

請求項１乃至４のいずれか１項に記載のイントラ予測装置を有する符号化装置であって、
復号側に伝送するフラグを出力する出力部を備え、
前記出力部は、前記第１予測モードを示す第１フラグと、前記決定部が決定した前記第２予測モードを示す第２フラグと、を出力する
符号化装置。

【請求項6】

請求項１乃至４のいずれか１項に記載のイントラ予測装置を有する復号装置であって、
符号化側から伝送されたフラグを取得する取得部を備え、
前記取得部は、前記第１予測モードを示す第１フラグと、前記第２予測モードを示す第２フラグと、を取得し、
前記決定部は、前記第２フラグに応じて前記第２予測モードを決定する
復号装置。

【請求項7】

コンピュータを請求項１乃至４のいずれか１項に記載のイントラ予測装置として機能させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イントラ予測装置、符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

情報量が膨大である映像信号を限られた帯域で伝送するためには、符号化を行うことが必須である。規格化されている従来の映像符号化方式及び次世代の映像符号化方式（ＶＶＣ）では、フレームを小領域であるブロック（以下、対象ブロックと呼ぶ）に分割し、ブロックごとに予測及び符号化が行われている。

【0003】

予測方式には大きく分けて、イントラ予測及びインター予測の２つの方法が存在する。イントラ予測は、フレーム内で対象ブロックに隣接した復号済みのブロックを用いて空間的相関を利用した予測を行う方法である。インター予測は、対象ブロックが属するフレームとは異なる復号済みのフレームを用いて時間的相関を利用した予測を行う方法である。一般的に動画像では時間的に近接するフレーム同士は類似しているため、イントラ予測に比べて、インター予測の予測精度は高くなり、かつ復号側に伝送する残差信号（予測残差）の情報量は少ない。

【0004】

一方、イントラ予測では、インター予測に比べて高精度な予測は困難であるため、復号側に伝送する残差信号の情報量はインター予測に比べて多い。イントラ予測を適用した残差信号を限られた帯域で伝送するためには、より粗い量子化が必要となるため、イントラ予測によって符号化・復号されたブロックの劣化が生じやすくなる。イントラ予測によって復号された画像はインター予測の際に参照されるため、イントラ予測で生じた劣化は、このイントラ予測フレームを参照したインター予測フレームにも影響を与え、映像全体の劣化の原因となる。以上の理由から、イントラ予測フレームを高効率で圧縮できる符号化方式が研究されている。

【0005】

ＶＶＣのイントラ予測では、対象ブロックに隣接する復号済み参照画素（以下、単に「参照画素」と呼ぶ）を用いて曲面的な予測を行うＰｌａｎａｒ予測、参照画素の平均値により予測を行うＤＣ予測、及び参照画素の一部を直線的にコピーすることにより予測を行う方向性予測が導入されている。ＶＶＣの方向性予測では、予測方向が６５方向に増加しており、６５通りの予測モードが規定されている。

【0006】

ＶＶＣの方向性予測では予測方向が６５方向に増加したことで予測精度が向上したものの、いずれの方向性予測の予測モードも予測は直線的に行われている。しかしながら、一般の自然画像においては、オブジェクトの境界が曲線的であることが多く、直線的な予測では、これらのオブジェクト境界の予測を高精度に行うことができず、符号化効率が低下する問題がある。

【0007】

特許文献１には、曲線的なオブジェクト境界を高精度に予測するために、対象ブロックを複数のサブ領域に分割し、各サブ領域に対してそれぞれ精度が高くなる方向性予測を適用する技術が記載されている。具体的には、特許文献１に記載の技術では、対象ブロックに割り当てられたイントラ予測モードと、対象ブロックのブロック形状と、対象ブロックの分割数と、に応じて、ベジェ曲線である基準曲線を求め、この基準曲線と各サブ領域境界との交点を基準点として設定し、各基準点を結ぶ直線に応じて各サブ領域のサブ予測モードを決定する。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０２２－６６６７８号公報

【発明の開示】

【発明が解決しようとする課題】

【0009】

従来のイントラ予測技術には、処理の複雑度の増大を抑制しつつ符号化効率を向上させる点で改善の余地がある。例えば、特許文献１に記載の技術では、曲線的なイントラ予測を行うことで符号化効率を向上させることが可能であるものの、基準曲線を求める処理を含む複雑な処理が必要であり、複雑度の観点から実装の難易度が高いと考えられる。

【0010】

そこで、本発明は、処理の複雑度の増大を抑制しつつ、曲線的なイントラ予測によって符号化効率を向上させることが可能なイントラ予測装置、符号化装置、復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

第１の態様に係るイントラ予測装置は、画像を構成するブロック単位でイントラ予測を行う装置である。前記イントラ予測装置は、直線的な予測方向を有する第１予測モードが割り当てられた対象ブロックが複数のサブ領域に分割される場合において、前記サブ領域ごとに前記予測方向を徐々に変化させる場合における最終的な予測方向を示す第２予測モードを決定する決定部と、前記第１予測モードの予測方向を基準として前記サブ領域ごとに前記予測方向を前記第２予測モードの予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる割当部と、前記各サブ領域を、対応するサブ予測モードを用いて前記イントラ予測により予測する予測部と、を備える。

【0012】

第２の態様に係る符号化装置は、第１の態様に係るイントラ予測装置を有する。前記符号化装置は、復号側に伝送するフラグを出力する出力部を備え、前記出力部は、前記第１予測モードを示す第１フラグと、前記決定部が決定した前記第２予測モードを示す第２フラグと、を出力する。

【0013】

第３の態様に係る復号装置は、第１の態様に係るイントラ予測装置を有する。前記復号装置は、符号化側から伝送されたフラグを取得する取得部を備え、前記取得部は、前記第１予測モードを示す第１フラグと、前記第２予測モードを示す第２フラグと、を取得し、前記決定部は、前記第２フラグに応じて前記第２予測モードを決定する。

【0014】

第４の態様に係るプログラムは、コンピュータを第１の態様に係るイントラ予測装置として機能させる。

【発明の効果】

【0015】

本発明によれば、処理の複雑度の増大を抑制しつつ、曲線的なイントラ予測によって符号化効率を向上させることが可能なイントラ予測装置、符号化装置、復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0016】

【図1】実施形態に係る符号化装置の構成例を示す図である。

【図2】実施形態に係るイントラ予測部の動作を説明するための図である。

【図3】実施形態に係るイントラ予測部が利用可能なイントラ予測モードを示す図である。

【図4】実施形態に係るＩＳＰ（Ｉｎｔｒａ Ｓｕｂ Ｐａｒｔｉｔｉｏｎ）を説明するための図である。

【図5】実施形態に係る曲線的なイントラ予測の動作例を説明するための図である。

【図6】実施形態に係る復号装置の構成例を示す図である。

【図7】実施形態の変更例について説明するための図である。

【図8】実施形態の変更例について説明するための図である。

【図9】実施形態の変更例について説明するための図である。

【図10】実施形態の変更例について説明するための図である。

【図11】実施形態の変更例について説明するための図である。

【図12】実施形態の変更例について説明するための図である。

【発明を実施するための形態】

【0017】

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0018】

（１）符号化装置
まず、本実施形態に係る符号化装置について説明する。

【0019】

（１．１）全体構成
図１は、本実施形態に係る符号化装置１の構成例を示す図である。符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

【0020】

ブロック分割部１００は、動画像を構成するフレーム（「ピクチャ」とも称する）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず、長方形（非正方形）であってもよい。

【0021】

画像ブロックは、符号化装置１が符号化を行う単位（すなわち、符号化対象ブロック）であり、且つ復号装置が復号を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。符号化対象ブロック及び復号対象ブロックを特に区別しないときは単に対象ブロックと呼ぶ。

【0022】

ブロック分割部１００は、画像を構成する輝度信号及び色差信号に対してブロック分割を行うことで、輝度ブロック及び色差ブロックを出力する。輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

【0023】

ブロック分割部１００は、ＩＳＰ（Ｉｎｔｒａ Ｓｕｂ Ｐａｒｔｉｔｉｏｎ）を符号化対象ブロックに適用する場合、当該符号化対象ブロックを複数のサブブロック（複数のサブ領域）に分割してもよい。ＩＳＰの詳細については後述する。

【0024】

減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0025】

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

【0026】

変換部１２１は、減算部１１０から出力される予測残差に対して変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理とは、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）等をいう。変換処理には、画素ブロックの信号を周波数領域の信号に変換することなくスケーリング等により調整する変換スキップを含んでもよい。

【0027】

量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。

【0028】

エントロピー符号化部１３０は、量子化部１２２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。

【0029】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

【0030】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

【0031】

逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0032】

合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１７０から出力される予測ブロックと画素単位で合成（加算）する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号（再構成）し、復号済みブロックをメモリ１６０に出力する。なお、復号済みブロックは、再構成ブロックと呼ばれることもある。

【0033】

メモリ１６０は、合成部１５０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ１６０は、記憶している復号済みブロック若しくは復号済み画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

【0034】

予測部１７０は、ブロック単位で予測処理を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。予測部１７０は、最適な予測モードを判定し、その最適予測モードで予測ブロックを生成する。

【0035】

インター予測部１７１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部１７１は、メモリ１６０に記憶された復号済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。ここで、インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向性予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

【0036】

イントラ予測部１７２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部１７２は、メモリ１６０に記憶された復号済み画像のうち、符号化対象ブロックの周辺にある復号済み画素である参照画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。本実施形態において、イントラ予測部１７２は、符号化側のイントラ予測装置に相当する。

【0037】

イントラ予測部１７２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用するイントラ予測モードを決定する。イントラ予測部１７２は、決定したイントラ予測モードを用いて符号化対象ブロックを予測する。イントラ予測部１７２は、決定したイントラ予測モードを示すフラグ情報をエントロピー符号化部１３０に出力する。符号化対象ブロックごとのイントラ予測モードは、エントロピー符号化部１３０により復号側にシグナリングされる。イントラ予測部１７２の構成の詳細については後述する。

【0038】

切替部１７３は、インター予測部１７１から出力されるインター予測ブロックとイントラ予測部１７２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

【0039】

（１．２）イントラ予測の概要
図２は、本実施形態に係るイントラ予測部１７２の動作を説明するための図である。

【0040】

イントラ予測部１７２は、符号化対象ブロックに隣接する復号済み参照画素を用いて曲面的な予測を行うＰｌａｎａｒ予測、参照画素の平均値により予測を行うＤＣ予測、及び参照画素の一部を直線的にコピーすることにより予測を行う方向性予測のいずれかのイントラ予測モードによりイントラ予測を行う。参照画素は、符号化対象ブロックの上側の参照画素列及び左側の参照画素列からなる参照画素領域の中から、イントラ予測モードに応じて選択される。本実施形態において、方向性予測における予測方向が６５方向、すなわち、６５通りのイントラ予測モードが用意されているものとする。但し、方向性予測における予測方向の数は６５よりも多くてもよい。

【0041】

なお、利用可能な参照画素が符号化対象ブロックの上側や左側に隣接する復号済み画素信号であるものとするが、ＶＶＣ規格で導入される複数の参照画素列のうち予測処理に用いる参照画素位置を決定する複数列参照画素予測（Ｍｕｌｔｉ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）が導入されている場合、符号化対象ブロックに隣接しない参照画素、例えば、符号化対象ブロックに対して１画素の間隔をおいた位置の参照画素を用いて予測処理を行ってもよい。

【0042】

図３は、本実施形態に係るイントラ予測部１７２が利用可能なイントラ予測モードを示す図である。

【0043】

本実施形態では、イントラ予測モードの候補は、０から６６までの６７通りがある。イントラ予測モードのモード「０」はＰｌａｎａｒ予測であり、イントラ予測モードのモード「１」はＤＣ予測であり、イントラ予測モードのモード「２」乃至「６６」は方向性予測である。方向性予測において、矢印の方向は参照方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。

【0044】

符号化対象ブロックの右上頂点及び左下頂点を通る対角線に平行な参照方向として、左下方向を参照するイントラ予測モードであるモード「２」と、右上方向を参照するイントラ予測モードであるモード「６６」とがあり、モード「２」からモード「６６」まで時計回りに所定角度ごとにモード番号が割り振られている。水平方向を参照する水平モードはモード「１８」であり、垂直方向を参照する垂直モードはモード「５０」である。なお、モード番号「－２」乃至「－１４」、及びモード番号「６７」乃至「８０」は、符号化対象ブロックのブロック形状が長方形（非正方形）である場合にのみ適用される。

【0045】

図４は、本実施形態に係るＩＳＰ（Ｉｎｔｒａ Ｓｕｂ Ｐａｒｔｉｔｉｏｎ）を説明するための図である。

【0046】

ＩＳＰでは、輝度信号のイントラ予測において、符号化対象ブロックを水平又は垂直に連続した形状のサブブロック（「サブ領域（ｓｕｂ－ｐａｒｔｉｔｉｏｎ）」とも称する）に分割し、サブ領域ごとに予測・変換・量子化処理を行う。ＩＳＰにおけるイントラ予測は、１つの符号化対象ブロックを構成する全サブ領域で同じ予測モードが適用されるため、予測モードを示すシグナルは１つだけで済むという利点がある。本実施形態では、ＩＳＰは、輝度信号のみに適用可能であってもよいし、輝度信号及び色差信号に適用可能であってもよい。

【0047】

図４（ａ）では、符号化対象ブロックを２分割する例を示しており、符号化対象ブロックが水平に２分割及び垂直に２分割されている。そのため、１つの符号化対象ブロックが２つのサブ領域に分割される。

【0048】

水平２分割の場合、第１に、イントラ予測部１７２は、符号化対象ブロックに割り当てられたイントラ予測モードを用いて、上側のサブ領域をイントラ予測により予測し、予測されたサブ領域と符号化対象ブロックの対応するサブ領域との予測残差が変換・量子化部１２０により変換及び量子化される。第２に、イントラ予測部１７２は、符号化対象ブロックに割り当てられたイントラ予測モードを用いて、下側のサブ領域をイントラ予測により予測し、予測されたサブ領域と符号化対象ブロックの対応するサブ領域との予測残差が変換・量子化部１２０により変換及び量子化される。ここで、上側のサブ領域は再構成（復号）済みであり、イントラ予測における参照画素として利用できる。

【0049】

垂直２分割の場合、第１に、イントラ予測部１７２は、符号化対象ブロックに割り当てられたイントラ予測モードを用いて、左側のサブ領域をイントラ予測により予測し、予測されたサブ領域と符号化対象ブロックの対応するサブ領域との予測残差が変換・量子化部１２０により変換及び量子化される。第２に、イントラ予測部１７２は、符号化対象ブロックに割り当てられたイントラ予測モードを用いて、右側のサブ領域をイントラ予測により予測し、予測されたサブ領域と符号化対象ブロックの対応するサブ領域との予測残差が変換・量子化部１２０により変換及び量子化される。ここで、左側のサブ領域は再構成（復号）済みであり、イントラ予測における参照画素として利用できる。

【0050】

図４（ｂ）では、符号化対象ブロックを４分割する例を示しており、符号化対象ブロックが水平に４分割及び垂直に４分割されている。そのため、１つの符号化対象ブロックが４つのサブ領域に分割される。４分割の場合も、２分割の場合と同様にしてサブ領域ごとに予測・変換・量子化処理を行う。なお、２分割及び４分割の例について説明したが、さらに多い分割数（例えば、８分割）であってもよい。

【0051】

このように、ＩＳＰで利用される予測モードは、全サブブロックで同一となり、予測モードを示すシグナリングをサブブロックの数だけ送る必要はない。しかしながら、予測モードが固定されるため、方向性予測が選択された際に、ＩＳＰを利用する符号化対象ブロック全体で直線的な予測に限られる。

【0052】

ここで、一般的な方向性予測は、参照画素を直線的にコピーすることにより予測を行うものである。しかし、一般の自然画像においては、オブジェクトの境界が曲線的であることが多く、直線的な予測では、これらのオブジェクト境界の予測を高精度に行うことが難しい。以下において、処理の複雑度の増大を抑制しつつ、曲線的なイントラ予測によって符号化効率を向上させることが可能な構成及び動作について説明する。

【0053】

（１．３）曲線的なイントラ予測
本実施形態に係るイントラ予測部１７２は、画像を構成するブロック（符号化対象ブロック）単位でイントラ予測を行う。図１に示すように、イントラ予測部１７２は、決定部１７２１と、割当部１７２２と、予測部１７２３とを有する。決定部１７２１、割当部１７２２、及び予測部１７２３は、直線的な予測方向を有する第１予測モード（以下、「ｓｔ＿ｍｏｄｅ」とも称する）が割り当てられた符号化対象ブロックが複数のサブ領域に分割される場合（すなわち、符号化対象ブロックにＩＳＰが適用される場合）において、次の処理を行う。なお、本実施形態では、第１予測モード（ｓｔ＿ｍｏｄｅ）は、複数のサブ領域のうち最初に予測するサブ領域のサブ予測モードとして用いられるため、「最初の予測モード」とも称する。

【0054】

第１に、決定部１７２１は、サブ領域ごとに予測方向を徐々に変化させる場合における最終的な予測方向を示す第２予測モード（以下、「ｅｎｄ＿ｍｏｄｅ」とも称する）を決定する。第２予測モード（ｅｎｄ＿ｍｏｄｅ）は、最終的に向かう予測モードであって、「漸近する予測モード」とも称する。

【0055】

第２に、割当部１７２２は、第１予測モード（ｓｔ＿ｍｏｄｅ）の予測方向を基準としてサブ領域ごとに予測方向を第２予測モード（ｅｎｄ＿ｍｏｄｅ）の予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる。ここで、予め定められた規則は数式又はテーブルとして定められるが、本実施形態では、数式を用いる一例について主として説明する。

【0056】

割当部１７２２は、複数のサブ領域のうち隣接するサブ領域間におけるサブ予測モードの変化が均一になるように各サブ領域にサブ予測モードを割り当ててもよい。或いは、割当部１７２２は、複数のサブ領域のうち隣接するサブ領域間におけるサブ予測モードの変化が不均一になるように各サブ領域にサブ予測モードを割り当ててもよい。

【0057】

本実施形態では、割当部１７２２は、第１予測モードと、第２予測モードと、複数のサブ領域の数を示す分割数とから、数式又はテーブルに従って、各サブ領域にサブ予測モードを割り当てる。例えば、サブ領域の分割数を「２^{ｓｕｂ＿ｓｐｌｉｔ}」、最初の予測モードを「ｓｔ＿ｍｏｄｅ」、漸近する予測モードを「ｅｎｄ＿ｍｏｄｅ」、ｘ番目のサブ領域のイントラ予測モード（すなわち、サブ予測モード）を「ｍｏｄｅ［ｘ］」（但し、０≦ｘ＜ｓｕｂ＿ｓｐｌｉｔ－１）とすると、割当部１７２２は、次の式（１）により各サブ領域にサブ予測モードを割り当てる：
if st_mode < end_mode, mode[x] = st_mode + ( x * ( end_mode - st_mode ) ) >> sub_split
else, mode[x]=st_mode - ( x * ( st_mode - end_mode ) ) >> sub_split
・・・式（１）

【0058】

なお、「>>」は論理右シフト演算を表し、割り算に相当する処理である。

【0059】

第３に、予測部１７２３は、各サブ領域を、対応するサブ予測モードを用いてイントラ予測により予測する。

【0060】

このように、本実施形態に係るイントラ予測部１７２は、第１予測モード（ｓｔ＿ｍｏｄｅ）が割り当てられ、且つＩＳＰが適用される符号化対象ブロックについて、最終的に向かう予測モード（漸近する予測モード）である第２予測モード（ｅｎｄ＿ｍｏｄｅ）を決定したうえで、第１予測モード（ｓｔ＿ｍｏｄｅ）の予測方向を基準としてサブ領域ごとに予測方向を第２予測モード（ｅｎｄ＿ｍｏｄｅ）の予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる。これにより、処理の複雑度の増大を抑制しつつ、曲線的なイントラ予測によって符号化効率を向上させることが可能である。

【0061】

本実施形態では、イントラ予測部１７２は、第１予測モード（ｓｔ＿ｍｏｄｅ）を示す情報及び第２予測モード（ｅｎｄ＿ｍｏｄｅ）を示す情報をエントロピー符号化部１３０に出力する。そして、エントロピー符号化部１３０は、第１予測モード（ｓｔ＿ｍｏｄｅ）を示す第１フラグ及び第２予測モード（ｅｎｄ＿ｍｏｄｅ）を示す第２フラグを、ビットストリームに含めて出力する。なお、フラグは１ビットに限らず、複数ビットからなるフラグ（インデックス）であってもよい。第１フラグは、符号化対象ブロック単位でシグナリングされるフラグであってもよい。

【0062】

第２フラグは、符号化対象ブロック単位でシグナリングされるフラグであってもよいし、複数の符号化対象ブロックを含むシーケンス単位又はピクチャ単位でシグナリングされるフラグであってもよい。例えば、第２フラグは、ビットストリーム中のシーケンスパラメータセット（ＳＰＳ）でシグナリングされてもよい。

【0063】

さらに、エントロピー符号化部１３０は、曲線的なイントラ予測を行うことを示す第３フラグをビットストリームに含めて出力してもよい。第３フラグは、符号化対象ブロック単位でシグナリングされるフラグであってもよいし、シーケンス単位又はピクチャ単位でシグナリングされるフラグであってもよい。第３フラグが真（“１”）である場合に限り、第２フラグをビットストリームに含めるとしてもよい。

【0064】

また、エントロピー符号化部１３０は、曲線的なイントラ予測が有効（ｅｎａｂｌｅ）であることを示す第４フラグをビットストリームに含めて出力してもよい。第４フラグは、シーケンス単位又はピクチャ単位でシグナリングされるフラグであってもよい。第４フラグが真（“１”）である場合に限り、第２フラグ及び／又は第３フラグをビットストリームに含めるとしてもよい。

【0065】

或いは、第３フラグ及び／又は第４フラグは、ＩＳＰに関するフラグ（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）と共通としてもよい。

【0066】

図５は、本実施形態に係る曲線的なイントラ予測の動作例を説明するための図である。

【0067】

図５（ａ）に示すように、本動作例では、符号化対象ブロックが水平方向８画素及び垂直方向４画素の８×４のサイズを有するものとする。

【0068】

図５（ｂ）に示すように、本動作例では、ブロック分割部１００は、ＩＳＰを当該符号化対象ブロックに適用することを決定し、当該符号化対象ブロックを垂直に８分割するものとする。この場合、各サブ領域は、水平方向１画素及び垂直方向４画素の１×４のサイズを有する。なお、サブ領域のサイズは任意であるが、符号化対象ブロックの分割数（すなわち、サブ領域の数）が多いほど、予測モードのシグナリング削減の効果が大きくなる。

【0069】

イントラ予測部１７２は、当該符号化対象ブロックに第１予測モード（ｓｔ＿ｍｏｄｅ）を割り当てた後、最も左のサブ領域から最も右のサブ領域の順にサブ領域単位で順次イントラ予測を行う。ここで、決定部１７２１は、漸近する予測モードである第２予測モード（ｅｎｄ＿ｍｏｄｅ）を決定する。図示の例では、第１予測モード（ｓｔ＿ｍｏｄｅ）がモード「６」であり、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「１８」であるものとする。

【0070】

図５（ｃ）に示すように、割当部１７２２は、第１予測モード（ｓｔ＿ｍｏｄｅ）の予測方向を基準としてサブ領域ごとに予測方向を第２予測モード（ｅｎｄ＿ｍｏｄｅ）の予測方向へ向けて徐々に変化させるように、式（１）に従って各サブ領域にサブ予測モードを割り当てる。図示の例では、サブ領域の分割数が「８」であるため、ｓｕｂ＿ｓｐｌｉｔの値が「３」である。また、第１予測モード（ｓｔ＿ｍｏｄｅ）がモード「６」であり、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「１８」であるため、第１予測モード（ｓｔ＿ｍｏｄｅ）が第２予測モード（ｅｎｄ＿ｍｏｄｅ）よりも小さく、
if st_mode < end_mode, mode[x] = st_mode + ( x * ( end_mode - st_mode ) ) >> sub_split
が適用されることになる。

【0071】

この場合、ｘの値が０から７までであり、割当部１７２２は、次のようにして各サブ領域のサブ予測モードｍｏｄｅ［ｘ］を導出する：
mode[0] = 6 + ( 0 * ( 18 - 6 ) ) >> 3 = 6
mode[1] = 6 + ( 1 * ( 18 - 6 ) ) >> 3 = 7
…
mode[7] = 6 + ( 7 * ( 18 - 6 ) ) >> 3 = 16

【0072】

その結果、各サブ領域「ｘ」（０から７まで）のサブ予測モードｍｏｄｅ［ｘ］は、図５（ｃ）に示すように、
mode = {6, 7, 9, 10, 12, 13, 15, 16}
になる。このような複数のサブ予測モードからなる群を「サブ予測モード群」とも称する。なお、同じ第１予測モード（ｓｔ＿ｍｏｄｅ）について、第２予測モード（ｅｎｄ＿ｍｏｄｅ）が変更されると、サブ予測モード群も変更される。

【0073】

予測部１７２３は、各サブ領域を、対応するサブ予測モードを用いてイントラ予測により予測する。

【0074】

具体的には、第１に、予測部１７２３は、サブ領域「０」（最も左のサブ領域）を、サブ領域「０」の周辺の参照画素を用いてモード「６」により予測し、サブ領域「０」の予測サブ領域を出力する。当該予測サブ領域と符号化対象ブロックの対応するサブ領域との予測残差が変換・量子化部１２０により変換及び量子化される。また、変換・量子化部１２０が出力する変換係数（量子化変換係数）は、逆量子化・逆変換部１４０及び合成部１５０により再構成（復号）され、再構成されたサブ領域「０」がメモリ１６０に格納される。

【0075】

第２に、予測部１７２３は、サブ領域「１」（左から２番目のサブ領域）を、サブ領域「１」の周辺の参照画素（再構築されたサブ領域「０」を含む）を用いてモード「７」により予測し、サブ領域「１」の予測サブ領域を出力する。当該予測サブ領域と符号化対象ブロックの対応するサブ領域との予測残差が変換・量子化部１２０により変換及び量子化される。また、変換・量子化部１２０が出力する変換係数（量子化変換係数）は、逆量子化・逆変換部１４０及び合成部１５０により再構成（復号）され、再構成されたサブ領域「１」がメモリ１６０に格納される。

【0076】

同様にして、予測部１７２３は、サブ領域「２」乃至「６」のそれぞれを、対応するサブ予測モードにより予測する。

【0077】

最後に、予測部１７２３は、サブ領域「７」（最も右のサブ領域）を、サブ領域「７」の周辺の参照画素（再構築されたサブ領域「６」を含む）を用いてモード「１６」により予測し、サブ領域「７」の予測サブ領域を出力する。当該予測サブ領域と符号化対象ブロックの対応するサブ領域との予測残差が変換・量子化部１２０により変換及び量子化される。また、変換・量子化部１２０が出力する変換係数（量子化変換係数）は、逆量子化・逆変換部１４０及び合成部１５０により再構成（復号）され、再構成されたサブ領域「７」がメモリ１６０に格納される。

【0078】

このように、本実施形態に係る符号化装置１において、画像を構成する符号化対象ブロック単位でイントラ予測を行うイントラ予測部１７２は、直線的な予測方向を有する第１予測モードが割り当てられた対象ブロックが複数のサブ領域に分割される場合において、サブ領域ごとに予測方向を徐々に変化させる場合における最終的な予測方向を示す第２予測モードを決定する決定部１７２１と、第１予測モードの予測方向を基準としてサブ領域ごとに予測方向を第２予測モードの予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる割当部１７２２と、各サブ領域を、対応するサブ予測モードを用いてイントラ予測により予測する予測部１７２３と、を備える。

【0079】

これにより、予め定められた規則に従ったシンプルな処理により曲線的なイントラ予測を行うことが可能になるため、処理の複雑度の増大を抑制しつつ、曲線的なイントラ予測によって符号化効率を向上させることができる。

【0080】

また、本実施形態では、エントロピー符号化部１３０は、第１予測モードを示す第１フラグと、決定部１７２１が決定した第２予測モードを示す第２フラグと、を出力する。すなわち、第１フラグ及び第２フラグを復号側にシグナリングすればよく、各サブ予測モードをシグナリングすることを必要としない。そのため、シグナリングに起因する符号化効率の低下を抑制できる。

【0081】

（２）復号装置
次に、本実施形態に係る復号装置について、上述の符号化装置との相違点を主として説明する。

【0082】

（２．１）全体構成
図６は、本実施形態に係る復号装置２の構成例を示す図である。復号装置２は、エントロピー符号復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

【0083】

エントロピー符号復号部２００は、符号化ストリーム（ビットストリーム）を復号して、復号対象ブロックに対応する量子化変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー符号復号部２００は、予測処理に関するフラグ情報を符号化ストリームから取得し、予測処理に関するフラグ情報を予測部２４０に出力する。

【0084】

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

【0085】

逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー符号復号部２００から出力される量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

【0086】

逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0087】

合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２４０から出力される予測ブロックとを画素単位で合成（加算）することにより、元のブロックを復号（再構成）し、復号済みブロックをメモリ２３０に出力する。

【0088】

メモリ２３０は、合成部２２０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ２３０は、復号済みブロック若しくは復号済み画像を予測部２４０に出力する。また、メモリ２３０は、フレーム単位の復号済み画像を復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

【0089】

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。

【0090】

インター予測部２４１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２４１は、エントロピー符号復号部２００から出力されるインター予測に関する情報（例えば、動きベクトル情報）に基づいて、メモリ２３０に記憶された復号済み画像を参照画像として用いて復号対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。

【0091】

イントラ予測部２４２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２４２は、エントロピー符号復号部２００から出力されるイントラ予測に関するフラグ情報に応じたイントラ予測モードを用いて、メモリ２３０に記憶された復号済み画像のうち復号対象ブロックの周辺にある復号済み画素（参照画素）を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。本実施形態において、イントラ予測部２４２は、復号側のイントラ予測装置に相当する。

【0092】

切替部２４３は、インター予測部２４１が出力するインター予測ブロックとイントラ予測部２４２が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

【0093】

（２．２）イントラ予測の概要
復号側のイントラ予測部２４２は、符号化側のイントラ予測部１７２と同様なイントラ予測処理、具体的には、上述の「（１．２）イントラ予測の概要」のようなイントラ予測処理を行う。

【0094】

（２．３）曲線的なイントラ予測
本実施形態に係るエントロピー符号復号部２００は、第１予測モード（ｓｔ＿ｍｏｄｅ）を示す第１フラグ及び第２予測モード（ｅｎｄ＿ｍｏｄｅ）を示す第２フラグをビットストリームから取得し、第１フラグ及び第２フラグをイントラ予測部２４２に出力する。

【0095】

エントロピー符号復号部２００は、曲線的なイントラ予測を行うことを示す第３フラグをビットストリームから取得してもよい。エントロピー符号復号部２００は、第３フラグが真（“１”）である場合に限り、第２フラグをビットストリームから取得してもよい。

【0096】

また、エントロピー符号復号部２００は、曲線的なイントラ予測が有効（ｅｎａｂｌｅ）であることを示す第４フラグをビットストリームから取得してもよい。エントロピー符号復号部２００は、第４フラグが真（“１”）である場合に限り、第２フラグ及び／又は第３フラグをビットストリームから取得してもよい。

【0097】

或いは、第３フラグ及び／又は第４フラグは、ＩＳＰに関するフラグ（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）と共通としてもよい。

【0098】

本実施形態に係るイントラ予測部２４２は、画像を構成するブロック（復号対象ブロック）単位でイントラ予測を行う。イントラ予測部２４２は、決定部２４２１と、割当部２４２２と、予測部２４２３とを有する。

【0099】

決定部２４２１、割当部２４２２、及び予測部２４２３は、直線的な予測方向を有する第１予測モード（ｓｔ＿ｍｏｄｅ）が割り当てられた復号対象ブロックが複数のサブ領域に分割される場合（すなわち、復号対象ブロックにＩＳＰが適用される場合）において、次の処理を行う。

【0100】

第１に、決定部２４２１は、サブ領域ごとに予測方向を徐々に変化させる場合における最終的な予測方向を示す第２予測モード（ｅｎｄ＿ｍｏｄｅ）を決定する。上述のように、第２予測モード（ｅｎｄ＿ｍｏｄｅ）は、最終的に向かう予測モードであって、「漸近する予測モード」とも称する。決定部２４２１は、第２フラグに応じて第２予測モードを決定する。なお、第２フラグは１ビットに限らず、複数ビットからなるフラグ（インデックス）であってもよい。

【0101】

第２に、割当部２４２２は、第１フラグによって示される第１予測モード（ｓｔ＿ｍｏｄｅ）の予測方向を基準としてサブ領域ごとに予測方向を第２予測モード（ｅｎｄ＿ｍｏｄｅ）の予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる。ここで、予め定められた規則は数式又はテーブルとして定められるが、本実施形態では、数式を用いる一例について主として説明する。

【0102】

割当部２４２２は、複数のサブ領域のうち隣接するサブ領域間におけるサブ予測モードの変化が均一になるように各サブ領域にサブ予測モードを割り当ててもよい。或いは、割当部２４２２は、複数のサブ領域のうち隣接するサブ領域間におけるサブ予測モードの変化が不均一になるように各サブ領域にサブ予測モードを割り当ててもよい。

【0103】

本実施形態では、割当部２４２２は、第１予測モードと、第２予測モードと、複数のサブ領域の数を示す分割数とから、数式又はテーブルに従って、各サブ領域にサブ予測モードを割り当てる。例えば、サブ領域の分割数を「２^{ｓｕｂ＿ｓｐｌｉｔ}」、最初の予測モードを「ｓｔ＿ｍｏｄｅ」、漸近する予測モードを「ｅｎｄ＿ｍｏｄｅ」、ｘ番目のサブ領域のイントラ予測モード（すなわち、サブ予測モード）を「ｍｏｄｅ［ｘ］」（但し、０≦ｘ＜ｓｕｂ＿ｓｐｌｉｔ－１）とすると、割当部２４２２は、次の式（１）により各サブ領域にサブ予測モードを割り当てる：
if st_mode < end_mode, mode[x] = st_mode + ( x * ( end_mode - st_mode ) ) >> sub_split
else, mode[x]=st_mode - ( x * ( st_mode - end_mode ) ) >> sub_split
・・・式（１）

【0104】

すなわち、割当部２４２２は、符号化側と同じアルゴリズムで各サブ領域にサブ予測モードを割り当てる。

【0105】

第３に、予測部２４２３は、各サブ領域を、対応するサブ予測モードを用いてイントラ予測により予測する。

【0106】

このように、本実施形態に係るイントラ予測部２４２は、第１予測モード（ｓｔ＿ｍｏｄｅ）が割り当てられ、且つＩＳＰが適用される復号対象ブロックについて、最終的に向かう予測モード（漸近する予測モード）である第２予測モード（ｅｎｄ＿ｍｏｄｅ）を決定したうえで、第１予測モード（ｓｔ＿ｍｏｄｅ）の予測方向を基準としてサブ領域ごとに予測方向を第２予測モード（ｅｎｄ＿ｍｏｄｅ）の予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる。これにより、処理の複雑度の増大を抑制しつつ、曲線的なイントラ予測によって符号化効率を向上させることが可能である。

【0107】

図５を用いて、本実施形態に係る曲線的なイントラ予測の動作例を説明する。但し、復号側と同様な動作については重複する説明を適宜省略する。

【0108】

図５（ａ）に示すように、本動作例では、復号対象ブロックが水平方向８画素及び垂直方向４画素の８×４のサイズを有するものとする。

【0109】

図５（ｂ）に示すように、本動作例では、ブロック分割部１００は、ＩＳＰを当該復号対象ブロックに適用することを決定し、当該復号対象ブロックを垂直に８分割するものとする。この場合、各サブ領域は、水平方向１画素及び垂直方向４画素の１×４のサイズを有する。

【0110】

イントラ予測部２４２は、第１予測モード（ｓｔ＿ｍｏｄｅ）が割り当てられた復号対象ブロックについて、最も左のサブ領域から最も右のサブ領域の順にサブ領域単位で順次イントラ予測を行う。ここで、決定部２４２１は、第２フラグに応じて、漸近する予測モードである第２予測モード（ｅｎｄ＿ｍｏｄｅ）を決定する。図示の例では、第１予測モード（ｓｔ＿ｍｏｄｅ）がモード「６」であり、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「１８」であるものとする。

【0111】

図５（ｃ）に示すように、割当部２４２２は、第１予測モード（ｓｔ＿ｍｏｄｅ）の予測方向を基準としてサブ領域ごとに予測方向を第２予測モード（ｅｎｄ＿ｍｏｄｅ）の予測方向へ向けて徐々に変化させるように、式（１）に従って各サブ領域にサブ予測モードを割り当て、サブ予測モード群を決定する。上述のように、各サブ領域「ｘ」（０から７まで）のサブ予測モードｍｏｄｅ［ｘ］は、図５（ｃ）に示すように、
mode = {6, 7, 9, 10, 12, 13, 15, 16}
になる。なお、同じ第１予測モード（ｓｔ＿ｍｏｄｅ）について、第２予測モード（ｅｎｄ＿ｍｏｄｅ）が変更されると、サブ予測モード群も変更される。

【0112】

予測部２４２３は、各サブ領域を、対応するサブ予測モードを用いてイントラ予測により予測する。

【0113】

具体的には、第１に、予測部２４２３は、サブ領域「０」（最も左のサブ領域）を、サブ領域「０」の周辺の参照画素を用いてモード「６」により予測し、サブ領域「０」の予測サブ領域を出力する。当該予測サブ領域と、逆量子化・逆変換部２１０が出力する復号対象ブロックの対応するサブ領域の予測残差とが、合成部２２０により合成されることで当該サブ領域が再構成（復号）され、再構成されたサブ領域「０」がメモリ２３０に格納される。

【0114】

第２に、予測部２４２３は、サブ領域「１」（左から２番目のサブ領域）を、サブ領域「１」の周辺の参照画素（再構築されたサブ領域「０」を含む）を用いてモード「７」により予測し、サブ領域「１」の予測サブ領域を出力する。当該予測サブ領域と、逆量子化・逆変換部２１０が出力する復号対象ブロックの対応するサブ領域の予測残差とが、合成部２２０により合成されることで当該サブ領域が再構成（復号）され、再構成されたサブ領域「１」がメモリ２３０に格納される。

【0115】

同様にして、予測部２４２３は、サブ領域「２」乃至「６」のそれぞれを、対応するサブ予測モードにより予測する。

【0116】

最後に、予測部２４２３は、サブ領域「７」（最も右のサブ領域）を、サブ領域「７」の周辺の参照画素（再構築されたサブ領域「６」を含む）を用いてモード「１６」により予測し、サブ領域「７」の予測サブ領域を出力する。当該予測サブ領域と、逆量子化・逆変換部２１０が出力する復号対象ブロックの対応するサブ領域の予測残差とが、合成部２２０により合成されることで当該サブ領域が再構成（復号）され、再構成されたサブ領域「７」がメモリ２３０に格納される。

【0117】

このように、本実施形態に係る復号装置２において、画像を構成する復号対象ブロック単位でイントラ予測を行うイントラ予測部２４２は、直線的な予測方向を有する第１予測モードが割り当てられた対象ブロックが複数のサブ領域に分割される場合において、サブ領域ごとに予測方向を徐々に変化させる場合における最終的な予測方向を示す第２予測モードを決定する決定部２４２１と、第１予測モードの予測方向を基準としてサブ領域ごとに予測方向を第２予測モードの予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる割当部２４２２と、各サブ領域を、対応するサブ予測モードを用いてイントラ予測により予測する予測部２４２３と、を備える。

【0118】

これにより、予め定められた規則に従ったシンプルな処理により曲線的なイントラ予測を行うことが可能になるため、処理の複雑度の増大を抑制しつつ、曲線的なイントラ予測によって符号化効率を向上させることができる。

【0119】

（３）変更例
次に、図７乃至図１２を用いて、実施形態の変更例について説明する。但し、上述の実施形態との相違点を主として説明し、重複する説明を省略する。

【0120】

上述のように、符号化側の割当部１７２２及び復号側の割当部２４２２は、第１予測モード（ｓｔ＿ｍｏｄｅ）の予測方向を基準としてサブ領域ごとに予測方向を第２予測モード（ｅｎｄ＿ｍｏｄｅ）の予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる。上述の実施形態では、予め定められた規則が数式により定められていたが、本変更例では、数式に代えてテーブルを用いる。当該テーブルによる割り当ては式（１）による計算結果に対応する。本変更例のようにテーブルを用いることで、処理をさらに簡略化できる。

【0121】

図７に示すように、符号化側の割当部１７２２及び復号側の割当部２４２２は、第１予測モード（ｓｔ＿ｍｏｄｅ）が、予め定められたグループ１乃至５のいずれに属するかを特定する。ここで、グループ１はモード「２」乃至「１７」からなるグループであり、グループ２はモード「１８」（すなわち、水平モード）からなるグループであり、グループ３はモード「１９」乃至「４９」からなるグループであり、グループ４はモード「５０」（すなわち、垂直モード）からなるグループであり、グループ５はモード「５１」乃至「６６」からなるグループである。

【0122】

符号化側の割当部１７２２及び復号側の割当部２４２２は、第１予測モード（ｓｔ＿ｍｏｄｅ）が属するグループと、第２予測モード（ｅｎｄ＿ｍｏｄｅ）と、ブロック分割数（サブ領域の数）とに応じて、各サブ領域にサブ予測モードを割り当てるために使用するテーブルを特定する。ここでは、ブロック分割数（サブ領域の数）が８であるものとする。

【0123】

図８は、グループ１で用いるテーブルを示す図である。図示の例では、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「１８」である場合のテーブル（図８（ａ））と、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「３４」である場合のテーブル（図８（ｂ））と、が規定されている。

【0124】

図９は、グループ２で用いるテーブルを示す図である。図示の例では、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「３４」である場合のテーブル（図９（ａ））と、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「５０」である場合のテーブル（図９（ｂ））と、が規定されている。

【0125】

図１０は、グループ３で用いるテーブルを示す図である。図示の例では、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「１８」である場合のテーブル（図１０（ａ））と、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「５０」である場合のテーブル（図１０（ｂ））と、が規定されている。

【0126】

図１１は、グループ４で用いるテーブルを示す図である。図示の例では、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「１８」である場合のテーブル（図１１（ａ））と、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「３４」である場合のテーブル（図１１（ｂ））と、が規定されている。

【0127】

図１２は、グループ５で用いるテーブルを示す図である。図示の例では、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「３４」である場合のテーブル（図１２（ａ））と、第２予測モード（ｅｎｄ＿ｍｏｄｅ）がモード「５０」である場合のテーブル（図１２（ｂ））と、が規定されている。

【0128】

割当部２４２２は、特定したテーブルに従って、各サブ領域にサブ予測モードを割り当てる。なお、本変更例では、ブロック分割数（サブ領域の数）が８である場合のテーブル構成例について説明したが、予め定められたブロック分割数ごとに異なるテーブルのセットが規定されていてもよい。

【0129】

（４）他の実施形態
符号化装置１又は復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、符号化装置１又は復号装置２が行う各処理を実行する回路を集積化し、符号化装置１又は復号装置２の少なくとも一部を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

【0130】

本開示で使用されている「に基づいて（ｂａｓｅｄ ｏｎ）」、「に応じて（ｄｅｐｅｎｄｉｎｇ ｏｎ／ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ）」という記載は、別段に明記されていない限り、「のみに基づいて」、「のみに応じて」を意味しない。「に基づいて」という記載は、「のみに基づいて」及び「に少なくとも部分的に基づいて」の両方を意味する。同様に、「に応じて」という記載は、「のみに応じて」及び「に少なくとも部分的に応じて」の両方を意味する。「含む（ｉｎｃｌｕｄｅ）」、「備える（ｃｏｍｐｒｉｓｅ）」、及びそれらの変形の用語は、列挙する項目のみを含むことを意味せず、列挙する項目のみを含んでもよいし、列挙する項目に加えてさらなる項目を含んでもよいことを意味する。また、本開示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。さらに、本開示で使用されている「第１」、「第２」等の呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。また、本開示において、例えば、英語でのａ，ａｎ，及びｔｈｅのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

【0131】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0132】

（５）付記
上述の実施形態に関する特徴について付記する。

【0133】

（付記１）
画像を構成するブロック単位でイントラ予測を行うイントラ予測装置（１７２、２４２）であって、
直線的な予測方向を有する第１予測モードが割り当てられた対象ブロックが複数のサブ領域に分割される場合において、
前記サブ領域ごとに前記予測方向を徐々に変化させる場合における最終的な予測方向を示す第２予測モードを決定する決定部（１７２１、２４２１）と、
前記第１予測モードの予測方向を基準として前記サブ領域ごとに前記予測方向を前記第２予測モードの予測方向へ向けて徐々に変化させるように、予め定められた規則に従って各サブ領域にサブ予測モードを割り当てる割当部（１７２２、２４２２）と、
前記各サブ領域を、対応するサブ予測モードを用いて前記イントラ予測により予測する予測部（１７２３、２４２３）と、を備える
イントラ予測装置（１７２、２４２）。

【0134】

（付記２）
前記予め定められた規則は、数式又はテーブルとして定められ、
前記割当部（１７２２、２４２２）は、前記第１予測モードと、前記第２予測モードと、前記複数のサブ領域の数を示す分割数とから、前記数式又は前記テーブルに従って、前記各サブ領域に前記サブ予測モードを割り当てる
付記１に記載のイントラ予測装置（１７２、２４２）。

【0135】

（付記３）
前記割当部（１７２２、２４２２）は、前記複数のサブ領域のうち隣接するサブ領域間における前記サブ予測モードの変化が均一になるように前記各サブ領域に前記サブ予測モードを割り当てる
付記１又は２に記載のイントラ予測装置（１７２、２４２）。

【0136】

（付記４）
前記割当部（１７２２、２４２２）は、前記複数のサブ領域のうち隣接するサブ領域間における前記サブ予測モードの変化が不均一になるように前記各サブ領域に前記サブ予測モードを割り当てる
付記１又は２に記載のイントラ予測装置（１７２、２４２）。

【0137】

（付記５）
付記１乃至４のいずれかのイントラ予測装置（１７２）を有する符号化装置（１）であって、
復号側に伝送するフラグを出力する出力部（１３０）を備え、
前記出力部（１３０）は、前記第１予測モードを示す第１フラグと、前記決定部（１７２１）が決定した前記第２予測モードを示す第２フラグと、を出力する
符号化装置（１）。

【0138】

（付記６）
付記１乃至４のいずれかのイントラ予測装置（２４２）を有する復号装置（２）であって、
符号化側から伝送されたフラグを取得する取得部（２００）を備え、
前記取得部（２００）は、前記第１予測モードを示す第１フラグと、前記第２予測モードを示す第２フラグと、を取得し、
前記決定部（２４２１）は、前記第２フラグに応じて前記第２予測モードを決定する
復号装置（２）。

【0139】

（付記７）
コンピュータを付記１乃至４のいずれかのイントラ予測装置（１７２、２４２）として機能させる
プログラム。

【符号の説明】

【0140】

１ ：符号化装置
２ ：復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：インター予測部
１７２ ：イントラ予測部
１７３ ：切替部
２００ ：エントロピー符号復号部
２１０ ：逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：インター予測部
２４２ ：イントラ予測部
２４３ ：切替部
１７２１ ：決定部
１７２２ ：割当部
１７２３ ：予測部
２４２１ ：決定部
２４２２ ：割当部
２４２３ ：予測部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】