特許 6774985 画像復号装置、および画像復号方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6774985

(24)【登録日】2020年10月7日

(45)【発行日】2020年10月28日

(54)【発明の名称】画像復号装置、および画像復号方法

(51)【国際特許分類】

   H04N 19/70 20140101AFI20201019BHJP

   H04N 19/593 20140101ALI20201019BHJP

【ＦＩ】

   H04N19/70

   H04N19/593

【請求項の数】6

【全頁数】120

(21)【出願番号】特願2018-122121(P2018-122121)

(22)【出願日】2018年6月27日

(62)【分割の表示】特願2016-198515(P2016-198515)の分割

【原出願日】2008年6月26日

(65)【公開番号】特開2018-166330(P2018-166330A)

(43)【公開日】2018年10月25日

【審査請求日】2018年6月27日

(31)【優先権主張番号】特願2007-173379(P2007-173379)

(32)【優先日】2007年6月29日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2007-268429(P2007-268429)

(32)【優先日】2007年10月15日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】517189537

【氏名又は名称】ヴェロス メディア インターナショナル リミテッド

【氏名又は名称原語表記】Ｖｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】特許業務法人鷲田国際特許事務所

(72)【発明者】

【氏名】筑波 健史

(72)【発明者】

【氏名】徳毛 靖昭

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 国際公開第２００７／０５５１５８（ＷＯ，Ａ１）

【文献】 特表２００５−５２９５２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

符号化画像データを復号する画像復号装置であって、プロセッサとメモリとを含み、前記プロセッサは、前記メモリと協調動作して、
前記符号化画像データから、それぞれがイントラ予測モードを予測した予測セットと同じである第１の予測セットから特定するか否かを示す、第１の値および第２の値のいずれかに等しいフラグを復号し、
前記フラグが前記第２の値に等しい場合、前記予測した予測セットと同じでない第２の予測セットを示す第１のパラメタを復号し、
前記第１の予測セットおよび前記第２の予測セットは、それぞれ、少なくとも１つの方向モードを含む異なる複数の所定の予測モードを含み、
前記符号化画像データから前記イントラ予測モードの特定に関する第２のパラメタを復号し、
前記符号化画像データからイントラ予測される複数のブロックの各ブロックに関する残差データを復号し、
前記フラグが前記第１の値に等しい場合、前記第２のパラメタを用いて、前記第１の予測セットからイントラ予測モードを特定し、
前記フラグが前記第２の値に等しい場合、前記第１のパラメタと前記第２のパラメタを用いて、前記第２の予測セットからイントラ予測モードを特定し、
前記特定された予測モードを用いて、前記イントラ予測される複数のブロックの少なくとも１つのブロックの予測画像を生成し、
前記ブロックの前記予測画像と前記ブロックに関する前記残差データとを加算することによって、前記ブロックの復号画像を生成する、
画像復号装置。

【請求項2】

前記複数の所定の予測モードは、複数の所定の予測モードセット群の中の１つの所定の予測モードセットを構成する前記第１のパラメタによって示され、ここで、前記複数の所定の予測モードセット群のそれぞれは、同数の複数の所定の予測モードを含む、
請求項１に記載の画像復号装置。

【請求項3】

前記複数の所定の予測モードは、複数の方向モードを含み、ここで、前記複数の方向モードのそれぞれは、特定方向のイントラ予測の方にバイアスされている、
請求項１に記載の画像復号装置。

【請求項4】

符号化画像データを復号する画像復号方法であって、
前記符号化画像データから、それぞれがイントラ予測モードを予測した予測セットと同じである第１の予測セットから特定するか否かを示す、第１の値および第２の値のいずれかに等しいフラグを復号し、
前記フラグが前記第２の値に等しい場合、前記予測した予測セットと同じでない第２の予測セットを示す第１のパラメタを復号し、
前記第１の予測セットおよび前記第２の予測セットは、それぞれ、少なくとも１つの方向モードを含む異なる複数の所定の予測モードを含み、
前記符号化画像データから前記イントラ予測モードの特定に関する第２のパラメタを復号し、
前記符号化画像データからイントラ予測される複数のブロックの各ブロックに関する残差データを復号し、
前記フラグが前記第１の値に等しい場合、前記第２のパラメタを用いて、前記第１の予測セットからイントラ予測モードを特定し、
前記フラグが前記第２の値に等しい場合、前記第１のパラメタと前記第２のパラメタを用いて、前記第２の予測セットからイントラ予測モードを特定し、
前記特定された予測モードを用いて、前記イントラ予測される複数のブロックの少なくとも１つのブロックの予測画像を生成し、
前記ブロックの前記予測画像と前記ブロックに関する前記残差データとを加算することによって、前記ブロックの復号画像を生成する、
画像復号方法。

【請求項5】

前記複数の所定の予測モードは、複数の所定の予測モードセット群の中の１つの所定の予測モードセットを構成する前記第１のパラメタによって示され、ここで、前記複数の所定の予測モードセット群のそれぞれは、同数の複数の所定の予測モードを含む、
請求項４に記載の画像復号方法。

【請求項6】

前記複数の所定の予測モードは、複数の方向モードを含み、ここで、前記複数の方向モードのそれぞれは、特定方向のイントラ予測の方にバイアスされている、
請求項４に記載の画像復号方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化された画像を復号する画像復号装置、画像復号方法、および記録媒体に関する。また、画像を符号化する画像符号化装置、画像符号化方法、および記録媒体に関する。

【背景技術】

【0002】

画像符号化技術は、現在、身近にある多くの映像装置に応用されている。応用の対象はたとえば、映画などの映像コンテンツを気軽に楽しむためのＤＶＤから、テレビ放送などの映像コンテンツを記録するためのハードディスクレコーダ、デジタルテレビ符号化方式、ＤＶＤカメラ、画像処理の可能な携帯電話まであり、非常に幅広い。

【0003】

非特許文献１には、画像の持つ空間的相関または時間的相関を利用して符号化を行う画像符号化装置、および画像符号化装置によって符号化された符号化データを復号する画像復号装置が開示されている。これらの装置について空間的相関を利用した技術を、図６５〜７０を参照して、以下に説明する。

【0004】

（画像符号化装置３００の構成）
従来技術に係る画像符号化装置３００について、図６５を参照して以下に説明する。

【0005】

図６５は、従来技術に係る画像符号化装置３００の要部構成を示すブロック図である。画像符号化装置３００は、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部３０４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部３１０、予測モード決定部３１１を備えている（図６５）。以下、画像符号化装置３００の各構成要素について説明する。

【0006】

（差分演算部１）
差分演算部１は、符号化対象ブロック（Ｍ×Ｍ画素ブロックサイズ）と、イントラ予測部３１０により生成された予測画像との差分である予測残差データを出力する。

【0007】

（直交変換部２および逆直交変換部７）
直交変換部２は、差分演算部１より入力された予測残差データを直交変換して出力する。逆直交変換部７は、逆量子化部６より入力された予測残差データの直交変換係数を逆直交変換して出力する。直交変換および逆直交変換の方式として、離散コサイン変換、アダマール変換、離散フーリエ変換、離散サイン変換、ハール変換、スラント変換，またはカルーネン／レーベン変換などが用いられる。

【0008】

（量子化部３および逆量子化部６）
量子化部３は、直交変換部２より入力された予測残差データの直交変換係数を量子化して出力する。逆量子化部６は、量子化部３より入力された予測残差データの量子化係数を逆量子化して出力する。量子化および逆量子化として、スカラー量子化，またはベクトル量子化を利用する。

【0009】

（エントロピー符号化部３０４）
エントロピー符号化部３０４は、ブロックタイプ、予測モード情報、量子化パラメータなどの符号化モードに関する情報と予測残差データをエントロピー符号化する。ここで「エントロピー符号化」とは、算術符号化、ハフマン符号化、ゴロム符号化などの可変長符号化、または固定長符号化である。

【0010】

（加算演算部８）
加算演算部８は、逆量子化および逆直交変換された予測残差データと、イントラ予測部３１０により生成された予測画像とを加算することによって、局所復号画像を生成し出力する。

【0011】

（メモリ９）
メモリ９は、入力された局所復号画像を記憶する。

【0012】

（イントラ予測部３１０）
イントラ予測部３１０は、メモリ９に記憶された局所復号画像を用いて、予測モード情報が表すイントラ予測を行い、予測画像を生成する。ここで「イントラ予測」とは、画面内予測、またはフレーム内予測と同じ意味であり、画像の空間的相関を利用した予測である。このとき、あらかじめ定められたモード０〜８で表される９種類の予測方式を利用することによって、符号化対象ブロック（Ｍ×Ｍ画素ブロックサイズ）をイントラ予測する。図６６に、予測モードの一例を示す。図６６は、従来技術に係るイントラ予測に用いる予測モードを示す図である。この図の例では、ブロックサイズは４×４画素ブロックである。また、画素Ａ〜Ｍは、符号化対象ブロックの予測に用いる符号化済の画素である。

【0013】

各モードを以下に具体的に説明する。モード０では、画素Ａ〜Ｄを用いて垂直方向へ空間予測する。モード１では、画素Ｉ〜Ｌを用いて水平方向へ空間予測する。予測モード２では、画素Ａ〜ＤおよびＩ〜Ｌを用いてＤＣ予測する。モード３では、画素Ａ〜Ｈを用いて斜め左下方向へ空間予測する。モード４では、画素Ａ〜ＤおよびＩ〜Ｍを用いて斜め右下方向へ空間予測する。モード５では、画素Ａ〜ＤおよびＩ〜ＫおよびＭを用いて垂直右方向へ空間予測する。モード６では、画素Ａ〜ＣおよびＩ〜Ｍを用いて水平下方向へ空間予測する。モード７では、画素Ａ〜Ｅを用いて垂直左方向へ空間予測する。モード８では、画素Ｉ、Ｊ、ＫおよびＬを用いて水平上方向へ空間予測する。イントラ予測部３１０は、上述したいずれかのモードに対応する予測方式を用いて、予測画素を生成する。

【0014】

（予測モード決定部３１１）
予測モード決定部３１１は、入力された符号化対象ブロックの原画像、およびメモリ９から入力された局所復号画像に基づいて、図６６に示した複数の予測モードから符号化対象ブロックの予測に用いる予測モードを１つ決定し、決定した予測モードに関する情報（以降、予測モード情報とする）を、イントラ予測部３１０およびエントロピー符号化部３０４へ出力する。

【0015】

予測モード決定時、一般に、予測残差コストを評価する方法（以降、予測残差コスト最小化法とする）、またはレート歪最適化手法を利用する。

【0016】

予測残差コスト最小化手法は、入力された符号化対象ブロックの原画像と、メモリ９から入力された局所復号画像より生成した各予測モードに対応する予測画像との類似度（以降、予測残差コストとする）を求め、全予測モードのうち、予測残差コストが最小となる予測モードを選択する方法である。予測残差コストの尺度Ｓとして、予測残差データの絶対値和、予測残差データの自乗和、予測残差データの変換係数の絶対値和、および予測残差データの変換係数の自乗和がある。これらの値を、下記式（１）〜（４）を用いて算出する。

【0017】

【数1】

【0018】

上記式（１）〜（４）中、ｆ（ｘ，ｙ）は原画像を、ｐ（ｘ，ｙ）は予測画像を、ｘ，ｙは符号化対象ブロックを、そしてｉ，ｊは符号化対象ブロック内における画素位置をそれぞれ表す。Ｔ｛｝は、離散コサイン変換、離散サイン変換およびアダマール変換などの直交変換操作を表す。

【0019】

レート歪最適化手法では、以下の工程により予測モードを選択する。まず、メモリ９から入力された局所復号画像より各予測モードに対応する予測画像を生成し、生成した各予測画像と、入力された符号化対象ブロックの原画像より予測残差データを求める。さらにこれらを仮符号化して、符号化対象ブロックの原画像と復号画像との予測誤差Ｄと符号化対象ブロックの符号化に要する符号量Ｒを算出する。最後に、ＤおよびＲに基づいて、下記式（５）によって算出される符号化コストＪを最小化する予測モードを選択する。

【0020】

【数2】

【0021】

予測誤差Ｄは、量子化前の予測残差データと量子化後の予測残差データ間の誤差である。符号量Ｒは、予測残差データの符号量および予測モード情報の符号量の合計である。

【0022】

上記式（５）中、ｍｏｄｅは予測モードを、そしてｑは量子化パラメータをそれぞれ表す。λは量子化パラメータｑに依存する重み係数を表し、一般的には、下記式（６）によって算出される値である。

【0023】

【数3】

【0024】

（画像符号化装置３００の符号化プロセス）
画像符号化装置３００の動作について以下に説明する。

【0025】

まず、所定のブロックサイズ（Ｍ×Ｍ画素ブロック）に分割された符号化対象画像（以下、符号化対象ブロックとする）が入力画像として画像符号化装置３００に入力される。

【0026】

予測モード決定部３１１において、入力された符号化対象ブロックと、メモリ９から入力された符号化済み隣接ブロックにおける局所復号画像より、予測残差コスト最小化法、またはレート歪最適化手法に基づいて、符号化対象ブロックの予測に用いる予測モードが決定され、予測モード情報がイントラ予測部３１０、およびエントロピー符号化部３０４へ出力される。

【0027】

イントラ予測部３１０において、メモリ９から入力された符号化済み隣接ブロックの局所復号画像より、入力された予測モード情報により表されるイントラ予測をして、符号化対象ブロックの予測画像（Ｍ×Ｍ画素ブロック）が生成され、差分演算部１へ出力される。

【0028】

次に、差分演算部１において、符号化対象ブロックと生成された予測画像との差分である予測残差データが算出され、直交変換部２へ出力される。

【0029】

差分演算部１より入力された予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部３０４および逆量子化部６へ出力される。

【0030】

直交変換・量子化された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８へ出力される。

【0031】

加算演算部８において、逆量子化・逆直交変換された予測残差データは、符号化対象ブロックに適用する予測モードに対応する予測画像と合成され、符号化対象ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）がメモリ９へ出力される。

【0032】

メモリ９において、加算演算部８より入力された符号化対象ブロックの局所復号画像は、記憶されて以降の隣接ブロックにおけるイントラ予測に用いられる。

【0033】

エントロピー符号化部３０４において、予測モード決定部３１１より入力された予測モード情報などの符号化パラメータと、直交変換・量子化された予測残差データとが可変長符号化などの符号化処理され、符号化対象ブロックの符号化データが出力される。

【0034】

画像符号化装置３００は、以上の処理を符号化対象画像を構成する全ての符号化対象ブロックについて繰り返す。

【0035】

上述したように、画像符号化装置３００では、たとえば、図６６に示す予め定められたモード０〜８の９種類の予測方式を画像の特性に応じて使い分ける。これにより高符号化効率を達成する。具体的には、モード２のＤＣ予測は、平坦な画像領域の予測に有効である。一方、モード０、１、３〜８は、特定方向のエッジを含む画像の予測に有効である。

【0036】

画像符号化装置３００におけるイントラ予測の具体例を、図６７の（ａ）および（ｂ）に示す。図６７の（ａ）は、縦方向にエッジが形成されている縦縞模様の画像Ｆ４１と、復号画像を基に垂直方向予測（図６６におけるモード０）により生成された予測画像Ｆ４２とから、差分である予測残差データＦ４３を得る具体例である。また、図６７の（ｂ）は、斜め右方向にエッジが形成されている斜縞模様の画像Ｆ４４と、復号画像を基に斜右下方向予測（図６６におけるモード４）により生成された予測画像Ｆ４５とから、差分である予測残差データＦ４６を得る具体例である。

【0037】

図６７の（ａ）および（ｂ）いずれの場合であっても、予測画像Ｆ４２およびＦ４５は、原画像である画像Ｆ４１およびＦ４４の模様部分を再現している。そのため、原画像と予測画像との差分を算出すると、原画像と予測画像の模様部分とは互いに打ち消される。結果として、予測画像では打ち消すことができない原画像における画素が、予測残差データとなる。図６７の（ａ）および（ｂ）では、予測方向と原画像における模様の方向とが一致しているため、予測残差データを効果的に削減できる。

【0038】

（予測モード情報の予測符号化方法）
次に、予測モード情報の予測符号化方法について説明する。

【0039】

非特許文献１の空間的相関を利用した画像符号化装置において、４×４画素ブロック、８×８画素ブロックのイントラ予測では、図６８に示すように９種類の予測モードがある。非特許文献１では、当該ブロックの予測モード情報を符号化する際、図６９に示す当該ブロックＢ１に隣接する左ブロックＢ２と上ブロックＢ４において適用された予測モードのうち、予測モードの値が小さい予測モードを推定値とする。そして、推定値と当該ブロックの予測モードの値を比較して、一致する場合は、フラグ「１」を符号化する。それ以外の場合は、フラグ「０」と、推定値を除く残りの８種類の予測モードの中で、いずれの予測モードであるかを表す相対予測モード情報を符号化する。

【0040】

また特許文献１では、当該ブロックの予測モード情報を符号化する際、後述する第１予測手段によって決定された推定値１、後述する第２予測手段によって決定された推定値２を用いて、当該ブロックに適用された予測モードを推定する。

【0041】

上述した第１予測手段では、図７０に示す当該ブロックＣ１の左に位置する符号化済み領域Ｃ２（例えば、マクロブロック、スライス）、または、当該ブロックＣ１の上に位置する符号化済み領域Ｃ３に含まれるブロックにおいて適用された予測モードのうち、最も使用頻度の多い予測モードを推定値１とする。また、上述した第２予測手段では、図６９に示す当該ブロックＢ１に隣接する符号化済みブロックＢ２、Ｂ３、Ｂ４上のＬ字領域Ｂ５（右下斜線部）の復号画像を用いる。すなわち、Ｌ字領域Ｂ６（左下斜線部）の復号画像に対して、Ｌ字領域Ｂ５の復号画像を用い、図６８に示す９種類のイントラ予測方法に応じた予測画像を生成する。そして、Ｌ字領域Ｂ６の復号済み画像と予測画像との差分値が最小となる予測モードを推定値２とする。

【0042】

（画像復号装置３５０の構成）
最後に、従来の画像復号装置について、図７１を参照して以下に説明する。図７１は、従来の画像復号装置３５０の構成を示すブロック図である。画像復号装置３５０は、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、エントロピー復号部３０５、イントラ予測部３１０を備えている（図７１）。これらの構成要素のうち、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、およびイントラ予測部３１０は上述済みであるため、以下では、エントロピー復号部３０５についてのみ説明する。

【0043】

（エントロピー復号部３０５）
エントロピー復号部３０５は、復号対象ブロックの予測残差データおよび予測モード情報などの符号化パラメータを表す符号化データを復号処理（たとえば可変長復号処理）する。

【0044】

（画像復号装置３５０の復号プロセス）
画像復号装置３５０における画像の復号処理について以下に説明する。まず、エントロピー復号部３０５は、入力された復号対象ブロックの符号化データをエントロピー復号し、復号対象ブロックの予測残差データおよび予測モード情報などの符号化パラメータを出力する。復号された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化および逆直交変換される。

【0045】

次に、イントラ予測部３１０は、メモリ９に記憶されている復号済みの隣接ブロックにおける局所復号画像を用いて、復号対象ブロックの予測画像（Ｍ×Ｍ画素ブロック）を生成する。

【0046】

続いて、加算演算部８は、逆量子化・逆直交変換された予測残差データと、イントラ予測部３１０において生成された予測画像とを加算し、復号対象ブロックにおける復号画像を生成する。メモリ９は、生成された復号画像（Ｍ×Ｍ画素ブロック）を記憶し、記憶された復号画像は、隣接ブロックにおけるイントラ予測に用いられる。画像復号装置３５０は、以上の処理を復号対象画像を構成する全ての復号対象ブロックについて繰り返す。

【非特許文献1】ISO/IEC 14496-10:2004 Advanced Video Coding

【非特許文献2】Asker M. Bazen, Sabih H. Gerez. “Systematic Methods for theComputation of the Directional Fields and Singular Points of Fingerprints”, IEEE Trans. On Pattern Analysis and Machine Intelligence, Vol.24, No7 July 2002

【特許文献1】特開２００７−１１６３５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0047】

従来の画像符号化装置３００におけるイントラ予測では、予測効率が低下する問題がある。この具体例を図７２の（ａ）および（ｂ）に示す。図７２の（ａ）は、縦縞模様の画像Ｆ５１と、復号画像を基に垂直方向予測（図６６におけるモード０）により生成された予測画像Ｆ５２とから、差分である予測残差データＦ５３を得る具体例を示す図である。また、図７２の（ｂ）は、斜め右方向にエッジが形成されている斜縞模様の画像Ｆ５４と、復号画像を基に斜右下方向予測（図６６におけるモード４）により生成された予測画像Ｆ５５とから、差分である予測残差データＦ５６を得る具体例を示す図である。

【0048】

図７２の（ａ）および（ｂ）のいずれの場合であっても、予測画像Ｆ５２およびＦ５５では、原画像である画像Ｆ５１およびＦ５４の模様部分の一部しか再現できない。さらに原画像にはない画素が形成されている。結果として、予測画像では打ち消すことができない原画像上の画素だけでなく、原画像にはない画素値が予測残差データとなってしまう。

【0049】

図６７の（ａ）における予測残差データＦ４３の上記式（１）による予測残差コストは「１２７５」である。一方、図７２の（ａ）における予測残差データＦ５３の予測残差コストは「５３５５」である。つまり後者の方が大きい。

【0050】

また、図６７の（ｂ）における予測残差データＦ４６の予測残差コストは「７６５」である。一方、図７２の（ｂ）における予測残差データＦ５６の予測残差コストは「４８４５」である。つまりこれらを絶対値和により比較すると、後者の方が大きい。

【0051】

一般的に、予測残差コストが大きくなるほど予測残差データを符号化するために要する符号量は増加する。結果、図７２の（ａ）および（ｂ）の場合には予測効率が低下する。

【0052】

すなわち、従来の画像符号化装置では、予測対象画像の模様（エッジ）の方向が予め固定されたモード０〜８の予測方式の予測方向のいずれとも異なる場合には、予測効率が低下する問題を有している。

【0053】

本発明は、上記の問題点に鑑みてなされたものであり、その主たる目的は、より多様な角度からの予測を可能とし、予測効率を向上させた画像符号化装置、画像符号化方法、プログラム、および記録媒体を提供することにある。また、当該符号化された画像を復号する画像復号装置および画像復号方法を提供することも、本発明の目的である。

【0054】

また、非特許文献１の場合、予測モードの推定値は予測モードの値の大小に依存し、図６９において、当該ブロックＢ１に隣接する左ブロックＢ２、上ブロックＢ４のいずれの予測モードを推定値とするかを任意に選択することができない。したがって、当該ブロックＢ１と隣接ブロックＢ２、Ｂ４の相関性を十分に利用できず予測精度が低いため、予測モードを表すのに要する符号量が増加する問題がある。

【0055】

上記の問題点について、図７３を参照して以下に説明する。具体的には、図６８に示す９種類の予測モードの中の推定値を除く残り８種類のいずれかであるかを表す相対予測モード情報の３ビットと、当該ブロックにおける予測モードが推定値と一致する場合におけるフラグ「１」、または、一致しない場合におけるフラグ「０」の１ビットとの計４ビットで固定長符号化する場合を例に挙げて説明する。

【0056】

図７３は、当該ブロックＤ１の予測モード「５」を、隣接する左ブロックＤ２の予測モード「５」、および上ブロックＤ３の予測モード「３」により予測符号化する例を表した図である。図７３では、当該ブロックＤ１の予測モードの推定値は、左ブロックＤ２、上ブロックＤ３の予測モードのうち、予測モードの値が小さい「３」となる。当該ブロックＤ１の予測モード「５」を符号化するには、推定値が当該ブロックの予測モードと異なるため、４ビット必要となる。しかし、仮に左ブロックＤ２の予測モード「５」を推定値とすることが出来れば、符号量は１ビットで良い。

【0057】

特許文献１では、第１予測手段による推定値１を決定するために、図７０における符号化済み領域Ｃ２または符号化済み領域Ｃ３内のブロックにおいて用いられた予測モードをすべて記憶して保持する必要があるため、メモリを多く必要とする。さらに、第２予測手段による推定値２を決定するためには、上述したように、図６８に示すイントラ予測方法に応じた予測画像を再度生成し、予測画像と復号画像との差分とる必要があるため、計算量が増加するという欠点がある。

【0058】

本発明は、上記の各問題点に鑑みてなされたものであり、その主たる目的は、予測モードに関する符号量を効率的に削減する画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、プログラムおよび記録媒体を提供することである。

【課題を解決するための手段】

【0059】

本発明に係る第１の画像符号化装置は、上記の課題を解決するために、入力画像を符号化する画像符号化装置であって、予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットであって、当該予測セットを複数含む予測セット群から、画像を構成する所定の単位毎に、上記予測セット群の中から１つの予測セットを選択する第１の選択手段と、所定の単位に含まれるサブブロック毎に、上記第１の選択手段において選択された上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第２の選択手段と、選択された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、入力画像と予測画像との残差データならびに選択した上記予測セットおよび上記予測モードを符号化する符号化手段と、を備えていることを特徴としている。

【0060】

上記の構成によれば、画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、予測セットおよび予測モードを選択する。そして、選択した予測セットおよび予測モードを用いて画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる効果を奏する。

【0061】

また上記画像符号化装置は、予測方式を予測セット情報と予測モード情報で階層的に表現することによって、予測方式を選択する自由度が高まり、予測方式を表すのに必要な符号量の増加を防ぎつつ、予測効率を上げることができる効果を奏する。

【0062】

本発明に係る画像符号化方法は、上記の課題を解決するために、入力画像を符号化する画像符号化方法であって、予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットであって、当該予測セットを複数含む予測セット群から、画像を構成する所定の単位毎に、上記予測セット群の中から１つの予測セットを選択する第１の選択ステップと、所定の単位に含まれるサブブロック毎に、上記第１の選択手段において選択された上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第２の選択ステップと、選択された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、入力画像と予測画像との残差データならびに選択した上記予測セットおよび上記予測モードを符号化する符号化ステップと、を含むことを特徴としている。

【0063】

上記の構成によれば、本発明に係る第１の画像符号化装置と同様の作用効果を奏する。

【0064】

本発明に係る第２の画像符号化装置は、さらに、上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出手段を備えていることが好ましい。

【0065】

上記の構成によれば、画像を構成する所定の単位毎に、当該画像のエッジ情報を算出する。たとえば、エッジ情報として、画像のエッジ方向、エッジ強度あるいはこれらの分布情報を算出する。すなわち、第２の画像符号化装置は、予測セット群から、算出したエッジ情報に応じた予測セットを選択し、また当該予測セットから算出したエッジ情報に応じた予測モードを選択する。たとえば、エッジ情報が水平方向のエッジが偏っていることを表しているなら、水平方向の予測を重視した予測セットを用いて画像を符号化する。一方、エッジ情報が垂直方向のエッジが偏っていることを表しているなら、垂直方向の予測を重視した予測セットを用いて符号化する。

【0066】

これによりよって、画像のエッジ情報に応じた最適な予測セットを用いて、画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるため、画像の符号量をより減らすことができ、かつ、画質を向上させることができる効果を奏する。

【0067】

本発明に係る第２の画像符号化方法は、さらに、上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出ステップを含むことが好ましい。

【0068】

上記の構成によれば、本発明に係る第２の画像符号化装置と同様の作用効果を奏する。

【0069】

本発明に係る第３の画像符号化装置は、さらに、上記予測セット群に含まれる複数の上記予測セットおよび当該予測セットに含まれる複数の上記予測モードから、上記エッジ情報に基づいて予測セットおよび予測モードを設定する設定手段と、設定された上記予測セットおよび予測モードに対応する、予測方向および予測方法の情報を符号化する符号化手段と、を備えていることが好ましい。

【0070】

上記の構成によれば、画像を構成する各フレームから、当該フレームのエッジ情報を算出する。たとえばエッジ情報として、画像のエッジ方向、エッジ強度、あるいはこれらの分布情報を算出する。したがって、画像符号化装置は、エッジ方向に関する分布情報に基づいて、エッジ方向を効率良く近似する複数の予測方向を決定し、各予測セットを構成する予測モードの組み合わせを決定する。

【0071】

たとえば、エッジ方向に関する分布情報が、水平方向のエッジが偏っていることを表しているなら、水平方向の予測を細かく、垂直方向の予測を粗くした最適な予測モードの組み合わせによる複数の予測セットが自動的に決定される。これにより、水平方向の予測に適した複数の予測セットの中より、符号化対象ブロックのエッジ方向に応じた予測セットを切り替えて画像を符号化する。一方、エッジ方向に関する分布情報が垂直方向のエッジが偏っていることを表しているなら、垂直方向の予測を細かく、水平方向の予測を粗くした最適な予測モードの組み合わせによる複数の予測セットが自動的に決定される。

【0072】

これによって、垂直方向の予測に適した複数の予測セットの中より、符号化対象ブロックのエッジ方向に応じた予測セットを切り替えて画像を符号化できる。

【0073】

すなわち、画像符号化装置は、画像に応じて、予測セット中の予測モードを自動的に組み合わせた画像に最適な複数の予測セットを作成し、この中から符号化対象ブロックのエッジ方向に応じた予測セットを切り替えることによって、予め定められた予測セットを使用する場合よりもさらに予測効率を上げることができる効果を奏する。

【0074】

本発明に係る第３の画像符号化方法は、さらに、上記予測セット群に含まれる複数の上記予測セットおよび当該予測セットに含まれる複数の上記予測モードから、上記エッジ情報に基づいて予測セットおよび予測モードを設定する設定ステップと、設定された上記予測セットおよび予測モードに対応する、予測方向および予測方法の情報を符号化する符号化ステップと、を含むことが好ましい。

【0075】

上記の構成によれば、本発明に係る第３の画像符号化装置と同様の作用効果を奏する。

【0076】

本発明に係る第１の画像復号装置は、上記課題を解決するために、画像の符号化データを復号する画像復号装置であって、互いに異なる予測方向および予測方法に対応した予測モードを複数含む予測セットから、符号化データより画像を構成する所定の単位毎に予測セットを復号すると共に、所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号手段と、復号された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、上記差分データと上記予測画像とを加算する加算手段と、を備えていることを特徴としている。

【0077】

上記の構成によれば、画像復号装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を有している。画像復号装置は、画像を構成する各ブロックにおいて、予測セット群から、復号対象ブロックにいずれの予測セットを用いるかを表す予測セット情報を、相対予測セット情報と復号済み予測セット情報より復号する。復号対象ブロックをさらに分割したサブブロック毎に、当該サブブロックに隣接するサブブロックの局所復号画像を用いて、当該ブロックを構成する全サブブロックに共通に用いる予測セット情報と当該サブブロックにおいて復号された予測モード情報から定まるイントラ予測を行い、当該サブブロックの予測画像を生成し、その予測画像と当該サブブロックの復号予測残差データを合成して、当該サブブロックの画像を復元する。

【0078】

たとえば、予測セット情報が水平方向の予測を重視した予測セットを表すならば、水平方向を中心により細かい角度からの予測画像を生成することができる。また予測セット情報が垂直方向の予測を重視した予測セットを表すならば、垂直方向を中心により細かい角度からの予測画像を生成することができる。

【0079】

したがって、画像復号装置は、従来よりも多様な角度からの予測を用いた復号処理が可能になるので、より効率良くエッジ部を再現することができ、これにより画質を向上させることができる効果を奏する。

【0080】

また、画像復号装置は、予測セットと予測モードの２段階で予測することによって、高い予測精度を実現しつつ、符号量の増加を防ぐことができる効果を奏する。

【0081】

本発明に係る第１の画像復号方法は、上記課題を解決するために、画像の符号化データを復号する画像復号方法であって、互いに異なる予測方向および予測方法に対応した予測モードを複数含む予測セットから、符号化データより画像を構成する所定の単位毎に予測セットを復号すると共に、所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号ステップと、復号された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、上記差分データと上記予測画像とを加算する加算ステップと、を含むことを特徴としている。

【0082】

上記の構成によれば、本発明に係る第１の画像復号装置と同様の作用効果を奏する。

【0083】

本発明に係る第２の画像復号装置は、さらに、上記予測セットおよび上記予測モードに対応する予測方法および予測方法に関する情報を復号する復号手段と、
復号した上記予測方向および上記予測方法を、上記予測セットおよび上記の予測モードに設定する設定手段と、を備えていることが好ましい。

【0084】

上記構成によれば、画像の符号化データを構成する各フレームにおいて、復号対象フレームに用いる複数の予測セット中の各予測モードに割り当てる予測方式を表す予測セット定義情報を，相対予測セット定義情報と復号済み予測セット定義情報より作成する。そして、復号対象フレームを構成するブロック（Ｍ×Ｍ画素ブロック）毎に、当該ブロックに用いる予測セットを復号する。さらに、ブロックを構成するサブブロック（Ｎ×Ｎ画素ブロック）毎に、当該サブブロックに隣接するサブブロックの局所復号画像を用いると共に、予測セット定義情報を参照し、当該ブロックを構成する全サブブロックにおいて共通で用いる予測セット情報と当該サブブロックにおいて復号された予測モード情報とによって定まるイントラ予測を行い、当該サブブロックの予測画像を生成する。最後に、生成した予測画像と当該サブブロックの復号予測残差データとを合成し、当該サブブロックの画像を復元する。

【0085】

これによって、たとえば、予測セット定義情報が水平方向の予測を重視した予測セット定義を表すならば、水平方向を中心により細かい角度からの予測画像を生成することができる。また予測セット定義情報が垂直方向の予測を重視した予測セットを表すならば、垂直方向を中心により細かい角度からの予測画像を生成することができる。

【0086】

したがって、画像復号装置は、画像に応じて複数の予測セット中の予測モードを適応的に定義することが可能であり、この中から、復号対象ブロックのエッジ方向に最適な予測をすることができる。その結果、予め定められた予測セットを使用する場合よりも、さらに予測効率を上げることができる効果を奏する。

【0087】

また予測方式を予測セットと予測モードを用いて階層的に表現しているため、符号量を増加させることなく、予測効率を上げることができる効果を奏する。

【0088】

本発明に係る第２の画像復号方法は、さらに、上記予測セットおよび上記予測モードに対応する予測方法および予測方法に関する情報を復号する復号ステップと、
復号した上記予測方向および上記予測方法を、上記予測セットおよび上記の予測モードに設定する設定ステップと、を含むことが好ましい。上記の構成によれば、本発明に係る第２の画像復号方法と同様の作用効果を奏する。

【0089】

本発明に係る第４の画像符号化装置は、さらに、当該サブブロックの予測モードの推定に用いる符号化済み隣接サブブロックの参照方向を決定する第１の決定手段と、選択された上記予測セットおよび上記決定された参照方向により定まる符号化済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定手段と、上記決定した予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成手段と、上記生成した相対情報ならびに上記決定した参照方向を符号化する符号化手段と、を備えていることが好ましい。

【0090】

上記の構成によれば、画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、予測セットおよび予測モードを選択する。そして、選択した予測セットおよび予測モードを用いて画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる効果を奏する。

【0091】

また上記構成によれば、画像符号化装置は、予測モードの推定に用いる符号化済み隣接サブブロックを指定することが可能となるため、予測モードの推定効率が高まり、予測モードを表すのに要する符号量を効率的に削減させることができる効果を奏する。

【0092】

本発明に係る第４の画像符号化方法は、さらに、当該サブブロックの予測モードの推定に用いる符号化済み隣接サブブロックの参照方向を決定する第１の決定ステップと、選択された上記予測セットおよび上記決定された参照方向により定まる符号化済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、上記決定した予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成ステップと、上記生成した相対情報ならびに上記決定した参照方向を符号化する符号化ステップと、を含むことが好ましい。

【0093】

上記の構成によれば、本発明に係る第４の画像符号化装置と同様の作用効果を奏する。

【0094】

本発明に係る第４の画像復号装置は、さらに、上記予測モードの相対情報ならびに当該サブブロックの予測モードの推定に用いる復号済み隣接サブブロックの方向を表す参照方向を復号する復号手段と、復号された上記予測セットおよび上記復号された参照方向により定まる復号済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定手段と、
上記決定した予測モードの推定値と上記復号した予測モードの相対情報から当該サブブロックに用いる予測モードを復号する復号手段と、を備えていることが好ましい。

【0095】

上記の構成によれば、画像復号装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を有している。画像復号装置は、画像を構成する各ブロックにおいて、予測セット群から、復号対象ブロックにいずれの予測セットを用いるかを表す予測セット情報を、相対予測セット情報と復号済み予測セット情報より復号する。復号対象ブロックをさらに分割したサブブロック毎に、当該サブブロックに隣接するサブブロックの局所復号画像を用いて、当該ブロックを構成する全サブブロックに共通に用いる予測セット情報と当該サブブロックにおいて復号された予測モード情報から定まるイントラ予測を行い、当該サブブロックの予測画像を生成し、その予測画像と当該サブブロックの復号予測残差データを合成して、当該サブブロックの画像を復元する。

【0096】

たとえば、予測セット情報が水平方向の予測を重視した予測セットを表すならば、水平方向を中心により細かい角度からの予測画像を生成することができる。また予測セット情報が垂直方向の予測を重視した予測セットを表すならば、垂直方向を中心により細かい角度からの予測画像を生成することができる。

【0097】

したがって、画像復号装置は、従来よりも多様な角度からの予測を用いた復号処理が可能になるので、より効率良くエッジ部を再現することができ、これにより画質を向上させることができる効果を奏する。

【0098】

また上記構成によれば、画像復号装置は、予測モードの推定に用いる復号済み隣接サブブロックを指定することが可能となるため、予測モードの推定効率が高まり、予測モードを復号するのに要する符号量を効率的に削減させることができる効果を奏する。

【0099】

本発明に係る第４の画像復号方法は、さらに、上記予測モードの相対情報ならびに当該サブブロックの予測モードの推定に用いる復号済み隣接サブブロックの方向を表す参照方向を復号する復号ステップと、復号された上記予測セットおよび上記復号された参照方向により定まる復号済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、上記決定した予測モードの推定値と上記復号した予測モードの相対情報から当該サブブロックに用いる予測モードを復号する復号ステップと、を含むことが好ましい。

【0100】

上記の構成によれば、本発明に係る第４の画像復号装置と同様の作用効果を奏する。

【0101】

本発明に係る第５の画像符号化装置は、さらに、互いに異なる複数の上記予測セット群を備え、上記複数の予測セット群の中から当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択手段を備えていることが好ましい。

【0102】

上記の構成によれば、画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群であって、互いに異なる上記予測セット群を複数備え、上記複数の予測セット群から、予測せセット群、予測セットならびに予測モードを選択する。そして、選択した予測セット群、予測セットおよび予測モードを用いて画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる効果を奏する。

【0103】

本発明に係る第５の画像符号化方法は、さらに、
互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択ステップを含むことが好ましい。

【0104】

上記の構成によれば、本発明に係る第５の画像符号化装置と同様の作用効果を奏する。

【0105】

本発明に係る第５の画像復号装置は、さらに、互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択手段と、を備えていることが好ましい。

【0106】

上記の構成によれば、画像復号装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群であって、互いに異なる前記予測セット群を複数備えている。画像復号装置は、画像を構成する各ブロックにおいて、複数の予測セット群から、復号対象ブロックにいずれの予測セット群を用いるかを、所定の評価基準に基づき決定する。そして、決定された予測セット群から、復号対象ブロックにいずれの予測セットを用いるかを表す予測セット情報を、相対予測セット情報と復号済み予測セット情報より復号する。復号対象ブロックをさらに分割したサブブロック毎に、当該サブブロックに隣接するサブブロックの局所復号画像を用いて、当該ブロックを構成する全サブブロックに共通に用いる予測セット情報と当該サブブロックにおいて復号された予測モード情報から定まるイントラ予測を行い、当該サブブロックの予測画像を生成し、その予測画像と当該サブブロックの復号予測残差データを合成して、当該サブブロックの画像を復元する。

【0107】

したがって、画像復号装置は、さらに多様な角度からの予測を用いた復号処理が可能になるので、より効率良くエッジ部を再現することができ、これにより画質を向上させることができる効果を奏する。

【0108】

本発明に係る第５の画像復号方法は、さらに、互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択ステップを備えていることが好ましい。

【0109】

上記の構成によれば、本発明に係る第５の画像復号装置と同様の作用効果を奏する。

【0110】

本発明に係る第６の画像符号化装置は、上記の課題を解決するために、入力画像を符号化する画像符号化装置であって、予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットを１つ備え、所定の単位に含まれるサブブロック毎に、上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第１の選択手段と、上記予測セットおよび選択された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、入力画像と予測画像との残差データならびに選択した上記予測モードを符号化する符号化手段とを備えており、上記予測モードを符号化する符号化手段は、選択された上記予測モードの推定に用いる符号化済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定手段と、上記決定された符号化済み隣接サブブロックの予測モードに基づいて、符号化対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定手段と、決定した上記予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成手段と、生成した上記相対情報を符号化する符号化手段と、を備えていることを特徴としている。

【0111】

上記の構成によれば、画像符号化装置は、符号化対象サブブロックと最も相関の高い符号化済み隣接サブブロックより予測モードの推定することが可能となるため、予測モードの推定効率が高まり、予測モードを表すのに要する符号量を効率的に削減させ、従来よりもさらに符号化効率を高めることができる効果を奏する。

【0112】

本発明に係る第６の画像符号化方法は、上記の課題を解決するために、入力画像を符号化する画像符号化方法であって、予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットを１つ備え、所定の単位に含まれるサブブロック毎に、上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第１の選択ステップと、上記予測セットおよび選択された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、入力画像と予測画像との残差データならびに選択した上記予測モードを符号化する符号化ステップとを含み、上記予測モードを符号化する符号化ステップは、選択された上記予測モードの推定に用いる符号化済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定ステップと、決定された上記符号化済み隣接サブブロックの予測モードに基づいて、符号化対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、決定した上記予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成ステップと、生成した上記相対情報を符号化する符号化ステップと、
を含むことを特徴としている。

【0113】

上記の構成によれば、本発明に係る第６の画像符号化装置と同様の作用効果を奏する。

【0114】

本発明に係る第６の画像復号装置は、上記課題を解決するために、画像の符号化データを復号する画像復号装置であって、互いに異なる予測方向および予測方法に対応した予測モードを複数含む１つの予測セットから、符号化データより画像を構成する所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号手段と、復号された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、上記差分データと上記予測画像とを加算する加算手段と、を備えており、上記予測モードを復号する復号手段は、上記予測モードの相対情報を復号する復号手段と、上記予測モードの推定に用いる復号済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定手段と、決定された上記復号済み隣接サブブロックの予測モードに基づいて、復号対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定手段と、決定した上記予測モードの推定値と上記復号された予測モードの相対情報から当該サブブロックの予測モードを復号する復号手段と、を備えていることを特徴としている。

【0115】

上記の構成によれば、画像復号装置は、復号対象サブブロックと最も相関の高い復号済み隣接サブブロックより予測モードの推定することが可能となるため、予測モードの推定効率が高まり、予測モードを復号するのに要する符号量を効率的に削減させ、従来よりもさらに復号効率を高めることができる効果を奏する。

【0116】

本発明に係る第６の画像復号方法は、上記課題を解決するために、画像の符号化データを復号する画像復号方法であって、互いに異なる予測方向および予測方法に対応した予測モードを複数含む１つの予測セットから、符号化データより画像を構成する所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号ステップと、復号された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、上記差分データと上記予測画像とを加算する加算ステップと、
を含み、上記予測モードを復号する復号ステップは、上記予測モードの相対情報を復号する復号ステップと、上記予測モードの推定に用いる復号済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定ステップと、決定された上記復号済み隣接サブブロックの予測モードに基づいて、復号対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、上記決定した予測モードの推定値と上記復号された予測モードの相対情報から当該サブブロックの予測モードを復号する復号ステップと、を含むことを特徴としている。

【0117】

上記の構成によれば、本発明に係る第６の画像復号装置と同様の作用効果を奏する。

【0118】

なお、上記画像符号化装置および上記画像復号装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像符号化装置または上記画像復号装置をコンピュータにおいて実現するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【0119】

本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。

【図面の簡単な説明】

【0120】

【図1】実施形態１に係る画像符号化装置の要部構成を示すブロック図である。

【図2】実施形態１に係る画像符号化プロセスの概要を示すフローチャートである。

【図3】実施形態１に係るエッジ情報の詳細な決定プロセスを示すフローチャートである。

【図4】エッジ解析部において検出されるエッジの具体例を示した図であり、（ａ）は横縞模様が形成された原画像であり、（ｂ）はそれから検出されるエッジ画像であり、（ｃ）は縦縞模様が形成された原画像であり、（ｄ）はそれから検出されるエッジ画像であり、（ｅ）はねじれ模様が形成された原画像であり、（ｆ）はそれから検出されるエッジ画像である。

【図5】エッジ解析部において検出したエッジ画像におけるエッジ方向分布を示した図であり、（ａ）は水平方向にエッジが集中している場合であり、（ｂ）は垂直方向にエッジが集中している場合であり、（ｃ）は水平方向および垂直方向にエッジが集中している場合である。

【図6】実施形態１における各予測セットのうち、ＤＣ予測を除いた残りの予測モードを示す図であり、（ａ）〜（ｄ）はそれぞれ予測セット０〜３に対応している。

【図7】予測セット情報の詳細な決定プロセスを示すフローチャートである。

【図8】実施形態１に係る画像符号化装置における相対予測セット情報作成部の構成を示すブロック図である。

【図9】予測セット情報予測部における予測に用いる符号化済みブロックの位置の一例を示す図である。

【図10】相対予測セット情報作成部における予測セット情報の符号化プロセスを示すフローチャートである。

【図11】予測方向θからの予測画像生成方法について示した図である。

【図12】予測方向θからの予測画像生成方法において用いる参照画素領域の一例を示す図であり、（ａ）はＫ＝２Ｎ、Ｌ＝２Ｎの場合であり、（ｂ）はＫ＝Ｎ、Ｌ＝２Ｎの場合であり、（ｃ）はＫ＝２Ｎ，Ｌ＝Ｎの場合であり、（ｄ）はＫ＝Ｎ、Ｌ＝Ｎの場合であり、（ｅ）はＫ＝０、Ｌ＝２Ｎの場合であり、（ｆ）はＫ＝Ｎ、Ｌ＝０の場合である。

【図13】本発明に係る符号化単位の関係を模式的に示した図であり、（ａ）はＧＯＰを示し、（ｂ）はピクチャ（フレーム）を示し、（ｃ）はスライスを示し、（ｄ）はマクロブロックを示し、（e）はブロックを示す。

【図14】実施形態２に係る画像復号装置の要部構成を示すブロック図である。

【図15】実施形態２に係る画像復号プロセスの概要を示すフローチャートである。

【図16】実施形態２に係る画像復号装置における予測セット情報作成部の構成を示すブロック図である。

【図17】予測セット情報作成部における予測セット情報の作成プロセスを示すフローチャートである。

【図18】実施形態３に係る画像符号化装置の要部構成を示すブロック図である。

【図19】実施形態３に係る画像符号化プロセスの概要を示すフローチャートである。

【図20】予測セット情報の詳細な決定プロセスを示すフローチャートである。

【図21】水平方向にエッジが集中している場合のエッジ方向ヒストグラムを示す図である。

【図22】水平方向にエッジが集中している場合のエッジ方向ヒストグラムから得られるエッジ方向累積度数分布を示す図である。

【図23】予測方向θnと予測方向θn+1との位置関係を表す図である。

【図24】実施形態３に係る画像符号化装置における相対予測セット定義情報作成部の構成を示すブロック図である。

【図25】相対予測セット定義情報作成部における予測セット定義情報の符号化プロセスを示すフローチャートである。

【図26】実施形態４に係る画像復号装置の要部構成を示すブロック図である。

【図27】実施形態４に係る画像復号プロセスの概要を示すフローチャートである。

【図28】実施形態４に係る画像復号装置における予測セット定義情報作成部の構成を示すブロック図である。

【図29】予測セット定義情報作成部における予測セット定義情報の作成プロセスを示すフローチャートである。

【図30】実施形態５に係る画像符号化装置の要部構成を示すブロック図である。

【図31】相対予測モード情報作成部の構成を示すブロック図である。

【図32】実施形態５に係る画像符号化プロセスの概要を示すフローチャートである。

【図33】サブブロックグループを説明する図であり、（ａ）は対象ブロックおよびサブブロックのサイズＭ、ＮがＮ＝Ｍ／４である場合のサブブロックグループであり、（ｂ）は、対象ブロックおよびサブブロックのサイズＭ、ＮがＮ＝Ｍ／２である場合のサブブロックグループである。

【図34】参照方向組み合わせテーブルに基づく参照サブブロックの方向を示した図である。

【図35】符号化対象サブブロックと参照サブブロックの位置関係を表す図であり、（ａ）は、参照方向「０」における符号化対象サブブロックＰと参照サブブロックＱの位置関係であり、（ｂ）は、参照方向「１」における符号化対象サブブロックＰと参照サブブロックＱの位置関係である。

【図36】相対予測モード情報を生成する詳細なプロセスを示すフローチャートである。

【図37】符号化パラメータ（ｓ, ｐ, Ｍ）の決定のプロセスを表すフローチャートである。

【図38】実施形態６に係る画像復号装置の要部構成を示すブロック図である。

【図39】予測モード情報作成部の構成を示すブロック図である。

【図40】実施形態６に係る画像復号プロセスの概要を示すフローチャートである。

【図41】予測モード情報を生成する詳細なプロセスを示すフローチャートである。

【図42】実施形態７に係る画像符号化装置の要部構成を示すブロック図である。

【図43】相対予測モード情報作成部の構成を示すブロック図である。

【図44】当該サブブロックおよびその周辺に位置する符号化済みサブブロックを示す図である。

【図45】実施形態７に係る画像符号化プロセスの概要を示すフローチャートである。

【図46】対象サブブロックＰを基点（０，０）として、水平方向をＸ軸、垂直方向をＹ軸と定めるときの、Ｐに対するＱの相対位置を表す図である。

【図47】相対予測モード情報を生成する詳細なプロセスを示すフローチャートである。

【図48】実施形態７に係る画像符号化装置の変形例の要部構成を示すブロック図である。

【図49】変形例における相対予測モード情報作成部の構成を示すブロック図である。

【図50】実施形態８に係る画像復号装置の要部構成を示すブロック図である。

【図51】予測モード情報作成部の構成を示すブロック図である。

【図52】実施形態８に係る画像復号プロセスの概要を示すフローチャートである。

【図53】予測モード情報を生成する詳細なプロセスを示すフローチャートである。

【図54】実施形態８に係る画像復号装置の変形例の要部構成を示すブロック図である。

【図55】変形例における予測モード情報作成部の構成を示すブロック図である。

【図56】実施形態９に係る画像符号化装置の要部構成を示すブロック図である。

【図57】相対予測セット情報作成部の構成を示すブロック図である。

【図58】実施形態９に係る画像符号化プロセスの概要を示すフローチャートである。

【図59】予測セット群選択時の動作プロセスを示すフローチャートである。

【図60】相対予測セット情報作成部の動作プロセスを示すフローチャートである。

【図61】実施形態１０に係る画像復号装置の要部構成を示すブロック図である。

【図62】予測セット情報作成部の構成を示すブロック図である。

【図63】実施形態１０に係る画像復号プロセスの概要を示すフローチャートである。

【図64】予測セット情報作成部の動作プロセスを示すフローチャートである。

【図65】従来の画像符号化装置の要部構成を示すブロック図である。

【図66】符号化対象ブロックをイントラ予測するための予測モードの一例を示した図である。

【図67】従来の画像符号化装置におけるイントラ予測の具体例を示す図であり、（ａ）は縦縞模様の画像から予測残差データを得る具体例であり、（ｂ）は斜縞模様の画像から予測残差データを得る具体例である。

【図68】４×４画素ブロック、８×８画素ブロックのイントラ予測における予測モードを示す図である。

【図69】当該ブロックと隣接ブロックとの位置関係を示す図である。

【図70】当該ブロックと符号化済み領域との位置関係を示す図である。

【図71】従来の画像復号装置の要部構成を示すブロック図である。

【図72】従来の画像符号化装置におけるイントラ予測の他の具体例を示す図であり、（ａ）は縦縞模様の画像から予測残差データを得る具体例であり、（ｂ）は斜縞模様の画像から予測残差データを得る具体例である。

【図73】当該ブロックＤ１の予測モードを、隣接する左ブロックＤ２の予測モード、および上ブロックＤ３の予測モードにより予測符号化する場合を示す図である。

【発明を実施するための形態】

【0121】

〔実施形態１〕
本発明に係る画像符号化装置を実施形態１として、図１〜図１３を参照して以下に説明する。

【0122】

（画像符号化装置１００の構成）
まず、本実施形態に係る画像符号化装置１００の構成について、図１を参照して以下に説明する。図１は、本実施形態に係る画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部１０、予測モード決定部１１、エッジ解析部１２、予測セット決定部１３、および相対予測セット情報作成部５１を備えている（図１）。なお本実施形態では、従来技術において説明していない構成要素であるエントロピー符号化部４、イントラ予測部１０、予測モード決定部１１、エッジ解析部１２、予測セット決定部１３、相対予測セット情報作成部５１について以下に説明する。

【0123】

（エントロピー符号化部４）
エントロピー符号化部４は、予測残差データ、予測モード情報、相対予測セット情報などをエントロピー符号化し、符号化データを出力する。

【0124】

（イントラ予測部１０）
イントラ予測部１０は、メモリ９に記憶された局所復号画像を用いて、予測セット情報と予測モード情報により表されるイントラ予測を行い、予測画像を生成する。なお、予測画素の詳細な生成方法について下記に詳述する。

【0125】

（予測モード決定部１１）
予測モード決定部１１は、入力された符号化対象ブロックの原画像、およびメモリ９から入力された局所復号画像に基づいて、予測セット決定部１３より入力された予測セット情報が表す複数の予測モードから符号化対象ブロックの予測に用いる予測モードを１つ決定する。そして、決定した予測モードを表す予測モード情報を、イントラ予測部１０およびエントロピー符号化部４へ出力する。なお、予測モードの決定には、予測残差コスト最小化法、またはレート歪最適化手法を用いることができる。

【0126】

（エッジ解析部１２）
エッジ解析部１２は、検出したエッジからエッジ強度およびエッジ方向を算出する。具体的には、入力されたＭ×Ｍ画素ブロックの符号化対象ブロックをさらに分割したＮ×Ｎ画素ブロックのサブブロックごとにエッジ検出を行い、検出したエッジからエッジ強度およびエッジ方向を算出する。

【0127】

（予測セット決定部１３）
予測セット決定部１３は、符号化対象ブロックに適用する予測セットを決定する。具体的には、エッジ解析部１２において算出された符号化対象ブロックのエッジ方向およびエッジ強度に基づいて、予め定められた予測セット群の中から符号化対象ブロックに適用する予測セットを決定し、決定した予測セットを表す予測セット情報を出力する。なお、予測セット（群）の詳細については、下記に詳述する。

【0128】

（相対予測セット情報作成部５１）
相対予測セット情報作成部５１は、予測セット決定部１３において決定された符号化対象ブロックに適用する予測セットを表す予測セット情報を、符号化済みの予測セットを表す情報に基づいて予測し、予測に基づくフラグと差分とから予測セットを表した情報（相対予測セット情報）を出力する。なお、相対予測セット情報作成部５１の詳細については、下記に詳述する。

【0129】

（画像符号化プロセスの概要）
画像符号化装置１００における画像符号化プロセスの概要について、図２を参照して以下に説明する。図２は、画像符号化装置１００における画像符号化プロセスの概要を示すフローチャートである。

【0130】

（符号化対象ブロックの入力およびエッジ情報の算出）
Ｍ×Ｍ画素ブロックの符号化対象ブロックが画像符号化装置１００に入力されると（ステップＳ１）、エッジ解析部１２は、Ｍ×Ｍ画素ブロックの符号化対象ブロックをＮ×Ｎ画素ブロック（Ｎ≦Ｍ）のサブブロックにさらに分割する（ステップＳ２）。続いて、エッジ解析部１２は、Ｍ×Ｍ画素ブロックを構成する全サブブロックのエッジ強度およびエッジ方向をエッジ情報として算出する（ステップＳ３）。なお、エッジ情報の詳細な算出方法については下記に詳述する。

【0131】

（予測セットの決定、予測セット情報の符号化）
予測セット決定部１３は、ステップＳ３において算出されたエッジ情報に基づいて、符号化対象ブロックに適用する予測セットを決定し、決定した予測セットを表す情報（以下、予測セット情報とも称する）を予測モード決定部１１、相対予測セット情報作成部５１およびイントラ予測部１０に出力する（ステップＳ４）。予測セット決定部１３から予測セット情報を受けた相対予測セット情報作成部５１は、予測セット情報を符号化済みの予測セットを表す情報に基づいて予測し、相対予測セット情報をエントロピー符号化部４へ出力する（ステップＳ５）。エントロピー符号化部４は、相対予測セット情報をエントロピー符号化して出力する（ステップＳ６）。なお、予測セットの詳細な決定方法、ならびに予測セット情報の詳細な符号化方法および予測セット情報のデータ構造については下記に詳述する。

【0132】

（予測モードの決定、および予測モード情報の符号化）
予測モード決定部１１は、メモリ９から入力された符号化済み隣接サブブロックにおける局所復号画像より、予測セット決定部１３より入力された予測セット情報の表す複数の予測モードから符号化対象サブブロックの予測に用いる予測モードを決定し、決定した予測モード情報をイントラ予測部１０、およびエントロピー符号化部４へ出力する（ステップＳ７）。エントロピー符号化部４は、入力された予測モード情報をエントロピー符号化し、予測モード情報の符号化データを出力する（ステップＳ８）。ここで、符号化対象サブブロックとは、符号化対象ブロックをＮ×Ｎ画素ブロックに分割して得られたサブブロックを意味している。

【0133】

（予測画像の生成）
イントラ予測部１０は、メモリ９から入力された符号化済み隣接サブブロックにおける局所復号画像を用いて、上記ステップＳ４で決定された予測セットおよび上記ステップＳ７で決定された予測モードにより定まるイントラ予測を行い、符号化対象サブブロックの予測画像を生成し、差分演算部１、および加算演算部８へ出力する（ステップＳ９）。

【0134】

（予測残差データの算出）
差分演算部１は、入力された符号化対象サブブロックの原画像と、上記ステップＳ９で生成された予測画像との差分であるＮ×Ｎ画素ブロックの予測残差データを算出し、出力する（ステップＳ１０）。

【0135】

（直交変換および量子化）
上記ステップＳ１０で算出された予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部４および逆量子化部６へ出力される（ステップＳ１１）。

【0136】

（逆直交変換および逆量子化）
直交変換・量子化された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８へ出力される(ステップＳ１２)。

【0137】

（局所復号画像の生成）
加算演算部８は、ステップＳ１２において逆量子化および逆直交変換された予測残差データと、ステップＳ９において生成した予測画像とを加算し、Ｎ×Ｎ画素ブロックの局所復号画像を生成する（ステップＳ１３）。なお、生成した局所復号画像は、メモリ９に記憶される。

【0138】

（予測残差データの符号化）
エントロピー符号化部４は、符号化対象サブブロックの量子化済み予測残差データをエントロピー符号化して予測残差データの符号化データを出力する（ステップＳ１４）。

【0139】

なお、ステップＳ７〜Ｓ１４における処理は、符号化対象ブロックを構成する全てのサブブロックについて行われる。また、ステップＳ１〜Ｓ１４における処理は、符号化対象画像を構成する全てのブロックについて行われる。

【0140】

（付記事項）
本実施形態では、画像符号化装置１００の符号化プロセスをステップＳ１〜Ｓ１４の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。

【0141】

（エッジ解析部１２の詳細な動作およびエッジ情報のデータ構造）
エッジ解析部１２において算出するエッジ情報のデータ構造を表１に示す。なお、表１において、「bk」は符号化対象ブロックにおけるサブブロックの位置を表すカウンタを表し、「end_bk」は符号化対象ブロックにおける終端サブブロックの番号を表す。

【0142】

【表1】

【0143】

エッジ解析部１２の詳細な動作について、図３を参照して以下に説明する。図３は、エッジ情報の詳細な決定プロセスを示すフローチャートである。

【0144】

Ｍ×Ｍ画素ブロック（Ｍ≧Ｎ）の符号化対象ブロックが入力されると、エッジ解析部１２は、入力された符号化対象ブロックをさらにＮ×Ｎ画素ブロックのサブブロックに分割し（ステップＳ２０）、符号化対象ブロックにおけるサブブロックの位置を表すカウンタbkをゼロ値に初期化する（ステップＳ２１）。

【0145】

次に、エッジ解析部１２は、カウンタbkが示すサブブロック（以下、対象サブブロックとも称する）の全画素における勾配ベクトル（水平成分，垂直成分）をオペレータによって算出する（ステップＳ２２）。勾配ベクトルを算出するオペレータとしては、Sobelオ
ペレータ、Prewittオペレータなどを挙げることができる。また、勾配ベクトルは、下記
式（７）のように勾配ベクトルを算出する画素位置の上下左右にある画素値の差分により算出してもよい。

【0146】

【数4】

【0147】

式中、Ｉ（ｘ，ｙ）は対象サブブロック中の画素位置（ｘ，ｙ）における画素値を示し、Ｇ（ｘ，ｙ）は画素位置（ｘ，ｙ）における勾配ベクトルを示す。

【0148】

エッジ解析部１２は、ステップＳ２２において算出した対象サブブロック内の全画素単位の勾配ベクトルから、エッジ情報を算出する（ステップＳ２３）。なお、本明細書において、「エッジ情報」とは、対象サブブロックのエッジ方向であるedge_orientation[bk]およびエッジ強度であるedge_strength[bk]を意味する。エッジ方向およびエッジ強度の
算出方法については、下記に詳述する。

【0149】

エッジ解析部１２は、ステップＳ２３において算出した、対象サブブロックのエッジ方向およびエッジ強度をエッジ情報edge_data()に格納し（ステップＳ２４）、カウンタｂ
ｋの値を１つ加算する（ステップＳ２５）。

【0150】

続いて、エッジ解析部１２は、カウンタbkの値がend_bkの値よりも大きいか否かを判定する（ステップＳ２６）。カウンタbkの示す値が符号化対象ブロックにおける終端サブブロックの位置であるend_bk以下であれば（ステップＳ２６においてＹｅｓ）、次のサブブロック内の全画素における勾配ベクトルを算出する。すなわち、再度ステップＳ２２に戻る。カウンタｂｋの示す値が符号化対象ブロックにおける終端サブブロックの位置であるend_bkより大きい値であれば（ステップＳ２６においてＮｏ）、エッジ情報edge_data()を出力して符号対象化ブロックにおけるエッジ解析の動作を終了する（ステップＳ２７）。

【0151】

（エッジ方向およびエッジ強度の詳細な算出方法）
ここで、エッジ方向およびエッジ強度の算出方法の具体例について以下に説明する。

【0152】

エッジ強度は、対象サブブロックにおける画素単位の勾配ベクトルの平均強度を表し、下記式（８）または（９）によって算出することができる。ここで、Ｇｘ、Ｇｙは、それぞれ勾配ベクトルＧ（ｘ，ｙ）のｘ成分、ｙ成分を表す。

【0153】

【数5】

【0154】

エッジ方向は、多様な方法によって算出することができ、特に限定されるものではない。本実施形態では、非特許文献２に記載の方法を用いた場合を例に挙げて、エッジ方向の算出方法を以下に説明する。なお、非特許文献２には、指紋検出の際に利用されるエッジ方向導入手法について記載されている。

【0155】

まず、対象サブブロック内の画素位置における勾配ベクトルを、下記式（１０）によって算出する。ここで、下記式（１０）中のsign()は、下記式（１１）に示すように、０以上の場合には「１」を返し、負の場合には「−１」を返す関数である。次に、平方勾配ベクトルＧｓ（ｘ，ｙ）を、算出した対象サブブロック内の画素位置（ｘ，ｙ）における勾配ベクトルＧ（ｘ，ｙ）を用いて下記式（１２）により算出する。さらに、対象サブブロックの平均平方ベクトルを、対象サブブロック内の全画素について求めた平方勾配ベクトルを用いて下記式（１３）により算出する。

【0156】

【数6】

【0157】

次に、Ｇｘｘ、ＧｙｙおよびＧｘｙを、下記式（１４）として定義する。対象サブブロックの勾配ベクトルの方向φは、定義したＧｘｘ、ＧｙｙおよびＧｘｙを用いて、下記式（１５）によって算出する。ここで、∠（ｘ，ｙ）は、下記式（１６）により定義される。また、下記式（１６）中の[rad]は、弧度法における角度単位である。

【0158】

【数7】

【0159】

対象サブブロックのエッジ方向θは、対象サブブロックの勾配方向に直交するため、下記式（１７）によって算出することができる。なお、対象サブブロックのエッジ方向θを度数法によって表す場合には、下記式（１８）によって変換することができる。ここで、下記式（１８）中の[deg]は、度数法における角度単位である。

【0160】

なお、上記エッジ方向の算出方法およびエッジ強度の算出方法は、後述の実施形態３における画像符号化装置２００のエッジ解析部２１２において適用される。

【0161】

【数8】

【0162】

（エッジ検出の具体例）
エッジ解析部１２によって検出されるエッジの具体例について、図４の（ａ）〜（ｆ）を参照して以下に説明する。図４の（ａ）〜（ｆ）は、エッジ解析部１２において検出されるエッジの具体例を示した図であり、（ａ）は横縞模様が形成された原画像であり、（ｂ）はそれから検出されるエッジ画像であり、（ｃ）は縦縞模様が形成された原画像であり、（ｄ）はそれから検出されるエッジ画像であり、（ｅ）はねじれ模様が形成された原画像であり、（ｆ）はそれから検出されるエッジ画像である。なお、いずれのエッジ画像においても、黒色部分は平坦部を表し、白色部分はエッジ部を表す。

【0163】

図４の（ａ）に示す横縞模様の場合には、図４の（ｂ）に示すように水平方向にエッジが多く検出される。したがって、図５の（ａ）に示すようなエッジ方向分布となる。図４の（ｃ）に示す縦縞模様の場合には、図４の（ｄ）に示すように垂直方向にエッジが多く検出される。したがって、図５の（ｂ）に示すようなエッジ方向分布となる。図４の（ｅ）に示すねじれ模様の場合には、図４の（ｆ）に示すように水平方向および垂直方向にエッジが多く検出される。したがって、図５の（ｃ）に示すようなエッジ方向分布となる。

【0164】

なお、図５の（ａ）〜（ｃ）は、図４の（ｂ）、（ｄ）および（ｆ）に示すエッジ画像のエッジ方向分布を示した図であり、（ａ）は図４の（ｂ）のエッジ方向分布を示し、（ｂ）は図４の（ｄ）のエッジ方向分布を示し、（ｃ）は図４の（ｆ）のエッジ方向分布を示す。

【0165】

（予測セット決定部１３の動作および予測セットの詳細）
予測セット決定部１３の動作および予測セットの詳細について、図６および７を参照して以下に説明する。上述したように、予測セット決定部１３は、主として、エッジ解析部１２において算出された符号化対象ブロックのエッジ情報に基づいて、予測セット群の中から、符号化対象ブロックに適用する予測セットを決定する。

【0166】

（予測セットの詳細）
本明細書等における予測セット群は、Ｌ個の予測セットからなる集合である。また、予測セット群内の各予測セットｉ（０≦ｉ≦Ｌ−１）は、Ｋｉ個の異なる予測方式を定義した予測モードの集合である。なお、ｉはそれぞれの予測セットを識別するために用いる番号を表す。

【0167】

また、予測セット内の予測方式は、予測方向（エッジ方向）θによって定義される空間予測およびＤＣ予測の他にも平面予測、周波数予測、またはテンプレートマッチングなどの予測方式によって構成されていてもよい。さらに、予測セットｉ（０≦ｉ≦Ｌ−１）ごとに予測モード数Ｋｉ（０≦ｉ≦Ｌ−１）が異なっていてもよい。

【0168】

（予測セット群および予測セットの具体例）
予測セット群および予測セットの具体例を、表２および図６を参照して以下に説明する。表２には、予測セット数Ｌ＝４、予測モード数Ｋ０＝Ｋ１＝Ｋ２＝Ｋ３＝９の場合の予測セット群の一例を示す。なお、表２中の「０」[deg]、「−９０」[deg]、「±１５」[deg]、「±２２．５」[deg]、「±３０」[deg]、「±４５」[deg]、「±６７．５」[deg]、「±７５」[deg]は、予測方向θによって定義される空間予測を表し、「ＤＣ」はＤＣ予測を表している。

【0169】

【表2】

【0170】

図６の（ａ）〜（ｄ）は、表２における各予測セットのうち、ＤＣ予測を除いた残りの予測モードを示す図であり、（ａ）〜（ｄ）はそれぞれ予測セット０〜３に対応している。

【0171】

図６の（ａ）に示す予測セット０は、従来技術におけるイントラ予測と同一であるため、ここではその説明を省略する。

【0172】

図６の（ｂ）に示す予測セット１は、水平方向の予測を重視した予測セットであり、図５の（ａ）に示すような水平方向（０[deg]近傍）にエッジが集中している場合に有効である。なお、水平方向にエッジが集中している画像としては、図４の（ａ）に示したような横縞模様の画像を挙げることができる。

【0173】

図６の（ｃ）に示す予測セット２は、垂直方向の予測を重視した予測セットであり、図５の（ｂ）に示すような垂直方向（±９０[deg]近傍）にエッジが集中している場合に有
効である。なお、垂直方向にエッジが集中している画像としては、図４の（ｃ）に示したような縦縞模様の画像を挙げることができる。

【0174】

図６の（ｄ）に示す予測セット３は、水平方向および垂直方向の予測を重視した予測セットであり、図５の（ｃ）に示すような垂直方向（±９０[deg]近傍）および水平方向（
０[deg]近傍）の双方にエッジが集中している場合に有効である。なお、垂直方向および
水平方向の双方にエッジが集中している画像としては、図４の（ｅ）に示したようなねじれ模様の画像を挙げることができる。

【0175】

以上のように、予測セット０〜３のような異なる特定方向の予測を重視した予測セットを複数予め定めておき、予め定められた予測セットを符号化対象ブロックごとに切り替えることによって、従来の画像符号化装置では対応できない方向の予測を可能としている。

【0176】

（予測セット情報の決定プロセスの詳細）
予測セット情報の詳細な決定プロセスについて、図７を参照して以下に説明する。図７は、予測セット決定部１３の詳細な動作を示すフローチャートである。また、予測セット決定部１３の動作説明に用いるパラメータの定義を表３に示す。

【0177】

【表3】

【0178】

エッジ情報edge_data()を入力された予測セット決定部１３は（ステップＳ３０）、カ
ウンタset_numにゼロ値を設定し、min_sum_of_delta_angleに初期値を設定して初期化す
る（ステップＳ３１）。次に、カウンタbkおよびsum_of_delta_angle[set_num]にゼロ値
を設定し、min_delta_angleに初期値を設定して初期化する（ステップＳ３２）。

【0179】

続いて、予測セット決定部１３は、カウンタbkが示す符号化対象ブロック内のサブブロック（以下、対象サブブロックとも称する）におけるエッジ強度edge_strength[bk]が閾
値Ｔｈ以上であるか否かを判定する（ステップＳ３３）。なお、閾値Ｔｈは、あらかじめ適当な値を設定してもよく、また適宜設定してもよい。

【0180】

edge_strength[bk]が閾値Ｔｈ以上の場合（ステップＳ３３においてＹｅｓ）、予測セット決定部１３は、予測セット内における対象サブブロックにおけるエッジ方向edge_angle[bk]と、予測セット番号set_numが示す予測セットにおける予測モード番号mode_numが示す予測モードの予測方向pred_angle[set_num][mode_num]との差分角度の絶対値の最小値（以下、最小絶対差分角度）min_delta_angleを算出する（ステップＳ３４）。算出には下記式（１９）を用いる。

【0181】

【数9】

【0182】

なお、予測方向pred_angle[set_num][mode_num]には、表２に示す予測セット中の各予測モードが表す予測方向の値が代入される。たとえば、表２の予測セット１（すなわち、set_num＝１）における予測モード６（すなわち、mode_num＝６）であれば、予測方向は１５[deg]であるため、pred_angle[１][６]＝１５[deg]となる。

【0183】

予測セット決定部１３は、最小絶対差分角度min_delta_angleを算出すると、算出したmin_delta_angleに定数αを乗算し、これをコストsum_of_delta_angle[set_num]に加算する（ステップＳ３５）。なお、定数αは絶対差分角度の大きさに応じた所定の重み係数である。

【0184】

次に、予測セット決定部１３は、カウンタbkを１つ加算し、次のサブブロック番号をセットする（ステップＳ３６）。そして、カウンタbkがend_bk以下であるか否かを判定する（ステップＳ３７）。カウンタbkの値が符号化対象ブロック内の終端サブブロック番号であるend_bk以下である場合（ステップＳ３７においてＹｅｓ）、予測セット決定部１３は、再度ステップＳ３３から処理を行う。カウンタbkの値がend_bkより大きい場合（ステップＳ３７においてＮｏ）には、カウンタset_numを１加算し、次の予測セット番号をセットする（ステップＳ３８）。

【0185】

なお、ステップＳ３２〜Ｓ３８までの処理は、予測セット番号set_numによって表され
る予測セットにおいて定義されている予測方向が、符号化対象ブロック内の全サブブロックのエッジ方向とどれだけ近似しているかを表す類似度を算出する処理である。すなわち、予測セットにおいて定義されている予測方向が全サブブロックのエッジ方向と近似しているほど、類似度sum_of_delta_angle[set_num]の値は小さくなる。

【0186】

続いて、予測セット決定部１３は、カウンタset_numの予測セットと、終端番号であるend_set_numとの大小を判定する（ステップＳ３９）。カウンタset_numが、end_set_num以下である場合には（ステップＳ３９においてＹｅｓ）、再度ステップＳ３２から処理を行う。カウンタset_numが、end_set_numより大きい場合には（ステップＳ３９においてＮｏ）、算出されたsum_of_delta_angle[set_num]の値が最小値となる予測セット番号set_numで表される予測セットを、符号化対象ブロックに適用する予測セットpred_setとする（ステップＳ４０）。そして、予測セット決定部１３は、予測セットpred_setを表す予測セット情報をイントラ予測部１０、予測モード決定部１１および相対予測セット情報作成部５１へ出力する（ステップＳ４１）。予測セットpred_setは、下記式（２０）を用いて、sum_of_delta_angle[set_num]を最小化する予測セットの番号を決定する。ここで、式（２
０）中のset_groupは、予測セット群を表す。なお、予測セット情報のデータ構造を表４に示す。

【0187】

【数10】

【0188】

【表4】

【0189】

（予測セット情報の符号化プロセス）
予測セット情報を符号化する詳細なプロセスについて、以下に説明する。ここで、相対予測セット情報作成部５１は、予測セット決定部１３において決定した符号化対象ブロックに適用する予測セット情報を、符号化済みの予測セット情報に基づいて予測し、予測セットを予測に基づくフラグと差分とにより表した情報（以降、相対予測セット情報）としてエントロピー符号化部４へ出力するものである。なお、エントロピー符号化部４においては、相対予測セット情報の代わりに、予測セット情報を直接エントロピー符号化してもよい。

【0190】

相対予測セット情報のデータ構造を表５に示す。ここで、表５中、relative_prediction_set_data()中のprobable_pred_set_flagは、符号化対象ブロックに適用する予測セットが予測した予測セットと同じか否かを表すフラグである。また、rem_pred_setは、予測に用いた予測セットprobable_pred_setを除く残りの予測セットのいずれかを表す情報である。なお、相対予測セット情報は、符号化対象ブロックに適用する予測セットpred_setの値でもよいし、符号化対象ブロックに適用する予測セットpred_setの値と予測値probable_pred_setの値との差分値としてもよい。

【0191】

【表5】

【0192】

（相対予測セット情報作成部５１の構成）
相対予測セット情報作成部５１の動作の説明に先立って、相対予測セット情報作成部５１の構成について、図８を参照して以下に説明する。図８は、相対予測セット情報作成部５１の構成を示すブロック図である。相対予測セット情報作成部５１は、相対予測セット情報生成部５１１、予測セット情報予測部５１２、および予測セット情報格納部５１３を備えている。これらの構成要素について、以下に説明する。

【0193】

（相対予測セット情報生成部５１１）
相対予測セット情報生成部５１１は、入力された予測セット情報を、予測セット情報予測部５１２において決定された予測値に基づいて予測し、相対予測セット情報を出力する。

【0194】

（予測セット情報予測部５１２）
予測セット情報予測部５１２は、予測セット情報格納部５１３に記憶した符号化済み予測セット情報に基づいて符号化対象ブロックに適用する予測セットの予測値を決定し、出力する。

【0195】

ここで、符号化対象ブロックに適用する予測セットの予測値の決定には、下記（１）〜（５）のいずれかの方法を用いる。なお、画像領域におけるブロックの位置を理解しやすいように、予測セット情報の予測に用いるブロックの位置を図９に示す。
（１）図９中の符号化対象ブロック６１の近傍に位置するブロック（６０ａ〜６０ｋ）において適用された予測セットの中のうち、最も出現頻度の高い予測セットを予測値とする。
（２）図９中の符号化対象ブロック６１の近傍に位置するブロック（６０ａ〜６０ｃ、または６０ａ、６０ｃおよび６０ｄ）において適用された予測セットのメディアンを予測値とする。
（３）図９中の符号化対象ブロック６１の左部に位置する符号化済みブロック（６０ａ）に適用された予測セットを予測値とする。
（４）図９中の符号化対象ブロック６１の上部に位置する符号化済みブロック（６０ｃ）において適用された予測セットを予測値とする。
（５）図９中の符号化対象フレーム内で符号化対象ブロック６１より以前に符号化されたブロック（図９中の符号化済み画像領域６０、すなわち符号化済みブロック６０ｓ、６０ｔ、６０ｕ、６０ｖ、６０ａ、６０ｂ、６０ｃおよび６０ｄにより囲まれる領域を構成する全ブロック）において適用された予測セットの中のうち、最も出現頻度の高い予測セットを予測値とする。

【0196】

なお、符号化済みの予測セット情報が存在しない場合には、あらかじめ設定された所定の予測セットをprobable_pred_setとして設定する。

【0197】

（予測セット情報格納部５１３）
予測セット情報格納部５１３は、入力された予測セット情報を記憶する。

【0198】

（予測セット情報の予測プロセスの詳細）
予測セット情報の予測プロセスの詳細について、図１０を参照して以下に説明する。図１０は、相対予測セット情報作成部５１における予測セット情報の予測プロセスを示すフローチャートである。

【0199】

予測セット情報予測部５１２は、予測セット情報格納部５１３に記憶された符号化済み予測セット情報に基づいて予測セットの予測値を決定し出力する(ステップＳ５０)。次に、相対予測セット情報作成部５１へ入力された予測セット情報は、予測セット情報格納部５１３と相対予測セット情報生成部５１１へ入力される（ステップＳ５１）。予測セット情報格納部５１３は、入力された予測セット情報を記憶する（ステップＳ５２）。そして、相対予測セット情報生成部５１１は、符号化対象ブロックに適用する予測セットpred_setと、予測セット情報予測部５１２において上記（１）〜（５）にいずれかの方法によって決定された予測セットの予測値probable_pred_setとを比較する（ステップＳ５３）。

【0200】

予測セットpred_setと予測セットの予測値probable_pred_setとが同一の予測セットである場合（ステップＳ５３においてＹｅｓ）、相対予測セット情報生成部５１１は、「一致する」を表す情報をprobable_pred_set_flagに設定し（probable_pred_set_flag＝1）（ステップＳ５４）、相対予測セット情報としてエントロピー符号化部４へ出力する（ステップＳ５８）。

【0201】

予測セットpred_setと予測セットprobable_pred_setとが異なる場合（ステップＳ５３においてＮｏ）、相対予測セット情報生成部５１１は、「一致しない」を表す情報をprobable_pred_set_flagに設定し（probable_pred_set_flag＝０）、残りの予測セットのいずれかを表す情報(rem_pred_set)を求める。

【0202】

具体的には、まずpred_setとprobable_pred_setの値を比較する（ステップＳ５５）。pred_setが、probable_pred_setよりも小さい場合(ステップＳ５５においてＹｅｓ)、probable_pred_set_flag＝０、およびrem_pred_set＝pred_setと設定し（ステップＳ５６）、相対予測セット情報として出力する（ステップＳ５８）。pred_setが、probable_pred_set以上の場合（ステップＳ５５においてＮｏ）には、probable_pred_set_flag＝０、およ
びrem_pred_set＝pred_set−１と設定し（ステップＳ５７）、相対予測セット情報を出力する（ステップＳ５８）。

【0203】

（予測方向θからの予測画像生成方法の詳細）
予測方向θからの予測画像生成方法について、図１１を参照して以下に説明する。図１１は、Ｘ−Ｙ平面にある点Ｐ（ｘｐ，ｙｐ）上の画素値Ｉ（ｘｐ，ｙｐ）を、点Ｐを通過する直線ｌの方向から予測する場合において、Ｎ×Ｎ画素ブロックの予測画像の生成方法を示す図である。なお、図１１におけるグリッドの交点は、整数画素位置を表し、Ｘ軸上およびＹ軸上は、参照画素領域を表す。

【0204】

さらに、Ｘ−Ｙ平面上において、０＜ｘ≦Ｎ、かつ０＜ｙ≦Ｎを満たす領域を予測対象画素領域とし、０≦ｘ≦Ｌかつｙ≦０またはｘ≦０かつｙ≦０またはｘ≦０かつ０≦ｙ≦Ｋを満たす領域を符号化画素領域とし、それ以外の領域を未符号化画素領域とする。また、参照画素領域は、符号化画素領域中の０≦ｘ≦Ｌかつｙ＝０またはｘ＝０かつｙ＝０またはｘ＝０かつ０≦ｙ≦Ｋの領域とする。

【0205】

また、予測方向としては、領域（０≦ｘ≦Ｌかつｙ＝０）上の参照画素領域から点Ｐの画素値を予測する場合、または領域（ｘ＝０かつ０≦ｙ≦Ｋ）上の参照画素領域から点Ｐの画素値を予測する場合の２通りを挙げることができる。

【0206】

なお、上述した「Ｎ」、「Ｌ」および「Ｋ」について、図１２の（ａ）〜（ｆ）を参照して説明する。図１２の（ａ）〜（ｆ）に示すように、「Ｎ」は、予測対象画像領域の縦および横のサイズを表し、「Ｌ」および「Ｋ」は参照画素領域のサイズを表す。より具体的には、「Ｋ」は、予測対象画素領域の左部に位置する参照画素領域の縦のサイズを表し、「Ｌ」は、予測対象画素領域の上部に位置する参照画素領域の横のサイズを表す。

【0207】

図１２の（ａ）〜（ｆ）に示すように、「Ｌ」および「Ｋ」はいずれも、０、「Ｎ」または「２Ｎ」のいずれかの値をとる。なお、図１２の（ａ）〜（ｆ）には、それぞれ、「Ｌ」および「Ｋ」が０、「Ｎ」または「２Ｎ」の値をとるときに形成される参照画素領域の例について示しているが、ここに示す例は一例であり、「Ｌ」および「Ｋ」がここに示す以外の値の組み合わせであってもよい。

【0208】

予測方向θの方向ベクトルをベクトルＲ＝（ｒｘ，ｒｙ）とすると、Ｘ軸と直線ｌとの交点ＡおよびＹ軸と直線ｌとの交点Ｂは、それぞれ下記式（２１）および（２２）によって表すことができる。

【0209】

【数11】

【0210】

交点Ａおよび交点Ｂが、下記に示す条件（１）〜（４）の条件を満たすとき、交点Ａまたは交点Ｂを、点Ｐにおける予測画素とする。（１）予測方向θが、−π／２≦θ≦ψのとき、交点Ａを予測画素とする。（２）予測方向θが、ψ＜θ≦０のとき、交点Ｂを予測画素とする。（３）予測方向θが、０＜θ＜π／２であり、かつｘａ≧０かつｙｂ≦０のとき、交点Ａを予測画素とする。（４）予測方向θが、０＜θ＜π／２であり、かつｘａ＜０かつｙｂ≧０のとき、交点Ｂを予測画素とする。ここで、ψは−π／２＜ψ＜０を満たす。

【0211】

交点Ａにおける予測画素値ＩＡおよび交点Ｂにおける予測画素値ＩＢは、隣接する画素を用いた線形補間または３次補間などの補間処理によって生成することができる。ただし、交点Ａおよび交点Ｂが整数画素位置に存在する場合には、たとえば、３タップフィルタなどのｎタップフィルタによるフィルタ処理を行ってもよい。

【0212】

交点Ａおよび交点Ｂにおける予測画素値ＩＡおよびＩＢは、線形補間および３タップフィルタを用いる場合、下記式（２３）および（２４）によって表すことができる。ただし、下記式（２３）および（２４）中、Ｉｒｅｃ（ｘ，ｙ）は、局所復号画像の画素値を表している。ここで、Floor{ｘ}は、ｘより大きくない最大の整数を求める演算であり、Ceil{ｘ}は、ｘより小さくない最小の整数を求める演算である。また、Ｚは整数の集合を表す。

【0213】

【数12】

【0214】

なお、上記式（２３）および（２４）において、（Ceil{ｘａ}，０）、（ｘａ＋１，０）、（０，Ceil{ｙｂ}）および（０，ｙｂ＋１）の位置にある画素が、未符号化画素領域にある場合には、（Ceil{ｘａ}，０）、（ｘａ＋１，０）は（Ｌ，０）に、（０，Ceil{ｙｂ}）および（０，ｙｂ＋１）は（０，Ｋ）に位置する画素値を代わりに用いる。

【0215】

そして、予測対象画素領域全体の予測画素は、予測対象画素領域上の点Ｐに関する予測画素生成を予測対象画素領域上の整数画素位置にある全ての点について適用することによって、生成できる。

【0216】

なお、本実施形態では予測セットの符号化単位をＭ×Ｍ画素ブロックとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を予測セットの符号化単位としてもよい。例えば、スライス単位で予測セットを切り替える場合、スライスの先頭で選択した予測セットに関する情報を符号化する必要がある。予測セットの符号化単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよく、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。

【0217】

本明細書におけるマクロブロック、スライス、ピクチャ（フレーム）およびＧＯＰを、図１３の（ａ）〜（ｅ）に示す。図１３の（ａ）〜（ｅ）は、本発明に係る符号化単位の関係を模式的に示した図であり、（ａ）はＧＯＰを示し、（ｂ）はピクチャ（フレーム）を示し、（ｃ）はスライスを示し、（ｄ）はマクロブロックを示し、（ｄ）はサブブロックを示す。なお、図１３ではサブブロックをＭ＝２Ｎとしているがこれに限らない。例えば、Ｍ＝Ｎ、２Ｎ、４Ｎ、８Ｎ、１６Ｎなどであってもよい。

【0218】

（作用効果）
以上のように、画像符号化装置１００は、画像を構成する各ブロックから、当該画像のエッジ情報を算出する。たとえばエッジ情報として、画像のエッジ方向、エッジ強度、あるいはこれらの分布情報を算出する。画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、算出したエッジ情報に応じた予測セットを選択する。そして、選択した予測セットを用いて画像を符号化する。たとえば、エッジ情報が水平方向のエッジが偏っていることを表しているなら、水平方向の予測を重視した予測セットを用いて画像を符号化する。一方、エッジ情報が垂直方向のエッジが偏っていることを表しているなら、垂直方向の予測を重視した予測セットを用いて符号化する。

【0219】

これにより画像符号化装置１００は、画像のエッジ情報に応じた最適な予測セットを用いて、画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる。

【0220】

また画像符号化装置１００は、予測方式を予測セット情報と予測モード情報とにより階層的に表現することによって、予測方式を選択する自由度を高めることができる。これによって、予測方式を表すために必要な符号量の増加を防ぎつつ、予測効率を上げることができる。

【0221】

（付記事項）
ここで、本実施形態では、予測セット群の例として、予測セット数Ｌ＝４、予測モード数Ｋi＝９（i＝０、１、２、３）の場合について説明したが、これに限定されるものではない。例えば、予測セット群は、予測セット数Ｌ＝５または９であってもよいし、それ以外の自然数であってもよい。表６および表７にそれぞれ、予測セット数Ｌ＝５、Ｌ＝９の場合の予測セット群および予測セットの例を示す。なお、表６は、予測セット数Ｌ＝５、予測モード数Ｋｉ＝９（０≦ｉ＜５、ｉ∈整数）の場合の予測セット群および予測セットの例であり、表７は、予測セット数Ｌ＝９、予測モード数Ｋｉ＝９（０≦ｉ＜９、ｉ∈整数）の場合の予測セット群および予測セットの例である。

【0222】

【表6】

【0223】

【表7】

【0224】

〔実施形態２〕
本発明に係る画像復号装置について実施形態２として、図１４〜図１７を参照して以下に説明する。なお、実施形態１と同様の構成要素については同一の符号を付し、その説明を省略する。

【0225】

（画像復号装置１５０の構成）
実施形態２に係る画像復号装置１５０の構成について、図１４を参照して以下に説明する。図１４は、画像復号装置１５０の構成を示すブロック図である。

【0226】

図１４に示すように、画像復号装置１５０は、主として、エントロピー復号部５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部１０および予測セット情報作成部５２を備えている。本実施形態では、上記において説明されていないエントロピー復号部５および予測セット情報作成部５２についてのみ以下に説明する。

【0227】

（エントロピー復号部５）
エントロピー復号部５は、予測残差データ、予測モード情報、相対予測セット情報などの符号化データをエントロピー復号し、出力する。

【0228】

（予測セット情報作成部５２）
予測セット情報作成部５２は、エントロピー復号された相対予測セット情報および復号済み予測セット情報より、注目ブロックの予測セット情報を作成する。なお、予測セット情報作成部５２の構成および動作は後述する。

【0229】

（画像復号プロセスの概要）
次に、画像復号装置１５０における画像復号プロセスの概要について、図１５を参照して以下に説明する。図１５は、画像復号装置１５０における画像復号プロセスの概要を示すフローチャートである。

【0230】

（符号化データの入力および予測セット情報の作成）
Ｍ×Ｍ画素ブロックの符号化データが画像復号装置１５０に入力されると（ステップＳ６０）、エントロピー復号部５は、入力された符号化データ中のＭ×Ｍ画素ブロックからなる復号対象画像（以下、復号対象ブロックとも称する）に用いる予測セットの相対予測セット情報をエントロピー復号し（ステップＳ６１）、予測セット情報作成部５２は、エントロピー復号された相対予測セット情報および復号済み予測セット情報より、復号対象ブロックの予測セット情報を作成する（ステップＳ６２）。なお、予測セット情報作成部５２における予測セット情報の作成処理の詳細なプロセスについては下記に詳述する。

【0231】

（予測残差データおよび予測モード情報の復号）
エントロピー復号部５は、さらに所定のブロックサイズ（Ｎ×Ｎ画素ブロック）に分割された各復号対象サブブロックについても、予測残差データの量子化値および予測モード情報をエントロピー復号する（ステップＳ６３）。

【0232】

（予測画像の生成）
イントラ予測部１０は、メモリ９に記憶された復号済みの隣接サブブロックにおける局所復号画像を用いて、復号された予測セット情報および予測モード情報が表す復号対象サブブロックに適用する予測モードに応じた予測画像（Ｎ×Ｎ画素ブロック）をイントラ予測して生成する（ステップＳ６４）。イントラ予測による予測画像の生成方法は、実施形態１において説明したため、ここではその説明を省略する。

【0233】

（逆量子化および逆直交変換）
逆量子化部６は、ステップＳ６３において復号した予測残差データを逆量子化した後、逆直交変換部７に出力し（ステップＳ６５）、逆直交変換部７は、逆量子化された予測残差データを逆直交変換し、加算演算部８に出力する（ステップＳ６６）。

【0234】

（復号対象サブブロックの復号画像の生成）
加算演算部８は、ステップＳ６４において生成した予測画像と、ステップＳ６６において出力された予測残差データとを加算し、復号対象サブブロックの復号画像（Ｎ×Ｎ画素ブロック）として出力する（ステップＳ６７）。

【0235】

メモリ９は、出力された復号対象サブブロックにおける復号画像を記憶する（ステップＳ６８）。

【0236】

（付記事項）
画像復号装置１５０は、復号対象ブロックを構成する全てのサブブロックについてステップＳ６３〜Ｓ６８を繰り返し、また復号対象画像を構成する全てのブロックについてステップＳ６０〜Ｓ６８の処理を繰り返す。

【0237】

（予測セット情報作成部５２の詳細）
次に、予測セット情報作成部５２の詳細について説明する。

【0238】

予測セット情報作成部５２は、相対予測セット情報作成部５１の逆処理にあたり、相対予測セット情報および復号済み予測セット情報から予測セット情報を作成する。

【0239】

（予測セット情報作成部５２の構成）
まず、予測セット情報作成部５２の構成について、図１６を参照して以下に説明する。図１６は、予測セット情報作成部５２の構成を示すブロック図である。予測セット情報作成部５２は、予測セット情報生成部５２１、予測セット情報予測部５１２、および予測セット情報格納部５１３を備えている。以下では、上記において説明されていない予測セット情報生成部５２１について説明する。

【0240】

（予測セット情報生成部５２１）
予測セット情報生成部５２１は、エントロピー復号部５においてエントロピー復号された相対予測セット情報および予測セット情報予測部５１２において決定された予測値に基づいて予測セット情報を生成し、出力する。

【0241】

（予測セット情報の作成プロセスの詳細）
予測セット情報の作成プロセスの詳細について、図１７を参照して以下に説明する。図１７は、予測セット情報作成部５２における予測セット情報の作成プロセスを示すフローチャートである。

【0242】

予測セット情報予測部５１２は、予測セット情報格納部５１３で記憶されている復号済み予測セット情報より、復号対象ブロックに適用する予測セットの予測値probable_pred_setを決定し、出力する（ステップＳ７０）。なお、復号対象ブロックに適用する予測セ
ットの予測値の決定は、実施形態１の画像符号化装置１００における予測セットの予測値決定方法と同様であるため、説明を省略する。

【0243】

次に、相対予測セット情報が予測セット情報生成部５２１へ入力され（ステップＳ７１）、予測セット情報生成部５２１は、入力された相対予測セット情報内のprobable_pred_set_flagの値が「１」であるか否かを判定する（ステップＳ７２）。probable_pred_set_flagの値が「１」である場合（ステップＳ７２においてＹｅｓ）、予測セット情報生成部５２１は、復号対象ブロックに適用する予測セットを表す予測セット情報prediction_set_data()中のpred_setにprobable_pred_setの値を設定し、pred_setの値を出力する（ステップＳ７３）。すなわち、この場合には、pred_set＝probable_pred_setとなる。

【0244】

probable_pred_set_flagの値が「０」である場合（ステップＳ７２においてＮｏ）、予測セット情報生成部５２１は、rem_pred_setとprobable_pred_setに基づいてpred_setを設定し、pred_setの値を出力する。具体的には、まずrem_pred_setとprobable_pred_setの値を比較する（ステップＳ７４）。rem_pred_setがprobable_pred_setよりも小さい場合（ステップＳ７４においてＹｅｓ）には、pred_set＝rem_pred_setとする（ステップＳ７５）。rem_pred_setがprobable_pred_set以上の場合（ステップＳ７４においてＮｏ）
には、pred_set＝rem_pred_set＋１とする（ステップＳ７６）。

【0245】

その後、予測セット情報格納部５１３は、復号された予測セット情報prediction_set_data()を記憶し、出力する（ステップＳ７７）。

【0246】

なお、本実施形態では予測セットの復号単位をＭ×Ｍ画素ブロックとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を予測セットの復号単位としてもよい。例えば、スライス単位で、予測セットを切り替える場合、スライスの先頭で、選択された予測セットに関する情報を復号する必要がある。予測セットの復号単位は、予め画像符号化装置、画像復号装置間で取り決めておいても良く、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。

【0247】

また本実施例では、相対予測セット情報の符号化データをエントロピー復号し、復号された相対予測セット情報より予測セット情報を作成しているが、相対予測セット情報の代わりに、予測セット情報の符号化データをエントロピー復号し、復号された予測セット情報によって、予測セットを切り替えてもよい。

【0248】

（作用効果）
以上のように、画像復号装置１５０は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を有している。画像復号装置１５０は、画像を構成する各ブロックにおいて、復号対象ブロックに用いる予測セット情報を、相対予測セット情報と復号済み予測セット情報を用いて復号する。次に、復号対象ブロックをさらに分割したサブブロックごとに、そのサブブロックに隣接するサブブロックの局所復号画像を用いてイントラ予測を行い、サブブロックの予測画像を生成する。そして、生成した予測画像とサブブロックの復号予測残差データを合成し、サブブロックの画像を復元する。

【0249】

これによって、たとえば、復号した予測セット情報が水平方向の予測を重視した予測セットを表すときには、水平方向を中心により細かい角度からの予測画像を生成することができる。また、復号した予測セット情報が垂直方向の予測を重視した予測セットを表すときには、垂直方向を中心により細かい角度からの予測画像を生成することができる。したがって、画像復号装置１５０では、従来よりも多様な角度からの予測を用いた復号処理が可能になるため、より効率良くエッジ部を再現することができる。これによって、画質の向上した画像を復元することができる。

【0250】

また、画像復号装置１５０では、予測セットと予測モードの２段階で予測することによって、高い予測精度を実現しつつ、符号量の増加を防ぐことが可能である。

【0251】

〔実施形態３〕
本発明に係る画像符号化装置の他の形態について、実施形態３として図１８〜図２５を参照して以下に説明する。なお、実施形態１および２と同一の構成要素には同一の符号を付し、その説明を省略する。実施形態１では、予め定められた複数の予測セットの中から、符号化対象ブロックのエッジ方向に応じて予測セットを所定の画素ブロック単位に切り替えることで、従来技術より多様な予測を可能とする画像符号化装置について説明した。一方、実施形態３では、画像に応じて、予測セット中の予測モードを自動的に組み合わせた予測セットを作成し、この中から符号化対象ブロックのエッジ方向に応じて予測セットを切り替えることで、さらに予測効率を上げることが可能な画像符号化装置について説明する。

【0252】

（画像符号化装置２００の構成）
まず、本実施形態に係る画像符号化装置２００の構成について、図１８を参照して以下に説明する。図１８は、本実施形態に係る画像符号化装置２００の構成を示すブロック図である。画像符号化装置２００は、図１８に示すように、主として、差分演算部１、直交変換部２、量子化部３、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部２１０、予測モード決定部２１１、エントロピー符号化部２０４、エッジ解析部２１２、予測セット決定部２１３、相対予測セット情報作成部５１、予測セット定義決定部２１４および相対予測セット定義情報作成部５３を備えている。本実施の形態では、実施形態１および２において説明していないエントロピー符号化部２０４、予測モード決定部２１１、エッジ解析部２１２、予測セット決定部２１３、予測セット定義決定部２１４および相対予測セット定義情報作成部５３についてのみ以下に説明する。

【0253】

（エッジ解析部２１２）
エッジ解析部２１２は、エッジ強度およびエッジ方向（以下、エッジ強度およびエッジ方向をまとめてエッジ情報とも称する）を算出する。具体的には、入力された符号化対象フレームをＮ×Ｎ画素ブロックにさらに分割したサブブロックごとのエッジ情報を算出し、符号化対象フレームを構成する全てのサブブロックのエッジ情報を出力する。

【0254】

（予測セット定義決定部２１４）
予測セット定義決定部２１４は、エッジ解析部２１２で求められた符号化対象フレームのエッジ情報に基づいて、符号化対象フレームに適用する複数の予測セットの定義（予測セットに含まれる予測モード）を決定し、イントラ予測部２１０、予測モード決定部２１１および予測セット決定部２１３において参照する予測モードおよび予測セットの表（表２）を更新し、その予測モードおよび予測セットの表を表す予測セット定義情報prediction_method_data()を出力する。

【0255】

（相対予測セット定義情報作成部５３）
相対予測セット定義情報作成部５３は、予測セット定義決定部２１４において決定された符号化対象フレームに適用する予測セットの定義情報を、符号化済み予測セット定義情報より予測し、相対予測セット定義情報を出力する。

【0256】

（エントロピー符号化部２０４）
エントロピー符号化部２０４は、予測残差データ、予測モード情報、相対予測セット情報および相対予測セット定義情報などをエントロピー符号化し、符号化データを出力する。

【0257】

（予測セット決定部２１３）
予測セット決定部２１３は、エッジ解析部２１２から入力されたエッジ情報に基づいて、予測セット定義決定部２１４から入力された予測セット定義情報にある複数の予測セットの中から符号化対象ブロックに適用する予測セットを決定し、決定した予測セットを表す予測セット情報を出力する。予測セットの決定方法は、実施形態１と同様であるため、本実施形態においてその説明は省略する。

【0258】

（予測モード決定部２１１）
予測モード決定部２１１は、入力された符号化対象ブロックの原画像、およびメモリ９から入力された局所復号画像に基づいて、入力された予測セット定義情報および予測セット情報から定まる複数の予測モードの中より、符号化対象ブロックの予測に用いる予測モードを１つ決定し、決定した予測モードを表す予測モード情報を、イントラ予測部２１０およびエントロピー符号化部２０４へ出力する。なお、予測モードの決定方法は実施形態１と同様であるため、本実施形態においてその説明は省略する。

【0259】

（イントラ予測部２１０）
イントラ予測部２１０は、メモリ９に記憶された局所復号画像を用いて、予測セット情報、予測セット定義情報と予測モード情報により表されるイントラ予測を行い、予測画像を生成する。

【0260】

（画像符号化プロセスの概要）
次に、画像符号化装置２００における画像符号化プロセスの概要について、図１９を参照して以下に説明する。図１９は、画像符号化装置２００における画像符号化プロセスの概要を示すフローチャートである。

【0261】

（符号化対象フレームの入力およびエッジ情報の算出）
複数個のＭ×Ｍ画素ブロックから形成されるフレーム（以下、符号化対象フレームとも称する）が画像符号化装置２００に入力されると（ステップＳ８０）、エッジ解析部２１２は、符号化対象フレームをＮ×Ｎ画素ブロック（Ｎ≦Ｍ）のサブブロックにさらに分割し（ステップＳ８１）、符号化対象フレームを構成する全サブブロックごとのエッジ情報を算出する（ステップＳ８２）。

【0262】

（予測セット定義情報の決定、および予測セット定義情報の符号化）
続いて、予測セット定義決定部２１４は、ステップＳ８２において算出したエッジ情報に基づいて、符号化対象フレームに適用する各予測セットに含まれる複数の予測モードに割り当てる予測方式を決定し、予測モードと予測セットの表を更新する。決定した各予測セット中の予測モードの組み合わせを表す情報（以下、予測セット定義情報とも称する）を、イントラ予測部２１０、予測モード決定部２１１、予測セット決定部２１３および相対予測セット定義情報作成部５３に出力する（ステップＳ８３）。なお、予測セット定義の詳細な決定方法については下記に詳述する。なお、予測方式には、ＤＣ予測、テンプレートマッチング、予測方向などの予測方法が含まれる。

【0263】

相対予測セット定義情報作成部５３では、予測セット定義情報を符号化済み予測セット定義情報より予測し、相対予測セット定義情報を出力する（ステップＳ８４）。なお、相対予測セット定義情報作成部５３の構成、および予測セット定義情報の詳細な予測プロセスについては下記に詳述する。

【0264】

エントロピー符号化部２０４において、相対予測セット定義情報作成部５３より入力された相対予測セット定義情報はエントロピー符号化され、相対予測セット定義情報の符号化データが出力される（ステップＳ８５）。

【0265】

（予測セットの決定、予測セット情報の符号化）
予測セット決定部２１３において、ステップＳ８２において算出されたエッジ情報に基づいて、符号化対象フレームを構成するＭ×Ｍ画素ブロック（以下、符号化対象ブロック）毎に適用する予測セットを決定し、決定した予測セットを表す情報（以下、予測セット情報とも称する）を予測モード決定部２１１、相対予測セット情報作成部５１およびイントラ予測部２１０に出力する（ステップＳ８６）。

【0266】

予測セット決定部２１３から予測セット情報を受けた相対予測セット情報作成部５１は、予測セット情報を符号化済みの予測セットを表す情報に基づいて予測し、相対予測セット情報をエントロピー符号化部２０４へ出力する（ステップＳ８７）。エントロピー符号化部２０４は、相対予測セット情報をエントロピー符号化して出力する（ステップＳ８８）。なお、予測セットの詳細な決定方法、予測セット情報の詳細な符号化方法および予測セット情報のデータ構造は実施形態１と同様である。

【0267】

（予測モードの決定、および予測モード情報の符号化）
予測モード決定部２１１において、符号化対象ブロックを更にＮ×Ｎ画素ブロックに分割してサブブロック（以下、符号化対象サブブロック）を得る。予測モード決定部２１１は、メモリ９から入力された符号化済み隣接サブブロックにおける局所復号画像より、予測セット定義決定部２１４で更新された予測セット定義情報を参照して、予測セット決定部２１３より入力された予測セット情報が表す予測セット中の予測モードから符号化対象サブブロックに用いる最適な予測モードを決定し、予測モード情報をイントラ予測部２１０、およびエントロピー符号化部２０４へ出力する（ステップＳ８９）。

【0268】

エントロピー符号化部２０４は、入力された予測モード情報をエントロピー符号化し、予測モード情報の符号化データを出力する（ステップＳ９０）。

【0269】

（予測画像の生成）
イントラ予測部２１０は、メモリ９から入力された符号化済み隣接サブブロックにおける局所復号画像を用いて、上記ステップＳ８３で決定された予測セット定義情報を参照して、上記Ｓ８６で決定された予測セット情報および上記ステップＳ８９で決定された予測モード情報により定まるイントラ予測を行い、符号化対象サブブロックの予測画像を生成し、差分演算部１、および加算演算部８へ出力する（ステップＳ９１）。

【0270】

（予測残差データの算出）
差分演算部１は、入力された符号化対象サブブロックと、上記ステップＳ９１で生成された予測画像との差分であるＮ×Ｎ画素ブロックの予測残差データを算出し、出力する（ステップＳ９２）。

【0271】

（直交変換および量子化）
上記ステップＳ９２で算出された予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部２０４および逆量子化部６へ出力される（ステップＳ９３）。

【0272】

（逆直交変換および逆量子化）
直交変換・量子化された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８へ出力される(ステップＳ９４)。

【0273】

（局所復号画像の生成）
加算演算部８は、ステップＳ９４において逆量子化および逆直交変換された予測残差データと、ステップＳ９１において生成した予測画像とを加算し、Ｎ×Ｎ画素ブロックの局所復号画像を生成する（ステップＳ９５）。なお、生成した局所復号画像は、メモリ９に記憶される。

【0274】

（予測残差データの符号化）
エントロピー符号化部２０４は、符号化対象サブブロックの量子化済み予測残差データをエントロピー符号化して予測残差データの符号化データを出力する（ステップＳ９６）。

【0275】

なお、ステップＳ８９〜Ｓ９６における処理は、Ｍ×Ｍ画素ブロックを構成する全てのサブブロックについて行われる。また、ステップＳ８６〜Ｓ９６における処理は、符号化対象フレームを構成する全てのブロックについて行われる。また、ステップＳ８０〜Ｓ９６における処理は、符号化対象画像を構成する全てのフレームについて行われる。

【0276】

（付記事項）
本実施形態では、画像符号化装置２００の符号化プロセスをステップＳ８０〜Ｓ９６の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。

【0277】

（予測セット定義の詳細な決定方法）
次に、予測セット定義決定部２１４の詳細な動作について以下に説明する。なお、予測セット定義決定部２１４は、エッジ解析部２１２において算出されたエッジ情報に基づいて、符号化対象フレームに適用する複数の予測セット中の各予測モードに割り当てる予測方式を決定し、割り当てた予測方式を表す予測セット定義情報を出力する。

【0278】

予測セット定義情報の詳細な決定方法について、図２０を参照して以下に説明する。図２０は、予測セット定義情報の詳細な決定プロセスを示すフローチャートである。

【0279】

（エッジ情報の入力）
エッジ解析部２１２より符号化対象フレームのエッジ情報が、予測セット定義決定部２１４に入力される（ステップＳ１００）。

【0280】

（エッジ方向ヒストグラムの算出）
予測セット定義決定部２１４は、入力されたエッジ情報に基づき、所定の閾値Ｔｈ以上のエッジ強度をもつブロック（Ｎ×Ｎ画素ブロック）のエッジ方向ヒストグラムｆ（θ）を算出し、エッジ方向ヒストグラム情報histogram_data()を求める（ステップＳ１０１）。なお、閾値Ｔｈは、あらかじめ適当な値を設定してもよく、また適宜設定してもよい。また、エッジ方向ヒストグラムとは、例えば、エッジ方向を1[deg]単位の角度で表すとき、−９０[deg]〜８９[deg]までの各角度におけるエッジ方向の出現頻度数を表す。例として、水平方向にエッジが集中しているときに得られるエッジ方向ヒストグラムを図２１に示す。また、具体的に算出するエッジ方向ヒストグラム情報のデータ構造を表８に示す。ここで、表８中のangle_idxは、エッジ方向の角度を示すインデックスであり、total_angle_idxは、角度の分割数を表すインデックスである。

【0281】

【表8】

【0282】

（エッジ方向累積度数分布の算出）
予測セット定義決定部２１４は、上記ステップＳ１０１において算出したエッジ方向ヒストグラム情報に基づいて、エッジ方向累積度数分布を算出する（ステップＳ１０２）。例えば、エッジ方向を１[deg]単位の角度で表すとき、−９０[deg]から、あるエッジ方向θ[deg]までのエッジ方向累積度数は下記式（２５）により算出される。−９０[deg]〜８９[deg]までの全エッジ方向におけるエッジ方向の累積度数を求めれば、エッジ方向累積度数分布Ｆ(θ)を得ることができる。これによって、図２１に示すエッジ方向ヒストグラムから、図２２に示すエッジ方向累積度数分布を得ることができる。なお、図２２は、所定の閾値以上のエッジ強度を有するブロック数により正規化したグラフである。

【0283】

【数13】

【0284】

（累積度数に対するエッジ方向の分布の算出）
予測セット定義決定部２１４は、ステップＳ１０２において算出したエッジ方向累積度数分布を用いて、累積度数に対するエッジ方向の分布（エッジ方向累積度数分布の逆関数）Ｇ（ｘ）を算出する（ステップＳ１０３）。

【0285】

（割り当てる予測方向の中心方向を決定）
予測セット定義決定部２１４は、ステップＳ１０２において算出したエッジ方向累積度数分布を用いて、どの方向を中心として予測方向を割り当てるか決定する。（ステップＳ１０４）。具体的には、まず水平(０[deg])、垂直(−９０[deg])のいずれの方向を中心として予測方向を定めるかを、下記式（２６）により表されるエッジ集中度Ｓ(θc,Δθ)により判定する。ここで、エッジ集中度Ｓ(θc,Δθ)とは、あるエッジ方向θc[deg]を中心に、±Δθ[deg]の範囲に出現するエッジ方向の出現頻度を表す。また、Ｆ（θ）は、エッジ方向θにおけるエッジ方向の累積度数を表す。

【0286】

【数14】

【0287】

水平方向のエッジ集中度Ｓ(０,Δθ)が、垂直方向のエッジ集中度Ｓ（−９０,Δθ）以上の場合、水平方向(０[deg])を中心に予測方向を割り当てるものとし、それ以外の場合は、垂直方向（−９０[deg]）を中心に予測方向を割り当てるものとする。

【0288】

（各予測モードに割り当てる予測方式の決定）
予測セット定義決定部２１４は、ステップＳ１０３において算出した累積度数に対するエッジ方向、ステップＳ１０４において決定した予測方向の中心θｃ[deg]と、予め定められた予測方式テーブル（表１０）とに基づいて、各予測モードに割り当てる予測方式を決定する（ステップＳ１０５）。

【0289】

具体的には、予測方向の中心θｃ[deg]より大きい角度の予測方向θｎ[deg]は、下記式（２７）の漸化式を用いて、予測方向の中心θｃ[deg]より小さい角度の予測方向θｎ[deg]は、下記式（２８）の漸化式を用いて、隣り合う予測方向間（θnとθn+1）のエッジ方向累積度数の差（閾値）がｄになるように決定される。ただし、ｎ＝０のときは、θo＝θｃとし、ｄは、累積度数の最大値を予測方向の総数で割った値である。θnとθn+1との位置関係を図２３に示す。ただし、θnは下記式（２９）を満たすものとする。また、図２３中のエッジ方向に対する累積確率Ｆ’(θ)は、エッジ方向に対する累積度数Ｆ（θ）を正規化したものである。

【0290】

【数15】

【0291】

続いて、図２２のエッジ方向累積度数分布における予測方向θnを決定する例を説明する。なお、ここでは、予測セット数Ｌ＝３、予測モード数Ｋ＝９とし、各予測セット中のモード番号０〜２には、予め０[deg]、−９０[deg]、ＤＣ予測を割り当て、残りの各予測セット中のモード番号３〜８へ割り当てる予測方向（１８方向）を決定する場合を例に挙げて説明する。

【0292】

図２２は水平方向（０[deg]）に多くのエッジが集中するため、水平方向(０[deg])を中心に、各予測方向間のエッジ方向累積確率の差（閾値）が等しくなるように予測方向を決定する。ここで、決定する予測方向の数が１８であることと、予め定めた予測方向０[deg]、−９０［deg］の２つであることを踏まえ、予測方向間のエッジ方向累積確率の差（閾値）ｄを５．０[％]（＝１００／(１８＋２)）とする。その後、角度０[deg]を初期値として各予測方向間の累積確率の差が５．０[％]となる角度を累積度数に対するエッジ方向の分布、上記式（２７）および上記式（２８）の漸化式より算出することで、表９に示す予測方向θnが得られる。

【0293】

【表9】

【0294】

表１０の予測方向θnの割り当て方に基づいて、求めた正の予測方向θn（表９（ａ））を小さい順に、各予測セットのモード番号３、５、７に予測方向を割り当てる。また、求めた負の予測方向θn（表９（ｂ））を大きい順に、各予測セットのモード番号４、６、８に割り当てる。以上の操作によって得られた予測セットの定義例を表１１に示す。また定まった予測セットの定義を表１２に示す予測セット定義情報prediction_method_data()のデータ構造に格納する。ここで、表１２においてtotal_setとは予測セットの総数を表し、total_modeは予測セットに含まれる予測モードの総数を表す。表１１の予測セットおよび予測モードはイントラ予測部２１０、予測モード決定部２１１、予測セット決定部２１４において参照される。なお、予測セット定義情報中の予測セットset_idxにおける予測モードmode_idxに割り当てる予測方式pred_method[set_idx][mode_idx]には、表１３に示す予測方式を予め定義したテーブル上の予測方式番号を設定してもよい。なお、表１３中には、平面予測、周波数領域予測、テンプレートマッチングなどの予測方法を定義しておいてもよい。なお、予測セット定義情報としては、予測方式を変更した一部の予測セットと予測モードに関する情報でもよい。例えば、表１０中の予測セット番号０〜Ｌ−１中のモード番号３〜８の予測方向θnに関する情報でもよい。また、所定の単位で用いる予測セットの総数を可変にしてもよい。その場合には、予測セット定義情報に、予測セットの個数に関する情報を追加する。

【0295】

【表10】

【0296】

【表11】

【0297】

【表12】

【0298】

【表13】

【0299】

（予測セット定義情報の出力）
予測セット定義決定部２１４は、Ｓ１０５で決まった予測セット定義情報を出力する（ステップＳ１０６）。

【0300】

以上のようにすれば、エッジが集中する方向に対して細かい予測方向を決定することが可能となる。

【0301】

（予測セット定義情報の符号化プロセス）
予測セット定義情報を符号化する詳細なプロセスについて、以下に説明する。相対予測セット定義情報作成部５３は、予測セット定義決定部２１４において決定された符号化対象フレームに適用する予測セットの定義を表す情報（予測セット定義情報）を、符号化済みの予測セット定義情報に基づいて予測し、相対予測セット定義情報を作成する。なお、エントロピー符号化部２０４においては、相対予測セット定義情報の代わりに、予測セット定義情報を直接エントロピー符号化しても良い。

【0302】

（相対予測セット定義情報作成部５３の構成）
まず、相対予測セット定義情報作成部５３の構成について、図２４を参照して以下に説明する。図２４は、相対予測セット定義情報作成部５３の構成を示すブロック図である。相対予測セット定義情報作成部５３は、相対予測セット定義情報生成部５３１、予測セット定義情報予測部５３２、および予測セット定義情報格納部５３３を備えている（図２４）。

【0303】

（相対予測セット定義情報生成部５３１）
相対予測セット定義情報生成部５３１は、入力された予測セット定義情報を、符号化済み予測セット定義情報に基づいて決定された予測値（予測セット定義情報予測部５３２において決定する）に基づいて予測し、相対予測セット定義情報を出力する。相対予測セット定義情報のデータ構造を表１４に示す。

【0304】

【表14】

【0305】

なお、相対予測セット定義情報は、上述した以外にも、符号化対象フレームに適用する各予測セットset_idx中の各予測モードmode_idxが表す予測方式pred_method[set_idx][mode_idx]の値であってもよいし、符号化対象フレームに適用する各予測セットset_idx中の各予測モードmode_idxが表す予測方式pred_method[set_idx][mode_idx]の値と、予測値probable_pred_method[set_idx][mode_idx]の値との差分値であってもよい。

【0306】

（予測セット定義情報予測部５３２）
予測セット定義情報予測部５３２は、予測セット定義情報格納部５３３に記憶した符号化済み予測セット定義情報に基づいて符号化対象フレームに適用する予測セット定義情報の予測値を決定し、出力する。

【0307】

ここで、符号化対象フレームに適用する予測セット定義情報の予測には、下記（１）〜（３）のいずれかの方法を用いる。
（１）符号化対象フレームの前に符号化されたフレームのうち、各予測モードで最も出現頻度の高い予測方式を予測値とする。
（２）符号化対象フレームの１つ前に符号化処理されたフレームにおいて適用された各予測セット中の各予測モードの予測方式を予測値とする。
（３）予め定められた複数の予測セット中の各予測モードに割り当てられた予測方式を予測値とする。

【0308】

なお、符号化済の予測セット定義情報がない場合には、予測モード番号mode_idxの予測値probable_pred_method[set_idx][mode_idx]の初期値を表１５に示す予測方式の予測値とする。このとき、probable_pred_method[set_idx][mode_idx]＝init_pred_method[mode_idx]である。

【0309】

【表15】

【0310】

（予測セット定義情報格納部５３３）
予測セット定義情報格納部５３３は、入力された予測セット定義情報を記憶する。

【0311】

（予測セット定義情報の予測プロセスの詳細）
次に、予測セット定義情報を予測する詳細なプロセスについて、図２５を参照して以下に説明する。図２５は、予測セット定義情報を予測する詳細なプロセスを示すフローチャートである。

【0312】

予測セット定義情報予測部５３２は、予測セット定義情報格納部５３３に記憶された符号化済み予測セット定義情報に基づいて予測セットの予測値を決定し出力する（ステップＳ１１０）。

【0313】

予測セット定義情報は、予測セット定義情報格納部５３３および相対予測セット定義情報生成部５３１へ入力される（ステップＳ１１１）。予測セット定義情報格納部５３３は、予測セット定義情報を記憶する（ステップＳ１１２）。相対予測セット定義情報生成部５３１は、予測セット番号を表すカウンタset_idxを初期化し(set_idx=０)（ステップＳ１１３）、予測モード番号を表すカウンタmode_idxを初期化（mode_idx＝０）する（ステップＳ１１４）。次に、相対予測セット定義情報生成部５３１は、適用する予測セットset_idx内の予測モードmode_idxが表す予測方式pred_method[set_idx][mode_idx]と、上記
（１）〜（３）のいずれかの方法で決定された予測セットset_idx内の予測モードmode_idxの予測方式の予測値probable_pred_method[set_idx][ mode_idx ]とを比較する（ステップＳ１１５）。

【0314】

予測モードmode_idxにおける予測方式が同一である場合（ステップＳ１１５においてＹｅｓ）、相対予測セット定義情報生成部５３１は、「一致する」を表す「１」の値をprobable_pred_method_flag[set_idx][mode_idx]に設定する（ステップＳ１１６）。予測モードmode_idxにおける予測方式が異なる場合（ステップＳ１１５においてＮｏ）、相対予測セット定義情報生成部５３１は、「一致しない」を表す「０」の値をprobable_pred_method_flag[set_idx][mode_idx]に設定し、また残りの予測方式のいずれかを表す情報をrem_pred_method[set_idx][mode_idx]に設定する（ステップＳ１１７）。なお、rem_pred_method[set_idx][mode_idx]への値の設定は、以下の（１）および（２）の場合に基づいて設定する。（１）pred_method[set_idx][mode_idx]が、probable_pred_method[set_idx][mode_idx]よりも小さい場合には、rem_pred_method[set_idx][mode_idx]＝pred_method[set_idx][mode_idx]とする。（２）pred_method[set_idx][mode_idx]が、probable_pred_method[set_idx][mode_idx]以上の場合には、rem_pred_method[set_idx][mode_idx]＝pred_method[set_idx][mode_idx]−１とする。

【0315】

続いて、相対予測セット定義情報生成部５３１は、カウンタmode_idxに１を加算し（ステップＳ１１８）、カウンタmode_idxと予測モード数total_modeとを比較する（ステップＳ１１９）。

【0316】

カウンタmode_idxが、予測モード数total_modeよりも小さい場合（ステップＳ１１９においてＹｅｓ）、相対予測セット定義情報生成部５３１は、再度ステップＳ１１５の処理から繰り返す。カウンタmode_idxが、予測モード数total_mode以上の場合（ステップＳ１１９においてＮｏ）には、カウンタset_idxに１を加算し（ステップＳ１２０）、カウンタset_idxと予測セット数total_setとを比較する（ステップＳ１２１）。カウンタset_idxが、予測セット数total_setよりも小さい場合（ステップＳ１２１においてＹｅｓ）、相対予測セット定義情報生成部５３１は、再度ステップ１１４の処理から繰り返す。カウンタset_idxが、予測セット数total_set以上の場合（ステップＳ１２１においてＮｏ）、相対予測セット定義情報生成部５３１は、相対予測セット定義情報 relative_prediction_method_data()の符号化データを出力する（ステップＳ１２２）。

【0317】

なお、本実施形態では予測セット定義情報の符号化単位をフレーム単位として説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を予測セット定義情報の符号化単位としてもよい。たとえば、スライス単位で予測セット定義情報を作成する場合、スライスの先頭で、新たに更新した予測セット定義情報を符号化し、予測セットと予測モードの表（表１１）を書き換える必要がある。符号化単位が小さくなると、局所的な画像の性質にあった予測セットを作成することができるため、予測効率が向上する。どの符号化単位を使用するかは、予め画像符号化装置と画像復号装置で、使用する符号化単位を取り決めておいてもよいし、符号化データの先頭や、ピクチャ、ＧＯＰの先頭で指定してもよい。また、外部の手段を使って通知することも可能である。

【0318】

実施形態３では、予測セットの選択は、ブロック単位としたが、マクロブロック単位、所定数のブロック単位など、ブロックに限るものではない。予測セットを選択する単位を可変にすることで、画像の性質により合った予測セットを選択することが可能である。

【0319】

以上の述べたように、予測セット定義情報の符号化単位、予測セットの選択単位は小さい方が画像の局所的な性質にあった予測が可能である。しかしながら、符号化単位、選択単位を小さくすると、これらを符号化するための符号量が増加し、符号化効率の点から必ずしも最適ではない。

【0320】

そのため、予測方式を予測セット定義情報、予測セット情報、予測モード情報で階層的に表現することで、従来よりも選択の自由度が高まり、符号量の増加を防ぎつつ、予測効率を上げることが可能である。

【0321】

（作用効果）
以上のように、画像符号化装置２００は、画像を構成する各フレームから、当該フレームのエッジ情報を算出する。たとえばエッジ情報として、画像のエッジ方向、エッジ強度、あるいはこれらの分布情報を算出する。画像符号化装置２００は、エッジ方向に関する分布情報に基づいて、エッジ方向を効率良く近似する複数の予測方向を決定し、各予測セットを構成する予測モードの組み合わせを決定する。

【0322】

たとえば、エッジ方向に関する分布情報が、水平方向のエッジが偏っていることを表しているなら、水平方向の予測を細かく、垂直方向の予測を粗くした最適な予測モードの組み合わせによる複数の予測セットが自動的に決定される。これにより、水平方向の予測に適した複数の予測セットの中より、符号化対象ブロックのエッジ方向に応じた予測セットを切り替えて画像を符号化する。一方、エッジ方向に関する分布情報が垂直方向のエッジが偏っていることを表しているなら、垂直方向の予測を細かく、水平方向の予測を粗くした最適な予測モードの組み合わせによる複数の予測セットが自動的に決定される。これにより、垂直方向の予測に適した複数の予測セットの中より、符号化対象ブロックのエッジ方向に応じた予測セットを切り替えて画像を符号化する。

【0323】

以上のように画像符号化装置２００は、画像に応じて、予測セット中の予測モードを自動的に組み合わせた画像に最適な複数の予測セットを作成し、この中から符号化対象ブロックのエッジ方向に応じた予測セットを切り替えることで、予め定められた予測セットを使用する場合よりもさらに予測効率を上げることができる。

【0324】

〔実施形態４〕
本発明に係る画像復号装置の他の形態について、実施形態４として図２６〜図２９を参照して以下に説明する。なお、実施形態１〜３と同様の構成要素には同一の符号を付し、その説明を省略する。

【0325】

実施形態２では、所定の画素ブロック単位において、予め定められた複数の予測セットの中から、復号対象ブロックに用いる予測セットを選択することによって、従来技術より多様な角度からの予測を可能とする画像復号装置について説明した。本実施形態では、符号化データより、予測セット中の予測モードを自動的に組み合わせた複数の予測セットを作成し、この中から復号対象ブロックに用いる予測セットを選択することによって、さらに多様な角度からの予測を可能とする画像復号装置について説明する。

【0326】

（画像復号装置２５０の構成）
実施形態４に係る画像復号装置２５０の構成について、図２６を参照して以下に説明する。図２６は、画像復号装置２５０の構成を示すブロック図である。

【0327】

図２６に示すように、画像復号装置２５０は、主として、エントロピー復号部２０５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部２１０、予測セット情報作成部５２および予測セット定義情報作成部５４を備えている。本実施形態では、上記において説明されていないエントロピー復号部２０５および予測セット定義情報作成部５４についてのみ以下に説明する。

【0328】

（エントロピー復号部２０５）
エントロピー復号部２０５は、実施形態１のエントロピー復号部５の機能に加えて、相対予測セット定義情報の符号化データをエントロピー復号し、相対予測セット定義情報を出力する。

【0329】

（予測セット定義情報作成部５４）
予測セット定義情報作成部５４は、エントロピー復号された相対予測セット定義情報および復号済み予測セット定義情報より、予測セット定義情報を作成する。なお、予測セット定義情報作成部５４の構成および動作については後述する。

【0330】

（画像復号プロセスの概要）
次に、画像復号装置２５０における画像復号プロセスの概要について、図２７を参照して以下に説明する。図２７は、画像復号装置２５０における画像復号プロセスの概要を示すフローチャートである。

【0331】

（符号化データの入力および予測セット定義情報の作成）
復号対象フレームの符号化データが画像復号装置２５０に入力されると（ステップＳ１３０）、エントロピー復号部２０５は、入力された符号化データ中より復号対象フレームに用いる予測セットと予測モードの表（表１１）を表す予測セット定義情報の相対情報（相対予測セット定義情報）を取り出し、取り出した相対予測セット定義情報をエントロピー復号する（ステップＳ１３１）。予測セット定義情報作成部５４は、エントロピー復号された相対予測セット定義情報および復号済み予測セット定義情報より、予測セット定義情報を作成して、復号対象フレームに適用する予測セットと予測モードの表（表１１）を更新し、作成した予測セット定義情報をイントラ予測部２１０へ出力する（ステップＳ１３２）。

【0332】

なお、予測セット定義情報作成部５４における予測セット定義情報の作成処理の詳細なプロセスについては下記に詳述する。

【0333】

（予測セット情報の作成）
エントロピー復号部２０５は、入力された復号対象フレームの符号化データ中のＭ×Ｍ画素ブロックからなる復号対象画像（以下、復号対象ブロックとも称する）に用いる予測セットの相対予測セット情報をエントロピー復号する（ステップＳ１３３）。予測セット情報作成部５２は、エントロピー復号された相対予測セット情報および復号済み予測セット情報より、復号対象ブロックの予測セット情報を作成する（ステップＳ１３４）。なお、予測セット情報作成部５２における予測セット情報の作成処理は、実施形態１と同じである。

【0334】

（予測残差データおよび予測モード情報の復号）
エントロピー復号部２０５は、さらに所定のブロックサイズ（Ｎ×Ｎ画素ブロック）に分割された各復号対象サブブロックについても、予測残差データの量子化値および予測モード情報をエントロピー復号する（ステップＳ１３５）。

【0335】

（予測画像の生成）
イントラ予測部２１０は、予測セット定義情報およびメモリ９に記憶された復号済みの隣接サブブロックにおける局所復号画像を用いて、予測セット情報および予測モード情報が表す復号対象サブブロックに適用する予測モードに応じた予測画像（Ｎ×Ｎ画素ブロック）をイントラ予測して生成する（ステップＳ１３６）。

【0336】

（逆量子化および逆直交変換）
逆量子化部６は、ステップＳ１３５において復号した予測残差データを逆量子化した後、逆直交変換部７に出力し（ステップＳ１３７）、逆直交変換部７は、逆量子化された予測残差データを逆直交変換し、加算演算部８に出力する（ステップＳ１３８）。

【0337】

（復号対象サブブロックの復号画像の生成）
加算演算部８は、ステップＳ１３６において生成した予測画像と、ステップＳ１３８において出力された予測残差データとを加算し、復号対象サブブロックの復号画像（Ｎ×Ｎ画素ブロック）として出力する（ステップＳ１３９）。

【0338】

メモリ９は、出力された復号対象サブブロックにおける復号画像を記憶する（ステップＳ１４０）
（付記事項）
画像復号装置２５０は、復号対象ブロック（Ｍ×Ｍ画素ブロック）を構成する全てのサブブロック（Ｎ×Ｎ画素ブロック）についてステップＳ１３５〜Ｓ１４０の処理を繰り返す。また、復号対象フレームを構成する全ての復号対象ブロックについてステップＳ１３３〜Ｓ１４０の処理を繰り返し、復号対象画像を構成する全フレームについて上記のＳ１３０〜Ｓ１４０の処理を繰り返す。なお、Ｓ１３５〜Ｓ１４０までの処理は、Ｎ×Ｎ画素ブロックのサブブロック単位で行われているが、Ｍ×Ｍ画素ブロックのブロック単位でもよい。

【0339】

（予測セット定義情報の作成プロセス）
予測セット定義情報を作成する詳細なプロセスについて、以下に説明する。予測セット定義情報作成部５４は、エントロピー復号された相対予測セット定義情報と、および復号済み予測セット定義情報より、予測セット定義情報を作成する。

【0340】

（予測セット定義情報作成部５４の構成）
まず、予測セット定義情報作成部５４の構成について、図２８を参照して以下に説明する。図２８は、予測セット定義情報作成部５４の構成を示すブロック図である。予測セット定義情報作成部５４は、予測セット定義情報生成部５４１、予測セット定義情報予測部５３２、および予測セット定義情報格納部５３３を備えている。上記において説明していない予測セット定義情報生成部５４１について述べる。

【0341】

（予測セット定義情報生成部５４１）
予測セット定義情報生成部５４１は、エントロピー復号部２０５においてエントロピー復号された相対予測セット定義情報と、予測セット定義情報予測部５３２において復号済み予測セット定義情報に基づいて決定された予測値とに基づいて、予測セット定義情報を生成し、出力する。

【0342】

（予測セット定義情報の生成プロセス）
次に、予測セット定義情報を生成する詳細なプロセスについて、図２９を参照して以下に説明する。図２９は、予測セット定義情報を生成する詳細なプロセスを示すフローチャートである。

【0343】

予測セット定義情報予測部５３２は、予測セット定義情報格納部５３３に記憶されている復号済み予測セット定義情報から、復号対象フレームに適用する複数の予測セット中の予測モードに割り当てる予測方式に関する予測値を決定し出力する（ステップＳ１５０）。なお、復号対象フレームに適用する複数の予測セット中の予測モードに割り当てる予測方式に関する予測値の決定方法は、実施形態３の画像符号化装置２００における予測セット定義の予測値決定方法と同様であるため、その説明を省略する。予測セット定義情報作成部５４へ入力された相対予測セット定義情報は、予測セット定義情報生成部５４１へ出力される（ステップＳ１５１）。

【0344】

次に、予測セット定義情報生成部５４１は、予測セット番号を表すカウンタset_idxを初期化（set_idx＝０）し（ステップＳ１５２）、予測モード番号を表すカウンタmode_idxを初期化（mode_idx＝０）し（ステップＳ１５３）、予測セットset_idxにおける予測モードmode_idxと予測値とが一致するか否かを表すprobable_pred_method_flag[set_idx][mode_idx]の値について判定する（ステップＳ１５４）。

【0345】

probable_pred_method_flag[set_idx][mode_idx]の値が「１」である場合（ステップ１５４においてＹｅｓ）、予測セット定義情報生成部５４１は、pred_method[set_idx][mode_idx]に予測値probable_pred_method[set_idx][mode_idx]を設定する（ステップＳ１５５）。すなわち、この場合には、pred_method[set_idx][mode_idx]=probable_pred_method[set_idx][mode_idx]となる。

【0346】

probable_pred_method_flag[set_idx][mode_idx]の値が「０」である場合（ステップ１５４においてＮｏ）、予測セット定義情報生成部５４１は、rem_pred_method[set_idx][mode_idx]および予測値probable_pred_method[set_idx][mode_idx]に基づいてpred_method[set_idx][mode_idx]を設定する（ステップＳ１５６）。具体的には、pred_method[set_idx][mode_idx]の値を以下の（１）、（２）に基づいて設定する。（１）rem_pred_method[set_idx][mode_idx]が、probable_pred_method[set_idx][mode_idx]よりも小さい場合には、pred_method[set_idx][mode_idx]＝rem_pred_method[set_idx][mode_idx]とする。（２）rem_pred_method[set_idx][mode_idx]が、probable_pred_method[set_idx][mode_idx]以上の場合には、pred_method[set_idx][mode_idx]＝rem_pred_method[set_idx][mode_idx]＋１とする。

【0347】

続いて、予測セット定義情報生成部５４１は、カウンタmode_idxに１を加算し（ステップＳ１５７）、カウンタmode_idxと予測モード数total_modeとを比較する（ステップＳ１５８）。

【0348】

カウンタmode_idxが予測モード数total_modeよりも小さい場合（ステップＳ１５８においてＹｅｓ）、予測セット定義情報生成部５４１は、再度ステップＳ１５４の処理から繰り返す。カウンタmode_idxが予測モード数total_mode以上の場合（ステップＳ１５８においてＮｏ）には、カウンタset_idxに１を加算し（ステップＳ１５９）、カウンタset_idxと予測セット数total_setとを比較する（ステップＳ１６０）。

【0349】

カウンタset_idxが予測セット数total_setよりも小さい場合（ステップＳ１６０においてＹｅｓ）、再度ステップＳ１５３の処理から繰り返す。カウンタset_idxが予測セット数total_set以上の場合（ステップＳ１６０においてＮｏ）、予測セット定義情報prediction_method_data()を予測セット定義情報格納部５３３に記憶し、出力する（ステップＳ１６１）。

【0350】

なお、本実施形態では予測セット定義情報の復号単位をフレーム単位として説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を予測セット定義情報の復号単位としてもよい。たとえば、スライス単位で予測セット定義情報を作成する場合、スライスの先頭で、予測セット定義情報に関する符号化データを復号する必要がある。どの復号単位を使用するかは、予め画像符号化装置と画像復号装置で、使用する復号単位を取り決めておいても良いし、符号化データの先頭や、ピクチャ、ＧＯＰの先頭で指定しても良い。また、外部の手段を使って通知することも可能である。

【0351】

なお、実施形態４では、予測セットの選択は、ブロック単位としたが、マクロブロック単位、所定のブロック単位など、ブロックに限るものではない。予測セットを選択する単位を可変にすることで、画像の性質により合った予測セットを選択することが可能である。

【0352】

また本実施例では、相対予測セット定義情報の符号化データをエントロピー復号し、復号された相対定義予測セット情報より予測セット定義情報を作成しているが、相対予測セット定義情報の代わりに、予測セット定義情報の符号化データをエントロピー復号し、復号された予測セット定義情報によって、復号対象フレームに用いる複数の予測セット中の各予測モードに割り当てる予測方式を決定してもよい。

【0353】

また画像復号装置２５０は、予測方式を予測セット定義情報、予測セット情報、予測モード情報により階層的に表現することによって、従来よりも選択の自由度が高めることができる。これによって、予測効率を上げることができる。

【0354】

（作用効果）
以上にように、画像復号装置２５０は、画像の符号化データを構成する各フレームにおいて、復号対象フレームに用いる複数の予測セット中の各予測モードに割り当てる予測方式を表す予測セット定義情報を、相対予測セット定義情報と復号済み予測セット定義情報より作成する。そして、復号対象フレームを構成するブロック（Ｍ×Ｍ画素ブロック）ごとに、そのブロックに用いる予測セットを復号する。さらにブロックを構成するサブブロック（Ｎ×Ｎ画素ブロック）ごとに、イントラ予測を行い、サブブロックの予測画像を生成する。そして、生成した予測画像とサブブロックの復号予測残差データとを合成し、サブブロックにおける画像を復元する。

【0355】

これによって、たとえば、予測セット定義情報が水平方向の予測を重視した予測セット定義を表すときには、水平方向を中心により細かい角度からの予測画像を生成することができる。また、予測セット定義情報が垂直方向の予測を重視した予測セットを表すときには、垂直方向を中心により細かい角度からの予測画像を生成することができる。したがって、画像復号装置２５０は、画像に応じて、複数の予測セット中の予測モードを適応的に定義することが可能であり、この中から、復号対象ブロックのエッジ方向に最適な予測をすることができる。これによって、予め定められた予測セットを使用する場合よりも、さらに予測効率を上げることができる。

【0356】

また、予測方式を予測セットと予測モードを用いて階層的に表現しているため、符号量を増加させることなく、予測効率を上げることができる。

【0357】

〔実施形態５〕
本発明に係る画像符号化装置の他の形態について、実施形態５として図３０〜図３７を参照して以下に説明する。なお、実施形態１〜４と同様の構成要素については同一の符号を付し、その説明を省略する。実施形態１では、予め定められた複数の予測セットの中から、符号化対象ブロックに用いる予測セットを所定の画素ブロック単位に切り替えることで、従来技術より多様な予測を可能とする画像符号化装置について説明した。一方、実施形態５では、実施形態１の機能に加えて、選択した予測セットと、符号化対象サブブロックの予測モードの推定に用いる符号化済み隣接サブブロックの方向を表すフラグと、符号化対象サブブロックの位置に基づいて、符号化対象ブロック中の各サブブロックに用いる予測モードを推定することで、予測モードを表すのに要する符号量を効率的に削減し、さらに符号化効率を上げることが可能な画像符号化装置について説明する。

【0358】

（画像符号化装置５００の構成）
まず、本実施形態に係る画像符号化装置５００の構成について、図３０を参照して以下に説明する。図３０は、本実施形態に係る画像符号化装置５００の構成を示すブロック図である。画像符号化装置５００は、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部５０４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部１０、符号化パラメータ決定部１４、相対予測セット情報作成部５１、相対予測モード情報作成部６１を備えている。エントロピー符号化部５０４、相対予測モード情報作成部６１および符号化パラメータ決定部１４について以下に説明する。

【0359】

（符号化パラメータ決定部１４）
符号化パラメータ決定部１４は、入力された符号化対象ブロックの原画像およびメモリ９に記憶された局所復号画像から、符号化対象ブロックに用いる予測セット、符号化対象ブロック中の各サブブロックの予測モードの推定に用いる参照サブブロックの組み合わせ情報（参照方向組合せインデクス）、および各サブブロックに用いる予測モードなどの符号化パラメータを決定する。その後、決定された予測セットを、イントラ予測部１０、相対予測セット情報作成部５１および相対予測モード情報作成部６１へ出力する。

【0360】

また、決定された参照方向組合せインデクスを、相対予測モード情報作成部６１、およびエントロピー符号化部５０４へ出力する。また、決定された各サブブロックの予測モードを、イントラ予測部１０、および相対予測モード情報作成部６１へ出力する。

【0361】

（エントロピー符号化部５０４）
エントロピー符号化部５０４は、予測残差データ、相対予測モード情報、相対予測セット情報、および参照方向組合せインデクスなどをエントロピー符号化し、符号化データを出力する。

【0362】

なお、参照方向組合せインデクスは、エントロピー符号化部５０４において、参照方向の組合せの出現頻度の偏りを考慮し、下記に説明する参照方向組合せインデクス符号表を利用して可変長の符号へエントロピー符号化される。

【0363】

具体的には、参照方向組合せインデクスのとりうる値の範囲が下記表２０の参照方向組合せテーブル１の値域０〜４である場合には、表１６の参照方向組合せインデクス符号表を用いる。また、参照方向組合せインデクスの取りうる値が下記表２１の参照方向組合せテーブル２の値域０〜１である場合には、表１７の参照方向組合せインデクス符号表を用いる。なお、参照方向組合せインデクスの符号は、表１６および表１７に限定されるものではない。例えば、参照方向組合せインデクスの符号は、ゴロム符号を用いてもよいし、固定長符号を用いてもよい。また、符号に算術符号を用いる場合は、参照方向組合せインデクス符号表をバイナリ値への変換表として利用してもよい。

【0364】

【表16】

【0365】

【表17】

【0366】

（相対予測モード情報作成部６１）
相対予測モード情報作成部６１は、符号化パラメータ決定部１４より入力された予測セット情報、予測モード情報および参照方向組合せインデクスと、相対予測モード情報作成部６１の内部で記憶されている当該サブブロックに隣接する符号化済みサブブロックの予測セット情報および予測モード情報とに基づいて、当該サブブロックの相対予測モード情報を作成し、出力する。

【0367】

次に、相対予測モード情報作成部６１の構成について、図３１を参照して説明する。図３１は、相対予測モード情報作成部６１の構成を示すブロック図である。

【0368】

相対予測モード情報作成部６１は、図３１に示すように、格納部６１１ａ、格納部６１１ｂ、参照方向決定部６１２、予測モード情報推定部６１３、および相対予測モード情報生成部６１４を備えている。各部材について、以下に説明する。

【0369】

（格納部６１１a、６１１ｂ）
格納部６１１a、６１１ｂは、入力情報を一時的に格納する。格納部６１１ａは、入力された当該サブブロックの予測モード情報を格納する。格納部６１１ｂは、当該サブブロックの予測セット情報を格納する。なお、格納された予測モード情報、および予測セット情報は当該サブブロックより後に符号化されるサブブロックにおける予測モード情報の推定に利用される。

【0370】

（参照方向決定部６１２）
参照方向決定部６１２は、入力された予測セット情報および参照方向組合せインデクスと、当該サブブロックの位置（内部的にカウントする）に基づいて、下記表２０に示す参照方向組合せテーブルより、当該サブブロックの予測モード情報の推定に利用する符号化済み隣接サブブロック（参照サブブロック）の方向（参照方向）を決定し、参照方向を予測モード情報推定部６１３へ出力する。

【0371】

（予測モード情報推定部６１３）
予測モード情報推定部６１３は、入力された予測セット情報、参照方向決定部６１２において決定された参照方向、格納部６１１ａおよび６１１ｂにそれぞれ格納された符号化済み隣接サブブロックの予測モード情報および予測セット情報に基づいて、当該サブブロックに用いる予測モード情報の推定値を所定の方法で決定する。そして、決定した推定値を、相対予測モード情報生成部６１４へ出力する。

【0372】

（相対予測モード情報生成部６１４）
相対予測モード情報生成部６１４は、入力された予測モード情報と、予測モード情報推定部６１３において決定された予測モード情報の推定値probable_modeと、に基づいて、推定値に対する予測モードの相対情報（相対予測モード情報）を生成する。そして、生成された相対予測モード情報を、エントロピー符号化部５０４へ出力する。

【0373】

ここで、相対予測モード情報relative_mode_data( )のデータ構造を表１８に示す。表１８におけるrelative_mode_data( )中のprobable_mode_flagは、当該サブブロックに適用する予測モードが予測モード情報推定部６１３で決定された推定値と一致するか否かを表すフラグである。probable_mode_flagの値が「１」の場合は、推定値と一致することを表し、probable_mode_flagの値が「０」の場合は、推定値と異なることを表す。なお、probable_mode_flagの値が「０」の場合は、さらに推定値を除く残りの予測モードのいずれかを表す情報であるrem_modeを用いて相対予測モード情報を表す。なお、相対予測モード情報は、当該サブブロックに適用する予測モードの値と推定値との差分としてもよい。

【0374】

【表18】

【0375】

（画像符号化プロセスの概要）
画像符号化装置５００における画像符号化プロセスの概要について、図３２を参照して以下に説明する。図３２は、画像符号化装置５００における画像符号化プロセスの概要を示すフローチャートである。

【0376】

まず、符号化対象ブロック（Ｍ×Ｍ画素ブロック）を画像符号化装置５００に入力する（ステップＳ１７０）。

【0377】

符号化パラメータ決定部１４は、符号化対象ブロックの原画像と、メモリ９に記憶された局所復号画像とから、レート歪最適化手法を用いて符号化パラメータ（予測セット、参照方向組合せインデクス、および全サブブロックの予測モード）を決定する（ステップＳ１７１）。なお、決定した予測セットは、イントラ予測部１０、相対予測セット情報作成部５１および相対予測モード情報作成部６１へ出力される。また、決定した参照方向組合せインデクスは、相対予測モード情報作成部６１、およびエントロピー符号化部５０４へ出力される。さらに、決定した全サブブロックの予測モード情報は、イントラ予測部１０、および相対予測モード情報作成部６１へ出力される。

【0378】

次に、相対予測セット情報作成部５１は、ステップＳ１７１において決定した予測セット情報を符号化済みの予測セットに基づいて、相対予測セット情報を作成してエントロピー符号化部５０４へ出力する（ステップＳ１７２）。

【0379】

エントロピー符号化部５０４は、ステップＳ１７２において作成した相対予測セット情報と、ステップＳ１７１で決定した参照方向組合せインデクスとをそれぞれエントロピー符号化して出力する（ステップＳ１７３）。

【0380】

相対予測モード情報作成部６１は、符号化パラメータ決定部１４より入力した予測セット情報、参照方向組合せインデクスおよび符号化対象サブブロックの予測モード情報と、参照サブブロックの予測セット情報および予測モード情報とに基づいて、符号化対象サブブロックの相対予測モード情報を作成し、出力する（ステップＳ１７４）。

【0381】

エントロピー符号化部５０４は、作成した相対予測モード情報をエントロピー符号化し、相対予測モード情報の符号化データを出力する（ステップＳ１７５）。

【0382】

イントラ予測部１０は、メモリ９から取得した符号化済み隣接サブブロックにおける局所復号画像を用いて、ステップＳ１７１で決定された予測セットおよび予測モードにより定まるイントラ予測を行い、符号化対象サブブロックの予測画像を生成する（ステップＳ１７６）。生成された符号化対象サブブロックの予測画像は、差分演算部１、および加算演算部８へ出力される。

【0383】

差分演算部１は、入力された符号化対象サブブロックの原画像と、ステップＳ１７６で生成された予測画像との差分である符号化対象サブブロックの予測残差データを算出し、出力する（ステップＳ１７７）。

【0384】

ステップＳ１７７で算出した予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部５０４および逆量子化部６へ出力される（ステップＳ１７８）。

【0385】

直交変換・量子化された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８へ出力される(ステップＳ１７９)。

【0386】

加算演算部８は、ステップＳ１７９において逆量子化および逆直交変換された予測残差データと、ステップＳ１７６において生成した予測画像とを加算し、符号化対象サブブロックの局所復号画像を生成する（ステップＳ１８０）。生成した局所復号画像は、メモリ９に記憶される。

【0387】

エントロピー符号化部５０４は、符号化対象サブブロックの量子化済み予測残差データをエントロピー符号化して、予測残差データの符号化データを出力する（ステップＳ１８１）。

【0388】

なお、ステップＳ１７４〜Ｓ１８１における処理は、符号化対象ブロックを構成する全てのサブブロックについて行う。また、ステップＳ１７０〜Ｓ１８１における処理は、符号化対象画像を構成する全てのブロックについて行う。

【0389】

本実施形態では、画像符号化装置５００の符号化プロセスをステップＳ１７０〜Ｓ１８１の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。

【0390】

（参照方向の決定方法）
次に、参照方向の決定方法について説明する。初めに、サブブロックグループ、参照方向、参照方向組合せインデクス、参照方向組合せテーブルについて説明する。

【0391】

サブブロックグループについて図３３の（ａ）および（ｂ）を参照して説明する。図３３の（ａ）および（ｂ）は、サブブロックグループを説明する図であり、（ａ）は対象ブロックおよびサブブロックのサイズＭ、ＮがＮ＝Ｍ／４である場合のサブブロックグループであり、（ｂ）は、対象ブロックおよびサブブロックのサイズＭ、ＮがＮ＝Ｍ／２である場合のサブブロックグループである。

【0392】

図３３の（ａ）のサブブロックグループＢ１は、４つのサブブロックａ、ｂ、ｃ、ｄからなる集合である。同様に、サブブロックグループＢ２は、４つのサブブロックｅ、ｆ、ｇ、ｈからなる集合であり、サブブロックグループＢ３は、４つのサブブロックｉ、ｊ、ｋ、ｌからなる集合であり、サブブロックグループＢ４は、４つのサブブロックｍ、ｎ、ｏ、ｐからなる集合である。また図３３の（ｂ）のサブブロックグループＢ１はサブブロックａ〜ｄからなる集合である。なお、サブブロックグループのサブブロック同士の組合せはこれに限定されるものではない。

【0393】

「参照方向」とは、サブブロックグループ内に含まれる各サブブロックの予測モードを推定する時に参照する共通の符号化済みサブブロックの相対位置（参照サブブロック位置）である。例えば、参照方向「０」は、参照サブブロックが当該サブブロックの左部の符号化済みサブブロックであることを表す。また、参照方向「１」は、参照サブブロックが当該サブブロックの上部の符号化済みサブブロックを表す。ただし、参照方向が表す値は二値に限定されるものではない。例えば、表１９のように参照方向「２」は左上、参照方向「３」は右上に隣接する符号化済みサブブロックを表してもよい。また、参照方向の値と参照サブブロックの位置の対応付けは表１９に限定されるものではない。

【0394】

【表19】

【0395】

「参照方向組合せインデクス」とは、サブブロックグループＢ１〜Ｂ４の参照方向の組合せに対して付加したインデクスである。

【0396】

「参照方向組合せテーブル」とは、参照方向組合せインデクスとサブブロックグループの参照方向との対応関係を予め定めた表である。ただし、当該サブブロックのサイズに応じて、参照方向を決定する際に用いる参照方向組合せテーブルは異なる。詳細については、以下に説明する。

【0397】

（１）サブブロックのサイズがＮ＝Ｍ／４のとき；
表２０は、サブブロックのサイズがＮ＝Ｍ／４のときに用いる参照方向組合せテーブルの例である。表２０中の予測セットフラグは、「０」のとき予測セット情報が水平方向の予測を重視した予測セットを表し、「１」のとき垂直方向の予測を重視した予測セットを表す。また、図３４は、表２０において予測セットフラグ「０」、参照方向組合せインデクス「２」である場合の参照サブブロックの方向を示したものである。図３４において、サブブロックグループＢ１、Ｂ２、Ｂ４では、参照方向が「０」であるため、サブブロックグループ内の各サブブロックでは、左の符号化済みサブブロックを参照サブブロックとする（図３４における右向きの矢印）。同様に、サブブロックグループＢ３の参照方向は「１」であるため、サブブロックグループＢ３内の各サブブロックは、左の符号化済みサブブロックを参照サブブロックとする（図３４における下向きの矢印）。なお、予測セットフラグが水平、垂直方向のどちらを重視しているかによって、参照方向組合せインデクスとサブブロックグループの参照方向との対応関係は異なる。

【0398】

【表20】

【0399】

（２）サブブロックのサイズがＮ＝Ｍ／２のとき；
サブブロックのサイズがＮ＝Ｍ／２のときは、予測セット情報によらず、表２１に示す参照方向組合せテーブルを用いる。

【0400】

【表21】

【0401】

以上説明したように、参照方向決定部６１２は、当該サブブロックのサイズがＮ＝Ｍ／４であるときは、入力された予測セット情報、参照方向組合せインデクスおよび当該サブブロックの位置（サブブロックグループＢｉのいずれに属しているかを表す）に基づいて、表２０よりサブブロックグループＢｉの参照方向を取得し、取得した参照方向を出力する。

【0402】

また、当該サブブロックのサイズがＮ＝Ｍ／２であるときは、入力された参照方向組合せインデクスに基づいて、表２１よりサブブロックグループＢ１の参照方向を取得し、取得した参照方向を出力する。

【0403】

（予測モード情報の推定値の決定方法）
続いて、予測モード情報推定部６１３における予測モード情報の推定値の決定方法について説明する。なお、本実施形態では、参照方向が示す符号化対象サブブロックＰと参照サブブロックＱとの位置関係が、図３５の（ａ）および（ｂ）に示す場合であると仮定した場合を例に挙げて説明する。図３５の（ａ）は、参照方向「０」における符号化対象サブブロック（図中Ｐ）と参照サブブロック（図中Ｑ）の位置関係を表し、図３５の（ｂ）は、参照方向「１」における符号化対象サブブロックＰと参照サブブロックＱの位置関係を表している。

【0404】

まず、予測モード情報推定部６１３は、参照方向に基づいて、参照サブブロックＱの予測モード情報および予測セット情報を、それぞれ格納部６１１ａ、格納部６１１ｂより取得する。

【0405】

次に、符号化対象サブブロックＰと参照サブブロックＱの予測セットに応じて、以下の２種類の方法によって予測モードの推定を行う。

【0406】

（１）符号化対象サブブロックＰと参照サブブロックＱの予測セットが同じ場合；
予測モードの推定値を参照サブブロックＱの予測モードの値とする。ただし、参照サブブロックＱの予測モード情報を取得できない場合は、予測モードの推定値には所定の予測モードの値を設定する。

【0407】

（２）符号化対象サブブロックＰと参照サブブロックＱの予測セットが異なる場合；
後述の予測モード対応表を参照して、参照サブブロックＱの予測モードが符号化対象サブブロックＰの予測セット中のいずれの予測モードと対応するかを求める。そして、対応する予測モードを符号化対象サブブロックＰの予測モードに対する推定値とする。ただし、参照サブブロックＱの予測モード情報、または予測セット情報を、それぞれ、格納部６１１ａ、６１１ｂより取得できない場合は、所定の予測モードを推定値とする。なお、参照サブブロックＱの予測モード情報、または予測セット情報を取得できない場合とは、例えば、符号化対象サブブロックＰが符号化対象画像の端に位置し、参照サブブロックＱが存在しない場合が該当する。

【0408】

表２２は、参照サブブロックＱの予測セットを表２中の予測セット１、符号化対象サブブロックＰの予測セットを表２中の予測セット０の場合における予測モード対応表の例である。

【0409】

【表22】

【0410】

予測モード対応表には、参照サブブロックＱに用いた予測セットＸ中の予測モードｘ、および符号化対象サブブロックＰに用いる予測セットＹにおいて、一致する（予測方法が同じ）または最も類似する（予測方向の差の絶対値が最も小さい）予測モードｙの値を予め設定しておくことが好ましい。例えば、表２中の予測セット１の予測モード０、および予測セット２の予測モード０は、いずれも予測方向−９０［ｄｅｇ］であるため、表２２中の予測セット１の予測モード０の行には、予測セット２の予測モード０を設定する。また、表２中の予測セット１の予測モード２、および予測セット２の予測モード２は、いずれもＤＣ予測であるため、表２２中の予測セット１の予測モード２の行には、予測セット２の予測モード２を設定する。また、予測セット１中の予測モード３（予測方向−３０［ｄｅｇ］）が、予測セット２中のいずれの予測モードと一致または類似するかに注目すると、予測セット中の予測モード８（予測方向−３０［ｄｅｇ］）と最も類似していることがわかる（予測方向の差の絶対値は０［ｄｅｇ］で最小）。そのため、表２２中の予測セット１の予測モード３の行には予測セット２の予測モード８を設定する。

【0411】

ただし、注目する予測セットＸ中の予測モードｘと、予測セットＹ中の予測モードｙとの中で一致または類似する予測モードが２つ以上ある場合は、予測モードｙの値が小さい方を設定する。例えば、予測セット１中の予測モード６（予測方向１５［ｄｅｇ］）が予測セット２中のいずれの予測モードと一致もしくは類似するかに注目すると、予測セット２中の予測モード１（予測方向０［ｄｅｇ］）と、予測モード６（予測方向３０［ｄｅｇ］）との２つが候補となる。このときは、予測モードの値が小さい１を、表２２中の予測セット１の予測モード６の行に設定することが好ましい。

【0412】

ここで、表２２を用いた予測モードの推定値の具体的な決定方法について以下に説明する。なお、参照サブブロックＱにおける予測セットを１、符号化対象サブブロックＰの予測セットを２とする。例えば、参照サブブロックＱの予測モードが「０」であれば、表２２より、符号化対象サブブロックＰの予測モードの推定値を「０」とする。また、参照サブブロックＱの予測モードが「６」であれば、表２２より、符号化対象サブブロックＰの予測モードの推定値を「１」とする。

【0413】

上記の予測モード対応表を利用することによって、符号化対象サブブロックＰと参照サブブロックＱの予測セットが異なる場合、参照サブブロックの予測モードを符号化対象サブブロックの予測セット中の最も類似する予測モードへ変換するため、符号化対象サブブロックＰの予測モードに対する推定値の精度を向上させることできる。

【0414】

（相対予測モード情報の詳細な作成プロセス）
次に、相対予測モード情報を作成するプロセスについて、図３６を参照して以下に説明する。図３６は、相対予測モード情報を生成する詳細なプロセスを示すフローチャートである。

【0415】

まず、格納部６１１ａ、６１１ｂは、それぞれ入力した予測セット情報、および予測モード情報を格納する（ステップＳ１９０）。次に、参照方向決定部６１２は、入力した予測セット情報と参照方向組合せインデクス、および当該サブブロックの位置に基づいて、参照方向組合せテーブルより、当該サブブロックの予測モード情報の推定に用いる参照サブブロックの参照方向を決定し、決定した参照方向を予測モード情報推定部６１３へ出力する（ステップＳ１９１）。

【0416】

予測モード情報推定部６１３は、入力した参照方向が示す符号化済み隣接サブブロック（参照サブブロック）の予測モード情報、および予測セット情報をそれぞれ格納部６１１ａ、格納部６１１ｂから取得する（ステップＳ１９２）。そして、取得した参照サブブロックにおける予測モード情報と予測セット情報、当該サブブロックにおける予測セット情報に基づいて、予測モード対応表より、予測モード情報の推定値を決定し、決定した推定値を相対予測モード情報生成部６１４へ出力する（ステップＳ１９３）。

【0417】

相対予測モード情報生成部６１４は、入力した予測モード情報と、予測モード情報の推定値とに基づいて、当該サブブロックにおける相対予測モード情報を生成し、出力する（ステップＳ１９４）。

【0418】

（符号化パラメータの詳細な決定プロセス）
次に、符号化パラメータ決定部１４における符号化パラメータ（ｓ，ｐ，Ｍ）の決定方法について説明する。なお、符号化パラメータの決定方法の説明に先立って、符号化パラメータの決定方法において使用する用語を以下に記載する。
s：予測セット
ｐ：参照方向組合せインデクス
ｂｋ：サブブロック
ｍ(ｂｋ)：サブブロックｂｋにおける予測モード
Ｍ：符号化対象ブロックに含まれる全サブブロックの予測モード
Ｍ＝(ｍ(０),ｍ(１)，・・・,ｍ(ｂｋ),・・・)
Ｗ：符号化対象ブロック
Ｊ(ｓ，ｐ，Ｍ)：レート歪最適化手法に基づく符号化コスト
Ｊｍｉｎ ：符号化コストの最小値
ｓｂｅｓｔ：符号化に用いる予測セット
ｐｂｅｓｔ：符号化に用いる参照方向組合せインデクス
ｍｂｅｓｔ(ｂｋ)：サブブロックｂｋにおける符号化に用いる予測モード
Ｍｂｅｓｔ：符号化対象ブロックに含まれる全サブブロックの符号化に用いる予測モード
Ｍｂｅｓｔ＝(ｍｂｅｓｔ(０),ｍｂｅｓｔ(１)，・・・,ｍｂｅｓｔ(ｂｋ),・・・)
Ｒs（s）：予測セットsの符号化に要する符号量
Ｒｐ(ｐ)：参照方向組合せインデクスｐの符号化に要する符号量
Ｒｍ(ｓ，ｐ，ｍ(ｂｋ))：予測セットｓ、参照方向組合せインデクスｐを適用する場合のサブブロックｂｋに用いる予測モードｍ（ｂｋ）の符号化に要する符号量
Ｒｄ（ｓ, ｐ, ｍ（ｂｋ））：サブブロックｂｋを予測セットs、参照方向組合せインデクスｐ、および予測モードｍ(ｂｋ)で符号化するときに要する予測残差データの符号量
Ｄｄ(ｓ, ｐ, ｍ(ｂｋ))：サブブロックｂｋを予測セットs、参照方向組合せインデクスｐ、および予測モードｍ(ｂｋ)で符号化するときに発生する符号化歪
λｓ：予測セットｓに関するラグランジュ乗数
λｐ：参照方向組合せインデクスｐに関するラグランジュ乗数
λｍ：予測モードｍ（ｂｋ）に関するラグランジュ乗数
λｄ：符号化歪に関するラグランジュ乗数。

【0419】

各種パラメータを決定する際には、レート歪最適化手法に基づいて、下記式（３０）に示す符号化コストＪ（ｓ，ｐ，Ｍ）を、各予測セットs、各参照方向組合せインデクスｐ
、および符号化対象ブロックに含まれる全サブブロックの予測モードＭ＝(ｍ(０), ｍ(１)，・・・, ｍ(ｂｋ), ・・・ ) の全ての組み合わせについて算出する。そして、符号化コストＪ(ｓ,ｐ，Ｍ)を最小化するパラメータ（ｓｂｅｓｔ, ｐｂｅｓｔ, Ｍｂｅｓｔ）
を符号化対象ブロックの符号化に用いるパラメータとして決定する。

【0420】

符号化コストＪ(ｓ，ｐ，Ｍ)を算出するためには、各種パラメータの符号量、およびサブブロックｂｋにおける符号量と符号化歪を求める必要があるため、符号化パラメータ決定部１４には図示されない差分演算部１、直交変換部２、量子化部３、エントロピー符号化部５０４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部１０、相対予測セット情報作成部５１、相対予測モード情報作成部６１に相当する機能ブロックを備えている。

【0421】

【数16】

【0422】

符号化パラメータ（s, p, Ｍ）の決定のプロセスについて図３７を参照して以下に説明する。図３７は符号化パラメータ決定部１４における符号化パラメータ（s, p, Ｍ）の決定のプロセスを表すフローチャートである。

【0423】

まず、符号化パラメータ決定部１４は、符号化コストの最小値Ｊｍｉｎを十分大きな値で初期化する。また、符号化パラメータ（ｓ，ｐ，Ｍ）を所定の初期値に設定する（ステップＳ２００）。そして、予測セットｓ、参照方向組合せインデクスｐを用いて、符号化対象ブロックＷに含まれる全サブブロックを予測モードＭの組み合わせで符号化する場合の符号化コストＪ（ｓ，ｐ，Ｍ）を算出する（ステップＳ２０１）。

【0424】

次に、符号化コストの最小値Ｊｍｉｎ、とその時の符号化パラメータ（ｓｂｅｓｔ，ｐｂｅｓｔ，Ｍｂｅｓｔ）および（ｓ，ｐ，Ｍ）の更新制御を行う。

【0425】

ここで、Ｊ（ｓ，ｐ，Ｍ）＜Ｊｍｉｎを満たす場合には、符号化コストの最小値Ｊｍｉｎの値をＪ（ｓ，ｐ，Ｍ）とする。また、符号化パラメータ（ｓｂｅｓｔ, ｐｂｅｓｔ, Ｍｂｅｓｔ）の値を、（ｓ，ｐ，Ｍ）の値とする。Ｊ（ｓ，ｐ，Ｍ）≧Ｊｍｉｎの場合には、Ｊｍｉｎおよび符号化パラメータ（ｓｂｅｓｔ, ｐｂｅｓｔ, Ｍｂｅｓｔ）の更新を行わない。また、次の符号化コストを算出する符号化パラメータの組み合わせを（ｓ，ｐ，Ｍ）に設定する（ステップＳ２０２）。

【0426】

続いて、全ての符号化パラメータ（ｓ，ｐ，Ｍ）についてステップＳ２０１〜Ｓ２０２の処理を終了したか否かを判定する。符号化パラメータ（ｓ，ｐ，Ｍ）の全ての組み合わせに対し、符号化コストを算出している場合には（ステップＳ２０３においてＹｅｓ）、ステップＳ２０４を実行する。算出していないものがあれば（ステップＳ２０３においてＮｏ）、ステップＳ２０１から再度実行する。つまり、ステップＳ２０１およびＳ２０２の処理を、予測セットｓ、参照方向組合せインデクスｐ、符号化対象ブロックに含まれる全サブブロックの予測モードＭの全ての組み合わせについて反復する。

【0427】

ステップＳ２０１〜Ｓ２０３の処理を経て取得した符号化コストのうち、最小値Ｊｍｉｎを与える符号化パラメータ（ｓｂｅｓｔ, ｐｂｅｓｔ, Ｍｂｅｓｔ）を、実際の符号化に用いるパラメータとして決定する（ステップＳ２０４）。決定した予測セットｓｂｅｓｔは、イントラ予測部１０、相対予測セット情報作成部５１および相対予測モード情報作成部６１へ出力される。また、決定した参照方向組合せインデクスｐｂｅｓｔは、相対予測モード情報作成部６１、およびエントロピー符号化部５０４へ出力される。また、決定した符号化対象ブロックに含まれる全サブブロックの予測モードＭｂｅｓｔはイントラ予測部１０、および相対予測モード情報作成部６１へ出力される。

【0428】

（付記事項）
本実形態では、参照方向決定部６１３においてサブブロックサイズがＮ＝Ｍ／４の場合の参照方向組合せテーブルの例として表２０を示したがこれに限定されるものではない。例えば、表２０の代わりに、表２３を用いてもよい。表２３を用いる場合、エントロピー符号化部５０４は、表２４に示す参照方向組合せインデクス符号表を用いることが好ましい。また、本実施形態では、予測セット情報が水平、垂直方向のどちらを重視しているかによって、参照方向組合せインデクスとサブブロックグループの参照方向との対応関係が異なる参照方向組合せテーブルを用いるが、予測セット情報によらず、表２５や表２６に示す参照方向組合せテーブルを用いてもよい。表２５を用いる場合は、エントロピー符号化部５０４は、表２７に示す参照方向組合せインデクス符号表を用いることが好ましい。また、表２６を用いる場合は、エントロピー符号化部５０４は、表２８に示す参照方向組合せインデクス符号表を用いることが好ましい。

【0429】

【表23】

【0430】

【表24】

【0431】

【表25】

【0432】

【表26】

【0433】

【表27】

【0434】

【表28】

【0435】

なお、本実施形態では予測セットならびに参照方向組合せインデクスの符号化単位をＭ×Ｍ画素ブロックとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を予測セットの符号化単位としてもよい。例えば、スライス単位で予測セットならびに参照方向の組合せを切り替える場合、スライスの先頭で選択した予測セットに関する情報を符号化する必要がある。予測セットならびに参照方向組合せインデクスの符号化単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよく、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。

【0436】

（作用効果）
以上のように、画像符号化装置５００は、画像を構成する各ブロック単位に、当該ブロックに用いる予測セットと、当該ブロック中の所定数のサブブロックで構成されるサブブロックグループで予測モードの推定に共通に用いる符号化済み隣接サブブロックの参照方向と、当該ブロック中の全予測モードを符号化コストに基づいて決定する。また画像符号化装置５００は、さらに前記ブロックを構成する各サブブロック単位に、前記決定した予測セットと、前記決定した参照方向と、当該サブブロックに隣接する符号化済みサブロックにおける予測セットと予測モードと、当該サブブロックの位置に基づいて、当該サブブロックの予測モードを推定して符号化する。したがって、画像符号化装置５００は、当該サブブロックの予測モードの推定に用いる参照サブブロックを選択することが可能となるため、予測モードの推定精度が高まり、予測モードを表すのに要する符号量を効率的に削減し、さらに符号化効率を上げることができる。また、画像符号化装置５００は、当該サブブロックの予測セットと、予測モードの推定に用いる参照サブブロックの予測セットが異なる場合、上記予測モード対応表を利用することで、参照サブブロックの予測モードを当該サブブロックの予測セット中の最も類似する予測モードへ変換するため、当該サブブロックの予測モードの推定精度を向上させ、予測モードを表すのに要する符号量を効率的に削減し、さらに符号化効率を上げることができる。また、画像符号化装置５００は、予測モードの推定に用いる参照方向の組合せを表す情報（参照方向組合せインデクス）を出現頻度の偏りに応じた可変長符号化を行うため、参照方向組合せインデクスに必要な符号量の増加を抑制することが可能である。

【0437】

〔実施形態６〕
本発明に係る画像復号装置の他の形態について、実施形態６として図３８〜図４１を参照して以下に説明する。なお、実施形態１〜５と同様の構成要素については同一の符号を付し、その説明を省略する。

【0438】

（画像復号装置５５０の構成）
実施形態６に係る画像復号装置５５０の構成について、図３８を参照して以下に説明する。図３８は、画像復号装置５５０の構成を示すブロック図である。

【0439】

図３８に示すように、画像復号装置５５０は、主として、エントロピー復号部５０５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部１０、予測セット情報作成部５２および予測モード情報作成部６２を備えている。本実施形態では、まだ説明されていないエントロピー復号部５０５、予測モード情報作成部６２についてのみ以下に説明する。

【0440】

（エントロピー復号部５０５）
エントロピー復号部５０５は、エントロピー符号化部５０４の逆処理を実行するものであり、予測残差データ、相対予測モード情報、参照方向組合せインデクス、相対予測セット情報などの符号化データをエントロピー復号し、出力する。

【0441】

なお、エントロピー復号部５０５において、参照方向組合せインデクスの符号化データ（符号）は、参照方向組合せインデクス符号表を参照して、符号に対応する参照方向組合せインデクスへエントロピー復号され、復号された参照方向組合せインデクスは予測モード情報作成部６２へ出力される。このとき、参照方向組合せインデクス符号表は、画像符号化装置５００と同じものを用いることが好ましい。また、参照方向組合せインデクス符号表は、実施形態５の画像符号化装置５００と本実施形態の画像復号装置５５０との間において、予め共通に用いる参照方向組合せインデクス符号表を取り決めておいてもよいし、外部の通知手段を用いて指定してもよい。

【0442】

（予測モード情報作成部６２）
予測モード情報作成部６２は、相対予測モード情報作成部６１の逆処理を実行するものであり、予測セット情報作成部５２において復元された予測セット情報と、エントロピー復号された相対予測モード情報および参照方向組合せインデクスと、隣接サブブロックの復号済み予測セット情報および復号済み予測モード情報とから、当該サブブロックの予測モード情報を作成し、出力する。

【0443】

ここで、予測モード情報作成部６２の構成について下記に説明する。図３９は、予測モード情報作成部６２の構成を示すブロック図である。予測モード情報作成部６２は、図３９に示すように、格納部６２１ａ、格納部６２１ｂ、参照方向決定部６２２、予測モード情報推定部６２３、および予測モード情報生成部６２４を備えている。各部材について、以下に説明する。

【0444】

（格納部６２１ａ、格納部６２１ｂ）
格納部６２１ａ、６２１ｂは、相対予測モード情報作成部６１における格納部６１１ａ、６１１ｂと同様に、入力情報を一時的に記憶する。格納部６２１ａは、予測モード情報生成部６２４で生成された当該サブブロックの予測モード情報を格納する。また、格納部６２１ｂは、入力された予測セット情報を格納する。なお、格納された予測モード情報、および予測セット情報は、当該サブブロックより後に復号されるサブブロックにおける予測モード情報の推定に利用される。

【0445】

（参照方向決定部６２２）
参照方向決定部６２２は、相対予測モード情報作成部６１における参照方向決定部６１２と同様に、予測セット情報および参照方向組合せインデクスを入力とし、サブブロックの予測モード情報の推定に利用する符号化済み隣接サブブロック（参照サブブロック）の参照方向を予測モード情報推定部６２３へ出力する。参照方向は、入力された予測セット情報、参照方向組合せインデクスおよび当該サブブロックの位置（内部的にカウントする）に基づいて、参照方向組合せテーブルより決定される。このとき、参照方向組合せテーブルは、画像符号化装置５００と同じものを用いることが好ましい。また、実施形態５の画像符号化装置５００と本実施形態の画像復号装置５５０との間において、予め共通に用いる参照方向組合せテーブルを取り決めておいてもよいし、外部の通知手段を用いて指定してもよい。なお、参照方向の決定方法は実施形態５に記載した方法と同じであるため、ここではその説明を省略する。

【0446】

（予測モード情報推定部６２３）
予測モード情報推定部６２３は、入力された予測セット情報と、参照方向決定部６２２において決定された参照方向、格納部６２１ａ、６２１ｂに格納された復号済み隣接サブブロックの予測モード情報および予測セット情報に基づいて、当該サブブロックに用いる予測モード情報の推定値を所定の方法で決定する。そして、決定した推定値を予測モード情報生成部６２４へ出力する。なお、予測モード情報の推定値の決定方法は、実施形態５における予測モード情報推定部６１３と同じであるため、ここではその説明を省略する。

【0447】

（予測モード情報生成部６２４）
予測モード情報生成部６２４は、相対予測モード生成部６１４の逆処理を実行するものであり、入力された相対予測モード情報と、予測モード情報推定部６２３において決定された予測モード情報との推定値probable_modeに基づいて、当該サブブロックに用いる予測モード情報を生成する。また、生成された予測モード情報は、格納部６２１ａ、およびイントラ予測部１０へ出力される。ここで、予測モード情報mode_data( )のデータ構造を表２９に示す。

【0448】

【表29】

【0449】

画像復号装置５５０における画像復号プロセスの概要について、図４０を参照して以下に説明する。図４０は、画像復号装置５５０における画像復号プロセスの概要を示すフローチャートである。

【0450】

復号対象ブロック（Ｍ×Ｍ画素ブロック）の符号化データを画像復号装置５５０に入力する（ステップＳ２１０）。

【0451】

エントロピー復号部５０５は、入力した符号化データ中の復号対象ブロックにおける相対予測セット情報と参照方向組合せインデクスをそれぞれエントロピー復号し、出力する（ステップＳ２１１）。

【0452】

予測セット情報作成部５２は、ステップＳ２１１においてエントロピー復号した相対予測セット情報と、記憶してある復号済み予測セット情報とに基づいて、復号対象ブロックの予測セット情報を作成する（ステップＳ２１２）。

【0453】

エントロピー復号部５０５は、相対予測モード情報の符号化データをエントロピー復号して、相対予測モード情報を予測モード情報作成部６２へ出力する(ステップＳ２１３)。

【0454】

予測モード情報作成部６２は、入力された予測セット情報、参照方向組合せインデクス、および当該サブブロックにおける相対予測モード情報と、当該サブブロックに隣接する復号済みサブブロックの予測セット情報および予測モード情報に基づいて、当該サブブロックの予測モード情報を作成する（ステップＳ２１４）。

【0455】

エントロピー復号部５０５は、さらに所定のブロックサイズ（Ｎ×Ｎ画素ブロック）に分割した各復号対象サブブロックについても、予測残差データの量子化値をエントロピー復号する（ステップＳ２１５）。

【0456】

イントラ予測部１０は、メモリ９に格納した復号済みの隣接サブブロックにおける局所復号画像を用いて、復号対象サブブロックに適用する予測モードに応じた予測画像（Ｎ×Ｎ画素ブロック）をイントラ予測して生成する（ステップＳ２１６）。イントラ予測による予測画像の生成方法は、実施形態１において説明したため、ここではその説明を省略する。

【0457】

ステップＳ２１５において復号した予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８に出力される（ステップＳ２１７）。

【0458】

加算演算部８は、ステップＳ２１６で生成した予測画像と、ステップＳ２１７で逆量子化・逆直交変換した予測残差データとを加算し、復号対象サブブロックの復号画像（Ｎ×Ｎ画素ブロック）を出力する（ステップＳ２１８）。

【0459】

メモリ９は、ステップＳ２１８で生成した復号対象サブブロックにおける復号画像を記憶する（ステップＳ２１９）。

【0460】

なお、画像復号装置５５０は、復号対象ブロックを構成する全てのサブブロックについてステップＳ２１３〜Ｓ２１９を繰り返し、また復号対象画像を構成する全てのブロックについてステップＳ２１０〜Ｓ２１９の処理を繰り返す。

【0461】

本実施形態では、画像復号装置５５０の復号プロセスをステップＳ２１０〜Ｓ２１９の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。

【0462】

（予測モード情報の詳細な作成プロセス）
次に、予測モード情報を作成するプロセスについて、図４１を参照して以下に説明する。図４１は、予測モード情報を生成する詳細なプロセスを示すフローチャートである。

【0463】

まず、参照方向決定部６２２は、入力した予測セット情報および参照方向組合せインデクスと、当該サブブロックの位置とに基づいて、参照方向組合せテーブルから、予測モード情報の推定に用いる参照サブブロックの参照方向を決定する（ステップＳ２２０）。そして、決定した参照方向を予測モード情報推定部６２３へ出力する。

【0464】

予測モード情報推定部６２３は、入力した参照方向が示す参照サブブロックの予測モード情報および予測セット情報をそれぞれ格納部６２１ａ、格納部６２１ｂより取得する（ステップＳ２２１）。続いて、予測モード情報推定部６２３は、取得した参照サブブロックにおける予測モード情報と予測セット情報、ならびに当該サブブロックにおける予測セット情報に基づいて、予測モード対応表より、予測モード情報の推定値を決定する（ステップＳ２２２）。なお、決定した推定値は予測モード情報生成部６２４へ出力される。

【0465】

予測モード情報生成部６２４は、入力した相対予測モード情報と予測モード情報の推定値に基づいて、当該サブブロックにおける予測モード情報を生成し、出力する（ステップＳ２２３）。

【0466】

最後に、格納部６２１ａ、６２１ｂは、当該サブブロックにおける予測モード情報および予測セット情報をそれぞれ記憶する（ステップＳ２２４）。

【0467】

なお、本実施形態では予測セットならびに参照方向組合せインデクスの復号単位をＭ×Ｍ画素ブロックとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を復号単位としてもよい。例えば、スライス単位で予測セットならびに参照方向の組合せを切り替える場合、スライスの先頭で選択した予測セットならびに参照方向の組合せに関する情報を復号する必要がある。予測セットならびに参照方向組合せインデクスの復号単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよく、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。

【0468】

（作用効果）
以上のように、画像復号装置５５０は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を備えている。画像復号装置５５０は、画像を構成する各ブロックにおいて、復号対象ブロックに用いる予測セット情報を、相対予測セット情報と復号済み予測セット情報を用いて復号する。次に、当該ブロック中の全サブブロックの予測モードの推定に用いる参照方向の組合せを表す参照方向組合せインデクスを復号する。そして、画像復号装置５５０は、前記ブロックをさらに分割したサブブロック単位に、前記復号した予測セット情報と、前記復号した参照方向組合せインデクスと、当該サブブロックに隣接する復号済みサブブロックの予測セット情報と予測モード情報から当該サブブロックの予測モードを推定し、前記推定値と相対予測モード情報に基づいて、予測モード情報を復号する。したがって、画像復号装置５５０は、当該サブブロックの予測モードの推定に用いる参照サブブロックを選択することが可能となるため、予測モードの推定精度が高まり、予測モードを復号するのに要する符号量を削減することが可能である。また、画像復号装置５５０は、当該サブブロックの予測セットと、予測モードの推定に用いる参照サブブロックの予測セットが異なる場合、上記予測モード対応表を利用することで、参照サブブロックの予測モードを当該サブブロックの予測セット中の最も類似する予測モードへ変換するため、当該サブブロックの予測モードの推定精度を向上させ、予測モードを復号するのに要する符号量をさらに効率的に削減することが可能である。また、画像復号装置５５０は、前記参照方向組合せインデクスを出現頻度の偏りに応じた可変長符号により復号を行うため、参照方向組合せインデクスの復号に要する符号量の増加を抑制することが可能である。

【0469】

〔実施形態７〕
本発明に係る画像符号化装置の他の形態を実施形態７として、図４２〜図４９を参照して以下に説明する。なお、実施形態１〜６と同様の構成要素については同一の符号を付し、その説明を省略する。

【0470】

実施形態５では、当該サブブロックの予測モードの推定に用いる参照サブブロックの決定に予測セット情報を利用する場合について説明している。本実施形態では、予測セット情報を利用することなく、当該サブブロックの周辺にある符号化済みサブブロックにおける予測モードを用いて、当該サブブロックの予測モードの推定に用いる参照サブブロックを決定する画像符号化装置について説明する。

【0471】

（画像符号化装置６００の構成）
本実施形態に係る画像符号化装置６００の構成について、図４２を参照して以下に説明する。図４２は、本実施形態に係る画像符号化装置６００の構成を示すブロック図である。画像符号化装置６００は、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部３０４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部３１０、予測モード決定部３１１、相対予測モード情報作成部６６１を備えている。本実施形態では、まだ説明されていない相対予測モード情報作成部６６１について以下に説明する。

【0472】

（相対予測モード情報作成部６６１）
相対予測モード情報作成部６６１は、予測モード決定部３１１より入力された予測モード情報、および相対予測モード情報作成部６６１の内部で記憶されている当該サブブロックに隣接する符号化済みサブブロックの予測モード情報に基づいて、当該サブブロックの相対予測モード情報を作成する。

【0473】

相対予測モード情報作成部６６１の構成について、図４３を参照して以下に説明する。図４３は、相対予測モード情報作成部６６１の構成を示すブロック図である。

【0474】

相対予測モード情報作成部６６１は、図４３に示すように、格納部６６２、参照位置決定部６６３、予測モード情報推定部６６４、および相対予測モード情報生成部６６５を備えている。

【0475】

（格納部６６２）
格納部６６２は、入力された当該サブブロックの予測モード情報を格納する。なお、格納された予測モード情報は当該サブブロックより後に符号化されるサブブロックにおける予測モード情報の推定に利用される。

【0476】

（参照位置決定部６６３）
参照位置決定部６６３は、当該サブブロックの周辺に位置する符号化済みサブブロックの予測モード情報を利用して、当該サブブロックに隣接する４箇所のサブブロック（図４４中の隣接サブブロックＡ、Ｂ、Ｃ、Ｄ）のうち、当該サブブロックと最も相関の高いサブブロック（参照サブブロック）を決定し、決定した参照サブブロックの位置情報（参照位置情報）を予測モード情報推定部６６４へ出力する。ここでは、当該サブブロックを当該サブブロックＯと称する。

【0477】

（予測モード情報推定部６６４）
予測モード情報推定部６６４は、参照位置決定部６６３において決定された参照位置情報、および格納部６６２に格納された復号済み隣接サブブロックの予測モード情報に基づいて、当該サブブロックに用いる予測モード情報の推定値を所定の方法で決定し、決定した推定値を予測モード情報生成部６６５へ出力する。

【0478】

（相対予測モード情報生成部６６５）
相対予測モード情報生成部６６５は、相対予測モード情報生成部６１４と同じ機能を有しており、入力された予測モード情報と、予測モード情報推定部６６４において決定された予測モード情報の推定値probable_modeに基づいて、推定値に対する予測モードの相対情報（相対予測モード情報）を生成する。また、生成された相対予測モード情報は、エントロピー符号化部３０４へ出力される。ここで、相対予測モード情報relative_mode_data( )のデータ構造は表１８と同じである。

【0479】

（画像符号化プロセスの概要）
画像符号化装置６００における画像符号化プロセスの概要について、図４５を参照して以下に説明する。図４５は、画像符号化装置６００における画像符号化プロセスの概要を示すフローチャートである。

【0480】

符号化対象サブブロック（Ｎ×Ｎ画素ブロック）を画像符号化装置６００に入力する（ステップＳ２３０）。

【0481】

予測モード決定部３１１は、符号化対象サブブロックの原画像と、メモリ９に格納した局所復号画像（Ｎ×Ｎ画素ブロック）とに基づいて、符号化対象サブブロックの予測モードを決定する（ステップＳ２３１）。なお、決定した予測モードに関する予測モード情報はイントラ予測部３１０、および相対予測モード情報作成部６６１へ出力される。

【0482】

相対予測モード情報作成部６６１は、予測モード決定部３１１から入力した符号化対象サブブロックにおける予測モード情報を、参照サブブロックの予測モード情報に基づいて、符号化対象サブブロックの相対予測モード情報を作成し、出力する（ステップＳ２３２）。

【0483】

エントロピー符号化部３０４は、入力した相対予測モード情報を、エントロピー符号化して、相対予測モード情報の符号化データを出力する（ステップＳ２３３）。

【0484】

イントラ予測部３１０は、メモリ９から取得した符号化済み隣接サブブロックにおける局所復号画像を用いて、上記ステップＳ２３１で決定した予測モードにより定まるイントラ予測を行い、符号化対象サブブロックの予測画像を生成する（ステップＳ２３４）。生成された符号化対象サブブロックの予測画像は、差分演算部１、および加算演算部８へ出力される。なお、予測画像の生成方法は従来技術と同じであるため、ここではその説明を省略する。

【0485】

差分演算部１は、入力した符号化対象サブブロックの原画像と、ステップＳ２３４で生成した予測画像との差分である符号化対象サブブロックの予測残差データを算出し、出力する（ステップＳ２３５）。

【0486】

ステップＳ２３５で算出した予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部３０４および逆量子化部６へ出力される（ステップＳ２３６）。

【0487】

直交変換・量子化された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換され、加算演算部８へ出力される(ステップＳ２３７)。

【0488】

加算演算部８は、ステップＳ２３７において逆量子化および逆直交変換した予測残差データと、ステップＳ２３４において生成した予測画像とを加算し、符号化対象サブブロックの局所復号画像を生成する（ステップＳ２３８）。なお、生成した局所復号画像は、メモリ９に格納される。

【0489】

エントロピー符号化部３０４は、符号化対象サブブロックの量子化済み予測残差データをエントロピー符号化して、予測残差データの符号化データを出力する（ステップＳ２３９）。

【0490】

なお、画像符号化装置６００は、ステップＳ２３０〜Ｓ２３９における処理を、符号化対象画像を構成する全てのサブブロックについて行う。

【0491】

本実施形態では、画像符号化装置６００の符号化プロセスをステップＳ２３０〜Ｓ２３９の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。

【0492】

（参照サブブロックの詳細な決定プロセス）
参照サブブロックの決定方法について、以下に説明する。まず、対象サブブロックＰに対するサブブロックＱの相対位置について説明する。図４６に示すように、対象サブブロックＰを基点（０，０）として、水平方向をＸ軸（右を正）、垂直方向をＹ軸（下を正）と軸を定めるとき、Ｐに対するＱの相対位置を（ｘ，ｙ）で表すものとする。例えば、当該サブブロックに隣接するサブブロックＡ、Ｂ、Ｃ、Ｄの相対位置はそれぞれ（−１，０）、（０，−１）、（−１，−１）、（１，−１）で表される。

【0493】

次に、対象サブブロックＰに対する相対位置（ｘ，ｙ）にあるサブブロックＱの連結度をＳｐ（ｘ，ｙ）と定義する。ここで、連結度Ｓｐ（ｘ，ｙ）は、対象サブブロックＰと、相対位置（ｘ，ｙ）にあるサブブロックＱとの相関の程度を表すコスト関数であり、式（３１）で表される。なお、連結度Ｓｐ（ｘ，ｙ）は、その値が大きいほどサブブロックＰとサブブロックＱの相関が強いことを表す。

【0494】

【数17】

【0495】

ここで、上記式（３１）中のｗｐは、サブブロックＰにおける予測モードｍｐがサブブロックＱにおいて予測モードｍｐと類似する予測モードの出現する程度を表した重み係数である。同様に、ｗｑは、サブブロックＱにおける予測モードｍｑがサブブロックＱに対してサブブロックＰにおいて予測モードｍｑと類似する予測モードの出現する程度を表した重み係数である。

【0496】

重み係数ｗｐ、ｗｑは、表３０を参照して、予測モードｍｐ、ｍｑと相対位置（ｘ，ｙ）により定められる。なお、表３０中の重み係数ｗ１、ｗ２には、下記式（３２）に示す大小関係があり、重み係数ｗｉの値が大きいほど、類似する予測モードが出現しやすいことを表している。

【0497】

【数18】

【0498】

【表30】

【0499】

例えば、対象サブブロックＰにおける予測モードｍｐが予測モード１（水平方向の予測）である場合には、４種類の相対位置のうち、対象サブブロックＰの左に位置する（相対位置(−1，０)にある）サブブロックにおいて類似する予測モードが出現しやすい。そのため、相対位置(−1，０)は重み係数を大きい値ｗ１に設定し、その他の相対位置（０，−１）、（−１，−１）、（１，−１）は小さい値ｗ２に設定する。ただし、重み係数の値は、ｗ１、ｗ２の２種類に限定されるものではない。

【0500】

また、上記式（３１）中のｄは、対象サブブロックＰの予測モードｍｐとサブブロックＱの予測モードｍｑとの予測方向がどれだけ近いかを表す類似度であり、表３１を用いて算出される。表３１中のｄｉ（ｉ＝１，２，３，４，５）は、類似度を表す所定の値であり、各ｄｉの間には下記式（３３）に示す大小関係がある。すなわち、ｄｉの値が大きいほど、類似度が高いことを表している。

【0501】

【数19】

【0502】

【表31】

【0503】

例えば、予測モードｍｐが予測モード１（水平方向の予測）である場合、予測モードｍｑも同様に予測モード１であれば、予測方向が一致する。そのため、類似度には値の大きいｄ１を設定する。また、ｍｑが図６８において予測モード１に最近接する予測モード６、８である場合には、ｄ２を設定する。また、ｍｑが図６８において予測モード１と２番目に近接する予測モード３、４である場合には、ｄ３を設定する。また、ｍｑが図６８において予測モード１と３番目に近接する予測モード５、７である場合には、ｄ４を設定する。さらに、ｍｑが図６８において予測モード１と最も離れている予測モード０である場合には、ｄ５を設定する。なお、ｍｑが予測モード２である場合は、ｄ１〜ｄ５の中間値であるｄ３を設定する。ただし、類似度の値は、ｄ１〜ｄ５の５種類に限定されるものではない。類似度ｄは、対象サブブロックＰの予測モードｍｐが出現する場合、隣接サブブロックにおいてより類似した予測モードが出現しやすい特性に基づいて設定することが好ましい。例えば、予め求めた予測モードｍｐに対する予測モードｍｑの出現確率（同時生起確率）に基づいて設定することが好ましい。

【0504】

次に当該サブブロックＯに隣接するサブブロックＡ、Ｂ、Ｃ、Ｄそれぞれにおいて、４つの相対位置（−１，０）、（０，−１）、（−１，−１）、（１，−１）との連結度Ｓｐ（ｘ，ｙ）（ｐ＝ａ、ｂ、ｃ、ｄ）を求める。例えば、隣接サブブロックＡであれば、Ｓａ（−１，０）、Ｓａ（０，−１）、Ｓａ（−１，−１）、Ｓａ（１，−１）を求める。

【0505】

各隣接サブブロックＡ、Ｂ、Ｃ、Ｄにおいて求めた連結度Ｓｐ（ｘ，ｙ）に基づいて、当該サブブロックＯに対して相対位置（−１，０）、（０，−１）、（−１，−１）、（１，−１）における連結度Ｓｏ（ｘ，ｙ）を、下記式（３４）〜（３７）を用いて推定する。なお下記式（３４）〜（３７）では、隣接サブブロックＡ、Ｂ、Ｃ、Ｄの連結度Ｓｐ（ｘ，ｙ）のうち、取得することができないものがある場合（例えば、隣接サブブロックが符号化対象画像の外に位置する場合など）には、所定の値を代入することが好ましい。

【0506】

【数20】

【0507】

上記式（３４）〜（３７）により推定した連結度Ｓｏ（ｘ，ｙ）の中で、最も値の大きい連結度を与える相対位置（ｘ，ｙ）を当該サブブロックＯの参照サブブロックとする。なお、値が等しい連結度が複数ある場合は、所定の相対位置（ｘ，ｙ）を当該サブブロックＯの参照サブブロックとすることが好ましい。

【0508】

（相対予測モード情報作成部６６１の動作プロセス）
次に、相対予測モード情報作成部６６１において相対予測モード情報を作成するプロセスについて、図４７を参照して以下に説明する。図４７は、相対予測モード情報を生成する詳細なプロセスを示すフローチャートである。

【0509】

まず、格納部６６２は、入力した予測モード情報を格納する（ステップＳ２４０）。次に、参照位置決定部６６３は、格納部６６２に格納された当該サブブロックの周辺に位置する複数の符号化済みサブブロックの予測モード情報に基づいて、当該サブブロックと隣接サブブロック（Ａ、Ｂ、Ｃ、Ｄ）間の相関を推定する（ステップＳ２４１）。

【0510】

ステップＳ２４１により求めた相関に基づいて、当該サブブロックの予測モード情報の推定に用いる参照サブブロックを隣接サブブロックＡ、Ｂ、Ｃ、Ｄの中より決定する（ステップＳ２４２）。なお、決定した参照サブブロックの位置を表す参照位置情報は、予測モード情報推定部６６４へ出力される。

【0511】

予測モード情報推定部６６４は、入力した参照位置情報が示す参照サブブロックの予測モード情報を格納部６６２より取得する（ステップＳ２４３）。次に、取得した参照サブブロックにおける予測モード情報に基づき、予測モード情報の推定値を決定し、決定した推定値を相対予測モード情報生成部６６５へ出力する（ステップＳ２４４）。

【0512】

相対予測モード情報生成部６６５は、入力した予測モード情報と、予測モード情報の推定値とに基づいて、当該サブブロックにおける相対予測モード情報を生成し、出力する（ステップＳ２４５）。

【0513】

（変形例）
隣接する符号化済みサブブロックの予測モード情報の代わりに、隣接する符号化済みサブブロックの局所復号画像を利用して、参照サブブロックを決定する相対予測モード情報作成部６６１ｂについて、実施形態７の変形例として説明する。

【0514】

なお、本実施形態７の相対予測モード情報作成部６６１は、隣接する符号化済みサブブロックの予測モード情報に基づいて、符号化対象サブブロックの予測モードの推定時に利用する参照サブブロックを決定する場合について例示している。

【0515】

（画像符号化装置６００ｂの構成）
相対予測モード情報作成部６６１ｂを用いる場合の画像符号化装置６００ｂの構成について図４８を参照して以下に説明する。画像符号化装置６００ｂは、主として、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部３０４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部３１０、予測モード決定部３１１、および相対予測モード情報作成部６６１ｂを備えている。相対予測モード情報作成部６６１ｂについて以下に説明する。

【0516】

（相対予測モード情報作成部６６１ｂ）
相対予測モード情報作成部６６１ｂは、予測モード決定部３１１より入力された予測モード情報と、メモリ９に記憶されている当該サブブロックに隣接する符号化済みサブブロックの局所復号画像とに基づいて、当該サブブロックの相対予測モード情報を作成する。

【0517】

相対予測モード情報作成部６６１ｂの構成について、図４９を参照して以下に説明する。図４９は、相対予測モード情報作成部６６１ｂの構成を示すブロック図である。

【0518】

相対予測モード情報作成部６６１ｂは、図４９に示すように、格納部６６２、参照位置決定部６６３ｂ、予測モード情報推定部６６４、および相対予測モード情報生成部６６５を備えている。参照位置決定部６６３ｂについて、以下に説明する。

【0519】

（参照位置決定部６６３ｂ）
参照位置決定部６６３ｂは、当該サブブロックの周辺に位置する符号化済みサブブロックの局所復号画像を利用して、当該サブブロックに隣接する４箇所のサブブロック（図４４中の隣接サブブロックＡ、Ｂ、Ｃ、Ｄ）のうち、当該サブブロックと最も相関の高いサブブロック（参照サブブロック）を決定する。そして、決定した参照サブブロックの位置情報（参照位置情報）を予測モード情報推定部６６４へ出力する。ここでは、当該サブブロックを当該サブブロックＯと称する。

【0520】

（画像符号化プロセスの概要）
画像符号化装置６００ｂにおける画像符号化プロセスは、ステップＳ２３２を除いて、画像符号化装置６００の画像符号化プロセスとほぼ同じであるためその説明を省略する。なお、画像符号化装置６００の画像符号化プロセスと相違するステップＳ２３２は以下の通りである。

【0521】

相対予測モード情報作成部６６１ｂは、予測モード決定部３１１から入力した符号化対象サブブロックにおける予測モード情報を、メモリ９より入力された符号化対象サブブロックの周辺に位置する符号化済みサブブロックの局所復号画像に基づいて、符号化対象サブブロックの相対予測モード情報を作成し、出力する（ステップＳ２３２）。

【0522】

（参照サブブロック位置の詳細な決定プロセス）
当該サブブロックの周辺に位置する符号化済みサブブロックの局所復号画像を利用した参照サブブロック位置の決定方法について、以下に説明する。

【0523】

参照位置決定部６６３ｂでは対象サブブロックと相対位置（ｘ，ｙ）にあるサブブロックＱの相関を評価するために、連結度Ｓｐ（ｘ，ｙ）の代わりにコスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）を用いる。ここで、変数θｐ，θｑは、それぞれ、対象サブブロックＰ、相対位置（ｘ，ｙ）にあるサブブロックＱにおける支配的なエッジ方向である。また、Ｔｐ、Ｔｑは、それぞれ、対象サブブロックＰ、相対位置（ｘ，ｙ）におけるサブブロックＱにおけるエッジ強度を表す。なお、エッジ方向、エッジ強度の算出方法は、実施形態１で説明しているため省略する。

【0524】

コスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）の具体的な例としては、下記式（３８）、（３９）が挙げられる。

【0525】

【数21】

【0526】

上記式（３８）は、エッジ方向θｐとθｑとの差分の絶対値と、エッジ強度ＴｐとＴｑとの差分の絶対値の積で与えられるコスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）である。また、上記式（３９）は、エッジ方向θｐとθｑとの差分の絶対値と、エッジ強度ＴｐとＴｑとの差分の絶対値の和で与えられるコスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）である。なお、式（３８）、（３９）におけるパラメータα、β、γ、εは所定のスケーリング変数である。

【0527】

上記式（３８）、（３９）で表されるコスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）は、値が小さいほど、対象サブブロックＰと相対位置（ｘ，ｙ）にあるサブブロックＱとの相関が強いことを表している。ここで便宜上、対象サブブロックＰに対する相対位置（ｘ，ｙ）にあるサブブロックＱとのコスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）をｆｐ（ｘ，ｙ）と表記する。

【0528】

次に、図４４中の当該サブブロックＯに隣接するサブブロックＡ、Ｂ、Ｃ、Ｄそれぞれと、４つの相対位置（−１，０）、（０，−１）、（−１，−１）、（１，−１）とのコスト関数ｆｐ（ｘ，ｙ）を求める。例えば、隣接サブブロックＡであれば、ｆａ（−１，０），ｆａ（０，−１）、ｆａ（−１，−１）、ｆａ（１，−１）を求める。

【0529】

そして、各隣接サブブロックＡ、Ｂ、Ｃ、Ｄにおいて求めたコスト関数ｆｐ（ｘ，ｙ）に基づいて、当該サブブロックＯに対して相対位置（−１，０）、（０，−１）、（−１，−１）、（１，−１）におけるコスト関数ｆｏ（ｘ，ｙ）を下記式（４０）〜（４３）により推定する。なお、下記式（４０）〜（４３）において、隣接サブブロックＡ、Ｂ、Ｃ、Ｄのコスト関数ｆｐ（ｘ，ｙ）のうち、取得することができないものがある場合は、所定の値を代入するものとすることが好ましい。

【0530】

【数22】

【0531】

上記式（４０）〜（４３）により推定したコスト関数ｆｏ（ｘ，ｙ）の中で、最も小さいコストを与える相対位置（ｘ，ｙ）を当該サブブロックＯの参照サブブロックとする。なお、値が等しいコストが複数ある場合は、所定の相対位置（ｘ，ｙ）を当該サブブロックＯの参照サブブロックとすることが好ましい。

【0532】

（相対予測モード情報の詳細な作成プロセス）
相対予測モード情報を作成するプロセスは、ステップＳ２４１を除いて、相対予測モード情報作成部６６１の動作プロセスとほぼ同じであるため、その説明を省略する。なお、相対予測モード情報作成部６６１の動作プロセスと相違するステップＳ２４１は以下の通りである。

【0533】

参照位置決定部６６３ｂは、メモリ９に格納された当該サブブロックの周辺に位置する複数の符号化済みサブブロックの局所復号画像よりエッジ情報を算出し、算出したエッジ情報に基づいて、当該サブブロックと隣接サブブロック（Ａ、Ｂ、Ｃ、Ｄ）間の相関を推定する（ステップＳ２４１）。

【0534】

（付記事項）
なお、本実施形態ならびに本実施形態の変形例では、予測モードの推定に用いるサブブロック位置の選択単位をサブブロックとしてとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）をサブブロック位置の選択単位としてもよい。予測モードの推定に用いるサブブロック位置の選択単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよく、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。また、本実施形態ならびに本実施形態の変形例では、予測モードの推定に用いる隣接サブブロックを図４４中のサブブロックＡ、Ｂ、Ｃ、Ｄとしているが、これに限定されるものではない。例えば、サブブロックＡ、Ｂのみでもよいし、Ａ、Ｂ、Ｃ、Ｄ及びそれ以外の符号化対象サブブロックに近接する符号化済みサブブロックを用いてもよい。

【0535】

（作用効果）
以上のように、本実施形態に係る画像符号化装置６００は、互いに異なる予測方向に応じた予測モードを複数含む予測セットを少なくとも１つ有している。

【0536】

画像符号化装置６００は、画像を構成する各ブロックにおいて、符号化対象ブロックをさらに分割したサブブロック毎に、符号化済み隣接サブブロックの予測モード情報、または符号化済み隣接サブブロックの復号画像より所定の方法に基づいて、当該サブブロックと隣接サブブロックとの相関を推定する。そして、推定した相関の結果に基づいて、当該サブブロックと最も相関の高い符号化済み隣接サブブロックを選択し、選択した符号化済みサブブロックの予測モードにより、当該サブブロックの予測モードを推定して符号化する。

【0537】

したがって、画像符号化装置６００は、当該サブブロックと最も相関の高いサブブロックを選択することができるため、当該サブブロックの予測モードの推定精度が高まり、予測モードを表すのに要する符号量を削減し、符号化効率を高めることが可能である。

【0538】

〔実施形態８〕
本発明に係る画像復号装置の他の形態について、実施形態８として図５０〜図５５を参照して以下に説明する。なお、実施形態１〜７と同様の構成要素については同一の符号を付し、その説明を省略する。

【0539】

（画像復号装置６５０の構成）
実施形態８に係る画像復号装置６５０の構成について、図５０を参照して以下に説明する。図５０は、画像復号装置６５０の構成を示すブロック図である。

【0540】

図５０に示すように、画像復号装置６５０は、主として、エントロピー復号部３０５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部３１０、予測モード情報作成部６６６を備えている。本実施形態では、予測モード情報作成部６６２についてのみ以下に説明する。

【0541】

（予測モード情報作成部６６６）
予測モード情報作成部６６６は、実施形態７における相対予測モード情報作成部６６１の逆処理を実行するものであり、エントロピー復号された復号対象サブブロックの相対予測モード情報と、予測モード情報作成部６６６の内部で記憶されている当該サブブロックの周辺に位置する復号済みサブブロックの予測モード情報に基づいて、当該サブブロックの予測モード情報を作成する。

【0542】

予測モード情報作成部６６６の構成について、図５１を参照して以下に説明する。図５１は、予測モード情報作成部６６２の構成を示すブロック図である。予測モード情報作成部６６６は、図５１に示すように、格納部６６７、参照位置決定部６６８、予測モード情報推定部６６９、および予測モード情報生成部６７０を備えている。

【0543】

（格納部６６７）
格納部６６７は、相対予測モード情報作成部６６１における格納部６６２と同等の機能を有しており、予測モード情報生成部６７０で生成された当該サブブロックの予測モード情報を格納する。なお、格納された予測モード情報は当該サブブロックより後に復号されるサブブロックにおける予測モード情報の推定に利用される。

【0544】

（参照位置決定部６６８）
参照位置決定部６６８は、相対予測モード情報作成部６６１における参照位置決定部６６３と同等の機能を有している。すなわち、当該サブブロックの周辺に位置する復号済みサブブロックの予測モード情報を利用し、当該サブブロックに隣接する４箇所のサブブロック（図４４中の隣接サブブロックＡ、Ｂ、Ｃ、Ｄ）のうち、当該サブブロックと最も相関の高いサブブロック（参照サブブロック）を決定する。そして、決定した参照サブブロックの位置情報（参照位置情報）を予測モード情報推定部６６９へ出力する。なお、参照サブブロックの決定方法は、実施形態７における参照位置決定部６６３と同じであるため、ここではその説明を省略する。

【0545】

（予測モード情報推定部６６９）
予測モード情報推定部６６９は、相対予測モード情報作成部６６１における予測モード情報推定部６６４と同等の機能を有している。すなわち、参照位置決定部６６８において決定された参照位置情報、および格納部６６７に格納された復号済み隣接サブブロックの予測モード情報に基づいて、当該サブブロックに用いる予測モード情報の推定値を所定の方法で決定し、決定した推定値を予測モード情報生成部６７０へ出力する。

【0546】

（予測モード情報生成部６７０）
予測モード情報生成部６７０は、相対予測モード情報生成部６６５の逆処理を実行するものである。すなわち、入力された相対予測モード情報と、予測モード情報推定部６６９において決定された予測モード情報の推定値probable_modeとに基づいて、当該サブブロックに用いる予測モード情報を生成する。また、生成された予測モード情報は、格納部６６６およびイントラ予測部３１０へ出力される。なお、予測モード情報mode_data( )のデータ構造は表２９と同じである。

【0547】

（画像復号プロセスの概要）
画像復号装置６５０における画像復号プロセスの概要について、図５２を参照して説明する。図５２は、画像復号装置６５０における画像復号プロセスの概要を示すフローチャートである。

【0548】

復号対象サブブロック（Ｎ×Ｎ画素ブロック）の符号化データを画像復号装置６５０に入力する（ステップＳ２５０）。

【0549】

エントロピー復号部３０５は、入力した符号化データ中の復号対象サブブロックに用いる相対予測モード情報の符号化データをエントロピー復号して、相対予測モード情報を予測モード情報作成部６６６へ出力する(ステップＳ２５１)。

【0550】

予測モード情報作成部６６６は、入力した復号対象サブブロックにおける相対予測モード情報と、復号対象サブブロックの周辺に位置する復号済みサブブロックの予測モード情報とに基づいて、当該サブブロックの予測モード情報を作成する（ステップＳ２５２）。

【0551】

エントロピー復号部３０５は、予測残差データの符号化データをエントロピー復号する（ステップＳ２５３）。

【0552】

イントラ予測部３１０は、メモリ９に格納した復号済みの隣接サブブロックにおける局所復号画像を用いて、復号された予測モード情報に応じたイントラ予測をして、復号対象サブブロックの予測画像（Ｎ×Ｎ画素ブロック）を生成する（ステップＳ２５４）。なお、予測画像の生成方法は従来技術と同じであるため、ここではその説明を省略する。

【0553】

ステップＳ２５３において復号した予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８に出力される（ステップＳ２５５）。

【0554】

加算演算部８は、ステップＳ２５４において生成した予測画像と、ステップＳ２５５において逆量子化・逆直交変換した予測残差データとを加算し、復号対象サブブロックの復号画像（Ｎ×Ｎ画素ブロック）を生成して出力する（ステップＳ２５６）。

【0555】

メモリ９は、生成した復号対象サブブロックにおける復号画像を記憶する（ステップＳ２５７）。

【0556】

なお、画像復号装置６５０は、復号対象画像を構成する全てのサブブロックについてステップＳ２５０〜Ｓ２５７の処理を繰り返す。

【0557】

本実施形態では、画像復号装置６５０の復号プロセスをステップＳ２５０〜Ｓ２５７の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。

【0558】

（予測モード情報作成部６６２の動作プロセス）
次に、予測モード情報を作成するプロセスの詳細について、図５３を参照して以下に説明する。図５３は、予測モード情報を生成する詳細なプロセスを示すフローチャートである。

【0559】

まず、参照位置決定部６６８は、格納部６６７に記憶した当該サブブロックの周辺に位置する複数の復号済みサブブロックの予測モード情報に基づいて、当該サブブロックと隣接サブブロック（Ａ、Ｂ、Ｃ、Ｄ）間の相関を推定する（ステップＳ２６０）。次に、ステップＳ２６０で求めた相関に基づいて、当該サブブロックの予測モード情報の推定に用いる参照サブブロックを隣接サブブロックＡ、Ｂ、Ｃ、Ｄの中より決定し、決定した参照サブブロックの位置を表す参照位置情報を予測モード情報推定部６６９へ出力する（ステップＳ２６１）。

【0560】

予測モード情報推定部６６９は、入力した参照位置情報が示す参照サブブロックの予測モード情報を格納部６６７より取得する（ステップＳ２６２）。次に、取得した参照サブブロックにおける予測モード情報に基づいて予測モード情報の推定値を決定し、決定した推定値を相対予測モード情報生成部６７０へ出力する（ステップＳ２６３）。

【0561】

相対予測モード情報生成部６７０は、入力した相対予測モード情報と、予測モード情報の推定値とに基づいて、当該サブブロックにおける予測モード情報を生成し、出力する（ステップＳ２６４）。

【0562】

最後に、格納部６６７は、生成した当該サブブロックの予測モード情報を格納する（ステップＳ２６５）。

【0563】

（変形例）
隣接する復号済みサブブロックの予測モード情報の代わりに、隣接する復号済みサブブロックの局所復号画像を利用して、参照サブブロックを決定する予測モード情報作成部６６２ｂを備えた画像復号装置を、変形例として以下に説明する。

【0564】

なお、実施形態８の予測モード情報作成部６６６は、隣接する復号済みサブブロックの予測モード情報に基づいて、当該サブブロックの予測モードの推定時に利用する参照サブブロックを決定する場合について例示している。

【0565】

（画像復号装置６５０ｂの構成）
予測モード情報作成部６６６ｂを備える場合の画像符号化装置６５０ｂの構成について図５４を参照して以下に説明する。図５４は、画像復号装置６５０ｂの構成を示すブロック図である。

【0566】

図５４に示すように、画像復号装置６５０ｂは、主として、エントロピー復号部３０５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部３１０、予測モード情報作成部６６６ｂを備えている。本実施形態では、予測モード情報作成部６６２ｂについてのみ以下に説明する。

【0567】

（予測モード情報作成部６６６ｂ）
予測モード情報作成部６６６ｂは、実施形態７の変形例として示した画像符号化装置６００ｂに備えられている相対予測モード情報作成部６６１ｂの逆処理を実行するものである。すなわち、エントロピー復号された復号対象サブブロックの相対予測モード情報と、メモリ９に記憶されている復号対象サブブロックに隣接する復号済みサブブロックの局所復号画像とに基づいて、当該サブブロックの予測モード情報を作成する。

【0568】

次に、予測モード情報作成部６６６ｂの構成について説明する。図５５は、予測モード情報作成部６６６ｂの構成を示すブロック図である。予測モード情報作成部６６６ｂは、図５５に示すように、格納部６６７、参照位置決定部６６８ｂ、予測モード情報推定部６６９、および予測モード情報生成部６７０を備えている。ここでは、参照位置決定部６６８ｂについてのみ以下に説明する。

【0569】

（参照位置決定部６６８ｂ）
参照位置決定部６６８ｂは、画像符号化装置６００ｂに備えられている相対予測モード情報作成部６６１ｂにおける参照位置決定部６６３ｂと同等の機能を有している。すなわち、当該サブブロックの周辺に位置する復号済みサブブロックの局所復号画像を利用して、当該サブブロックに隣接する４箇所のサブブロック（図４４中の隣接サブブロックＡ、Ｂ、Ｃ、Ｄ）より、参照サブブロックを決定する。そして、決定した参照サブブロックの位置を表す参照位置情報を予測モード情報推定部６６９へ出力する。なお、参照サブブロックの決定方法は、実施形態７における参照位置決定部６６３ｂと同じであるため、ここではその説明を省略する。

【0570】

（画像復号プロセスの概要）
画像復号装置６５０ｂにおける画像復号プロセスは、ステップＳ２５２を除いて、画像復号装置６５０の画像復号プロセスとほぼ同じであるためその説明を省略する。なお、画像復号装置６５０の画像復号プロセスと相違するステップＳ２５２は以下の通りである。

【0571】

予測モード情報作成部６６６ｂは、入力した復号対象サブブロックにおける相対予測モード情報と、メモリ９に記憶されている復号対象サブブロックの周辺に位置する復号済みサブブロックの局所復号画像に基づいて、当該サブブロックの予測モード情報を作成する（ステップＳ２５２）。

【0572】

（予測モード情報の詳細な作成プロセス）
予測モード情報を作成するプロセスは、ステップＳ２６１を除いて、相対予測モード情報作成部６６１の動作プロセスとほぼ同じであるため、その説明を省略する。なお、相対予測モード情報作成部６６１の動作プロセスと相違するステップＳ２４１は以下の通りである。

【0573】

参照位置決定部６６８ｂは、メモリ９に格納された当該サブブロックの周辺に位置する複数の復号済みサブブロックの復号よりエッジ情報を算出し、算出したエッジ情報に基づいて、当該サブブロックと隣接サブブロック（Ａ、Ｂ、Ｃ、Ｄ）間の相関を推定する（ステップＳ２４１）。

【0574】

（付記事項）
なお、本実施形態ならびに本実施形態の変形例では、予測モードの推定に用いるサブブロック位置の選択単位をサブブロックとしてとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）をサブブロック位置の選択単位としてもよい。予測モードの推定に用いるサブブロック位置の選択単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよく、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。また、本実施形態ならびに本実施形態の変形例では、予測モードの推定に用いる隣接サブブロックを図４４中のサブブロックＡ、Ｂ、Ｃ、Ｄとしているが、これに限定されるものではない。例えば、サブブロックＡ、Ｂのみでもよいし、Ａ、Ｂ、Ｃ、Ｄ及びそれ以外の復号対象サブブロックに近接する復号済みサブブロックを用いてもよい。

【0575】

（作用効果）
以上のように、本実施形態に係る画像復号装置６５０は、互い異なる予測方向に応じた予測モードを複数含む予測セットを少なくとも１つ有している。

【0576】

画像復号装置６５０は、画像を構成する各ブロックにおいて、復号対象ブロックをさらに分割したサブブロック毎に、復号済み隣接サブブロックの予測モード情報、あるいは復号済み隣接サブブロックの復号画像より所定の方法に基づいて、当該サブブロックと隣接サブブロックとの相関を推定する。そして、推定した相関の結果に基づいて、当該サブブロックと最も相関の高い復号済みサブブロックを選択し、選択した復号済みサブブロックの予測モードにより、当該サブブロックの予測モードを推定し、推定結果と当該サブブロックの相対予測モード情報に基づき、予測モード情報を復号する。

【0577】

したがって、画像復号装置６５０は、当該サブブロックと最も相関の高いサブブロックを選択することができるため、当該サブブロックの予測モードの推定精度を高まり、予測モードを復号するのに要する符号量を削減することが可能である。

【0578】

〔実施形態９〕
本発明に係る画像符号化装置の他の形態について、実施形態９として図５６〜図６０を参照して以下に説明する。なお、実施形態１〜８と同様の構成要素については同一の符号を付し、その説明を省略する。

【0579】

ここで、実施形態１に係る画像符号化装置１００では、予め定められた１つの予測セット群（例えば、表２）より、符号化対象ブロック（Ｍ×Ｍ画素ブロック）に用いる予測セットを１つ決定する場合について例示している。本実施形態では、符号化済み隣接ブロックの情報（例えば、符号化済み隣接ブロック内に含まれるサブブロックに用いたイントラ予測の予測方向）を利用して、予め定められた複数の予測セット群より１つの予測セット群を、ブロック単位に選択し、選択された予測セット群より、符号化対象ブロックに用いる予測セットを１つ決定する画像符号化装置について説明する。

【0580】

（画像符号化装置７００の構成）
本実施形態に係る画像符号化装置７００の構成について、図５６を参照して以下に説明する。図５６は、本実施形態に係る画像符号化装置７００の構成を示すブロック図である。

【0581】

画像符号化装置７００は、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、予測セット群選択部１５、イントラ予測部７１０、符号化パラメータ決定部７１４、および相対予測セット情報作成部７５１を備えている。予測セット群選択部１５、イントラ予測部７１０、符号化パラメータ決定部７１４、および相対予測セット情報作成部７５１について以下に説明する。

【0582】

（予測セット群選択部１５）
予測セット群選択部１５は、定められた複数の予測セット群より、符号化対象ブロックに適用する予測セット群を、符号化済み隣接ブロックの予測セット情報および符号化済み隣接ブロック内の全サブブロックの予測モード情報に基づいて選択する。そして、選択した予測セット群を表す予測セット群情報を出力する。

【0583】

なお、符号化済み隣接ブロックの予測セット情報および符号化済み隣接ブロック中の各サブブロックの予測モード情報は、符号化パラメータ決定部７１４より入力され、予測セット群選択部１５の内部で記憶される。

【0584】

（イントラ予測部７１０）
イントラ予測部７１０は、メモリ９に記憶された符号化済み隣接サブブロックの局所復号画像を用いて、予測セット群情報、予測セット情報、および予測モード情報により定まるイントラ予測を行い、予測画像を生成する。なお、予測画像の詳細な生成方法は、イントラ予測部１０と同一であるため、ここではその説明を省略する。

【0585】

（符号化パラメータ決定部７１４）
符号化パラメータ決定部７１４は、符号化対象ブロックの原画像、メモリ９に記憶された符号化済み隣接ブロックの局所復号画像、および予測セット群選択部１５で選択された予測セット群情報を入力とし、符号化対象ブロックに用いる予測セット、および符号化対象ブロック中の各サブブロックに用いる予測モードなどの符号化パラメータを決定する。決定された予測セットは、イントラ予測部７１０、相対予測セット情報作成部７５１および予測セット群選択部１５へ出力される。また、決定された各サブブロックの予測モードは、予測セット群選択部１５、イントラ予測部７１０およびエントロピー符号化部４へ出力される。

【0586】

なお、符号化パラメータ決定部７１４では、予測セット選択部１５で選択された予測セット群情報が示す予測セット群の中から、符号化対象ブロックに用いる予測セット、および符号化対象ブロック中の各サブブロックの予測モードを決定する。予測セット、および予測モードの決定には、符号化パラメータ決定部１４と同様にレート歪最適化手法を用いることが好ましい。

【0587】

（相対予測セット情報作成部７５１）
相対予測セット情報作成部７５１は、予測セット群選択部１５より入力された予測セット群情報、および相対予測セット情報作成部７５１の内部で記憶している符号化済み隣接ブロックの予測セット情報に基づいて、符号化パラメータ決定部７１４より入力された符号化対象ブロックの予測セット情報から相対予測セット情報を作成し、出力する。

【0588】

相対予測セット情報作成部７５１は、図５７に示すように、主として、格納部７５２ａ、格納部７５２ｂ、予測セット情報予測部７５３、および相対予測セット情報生成部７５４を備えている。図５７は、相対予測セット情報作成部７５１の構成を示すブロック図である。各部材について、以下に説明する。

【0589】

（格納部７５２ａ、７５２ｂ）
格納部７５２ａ、７５２ｂは、入力情報を一時的に記憶する。格納部７５２ａは、入力された符号化対象ブロックの予測セット情報を格納する。そして、格納部７５２ｂは、予測セット群選択部１５より入力された符号化対象ブロックの予測セット群情報を格納する。なお、格納された予測セット情報、予測セット群情報は符号化対象ブロックより後に符号化されるブロックの予測セットの予測に利用される。

【0590】

（予測セット情報予測部７５３）
予測セット情報予測部７５３は、入力された予測セット群情報ならびに、格納部７５２ａおよび格納部７５２ｂにそれぞれ格納された符号化済み隣接ブロックの予測セット群情報および予測セット情報に基づいて、符号化対象ブロックに用いる予測セットの予測値を所定の方法で決定する。そして、決定した予測値を相対予測セット情報生成部７５４へ出力する。

【0591】

（相対予測セット情報生成部７５４）
相対予測セット情報生成部７５４は、実施形態１の相対予測セット情報生成部５１１と同一の機能を有している。相対予測セット情報生成部７５４は、入力された予測セット情報と、予測セット情報予測部７５３において決定された予測セットの予測値とに基づいて、相対予測セット情報を生成し、出力する。

【0592】

（画像符号化プロセスの概要）
画像符号装置７００における画像符号化プロセスの概要について、図５８を参照して以下に説明する。図５８は、画像符号化装置７００における画像符号化プロセスの概要を示すフローチャートである。

【0593】

符号化対象ブロックを画像符号化装置７００に入力する（ステップＳ２７０）。

【0594】

予測セット群選択部１５は、符号化済み隣接ブロックの予測セット情報と符号化済み隣接ブロック中の各サブブロックの予測モード情報に基づいて、符号化対象ブロックに用いる予測セット群を選択する（ステップＳ２７１）。選択した予測セット群における予測セット群情報は、符号化パラメータ決定部７１４、相対予測セット情報作成部７５１およびイントラ予測部７１０へ出力される。

【0595】

符号化パラメータ決定部７１４は、符号化対象ブロックの原画像、メモリ９に記憶された局所復号画像、および予測セット群選択部１５で選択された予測セット群情報から、符号化対象ブロックの予測セット、および符号化対象ブロック中の全サブブロックの予測モードを決定する（ステップＳ２７２）。なお、決定した予測セットは、イントラ予測部７１０、相対予測セット情報作成部７５１および予測セット群選択部１５へ出力される。また、決定した全サブブロックの予測モードは、イントラ予測部７１０および予測セット群選択部１５へ出力される。

【0596】

相対予測セット情報作成部７５１は、符号化済み隣接ブロックの予測セット群情報と予測セット情報に基づいて、ステップＳ２７１において得られた予測セット群情報およびステップＳ２７２において得られた予測セット情報から、相対予測セット情報を作成し、エントロピー符号化部４へ出力する（ステップＳ２７３）。

【0597】

エントロピー符号化部４は、ステップＳ２７３において作成した相対予測セット情報をエントロピー符号化して出力する（ステップＳ２７４）。また、ステップＳ２７２において決定した符号化対象サブブロックの予測モード情報をエントロピー符号化して、予測モード情報の符号化データを出力する（ステップＳ２７５）。

【0598】

イントラ予測部７１０は、メモリ９に記憶された符号化済み隣接サブブロックにおける局所復号画像を用いて、ステップＳ２７１で選択された予測セット群、ステップＳ２７２で決定された予測セットおよび予測モードにより定まるイントラ予測を行い、符号化対象サブブロックの予測画像を生成する（ステップＳ２７６）。生成した符号化対象サブブロックの予測画像は、差分演算部１および加算演算部８へ出力される。

【0599】

差分演算部１は、入力された符号化対象サブブロックの原画像と、ステップＳ２７６で生成された予測画像との差分である符号化対象サブブロックの予測残差データを算出し、出力する（ステップ２７７）。

【0600】

ステップＳ２７７で算出した予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部４および逆量子化部６へ出力される（ステップＳ２７８）。

【0601】

直交変換・量子化した予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８へ出力される(ステップＳ２７９)。

【0602】

加算演算部８は、ステップＳ２７９において逆量子化および逆直交変換された予測残差データと、ステップＳ２７６において生成した予測画像とを加算し、符号化対象サブブロックの局所復号画像を生成する（ステップＳ２８０）。生成された局所復号画像は、メモリ９に記憶される。

【0603】

エントロピー符号化部４は、符号化対象サブブロックの量子化済み予測残差データをエントロピー符号化して予測残差データの符号化データを出力する（ステップＳ２８１）。

【0604】

なお、ステップＳ２７５〜Ｓ２８１における処理は、符号化対象ブロックを構成する全てのサブブロックについて行われる。また、ステップＳ２７０〜Ｓ２８１における処理は、符号化対象画像を構成する全てのブロックについて行われる。

【0605】

本実施形態では、画像符号化装置７００の画像符号化プロセスをステップＳ２７０〜Ｓ２８１の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。

【0606】

（予測セット群の構成）
次に、予測セット群の数が３つである場合を例に挙げて、本実施形態において用いる予測セット群の構成の具体例を表３２〜表３４に示す。

【0607】

表３２は、従来技術において用いられている予測セット０（従来予測セット）、水平方向の予測を重視した予測セット１（第１水平方向予測セット）、および垂直方向の予測を重視した予測セット２（第１垂直方向予測セット）から構成される第１予測セット群を表している。第１予測セット群には、水平方向／垂直方向を重視した予測セットの両方を含むことが好ましい。

【0608】

表３３は、従来予測セットである予測セット０、第１水平方向予測セットである予測セット１、および第１水平予測セットとは異なる水平方向の予測を重視した予測セット２（第２水平方向予測セット）から構成される第２予測セット群を表している。

【0609】

表３４は、従来予測セットである予測セット０、第１垂直方向予測セットである予測セット１、および第２垂直方向予測セットとは異なる垂直方向の予測を重視した予測セット２（第２垂直方向予測セット）から構成される第３予測セット群を表している。

【0610】

【表32】

【0611】

【表33】

【0612】

【表34】

【0613】

第１予測セット群〜第３予測セット群のうち、符号化対象ブロックに用いる予測セット群は、図９において符号化対象ブロック６１に隣接する符号化済みブロック６０ａと６０ｃ、あるいは６０ａ〜６０ｄ、あるいは６０ａ〜６０ｅと６０ｈ、あるいは６０ａ〜６０ｋ中の全サブブロックにおいて適用されたイントラ予測から、下記（１）〜（６）の指標を用いて決定する。
（１）水平方向の予測方向θ（−４５［ｄｅｇ］＜θ≦４５［ｄｅｇ］）の出現頻度数Ｎｈ（≧０）
（２）垂直方向の予測方向θ（−９０［ｄｅｇ］≦θ≦−４５［ｄｅｇ］、４５［ｄｅｇ］＜θ＜９０［ｄｅｇ］）の出現頻度数Ｎｖ（≧０）
（３）ＮｈとＮｖとの合計値Ｎｍａｘ（＝Ｎｈ＋Ｎｖ）
（４）所定の閾値Ｔ０
（５）所定の閾値Ｔ１
（６）所定の閾値Ｔ２。

【0614】

すなわち、符号化対象ブロックに用いる予測セット群は、下記式（４４）〜（４７）として示す不等式により算出される。

【0615】

【数23】

【0616】

より具体的には、予測セット群は、以下の場合分けに基づいて決定する。

【0617】

（１）不等式（４４）を満たすときは、符号化対象ブロックに用いる予測セット群を第１予測セット群とする。

【0618】

（２）不等式（４４）を満たさないときであって、かつ、
（２−ａ）不等式（４５）を満たすときには、符号化対象ブロックにおいて水平方向の予測方向が垂直方向の予測方向よりも出現しやすいと判定し、第２予測セット群を符号化対象ブロックに用いる。
（２−ｂ）不等式（４６）を満たすときには、水平方向の予測方向と垂直方向の予測方向の出現頻度を同程度であると判定し、第１予測セット群を符号化対象ブロックに用いる。（２−ｃ）不等式（４７）を満たすときには、符号化対象ブロックにおいて、垂直方向の予測方向が水平方向の予測方向よりも出現しやすいと判定し、第３予測セット群を符号化対象ブロックに用いる。

【0619】

なお、閾値Ｔ１、閾値Ｔ２の値をそれぞれ、Ｔ１＝Ｎｍａｘ／３、Ｔ２＝２Ｎｍａｘ／３に設定してもよい。ここで、閾値Ｔ０は、参照可能な符号化済み隣接ブロック中のサブブロックの数に応じて決まる所定の値である。

【0620】

（予測セット群の選択動作プロセス）
続いて、予測セット群選択部１５における予測セット群選択時の動作プロセスについて、図５９を参照して説明する。図５９は、予測セット群選択部１５の予測セット群選択時の動作プロセスを示すフローチャートである。

【0621】

まず、予測セット群選択部１５は、符号化対象ブロックに隣接する符号化済みブロックにおいて参照可能なブロックがあるか否かを判定する（ステップＳ２９０）。参照可能なブロックがない場合には（ステップＳ２９０においてＮｏ）、符号化対象ブロックに用いる予測セット群を第１予測セット群と設定し、「第１予測セット群」であることを示す予測セット群情報を出力して、動作を終了する（ステップＳ２９１）。

【0622】

参照可能なブロックがある場合には（ステップＳ２９０においてＹｅｓ）、参照可能な符号化済み隣接ブロックにおける全予測セット情報および全予測モード情報に基づいて、パラメータＮｈ、Ｎｖ、Ｎｍａｘ、Ｔ１、およびＴ２を算出する（ステップＳ２９２）。続いて、ステップＳ２９２において算出したＮｈ、Ｎｖ、Ｎｍａｘ、Ｔ１、およびＴ２を用いて符号化対象ブロックに用いる予測セット群を決定する。具体的には、上記式（４４）を満たすか否か判定する（ステップＳ２９３）。

【0623】

上記式（４４）を満たす場合には（ステップＳ２９３においてＹｅｓ）、符号化対象ブロックに用いる予測セット群を第１予測セット群と設定し、「第１予測セット群」であることを示す予測セット群情報を出力して、動作を終了する（ステップＳ２９４）。

【0624】

上記式（４４）を満たさない場合には（ステップＳ２９３においてＮｏ）、次に上記式（４５）を満たすか否か判定する（ステップＳ２９５）。

【0625】

上記式（４５）を満たす場合には（ステップＳ２９５においてＹｅｓ）、符号化対象ブロックに用いる予測セット群を第２予測セット群と設定し、「第２予測セット群」であることを示す予測セット群情報を出力して、動作を終了する（ステップＳ２９６）。

【0626】

上記式（４５）を満たさない場合には（ステップＳ２９５においてＮｏ）、さらに上記式（４６）を満たすか否か判定する（ステップＳ２９７）。

【0627】

上記式（４６）を満たす場合には（ステップＳ２９７においてＹｅｓ）、符号化対象ブロックに用いる予測セット群を第１予測セット群と設定し、「第１予測セット群」であることを示す予測セット群情報を出力して、動作を終了する（ステップＳ２９８）。

【0628】

上記式（４６）を満たさない場合には（ステップＳ２９７においてＮｏ）、上記式（４７）を満たすと判定し、符号化対象ブロック符号化対象ブロックに用いる予測セット群を第３予測セット群と設定し、「第３予測セット群」であることを示す予測セット群情報を出力して、動作を終了する（ステップＳ２９９）。

【0629】

なお、予測セット群選択部１５は、出力する予測セット群情報を内部に保持しているメモリに記憶する。また、予測セット群選択部１５の予測セット群選択時の動作プロセスをステップＳ２９０〜Ｓ２９９の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。

【0630】

以上のようにすることで、予測セット群選択部１５は、符号化対象ブロックの周辺に位置する符号化済み隣接ブロックの情報に基づき、符号化対象ブロックに用いる予測セット群を自動決定することが可能である。

【0631】

例えば、符号化済み隣接ブロックおいて、水平方向の予測方向が垂直方向の予測方向よりも出現頻度が高い場合は、水平方向の予測を重視した予測セットを複数備えた予測セット群を符号化対象ブロックに用いる。また、符号化済み隣接ブロックおいて、垂直方向の予測方向が水平方向の予測方向よりも出現頻度が高い場合は、垂直方向の予測を重視した予測セットを複数備えた予測セット群を符号化対象ブロックに用いる。また、水平方向の予測方向と垂直方向の予測方向の出現頻度が同程度である場合は、水平方向／垂直方向を重視した予測セットを同数備えた予測セット群を選択する。

【0632】

したがって、より画像の予測に適した予測セットを備えた予測セット群より、符号化対象ブロックを効率的に符号化することが可能となる。

【0633】

また、上記予測セット群選択部１５は、画像復号装置においても同様に適用可能である。その場合は、復号済み隣接ブロックの情報に基づき、復号対象ブロックに用いる予測セット群を自動決定することが可能である。

【0634】

（予測セットの予測値を決定する詳細なプロセス）
次に、予測セットの予測値を決定する詳細なプロセスついて説明する。

【0635】

まず、予測セットの予測値を、下記（１）〜（３）のいずれかの方法によって仮決定する。
（１）図９中の符号化対象ブロック６１の近傍に位置するブロック（６０ａ〜６０ｋ）において適用された予測セットの中のうち、最も出現頻度の高い予測セットを予測値とする。
（２）図９中の符号化対象ブロック６１の左部に位置する符号化済みブロック（６０ａ）に適用された予測セットを予測値とする。
（３）図９中の符号化対象ブロック６１の上部に位置する符号化済みブロック（６０ｃ）において適用された予測セットを予測値とする。

【0636】

なお決定した予測セットの予測値は、「「第ｉ予測セット群」に属する「予測セットi
」」を示すものとする。

【0637】

次に、決定した予測セットの予測値が示す「第ｉ予測セット群」と、符号化対象ブロックの予測セット群情報が示す「第ｋ予測セット群」とを比較する。予測セットの予測値の示す「第ｉ予測セット群」と、符号化対象ブロックの「第ｋセット群」とが同一予測セット群であった場合には、決定した予測値を相対予測セット情報生成部７５４へ出力する。

【0638】

それ以外の場合には、後述する予測セット対応表を用いて、「決定した予測セットの予測値が、符号化対象ブロックに用いる予測セット群中のいずれの予測セットと対応するのか」を求め、対応する予測セットを予測値とする。そして、決定した予測値を相対予測セット情報生成部７５４へ出力する。

【0639】

上記表３２〜表３４に示す第１予測セット群、第２予測セット群、および第３予測セット群の予測セット対応表の例を下記表３５〜３７に示す。

【0640】

表３５に示す予測セット対応表は、第１予測セット群中の予測セットに類似するその他予測群中の予測セットを表している。表３６に示す予測セット対応表は、第２予測セット群中の予測セットに類似するその他予測群中の予測セットを表している。また、表３７に示す予測セット対応表は、第３予測セット群中の予測セットに類似するその他予測群中の予測セットとの対応を表している。具体的には、表３１において、第１予測セット群中の予測セット１は、第２予測セット群中の予測セット１、第３予測セット群中の予測セットに最も類似していることを表している。なお、予測セット対応表は、予め所定の方法により定めておくことが好ましい。

【0641】

【表35】

【0642】

【表36】

【0643】

【表37】

【0644】

（相対予測セット情報作成部７５１の動作プロセス）
相対予測セット情報作成部７５１の動作プロセスについて、図６０を参照して以下に説明する。図６０は、相対予測セット情報作成部７５１の動作プロセスに関するフローチャートである。

【0645】

まず、入力した符号化対象ブロックに関する予測セット情報と予測セット群情報を、それぞれ格納部７５２ａ、および格納部７５２ｂに記憶する（ステップＳ３００）。

【0646】

次に、予測セット情報予測部７５３は、符号化済み隣接ブロックの予測セット群情報および予測セット情報から、予測セットの予測値を算出する（ステップＳ３０１）。続いて、ステップＳ３０１で算出した予測値を、予測値の示す予測セット群、および符号化対象ブロックの予測セット群に基づいて修正するか否かを判定する（ステップＳ３０２）。

【0647】

予測値を修正しない場合（ステップＳ３０２においてＮｏ）、予測セット情報予測部７５３は、予測値を相対予測セット情報生成部７５４へ出力する。予測値を修正する場合（ステップＳ３０２においてＹｅｓ）、予測セット情報予測部７５３は、予測セット対応表に基づいて、ステップＳ３０１で算出した予測値を修正し、修正した予測値を相対予測セット情報生成部７５４へ出力する（ステップＳ３０３）。

【0648】

相対予測セット情報生成部７５４は、入力した符号化対象ブロックの予測セット情報および予測セット情報予測部７５３より入力した予測値に基づいて、相対予測セット情報を生成し、出力する（ステップＳ３０４）。

【0649】

以上のように、予測セット情報予測部７５３は、符号化対象ブロックの予測セットと所定の方法により求めた前記予測セットに対する予測値それぞれが示す予測セット群が異なる場合、上記予測セット対応表に基づいて、前記予測値を符号化対象ブロックの予測セット群中の予測セットへ修正することで、予測セットの予測精度が高まり、予測セットを表すのに要する符号量を削減することが可能である。

【0650】

（付記事項）
本実施形態では、予め定められた各予測セット群（第１予測セット群、第２予測セット群、第３予測セット群）の構成例が、予測セット数Ｌ＝３、予測モード数Ｋｉ＝９（ｉ＝０，１，２）である場合について説明したが、これに限定されるものではない。例えば、各予測セット群は、予測セット数Ｌ＝５、またはＬ＝９であってもよいし、それ以外の自然数であってもよい。また、各予測セット群の予測セット数はそれぞれ異なってもよい。ただし、各予測セット群の構成を変える場合には、それに応じた予測セット対応表を定める必要がある。

【0651】

また、本実施形態における予測セット群選択部１５は、符号化済み隣接ブロック中の全サブブロックのイントラ予測の予測方向に基づいて予測セット群の選択を行っているが、これに限定されるものではない。例えば、符号化対象ブロックの周囲にある符号化済み隣接ブロックの予測セットに基づいて予測セット群を選択してもよい。この場合には、水平方向予測セットの出現頻度が高ければ、第２予測セット群を選択し、垂直方向予測セットの出現頻度が高ければ、第３予測セット群を選択し、水平方向予測セットと垂直方向予測セットの出現頻度が同程度であれば、第１予測セット群を選択する。また、符号化対象ブロックの周囲の復号画像よりエッジ方向を算出し、算出したエッジ方向に基づいて予測セット群を選択してもよい。

【0652】

さらに、本実施形態では、予測セット群の切り替え単位をＭ×Ｍ画素ブロックとして、説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）、ＧＯＰ(Group of Picture)を予測セット群の切り替え単位としてもよい。また、予測セット群の切り替え単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよい。あるいは画像符号化装置・画像復号装置ではなく外部手段を使って通知することも可能である。

【0653】

（作用効果）
以上のように、画像符号化装置７００は、画像を構成する各ブロック単位に、符号化済み隣接ブロック中のイントラ予測の予測方向の出現頻度を算出する。例えば、予測方向の頻度として、水平方向の予測方向の出現頻度数と、垂直方向の予測方向の出現頻度数を算出する。

【0654】

画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を複数備えている。画像符号化装置は、前記イントラ予測の予測方向の出現頻度の傾向に応じた予測セット群を選択する。例えば、水平方向の予測方向の出現頻度数が高ければ、水平方向の予測を重視した予測セットを多く定めた予測セット群を選択する。また、垂直方向の予測方向の出現頻度数が高ければ、垂直方向の予測を重視した予測セットを多く定めた予測セット群を選択する。また、水平方向／垂直方向の出現頻度数が同程度であれば、水平方向の予測を重視した予測セットと垂直方向の予測を重視した予測セットを同数定めた予測セット群を選択する。

【0655】

そして、前記選択した予測セット群の中より、符号化対象ブロックに最適な予測セットを選択し、前記選択した予測セットを用いて、符号化対象ブロックを符号化する。

【0656】

これにより、画像符号化装置７００は、画像の特性に応じた最適な予測セットを用いて、画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる。

【0657】

また画像符号化装置７００は、予測方式を予測セット情報と予測モード情報とにより階層的に表現することによって、予測方式を選択する自由度を高めることができる。これによって、予測方式を表すために必要な符号量の増加を防ぎつつ、予測効率を上げることができる。

【0658】

また、画像符号化装置７００は、符号化対象ブロックの予測セットと所定の方法により求めた前記予測セットに対する予測値それぞれが示す予測セット群が異なる場合、上記予測セット対応表に基づいて、前記予測値を符号化対象ブロックの予測セット群中の予測セットへ修正することで、予測セットの予測精度が高まり、予測セットを表すの要する符号量を削減することが可能である。

【0659】

〔実施形態１０〕
本発明に係る画像復号装置の他の形態について実施形態１０として、図６１〜図６４を参照して以下に説明する。

【0660】

ここで、実施形態２の画像復号装置１５０は、復号した予測セット情報に基づいて、予め定められた１つの予測セット群（例えば、表２）より、復号対象ブロック（Ｍ×Ｍ画素ブロック）に用いる予測セットを１つ決定している場合について例示している。本実施形態では、復号済み隣接ブロックの情報（例えば、復号済み隣接ブロック内に含まれるサブブロックに用いられたイントラ予測の予測方向）を利用して、予め定められた複数の予測セット群より１つの予測セット群を、ブロック単位に選択し、選択された予測セット群より、復号した予測セット情報に基づいて、復号対象ブロックに用いる予測セットを１つ決定する画像復号装置について説明する。

【0661】

（画像復号装置７５０の構成）
本実施形態に係る画像復号装置の構成について、図６１を参照して以下に説明する。図６１は、画像復号装置７５０の構成を示すブロック図である。画像復号装置７５０は、図６１に示すように、主として、エントロピー復号部５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、予測セット群選択部１５、イントラ予測部７１０、および予測セット情報作成部７５２を備えている。本実施形態では上記で説明していない予測セット情報作成部７５５についてのみ以下に説明する。

【0662】

（予測セット情報作成部７５５）
予測セット情報作成部７５５は、エントロピー復号部５より入力された復号対象ブロックの相対予測セット情報、予測セット群選択部１５より入力された復号対象ブロックの予測セット群情報、予測セット情報作成部７５５の内部で記憶している復号済み隣接ブロックの予測セット群情報、および予測セット情報に基づいて、復号対象ブロックの予測セット情報を作成し、出力する。

【0663】

予測セット情報作成部７５５の構成について、図６２を参照して以下に説明する。図６２は、予測セット情報作成部７５５の構成を示すブロック図である。予測セット情報作成部７５５は、図６２に示すように、主として、格納部７５６ａ、格納部７５６ｂ、予測セット情報予測部７５７および予測セット情報生成部７５８を備えている。各部材について以下に説明する。

【0664】

（格納部７５６ａ、７５６ｂ）
格納部７５６ａおよび７５６ｂは、入力情報を一時的に記憶する。格納部７５６ａは、入力された復号対象ブロックの予測セット情報を格納する。また、格納部７５６ｂは、予測セット群選択部１５より入力された復号対象ブロックの予測セット群情報を格納する。なお、格納された予測セット情報、予測セット群情報は復号対象ブロックより後に復号されるブロックにおける予測セットの予測に利用される。

【0665】

（予測セット情報予測部７５７）
予測セット情報予測部７５７は、入力された予測セット群情報と、格納部７５６ａ、７５６ｂにそれぞれ格納された復号済み隣接ブロックの予測セット群情報、および予測セット情報に基づいて、復号対象ブロックに用いる予測セットの予測値を所定の方法で決定する。そして、決定した予測値を予測セット情報生成部７５８へ出力する。

【0666】

なお、予測セットの予測値の決定方法は、予測セット情報予測部７５３と同一であるため、説明を省略する。

【0667】

（予測セット情報生成部７５８）
予測セット情報生成部７５８は、実施形態２の予測セット情報生成部５２１と同一の機能を有している。すなわち、相対予測セット情報生成部７５８は、入力された相対予測セット情報および予測セット情報予測部７５７において決定された予測セットの予測値に基づいて、予測セット情報を生成し出力する。

【0668】

（画像復号プロセスの概要）
画像復号装置７５０における画像復号プロセスの概要について、図６３を参照して以下に説明する。図６３は、画像復号装置７５０における画像復号プロセスの概要を示すフローチャートである。

【0669】

まず、復号対象ブロックの符号化データを画像復号装置７５０に入力する（ステップＳ３１０）。

【0670】

予測セット群選択部１５は、復号済み隣接ブロックの予測セット群および復号済み隣接ブロック中の各サブブロックの予測モード情報に基づいて、復号対象ブロックに用いる予測セット群を選択し、予測セット群情報を予測セット情報作成部７５５およびイントラ予測部７１０へ出力する（ステップＳ３１１）。

【0671】

エントロピー復号部５は、入力した符号化データ中の復号対象ブロックにおける相対予測セット情報をエントロピー復号し、予測セット情報作成部７５５へ出力する（ステップＳ３１２）。

【0672】

予測セット情報作成部７５５は、ステップＳ３１２でエントロピー復号した相対予測セット情報、ステップＳ３１１で選択した予測セット群情報、予測セット情報作成部７５５の内部に記憶している復号済み隣接ブロックの予測セット群情報および予測セット情報に基づいて、復号対象ブロックの予測セット情報を作成する（ステップＳ３１３）。作成した復号対象ブロックの予測セット情報は、予測セット群選択部１５およびイントラ予測部７１０へ出力される。

【0673】

エントロピー復号部５は、さらに所定のブロックサイズ（Ｎ×Ｎ画素ブロック）に分割した各復号対象サブブロックの予測モード情報をエントロピー復号し、イントラ予測部７１０へ出力する（ステップＳ３１４）。また、復号対象サブブロックの予測残差データの量子化値もエントロピー復号する（ステップＳ３１５）。

【0674】

イントラ予測部７１０は、メモリ９に格納した復号済み隣接サブブロックの局所復号画像を用いて、ステップＳ３１１で選択した予測セット群、ステップＳ３１３で作成した予測セット情報、およびステップＳ３１４でエントロピー復号した予測モード情報により定まるイントラ予測により、復号対象サブブロックの予測画像（Ｎ×Ｎ画素ブロック）を生成する（ステップ３１６）。

【0675】

ステップＳ３１５において復号した予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８に出力される（ステップＳ３１７）。

【0676】

加算演算部８は、ステップＳ３１６で生成した予測画像と、ステップＳ３１７で逆量子化・逆直交変換した予測残差データとを加算し、復号対象サブブロックの復号画像（Ｎ×Ｎ画素ブロック）を出力する（ステップＳ３１８）。

【0677】

最後に、メモリ９は、ステップＳ３１８で生成した復号対象サブブロックの復号画像を記憶する（ステップＳ３１９）。

【0678】

なお、画像復号装置７５０は、復号対象ブロックを構成する全てのサブブロックについてステップＳ３１４〜Ｓ３１９の処理を繰り返す。また、復号対象画像を構成する全てのブロックについてステップＳ３１０〜Ｓ３１９の処理を繰り返す。

【0679】

本実施形態では、画像復号装置７５０の復号プロセスをステップＳ３１０〜Ｓ３１９の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。

【0680】

（予測セット情報作成部７５５の動作プロセス）
予測セット情報作成部７５５の動作プロセスについて、図６４を用いて説明する。図６４は、予測セット情報作成部７５５の動作プロセスに関するフローチャートである。

【0681】

まず、予測セット情報予測部７５７は、復号済み隣接ブロックの予測セット群情報および予測セット情報に基づいて、予測セットの予測値を算出する（ステップＳ３２０）。続いて、予測セット情報予測部７５７は、ステップＳ３２０で算出した予測値に関して、予測値の示す予測セット群、および復号対象ブロックの予測セット群に基づいて修正するか否かを判定する（ステップＳ３２１）。

【0682】

予測値を修正しない場合（ステップＳ３２１においてＮｏ）、予測セット情報予測部７５７は、予測値を予測セット情報生成部７５８へ出力する。予測値を修正する場合（ステップＳ３２１においてＹｅｓ）、予測セット情報予測部７５７は、予測セット対応表に基づいて、ステップＳ３２０で算出した予測値を修正し、修正した予測値を予測セット情報生成部７５８へ出力する（ステップＳ３２２）。

【0683】

予測セット情報生成部７５８は、予測セット情報を、入力した復号対象ブロックの相対予測セット情報、および予測セット情報予測部７５７より入力した予測値に基づいて生成し、出力する（ステップＳ３２３）。

【0684】

最後に、格納部７５６ａ、格納部７５６ｂは、ステップＳ３２３において作成した復号対象ブロックの予測セット情報、および入力された復号対象ブロックの予測セット群情報をそれぞれ記憶する（ステップＳ３２４）。

【0685】

以上のように、予測セット情報予測部７５７は、復号対象ブロックの予測セットと所定の方法により求めた前記予測セットに対する予測値それぞれが示す予測セット群が異なる場合、上記予測セット対応表に基づいて、前記予測値を復号対象ブロックの予測セット群中の予測セットへ修正することで、予測セットの予測精度が高まり、予測セットの復号に要する符号量を削減することが可能である。

【0686】

（付記事項）
本実施形態では、予測セット群選択部１５において、復号済み隣接ブロック中の全サブブロックのイントラ予測の予測方向に基づいて、予測セット群の選択を行っているが、これに限定されるものではない。復号対象ブロックの周囲にある復号済み隣接ブロックの予測セットに基づいて予測セット群を選択してもよい。この場合は、水平方向予測セットの出現頻度が高ければ、第２予測セット群を選択し、垂直方向予測セットの出現頻度が高ければ、第３予測セット群を選択し、水平方向予測セットと垂直方向予測セットの出現頻度が同程度であれば、第１予測セット群を選択することが好ましい。また、復号対象ブロックの周囲の復号画像よりエッジ方向を算出し、算出したエッジ方向に基づいて予測セット群を選択してもよい。

【0687】

さらに、本実施形態では、予測セット群の切り替え単位をＭ×Ｍ画素ブロックとして、説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）、ＧＯＰ(Group of Picture)を予測セット群の切り替え単位としてもよい。また、予測セット群の切り替え単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよい。あるいは画像符号化装置・画像復号装置ではなく外部手段を使って通知することも可能である。

【0688】

（作用効果）
以上のように、画像復号装置７５０は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を複数備えている。

【0689】

画像復号装置７５０は、画像を構成する各ブロック単位に、復号済み隣接ブロック中のイントラ予測の予測方向の出現頻度を算出する。例えば、予測方向の出現頻度として、水平方向の予測方向の出現頻度数と、垂直方向の予測方向の出現頻度数を算出する。

【0690】

次に、前記イントラ予測の予測方向の出現頻度の傾向に応じた予測セット群を選択する。例えば、水平方向の予測方向の出現頻度数が高ければ、水平方向の予測を重視した予測セットを多く定めた予測セット群を選択する。また、垂直方向の予測方向の出現頻度数が高ければ、垂直方向の予測を重視した予測セットを多く定めた予測セット群を選択する。また、水平方向／垂直方向の出現頻度数が同程度であれば、水平方向の予測を重視した予測セットと垂直方向の予測を重視した予測セットを同数定めた予測セット群を選択する。

【0691】

続いて、画像を構成する各ブロックにおいて、復号対象ブロックに用いる予測セット情報を、予測セット群情報と相対予測セット情報と復号済み隣接ブロックの予測セット情報と予測セット群情報を用いて復号する。

【0692】

最後に、復号対象ブロックをさらに分割したサブブロックごとに、そのサブブロックに隣接するサブブロックの局所復号画像を用いてイントラ予測を行い、サブブロックの予測画像を生成する。そして、生成した予測画像とサブブロックの復号予測残差データを合成し、サブブロックの画像を復元する。

【0693】

これによって、例えば、復号した予測セット情報が水平方向の予測を重視した予測セットを表すときには、水平方向を中心により細かい角度からの予測画像を生成することができる。また、復号した予測セット情報が垂直方向の予測を重視した予測セットを表すときには、垂直方向を中心により細かい角度からの予測画像を生成することができる。したがって、画像復号装置７５０では、従来よりも多様な角度からの予測を用いた復号処理が可能になるため、より効率良くエッジ部を再現することができる。これによって、画質の向上した画像を復元することができる。

【0694】

また、画像復号装置７５０では、予測セット群と予測セットと予測モードの３段階で予測することによって、高い予測精度を実現しつつ、符号量の増加を防ぐことが可能である。

【0695】

また画像復号装置７５０は、復号対象ブロックの予測セットと所定の方法により求めた前記予測セットに対する予測値それぞれが示す予測セット群が異なる場合、上記予測セット対応表に基づいて、前記予測値を復号対象ブロックの予測セット群中の予測セットへ修正することで、予測セットの予測精度が高まり、予測セットの復号に要する符号量を削減することが可能である。

【0696】

（プログラムおよび記録媒体）
最後に、画像符号化装置１００、２００、５００、５００ｂ、６００、６００ｂおよび７００ならびに画像復号装置１５０、２５０、５５０、５５０ｂ、６５０、６５０ｂおよび７５０の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

【0697】

すなわち、画像符号化装置１００、２００、５００、５００ｂ、６００、６００ｂおよび７００ならびに画像復号装置１５０、２５０、５５０、５５０ｂ、６５０、６５０ｂおよび７５０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラ
ムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像符号化装置１００、２００、５００、５００ｂ、６００、６００ｂおよび７００ならびに画像復号装置１５０、２５０、５５０、５５０ｂ、６５０、６５０ｂおよび７５０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像符号化装置１００、２００、５００、５００ｂ、６００、６００ｂおよび７００ならびに画像復号装置１５０、２５０、５５０、５５０ｂ、６５０、６５０ｂおよび７５０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

【0698】

上記記録媒体としては、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

【0699】

また、画像符号化装置１００、２００、５００、５００ｂ、６００、６００ｂおよび７００ならびに画像復号装置１５０、２５０、５５０、５５０ｂ、６５０、６５０ｂおよび７５０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、たとえば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、たとえば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

【0700】

本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0701】

（付記事項）
なお、本発明は、以下のように記載することもできる。

【0702】

（第１の構成）
画像を符号化する画像符号化装置であって、
上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出手段と、
互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、上記算出されたエッジ情報に応じた予測セットを選択する選択手段と、
上記選択された予測セットを用いて上記画像を符号化する符号化手段とを備えていることを特徴とする画像符号化装置。

【0703】

上記の構成によれば、画像符号化装置は、画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する。たとえばエッジ情報として、画像のエッジ方向、エッジ強度、あるいはこれらの分布情報を算出する。画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、算出したエッジ情報に応じた予測セットを選択する。そして、選択した予測セットを用いて画像を符号化する。たとえば、エッジ情報が水平方向のエッジ方向を表しているなら、水平方向の予測を重視した予測セットを用いて画像を符号化する。一方、エッジ情報が垂直方向のエッジを表しているのであれば、垂直方向の予測を重視した予測セットを用いて符号化する。

【0704】

以上のように、画像符号化装置は、画像のエッジ情報に応じた最適な予測セットを用いて、画像を符号化する。したがって、従来よりも細かい角度からの予測が可能になるので、画像の予測残差データに関する符号量をより減らすことができ、かつ、画質を向上させることができる。

【0705】

（第２の構成）
上記画像を所定単位のブロックに分割する分割手段をさらに備え、
上記算出手段は、上記ブロックごとに上記エッジ情報を算出し、
上記選択手段は、上記ブロックごとに、上記算出したエッジ情報に応じた上記予測セットを選択し、
上記符号化手段は、上記予測セットを表す情報を符号化するとともに、上記ブロックごとに選択された上記予測セットを用いて、当該ブロックを符号化することを特徴とする第１の構成に記載の画像符号化装置。

【0706】

上記の構成によれば、画像符号化装置は、画像を構成する所定単位の各ブロックを符号化する。このとき、ブロックごとに、当該ブロックのエッジ情報に応じた予測セットを用いる。たとえば、１枚の画像のうち、水平方向のエッジを多く持つブロックは、水平方向の予測を重視した予測セットを用いて符号化する。一方、同じ画像のうち、垂直方向のエッジを多く持つブロックは、垂直方向の予測を重視した予測セットを用いて符号化する。

【0707】

以上により、画像符号化装置は、画質をさらに高めることができる。

【0708】

（第３の構成）
上記ブロックを複数のサブブロックに分割するブロック分割手段をさらに備え、
上記エッジ情報は、上記サブブロックごとに、当該サブブロックのエッジ方向を表す上記エッジ情報を算出し、
上記選択手段は、上記複数の予測セットのうち、上記予測セットを構成する予測モードが表す予測方向と、上記ブロック内の全サブブロックの上記エッジ方向との類似度が最小になる予測セットを選択することを特徴とする第２の構成に記載の画像符号化装置。

【0709】

上記の構成によれば、画像符号化装置は、画像を構成するブロックを、さらに複数のサブブロックに分割する。また、得られたサブブロックごとに、当該サブブロックのエッジ方向を表すエッジ情報を算出する。つまり、ブロックに含まれる複数のエッジ方向を求める。そして、画像符号化装置は、複数の予測セットのうち、予測セットを構成する予測モードが表す予測方向と、ブロック内の全サブブロックの上記エッジ方向との類似度が最小になる予測セットを選択する。

【0710】

以上の処理によって、画像符号化装置は、複数の予測セットのうち、ブロックの符号化に最も適した予測セットを算出できる。したがって、画像の符号量の削減と画質の向上とを最大限に高めることができる。

【0711】

（第４の構成）
画像を符号化する画像符号化装置であって、
上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出手段と、
予測セットを構成する複数の予測モードに応じた各予測方向を、上記算出したエッジ情報に応じて決定する決定手段と、
上記決定された予測セットを用いて上記画像を符号化する符号化手段とを備えていることを特徴とする画像符号化装置。

【0712】

上記の構成によれば、画像符号化装置は、画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する。たとえばエッジ情報として、画像のエッジ方向、エッジ強度、あるいはこれらの分布情報を算出する。画像符号化装置は、予測セットを構成する複数の予測モードの各予測方向を、算出したエッジ方向に応じて決定する。たとえば、エッジ情報が水平方向のエッジ方向を表しているなら、水平方向の予測を重視した予測方向を決定する。これにより、水平方向の予測に適した予測セットを用いて画像を符号化する。一方、エッジ情報が垂直方向のエッジを表しているなら、垂直方向の予測を重視した予測方向を定義したセットを用いて符号化する。これにより、垂直方向の予測に適した予測セットを用いて画像を符号化する。

【0713】

以上のように、画像符号化装置は、画像のエッジ情報に応じた最適な予測セットを用いて、画像を符号化する。したがって、従来よりも細かい角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる。

【0714】

（第５の構成）
上記画像を所定単位のブロックに分割する分割手段をさらに備え、
上記算出手段は、上記ブロックごとに上記エッジ情報を算出し、
上記選択手段は、上記ブロックごとに、上記予測セットの予測方向を決定し、
上記符号化手段は、上記予測セットの予測方向を表す情報を符号化するとともに、上記ブロックごとに予測方向が決定された上記予測セットを用いて、当該ブロックを符号化することを特徴とする第４の構成に記載の画像符号化装置。

【0715】

上記の構成によれば、画像符号化装置は、画像を構成する所定単位の各ブロックを符号化する。このとき、ブロックごとに、当該ブロックのエッジ情報に応じた予測セットを用いる。たとえば、１枚の画像のうち、水平方向のエッジを多く持つブロックは、水平方向の予測を重視した予測セットを用いて符号化する。一方、同じ画像のうち、垂直方向のエッジを多く持つブロックは、垂直方向の予測を重視した予測セットを用いて符号化する。

【0716】

以上により、画像符号化装置は、画質をさらに高めることができる。

【0717】

（第６の構成）
上記決定手段は、上記ブロックに含まれる複数のエッジ方向に関する、エッジ方向と当該エッジ方向の累積確率との関係を表すヒストグラムを算出し、当該ヒストグラムにおいて累積確率の差が均等になる複数のエッジ方向を、それぞれ、予測セットの予測方向として決定することを特徴とする第４または５の構成に記載の画像符号化装置。

【0718】

上記の構成によれば、画像符号化装置は、符号化対象のブロックに含まれる複数のエッジ方向に関する、エッジ方向と、当該エッジ方向の累積確率との関係を表すヒストグラムを算出する。そして、算出したヒストグラムにおいてエッジ方向の累積確率の差が均等になる複数のエッジ方向を、それぞれ、予測セットの予測方向として決定する。これにより、たとえば１つのブロック内においてエッジ方向が水平方向に多く集中していた場合、決定する予測方向も水平に近いものが多くなる。逆に、１つのブロック内においてエッジ方向が垂直方向に多く集中していた場合、決定する予測方向も垂直方向近辺のものが多くなる。

【0719】

したがって画像符号化装置は、ブロックに含まれるエッジ方向の予測に最適化した予測セットを用いて、ブロックを符号化できる。これにより、ブロックの符号量の削減および画質の向上を、最大限に高めることができる。

【0720】

（第７の構成）
画像を符号化する画像符号化方法であって、
上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出ステップと、
互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、上記算出されたエッジ情報に応じた予測セットを選択する選択ステップと、
上記選択された予測セットを用いて上記画像を符号化する符号化ステップとを備えていることを特徴とする画像符号化方法。

【0721】

上記の構成によれば、第１の構成と同様の作用効果を奏する。

【0722】

（第８の構成）
画像を符号化する画像符号化方法であって、
上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出ステップと、
予測セットを構成する複数の予測モードの各予測方向を、上記算出したエッジ方向に応じて決定する決定ステップと、
上記決定された予測セットを用いて上記画像を符号化する符号化ステップとを備えていることを特徴とする画像符号化方法。

【0723】

上記の構成によれば、第４の構成と同様の作用効果を奏する。

【0724】

（第９の構成）
第１から６の構成のいずれか１つに記載の画像符号化装置によって符号化された画像を復号する画像復号装置であって、
上記符号化手段が上記画像の符号化に用いた予測セットを用いて、上記画像を復号する復号手段を備えていることを特徴とする画像復号装置。

【0725】

上記の構成によれば、画像復号装置は、画像のエッジ情報に応じた最適な符号化された予測セットを用いて、画像符号化データを復号する。

【0726】

したがって画像復号装置は、画質の向上を実現した画像を得られる。

【0727】

また、画像復号装置は、符号化された画像を復号する際の予測残差データの復号処理量の削減を実現できる。

【0728】

（第１０の構成）
第７または８の構成に記載の画像符号化方法によって符号化された画像を復号する画像復号方法であって、
上記符号化ステップにおいて上記画像の符号化に用いた予測セットを用いて、上記画像を復号する復号ステップを備えていることを特徴とする画像復号方法。

【0729】

上記の構成によれば、第９の構成と同様の作用効果を奏する。

【0730】

（第１１の構成）
第１から６の構成のいずれか１つに記載の画像符号化装置、または第９の構成に記載の画像復号装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。

【0731】

（第１２の構成）
第１１の構成に記載の各プログラムを記録しているコンピュータ読み取り可能な記録媒体。

【0732】

本発明の画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、予測セットを選択する選択手段と、上記選択された予測セットを用いて上記画像を符号化する符号化手段とを備えているため、より細かい角度からの予測を可能とし、予測効率が向上し、予測残差データの符号量を削減させることができる効果を奏する。

【0733】

本発明の画像符号化装置は、互い異なる予測方向に応じた予測モードを複数含む予測セットを少なくとも１つ備え、上記予測セットより当該サブブロックに用いる予測モードを選択する選択手段と、上記選択された予測モードを用いて上記サブブロックの画像を符号化する符号化手段と、当該サブブロックに隣接する符号化済みサブブロックの予測モード情報、あるいは符号化済みサブブロックの復号画像から、当該サブブロックと相関の高い符号化済み隣接サブブロックを選択する選択手段と、上記選択した符号化済みサブブロックの予測モード情報に基づき、前記選択された予測モードを符号化する符号化手段を備えているため、予測モードを表すのに要する符号量を削減させることができる効果を奏する。

【0734】

また、本発明に係る画像復号装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、当該ブロックに用いるに予測セットを表す情報を復号する復号手段と、上記復号された予測セットを用いて上記ブロックの画像を復号する復号手段とを備えているため、より細かい角度から画像の特定方向のエッジ成分を効率良く復元することを可能とし、画質の向上を実現できる効果を奏する。

【0735】

本発明の画像復号装置は、互い異なる予測方向に応じた予測モードを複数含む予測セットを少なくとも１つ備え、当該サブブロックに隣接する復号済みサブブロックの予測モード情報、あるいは復号済みサブブロックの復号画像から、当該サブブロックと相関の高い復号済み隣接サブブロックを選択する選択手段と、前記選択した復号済みサブブロックの予測モード情報に基づき、前記予測セットより当該サブブロックに用いる予測モードを復号する復号手段と、上記復号された予測モードを用いて上記サブブロックの画像を復号する復号手段を備えているため、予測モードを復号するのに要する符号量を削減させることができる効果を奏する。

【0736】

発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する請求の範囲内で、いろいろと変更して実施することができるものである。

【産業上の利用可能性】

【0737】

本発明に係る画像符号化装置および画像復号装置は、デジタルテレビ、ハードディスクレコーダ、ＤＶＤカメラおよび画像処理が可能な携帯電話などの映像装置に応用することができる。

【符号の説明】

【0738】

１ 差分演算部
２ 直交変換部
３ 量子化部
４ エントロピー符号化部（符号化手段）
５ エントロピー復号部（復号手段）
６ 逆量子化部
７ 逆直交変換部
８ 加算演算部
９ メモリ
１０ イントラ予測部（符号化手段、復号手段）
１１ 予測モード決定部（第２の選択手段）
１２ エッジ解析部（算出手段）
１３ 予測セット決定部（第１の選択手段）
１４ 符号化パラメータ決定部（選択手段）
１５ 予測セット群選択部（選択手段）
５１ 相対予測セット情報作成部（符号化手段）
５２ 予測セット情報作成部（復号手段）
５３ 相対予測セット定義情報作成部（符号化手段）
５４ 予測セット定義情報作成部（復号手段）
６１ 相対予測モード情報作成部（符号化手段）
６２ 予測モード情報作成部（復号手段）
１００ 画像符号化装置
１５０ 画像復号装置
２００ 画像符号化装置
２０４ エントロピー符号化部（符号化手段）
２０５ エントロピー復号部（復号手段）
２１０ イントラ予測部（符号化手段、復号手段）
２１１ 予測モード決定部（第２の選択手段）
２１２ エッジ解析部（算出手段）
２１３ 予測セット決定部（第１の選択手段）
２１４ 予測セット定義決定部
２５０ 画像復号装置
３００ 画像符号化装置
３０４ エントロピー符号化部（符号化手段）
３０５ エントロピー復号部
３１０ イントラ予測部
３１１ 予測モード決定部
３５０ 画像復号装置
５００ 画像符号化装置
５０４ エントロピー符号化部
５０５ エントロピー復号部
５１１ 相対予測セット予測情報生成部
５１２ 予測セット情報予測部
５１３ 予測セット情報格納部
５２１ 予測セット情報生成部
５３１ 相対予測セット定義情報生成部
５３２ 予測セット定義情報予測部
５３３ 予測セット定義情報格納部
５４１ 予測セット定義情報生成部
５５０ 画像復号装置
６００ 画像符号化装置
６００ｂ 画像符号化装置
６５０ 画像復号装置
６５０ｂ 画像復号装置
６６１ 相対予測モード情報作成部
６６１ｂ 相対予測モード情報作成部
６６２ 格納部
６６３ 参照位置決定部
６６３ｂ 参照位置決定部
６６４ 予測モード情報推定部
６６５ 相対予測モード情報生成部
６６６ 予測モード情報作成部
６６６ｂ 予測モード情報作成部
６６７ 格納部
６６８ 参照位置決定部
６６８ｂ 参照位置決定部
６６９ 予測モード情報推定部
６７０ 予測モード情報生成部
７００ 画像符号化装置
７１０ イントラ予測部（符号化手段、復号手段）
７１４ 符号化パラメータ決定部（選択手段）
７５０ 画像復号装置
７５１ 相対予測セット情報作成部（符号化手段）
７５２ 格納部
７５３ 予測セット情報予測部
７５４ 相対予測セット情報生成部
７５５ 予測セット情報作成部（復号手段）
７５６ 格納部
７５７ 予測セット情報予測部
７５８ 予測セット情報生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】

【図54】

【図55】

【図56】

【図57】

【図58】

【図59】

【図60】

【図61】

【図62】

【図63】

【図64】

【図65】

【図66】

【図67】

【図68】

【図69】

【図70】

【図71】

【図72】

【図73】