特許 7424982 画像符号化装置、画像復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-22

(45)【発行日】2024-01-30

(54)【発明の名称】画像符号化装置、画像復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/12 20140101AFI20240123BHJP

   H04N 19/159 20140101ALI20240123BHJP

   H04N 19/176 20140101ALI20240123BHJP

   H04N 19/186 20140101ALI20240123BHJP

   H04N 19/593 20140101ALI20240123BHJP

【ＦＩ】

H04N19/12

H04N19/159

H04N19/176

H04N19/186

H04N19/593

【請求項の数】 12

(21)【出願番号】P 2020537446

(86)(22)【出願日】2019-08-09

(86)【国際出願番号】 JP2019031561

(87)【国際公開番号】W WO2020036132

(87)【国際公開日】2020-02-20

【審査請求日】2022-07-11

(31)【優先権主張番号】P 2018152988

(32)【優先日】2018-08-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】根本 慎平

【審査官】鉢呂 健

(56)【参考文献】

【文献】特表２０１５－５１５８２１（ＪＰ，Ａ）

【文献】特表２０１５－５１５２３６（ＪＰ，Ａ）

【文献】VAN DER AUWERA, Geert et al.，Description of Core Experiment 3: Intra Prediction and Mode Coding，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, USA, 10-20 Apr. 2018, [JVET-J1023_r2]，JVET-J1023 (version 3)，ITU-T，2018年06月21日，＜URL:https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J1023-v3.zip＞: JVET-J1023r2_with_markups.docx: pp.25-34

【文献】KIM, Hui Yong et al.，Mode-dependent DCT/DST for chroma，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 9th Meeting: Geneva, CH, 27 April - 7 May 2012, [JCTVC-I0415]，JCTVC-I0415 (version 3)，ITU-T，2012年04月25日，＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I0415-v3.zip＞: JCTVC-I0415_r2.doc: pp.1-8

【文献】IWAMURA, Shunsuke et al.，CE6-related: Implicit transform selection for Multi directional LM，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019, [JVET-M0480-v3]，JVET-M0480 (version 3)，ITU-T，2019年01月10日，＜URL:https://jvet-experts.org/doc_end_user/documents/13_Marrakech/wg11/JVET-M0480-v3.zip＞: JVET-M0480-ImplicitTransformSelectionForMdlm-r1.docx: pp.1-3

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

符号化すべき第２成分のブロックに隣接する隣接復号画素として第１成分の復号画素及び第２成分の復号画素を参照して前記第２成分のブロックを予測する成分間イントラ予測によって第２成分の予測ブロックを生成する成分間イントラ予測部と、
前記第２成分のブロックに対する前記第２成分の予測ブロックの誤差を表す予測残差に対する直交変換処理に適用する直交変換タイプの候補を生成する候補生成部と、
前記候補生成部により生成された候補の中から選択された直交変換タイプを用いて、前記予測残差に対する直交変換処理を行う変換部と、を備え、
前記候補生成部は、前記成分間イントラ予測において参照された前記隣接復号画素の位置に基づいて、前記直交変換タイプの候補を生成することを特徴とする画像符号化装置。

【請求項2】

前記第１成分は、輝度成分であり、
前記第２成分は、色差成分であることを特徴とする請求項１に記載の画像符号化装置。

【請求項3】

前記候補生成部は、前記成分間イントラ予測において参照された前記隣接復号画素の位置が前記第２成分のブロックの上下左右のうちいずれか１つのみであるか否かに応じて、前記直交変換タイプの候補を生成することを特徴とする請求項１又は２に記載の画像符号化装置。

【請求項4】

前記成分間イントラ予測部は、第１のモード及び第２のモードを含む複数のモードの中から選択されたモードを用いて前記成分間イントラ予測を行い、
前記第１のモードは、前記第２成分のブロックの上側及び左側の両方の前記隣接復号画素を参照して前記第２成分のブロックを予測するモードであり、
前記第２のモードは、前記第２成分のブロックの上側のみ又は左側のみの前記隣接復号画素を参照して前記第２成分のブロックを予測するモードであり、
前記候補生成部は、
前記第１のモードが選択された場合には、前記直交変換タイプの候補として、１以上の直交変換タイプからなる第１の候補を生成し、
前記第２のモードが選択された場合には、前記直交変換タイプの候補として、前記第１の候補とは異なる第２の候補を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。

【請求項5】

前記第２の候補は、水平方向の直交変換処理に適用する１以上の直交変換タイプの候補からなる水平方向候補と、垂直方向の直交変換処理に適用する１以上の直交変換タイプの候補からなる垂直方向候補と、を含み、
前記水平方向候補と前記垂直方向候補とが少なくとも部分的に互いに異なっていることを特徴とする請求項４に記載の画像符号化装置。

【請求項6】

復号すべき第２成分のブロックに隣接する隣接復号画素として第１成分の復号画素及び第２成分の復号画素を参照して前記第２成分のブロックを予測する成分間イントラ予測によって第２成分の予測ブロックを生成する成分間イントラ予測部と、
前記第２成分のブロックに対する前記第２成分の予測ブロックの誤差を表す予測残差に対応する第２成分の変換係数に対する逆直交変換処理に適用する直交変換タイプの候補を生成する候補生成部と、
前記候補生成部により生成された候補の中から選択された直交変換タイプを用いて、前記第２成分の変換係数に対する逆直交変換処理を行う逆変換部と、を備え、
前記候補生成部は、前記成分間イントラ予測において参照された前記隣接復号画素の位置に基づいて、前記直交変換タイプの候補を生成することを特徴とする画像復号装置。

【請求項7】

前記第１成分は、輝度成分であり、
前記第２成分は、色差成分であることを特徴とする請求項６に記載の画像復号装置。

【請求項8】

前記候補生成部は、前記成分間イントラ予測において参照された前記隣接復号画素の位置が前記第２成分のブロックの上下左右のうちいずれか１つのみであるか否かに応じて、前記直交変換タイプの候補を生成することを特徴とする請求項６又は７に記載の画像復号装置。

【請求項9】

前記成分間イントラ予測部は、第１のモード及び第２のモードを含む複数のモードの中から選択されたモードを用いて前記成分間イントラ予測を行い、
前記第１のモードは、前記第２成分のブロックの上側及び左側の両方の前記隣接復号画素を参照して前記第２成分のブロックを予測するモードであり、
前記第２のモードは、前記第２成分のブロックの上側のみ又は左側のみの前記隣接復号画素を参照して前記第２成分のブロックを予測するモードであり、
前記候補生成部は、
前記第１のモードが選択された場合には、前記直交変換タイプの候補として、１以上の直交変換タイプからなる第１の候補を生成し、
前記第２のモードが選択された場合には、前記直交変換タイプの候補として、前記第１の候補とは異なる第２の候補を生成することを特徴とする請求項６乃至８のいずれか１項に記載の画像復号装置。

【請求項10】

前記第２の候補は、水平方向の逆直交変換処理に適用する１以上の直交変換タイプの候補からなる水平方向候補と、垂直方向の逆直交変換処理に適用する１以上の直交変換タイプの候補からなる垂直方向候補と、を含み、
前記水平方向候補と前記垂直方向候補とが少なくとも部分的に互いに異なっていることを特徴とする請求項９に記載の画像復号装置。

【請求項11】

コンピュータを請求項１乃至５のいずれか１項に記載の画像符号化装置として機能させることを特徴とするプログラム。

【請求項12】

コンピュータを請求項６乃至１０のいずれか１項に記載の画像復号装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化装置、画像復号装置、及びプログラムに関する。

【背景技術】

【0002】

画像符号化技術において、フレーム内の空間的な相関を利用したイントラ予測が広く用いられている。イントラ予測では、予測対象のブロックに隣接する隣接復号画素を参照して当該ブロック内の画素値を予測して予測画像を生成する。

【0003】

画像符号化装置は、当該ブロックに対する予測画像の誤差を表す予測残差を算出し、当該予測残差に対して直交変換処理を行うことにより変換係数を生成し、変換係数を量子化及びエントロピー符号化して符号化データ（ビットストリーム）を出力する。

【0004】

例えば、特許文献１には、画像のブロックごとに色差信号のイントラ予測モードを定めるイントラ予測器において、色差信号のイントラ予測モードの符号化効率を向上することができるイントラ予測器を用いた画像符号化装置が開示されている（特許文献１参照）。直交変換処理に適用される直交変換タイプとしては、従来からＤＣＴタイプ２（ＤＣＴ－２）が広く用いられている。

【0005】

また、非特許文献１に記載のＨＥＶＣでは、イントラ予測を適用した規定サイズ以下のブロックに対しては、ＤＣＴ－２でなくＤＳＴタイプ７（ＤＳＴ－７）を適用するよう規定されている。ＤＳＴ－７は、ＤＣＴ－２とは異なり、インパルス応答が非対称な直交変換であり、その片側の端点の係数が小さく、他方の端点の係数が大きい変換である。

【0006】

イントラ予測は、ブロックに隣接する隣接復号画素を参照して当該ブロックを予測するものであるため、当該ブロック内において隣接復号画素に近い領域の予測精度が高く、隣接復号画素から遠い領域の予測精度が低くなる可能性が高い。かかる特徴をもつ予測残差に対してＤＳＴ－７を適用することにより、予測残差のエネルギーをより効率的に集中させることが可能となる。

【0007】

一方、イントラ予測のモードとして、輝度（Ｌｕｍａ）の隣接復号画素を用いて色差（Ｃｈｒｏｍａ）の画素値を予測する成分間イントラ予測（ＣＣＩＰ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）が知られている。

【0008】

具体的には、成分間イントラ予測では、色差ブロックの上側及び左側に隣接する輝度復号画素及び色差復号画素を参照して、当該ブロックの輝度及び色差の線形モデルを算出し、算出した線形モデルを用いて当該ブロック内の色差の画素値を予測する。なお、成分間イントラ予測は、ＣＣＬＭ（Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ）予測と称されることもある。

【0009】

成分間イントラ予測では、ブロックの上側及び左側の輝度及び色差の隣接復号画素の信号分布の関係が当該ブロックの輝度及び色差の信号分布の関係と近似できることを利用することにより、色差の信号を精度よく予測できる。しかし、上側及び左側の隣接復号画素を常に用いるため、上側と左側とで、輝度及び色差の信号分布の関係が異なる場合には、正しい線形モデルが算出できず、結果として色差の予測精度が低下してしまう。

【0010】

非特許文献２には、かかる問題点に鑑みて、色差の新たなイントラ予測モードとしてＣＣＩＰ＿Ａモード及びＣＣＩＰ＿Ｌモードが記載されている。ＣＣＩＰ＿Ａモードは、上側及び左側の輝度及び色差の隣接復号画素を用いる代わりに、上側のみの輝度及び色差の隣接復号画素を用いて線形モデルを算出するイントラ予測モードである。ＣＣＩＰ＿Ｌモードは、左側のみの輝度及び色差の隣接復号画素を用いて線形モデルを算出するイントラ予測モードである。なお、非特許文献３にも同様なイントラ予測モードが記載されているが、ＣＣＩＰ＿ＡがＬＭ－ｔｏｐと称され、ＣＣＩＰ＿ＬがＬＭ－ｌｅｆｔと称されている。

【0011】

また、非特許文献２には、ＣＣＩＰモード、ＣＣＩＰ＿Ａモード、又はＣＣＩＰ＿Ｌモードを適用した色差ブロックの予測残差に対する直交変換処理において、ＤＣＴ－２を垂直方向及び水平方向に適用するか、又は、ＤＣＴ－８若しくはＤＳＴ－７を垂直方向及び水平方向のそれぞれについて選択的に適用することが記載されている。

【先行技術文献】

【特許文献】

【0012】

【文献】特開２０１８－０７８４０９号公報

【非特許文献】

【0013】

【文献】Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６）， "Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

【文献】ＪＶＥＴ－Ｊ００２５、"Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＳＤＲ，ＨＤＲ ａｎｄ ３６０° ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ Ｑｕａｌｃｏｍｍ ａｎｄ Ｔｅｃｈｎｉｃｏｌｏｒｍｅｄｉｕｍ ｃｏｍｐｌｅｘｉｔｙ ｖｅｒｓｉｏｎ"、２０１８年５月２２日検索、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓａｎ％２０Ｄｉｅｇｏ／ｗｇ１１／ＪＶＥＴ－Ｊ００２５－ｖ４．ｚｉｐ＞

【文献】ＪＶＥＴ－Ｊ００１８、"Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＳＤＲ ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ ＭｅｄｉａＴｅｋ"、［２０１８年５月２２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓａｎ％２０Ｄｉｅｇｏ／ｗｇ１１／ＪＶＥＴ－Ｊ００１８－ｖ２．ｚｉｐ＞

【発明の開示】

【発明が解決しようとする課題】

【0014】

しかしながら、ＣＣＩＰ＿Ａモード又はＣＣＩＰ＿Ｌモードを適用した色差ブロックの予測残差は、そのエネルギー分布傾向に偏りがでる可能性が高い。

【0015】

例えば、ＣＣＩＰ＿Ａモードを適用する場合には、上側の輝度及び色差の隣接復号画素を線形モデルの算出に用いるため、当該ブロックの上端部領域の予測精度は高くなる可能性が高い。一方、線形モデル算出に用いた隣接復号画素から遠い下端部領域の予測精度は低くなる可能性が高い。かかる特徴をもつ予測残差に対して、垂直方向にＤＣＴ－８を適用すると、予測残差のエネルギーが集中しないため、符号化効率が低下してしまう問題がある。

【0016】

同様に、ＣＣＩＰ＿Ｌモードを適用する場合には、左側の輝度及び色差の隣接復号画素を線形モデル算出に用いるため、当該ブロックの色差の左端部領域の予測精度は高くなる可能性が高いが、線形モデルの算出に用いた隣接復号画素から遠い右端部領域の予測精度は低くなる可能性が高い。かかる特徴をもつ予測残差に対して、水平方向にＤＣＴ－８を適用すると、予測残差のエネルギーが集中しないため、符号化効率が低下してしまう問題がある。

【0017】

そこで、本発明は、成分間イントラ予測を用いる場合において符号化効率を改善した画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0018】

第１の特徴に係る画像符号化装置は、符号化すべき第２成分のブロックに隣接する隣接復号画素として第１成分の復号画素及び第２成分の復号画素を参照して前記第２成分のブロックを予測する成分間イントラ予測によって第２成分の予測ブロックを生成する成分間イントラ予測部と、前記第２成分のブロックに対する前記第２成分の予測ブロックの誤差を表す予測残差に対する直交変換処理に適用する直交変換タイプの候補を生成する候補生成部と、前記候補生成部により生成された候補の中から選択された直交変換タイプを用いて、前記予測残差に対する直交変換処理を行う変換部と、を備え、前記候補生成部は、前記成分間イントラ予測において参照された前記隣接復号画素の位置に基づいて、前記直交変換タイプの候補を生成することを要旨とする。

【0019】

第２の特徴に係る画像復号装置は、復号すべき第２成分のブロックに隣接する隣接復号画素として第１成分の復号画素及び第２成分の復号画素を参照して前記第２成分のブロックを予測する成分間イントラ予測によって第２成分の予測ブロックを生成する成分間イントラ予測部と、前記第２成分のブロックに対する前記第２成分の予測ブロックの誤差を表す予測残差に対応する第２成分の変換係数に対する逆直交変換処理に適用する直交変換タイプの候補を生成する候補生成部と、前記候補生成部により生成された候補の中から選択された直交変換タイプを用いて、前記第２成分の変換係数に対する逆直交変換処理を行う逆変換部と、を備え、前記候補生成部は、前記成分間イントラ予測において参照された前記隣接復号画素の位置に基づいて、前記直交変換タイプの候補を生成することを要旨とする。

【0020】

第３の特徴に係るプログラムは、コンピュータを第１の特徴に係る画像符号化装置として機能させる。

【0021】

第４の特徴に係るプログラムは、コンピュータを第２の特徴に係る画像復号装置として機能させる。

【発明の効果】

【0022】

本発明によれば、成分間イントラ予測を用いる場合において符号化効率を改善した画像符号化装置、画像復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0023】

【図1】実施形態に係る画像符号化装置の構成を示す図である。

【図2】通常のＣＣＩＰモードを示す図である。

【図3】ＣＣＩＰ＿Ａモードを示す図である。

【図4】ＣＣＩＰ＿Ｌモードを示す図である。

【図5】実施形態に係る画像復号装置の構成を示す図である。

【図6】実施形態に係る画像符号化装置の動作例を示す図である。

【図7】実施形態に係る画像復号装置の動作例を示す図である。

【図8】実施形態の変更例１に係る画像符号化装置の動作例を示す図である。

【図9】実施形態の変更例１に係る画像復号装置の動作例を示す図である。

【図10】実施形態の変更例２に係る画像符号化装置の動作例を示す図である。

【図11】実施形態の変更例２に係る画像復号装置の動作例を示す図である。

【発明を実施するための形態】

【0024】

図面を参照して、一実施形態に係る画像符号化装置及び画像復号装置について説明する。本実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号を行う。なお、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0025】

＜１．画像符号化装置の構成＞
図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

【0026】

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０と、変換制御部１８０とを備える。

【0027】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、分割により得たブロックを減算部１１０に出力する。入力画像内の各画素は、輝度（Ｙ）及び色差（Ｃ_b、Ｃ_r）からなる。

【0028】

ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位である。

【0029】

本実施形態において、ブロック分割部１００は、入力画像をＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれるブロックに分割する。１つのＣＵは、輝度ブロックと色差ブロックとを含む。画像符号化装置１は、１つのＣＵを構成する輝度ブロック及び色差ブロックを別々に符号化することが可能である。同様に、画像復号装置２は、１つのＣＵを構成する輝度ブロック及び色差ブロックを別々に復号することが可能である。

【0030】

減算部１１０は、ブロック分割部１００から入力されたブロックと、予測部１７０が当該ブロックを予測して得た予測画像（予測ブロック）との間の画素単位での誤差を表す予測残差を算出する。具体的には、減算部１１０は、ブロック分割部１００から入力されたブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0031】

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを備える。

【0032】

変換部１２１は、変換制御部１８０の制御下で、減算部１１０から入力された予測残差に対して直交変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。直交変換処理とは、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）等をいう。

【0033】

本実施形態において、変換部１２１は、ＤＣＴタイプ２（ＤＣＴ－２）、ＤＣＴタイプ５（ＤＣＴ－５）、ＤＣＴタイプ８（ＤＣＴ－８）、及びＤＳＴタイプ７（ＤＳＴ－７）の中から変換制御部１８０により選択された直交変換タイプを用いて、水平方向及び垂直方向のそれぞれの直交変換処理を行う。なお、これらの直交変換タイプ自体は当業者によく知られているため、各直交変換タイプの数式等についての説明は省略する。

【0034】

量子化部１２２は、変換部１２１から入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１２２は、量子化された変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。

【0035】

エントロピー符号化部１３０は、量子化部１２２から入力された変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。

【0036】

なお、エントロピー符号化部１３０には、予測部１７０から予測に関する制御情報が入力され、変換制御部１８０から変換処理に関する制御情報が入力される。エントロピー符号化部１３０は、これらの制御情報のエントロピー符号化も行う。

【0037】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを備える。

【0038】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

【0039】

逆変換部１４２は、変換制御部１８０の制御下で、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１がＤＣＴ－２による直交変換処理を行った場合には、逆変換部１４２はＤＣＴ－２による逆直交変換処理を行う。逆変換部１４２は、逆量子化部１４１から入力された変換係数に対して、水平方向及び垂直方向のそれぞれの逆直交変換処理を行って予測残差を復元し、復元した予測残差を合成部１５０に出力する。

【0040】

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１７０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算してブロックを再構成（復号）し、復号したブロック単位の復号画像をメモリ１６０に出力する。かかる復号画像は、再構成画像と称されることがある。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

【0041】

メモリ１６０は、合成部１５０から入力された復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。

【0042】

予測部１７０は、ブロック単位で予測を行う。予測部１７０は、イントラ予測部１７１と、インター予測部１７２と、切替部１７３とを備える。

【0043】

イントラ予測部１７１は、フレーム単位の原画像を分割して得られたブロック単位でイントラ予測を行う。イントラ予測部１７１は、メモリ１６０に記憶された復号画像のうち、予測対象のブロックに隣接する隣接復号画素を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部１７３に出力する。

【0044】

また、イントラ予測部１７１は、複数のイントラ予測モードの中から、対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。イントラ予測部１７１は、選択したイントラ予測モードを示すインデックスをエントロピー符号化部１３０に出力する。なお、イントラ予測モードには、Ｐｌａｎａｒ予測、ＤＣ予測、及び方向性予測等がある。

【0045】

イントラ予測部１７１は、予測対象のＣＵの色差ブロックに適用するイントラ予測モードとして、成分間イントラ予測（ＣＣＩＰ）を選択可能である。具体的には、イントラ予測部１７１は、ＣＣＩＰにより、ＣＵの輝度ブロックの復号画像（復号画素値）を用いて当該ＣＵの色差ブロックを予測する成分間イントラ予測部１７１ａを備える。

【0046】

具体的には、成分間イントラ予測部１７１ａは、符号化すべき色差ブロックに隣接する隣接復号画素として輝度復号画素及び色差復号画素を参照して当該色差ブロックを予測する成分間イントラ予測によって予測色差ブロックを生成する。

【0047】

なお、成分間イントラ予測（ＣＣＩＰ）が適用される場合、イントラ予測部１７１は、ＣＵの輝度ブロックのイントラ予測を先に行っており、メモリ１６０には、当該ＣＵの輝度ブロックの復号画像が記憶されている。

【0048】

成分間イントラ予測部１７１ａは、成分間イントラ予測（ＣＣＩＰ）によって予測色差ブロックを生成し、切替部１７３を介して予測色差ブロックを減算部１１０に出力する。減算部１１０は、ブロック分割部１００から入力された色差ブロックに対する予測色差ブロックの誤差を表す色差予測残差を算出し、算出した色差予測残差を変換部１２１に出力する。変換部１２１は、減算部１１０から入力された色差予測残差に対して直交変換処理を行う。

【0049】

本実施形態において、ＣＣＩＰは、通常のＣＣＩＰ、ＣＣＩＰ＿Ａ、及びＣＣＩＰ＿Ｌの３つのモードを含む。図２は通常のＣＣＩＰモードを示す図であり、図３はＣＣＩＰ＿Ａモードを示す図であり、図４はＣＣＩＰ＿Ｌモードを示す図である。

【0050】

図２に示すように、通常のＣＣＩＰモードの場合、成分間イントラ予測部１７１ａは、ＣＵの上側及び左側に隣接する輝度復号画素及び色差復号画素を用いて、当該ＣＵの輝度及び色差の線形モデルを算出し、算出した線形モデルを用いて当該ＣＵの色差ブロックの画素値を予測する。

【0051】

通常のＣＣＩＰモードは、ＣＵの上側及び左側の輝度及び色差の隣接復号画素の信号分布の関係が当該ＣＵの輝度及び色差の信号分布の関係と近似できることを利用し、色差の信号を精度よく予測できる。なお、隣接復号画素は、次隣接の復号画素を含む概念であってもよい。

【0052】

成分間イントラ予測部１７１ａは、上述した、非特許文献の他、例えば、ＪＶＥＴ－Ｇ１００１－Ｖ１等に記載されているように、次の式（１）によりＣＵの色差（Ｃｂ）の予測画素値ｐｒｅｄ_c（ｉ，ｊ）を算出する。

【0053】

【数1】

【0054】

但し、ｒｅｃ_L '（ｉ, ｊ）は、当該ＣＵのダウンサンプルされた輝度の復号画素値（ｄｏｗｎｓａｍｐｌｅｄ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｌｕｍａ ｓａｍｐｌｅｓ）を表す。

【0055】

また、α及びβは次の式（２）及び（３）により算出する。

【0056】

【数2】

【0057】

但し、Ｌ（ｎ）は、ダウンサンプルされた上側及び左側の輝度の隣接復号画素値（ｔｏｐ ａｎｄ ｌｅｆｔ ｎｅｉｇｈｂｏｕｒｉｎｇ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｌｕｍａ ｓａｍｐｌｅｓ）を表す。Ｃ（ｎ）は、上側及び左側の色差の隣接復号画素値（ｔｏｐ ａｎｄ ｌｅｆｔ ｎｅｉｇｈｂｏｕｒｉｎｇ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｃｈｒｏｍａ ｓａｍｐｌｅｓ）を表す。

【0058】

このように、通常のＣＣＩＰは、ＣＵの上側及び左側の隣接復号画素を常に用いるため、上側と左側とで、輝度及び色差の信号分布の関係が異なる場合には、正しい線形モデルが算出できず、結果として色差の予測精度が低下してしまう。ＣＣＩＰ＿Ａモード及びＣＣＩＰ＿Ｌモードは、ＣＵの上側と左側とで輝度及び色差の信号分布の関係が異なる場合において好適なモードである。

【0059】

図３に示すように、ＣＣＩＰ＿Ａモードの場合、成分間イントラ予測部１７１ａは、ＣＵの上側及び左側の輝度及び色差の隣接復号画素を用いる代わりに、ＣＵの上側のみの輝度及び色差の隣接復号画素を用いて線形モデルを算出する。

【0060】

ＣＣＩＰ＿Ａモードを適用する場合には、線形モデルの算出に用いた隣接復号画素に近い領域（すなわち、色差ブロックの上端部領域）の予測精度は高くなる可能性が高い。一方、線形モデル算出に用いた隣接復号画素から遠い領域（すなわち、色差ブロックの下端部領域）の予測精度は低くなる可能性が高い。

【0061】

図４に示すように、ＣＣＩＰ＿Ｌモードの場合、成分間イントラ予測部１７１ａは、ＣＵの上側及び左側の輝度及び色差の隣接復号画素を用いる代わりに、ＣＵの左側のみの輝度及び色差の隣接復号画素を用いて線形モデルを算出する。

【0062】

ＣＣＩＰ＿Ｌモードを適用する場合には、線形モデルの算出に用いた隣接復号画素から遠い領域（すなわち、色差ブロックの左端部領域）の予測精度は高くなる可能性が高いが、線形モデルの算出に用いた隣接復号画素から近い領域（すなわち、色差ブロックの右端部領域）の予測精度は低くなる可能性が高い。

【0063】

成分間イントラ予測部１７１ａは、色差ブロックに適用するイントラ予測モードとして、通常のＣＣＩＰモード、ＣＣＩＰ＿Ａモード、及びＣＣＩＰ＿Ｌモードのいずれかが選択された場合に、選択されたモードを示すインデックスをエントロピー符号化部１３０及び変換制御部１８０に出力する。

【0064】

インター予測部１７２は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、予測対象のブロックを予測してインター予測画像を生成し、生成したインター予測画像を切替部１７３に出力する。インター予測部１７２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。

【0065】

切替部１７３は、イントラ予測部１７１から入力されるイントラ予測画像とインター予測部１７２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

【0066】

変換制御部１８０は、変換部１２１が行う直交変換処理及び逆変換部１４２が行う逆直交変換処理を制御する。本実施形態において、変換制御部１８０は、色差ブロックに適用するイントラ予測モードとして、通常のＣＣＩＰモード、ＣＣＩＰ＿Ａモード、及びＣＣＩＰ＿Ｌモードのいずれかが選択された場合に、当該色差ブロックに対応する変換処理（直交変換処理及び逆直交変換処理）を制御する。

【0067】

変換制御部１８０は、候補生成部１８１と、タイプ選択部１８２とを備える。

【0068】

候補生成部１８１は、成分間イントラ予測部１７１ａから入力されたイントラ予測モードのインデックスに基づいて、色差予測残差に対する直交変換処理に適用する直交変換タイプの候補を生成し、生成した候補をタイプ選択部１８２に出力する。例えば、直交変換タイプの候補は、ＤＣＴ－２、ＤＣＴ－５、ＤＣＴ－８、及びＤＳＴ－７のうち少なくとも１つである。

【0069】

具体的には、候補生成部１８１は、成分間イントラ予測（ＣＣＩＰ）において参照された隣接復号画素の位置が色差ブロックの上下左右のうちいずれか１つのみであるか否かに応じて、直交変換タイプの候補を生成する。

【0070】

本実施形態において、成分間イントラ予測部１７１ａは、第１のモード（通常のＣＣＩＰモード）及び第２のモード（ＣＣＩＰ＿Ａモード又はＣＣＩＰ＿Ｌモード）を含む複数のモードの中から選択されたモードを用いて成分間イントラ予測を行う。第１のモードは、色差ブロックの上側及び左側の両方の隣接復号画素を参照して色差ブロックを予測するモードである。第２のモードは、色差ブロックの上側のみ又は左側のみの隣接復号画素を参照して色差ブロックを予測するモードである。

【0071】

候補生成部１８１は、第１のモードが選択された場合には、直交変換タイプの候補として、１以上の直交変換タイプからなる第１の候補を生成する。候補生成部１８１は、第２のモードが選択された場合には、直交変換タイプの候補として、第１の候補とは異なる第２の候補を生成する。すなわち、候補生成部１８１は、第１のモード（通常のＣＣＩＰモード）と第２のモード（ＣＣＩＰ＿Ａモード又はＣＣＩＰ＿Ｌモード）とで、互いに異なる直交変換タイプの候補を生成する。

【0072】

ここで、第１の候補及び第２の候補のそれぞれは、水平方向の変換処理に適用する１以上の直交変換タイプの候補からなる水平方向候補と、垂直方向の変換処理に適用する１以上の直交変換タイプの候補からなる垂直方向候補とを含む。第１の候補において、水平方向候補と垂直方向候補とが同じであってもよい。一方、第２の候補においては、水平方向候補と垂直方向候補とが互いに異なっている。

【0073】

タイプ選択部１８２は、候補生成部１８１から入力された候補の中から色差予測残差に対する直交変換処理に適用する直交変換タイプを選択し、選択した直交変換タイプを示すインデックス（フラグ）を変換部１２１、逆変換部１４２、及びエントロピー符号化部１３０に出力する。例えば、タイプ選択部１８２は、候補生成部１８１から入力された候補のそれぞれについてＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）コストを算出し、算出したＲＤコストに基づいて当該候補の中から直交変換タイプを選択してもよい。

【0074】

具体的には、タイプ選択部１８２は、候補生成部１８１から入力された水平方向候補の中から水平方向の変換処理に適用する直交変換タイプを選択し、選択した水平方向の直交変換タイプを示すインデックス（フラグ）を変換部１２１、逆変換部１４２、及びエントロピー符号化部１３０に出力する。

【0075】

但し、候補生成部１８１から入力された水平方向候補が１つの直交変換タイプのみからなる場合には、水平方向の変換処理に適用する直交変換タイプが一意に定まるため、水平方向の直交変換タイプを示すインデックス（フラグ）をエントロピー符号化部１３０に出力しなくてもよい。

【0076】

また、タイプ選択部１８２は、候補生成部１８１から入力された垂直方向候補の中から垂直方向の変換処理に適用する直交変換タイプを選択し、選択した垂直方向の直交変換タイプを示すインデックス（フラグ）を変換部１２１、逆変換部１４２、及びエントロピー符号化部１３０に出力する。

【0077】

但し、候補生成部１８１から入力された垂直方向候補が１つの直交変換タイプのみからなる場合には、垂直方向の変換処理に適用する直交変換タイプが一意に定まるため、垂直方向の直交変換タイプを示すインデックス（フラグ）をエントロピー符号化部１３０に出力しなくてもよい。

【0078】

＜２．画像復号装置の構成＞
図５は、本実施形態に係る画像復号装置２の構成を示す図である。

【0079】

図５に示すように、画像復号装置２は、エントロピー符号復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０と、変換制御部２５０とを備える。

【0080】

エントロピー符号復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化された変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー符号復号部２００は、予測（イントラ予測及びインター予測）に関する制御情報を取得し、取得した制御情報を予測部２４０に出力する。

【0081】

本実施形態において、エントロピー符号復号部２００は、イントラ予測モード（具体的には、ＣＣＩＰのモード）のインデックスと、水平方向及び垂直方向のそれぞれの直交変換タイプのインデックスとを取得し、イントラ予測モードのインデックスをイントラ予測部２４１及びタイプ選択部２５２に出力し、直交変換タイプのインデックスをタイプ選択部２５２に出力する。

【0082】

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを備える。

【0083】

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー符号復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

【0084】

逆変換部２１２は、変換制御部２５０の制御下で、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された変換係数に対して、水平方向及び垂直方向のそれぞれの逆直交変換処理を行って予測残差を復元し、復元した予測残差を合成部２２０に出力する。

【0085】

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２４０から入力された予測画像（予測ブロック）とを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の復号画像をメモリ２３０に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

【0086】

メモリ２３０は、合成部２２０から入力された復号画像を記憶する。メモリ２３０は、復号画像をフレーム単位で記憶する。メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。

【0087】

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、イントラ予測部２４１と、インター予測部２４２と、切替部２４３とを備える。

【0088】

イントラ予測部２４１は、メモリ２３０に記憶された復号画像のうち、予測対象のブロックに隣接する隣接復号画素を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部２４３に出力する。また、イントラ予測部２４１は、エントロピー符号復号部２００から入力されたイントラ予測モードのインデックスに基づいて複数のイントラ予測モードの中からイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。

【0089】

イントラ予測部２４１は、成分間イントラ予測（ＣＣＩＰ）により、ＣＵの輝度ブロックの復号画像（復号画素値）を用いて当該ＣＵの色差ブロックを予測する成分間イントラ予測部２４１ａを備える。具体的には、成分間イントラ予測部２４１ａは、復号すべき色差ブロックに隣接する隣接復号画素として輝度復号画素及び色差復号画素を参照して当該色差ブロックを予測する成分間イントラ予測によって予測色差ブロックを生成する。

【0090】

なお、成分間イントラ予測（ＣＣＩＰ）が適用される場合、イントラ予測部２４１は、ＣＵの輝度ブロックのイントラ予測を先に行っており、メモリ２３０には、当該ＣＵの輝度ブロックの復号画像が記憶されている。

【0091】

成分間イントラ予測部２４１ａは、成分間イントラ予測（ＣＣＩＰ）によって予測色差ブロックを生成し、切替部２４３を介して予測色差ブロックを合成部２２０に出力する。合成部２２０は、逆変換部２１２から入力された色差予測残差と、成分間イントラ予測部２４１ａから入力された予測色差ブロックとを画素単位で合成することにより、元の色差ブロックを再構成（復号）し、ブロック単位の復号画像をメモリ２３０に出力する。

【0092】

本実施形態において、ＣＣＩＰは、通常のＣＣＩＰ、ＣＣＩＰ＿Ａ、及びＣＣＩＰ＿Ｌの３つのモードを含む。成分間イントラ予測部２４１ａは、色差ブロックに適用するイントラ予測モードとして、通常のＣＣＩＰモード、ＣＣＩＰ＿Ａモード、及びＣＣＩＰ＿Ｌモードのいずれかが選択された場合に、選択されたモードを示すインデックスを変換制御部２５０に出力する。

【0093】

インター予測部２４２は、メモリ２３０に記憶された復号画像を参照画像として用いて予測対象のブロックを予測するインター予測を行う。インター予測部２４２は、エントロピー符号復号部２００から入力された制御情報（動きベクトル情報等）に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を切替部２４３に出力する。

【0094】

切替部２４３は、イントラ予測部２４１から入力されるイントラ予測画像とインター予測部２４２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

【0095】

変換制御部２５０は、逆変換部２１２が行う逆直交変換処理を制御する。本実施形態において、変換制御部２５０は、色差ブロックに適用するイントラ予測モードとして、通常のＣＣＩＰモード、ＣＣＩＰ＿Ａモード、及びＣＣＩＰ＿Ｌモードのいずれかが選択された場合に、当該色差ブロックに対応する変換処理（逆直交変換処理）を制御する。変換制御部２５０は、候補生成部２５１と、タイプ選択部２５２とを備える。

【0096】

候補生成部２５１は、成分間イントラ予測部２４１ａから入力されたイントラ予測モードのインデックスに基づいて、逆変換部２１２が行う逆直交変換処理に適用する直交変換タイプの候補を生成し、生成した候補をタイプ選択部２５２に出力する。例えば、直交変換タイプの候補は、ＤＣＴ－２、ＤＣＴ－５、ＤＣＴ－８、及びＤＳＴ－７のうち少なくとも１つである。

【0097】

具体的には、候補生成部２５１は、成分間イントラ予測（ＣＣＩＰ）において参照された隣接復号画素の位置が色差ブロックの上下左右のうちいずれか１つのみであるか否かに応じて、直交変換タイプの候補を生成する。

【0098】

本実施形態において、成分間イントラ予測部２４１ａは、第１のモード（通常のＣＣＩＰモード）及び第２のモード（ＣＣＩＰ＿Ａモード又はＣＣＩＰ＿Ｌモード）を含む複数のモードの中から選択されたモードを用いて成分間イントラ予測を行う。第１のモードは、色差ブロックの上側及び左側の両方の隣接復号画素を参照して色差ブロックを予測するモードである。第２のモードは、色差ブロックの上側のみ又は左側のみの隣接復号画素を参照して色差ブロックを予測するモードである。

【0099】

候補生成部２５１は、第１のモードが選択された場合には、直交変換タイプの候補として、１以上の直交変換タイプからなる第１の候補を生成する。候補生成部２５１は、第２のモードが選択された場合には、直交変換タイプの候補として、第１の候補とは異なる第２の候補を生成する。すなわち、候補生成部２５１は、第１のモード（通常のＣＣＩＰモード）と第２のモード（ＣＣＩＰ＿Ａモード又はＣＣＩＰ＿Ｌモード）とで、互いに異なる直交変換タイプの候補を生成する。

【0100】

ここで、第１の候補及び第２の候補のそれぞれは、水平方向の変換処理に適用する１以上の直交変換タイプの候補からなる水平方向候補と、垂直方向の変換処理に適用する１以上の直交変換タイプの候補からなる垂直方向候補とを含む。第１の候補において、水平方向候補と垂直方向候補とが同じであってもよい。一方、第２の候補においては、水平方向候補と垂直方向候補とが互いに異なっている。

【0101】

タイプ選択部２５２は、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（水平方向、垂直方向）に従って、候補生成部２５１から入力された候補の中から逆直交変換処理（水平方向、垂直方向）に適用する直交変換タイプを選択する。具体的には、エントロピー符号復号部２００から入力される直交変換タイプのインデックスは、候補生成部２５１が生成する候補のうちいずれかを指定するものである。タイプ選択部２５２は、選択した直交変換タイプを示すインデックス（フラグ）を逆変換部２１２に出力する。

【0102】

＜３．動作例＞
以下において、本実施形態に係る画像符号化装置１及び画像復号装置２の動作例について説明する。

【0103】

＜３．１．画像符号化装置の動作例＞
図６は、本実施形態に係る画像符号化装置１の動作例を示す図である。

【0104】

図６に示すように、ステップＳ１０１において、イントラ予測部１７１は、色差ブロックに対するイントラ予測モードを選択する。ここでは、通常のＣＣＩＰモード、ＣＣＩＰ＿Ａモード、及びＣＣＩＰ＿Ｌモードのいずれかが選択されたと仮定して説明を進める。成分間イントラ予測部１７１ａは、選択されたモードに従って成分間イントラ予測を行い、予測色差ブロックを生成する。減算部１１０は、元の色差ブロックと予測色差ブロックとの誤差を表す色差予測残差を算出する。

【0105】

（通常のＣＣＩＰモード）
通常のＣＣＩＰモードが選択された場合（ステップＳ１０２：ＹＥＳ）、ステップＳ１０３において、候補生成部１８１は、水平方向候補として、ＤＣＴ－２、ＤＣＴ－８、及びＤＳＴ－７からなる候補を生成する。候補生成部１８１は、垂直方向候補として、ＤＣＴ－２、ＤＣＴ－８、及びＤＳＴ－７からなる候補を生成する。

【0106】

ステップＳ１０７において、タイプ選択部１８２は、ＤＣＴ－２を垂直方向及び水平方向に適用するか、又は、ＤＣＴ－８若しくはＤＳＴ－７を垂直方向及び水平方向のそれぞれについて選択的に適用するかを判断する。

【0107】

ステップＳ１０８において、変換部１２１は、タイプ選択部１８２により選択された直交変換タイプを用いて、色差予測残差に対する直交変換処理（水平方向、垂直方向）を行って変換係数を生成する。

【0108】

ステップＳ１０９において、エントロピー符号化部１３０は、量子化後の変換係数と、通常のＣＣＩＰモードを示すインデックスとを符号化する。

【0109】

また、ステップＳ１０９において、エントロピー符号化部１３０は、選択された直交変換タイプを示すインデックスを符号化する。例えば、当該インデックスは、第１のフラグ及び第２のフラグを含む。具体的には、ＤＣＴ－２を水平および垂直に適用する場合には、第１のフラグを「１」として符号化及び伝送する。ＤＣＴ－８又はＤＳＴ－７を選択的に垂直及び水平のそれぞれに適用する場合には、第１のフラグを「０」として符号化及び伝送した後、水平方向の直交変換タイプがＤＣＴ－８及びＤＳＴ－７のどちらであるかを示す第２のフラグを符号化し、ビットストリームにより出力する。同様に、垂直方向の直交変換タイプがＤＣＴ－８及びＤＳＴ－７のどちらであるかを示す第２のフラグを符号化し、ビットストリームにより出力する。

【0110】

（ＣＣＩＰ＿Ｌモード）
ＣＣＩＰ＿Ｌモードが選択された場合（ステップＳ１０４：ＹＥＳ）、ステップＳ１０５において、候補生成部１８１は、水平方向候補として、ＤＳＴ－７のみからなる候補を生成する。また、候補生成部１８１は、垂直方向候補として、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する。上述したように、色差ブロックにＣＣＩＰ＿Ｌモードを適用する場合には、予測残差の左側領域のエネルギーが小さくなる傾向にあり、また予測残差の右側領域のエネルギーが大きくなる傾向にある。そこで、候補生成部１８１が水平方向候補としてＤＳＴ－７のみからなる候補を生成することとしている。

【0111】

ステップＳ１０７において、タイプ選択部１８２は、垂直方向についてＤＣＴ－８及びＤＳＴ－７のいずれか一方を選択する。水平方向についてはＤＳＴ－７しか候補が存在しないため、タイプ選択部１８２は水平方向についてＤＳＴ－７を選択する。

【0112】

ステップＳ１０８において、変換部１２１は、タイプ選択部１８２により選択された直交変換タイプを用いて、色差予測残差に対する直交変換処理（水平方向、垂直方向）を行って変換係数を生成する。

【0113】

ステップＳ１０９において、エントロピー符号化部１３０は、量子化後の変換係数と、ＣＣＩＰ＿Ｌモードを示すインデックスとを符号化する。

【0114】

また、ステップＳ１０９において、エントロピー符号化部１３０は、選択された直交変換タイプを示すインデックスを符号化する。但し、水平方向における直交変換候補が１つのみであるため、エントロピー符号化部１３０は、水平方向に適用する直交変換タイプを示すフラグをエントロピー符号化せずに、垂直方向に適用する直交変換タイプを示すフラグ（上述した第１のフラグ及び第２のフラグ）をエントロピー符号化する。水平方向に適用する直交変換タイプを示すフラグのエントロピー符号化が不要であるため、画像復号装置２に伝送すべきフラグを削減できる。

【0115】

（ＣＣＩＰ＿Ａモード）
ＣＣＩＰ＿Ａモードが選択された場合（ステップＳ１０４：ＮＯ）、ステップＳ１０６において、候補生成部１８１は、垂直方向候補として、ＤＳＴ－７のみからなる候補を生成する。また、候補生成部１８１は、水平方向候補として、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する。上述したように、色差ブロックにＣＣＩＰ＿Ａモードを適用する場合には、予測残差の上側領域のエネルギーが小さくなる傾向にあり、また予測残差の下側領域のエネルギーが大きくなる傾向にある。そこで、候補生成部１８１は垂直方向候補としてＤＳＴ－７のみからなる候補を生成することとしている。

【0116】

ステップＳ１０７において、タイプ選択部１８２は、水平方向についてＤＣＴ－８及びＤＳＴ－７のいずれか一方を選択する。垂直方向についてはＤＳＴ－７しか候補が存在しないため、タイプ選択部１８２は水平方向についてＤＳＴ－７を選択する。

【0117】

ステップＳ１０８において、変換部１２１は、タイプ選択部１８２により選択された直交変換タイプを用いて、色差予測残差に対する直交変換処理（水平方向、垂直方向）を行って変換係数を生成する。

【0118】

ステップＳ１０９において、エントロピー符号化部１３０は、量子化後の変換係数と、ＣＣＩＰ＿Ａモードを示すインデックスとを符号化する。

【0119】

また、ステップＳ１０９において、エントロピー符号化部１３０は、選択された直交変換タイプを示すインデックスを符号化する。但し、垂直方向における直交変換候補が１つのみであるため、エントロピー符号化部１３０は、垂直方向に適用する直交変換タイプを示すフラグをエントロピー符号化せずに、水平方向に適用する直交変換タイプを示すフラグ（上述した第１のフラグ及び第２のフラグ）をエントロピー符号化する。垂直方向に適用する直交変換タイプを示すフラグのエントロピー符号化が不要であるため、画像復号装置２に伝送すべきフラグを削減できる。

【0120】

＜３．２．画像復号装置の動作例＞
図７は、本実施形態に係る画像復号装置２の動作例を示す図である。

【0121】

図７に示すように、ステップＳ２０１において、エントロピー符号復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化された変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー符号復号部２００は、イントラ予測モードのインデックスと、直交変換タイプのインデックス（水平方向、垂直方向）とを取得する。ここでは、イントラ予測モードのインデックスが、通常のＣＣＩＰモード、ＣＣＩＰ＿Ａモード、及びＣＣＩＰ＿Ｌモードのいずれかを示すと仮定して説明を進める。成分間イントラ予測部２４１ａは、当該インデックスが示すモードに従って成分間イントラ予測を行い、予測色差ブロックを生成する。

【0122】

（通常のＣＣＩＰモード）
通常のＣＣＩＰモードの場合（ステップＳ２０２：ＹＥＳ）、ステップＳ２０３において、候補生成部２５１は、水平方向候補として、ＤＣＴ－２、ＤＣＴ－８、及びＤＳＴ－７からなる候補を生成する。候補生成部２５１は、垂直方向候補として、ＤＣＴ－２、ＤＣＴ－８、及びＤＳＴ－７からなる候補を生成する。

【0123】

ステップＳ２０７において、タイプ選択部２５２は、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（水平方向、垂直方向）に基づいて、候補生成部２５１が生成した候補（水平方向、垂直方向）の中から、変換係数に対する逆直交変換処理に適用する直交変換タイプ（水平方向、垂直方向）を選択する。

【0124】

ステップＳ２０８において、逆変換部２１２は、タイプ選択部２５２により選択された直交変換タイプを用いて、変換係数に対する逆直交変換処理（水平方向、垂直方向）を行って色差予測残差を復元する。その後、合成部２２０は、復元された色差予測残差と、成分間イントラ予測部２４１ａにより生成された予測色差ブロックとを合成して元の色差ブロックを復元（復号）する。

【0125】

（ＣＣＩＰ＿Ｌモード）
ＣＣＩＰ＿Ｌモードの場合（ステップＳ２０４：ＹＥＳ）、ステップＳ２０５において、候補生成部２５１は、水平方向候補として、ＤＳＴ－７のみからなる候補を生成する。また、候補生成部２５１は、垂直方向候補として、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する。

【0126】

ステップＳ２０７において、タイプ選択部２５２は、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（垂直方向）に基づいて、垂直方向についてＤＣＴ－８及びＤＳＴ－７のいずれか一方を選択する。水平方向についてはＤＳＴ－７しか候補が存在しないため、タイプ選択部２５２は水平方向についてＤＳＴ－７を選択する。

【0127】

ステップＳ２０８において、逆変換部２１２は、タイプ選択部２５２により選択された直交変換タイプを用いて、変換係数に対する逆直交変換処理（水平方向、垂直方向）を行って色差予測残差を復元する。その後、合成部２２０は、復元された色差予測残差と、成分間イントラ予測部２４１ａにより生成された予測色差ブロックとを合成して元の色差ブロックを復元（復号）する。

【0128】

（ＣＣＩＰ＿Ａモード）
ＣＣＩＰ＿Ａモードの場合（ステップＳ２０４：ＮＯ）、ステップＳ２０６において、候補生成部２５１は、垂直方向候補として、ＤＳＴ－７のみからなる候補を生成する。また、候補生成部２５１は、水平方向候補として、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する。

【0129】

ステップＳ２０７において、タイプ選択部２５２は、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（水平方向）に基づいて、水平方向についてＤＣＴ－８及びＤＳＴ－７のいずれか一方を選択する。垂直方向についてはＤＳＴ－７しか候補が存在しないため、タイプ選択部２５２は水平方向についてＤＳＴ－７を選択する。

【0130】

ステップＳ２０８において、逆変換部２１２は、タイプ選択部２５２により選択された直交変換タイプを用いて、変換係数に対する逆直交変換処理（水平方向、垂直方向）を行って色差予測残差を復元する。その後、合成部２２０は、復元された色差予測残差と、成分間イントラ予測部２４１ａにより生成された予測色差ブロックとを合成して元の色差ブロックを復元（復号）する。

【0131】

＜４．実施形態のまとめ＞
上述したように、本実施形態に係る画像符号化装置及び画像復号装置２によれば、成分間イントラ予測において参照された隣接復号画素の位置が色差ブロックの上下左右のうちいずれか１つのみである場合（すなわち、ＣＣＩＰ＿Ａモード又はＣＣＩＰ＿Ｌモードの場合）であっても、予測残差のエネルギー分布傾向に適した直交変換タイプを用いて変換処理（直交変換処理及び逆直交変換処理）を行うことができるため、符号化効率を改善できる。

【0132】

本実施形態に係る画像符号化装置１及び画像復号装置２によれば、第１のモード（通常のＣＣＩＰモード）と第２のモード（ＣＣＩＰ＿Ａモード又はＣＣＩＰ＿Ｌモード）とで、互いに異なる直交変換タイプの候補を生成することにより、第２のモードにおける予測残差のエネルギー分布傾向に適した直交変換タイプを用いて変換処理（直交変換処理及び逆直交変換処理）を行うことができるため、符号化効率を改善できる。

【0133】

本実施形態に係る画像符号化装置１及び画像復号装置２によれば、第２のモードが選択された場合において、水平方向の変換処理と垂直方向の変換処理とで互いに異なる直交変換タイプの候補を生成することにより、水平方向及び垂直方向のそれぞれにおける予測残差のエネルギー分布傾向に適した直交変換タイプを用いて変換処理を行うことができるため、符号化効率を改善できる。

【0134】

＜５．変更例１＞
上述した実施形態に係る動作例において、水平方向又は垂直方向の直交変換タイプの候補として１つのみの候補を生成する際に、ＤＳＴ－７を直交変換候補として生成する一例について説明した。しかしながら、ＤＳＴ－７と同様に非対称なインパルス応答を持つ変換であり、一方の端点の係数が小さく、他方の端点の係数が大きい直交変換であればよく、そのタイプはＤＳＴ－７に限らない。例えば、ＤＳＴ－７と同様な特徴を持つＤＣＴ－５をＤＳＴ－７の代わりに用いてもよい。

【0135】

或いは、ＤＣＴ－５及びＤＳＴ－７を選択的に適用してもよい。図８は、本変更例に係る画像符号化装置１の動作例を示す図である。図９は、本変更例に係る画像復号装置２の動作例を示す図である。ここでは、上述した実施形態に係る動作例との相違点について説明する。

【0136】

図８に示すように、ＣＣＩＰ＿Ｌの場合（ステップＳ１０４：ＹＥＳ）、ステップＳ１０５ａにおいて、候補生成部１８１は、水平方向候補として、ＤＣＴ－５及びＤＳＴ－７からなる候補を生成する。また、候補生成部１８１は、垂直方向候補として、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する。かかる場合、ステップＳ１０７において、タイプ選択部１８２は、水平方向についてＤＣＴ－５及びＤＳＴ－７のいずれか一方を選択し、垂直方向についてＤＣＴ－８及びＤＳＴ－７のいずれか一方を選択する。

【0137】

一方、ＣＣＩＰ＿Ａの場合（ステップＳ１０４：ＮＯ）、ステップＳ１０６ａにおいて、候補生成部１８１は、垂直方向候補として、ＤＣＴ－５及びＤＳＴ－７からなる候補を生成する。また、候補生成部１８１は、水平方向候補として、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する。

【0138】

ステップＳ１０７において、タイプ選択部１８２は、垂直方向についてＤＣＴ－５及びＤＳＴ－７のいずれか一方を選択し、水平方向についてＤＣＴ－８及びＤＳＴ－７のいずれか一方を選択する。

【0139】

図９に示すように、ＣＣＩＰ＿Ｌモードの場合（ステップＳ２０４：ＹＥＳ）、ステップＳ２０５ａにおいて、候補生成部２５１は、水平方向候補として、ＤＣＴ－５及びＤＳＴ－７からなる候補を生成する。また、候補生成部２５１は、垂直方向候補として、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する。

【0140】

ステップＳ２０７において、タイプ選択部２５２は、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（水平方向）に基づいて水平方向についてＤＣＴ－５及びＤＳＴ－７のいずれか一方を選択し、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（垂直方向）に基づいて垂直方向についてＤＣＴ－８及びＤＳＴ－７のいずれか一方を選択する。

【0141】

一方、ＣＣＩＰ＿Ａモードの場合（ステップＳ２０４：ＮＯ）、ステップＳ２０６ａにおいて、候補生成部２５１は、垂直方向候補として、ＤＣＴ－５及びＤＳＴ－７からなる候補を生成する。また、候補生成部２５１は、水平方向候補として、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する。

【0142】

ステップＳ２０７において、タイプ選択部２５２は、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（垂直方向）に基づいて垂直方向についてＤＣＴ－５及びＤＳＴ－７のいずれか一方を選択し、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（水平方向）に基づいて水平方向についてＤＣＴ－８及びＤＳＴ－７のいずれか一方を選択する。

【0143】

なお、本変更例においては、ＤＳＴ－７及びＤＣＴ－５を直交変換候補として生成する一例について記載したが、ＤＳＴ－７やＤＣＴ－５と同様の特徴を持つ非対称なインパルス応答の変換であれば、ＤＳＴ－７やＤＣＴ－５に限らない。

【0144】

＜６．変更例２＞
上述した実施形態及び変更例１においては、ＣＣＩＰ＿Ｌモードを適用する場合とＣＣＩＰ＿Ａモードを適用する場合とにおける直交変換候補の数を、通常のＣＣＩＰモードにおける直交変換候補の数よりも少なくすることにより、画像符号化装置１から画像復号装置２に伝送するフラグのビット長を少なくすることが可能である。しかしながら、次のような構成としてもよい。

【0145】

具体的には、本変更例では、ＣＣＩＰ＿Ａモードを適用する場合に、垂直方向にＤＣＴ－８の適用を禁止し、垂直方向候補にＤＣＴ－８を含めないようにする。また、ＣＣＩＰ＿Ｌモードを適用する場合に、水平方向にＤＣＴ－８の適用を禁止し、水平方向候補にＤＣＴ－８を含めないようにする。それ以外の直交変換候補については、通常のＣＣＩＰモードにおける直交変換候補と同様とする。

【0146】

次に、図１０は、本変更例に係る画像符号化装置１の動作例を示す図である。また、図１１は、本変更例に係る画像復号装置２の動作例を示す図であり、上述した実施形態に係る動作例との相違点について説明する。

【0147】

図１０に示すように、ＣＣＩＰ＿Ｌモードを適用する場合、候補生成部１８１は、水平方向候補として、ＤＣＴ－２及びＤＳＴ－７からなる候補を生成し、垂直方向候補として、ＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する（ステップＳ１０５ｂ）。

【0148】

ステップＳ１０７において、タイプ選択部１８２は、水平方向についてＤＣＴ－２及びＤＳＴ－７のいずれか一方を選択し、垂直方向についてＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７のいずれか１つを選択する。

【0149】

一方、ＣＣＩＰ＿Ａモードを適用する場合、候補生成部１８１は、垂直方向候補として、ＤＣＴ－２及びＤＳＴ－７からなる候補を生成し、水平方向候補として、ＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する（ステップＳ１０６ｂ）。

【0150】

ステップＳ１０７において、タイプ選択部１８２は、垂直方向についてＤＣＴ－２及びＤＳＴ－７のいずれか一方を選択し、水平方向についてＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７のいずれか１つを選択する。

【0151】

図１１に示すように、ＣＣＩＰ＿Ｌモードを適用する場合、候補生成部２５１は、水平方向候補として、ＤＣＴ－２及びＤＳＴ－７からなる候補を生成し、垂直方向候補として、ＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する（ステップＳ２０５ｂ）。

【0152】

ステップＳ２０７において、タイプ選択部２５２は、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（水平方向）に基づいて水平方向についてＤＣＴ－２及びＤＳＴ－７のいずれか一方を選択する。そして、タイプ選択部２５２は、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（垂直方向）に基づいて垂直方向についてＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７のいずれか１つを選択する。ＣＣＩＰ＿Ａモードを適用する場合、候補生成部２５１は、垂直方向候補として、ＤＣＴ－２及びＤＳＴ－７からなる候補を生成し、水平方向候補として、ＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７からなる候補を生成する。

【0153】

ステップＳ２０７において、タイプ選択部２５２は、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（垂直方向）に基づいて垂直方向についてＤＣＴ－２及びＤＳＴ－７のいずれか一方を選択し、エントロピー符号復号部２００から入力された直交変換タイプのインデックス（水平方向）に基づいて水平方向についてＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７のいずれか１つを選択する。

【0154】

＜７．その他の実施形態＞
上述した実施形態において、色差ブロックの上側及び左側の輝度及び色差の隣接復号画素を参照して当該色差ブロックを予測するＣＣＩＰモードを通常のＣＣＩＰモードとして用いる一例を説明したが、かかるモードに代えて、色差ブロックの下側及び右側の輝度及び色差の隣接復号画素を参照して当該色差ブロックを予測するモードを用いてもよい。

【0155】

また、上述した実施形態において、色差ブロックの上側のみの輝度及び色差の隣接復号画素を参照して当該色差ブロックを予測するＣＣＩＰ＿Ａモードを用いる一例を説明したが、かかるモードに代えて、色差ブロックの下側のみの輝度及び色差の隣接復号画素を参照して当該色差ブロックを予測するモードを用いてもよい。

【0156】

また、上述した実施形態において、色差ブロックの左側のみの輝度及び色差の隣接復号画素を参照して当該色差ブロックを予測するＣＣＩＰ＿Ｌモードを用いる一例を説明したが、かかるモードに代えて、色差ブロックの右側のみの輝度及び色差の隣接復号画素を参照して当該色差ブロックを予測するモードを用いてもよい。

【0157】

上述した実施形態において、直交変換候補には、残差信号に変換を適用しない変換スキップが含まれてもよい。変換スキップは、ＤＣＴやＤＳＴ等の変換を施すことなく、残差信号をスケーリングして変換係数とするものである。

【0158】

上述した実施形態において、映像信号を構成する成分が輝度・色差成分（ＹＣｂＣｒ）である一例について説明したが、映像信号を構成する成分は三原色成分（ＲＧＢ）であってもよい。

【0159】

なお、画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路として構成してもよい。

【0160】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0161】

本願は日本国特許出願第２０１８－１５２９８８号（２０１８年８月１５日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】