(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-08
(45)【発行日】2023-12-18
(54)【発明の名称】画像復号装置、画像復号方法及びプログラム
(51)【国際特許分類】
H04N 19/11 20140101AFI20231211BHJP
H04N 19/136 20140101ALI20231211BHJP
H04N 19/176 20140101ALI20231211BHJP
H04N 19/186 20140101ALI20231211BHJP
H04N 19/593 20140101ALI20231211BHJP
【ＦＩ】
H04N19/11
H04N19/136
H04N19/176
H04N19/186
H04N19/593
【請求項の数】
3
(21)【出願番号】P 2021190759
(22)【出願日】2021-11-25
(62)【分割の表示】P 2021072860の分割
【原出願日】2019-06-24
(65)【公開番号】P2022043053
(43)【公開日】2022-03-15
【審査請求日】2022-06-10
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(72)【発明者】
【氏名】河村 圭
(72)【発明者】
【氏名】海野 恭平
(72)【発明者】
【氏名】内藤 整
【審査官】田部井 和彦
(56)【参考文献】
【文献】特許第６９８５５４６（ＪＰ，Ｂ２）
【文献】特表２０２２－５３１２８０（ＪＰ，Ａ）
【文献】Edouard Francois, et al.，AHG16/non-CE3: Study of CCLM restrictions in case of separate luma/chroma tree，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Gene，JVET-N0390r1，2019年03月，pp.1-7
【文献】Fangdong Chen and Li Wang，CE3-related: Size restriction for CCLM，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Gene，JVET-N0164-v3，2019年03月，pp.1-6
【文献】Kei Kawamura, et al.，CE2-3 related: On CCLM restriction for 32x32 luma latency，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Goth，JVET-O0611，2019年06月26日，pp.1-5
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／１１
Ｈ０４Ｎ １９／１３６
Ｈ０４Ｎ １９／１７６
Ｈ０４Ｎ １９／１８６
Ｈ０４Ｎ １９／５９３
(57)【特許請求の範囲】
【請求項1】
符号化データを復号するように構成されている画像復号装置であって、前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得するように構成されているブロック構造復号部と、
前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定するように構成されている判定部と、
前記判定部による判定結果に応じて、色差イントラ予測方式を復号するように構成されている色差イントラ予測方式復号部とを備え、
前記判定部は、
前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定するように構成されており、
前記ブロックサイズが前記閾値以下である場合には、
予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ輝度成分における分割パターンと色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定するように構成されており、
それ以外の場合に、前記成分間線形予測方式を適用することができないと判定するように構成されており、
前記閾値は、輝度ブロックについては３２×３２画素であることを特徴とする画像復号装置。
【請求項2】
符号化データを復号する画像復号方法であって、前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得する工程Ａと、
前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定する工程Ｂと、
前記工程Ｂにおける判定結果に応じて、色差イントラ予測方式を復号する工程Ｃとを備え、
前記工程Ｂにおいて、
前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定し、
前記ブロックサイズが前記閾値以下である場合には、
予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ輝度成分における分割パターンと色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定し、
それ以外の場合に、前記成分間線形予測方式を適用することができないと判定し、
前記閾値は、輝度ブロックについては３２×３２画素であることを特徴とする画像復号方法。
【請求項3】
コンピュータを、符号化データを復号するように構成されている画像復号装置として機能させるプログラムであって、前記画像復号装置は、
前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得するように構成されているブロック構造復号部と、
前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定するように構成されている判定部と、
前記判定部による判定結果に応じて、色差イントラ予測方式を復号するように構成されている色差イントラ予測方式復号部とを備え、
前記判定部は、
前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定するように構成されており、
前記ブロックサイズが前記閾値以下である場合には、
予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ輝度成分における分割パターンと色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定するように構成されており、
それ以外の場合に、前記成分間線形予測方式を適用することができないと判定するように構成されており、
前記閾値は、輝度ブロックについては３２×３２画素であることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像復号装置、画像復号方法及びプログラムに関する。
【背景技術】
【0002】
従来、イントラ予測又はインター予測、予測残差信号の変換・量子化、エントロピー符号化を用いた画像符号化方式が提案されている（例えば、非特許文献１参照）。
【0003】
以下、次世代動画像符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）における符号化ブロックの分割方式及びイントラ予測のうちの色差イントラ予測方式について述べる（非特許文献２参照）。
【0004】
図８に示すように、両方式における符号化ブロックは、四分木、二分木及び三分木を用いて再帰的に分割されるように構成されている。ここで、輝度成分と色差成分との間で、同一の分割パターンを選択してもよいし異なる分割パターンを選択してもよい。
【0005】
色差イントラ予測方式には、輝度イントラ予測方式と同様の色成分内予測方式に加えて、再構成した輝度成分から色差成分を線形予測するＣＣＬＭ（成分間線形予測：Ｃｒｏｓｓ-Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ）方式がある。かかるＣＣＬＭ方式において、輝度成分と色差成分とでは、４:２:０色形式の場合にサンプル数が異なるため、図９に示すように、色差画素に対応する輝度画素を平滑化によって導出する。符号化ブロックの分割により得られたブロック構造及び決定されたイントラ予測方式は、それぞれエントロピー符号化される。
【先行技術文献】
【非特許文献】
【0006】
【文献】ＩＴＵ-Ｔ Ｈ.２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ
【文献】Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ５）
【特許文献】
【0007】
【文献】特願２０１４-００１３４３
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、次世代動画像符号化方式であるＶＶＣでは、符号化ブロックサイズ及び変換ブロックサイズが最新動画像符号化方式ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）よりも拡張されているため、色差成分がＣＣＬＭ方式で符号化されている場合に、輝度成分の復号タイミングに対する色差成分の復号タイミングの遅延がブロックサイズに比例して増大するというという問題点があった。
【0009】
そこで、本発明は、上述の課題に鑑みてなされたものであり、一定の符号化性能低下を許容する一方で、色差成分がＣＣＬＭ方式で符号化されている場合に、輝度成分の復号タイミングに対する色差成分の復号タイミングの遅延の最悪値を削減することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第１の特徴は、符号化データを復号するように構成されている画像復号装置であって、前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得するように構成されているブロック構造復号部と、前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定するように構成されている判定部と、前記判定結果に応じて、色差イントラ予測方式を復号するように構成されている色差イントラ予測方式復号部とを備え、前記判定部は、前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定するように構成されており、前記ブロックサイズが前記閾値以下である場合には、予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ前記輝度成分における分割パターンと前記色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定するように構成されており、それ以外の場合に、前記成分間線形予測方式を適用することができないと判定するように構成されていることを特徴とする。
【0011】
本発明の第２の特徴は、符号化データを復号する画像復号方法であって、前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得する工程Ａと、前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定する工程Ｂと、前記判定結果に応じて、色差イントラ予測方式を復号する工程Ｃとを備え、前記工程Ｂにおいて、前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定し、前記ブロックサイズが前記閾値以下である場合には、予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ前記輝度成分における分割パターンと前記色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定し、それ以外の場合に、前記成分間線形予測方式を適用することができないと判定することを要旨とする。
【0012】
本発明の第３の特徴は、コンピュータを、符号化データを復号するように構成されている画像復号装置として機能させるプログラムであって、前記画像復号装置は、前記符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得するように構成されているブロック構造復号部と、前記輝度ブロック分割情報及び前記色差ブロック分割情報に基づいて、成分間線形予測方式を適用することができるか否かについて判定するように構成されている判定部と、前記判定結果に応じて、色差イントラ予測方式を復号するように構成されている色差イントラ予測方式復号部とを備え、前記判定部は、前記ブロックサイズが予め定めた閾値よりも大きい場合に、前記成分間線形予測方式を適用することができないと判定するように構成されており、前記ブロックサイズが前記閾値以下である場合には、予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ前記輝度成分における分割パターンと前記色差成分における分割パターンとが一致している場合に、前記成分間線形予測方式を適用することができると判定するように構成されており、それ以外の場合に、前記成分間線形予測方式を適用することができないと判定するように構成されていることを要旨とする。
【発明の効果】
【0013】
本発明によれば、一定の符号化性能低下を許容する一方で、色差成分がＣＣＬＭ方式で符号化されている場合に、輝度成分の復号タイミングに対する色差成分の復号タイミングの遅延の最悪値を削減することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0014】
【図1】一実施形態に係る画像処理システム１の構成の一例を示す図である。
【図2】一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。
【図3】一実施形態に係る画像符号化装置１００のエントロピー符号化部１０４の一部の機能ブロックの一例を示す図である。
【図4】一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。
【図5】一実施形態に係る画像復号装置２００のエントロピー復号部２０１の一部の機能ブロックの一例を示す図である。
【図6】一実施形態に係る画像復号装置２００のエントロピー復号部２０１の動作の一例を示すフローチャートである。
【図7】第４実施形態について説明するための図である。
【図8】従来技術を説明するための図である。
【図9】従来技術を説明するための図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態について図面を参照しながら、説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0016】
（第１実施形態）
図１は、本発明の第１実施形態に係る画像処理システム１の機能ブロックの一例を示す図である。画像処理システム１は、動画像を符号化して符号化データを生成する画像符号化装置１００と、画像符号化装置１００により生成された符号化データを復号する画像復号装置２００とを備える。画像符号化装置１００と画像復号装置２００との間では、上述の符号化データが、例えば、伝送路を介して送受信される。
図１は、本発明の第１実施形態に係る画像処理システム１の機能ブロックの一例を示す図である。画像処理システム１は、動画像を符号化して符号化データを生成する画像符号化装置１００と、画像符号化装置１００により生成された符号化データを復号する画像復号装置２００とを備える。画像符号化装置１００と画像復号装置２００との間では、上述の符号化データが、例えば、伝送路を介して送受信される。
【0017】
＜画像符号化装置１００＞
図２は、画像符号化装置１００の機能ブロックの一例を示す図である。図２に示すように、画像符号化装置１００は、インター予測部１０１と、イントラ予測部１０２と、変換・量子化部１０３と、エントロピー符号化部１０４と、逆変換・逆量子化部１０５と、減算部１０６と、加算部１０７と、インループフィルタ部１０８と、フレームバッファ１０９と、ブロック分割部１１０と、ブロック統合部１１１とを備える。
図２は、画像符号化装置１００の機能ブロックの一例を示す図である。図２に示すように、画像符号化装置１００は、インター予測部１０１と、イントラ予測部１０２と、変換・量子化部１０３と、エントロピー符号化部１０４と、逆変換・逆量子化部１０５と、減算部１０６と、加算部１０７と、インループフィルタ部１０８と、フレームバッファ１０９と、ブロック分割部１１０と、ブロック統合部１１１とを備える。
【0018】
ブロック分割部１１０は、入力画像の画面全体を同一正方形に分割し、更に四分木等により再帰的に分割した画像（分割画像）を出力するように構成されている。
【0019】
インター予測部１０１は、ブロック分割部１１０によって入力された分割画像及びフレームバッファ１０９から入力されるフィルタ後局所復号画像（後述）を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。
【0020】
イントラ予測部１０２は、ブロック分割部１１０によって入力された分割画像、フィルタ前局所復号画像及び図示しない制御部により決定された色差イントラ予測方式を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。
【0021】
変換・量子化部１０３は、減算部１０６から入力される残差信号に対して直交変換処理を行い、かかる直交変換処理により得られる変換係数に対して量子化処理を行い、かかる量子化処理により得られる量子化されたレベル値を出力するように構成されている。
【0022】
エントロピー符号化部１０４は、変換・量子化部１０３から入力される量子化されたレベル値及びサイド情報（図示しない制御部により決定された、画素値の再構成に必要な予測モードや動きベクトル等の関連情報）をエントロピー符号化して符号化データとして出力するように構成されている。
【0023】
また、後述するように、エントロピー符号化部１０４は、色差イントラ予測方式についてもエントロピー符号化して符号化データとして出力するように構成されている。
【0024】
逆変換・逆量子化部１０５は、変換・量子化部１０３から入力される量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた変換係数に対して逆直交変換処理を行い、かかる逆直交変換処理により得られる逆直交変換された残差信号を出力するように構成されている。
【0025】
減算部１０６は、ブロック分割部１１０によって入力された分割画像とイントラ予測画像或いはインター予測画像との差分である残差信号を出力するように構成されている。
【0026】
加算部１０７は、逆変換・逆量子化部１０５から入力される逆直交変換された残差信号とイントラ予測画像或いはインター予測画像とを加算して得られる分割画像を出力するように構成されている。
【0027】
ブロック統合部１１１は、加算部１０７から入力される分割画像を統合することで得られたフィルタ前局所復号画像を出力するように構成されている。
【0028】
インループフィルタ部１０８は、ブロック統合部１１１から入力されるフィルタ前局所復号画像に対して、デブロッキングフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。
【0029】
フレームバッファ１０９は、フィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部１０１に供給する。
【0030】
以下、図３を参照して、本実施形態に係る画像符号化装置１００のエントロピー符号化部１０４について説明する。図３は、本実施形態に係る画像符号化装置１００のエントロピー符号化部１０４の一部の機能ブロックの一例を示す図である。
【0031】
図３に示すように、本実施形態に係る画像符号化装置１００のインループフィルタ部１０８は、ブロック構造符号化部１０４Ａと、判定部１０４Ｂと、色差イントラ予測方式符号化部１０４Ｃとを備える。
【0032】
ブロック構造符号化部１０４Ａは、図示しない制御部により決定された輝度ブロック分割情報及び色差ブロック分割情報をブロック構造として符号化して、ブロック構造（輝度ブロック分割情報及び色差ブロック分割情報）を出力するように構成されている。
【0033】
ここで、輝度ブロック分割情報及び色差ブロック分割情報には、それぞれ輝度成分における分割パターンに係る情報及び色差成分における分割パターンに係る情報が含まれている。
【0034】
判定部１０４Ｂは、ブロック構造符号化部１０４Ａから入力されたブロック構造に基づいて、成分間線形予測方式が適用できるかどうかについて判定し、かかる判定結果を出力するように構成されている。なお、かかる判定は、シーケンス単位ではなくブロック単位で行われる。
【0035】
色差イントラ予測方式符号化部１０４Ｃは、判定部１０４Ｂによる判定結果及び図示しない制御部により決定された色差イントラ予測方式を入力とし、かかる判定結果に基づく符号化テーブルを用いて色差イントラ予測方式を符号化して符号化データとして出力する。
【0036】
ここで、かかる符号化テーブルについては、非特許文献２において定義されている。
【0037】
＜画像復号装置２００＞
図４は、本実施形態に係る画像復号装置２００のブロック図である。図３に示すように、本実施形態に係る画像復号装置２００は、エントロピー復号部２０１と、逆変換・逆量子化部２０２と、インター予測部２０３と、イントラ予測部２０４と、加算部２０５と、インループフィルタ部２０６と、フレームバッファ２０７と、ブロック統合部２０８とを備える。
図４は、本実施形態に係る画像復号装置２００のブロック図である。図３に示すように、本実施形態に係る画像復号装置２００は、エントロピー復号部２０１と、逆変換・逆量子化部２０２と、インター予測部２０３と、イントラ予測部２０４と、加算部２０５と、インループフィルタ部２０６と、フレームバッファ２０７と、ブロック統合部２０８とを備える。
【0038】
エントロピー復号部２０１は、符号化データをエントロピー復号し、量子化されたレベル値や、サイド情報を出力するように構成されている。
【0039】
逆変換・逆量子化部２０２は、エントロピー復号部２０１から入力される量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた結果に対して逆直交変換処理を行って残差信号として出力するように構成されている。
【0040】
インター予測部２０３は、フレームバッファ２０７から入力されるフィルタ後局所復号画像を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。
【0041】
イントラ予測部２０４は、加算部２０５から入力されるフィルタ前局所復号画像を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。ここで、フィルタ前局所復号画像とは、残差信号と予測画像とを合算した信号のことである。
【0042】
加算部２０５は、逆変換・逆量子化部２０２から入力される残差信号と予測画像（インター予測部２０３から入力されるインター予測画像或いはイントラ予測部２０４から入力されるイントラ予測画像）とを加算して得られる分割画像を出力するように構成されている。
【0043】
ここで、予測画像とは、インター予測部２０３から入力されるインター予測画像及びイントラ予測部２０４から入力されるイントラ予測画像のうち、エントロピー復号により得られた予測方法により算出された予測画像のことである。
【0044】
ブロック統合部２０８は、加算部２０５から入力される分割画像を統合することで得られたフィルタ前局所復号画像を出力するように構成されている。
【0045】
インループフィルタ部２０６は、ブロック統合部２０８から入力されるフィルタ前局所復号画像に対してデブロックフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。
【0046】
フレームバッファ２０７は、インループフィルタ２０６から入力されるフィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部２０３に供給するとともに、復号済み画像として出力するように構成されている。
【0047】
以下、図５を参照して、本実施形態に係る画像復号装置２００のエントロピー復号部２０１について説明する。図５は、本実施形態に係る画像復号装置２００のエントロピー復号部２０１の一部の機能ブロックの一例を示す図である。
【0048】
図５に示すように、本実施形態に係る画像復号装置２００のエントロピー復号部２０１は、ブロック構造復号部２０１Ａと、判定部２０１Ｂと、色差イントラ予測方式復号部２０１Ｃとを備える。
【0049】
ブロック構造復号部２０１Ａは、画像符号化装置１００によって出力された符号化データを復号して、輝度ブロック分割情報及び色差ブロック分割情報を含むブロック構造を取得するように構成されている。
【0050】
判定部２０１Ｂは、輝度ブロック分割情報及び色差ブロック分割情報に基づいて、ＣＣＬＭ方式を適用することができるか否かについて判定するように構成されている。
【0051】
色差イントラ予測方式復号部２０１Ｃは、かかる判定結果に応じて、色差イントラ予測方式を復号するように構成されている。具体的には、色差イントラ予測方式復号部２０１Ｃは、かかる判定結果に基づく復号テーブルを用いて色差イントラ予測方式を復号するように構成されている。
【0052】
ここで、かかる復号テーブルについては、非特許文献２において定義されている。
【0053】
以下、図６を参照して、本実施形態に係るエントロピー復号部２０１の動作の一例について説明する。
【0054】
図６に示すように、ステップＳ１０１において、エントロピー復号部２０１は、符号化データを復号して、輝度ブロック分割情報及び色差ブロック分割情報を取得する。
【0055】
ステップＳ１０２において、エントロピー復号部２０１は、輝度ブロック分割情報及び色差ブロック分割情報に基づいて、ＣＣＬＭ方式を適用することができるか否かについて判定する。
【0056】
ステップＳ１０３において、エントロピー復号部２０１は、かかる判定結果に応じて、色差イントラ予測方式を復号する。
【0057】
本実施形態に係る画像処理システム１によれば、ＣＣＬＭ方式を適用可能な符号化ブロックの分割パターンとサイズに制約を導入し、輝度成分の復号タイミングに対する色差成分の復号タイミングの遅延量の最大値を制限することができる。
【0058】
例えば、ＣＣＬＭ方式を適用可能な最大ブロックサイズを定義し、かかる最大ブロックサイズになるまでは四分木構造で分割されている場合のみ、ＣＣＬＭ方式を選択できることとする。このように、シーケンス単位ではなくブロック単位で、ＣＣＬＭ方式を適用することができるか否かについて判定を行う。
【0059】
（第２実施形態）
以下、本発明の第２実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。
以下、本発明の第２実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。
【0060】
本実施形態において、判定部１０４Ｂ/２０１Ｂは、輝度ブロック分割情報及び色差ブロック分割情報に基づいて、輝度成分における分割パターンと色差成分における分割パターンとが一致している場合に、ＣＣＬＭ方式を適用することができると判定するように構成されている。
【0061】
一方、判定部１０４Ｂ/２０１Ｂは、輝度ブロック分割情報及び色差ブロック分割情報に基づいて、輝度成分における分割パターンと色差成分における分割パターンとが一致していない場合に、ＣＣＬＭ方式を適用することができないと判定するように構成されている。
【0062】
（第３実施形態）
以下、本発明の第３実施形態に係る画像処理システム１について、上述の第１実施形態及び第２実施形態に係る画像処理システム１との相違点に着目して説明する。
以下、本発明の第３実施形態に係る画像処理システム１について、上述の第１実施形態及び第２実施形態に係る画像処理システム１との相違点に着目して説明する。
【0063】
本実施形態において、ブロック構造符号化部１０４Ａは、図示しない制御部により決定された輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを入力としてフロック構造として符号化して出力するように構成されている。
【0064】
また、ブロック構造復号部２０１Ａは、画像符号化装置１００によって出力された符号化データを復号して、輝度ブロック分割情報と色差ブロック分割情報とブロックサイズとを取得するように構成されている。
【0065】
判定部１０４Ｂ/２０１Ｂは、上述のブロックサイズが予め定めた閾値よりも大きい場合に、ＣＣＬＭ方式を適用することができないと判定するように構成されている。
【0066】
一方、判定部１０４Ｂ/２０１Ｂは、上述のブロックサイズが予め定めた閾値以下である場合に、予め定めたブロックサイズにおける判定結果を用いるように構成されている。
【0067】
例えば、輝度ブロック及び対応する色差ブロックのブロックサイズの閾値は、それぞれ３２×３２画素及び１６×１６画素である。
【0068】
また、例えば、輝度成分と色差成分との間で同一の分割パターン（ｓｉｎｇｌｅ ｔｒｅｅ）の場合に、輝度ブロックサイズの閾値は、３２×６４画素若しくは６４×３２画素であり、異なる分割パターン（ｄｕａｌ ｔｒｅｅ）の場合に、輝度ブロックサイズの閾値は、３２×３２画素を選択してもよい。なお、対応する色差ブロックのブロックサイズの閾値は、それぞれ１６×３２画素、３２×１６画素、１６×１６画素となる。これは、輝度成分の分割パターンによらず、３２×３２画素ブロック２個の遅延を許容することを意味する。
【0069】
（第４実施形態）
以下、図７を参照して、本発明の第４実施形態に係る画像処理システム１について、上述の第３実施形態に係る画像処理システム１との相違点に着目して説明する。
以下、図７を参照して、本発明の第４実施形態に係る画像処理システム１について、上述の第３実施形態に係る画像処理システム１との相違点に着目して説明する。
【0070】
本実施形態において、判定部１０４Ｂ/２０１Ｂは、上述のブロックサイズが予め定めた閾値よりも大きい場合に、ＣＣＬＭ方式を適用することができないと判定するように構成されている。
【0071】
一方、判定部１０４Ｂ/２０１Ｂは、上述のブロックサイズが予め定めた閾値以下である場合には、図７に示す判定条件によって、上述の判定を行うように構成されている。
【0072】
すなわち、かかる場合には、判定部１０４Ｂ/２０１Ｂは、予め定めたブロックサイズにおける分割が再帰的な四分木分割であり且つ輝度成分における分割パターンと色差成分における分割パターンとが一致している場合に、ＣＣＬＭ方式を適用することができると判定し、それ以外の場合には、ＣＣＬＭ方式を適用することができないと判定するように構成されている。
【0073】
図７に示す判定条件は、符号化ブロックが分割されるごとに適用され、判定部１０４Ｂ/２０１Ｂは、ＣＣＬＭ方式を適用することができるか否かについて判定する。
【0074】
また、図７に示す分割レベルは、ブロックサイズと関係しており、かかる分割レベルの数値が大きくなるほどブロックサイズは小さくなる。
【0075】
図７の例では、判定部１０４Ｂ/２０１Ｂは、分割レベルが２である場合で且つ輝度分割形状及び色差分割形状のいずれも四文木である場合にのみ、ＣＣＬＭ方式を適用することができると判定する。ただし、分割レベルが３以上である場合には、分割レベルが２である場合の判定結果が継承される。
【0076】
なお、図７の例において、判定部１０４Ｂ/２０１Ｂは、分割レベルが１である場合（上述のブロックサイズが予め定めた閾値以下である場合）、ＣＣＬＭ方式を適用することができないと判定するように構成されている。
【符号の説明】
【0077】
１…画像処理システム
１００…画像符号化装置
１０１、２０３…インター予測部
１０２、２０４…イントラ予測部
１０３…変換・量子化部
１０４…エントロピー符号化部
１０４Ａ…ブロック構造符号化部
１０４Ｂ、２０１Ｂ…判定部
１０４Ｃ…色差イントラ予測方式符号化部
１０５、２０２…逆変換・逆量子化部
１０６…減算部
１０７、２０５…加算部
１０８、２０６…インループフィルタ部
１０９、２０７…フレームバッファ
１１０…ブロック分割部
１１１、２０８…ブロック統合部
２００…画像復号装置
２０１…エントロピー復号部
２０１Ａ…ブロック構造復号部
２０１Ｃ…色差イントラ予測方式復号部
１００…画像符号化装置
１０１、２０３…インター予測部
１０２、２０４…イントラ予測部
１０３…変換・量子化部
１０４…エントロピー符号化部
１０４Ａ…ブロック構造符号化部
１０４Ｂ、２０１Ｂ…判定部
１０４Ｃ…色差イントラ予測方式符号化部
１０５、２０２…逆変換・逆量子化部
１０６…減算部
１０７、２０５…加算部
１０８、２０６…インループフィルタ部
１０９、２０７…フレームバッファ
１１０…ブロック分割部
１１１、２０８…ブロック統合部
２００…画像復号装置
２０１…エントロピー復号部
２０１Ａ…ブロック構造復号部
２０１Ｃ…色差イントラ予測方式復号部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】