特許 7406208 符号化装置、符号化方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-19

(45)【発行日】2023-12-27

(54)【発明の名称】符号化装置、符号化方法及びプログラム

(51)【国際特許分類】

   H04N 19/12 20140101AFI20231220BHJP

   H04N 19/136 20140101ALI20231220BHJP

   H04N 19/176 20140101ALI20231220BHJP

【ＦＩ】

H04N19/12

H04N19/136

H04N19/176

【請求項の数】 7

(21)【出願番号】P 2020122903

(22)【出願日】2020-07-17

(65)【公開番号】P2022019205

(43)【公開日】2022-01-27

【審査請求日】2022-07-28

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】小林 大祐

(72)【発明者】

【氏名】大森 優也

(72)【発明者】

【氏名】中村 健

(72)【発明者】

【氏名】岩崎 裕江

(72)【発明者】

【氏名】張山 昌論

(72)【発明者】

【氏名】ウィッデヤスーリヤ ハシタ ムトゥマラ

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】特開２０１４－１２１０５１（ＪＰ，Ａ）

【文献】特開平６－３５１００８（ＪＰ，Ａ）

【文献】国際公開第２０１９／２３５４９１（ＷＯ，Ａ１）

【文献】CHOI, Kiho et al.，CE6-related: Simplification on MTS Kernel Derivation，JVET-L0059 (version 2)，ITU，2018年10月03日，pp.1-4，[online]，[retrieved on 2023-09-29]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L0059-v2.zip>，JVET-L0059_v2.docx

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割部と、
前記サブブロックごとに代表値を導出する代表値導出部と、
互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の組み合わせのうちから選択する選択部と、
選択された前記変換基底の組み合わせを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理部と
を備える符号化装置。

【請求項2】

前記選択部は、
前記代表ブロックの水平方向について選択された前記変換基底と、前記水平方向について選択された前記変換基底を用いて前記代表値から変換された変換係数に基づき垂直方向について複数の候補の中から選択された前記変換基底と、を前記変換基底の組み合わせとして選択する、
請求項１に記載の符号化装置。

【請求項3】

画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割部と、
前記サブブロックごとに代表値を導出する代表値導出部と、
互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の組み合わせのうちから選択する選択部と、
選択された前記変換基底の組み合わせと前記複数の組み合わせ以外の変換基底の組み合わせとのうちのいずれかを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理部と
を備える符号化装置。

【請求項4】

前記選択部は、
前記代表ブロックの水平方向について前記変換基底の組み合わせを選択し、前記代表ブロックの垂直方向について前記変換基底の組み合わせを選択し、
前記変換処理部は、
前記水平方向について選択された前記変換基底の組み合わせと前記複数の組み合わせ以外の変換基底の組み合わせとのうちのいずれかを用いて、前記符号化単位のブロックの水平方向について前記周波数変換処理を実行する、
請求項３に記載の符号化装置。

【請求項5】

符号化装置が実行する符号化方法であって、
画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割ステップと、
前記サブブロックごとに代表値を導出する代表値導出ステップと、
互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の組み合わせのうちから選択する選択ステップと、
選択された前記変換基底の組み合わせを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理ステップと
を含む符号化方法。

【請求項6】

符号化装置が実行する符号化方法であって、
画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割ステップと、
前記サブブロックごとに代表値を導出する代表値導出ステップと、
互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の組み合わせのうちから選択する選択ステップと、
選択された前記変換基底の組み合わせと前記複数の組み合わせ以外の変換基底の組み合わせとのうちのいずれかを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理ステップと
を含む符号化方法。

【請求項7】

請求項１から請求項４のいずれか一項に記載の符号化装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、符号化方法及びプログラムに関する。

【背景技術】

【0002】

符号化された高精細な動画像データが、多様なネットワーク環境下で配信される場合がある。動画像の符号化規格としては、例えば、ＭＰＥＧ（Moving Picture Experts Group）－２と、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）と、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）とがあり、動画像のデータ量は、符号化されることによって大幅に削減される。

【0003】

近年、「３８４０画素×２１６０ライン」及び「７６８０画素×４３２０ライン」等の超高精細な動画像の放送並びに配信サービスの普及が拡大している。そこで、動画像データの符号化効率を向上させることを目的として、次世代の符号化規格であるＶＶＣ（Versatile Video Coding）の標準化が進められている。ここで、ＶＶＣの符号化効率をＨＥＶＣの符号化効率の約２倍とすることが目標とされている。

【0004】

ＶＶＣ及び「Ｈ．２６５／ＨＥＶＣ」等の符号化規格では、動画像のフレームは、コーディングツリーユニット（Coding Tree Unit : CTU）と呼ばれる基本単位のブロックに分割される。ＣＴＵは、ＭＰＥＧ－２又は「Ｈ．２６４／ＡＶＣ」におけるマクロブロック（Macro Block : MB）に相当する。ＣＴＵは、コーディングユニット（Coding Unit : CU）と呼ばれる単位のブロックに分割される。

【0005】

「Ｈ．２６５／ＨＥＶＣ」では、予測処理単位（Prediction Unit : PU）と変換処理単位（Transform Unit : TU）とがＣＵに定められ、予測処理がＰＵに対して実行され、変換処理がＴＵに対して実行される。これに対してＶＶＣでは、予測処理、変換処理及び量子化等の符号化処理が、ＣＵに対して実行される。

【0006】

「Ｈ．２６５／ＨＥＶＣ」では、ＴＵのサイズとして、「３２×３２」と「１６×１６」と「８×８」と「４×４」とが定められている。「４×４」のイントラ予測（画面内予測）では、予測処理が実行されたことによって導出された予測残差は、離散サイン変換（Discrete Sine Transform : DST）によって周波数領域に変換される。これに対して、「３２×３２」、「１６×１６」又は「８×８」のイントラ予測では、予測残差は、離散コサイン変換（Discrete Cosine Transform : DCT）によって周波数領域に変換される。周波数領域に変換された予測残差の高周波成分は、量子化処理によって削減される。予測残差の高周波成分が削減されることによって、動画像のデータ量は効率的に削減される。

【0007】

ＶＶＣでは、ＭＴＳ（Multiple Transform Selection）と呼ばれる符号化ツールが採用される見込みである。周波数の変換効率が高くなるように変換基底が選択されることによって、ＨＥＶＣと比較して、ＶＶＣの符号化効率が大幅に向上することが期待できる。

【先行技術文献】

【非特許文献】

【0008】

【文献】J.Chen, Y.Ye, S.Kim, “Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5),” JVET(Joint Video Exploration Team)-N1002.

【発明の概要】

【発明が解決しようとする課題】

【0009】

以下、変換基底となるＤＣＴのタイプ「２」は「ＤＣＴ－２」と表記される。変換基底となるＤＳＴのタイプ「７」は「ＤＳＴ－７」と表記される。変換基底となるＤＣＴのタイプ「８」は「ＤＣＴ－８」と表記される。

【0010】

ＭＴＳでは、ＣＵのサイズが「３２×３２」以下である場合、（水平，垂直）＝｛（ＤＣＴ－２，ＤＣＴ－２），（ＤＣＴ－８，ＤＣＴ－８），（ＤＣＴ－８，ＤＳＴ－７），（ＤＳＴ－７，ＤＣＴ－８），（ＤＳＴ－７，ＤＳＴ－７）｝が、変換基底（直交変換の基底）の組み合わせの候補として存在する。符号化装置が符号化処理において用いる組み合わせを候補のうちから選択するために、レート歪み（Rate Distortion : RD）値等のコスト値が候補ごとに比較される。そして、コスト値が最小となる変換基底の組み合わせが、符号化処理において用いられる。

【0011】

「Ｈ．２６５／ＨＥＶＣ」では、符号化処理において用いられる変換基底が、ＴＵのサイズに応じて一つに定まる。このため、「Ｈ．２６５／ＨＥＶＣ」における変換基底を選択するための処理量は多くない。これに対して、ＶＶＣにおける変換基底を選択するための処理量は、「Ｈ．２６５／ＨＥＶＣ」における変換基底を選択するための処理量の５倍である。特にＶＶＣでは、ＣＵのサイズが大きくなるほど、変換基底を選択するための処理量が増加する。このようにＶＶＣでは、変換基底を選択するための処理量が、「Ｈ．２６５／ＨＥＶＣ」と比較して大きく増大している。

【0012】

上記事情に鑑み、本発明は、変換基底を選択するための処理量を削減することが可能である符号化装置、符号化方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0013】

本発明の一態様は、画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割部と、前記サブブロックごとに代表値を導出する代表値導出部と、互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の前記組み合わせのうちから選択する選択部と、選択された前記組み合わせを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理部とである。

【0014】

本発明の一態様は、画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割部と、前記サブブロックごとに代表値を導出する代表値導出部と、互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の前記組み合わせのうちから選択する選択部と、選択された前記組み合わせと前記複数の組み合わせ以外の変換基底の組み合わせとのうちのいずれかを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理部とを備える符号化装置である。

【0015】

本発明の一態様は、上記に記載の符号化装置が実行する符号化方法であって、画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割ステップと、前記サブブロックごとに代表値を導出する代表値導出ステップと、互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の前記組み合わせのうちから選択する選択ステップと、選択された前記組み合わせを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理ステップとを含む符号化方法である。

【0016】

本発明の一態様は、上記に記載の符号化装置が実行する符号化方法であって、画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割ステップと、前記サブブロックごとに代表値を導出する代表値導出ステップと、互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の前記組み合わせのうちから選択する選択ステップと、選択された前記組み合わせと前記複数の組み合わせ以外の変換基底の組み合わせとのうちのいずれかを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理ステップとである。

【0017】

本発明の一態様は、上記に記載の符号化装置としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0018】

本発明により、変換基底を選択するための処理量を削減することが可能である。

【図面の簡単な説明】

【0019】

【図1】実施形態における、符号化装置の構成例を示す図である。

【図2】実施形態における、周波数変換部の構成例を示す図である。

【図3】実施形態における、サブブロックの分割の例を示す図である。

【図4】実施形態における、判定部とサブブロック分割部と代表値導出部と水平方向選択部との動作例を示すフローチャートである。

【図5】実施形態における、垂直方向選択部の動作例を示すフローチャートである。

【図6】実施形態における、サブブロック分割部と代表値導出部との動作例を示すフローチャートである。

【図7】実施形態における、符号化装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0020】

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、実施形態における、符号化装置１の構成例を示す図である。符号化装置１は、動画像を符号化する装置である。符号化装置１には、符号化対象の動画像（原画像）が入力される。符号化装置１は、指定されたパラメータに基づいて、動画像を符号化する。符号化装置１は、符号化結果をビットストリームとして、所定の外部装置（不図示）に出力する。

【0021】

符号化装置１は、ブロック分割部１０と、残差信号生成部１１と、周波数変換部１２と、量子化部１３と、エントロピー符号化部１４と、逆量子化部１５と、逆周波数変換部１６と、復号画像生成部１７と、ループフィルタ処理部１８と、参照画像バッファ部１９と、イントラ予測部２０と、インター予測部２１と、予測画像生成部２２とを備える。

【0022】

ブロック分割部１０は、入力された動画像（原画像）のフレームをＣＵに分割する。ＣＵのサイズは符号化処理の単位であり、動画像のフレームにおけるＣＵの形状は矩形である。ブロック分割部１０は、動画像をＣＵごとに残差信号生成部１１に出力する。

【0023】

残差信号生成部１１には、ＣＵごとの動画像が、ブロック分割部１０から入力される。残差信号生成部１１には、ＣＵごとの動画像の予測画像が、予測画像生成部２２から入力される。残差信号生成部１１は、動画像と予測画像との差分（予測残差）を、ＣＵごとに導出する。残差信号生成部１１は、動画像と予測画像とのＣＵごとの差分を、予測残差信号として周波数変換部１２に出力する。

【0024】

周波数変換部１２には、予測残差信号が、残差信号生成部１１から入力される。周波数変換部１２は、離散コサイン変換又は離散サイン変換による周波数変換を、予測画像の水平方向と予測画像の垂直方向とに対して実行する。周波数変換部１２は、周波数変換の結果として導出された変換係数群を、量子化部１３に出力する。

【0025】

量子化部１３には、変換係数群が、周波数変換部１２から入力される。量子化部１３は、所定の量子化パラメータを用いて、変換係数を量子化する。量子化部１３は、量子化された変換係数を、エントロピー符号化部１４と逆量子化部１５とに出力する。

【0026】

エントロピー符号化部１４には、量子化された変換係数が、量子化部１３から入力される。エントロピー符号化部１４は、量子化された変換係数をエントロピー符号化する。エントロピー符号化部１４は、エントロピー符号化の結果を、ビットストリームとして所定の外部装置（不図示）に出力する。

【0027】

逆量子化部１５には、量子化された変換係数が、量子化部１３から入力される。逆量子化部１５は、量子化された変換係数に対して、逆量子化処理を実行する。これによって、逆量子化部１５は変換係数を生成する。

【0028】

逆周波数変換部１６には、変換係数が、逆量子化部１５から入力される。逆周波数変換部１６は、変換係数に対して逆周波数変換を実行する。これによって、逆周波数変換部１６は、予測残差の復号画像を復号画像生成部１７に出力する。

【0029】

復号画像生成部１７には、予測残差の復号画像が、逆周波数変換部１６から入力され、予測画像が予測画像生成部２２から入力される。復号画像生成部１７は、予測残差の復号画像と原画像の予測画像とをＣＵごとに加算することによって、符号化対象の動画像の復号画像を、ＣＵごとに生成する。復号画像生成部１７は、符号化対象の動画像の復号画像を、ループフィルタ処理部１８と参照画像バッファ部１９とに出力する。

【0030】

ループフィルタ処理部１８には、符号化対象の動画像の復号画像が、復号画像生成部１７から入力される。ループフィルタ処理部１８は、符号化歪みを低減するためのフィルタ処理を、符号化対象の動画像の復号画像に対して実行する。ループフィルタ処理部１８は、フィルタ処理が実行された復号画像を、参照画像バッファ部１９に記録する。

【0031】

参照画像バッファ部１９には、フィルタ処理後の復号画像がループフィルタ処理部１８から入力され、符号化対象の動画像の復号画像が復号画像生成部１７から入力される。参照画像バッファ部１９は、フィルタ処理後の復号画像と、符号化対象の動画像の復号画像とを、参照用の画像として記憶する。すなわち、参照画像バッファ部１９は、過去の復号画像を参照用の画像として記憶する。

【0032】

イントラ予測部２０は、過去の復号画像を参照画像バッファ部１９から取得する。イントラ予測部２０は、復号画像に対してフレーム内予測処理を実行することによって、フレーム内予測処理の結果に応じた予測結果を生成する。イントラ予測部２０は、原画像の予測結果を予測画像生成部２２に出力する。

【0033】

インター予測部２１は、過去の復号画像を参照画像バッファ部１９から取得する。インター予測部２１は、過去の復号画像に対して動き補償予測処理を実行することによって、動き補償予測処理の結果に応じた予測結果を生成する。インター予測部２１は、原画像の予測結果を予測画像生成部２２に出力する。

【0034】

予測画像生成部２２には、原画像の予測結果が、イントラ予測部２０又はインター予測部２１から入力される。予測画像生成部２２は、予測画像に基づいて、参照用の画像として記憶されている過去の復号画像を、参照画像バッファ部１９から取得する。予測画像生成部２２は、原画像の予測結果と過去の復号画像データとに基づいて、原画像の予測画像を生成する。予測画像生成部２２は、原画像の予測画像を残差信号生成部１１に出力する。

【0035】

次に、周波数変換部１２の詳細を説明する。
図２は、実施形態における、周波数変換部１２の構成例を示す図である。周波数変換部１２は、絞込部１２０を備える。絞込部１２０は、判定部１２１と、サブブロック分割部１２２と、代表値導出部１２３と、水平方向選択部１２４と、垂直方向選択部１２５とを備える。周波数変換部１２は、変換処理部１２６とを備える。

【0036】

絞込部１２０には、符号化対象のＣＵの予測残差信号と、ＣＵのサイズ情報（以下「変換サイズ情報」という。）と、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、ブロック分割部１０から入力される。ここで、予測残差信号は、ＣＵにおける２次元（水平方向及び垂直方向）の予測残差の信号である。

【0037】

周波数変換領域の一部に動画像信号の成分が集められることによって、空間的な相関が動画像から除去されて、符号化効率が向上する。例えば、周波数変換後の係数行列が「Ｚ」と、周波数変換前の信号行列が「Ｘ」と、第１の変換行列が「Ｂ」と、第２の変換領域が「Ｃ」と表記される場合、２次元の信号に対する周波数変換は、式（１）のように表される。

【0038】

【数1】

【0039】

式（１）は、信号行列「Ｘ」の行（水平成分）に変換行列「Ｃ」が適用され、信号行列「Ｘ」の列（垂直成分）に変換行列「Ｂ」が適用されることを表す。

【0040】

周波数変換前における、信号行列「Ｘ」の行（水平成分）又は列（垂直成分）として、Ｎ点（Ｎは２以上の整数）の入力成分「ｘ」は、「ｘ＝［ｘ_０，ｘ＿１，…，ｘ_{｛Ｎ－１｝}］^Ｔ」と表記される。また、周波数変換後における、入力信号の成分のＮ点とは別のＮ点の変換係数の成分「ｙ」は、「ｙ＝［ｙ_０，ｙ_１，…，ｙ_{｛Ｎ－１｝}］^Ｔ」と表記される。これらの式の肩に記載された「Ｔ」は、転置を表す。変換係数の成分「ｙ_ｉ」は式（２）のように表される。

【0041】

【数2】

【0042】

ＶＶＣでは、式（２）に示された「Ｔ_ｉ（ｊ）」は、変換基底「ＤＣＴ－２」が選択された場合、式（３）のように表される。

【0043】

【数3】

【0044】

「Ｔ_ｉ（ｊ）」は、変換基底「ＤＳＴ－７」が選択された場合、式（４）のように表される。

【0045】

【数4】

【0046】

「Ｔ_ｉ（ｊ）」は、変換基底「ＤＣＴ－８」が選択された場合、式（５）のように表される。

【0047】

【数5】

【0048】

ＶＶＣでは、「ＤＣＴ－２」と「ＤＣＴ－８」と「ＤＳＴ－７」とが、各変換基底として用意されている。ＣＵのサイズが「６４×６４」である場合、垂直方向及び水平方向の予測残差に対して、１次元の変換基底「ＤＣＴ－２」が用いられる。これに対して、ＣＵのサイズが「３２×３２」以下である場合、「ＤＣＴ－２」と「ＤＳＴ－７」と「ＤＣＴ－８」とが、変換基底として選択可能である。つまり、ＣＵのサイズが「３２×３２」以下である場合、変換基底（直交変換の基底）の組み合わせ「（水平，垂直）＝｛（ＤＣＴ－２，ＤＣＴ－２），（ＤＣＴ－８，ＤＣＴ－８），（ＤＣＴ－８，ＤＳＴ－７），（ＤＳＴ－７，ＤＣＴ－８），（ＤＳＴ－７，ＤＳＴ－７）｝」が、垂直方向及び水平方向の予測誤差の周波数変換において選択可能である。

【0049】

絞込部１２０は、１次元の変換基底の組み合わせを、水平方向の予測残差と垂直方向の予測残差とに対して適用する。

【0050】

判定部１２１には、符号化対象のＣＵの予測残差信号と、変換サイズ情報と、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、ブロック分割部１０から入力される。判定部１２１は、変換基底を選択する処理を実行するか否かを、例えば変換サイズ情報に基づいて判定する。

【0051】

判定部１２１は、変換基底を選択する処理を実行すると判定した場合、符号化対象のＣＵの予測残差信号と、変換サイズ情報と、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とを、サブブロック分割部１２２に出力する。

【0052】

判定部１２１は、符号化対象のＣＵの予測残差信号を、変換処理部１２６に出力する。判定部１２１は、変換基底を選択する処理を実行しないと判定した場合、変換サイズ情報と、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とを、変換処理部１２６に出力する。

【0053】

サブブロック分割部１２２は、符号化対象の画像（フレーム）に定められた符号化単位のブロック（ＣＵ）を、複数のサブブロックに分割する。サブブロック分割部１２２は、複数のサブブロックと（サブブロックのサイズと）、サブブロックごとの予測残差と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とを、代表値導出部１２３に出力する。

【0054】

図３は、実施形態における、サブブロックの分割の例を示す図である。図３には、ブロック３０と、サブブロック３１と、サブブロック３２とが示されている。ブロック３０は、ＣＵである。ブロック３０のサイズ「Ｎ×Ｎ」は、一例として「８×８」である。サブブロック３１は、ブロック３０を１６分割するように定められる。サブブロック３２は、４個のサブブロック３１から構成される。

【0055】

以下、代表値が導出された複数のサブブロックから構成されるブロックを「代表ブロック」という。

【0056】

ブロック３０内のサイズ「２×２」の領域における予測残差の平均値が、サイズ「２×２」のサブブロック３１における予測残差の代表値として、サブブロック３１ごとに導出される。また、互いに隣接する４個のサブブロック３１の各代表値の平均値が、代表ブロックとしてのサブブロック３２における予測残差として、サブブロック３２ごとに導出される。ここで、互いに隣接する４個のサブブロック３１の各代表値の平均値の分散値が、サブブロック３２ごとに導出されてもよい。

【0057】

図２に示された代表値導出部１２３には、複数のサブブロックと（サブブロックのサイズ情報と）、サブブロックごとの予測残差と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、サブブロック分割部１２２から入力される。代表値導出部１２３は、予測残差の代表値を、サブブロックごとに導出する。代表値導出部１２３は、サブブロックごとの予測残差の代表値（縮小信号）と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とを、水平方向選択部１２４に出力する。

【0058】

水平方向選択部１２４には、サブブロックごとの予測残差の代表値（縮小信号）が、代表値導出部１２３から入力される。水平方向選択部１２４は、サブブロックごとの予測残差の代表値（縮小信号）に対して、変換基底を用いた水平方向の周波数変換を実行する。

【0059】

水平方向選択部１２４は、変換基底「ＤＳＴ－７」が用いられることによって導出された水平方向の変換係数群の絶対値和と、変換基底「ＤＣＴ－８」が用いられることによって導出された水平方向の変換係数群の絶対値和との大小を比較する。水平方向選択部１２４は、変換係数の絶対値和がより小さくなる変換基底を選択する。水平方向選択部１２４は、サブブロックごとの予測残差の代表値（縮小信号）と、絶対値和がより小さくなるように導出された水平方向の変換係数群と、水平方向について選択された変換基底（「ＤＳＴ－７」又は「ＤＣＴ－８」）と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」（ＤＣＴ－２，ＤＣＴ－２）とを、垂直方向選択部１２５に出力する。

【0060】

垂直方向選択部１２５には、サブブロックごとの予測残差の代表値（縮小信号）と、水平方向の変換係数群と、水平方向選択部１２４によって選択された変換基底と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、水平方向選択部１２４から入力される。垂直方向選択部１２５は、サブブロックごとの予測残差の代表値（縮小信号）に対して、変換基底を用いた垂直方向の周波数変換を実行する。

【0061】

垂直方向選択部１２５は、変換基底「ＤＳＴ－７」が用いられることによって導出された垂直方向の変換係数群の絶対値和と、変換基底「ＤＣＴ－８」が用いられることによって導出された垂直方向の変換係数群の絶対値和との大小を比較する。垂直方向選択部１２５は、変換係数の絶対値和がより小さくなる変換基底を選択する。垂直方向選択部１２５は、サブブロックごとの予測残差の代表値（縮小信号）と、絶対値和がより小さくなるように導出された垂直方向の変換係数群と、垂直方向について選択された変換基底（「ＤＳＴ－７」又は「ＤＣＴ－８」）と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」（ＤＣＴ－２，ＤＣＴ－２）とを、変換処理部１２６に出力する。

【0062】

変換処理部１２６には、符号化対象のＣＵの予測残差信号が、判定部１２１から入力される。変換処理部１２６には、変換サイズ情報と、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、判定部１２１から入力されてもよい。また、変換処理部１２６には、絶対値和がより小さくなるように導出された垂直方向の変換係数群と、水平方向選択部１２４及び垂直方向選択部１２５によって選択された各変換基底を含む組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、垂直方向選択部１２５から入力される。

【0063】

変換処理部１２６は、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」に含まれている選択された組み合わせごとに（絞り込まれた組み合わせごとに）、符号化単位のブロックに対して周波数変換処理を実行する。変換処理部１２６は、変換基底の組み合わせごとのレート歪み値等のコスト値に基づいて、周波数の変換基底の最終的な組み合わせを選択する。変換処理部１２６は、コスト値が最も小さくなる変換基底の組み合わせを、最終的な組み合わせとして選択する。

【0064】

変換処理部１２６は、周波数の変換基底の最終的な組み合わせを用いて、符号化単位のブロックについて周波数変換を実行する。変換処理部１２６は、周波数変換の結果として導出された変換係数群を、量子化部１３に出力する。

【0065】

次に、周波数変換部１２の動作を説明する。
図４は、実施形態における、判定部１２１と、サブブロック分割部１２２と、代表値導出部１２３と、水平方向選択部１２４との動作例を示すフローチャートである。判定部１２１は、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」に、デフォルトの変換基底である「（水平，垂直）＝（ＤＣＴ－２，ＤＣＴ－２）」を格納する（ステップＳ１０１）。

【0066】

判定部１２１は、変換基底を選択する処理（絞込処理）を実行するか否かを、例えば、変換サイズ情報と、予測残差の絶対値和と、予測残差の水平方向及び垂直方向の分布形状とのうちのいずれかに基づいて判定する。判定部１２１は、これらの組み合わせに基づいて、変換基底を選択する処理をするか否かを判定してもよい（ステップＳ１０２）。

【0067】

例えば変換サイズ情報（CUSize）が「３２×３２」を超えている場合（ステップＳ１０２：ＮＯ）、判定部１２１は、図４及び図５に記載された処理を終了する。例えば変換サイズ情報が「３２×３２」以下である場合（ステップＳ１０２：ＹＥＳ）、判定部１２１は、変換サイズ情報が閾値「ＴｈＳｉｚｅ」を超えているか否かを判定する（ステップＳ１０３）。

【0068】

変換サイズ情報が閾値「ＴｈＳｉｚｅ」以下である場合（ステップＳ１０３：ＮＯ）、周波数変換に要する処理量（演算量）が少ないので、判定部１２１に入力された予測残差信号に対して周波数変換が実行されるように、判定部１２１は、ステップＳ１０５－１及びステップＳ１０５－２に処理を進める。

【0069】

変換サイズ情報が閾値「ＴｈＳｉｚｅ」を超えている場合（ステップＳ１０３：ＹＥＳ）、サブブロック分割部１２２及び代表値導出部１２３は、ＣＵにおける予測残差の解像度を低下させることによって、予測残差信号を縮小する。すなわち、サブブロック分割部１２２及び代表値導出部１２３は、ＣＵにおける予測残差の個数を削減する。

【0070】

例えば、サブブロック分割部１２２は、ＣＵを複数（例えば、４×４個）のサブブロックに分割する。代表値導出部１２３は、サブブロックごとに１個の代表値を導出する。ＣＵにおいて個数が削減された予測残差を導出するための代表値として、例えば、サブブロックごとに導出された予測残差の平均値と、予測残差の最大値、最小値、中央値又は最頻値と、サブブロック内及びサブブロック間の所定の特徴を表す特徴量とのうちのいずれかが用いられる。これによって、周波数変換に要する処理量が削減される（ステップＳ１０４）。

【0071】

水平方向選択部１２４は、個数が削減された予測残差に対して、所定の複数の変換基底を用いて、水平方向の周波数変換を実行する。すなわち、水平方向選択部１２４は、個数が削減された予測残差に対して、変換基底「ＤＳＴ－７」を用いた水平方向の周波数変換を実行する（ステップＳ１０５－１）。水平方向選択部１２４は、個数が削減された予測残差に対して、変換基底「ＤＣＴ－８」を用いた水平方向の周波数変換を実行する（ステップＳ１０５－２）。

【0072】

以下、変換基底「ＤＳＴ－７」が用いられることによって導出された水平方向の変換係数群は、「ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７」と表記される。変換基底「ＤＣＴ－８」が用いられることによって導出された水平方向の変換係数群は、「ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８」と表記される。

【0073】

水平方向選択部１２４は、変換係数群「ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７」の絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」を導出する（ステップＳ１０６－１）。水平方向選択部１２４は、変換係数群「ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８」の絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」を導出する（ステップＳ１０６－２）。

【0074】

水平方向選択部１２４は、絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」と絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」との大小を比較する（ステップＳ１０７）。周波数変換領域の一部に動画像信号の成分が集められることによって、空間的な相関が動画像信号から除去される。この場合、周波数変換後の変換係数が一部の低周波成分に集中するほど、量子化処理の影響を受けにくく、符号化効率が高まる。また、変換係数の値が小さいほど、符号化に必要な情報量が少なくなる。そこで、水平方向選択部１２４は、異なる変換基底を用いて得られたそれぞれの変換係数（ここで、低周波から高周波までの各周波成分に変換係数がある）の絶対値和を比較する。変換係数の絶対値和がより小さい変換基底を水平方向選択部１２４が選択することによって、符号化効率がより高くなる変換基底が選択される。

【0075】

絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」未満である場合（ステップＳ１０７：ＹＥＳ）、水平方向選択部１２４は、より小さい絶対値和に基づいて選択された変換基底「ＤＳＴ－７」を、変換基底のパラメータ「Ｔｒ＿ｈ」に代入する。水平方向選択部１２４は、大小比較の結果として選択された変換基底の水平方向の変換係数を、パラメータ「ｈ＿Ｃｏｅｆｆ＿Ｂｅｓｔ」に代入する（ステップＳ１０８）。

【0076】

絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」以上である場合（ステップＳ１０７：ＮＯ）、水平方向選択部１２４は、より小さい絶対値和に基づいて選択された変換基底「ＤＣＴ－８」を、変換基底のパラメータ「Ｔｒ＿ｈ」に代入する。水平方向選択部１２４は、大小比較の結果として選択された変換基底の水平方向の変換係数群を、パラメータ「ｈ＿Ｃｏｅｆｆ＿Ｂｅｓｔ」に代入する（ステップＳ１０９）。

【0077】

図５は、実施形態における、垂直方向選択部１２５の動作例を示すフローチャートである。垂直方向選択部１２５は、水平方向選択部１２４によって導出された水平方向の変換係数群「ｈ＿Ｃｏｅｆｆ＿Ｂｅｓｔ」に対して、垂直方向の周波数変換を、所定の複数の変換基底を用いて実行する。

【0078】

図４に示されたステップＳ１０８が実行された場合、ステップＳ１０８に続いて、ステップＳ１１０からステップ１１８までが実行される。垂直方向選択部１２５は、個数が削減された予測残差に対して、変換基底「ＤＳＴ－７」を用いた垂直方向の周波数変換を実行する（ステップＳ１１０－１）。垂直方向選択部１２５は、個数が削減された予測残差に対して、変換基底「ＤＣＴ－８」を用いた垂直方向の周波数変換を実行する（ステップＳ１１０－２）。

【0079】

以下、変換基底「ＤＳＴ－７」が用いられることによって導出された垂直方向の変換係数群は、「ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７」と表記される。変換基底「ＤＣＴ－８」が用いられることによって導出された垂直方向の変換係数群は、「ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８」と表記される。

【0080】

垂直方向選択部１２５は、垂直方向の変換係数群「ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７」の絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」を導出する（ステップＳ１１１－１）。垂直方向選択部１２５は、垂直方向の変換係数群「ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８」の絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」を導出する（ステップＳ１１１－２）。

【0081】

垂直方向選択部１２５は、絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」と絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」との大小を比較する（ステップＳ１１２）。

【0082】

絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」未満である場合（ステップＳ１１２：ＹＥＳ）、垂直方向選択部１２５は、より小さい絶対値和に基づいて選択された変換基底「ＤＳＴ－７」を、変換基底のパラメータ「Ｔｒ＿ｖ」に代入する（ステップＳ１１３－１）。

【0083】

絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」以上である場合（ステップＳ１１２：ＮＯ）、垂直方向選択部１２５は、より小さい絶対値和に基づいて選択された変換基底「ＤＣＴ－８」を、変換基底のパラメータ「Ｔｒ＿ｖ」に代入する（ステップＳ１１３－２）。

【0084】

図４に示されたステップＳ１０９が実行された場合、ステップＳ１０９に続いて、ステップＳ１１４からステップ１１８までが実行される。垂直方向選択部１２５は、個数が削減された予測残差に対して、変換基底「ＤＳＴ－７」を用いた垂直方向の周波数変換を実行する（ステップＳ１１４－１）。垂直方向選択部１２５は、個数が削減された予測残差に対して、変換基底「ＤＣＴ－８」を用いた垂直方向の周波数変換を実行する（ステップＳ１１４－２）。

【0085】

垂直方向選択部１２５は、変換係数群「ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７」の絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」を導出する（ステップＳ１１５－１）。垂直方向選択部１２５は、変換係数群「ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８」の絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」を導出する（ステップＳ１１５－２）。

【0086】

垂直方向選択部１２５は、絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」と絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」との大小を比較する（ステップＳ１１６）。

【0087】

絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」未満である場合（ステップＳ１１６：ＹＥＳ）、垂直方向選択部１２５は、より小さい絶対値和に基づいて選択された変換基底「ＤＳＴ－７」を、変換基底のパラメータ「Ｔｒ＿ｖ」に代入する（ステップＳ１１７－１）。

【0088】

絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」以上である場合（ステップＳ１１６：ＮＯ）、垂直方向選択部１２５は、より小さい絶対値和に基づいて選択された変換基底「ＤＣＴ－８」を、変換基底のパラメータ「Ｔｒ＿ｖ」に代入する（ステップＳ１１７－２）。

【0089】

このような絞込処理によって、垂直方向選択部１２５は、水平方向及び垂直方向に関して４通りの変換基底のうちから、「（水平，垂直）＝（Ｔｒ＿ｈ，Ｔｒ＿ｖ）」という１個の変換基底を選択する。

【0090】

垂直方向選択部１２５は、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」に、「（水平，垂直）＝（Ｔｒ＿ｈ，Ｔｒ＿ｖ）」という１個の変換基底を含める（ステップＳ１１８）。これによって、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」では、「（水平、垂直）＝（ＤＣＴ－２、ＤＣＴ－２）」と、「（水平、垂直）＝（Ｔｒ＿ｈ、Ｔｒ＿ｖ）」という２通りの変換基底の組み合わせに絞り込まれる。

【0091】

次に、予測残差の縮小信号を生成する処理（図４に示されたステップＳ１０４）の詳細を説明する。
図６は、実施形態における、サブブロック分割部１２２と代表値導出部１２３との動作例を示すフローチャートである。サブブロック分割部１２２は、予測残差を含むＣＵのサイズが「Ｎ×Ｎ」であるブロック３０（Ｎ×Ｎブロック）を、「Ｓ＿１×Ｓ＿１」のサイズのサブブロック３１と、「Ｓ＿２×Ｓ＿２」のサイズのサブブロック３２とに分割する。ここで、「Ｓ＿１＜Ｓ＿２」と、「Ｓ＿２＝２×Ｓ＿１」とが成立している（ステップＳ２０１）。

【0092】

サブブロック分割部１２２は、「ｓ＿１［０］」から「ｓ＿１［ｍ＿１－１］」までの「ｍ＿１＝（Ｎ×Ｎ）／（Ｓ＿１×Ｓ＿１）」個のサブブロック３１を生成する。サブブロック分割部１２２は、「ｓ＿２［０］」から「ｓ＿２［ｍ＿２－１］」までの「ｍ＿２＝（Ｎ×Ｎ）／（Ｓ＿２×Ｓ＿２）」個のサブブロック３２を生成する（ステップＳ２０２）。

【0093】

代表値導出部１２３は、サブブロック「ｓ＿１［ｉ］（ｉは、０から「ｍ＿１－１」までの整数）」ごとに、サブブロック３１の予測残差の平均値「ｓ＿１＿ａｖｅ［ｉ］」を、代表値として導出する（ステップＳ２０３）。

【0094】

代表値導出部１２３は、サブブロック「ｓ＿２［ｊ］（ｊは、０から「ｍ＿２－１」までの整数）」ごとに、サブブロック３２が内包する４個のサブブロック３１「ｓ＿１［ｉ］」の予測残差の平均値「ｓ＿１＿ａｖｅ［ｉ］」の分散値「ｓ＿２＿ｉｎ＿ｖａｒ［ｊ］」を、代表値として導出する。図３では、代表値導出部１２３は、平均値「ｓ＿１＿ａｖｅ［０］」と平均値「ｓ＿１＿ａｖｅ［１］」と平均値「ｓ＿１＿ａｖｅ［４］」と平均値「ｓ＿１＿ａｖｅ［５］」とを用いて、例えば分散値「ｓ＿２＿ｉｎ＿Ｖａｒ［０］」を、代表値を導出する（ステップＳ２０４）。

【0095】

図３では、代表ブロックとしてのサブブロック３２－０「ｓ＿２［０］」における予測残差の平均値「ｓ＿２＿ａｖｅ［０］」は、「ｓ＿２＿ａｖｅ［０］＝（ｓ＿１＿ａｖｅ［０］＋ｓ＿１＿ａｖｅ［１］＋ｓ＿１＿ａｖｅ［４］＋ｓ＿１＿ａｖｅ［５］）／４」である。代表ブロックとしてのサブブロック３２－１「ｓ＿２［１］」における予測残差の平均値「ｓ＿２＿ａｖｅ［１］」は、「ｓ＿２＿ａｖｅ［１］＝（ｓ＿１＿ａｖｅ［２］＋ｓ＿１＿ａｖｅ［３］＋ｓ＿１＿ａｖｅ［６］＋ｓ＿１＿ａｖｅ［７］）／４」である。

【0096】

図３では、代表ブロックとしてのサブブロック３２－２「ｓ＿２［２］」における予測残差の平均値「ｓ＿２＿ａｖｅ［２］」は、「ｓ＿２＿ａｖｅ［２］＝（ｓ＿１＿ａｖｅ［８］＋ｓ＿１＿ａｖｅ［９］＋ｓ＿１＿ａｖｅ［１２］＋ｓ＿１＿ａｖｅ［１３］）／４」である。代表ブロックとしてのサブブロック３２－３「ｓ＿２［３］」における予測残差の平均値「ｓ＿２＿ａｖｅ［３］」は、「ｓ＿２＿ａｖｅ［３］＝（ｓ＿１＿ａｖｅ［１０］＋ｓ＿１＿ａｖｅ［１１］＋ｓ＿１＿ａｖｅ［１４］＋ｓ＿１＿ａｖｅ［１５］）／４」である。

【0097】

代表値導出部１２３は、分散値「ｓ＿２＿ｉｎ＿ｖａｒ［ｊ］」が閾値「ＴｈＶａｒ」以下であるか否かを判定する（ステップＳ２０５）。分散値「ｓ＿２＿ｉｎ＿ｖａｒ［ｊ］」が所定の閾値「ＴｈＶａｒ」以下である場合（ステップＳ２０５：ＹＥＳ）、サブブロック「ｓ＿２」を構成する４個のサブブロック３１「ｓ＿１［ｉ］」の間で、各予測残差のばらつきが少なく、各予測残差が互いに近い値である。

【0098】

このような場合、サイズ「Ｎ×Ｎ」のブロック３０がサイズ「Ｓ＿２×Ｓ＿２」のサブブロック３２に分割されたとしても、サイズ「Ｎ×Ｎ」のブロック３０がサイズ「Ｓ＿１×Ｓ＿１」のサブブロック３１に分割された場合における予測残差の縮小信号と同様の縮小信号を、代表値導出部１２３が導出することが可能である。また、周波数変換の対象とされるサブブロックのサイズを代表値導出部１２３が更に小さくすることによって、処理量をさらに削減することが可能である。

【0099】

代表値導出部１２３は、サブブロック「ｓ＿１［ｉ］」の予測残差の平均値「ｓ＿１＿ａｖｅ［ｉ］」に基づいて、サブブロック「ｓ＿２［ｊ］」の予測残差の平均値「ｓ＿２＿ａｖｅ［ｊ］」を導出する（ステップＳ２０６）。代表値導出部１２３は、サイズ「Ｎ／Ｓ＿２×Ｎ／Ｓ＿２」のサブブロック３１「ｓ＿２［ｊ］」を、水平方向選択部１２４に出力する（ステップＳ２０７）。

【0100】

分散値「ｓ＿２＿ｉｎ＿ｖａｒ［ｊ］」が所定の閾値「ＴｈＶａｒ」を超える場合（ステップＳ２０５：ＮＯ）、予測残差信号がさらに縮小されると（予測残差の個数がさらに削減されると）、予測残差の特徴が失われてしまう可能性があるので、代表値導出部１２３は、サイズ「Ｎ／Ｓ＿１×Ｎ／Ｓ＿１」のサブブロック３１「ｓ＿１［ｉ］」を、水平方向選択部１２４に出力する（ステップＳ２０８）。

【0101】

以上のように、サブブロック分割部１２２は、符号化対象の画像に定められた符号化単位のブロックを、複数のサブブロックに分割する。代表値導出部１２３は、サブブロックごとに代表値を導出する。水平方向選択部１２４及び垂直方向選択部１２５は、互いに隣接する複数のサブブロックから構成される代表ブロックにおける複数の代表値に基づいて、変換基底の組み合わせを複数の組み合わせのうちから選択する。変換処理部１２６は、選択された組み合わせを用いて、符号化単位のブロックごとに周波数変換処理を実行する。

【0102】

このように、最終的な変換モードを変換処理部１２６が複数の周波数変換モードのうちから選択する際に、変換処理部１２６は、符号化対象の画像に定められたブロックのサブブロックごとの代表値を用いて、変換基底「ＤＳＴ－７」と変換基底「ＤＣＴ－８」との組み合わせを絞り込む。変換処理部１２６は、絞り込まれた組み合わせとＤＣＴ－２とについて、コスト値を導出する。変換処理部１２６は、コスト値に基づいて変換モードを選択する。これによって、変換基底を選択するための処理量を削減することが可能である。

【0103】

水平方向選択部１２４は、代表ブロックの水平方向について変換基底を選択する。垂直方向選択部１２５は、水平方向について選択された変換基底を用いて、変換係数を代表値から変換する。垂直方向選択部１２５は、水平方向について選択された変換基底を用いて代表値から変換された変換係数に基づいて、垂直方向について変換基底を複数の候補の中から選択する。垂直方向選択部１２５は、水平方向について選択された変換基底と、垂直方向について選択された変換基底とを、変換基底の組み合わせとして選択する。変換処理部１２６は、「ＤＳＴ－７」と「ＤＣＴ－８」との４通りの組み合わせのうちから選択された変換基底の組み合わせと、これら４通りの組み合わせ以外の変換基底の組み合わせ「（ＤＣＴ－２，ＤＣＴ－２）」とのうちのいずれかを用いて、符号化単位のブロック（ＣＵ）ごとに周波数変換処理を実行してもよい。

【0104】

符号化装置１は、複数の周波数変換組み合わせを用いて、変換対象元の予測残差信号の縮小信号（縮小予測残差信号）を導出する。符号化装置１は、水平方向の変換基底と垂直方向の変換基底とを縮小信号に対して段階的に絞り込むことによって、変換基底を決定する。これによって、周波数の変換基底選択に関わる処理量を削減することが可能である。

【0105】

特に大きなサイズのＣＵに対してＭＴＳ処理が実行される場合、周波数変換の対象とされた予測残差のパターンによらず、ＭＴＳの変換基底を水平方向と垂直方向とで段階的に絞り込む。これによって、変換基底の選択処理を固定処理量で符号化装置１が実行し、ＭＴＳでの変換基底を決定するための処理量を削減することが可能である。

【0106】

図７は、実施形態における、符号化装置１のハードウェア構成例を示す図である。符号化装置１の各機能部のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ１００が、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶部２００に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。通信部３００は、符号化装置１による処理結果を外部装置（不図示）に送信する。通信部３００は、通信回線を経由してプログラムを受信してもよい。表示部４００は、符号化装置１による処理結果を表示する。表示部４００は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイである。

【0107】

符号化装置１の各機能部のうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

【0108】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【産業上の利用可能性】

【0109】

本発明は、符号化等の画像処理を動画像に対して実行する装置に適用可能である。

【符号の説明】

【0110】

１…符号化装置、１０…ブロック分割部、１１…残差信号生成部、１２…周波数変換部、１３…量子化部、１４…エントロピー符号化部、１５…逆量子化部、１６…逆周波数変換部、１７…復号画像生成部、１８…ループフィルタ処理部、１９…参照画像バッファ部、２０…イントラ予測部、２１…インター予測部、２２…予測画像生成部、３０…ブロック、３１…サブブロック、３２…サブブロック、１００…プロセッサ、１２１…判定部、１２２…サブブロック分割部、１２３…代表値導出部、１２４…水平方向選択部、１２５…垂直方向選択部、１２６…変換処理部、２００…記憶部、３００…通信部、４００…表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】