特開 2024-96929 符号化装置、復号装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024096929

(43)【公開日】2024-07-17

(54)【発明の名称】符号化装置、復号装置及びプログラム

(51)【国際特許分類】

   H04N 19/12 20140101AFI20240709BHJP

   H04N 19/176 20140101ALI20240709BHJP

   H04N 19/136 20140101ALI20240709BHJP

【ＦＩ】

H04N19/12

H04N19/176

H04N19/136

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2024066609

(22)【出願日】2024-04-17

(62)【分割の表示】P 2022171629の分割

【原出願日】2016-05-24

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

(57)【要約】      （修正有）

【課題】イントラ予測において、エントロピーを効率的に低減させ、符号化性能を向上させる符号化装置、復号装置及びプログラムを提供する。
【解決手段】符号化装置は、イントラ予測モードを用いて予測画像を生成するイントラ予測部と、予測画像と原画像との差分により残差信号を生成する残差信号生成部と、予測画像の生成に用いる参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、残差信号を水平方向及び垂直方向の少なくとも一方に反転させた上で直交変換処理を施す直交変換部１４Ｃ１と、イントラ予測モードと参照画素の位置とに応じて、予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択し、直交変換部１４Ｃ１から出力された信号に対して、選択した二次直交変換処理を施す二次直交変換部１４Ｃ２と、を含む残差信号生成部１４Ｃを具備する。
【選択図】図２

【特許請求の範囲】

【請求項1】

動画像を構成するフレーム単位の原画像をブロックに分割して符号化する符号化装置であって、
イントラ予測処理の種別を示すイントラ予測モードを用いて予測画像を生成するイントラ予測部と、
前記イントラ予測部によって生成された前記予測画像と前記原画像との差分により残差信号を生成する残差信号生成部と、
前記残差信号生成部によって生成された残差信号に対して変換処理を施す変換部と、
ブロック符号化順に応じて定められる、前記予測画像の生成に用いる利用可能な参照画素の位置と、前記イントラ予測モードと、に応じて、前記変換部から出力された信号に対して、異なる二次変換処理を切り替えて用いる二次変換部と、
を具備することを特徴とする符号化装置。

【請求項2】

動画像を構成するフレーム単位の原画像を分割して得たブロック単位で復号する復号装置であって、
イントラ予測処理の種別を示すイントラ予測モードを用いて予測画像を生成するイントラ予測部と、
量子化された変換係数に対して、逆量子化処理を施す逆量子化部と、
前記イントラ予測モードと、ブロック復号順に応じて定められる、前記予測画像の生成に用いる利用可能な参照画素の位置と、に応じて、前記逆量子化部から出力された信号に対して、異なる二次逆変換処理を切り替えて用いる二次逆変換部と、
を具備することを特徴とする復号装置。

【請求項3】

コンピュータを、請求項１に記載の符号化装置として機能させるためのプログラム。

【請求項4】

コンピュータを、請求項２に記載の復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、復号装置及びプログラムに関する。

【背景技術】

【0002】

Ｈ.２６５/ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に代表される動画像（映像）符号化方式では、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の２種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロピー符号化処理を行い得られたストリームを出力するように構成されている。

【0003】

ＨＥＶＣにおけるイントラ予測では、Ｐｌａｎａｒ予測やＤＣ予測や方向予測の計３５種類のイントラ予測モードが用意されており、エンコーダで決定されたイントラ予測モードに従って、隣接する復号済み参照画素を用いてイントラ予測を行うように構成されている。以下、特に記載が無い場合には、「参照画素」という記載は、復号済み参照画素を示すものとする。

【0004】

ここで、ＨＥＶＣにおけるイントラ予測では、フレーム内で最も左上に位置する符号化対象ブロック（以下、「ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ」と呼ぶ）等、隣接する参照画素が存在しないＣＵでは、規定した値（１０ビットの動画像であれば「５１２」）を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されている。

【0005】

また、従来のＨＥＶＣでは、符号化処理が、左上からラスタースキャン順に行われるために、参照画素が復号済みでない場合がある。このような場合には、最も近い復号済み参照画素を０次外挿した値を用いて予測画像を生成するように構成されている。

【0006】

とりわけ、従来のＨＥＶＣにおけるイントラ予測では、ラスタースキャン順による符号化処理により、ＣＵの左下側や右上側に位置する参照画素が復号済みでない場合が多く、このような場合に、復号済みでない参照画素が存在する方向からの方向予測を行うと予測精度が低下し、符号化効率が低減してしまうという問題点があった。

【0007】

かかる問題点を解決するために、イントラ予測において、ＣＵ内に存在する複数の変換ブロック（以下、「ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ」と呼ぶ）に対する符号化処理順として、ラスタースキャン順（例えば、Ｚ型）の他、Ｕ型やＸ型等の符号化順に自由度を持たせることによって予測精度の向上を図る技術が知られている（非特許文献１参照）。

【0008】

また、ＨＥＶＣで用いられているイントラ予測は、空間的に隣接する上側又は左側の参照画素を利用した予測であり、参照画素に近い位置の予測画素の精度が高く、参照画素から遠い位置の予測画素の精度が低くなる傾向にある（図１０参照）。

【0009】

なお、本明細書の図において、イントラ予測モードの方向（予測方向）を示す矢印は、ＨＥＶＣ規格書における記載と同様に、イントラ予測の対象の画素から参照画素に向かうものとする（以下同様）。

【0010】

従来のＨＥＶＣでは、かかる性質を利用し、参照画素の位置する左側及び上側の方向から水平方向及び垂直方向に離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）或いは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等の直交変換処理を適用し、残差信号のエントロピーを減少させている。

【0011】

特に、図１１に示すように、ＤＳＴのインパルス応答の形状は、その端点の一方が閉じており、その端点の他方が広がるような非対称な形状をしているため、図１２に示すように、残差信号の信号強度に合わせてＤＳＴを適用することで、エントロピーの減少を効果的に行うことができる。

【0012】

ところで、非特許文献２には、従来のＨＥＶＣで適用する直交変換処理（ＤＣＴやＤＳＴ）において、エントロピーが低減しにくい残差信号に対して、二次的な直交変換処理（以下、二次直交変換処理）を適用することにより、エントロピーを効率的に低減させる技術について開示されている。

【0013】

具体的には、非特許文献２に記載されている技術では、イントラ予測により得られた残差信号に対して、従来の直交変換処理を適用した後、得られた直交変換係数を小さいブロックに分割し、ブロックごとに二次直交変換処理を適用するように構成されている。

【0014】

ここで、符号化装置は、複数の種類の基底が用意されている二次直交変換処理群（二次直交変換処理のセット）の中から最適な二次直交変換処理を選択し、選択した二次直交変換処理を示すフラグ情報をストリームとして出力する（二次直交変換処理を適用しない方が最適である場合は二次直交変換処理を適用しないことを示すフラグ情報をストリームとして出力する）ように構成されている。

【0015】

また、非特許文献２に記載されている技術では、イントラ予測モードの方向によって、残差信号の特徴及び直交変換係数の特徴が異なることから、イントラ予測モードに応じて選択可能な二次直交変換処理群を切り替えるように構成されている。

【0016】

この結果、イントラ予測モードごとに規定されている二次直交変換処理群の中から最適な二次直交変換処理を選択可能となり、どの二次直交変換処理を用いたかを示すフラグに必要な情報量を低減することを可能としている。

【先行技術文献】

【非特許文献】

【0017】

【非特許文献1】望月等、「平均値座標に基づいた適用イントラ予測方式」、情報処理学会研究報告、ｖｏｌ、２０１２-ＡＶＭ-７７、Ｎｏ.１２

【非特許文献2】Ｘ.Ｚｈａｏ、Ｊ.Ｃｈｅｎ、Ｍ.Ｋａｒｃｚｅｗｉｃｚ、「Ｍｏｄｅ-ｄｅｐｅｎｄｅｎｔ ｎｏｎ-ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ」、ＩＴＵ-Ｔ ＳＧ１６/Ｑ６ Ｄｏｃ. ＣＯＭ１６-Ｃ１０４４、２０１５年１０月

【発明の概要】

【発明が解決しようとする課題】

【0018】

しかしながら、非特許文献２に記載されている技術では、イントラ予測モードにおいて用いられる参照画素の位置を考慮することなく、イントラ予測モードに応じて、二次直交変換処理群の中から最適な二次直交変換処理を決定するように構成されている。

【0019】

ここで、右側や下側の参照画素を用いたイントラ予測により得られる残差信号の特徴は、上側や左側の参照信号を用いたイントラ予測により得られる残差信号の特徴とは異なる。

【0020】

したがって、非特許文献２に記載されている技術では、右側や下側の参照画素を用いたイントラ予測が行われる場合に、イントラ予測モードのみで二次直交変換処理群を切り替えてしまうと、かえってエントロピーが増大し、符号化性能が低下する可能性があるという問題点があった。

【0021】

そこで、本発明は、上述した課題を解決するためになされたものであり、イントラ予測において、エントロピーを効率的に低減させ、符号化性能を向上させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0022】

本発明の第１の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記イントラ予測部によって生成された前記予測画像と前記原画像との差分により残差信号を生成するように構成されている残差信号生成部と、前記予測画像の生成に用いる参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、前記残差信号生成部によって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転させた上で直交変換処理を施すように構成されている直交変換部と、前記イントラ予測モードと前記参照画素の位置とに応じて、予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択し、前記直交変換部から出力された信号に対して、選択した前記二次直交変換処理を施すように構成されている二次直交変換部とを具備することを要旨とする。

【0023】

本発明の第２の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、量子化された変換係数に対して、逆量子化処理を施すように構成されている逆量子化部と、前記イントラ予測モードと前記予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択し、前記逆量子化部から出力された信号に対して、選択した前記二次逆直交変換処理を施すように構成されている二次逆直交変換部と、前記参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、前記二次逆直交変換部から出力された信号を水平方向及び垂直方向の少なくとも一方に反転させた上で逆直交変換処理を施すように構成されている逆直交変換部とを具備することを要旨とする。

【0024】

本発明の第３の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記イントラ予測部によって生成された前記予測画像と前記原画像との差分により残差信号を生成するように構成されている残差信号生成部と、前記予測画像の生成に用いる参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、前記残差信号生成部によって生成された残差信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で直交変換処理を施すように構成されている直交変換部と、前記イントラ予測モードと前記参照画素の位置とに応じて、予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択し、前記直交変換部から出力された信号に対して、選択した前記二次直交変換処理を施すように構成されている二次直交変換部とを具備することを要旨とする。

【0025】

本発明の第４の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、量子化された変換係数に対して、逆量子化処理を施すように構成されている逆量子化部と、前記イントラ予測モードと前記予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択し、前記逆量子化部から出力された信号に対して、選択した前記二次逆直交変換処理を施すように構成されている二次逆直交変換部と、前記参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、前記二次逆直交変換部から出力された信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で逆直交変換処理を施すように構成されている逆直交変換部とを具備することを要旨とする。

【0026】

本発明の第５の特徴は、コンピュータを、上述の第１及び第３の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。

【0027】

本発明の第６の特徴は、コンピュータを、上述の第２及び第４の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。

【発明の効果】

【0028】

本発明によれば、イントラ予測において、エントロピーを効率的に低減させ、符号化性能を向上させることができる符号化装置、復号装置及びプログラムを提供することができる。

【図面の簡単な説明】

【0029】

【図1】図１は、第１の実施形態に係る符号化装置１の機能ブロックの一例を示す図である。

【図2】図２は、第１の実施形態に係る符号化装置１の直交変換・量子化部１４ｃの機能ブロックの一例を示す図である。

【図3】図３は、第１の実施形態において用いられるイントラ予測モードの方向の一例を示す図である。

【図4】図４は、第１の実施形態における予測画像の生成方法の一例を示す図である。

【図5】図５は、第１の実施形態における予測画像の生成方法の一例を示す図である。

【図6】図６は、第１の実施形態に係る符号化装置１の動作の一例を示すフローチャートである。

【図7】図７は、第１の実施形態に係る復号装置３の機能ブロックの一例を示す図である。

【図8】図８は、第１の実施形態に係る復号装置３の逆量子化・逆変換部３３ｂの機能ブロックの一例を示す図である。

【図9】図９は、第１の実施形態に係る復号装置３の動作の一例を示すフローチャートである。

【図10】図１０は、従来技術について説明するための図である。

【図11】図１１は、従来技術について説明するための図である。

【図12】図１２は、従来技術について説明するための図である。

【発明を実施するための形態】

【0030】

（第１の実施形態）
以下、図１～図９を参照して、本発明の第１の実施形態に係る符号化装置１及び復号装置３について説明する。

【0031】

ここで、本実施形態に係る符号化装置１及び復号装置３は、ＨＥＶＣ等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお、本実施形態に係る符号化装置１及び復号装置３は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。

【0032】

本実施形態に係る符号化装置１は、動画像を構成するフレーム単位の原画像をＣＵに分割して符号化するように構成されている。また、本実施形態に係る符号化装置１は、ＣＵを複数のＴＵに分割することができるように構成されていてもよい。以下、本実施形態では、ＣＵを複数のＴＵに分割するケースを例に挙げて説明するが、本発明は、ＣＵを複数のＴＵに分割しない場合であって、当該ＣＵの参照画素の位置が下側や右側を含むケースにも適用可能である。

【0033】

なお、本実施形態では、フレーム内で最も左上に位置するＣＵ等、隣接する復号済み参照画素が存在しない符号化対象のＣＵでは、規定した値（１０ビットの動画像であれば「５１２」）を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されているため、符号化対象のＣＵの左側に隣接する画素について全て参照画素とすることができるものとする。

【0034】

図１に示すように、本実施形態に係る符号化装置１は、イントラ予測モード決定部１１と、ＴＵ分割決定部１２と、符号化順制御部１３と、逐次局部復号画像生成部１４と、メモリ１５と、エントロピー符号化部１６とを具備している。

【0035】

イントラ予測モード決定部１１は、ＣＵに適用する最適なイントラ予測モードを決定するように構成されている。

【0036】

ＴＵ分割決定部１２は、ＣＵを複数のＴＵに分割するか否かについて決定するように構成されている。なお、本実施形態では、ＣＵを複数のＴＵに分割する方法として、４分割のケースを例に挙げて説明しているが、ＣＵを複数のＴＵに分割する際の分割数や分割形状については、かかるケースに制限されるものではない。

【0037】

符号化順制御部１３は、イントラ予測モード（例えば、イントラ予測モードの方向）に基づいてＣＵ内のＴＵの符号化順を決定するように構成されている。

【0038】

例えば、符号化順制御部１３は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合に、イントラ予測モード決定部１１によって決定されたイントラ予測モードの方向が左下から右上に向かう方向である場合（すなわち、左下から右上に向かって方向予測が行われる場合）に、ＣＵ内のＴＵの符号化順として、従来のラスタースキャン順でなく、ＣＵ内の左下のＴＵ→ＣＵ内の右下のＴＵ→ＣＵ内の左上のＴＵ→ＣＵ内の右上のＴＵという符号化順、或いは、ＣＵ内の左下のＴＵ→ＣＵ内の左上のＴＵ→ＣＵ内の右下のＴＵ→ＣＵ内の右上のＴＵという符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。

【0039】

逐次局部復号画像生成部１４は、符号化順制御部１３によって決定された符号化順及びＣＵのＴＵへの分割方法に基づいて局部復号画像（ＴＵごとの復号画像）を生成するように構成されている。

【0040】

具体的には、逐次局部復号画像生成部１４は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合に、符号化順制御部１３により決定された符号化順に従って、逐次、局部復号画像を生成するように構成されている。

【0041】

図１に示すように、逐次局部復号画像生成部１４は、イントラ予測部１４ａと、残差信号生成部１４ｂと、直交変換・量子化部１４ｃと、逆量子化部・逆直交変換部１４ｄと、局部復号画像生成部１４ｅとを具備している。

【0042】

イントラ予測部１４ａは、イントラ予測モード決定部１１により決定されたイントラ予測モードを用いて予測画像を生成するように構成されている。すなわち、イントラ予測部１４ａは、かかるイントラ予測モードに応じて予測画像を生成する際に用いる参照画素の位置を決定し、かかる参照画素を用いて予測画像を生成するように構成されている。

【0043】

さらに、イントラ予測部１４ａは、符号化順制御部１３によって決定された符号化順で、予測画像を生成するように構成されていてもよい。

【0044】

残差信号生成部１４ｂは、イントラ予測部１４ａによって生成された予測画像と原画像との差分により残差信号を生成するように構成されている。

【0045】

直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成されている。

【0046】

図２に示すように、直交変換・量子化部１４ｃは、直交変換部１４ｃ１と、二次直交変換部１４ｃ２と、量子化部１４ｃ３とを具備している。

【0047】

直交変換部１４ｃ１は、残差信号生成部１４ｂによって生成された残差信号に対して直交変換処理を施すように構成されている。

【0048】

具体的には、直交変換部１４ｃ１は、予測画像の生成に用いる参照画素の位置に右側及び下側の少なくとも一方が含まれる場合（右側及び下側の少なくとも一方に隣接する参照画素を用いて予測画像を生成する場合）に、残差信号生成部１４ｂによって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転させた上で直交変換処理を施すことによって直交変換係数を得るように構成されている。

【0049】

例えば、直交変換部１４ｃ１は、参照画素の位置に下側が含まれる場合（下側に隣接する参照画素を用いて予測画像を生成する場合）に、残差信号を垂直方向に反転させた上で前記直交変換処理を施すように構成されていてもよい。

【0050】

或いは、直交変換部１４ｃ１は、参照画素の位置に右側が含まれる場合（右側に隣接する参照画素を用いて予測画像を生成する場合）に、残差信号を水平方向に反転させた上で直交変換処理を施すように構成されていてもよい。

【0051】

二次直交変換部１４ｃ２は、イントラ予測モードと参照画素の位置とに応じて、予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択し、直交変換部１４ｃ１から出力された信号（直交変換係数）に対して、選択した二次直交変換処理を施すように構成されている。

【0052】

図３に、本実施形態において用いられるイントラ予測モードの一例について示す。図３に示すように、本実施形態では、イントラ予測モード２～９は、カテゴリＡに分類され、イントラ予測モード１０～２６は、カテゴリＢに分類され、イントラ予測モード２７～３４は、カテゴリＣに分類されるものとする。

【0053】

なお、本実施形態では、図３に示すＨＥＶＣにおけるイントラ予測モードを用いる例について説明するが、本発明は、他のイントラ予測モードが用いられる例に対しても適用可能である。

【0054】

ここで、二次直交変換処理は、残差信号に対して直交変換処理を適用することで得られる直交変換係数に対し、さらにエントロピーを低減させるために適用する変換処理である。

【0055】

なお、残差信号のエネルギー分布は、イントラ予測に用いる参照画素からの距離に統計的に比例する。このため、左側に位置する参照画素のみを用いるイントラ予測モードと、左側及び上側に位置する参照画素を用いるイントラ予測モードでは、残差信号のエネルギー分布は異なる。また、これらの残差信号に対して直交変換処理を適用して得られる直交変換係数のエネルギー分布も、イントラ予測モードに応じて異なる。

【0056】

したがって、非特許文献２に記載されている技術は、直交変換係数のエネルギーの偏りとイントラ予測モードの方向との相関性を利用して、イントラ予測モードの方向に応じて選択可能な二次直交変換処理群を切り替えるように構成されている。

【0057】

図４（ａ）及び図４（ｂ）に、残差信号のエネルギー分布の例として、ＨＥＶＣにおけるイントラ予測モード２（左側に位置する参照画素のみを用いるイントラ予測モード）及びイントラ予測モード１８（左側及び上側に位置する参照画素を用いるイントラ予測モード）における残差信号のエネルギー分布の違いを示す。

【0058】

しかしながら、図５のように、左側及び下側に位置する参照画素を用いてイントラ予測モード２の方向予測を行う場合には、左側に位置する参照画素のみを用いてイントラ予測モード２の方向予測を行う場合と比べて、参照画素の位置が異なることで、残差信号のエネルギー分布も異なる。

【0059】

左側及び下側に位置する参照画素を用いたイントラ予測モード２の方向予測による残差信号のエネルギー分布（図５参照）は、図４（ｂ）に示す左側及び上側に位置する参照画素を用いたイントラ予測モード１８の方向予測による残差信号を垂直方向に反転したものと同様のエネルギー分布となる。

【0060】

すなわち、イントラ予測モード２の方向予測を行う際に、参照画素の位置として左側及び下側が含まれる場合であって残差信号を垂直方向に反転させた上で直交変換処理を適用した場合に得られる直交変換係数のエネルギー分布は、イントラ予測モード１８の方向予測を行う際に、参照画素の位置として左側及び上側が含まれる場合であって残差信号を水平方向及び垂直方向に反転させることなく直交変換処理を適用した場合に得られる直交変換係数のエネルギー分布と同様となる（図４（ｂ）及び図５参照）。

【0061】

イントラ予測モード２の方向予測による残差信号に対する直交変換処理により得られる直交変換係数のエネルギー分布は、イントラ予測に用いる参照画素の位置により異なるため、イントラ予測モードのみに基づいて、適用可能な二次直交変換処理群を決定することで、エントロピーが増大して符号化性能が低下してしまう恐れがある。

【0062】

したがって、二次直交変換部１４ｃ２は、イントラ予測モードの方向ではなく、参照画素の位置に応じてイントラ予測モードの方向を垂直及び水平方向の少なくとも一方に反転した方向に応じて予め規定される二次直交変換処理群を用いるように構成されている。

【0063】

すなわち、二次直交変換部１４ｃ２は、イントラ予測モードがカテゴリＢに属している場合、イントラ予測モードの方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0064】

例えば、二次直交変換部１４ｃ２は、イントラ予測モードが１８である場合、イントラ予測モード１８の方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0065】

或いは、二次直交変換部１４ｃ２は、イントラ予測モードがカテゴリＡに属している場合で、且つ、参照画素の位置として下側が含まれていない場合、イントラ予測モードの方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0066】

例えば、二次直交変換部１４ｃ２は、イントラ予測モードが２である場合で、且つ、参照画素の位置として下側が含まれていない場合、イントラ予測モード２の方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0067】

或いは、二次直交変換部１４ｃ２は、イントラ予測モードがカテゴリＣに属している場合で、且つ、参照画素の位置として右側が含まれていない場合、イントラ予測モードの方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0068】

例えば、二次直交変換部１４ｃ２は、イントラ予測モードが３４である場合で、且つ、参照画素の位置として右側が含まれていない場合、イントラ予測モード３４の方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0069】

また、二次直交変換部１４ｃ２は、参照画素の位置に下側が含まれる場合に、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0070】

ここで、「イントラ予測モードの方向を垂直方向に反転する」とは、図３の例では、イントラ予測モード２～９の方向とイントラ予測モード１８～１１の方向との間でそれぞれ変換することを意味する、すなわち、イントラ予測モード１０の方向を基準にして各イントラ予測モードの方向を線対称な位置関係にあるイントラ予測モードの方向に変換することを意味する。

【0071】

すなわち、二次直交変換部１４ｃ２は、イントラ予測モードがカテゴリＡに属している場合で、且つ、参照画素の位置として下側が含まれている場合、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0072】

例えば、二次直交変換部１４ｃ２は、イントラ予測モードが２である場合で、且つ、参照画素の位置として下側が含まれている場合、イントラ予測モード２の方向を垂直方向に反転した方向（イントラ予測モード１８の方向）に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0073】

或いは、二次直交変換部１４ｃ２は、参照画素の位置に右側が含まれる場合に、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0074】

ここで、「イントラ予測モードの方向を水平方向に反転する」とは、図３の例では、イントラ予測モード１８～２５の方向とイントラ予測モード３４～２７の方向との間でそれぞれ変換することを意味する、すなわち、イントラ予測モード２６の方向を基準にして各イントラ予測モードの方向を線対称な位置関係にあるイントラ予測モードの方向に変換することを意味する。

【0075】

すなわち、二次直交変換部１４ｃ２は、イントラ予測モードがカテゴリＣに属している場合で、且つ、参照画素の位置として右側が含まれている場合、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0076】

例えば、二次直交変換部１４ｃ２は、イントラ予測モードが３４である場合で、且つ、参照画素の位置として右側が含まれている場合、イントラ予測モード３４の方向を水平方向に反転した方向（イントラ予測モード１８の方向）に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0077】

量子化部１４ｃ３は、二次直交変換部１４ｃ２から出力された信号に対して量子化処理を施し、量子化された変換係数を生成するように構成されている。

【0078】

逆量子化部・逆直交変換部１４ｄは、直交変換・量子化部１４ｃによって生成された量子化された変換係数に対して、再び逆量子化処理、二次逆直交変換及び逆直交変換処理を施して残差信号を生成するように構成されている。

【0079】

局部復号画像生成部１４ｅは、逆量子化部・逆直交変換部１４ｄによって生成された残差信号に対してイントラ予測部１４ａによって生成された予測画像を加えることで局部復号画像を生成するように構成されている。

【0080】

メモリ１５は、逐次局部復号画像生成部１４によって生成された局部復号画像を参照画像として利用可能に保持するように構成されている。

【0081】

エントロピー符号化部１６は、イントラ予測モード決定部１１によって決定されたイントラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力するように構成されている。

【0082】

図６に、本実施形態に係る符号化装置１の動作の一例について説明するためのフローチャートについて示す。

【0083】

図６に示すように、ステップＳ１０１において、符号化装置１は、決定したイントラ予測モードに応じて予測画像を生成する際に用いる参照画素の位置を決定し、かかる参照画素を用いて予測画像を生成する。

【0084】

ステップＳ１０２において、符号化装置１は、予測画像と原画像との差分により残差信号を生成する。

【0085】

ステップＳ１０３において、符号化装置１は、予測画像の生成に用いた参照画素の位置に右側及び下側の少なくとも一方が含まれていた場合に、残差信号を水平方向及び垂直方向の少なくとも一方に反転させた上で直交変換処理を施す。

【0086】

ステップＳ１０４において、符号化装置１は、イントラ予測モードと参照画素の位置とに応じて、予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択し、直交変換係数に対して、選択した二次直交変換処理を施す。

【0087】

ステップＳ１０５において、符号化装置１は、二次直交変換処理が施された信号に対して量子化処理を施し、量子化された変換係数を生成する。

【0088】

ステップＳ１０６において、符号化装置１は、イントラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力する。

【0089】

また、本実施形態に係る復号装置３は、動画像を構成するフレーム単位の原画像をＣＵに分割して復号するように構成されている。また、本実施形態に係る復号装置３は、本実施形態に係る符号化装置１と同様に、ＣＵを複数のＴＵに分割することができるように構成されている。

【0090】

図７に示すように、本実施形態に係る復号装置３は、エントロピー復号部３１と、復号順制御部３２と、逐次復号画像生成部３３と、メモリ３４とを具備している。

【0091】

エントロピー復号部３１は、符号化装置１から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化装置１から出力されたストリームから、変換係数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置１によって、フレーム単位の原画像をＣＵに分割して符号化された信号として得られた量子化された変換係数である。

【0092】

復号順制御部３２は、イントラ予測モードに基づいてＣＵ内のＴＵの復号順を決定するように構成されている。

【0093】

具体的には、復号順制御部３２は、エントロピー復号部３１によって出力されたＴＵ分割が行われた否か（ＣＵが複数のＴＵに分割されているか否か）について示すフラグ及びイントラ予測モードの方向に応じて、ＣＵ内のＴＵの復号順を決定するように構成されている。

【0094】

例えば、復号順制御部３２は、符号化順制御部１３と同様に、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、ＣＵ内の左下のＴＵ→ＣＵ内の右下のＴＵ→ＣＵ内の左上のＴＵ→ＣＵ内の右上のＴＵという復号順、或いは、ＣＵ内の左下のＴＵ→ＣＵ内の左上のＴＵ→ＣＵ内の右下のＴＵ→ＣＵ内の右上のＴＵという復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。

【0095】

逐次復号画像生成部３３は、復号順制御部３２によって決定された復号順及びＣＵのＴＵへの分割方法に基づいて復号画像（ＴＵごとの復号画像）を生成するように構成されている。

【0096】

具体的には、逐次復号画像生成部３３は、ＣＵが複数のＴＵに分割されている場合に、復号順制御部３２によって決定された復号順に従って、エントロピー復号部３１によって出力された量子化された変換係数に対して、逐次、逆量子化処理や逆直交変換処理やイントラ予測を行うことによって、復号画像を生成するように構成されている。

【0097】

図７に示すように、逐次復号画像生成部３３は、イントラ予測部３３ａと、逆量子化・逆変換部３３ｂと、復号画像生成部３３ｃとを具備している。

【0098】

イントラ予測部３３ａは、復号順制御部３２によって決定した復号順に従って、エントロピー復号部３１によって出力されたイントラ予測モードを用いて、予測画像を生成するように構成されていてもよい。

【0099】

逆量子化・逆変換部３３ｂは、エントロピー復号部３１によって出力された量子化された変換係数に対して逆量子化処理及び逆変換処理（例えば、逆直交変換処理）を施すことによって、残差信号を生成するように構成されている。

【0100】

図８に示すように、逆量子化・逆変換部３３ｂは、逆量子化部３３ｂ１と、二次逆直交変換部３３ｂ２と、逆直交変換部３３ｂ３とを具備している。

【0101】

逆量子化部３３ｂ１は、エントロピー復号部３１によって出力された量子化された変換係数に対して、逆量子化処理を施すように構成されている。

【0102】

二次逆直交変換部３３ｂ２は、逆量子化部３３ｂ１から出力された信号（変換係数）に対して、二次逆直交変換処理を施すように構成されている。

【0103】

具体的には、二次逆直交変換部３３ｂ２は、二次直交変換部１４ｃ２と同様に、イントラ予測モードと予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択し、逆量子化部３３ｂ１から出力された信号に対して、選択した二次逆直交変換処理を施すように構成されている。

【0104】

すなわち、二次逆直交変換部３３ｂ２は、イントラ予測モードがカテゴリＢに属している場合、イントラ予測モードの方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0105】

例えば、二次逆直交変換部３３ｂ２は、イントラ予測モードが１８である場合、イントラ予測モード１８の方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0106】

或いは、二次逆直交変換部３３ｂ２は、イントラ予測モードがカテゴリＡに属している場合で、且つ、参照画素の位置として下側が含まれていない場合、イントラ予測モードの方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0107】

例えば、二次逆直交変換部３３ｂ２は、イントラ予測モードが２である場合で、且つ、参照画素の位置として下側が含まれていない場合、イントラ予測モード２の方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0108】

或いは、二次逆直交変換部３３ｂ２は、イントラ予測モードがカテゴリＣに属している場合で、且つ、参照画素の位置として右側が含まれていない場合、イントラ予測モードの方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0109】

例えば、二次逆直交変換部３３ｂ２は、イントラ予測モードが３４である場合で、且つ、参照画素の位置として右側が含まれていない場合、イントラ予測モード３４の方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0110】

また、二次逆直交変換部３３ｂ２は、参照画素の位置に下側が含まれる場合に、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0111】

すなわち、二次逆直交変換部３３ｂ２は、イントラ予測モードがカテゴリＡに属している場合で、且つ、参照画素の位置として下側が含まれている場合、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0112】

例えば、二次逆直交変換部３３ｂ２は、イントラ予測モードが２である場合で、且つ、参照画素の位置として下側が含まれている場合、イントラ予測モード２の方向を垂直方向に反転した方向（イントラ予測モード１８の方向）に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0113】

或いは、二次逆直交変換部３３ｂ２は、参照画素の位置に右側が含まれる場合に、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0114】

すなわち、二次逆直交変換部３３ｂ２は、イントラ予測モードがカテゴリＣに属している場合で、且つ、参照画素の位置として右側が含まれている場合、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0115】

例えば、二次逆直交変換部３３ｂ２は、イントラ予測モードが３４である場合で、且つ、参照画素の位置として右側が含まれている場合、イントラ予測モード３４の方向を水平方向に反転した方向（イントラ予測モード１８の方向）に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0116】

逆直交変換部３３ｂ３は、二次逆直交変換部３３ｂ２から出力された信号に対して逆直交変換処理を施すように構成されている。

【0117】

具体的には、逆直交変換部３３ｂ３は、参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、二次逆直交変換部３３ｂ２から出力された信号を水平方向及び垂直方向の少なくとも一方に反転させた上で逆直交変換処理を施すように構成されている。

【0118】

例えば、逆直交変換部３３ｂ３は、参照画素の位置に下側が含まれる場合に、二次逆直交変換部３３ｂ２から出力された信号を垂直方向に反転させた上で逆直交変換処理を施すように構成されていてもよい。

【0119】

或いは、逆直交変換部３３ｂ３は、参照画素の位置に右側が含まれる場合に、二次逆直交変換部３３ｂ２から出力された信号を水平方向に反転させた上で逆直交変換処理を施すように構成されていてもよい。

【0120】

復号画像生成部３３ｃは、イントラ予測部３３ａによって生成された予測画像と逆量子化・逆変換部３３ｂによって生成された残差信号とを加えることで復号画像を生成するように構成されている。

【0121】

メモリ３４は、逐次復号画像生成部３３によって生成された復号画像を、イントラ予測及びインター予測のための参照画像として利用可能に保持するように構成されている。

【0122】

図９に、本実施形態に係る復号装置３の動作の一例について説明するためのフローチャートについて示す。

【0123】

図９に示すように、ステップＳ２０１において、復号装置３は、イントラ予測モードを用いて、予測画像を生成する。

【0124】

ステップＳ２０２において、復号装置３は、量子化された変換係数に対して、逆量子化処理を施す。

【0125】

ステップＳ２０３において、復号装置３は、イントラ予測モードと予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択し、逆量子化処理が施された信号に対して、選択した二次逆直交変換処理を施す。

【0126】

ステップＳ２０４において、復号装置３は、参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、二次逆直交変換処理が施された信号を水平方向及び垂直方向の少なくとも一方に反転させた上で逆直交変換処理を施す。

【0127】

本実施形態に係る符号化装置１及び復号装置３によれば、イントラ予測により得られた残差信号に対して直交変換処理を施すことで得られる直交変換係数に対して、参照画素の位置に応じて異なる二次直交変換処理群を切り替えて用いることが可能となり、エントロピーを低減可能となり符号化効率が向上する。

【0128】

（第２の実施形態）
以下、本発明の第２の実施形態に係る符号化装置１及び復号装置３について、上述の第１の実施形態に係る符号化装置１及び復号装置３との相違点に着目して説明する。

【0129】

本実施形態に係る符号化装置１において、直交変換部１４ｃ１は、予測画像の生成に用いる参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、残差信号生成部１４ｂによって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転させる代わりに、残差信号生成部１４ｂによって生成された残差信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で直交変換処理を施すように構成されている。

【0130】

例えば、直交変換部１４ｃ１は、参照画素の位置に下側が含まれる場合に、残差信号に対して垂直方向の基底を反転させた上で直交変換処理を施すように構成されていてもよい。

【0131】

或いは、直交変換部１４ｃ１は、参照画素の位置に右側が含まれる場合に、残差信号に対して水平方向の基底を反転させた上で直交変換処理を施すように構成されていてもよい。

【0132】

本実施形態に係る符号化装置１において、二次直交変換部１４ｃ２は、イントラ予測モードと参照画素の位置とに応じて、予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択し、直交変換部１４ｃ１から出力された信号（直交変換係数）に対して、選択した二次直交変換処理を施すように構成されている。

【0133】

例えば、二次直交変換部１４ｃ２は、参照画素の位置に下側が含まれる場合に、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0134】

或いは、二次直交変換部１４ｃ２は、参照画素の位置に右側が含まれる場合に、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている二次直交変換群の中から適用する二次直交変換処理を選択するように構成されていてもよい。

【0135】

また、本実施形態に係る復号装置３において、二次逆直交変換部３３ｂ２は、イントラ予測モードと予測画像の生成に用いる参照画素の位置とに応じて、予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択し、逆量子化部から出力された信号に対して、選択した二次逆直交変換処理を施すように構成されている。

【0136】

例えば、二次逆直交変換部３３ｂ２は、参照画素の位置に下側が含まれる場合に、イントラ予測モードの方向を垂直方向に反転した方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0137】

或いは、二次逆直交変換部３３ｂ２は、参照画素の位置に右側が含まれる場合に、イントラ予測モードの方向を水平方向に反転した方向に応じて予め規定されている二次逆直交変換群の中から適用する二次逆直交変換処理を選択するように構成されていてもよい。

【0138】

本実施形態に係る復号装置３において、逆直交変換部３３ｂ３は、参照画素の位置に右側及び下側の少なくとも一方が含まれる場合に、二次逆直交変換部３３ｂ２から出力された信号を水平方向及び垂直方向の少なくとも一方に反転させる代わりに、二次逆直交変換部３３ｂ２から出力された信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で逆直交変換処理を施すように構成されている。

【0139】

例えば、逆直交変換部３３ｂ３は、参照画素の位置に下側が含まれる場合に、二次逆直交変換部３３ｂ２から出力された信号に対して垂直方向の基底を反転させた上で逆直交変換処理を施すように構成されていてもよい。

【0140】

或いは、逆直交変換部３３ｂ３は、参照画素の位置に右側が含まれる場合に、二次逆直交変換部３３ｂ２から出力された信号に対して水平方向の基底を反転させた上で逆直交変換処理を施すように構成されていてもよい。

【0141】

（その他の実施形態）
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

【0142】

また、上述の実施形態では特に触れていないが、上述の符号化装置１及び復号装置３によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の記録媒体であってもよい。

【0143】

或いは、上述の符号化装置１及び復号装置３内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

【符号の説明】

【0144】

１…符号化装置
１１…イントラ予測モード決定部
１２…ＴＵ分割決定部
１３…符号化順制御部
１４…逐次局部復号画像生成部
１４ａ…イントラ予測部
１４ｂ…残差信号生成部
１４ｃ…直交変換・量子化部
１４ｃ１…直交変換部
１４ｃ２…二次直交変換部
１４ｃ３…量子化部
１４ｄ…逆量子化部・逆直交変換部
１４ｅ…局部復号画像生成部
１５…メモリ
１６…エントロピー符号化部
３…復号装置
３１…エントロピー復号部
３２…復号順制御部
３３…逐次局部復号画像生成部
３３ａ…イントラ予測部
３３ｂ…逆量子化・逆変換部
３３ｂ１…逆量子化部
３３ｂ２…二次逆直交変換部
３３ｂ３…逆直交変換部
３３ｃ…復号画像生成部
３４…メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】