特許 7499069 画像符号化装置、画像復号装置及びこれらのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-05

(45)【発行日】2024-06-13

(54)【発明の名称】画像符号化装置、画像復号装置及びこれらのプログラム

(51)【国際特許分類】

   H04N 19/593 20140101AFI20240606BHJP

   H04N 19/126 20140101ALI20240606BHJP

   H04N 19/136 20140101ALI20240606BHJP

   H04N 19/159 20140101ALI20240606BHJP

   H04N 19/176 20140101ALI20240606BHJP

【ＦＩ】

H04N19/593

H04N19/126

H04N19/136

H04N19/159

H04N19/176

【請求項の数】 6

(21)【出願番号】P 2020090557

(22)【出願日】2020-05-25

(65)【公開番号】P2021190718

(43)【公開日】2021-12-13

【審査請求日】2023-04-24

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(72)【発明者】

【氏名】松尾 康孝

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０２１－１７５０９０（ＪＰ，Ａ）

【文献】特開２０２１－１３２３０２（ＪＰ，Ａ）

【文献】特開２０１２－１１９８９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

画面内予測を用いて入力動画像のピクチャを符号化する画像符号化装置であって、
前記画面内予測の対象とするピクチャにおける被予測ブロックの信号と、画面内予測による予測ブロックの信号とを差分して差分信号を形成し、その差分信号に対して直交変換処理及び量子化処理を施して符号化信号を生成するブロック符号化手段と、
前記符号化信号に対し前記量子化処理及び前記直交変換処理の逆処理を施し、前記画面内予測による予測ブロックの信号を加算して局部復号ブロックの信号を生成する局部復号ブロック生成手段と、
前記局部復号ブロックから構成される参照ブロックセットを参照して、前記ピクチャの画面内予測を実行し、前記予測ブロックの信号を生成する画面内予測手段と、
前記符号化信号についてエントロピー符号化を施したビットストリームを生成するエントロピー符号化手段と、を備え、
前記画面内予測手段は、
画面内予測として方向性予測を行うときに、画面内予測の被予測ブロックが属するピクチャの量子化パラメータ値を参照し、前記量子化パラメータ値に応じた予め定めた閾値に対し、前記被予測ブロックの方向性予測モードの角度の浅い方に対して直交する方向の辺の長さが短いか否かを判定する空間高周波パワー補償判定手段と、
前記量子化パラメータ値に応じた予め定めた閾値に対し当該辺の長さが短いと判定したときに、当該方向性予測モードとして参照する参照ブロックセットにおける前記被予測ブロックに隣接する隣接ブロックについて、符号化した際と同じ直交変換方式の直交変換処理を施して、その直交変換行列を生成する予測用直交変換手段と、
前記隣接ブロックの直交変換行列に、各直交変換係数を強調する予め定めた空間高周波パワー強調行列を乗算して、空間高周波パワーを強調した隣接ブロックの直交変換行列を生成する空間高周波パワー強調手段と、
前記空間高周波パワー強調後の隣接ブロックの直交変換行列に対し、前記予測用直交変換手段の逆処理となる逆直交変換を施して、空間高周波パワーが強調された画素成分の隣接ＴＵを生成する予測用逆直交変換手段と、
画面内予測のモード番号に応じた隣接ブロックの参照ブロックセットを参照し、画面内予測を実行して、前記予測ブロックの信号を生成する予測ブロック生成手段と、
を有することを特徴とする画像符号化装置。

【請求項2】

前記空間高周波パワー強調手段は、前記空間高周波パワー強調行列として、符号化した際の前記量子化処理で除算に用いる量子化マトリクスを所定倍したものを用いることを特徴とする、請求項１に記載の画像符号化装置。

【請求項3】

前記空間高周波パワー補償判定手段は、前記量子化パラメータ値が高いほど前記被予測ブロックのサイズの判定に用いる前記閾値も小さくするように予め定めていることを特徴とする、請求項１又は２に記載の画像符号化装置。

【請求項4】

画像符号化装置によって生成されたビットストリームを入力し、復号処理を行って動画像の画面内予測によるピクチャを復元する画像復号装置であって、
前記ビットストリームに対してエントロピー復号を施して符号化信号及び符号化パラメータを抽出し、抽出した符号化パラメータを基に、前記符号化信号に対し前記画像符号化装置による量子化処理及び直交変換処理の逆処理を施し、画面内予測による予測ブロックの信号を加算して復号ブロックの信号を生成する復号ブロック生成手段と、
前記復号ブロックから構成される参照ブロックセットを参照して、前記ピクチャの画面内予測を実行し、前記予測ブロックの信号を生成する画面内予測手段と、
前記画面内予測による復号ブロックの信号を基に前記ピクチャを復元する出力制御手段と、を備え、
前記画面内予測手段は、
画面内予測として方向性予測を行うときに、画面内予測の被予測ブロックが属するピクチャの量子化パラメータ値を参照し、前記量子化パラメータ値に応じた予め定めた閾値に対し、前記被予測ブロックの方向性予測モードの角度の浅い方に対して直交する方向の辺の長さが短いか否かを判定する空間高周波パワー補償判定手段と、
前記量子化パラメータ値に応じた予め定めた閾値に対し当該辺の長さが短いと判定したときに、当該方向性予測モードとして参照する参照ブロックセットにおける前記被予測ブロックに隣接する隣接ブロックについて、前記画像符号化装置による符号化した際と同じ直交変換方式の直交変換処理を施して、その直交変換行列を生成する予測用直交変換手段と、
前記隣接ブロックの直交変換行列に、各直交変換係数を強調する予め定めた空間高周波パワー強調行列を乗算して、空間高周波パワーを強調した隣接ブロックの直交変換行列を生成する空間高周波パワー強調手段と、
前記空間高周波パワー強調後の隣接ブロックの直交変換行列に対し、前記予測用直交変換手段の逆処理となる逆直交変換を施して、空間高周波パワーが強調された画素成分の隣接ＴＵを生成する予測用逆直交変換手段と、
画面内予測のモード番号に応じた隣接ブロックの参照ブロックセットを参照し、画面内予測を実行して、前記予測ブロックの信号を生成する予測ブロック生成手段と、
を有することを特徴とする画像復号装置。

【請求項5】

コンピュータを、請求項１から３のいずれか一項に記載の画像符号化装置として機能させるためのプログラム。

【請求項6】

コンピュータを、請求項４に記載の画像復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画面内予測を用いる画像符号化装置、画像復号装置及びこれらのプログラムに関する。

【背景技術】

【0002】

従来の画像符号化装置及び画像復号装置において、例えばＨＥＶＣ（High Efficiency Video Coding）やＶＶＣ（Versatile Video Coding）等のブロックベース符号化における画面内予測を用いた符号化・復号処理がよく知られている。画間内予測は、大別して方向性予測、平面予測、及び水平方向予測がある。また、ＨＥＶＣでは、符号化処理の基本単位であるブロックをＣＴＵ（coding tree unit）とし、このＣＴＵは、画面内予測及び画面間予測の予測処理・変換処理等の符号化ツールを適用する基本単位であるＣＵ（coding unit）の集合により構成される。

【0003】

そして、ＣＵは、ＰＵ（prediction unit）及びＴＵ（transform unit）の集合により構成される。ＰＵは、画面内予測及び画面間予測に関する情報を共有する基本単位であり、ＰＵ内は同一の予測モードが適用される。そして、ＰＵはＣＵに対して所定のブロックサイズにブロック分割することが選択可能である。ＴＵは、予測誤差に対する直交変換に関する情報を共有する基本単位であり、ＰＵで規定する予測に用いる分割とは独立に所定のブロックサイズにブロック分割することが選択可能である。即ち、予測処理・変換処理等の符号化ツールを適用する基本単位であるＣＵに対し、ＰＵ（prediction unit）及びＴＵ（transform unit）の集合で再帰的にブロック分割することができる。

【0004】

そして、ＨＥＶＣにおける画面内予測では、被予測ＴＵについて、ＰＵサイズによって方向性予測の予測モードを規定しており、モード番号で識別される。また、予測誤差を周波数領域へ変換するために、２種類の直交変換（離散コサイン変換（ＤＣＴ：discrete cosine transform）と離散コサイン変換（ＤＳＴ：discrete sine transform））が用意されており、ＴＵサイズに応じて切り換えられるようになっている。このようなＨＥＶＣのブロック構造や予測モードは、ＶＶＣでも採用されることが予定されている。

【0005】

従って、ＨＥＶＣやＶＶＣの画面内予測における方向性予測では、被予測ＴＵの左隣と上隣の隣接ＴＵに属する隣接画素を参照画素として用いる。この参照画素は、方向性予測の角度によっては小数画素位置となる場合がある。この場合は、イントラ補間フィルタを適用して周辺の参照画素から線形補間を行い、生成した画素値を利用する。線形補間に用いる補間フィルタは、ＨＥＶＣではBilinearフィルタを用い、ＶＶＣでは被予測ＴＵのサイズに応じて４タップのCubicフィルタとGaussianフィルタを切り替えて用いる。この切り替えは、比較的大きなサイズの被予測ＴＵではテクスチャ成分があまり含まれないと想定されるため、平滑化の効果を持つGaussianフィルタを用いる。一方、比較的小さなサイズの被予測ＴＵではテクスチャ成分が多く含まれると想定されるため、若干のエイリアシングが発生するが遮断周波数特性の良いCubicフィルタを用いる。実際の切り替えでは、方向性予測モードの角度の浅い方に対して直交する方向の辺の長さが８画素×８画素以下の被予測ＴＵではCubicフィルタ、８画素×８画素を超える被予測ＴＵではGaussianフィルタを適用する。このようなＶＶＣにおける画面内予測の方向性予測について、詳細に説明されている文献も開示されている（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0006】

【文献】J.Chen, Y.Ye, and S.H.Kim,“Algorithm description for Versatile Video Coding and Test Model (VTM 5),” Document of Joint Video Experts Team (VVET) of JTU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, The 14th meeting: Geneva, CH, Mar.2019

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述したように、ＶＶＣの画面内予測における方向性予測では、方向性予測モードの角度の浅い方に対して直交する方向の辺の長さが８画素以下の被予測ＴＵではCubicフィルタ、８画素を超える被予測ＴＵではGaussianフィルタを適用するようになっている。

【0008】

ここで比較的小さなサイズの被予測ＴＵ内では多くのテクスチャ成分が含まれて空間高周波パワーも高いと考えられるが、従来技術で用いるBilinearフィルタやCubicフィルタは、特に量子化パラメータｑＰ（quantization parameter）値が大きい場合に、直交変換処理と量子化処理によって大きく低下した隣接ＴＵの空間高周波パワーを補うことができないため、比較的小さなサイズの被予測ＴＵにおける方向性予測の効率を高めることができないという課題があった。

【0009】

そこで、本発明の目的は、上述の問題に鑑みて、ＨＥＶＣやＶＶＣ等のブロックベース符号化に対し親和性の高い態様で、画面内予測において８画素×８画素以下の比較的小さなサイズの被予測ブロック（ＴＵ）においても、方向性予測を高精度に行う画像符号化装置、画像復号装置及びそのプログラムを提供することにある。

【課題を解決するための手段】

【0010】

本発明の画像符号化装置は、画面内予測を用いて入力動画像のピクチャを符号化する画像符号化装置であって、前記画面内予測の対象とするピクチャにおける被予測ブロックの信号と、画面内予測による予測ブロックの信号とを差分して差分信号を形成し、その差分信号に対して直交変換処理及び量子化処理を施して符号化信号を生成するブロック符号化手段と、前記符号化信号に対し前記量子化処理及び前記直交変換処理の逆処理を施し、前記画面内予測による予測ブロックの信号を加算して局部復号ブロックの信号を生成する局部復号ブロック生成手段と、前記局部復号ブロックから構成される参照ブロックセットを参照して、前記ピクチャの画面内予測を実行し、前記予測ブロックの信号を生成する画面内予測手段と、前記符号化信号についてエントロピー符号化を施したビットストリームを生成するエントロピー符号化手段と、を備え、前記画面内予測手段は、画面内予測として方向性予測を行うときに、画面内予測の被予測ブロックが属するピクチャの量子化パラメータ値を参照し、前記量子化パラメータ値に応じた予め定めた閾値に対し、前記被予測ブロックの方向性予測モードの角度の浅い方に対して直交する方向の辺の長さが短いか否かを判定する空間高周波パワー補償判定手段と、前記量子化パラメータ値に応じた予め定めた閾値に対し当該辺の長さが短いと判定したときに、当該方向性予測モードとして参照する参照ブロックセットにおける前記被予測ブロックに隣接する隣接ブロックについて、符号化した際と同じ直交変換方式の直交変換処理を施して、その直交変換行列を生成する予測用直交変換手段と、前記隣接ブロックの直交変換行列に、各直交変換係数を強調する予め定めた空間高周波パワー強調行列を乗算して、空間高周波パワーを強調した隣接ブロックの直交変換行列を生成する空間高周波パワー強調手段と、前記空間高周波パワー強調後の隣接ブロックの直交変換行列に対し、前記予測用直交変換手段の逆処理となる逆直交変換を施して、空間高周波パワーが強調された画素成分の隣接ＴＵを生成する予測用逆直交変換手段と、画面内予測のモード番号に応じた隣接ブロックの参照ブロックセットを参照し、画面内予測を実行して、前記予測ブロックの信号を生成する予測ブロック生成手段と、を有することを特徴とする。

【0011】

また、本発明の画像符号化装置において、前記空間高周波パワー強調手段は、前記空間高周波パワー強調行列として、符号化した際の前記量子化処理で除算に用いる量子化マトリクスを所定倍したものを用いることを特徴とする。

【0012】

また、本発明の画像符号化装置において、前記空間高周波パワー補償判定手段は、前記量子化パラメータ値が高いほど前記被予測ブロックのサイズの判定に用いる前記閾値も小さくするように予め定めていることを特徴とする。

【0013】

更に、本発明の画像復号装置は、画像符号化装置によって生成されたビットストリームを入力し、復号処理を行って動画像の画面内予測によるピクチャを復元する画像復号装置であって、前記ビットストリームに対してエントロピー復号を施して符号化信号及び符号化パラメータを抽出し、抽出した符号化パラメータを基に、前記符号化信号に対し前記画像符号化装置による量子化処理及び直交変換処理の逆処理を施し、画面内予測による予測ブロックの信号を加算して復号ブロックの信号を生成する復号ブロック生成手段と、前記復号ブロックから構成される参照ブロックセットを参照して、前記ピクチャの画面内予測を実行し、前記予測ブロックの信号を生成する画面内予測手段と、前記画面内予測による復号ブロックの信号を基に前記ピクチャを復元する出力制御手段と、を備え、前記画面内予測手段は、画面内予測として方向性予測を行うときに、画面内予測の被予測ブロックが属するピクチャの量子化パラメータ値を参照し、前記量子化パラメータ値に応じた予め定めた閾値に対し、前記被予測ブロックの方向性予測モードの角度の浅い方に対して直交する方向の辺の長さが短いか否かを判定する空間高周波パワー補償判定手段と、前記量子化パラメータ値に応じた予め定めた閾値に対し当該辺の長さが短いと判定したときに、当該方向性予測モードとして参照する参照ブロックセットにおける前記被予測ブロックに隣接する隣接ブロックについて、前記画像符号化装置による符号化した際と同じ直交変換方式の直交変換処理を施して、その直交変換行列を生成する予測用直交変換手段と、前記隣接ブロックの直交変換行列に、各直交変換係数を強調する予め定めた空間高周波パワー強調行列を乗算して、空間高周波パワーを強調した隣接ブロックの直交変換行列を生成する空間高周波パワー強調手段と、前記空間高周波パワー強調後の隣接ブロックの直交変換行列に対し、前記予測用直交変換手段の逆処理となる逆直交変換を施して、空間高周波パワーが強調された画素成分の隣接ＴＵを生成する予測用逆直交変換手段と、画面内予測のモード番号に応じた隣接ブロックの参照ブロックセットを参照し、画面内予測を実行して、前記予測ブロックの信号を生成する予測ブロック生成手段と、を有することを特徴とする。

【0014】

更に、本発明のプログラムは、コンピュータを、本発明の画像符号化装置として機能させるためのプログラムとして構成する。

【0015】

更に、本発明のプログラムは、コンピュータを、本発明の画像復号装置として機能させるためのプログラムとして構成する。

【発明の効果】

【0016】

本発明によれば、画面内予測において８画素×８画素以下の比較的小さなサイズの被予測ブロック（ＴＵ）においても、方向性予測を高精度に行うことができるようになる。

【図面の簡単な説明】

【0017】

【図1】本発明に係る一実施例の画像符号化装置の概略構成を示すブロック図である。

【図2】（ａ），（ｂ）は、それぞれ本発明に係る一実施例の画像符号化装置における画面内予測処理のブロック分割例及び方向性予測の説明図である。

【図3】本発明による一実施例の画面内予測処理を示すフローチャートである。

【図4】本発明に係る一実施例の画像復号装置の概略構成を示すブロック図である。

【発明を実施するための形態】

【0018】

以下、図面を参照して、本発明による一実施例の画像符号化装置１、及び画像復号装置５について、順に説明する。

【0019】

〔画像符号化装置〕
（全体構成）
図１は、本発明による一実施例の画像符号化装置１の概略構成を示すブロック図である。画像符号化装置１は、ブロックベース符号化（本例では、ＨＥＶＣ）により、符号化対象ピクチャに対し画面内予測及び画面間予測のモード切替で符号化を行う装置として構成され、減算部１０、ＤＣＴ又はＤＳＴによる直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、加算部１５、画面内予測部１６、モード切替部１７、ループフィルタ１８、ピクチャメモリ１９、画面間予測部２０、及びエントロピー符号化部２１を備える。

【0020】

まず、モード切替部１７は、画面内予測部１６による画面内予測、及び画面間予測部２０による画面間予測のモード切替を行う機能部である。本発明は、画面内予測部１６による画面内予測時における予測精度の改善を主旨としているので、主として、画像符号化装置１における画面内予測時について各機能部を説明する。

【0021】

減算部１０は、入力動画像の符号化対象ピクチャをブロックベース符号化に基づく画面内予測のブロック（本例では、ＨＥＶＣに基づくＣＵ）単位で入力し、当該符号化対象ピクチャにおける被予測ブロック（ＣＵからブロック分割されたＴＵ）の信号と、後述する画面内予測部１６経由でモード切替部１７から得られる対応する予測ブロックの信号とを差分して差分信号を形成し、直交変換部１１に出力する。

【0022】

直交変換部１１は、減算部１０から得られる差分信号に対してＤＣＴ等の直交変換係数に基づく周波数変換を施し、量子化部１２に出力する。

【0023】

量子化部１２は、直交変換部１１から得られる直交変換係数の信号に対して量子化パラメータｑＰに基づく量子化処理を施し、逆量子化部１３及びエントロピー符号化部２１に出力する。これにより、符号化対象ピクチャにおける原信号のブロックに対しモード切替部１７から得られる画面内予測の予測ブロックの信号を差分して得られる差分信号について直交変換及び量子化処理を施した符号化信号が生成される。

【0024】

即ち、減算部１０、直交変換部１１、及び量子化部１２は、入力動画像の符号化対象ピクチャにおける被予測ブロックの信号と、後述する画面内予測部１６による予測ブロックの信号とを差分して差分信号を形成し、その差分信号に対して直交変換処理及び量子化処理を施して符号化信号を生成するブロック符号化手段として機能する。

【0025】

逆量子化部１３は、量子化部１２から得られる符号化信号としての直交変換係数の信号の量子化値に対して量子化部１２の逆処理を施して、直交変換係数の信号を復元し、逆直交変換部１４に出力する。

【0026】

逆直交変換部１４は、逆量子化部１３から得られる直交変換係数の信号に対して直交変換部１１の逆処理を施して差分信号を復元し、加算部１５に出力する。

【0027】

加算部１５は、逆直交変換部１４から得られる差分信号と、後述する画面内予測部１６経由でモード切替部１７から得られる対応する予測ブロックの信号とを加算して局部復号ブロックの信号を生成し、画面内予測部１６に出力する。

【0028】

即ち、逆量子化部１３、逆直交変換部１４、及び加算部１５は、量子化部１２から得られる符号化信号に対し量子化部１２及び直交変換部１１の逆処理を施し、後述する画面内予測部１６経由でモード切替部１７から得られる対応する予測ブロックの信号を加算して局部復号ブロックの信号を生成する局部復号ブロック生成手段として機能する。

【0029】

尚、本発明とは関係しないが、画面間予測時では、加算部１５は、逆直交変換部１４から得られる差分信号と、画面間予測部２０経由でモード切替部１７から得られる対応する予測ブロックの信号とを加算して局部復号ブロックの信号を生成し、ループフィルタ１８に出力する。

【0030】

画面間予測時では、ループフィルタ１８は、加算部１５から得られる局部復号ブロックの信号に対しデブロッキングフィルタ等のループフィルタ処理を施して、ピクチャメモリ１９に出力する。

【0031】

画面間予測時では、ピクチャメモリ１９は、このループフィルタ処理後の局部復号ブロックから画面間予測に用いる参照ピクチャを構成して、所定の記憶領域内に一時記憶する。即ち、ループフィルタ１８及びピクチャメモリ１９は、局部復号ブロックにループフィルタ処理を施し、参照ピクチャを構成する。

【0032】

そして、画面間予測部２２は、ピクチャメモリ１９から得られる復号済みの参照ピクチャを参照して、符号化対象ピクチャの画面間予測をブロック単位で実行し、その画面間予測結果のブロックを画面間予測の予測ブロックとして生成することになる。

【0033】

画面内予測及び画面間予測において、エントロピー符号化部２１は、量子化部１２から得られる符号化信号についてエントロピー符号化処理（本例では、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Cording）による算術符号化）を施し、ブロック単位（本例では、ＣＵ単位）の符号化信号についてエントロピー符号化を施したビットストリームを生成して、後述する画像復号装置５に向けて伝送する。尚、符号化信号の生成に係る符号化パラメータ（画面内予測に係る参照ピクチャ情報、ブロックサイズ及び参照領域情報等）についても、エントロピー符号化（例えば算術符号化）を施したビットストリームを生成して画像復号装置５に向けて伝送する。

【0034】

ここで、本実施例における画面内予測部１６は、ＨＥＶＣに規定されているように、符号化処理の基本単位であるブロックをＣＴＵとし、画面内予測の予測処理・変換処理等の基本単位である符号化対象のブロックをＣＵの集合により構成される。そして、ＣＵは、ＣＵに対しＴＵの集合で再帰的にブロック分割する。また、ＨＥＶＣにおける画面内予測では、被予測ＴＵについて、ＰＵサイズによって方向性予測の予測モードを規定しており、モード番号で識別される。

【0035】

図２（ａ），（ｂ）には、それぞれ本発明に係る一実施例の画像符号化装置１における画面内予測部１６の画面内予測処理のブロック分割例及び方向性予測の説明図を示している。図２（ａ）に例示するように、画面内予測部１６は、或る被予測ＴＵの予測ブロックの信号を生成するときは、その隣接ブロックである復号済みの隣接ＴＵ（図示する例では、隣接ＴＵ_Ａ，隣接ＴＵ_Ｂ，隣接ＴＵ_Ｃ）を参照ブロックセットとして参照し、方向性予測、平面予測、及び水平方向予測のうちいずれかのモードにより画面内予測処理を実行し、当該被予測ＴＵの予測ブロックの信号を生成する。例えば、図２（ｂ）に例示するように、被予測ＴＵの或る画素を方向性予測により予測するときは、モード番号２～３４で規定される方向によって、復号済みの隣接ＴＵの画素を用いて予測した画素値を決定する。尚、モード番号０は平面予測であり、モード番号１は水平方向予測である。

【0036】

ところで、この被予測ＴＵの或る画素を方向性予測により予測するときに、その方向性予測の角度によっては小数画素位置となる場合があり、従来技術では、８画素×８画素以下の比較的小さなサイズの被予測ＴＵの場合ではBilinearフィルタ（ＨＥＶＣ）やCubicフィルタ（ＶＶＣ）を用いて補償する処理を行うが、量子化パラメータｑＰ値が大きい場合に、直交変換処理と量子化処理によって大きく低下した隣接ＴＵの空間高周波パワーを補うことができない。

【0037】

そこで、本実施例における画面内予測部１６は、図３を参照して以下に説明するが、被予測ＴＵの方向性予測モードの角度の浅い方に対して直交する方向の辺の長さと被予測ＴＵが属するビクチャのｑＰ値を調べて、後述する予め定めた条件を満たすときは復号済みの隣接ＴＵの空間高周波パワーを補償することで、方向性予測を高精度に行うようにしている。

【0038】

（画面内予測処理）
図３は、本発明による一実施例の画面内予測部１６の画面内予測処理を示すフローチャートである。

【0039】

まず、画面内予測部１６は、被予測ＴＵの予測ブロックの信号を生成するために、モード番号に応じて、画面内予測として方向性予測を行うときはステップＳ２に移行し（ステップＳ１：Ｙ）、平面予測又は水平方向予測を行うときはステップＳ８に移行する（ステップＳ１：Ｎ）。

【0040】

方向性予測を行う場合（ステップＳ１：Ｙ）、画面内予測部１６は、被予測ＴＵが属するピクチャ（ＰＵ）の量子化パラメータｑＰ値を参照し（ステップＳ２）、ｑＰ値に応じた予め定めた閾値に対し、被予測ＴＵの方向性予測モードの角度の浅い方に対して直交する方向の辺の長さが短いか否かを判定し、その条件を満たすときはステップＳ４に移行し（ステップＳ３：Ｙ）、その条件を満たさないときはステップＳ８に移行する（ステップＳ３：Ｎ）。

【0041】

即ち、ｑＰ値に応じた予め定めた閾値に対し、被予測ＴＵの方向性予測モードの角度の浅い方に対して直交する方向の辺の長さが短い場合（ステップＳ３：Ｙ）、画面内予測部１６は、当該方向性予測モードとして参照する被予測ＴＵに隣接する隣接ＴＵについて、空間高周波パワーを補償する旨を示すフラグを設定する（ステップＳ４）。この隣接ＴＵについて空間高周波パワーを補償するか否かを決定する処理は、空間高周波パワー補償判定手段として構成される。例えば、図２（ｂ）において、方向性予測モード時に、角度が浅い方に対して直交する方向の辺の長さとは、モード番号２～１７の予測方向であれば角度が浅い方は水平方向でその直交する方向の辺は被予測ＴＵの左辺（右辺も同じ）である。また、モード番号１８の予測方向であれば角度が浅い方は水平方向及び垂直方向でその直交する方向の辺は被予測ＴＵの左辺（右辺も同じ）と上辺（下辺も同じ）のうち予め定めた一方の辺である。また、モード番号１９～３４の予測方向であれば角度が浅い方は垂直方向でその直交する方向の辺は被予測ＴＵの上辺（下辺も同じ）である。

【0042】

この隣接ＴＵについて空間高周波パワーを補償するか否かを決定するためのｑＰ値と当該辺の長さの閾値は、表１に示すように、実験により予め事前に設定する。表１は、隣接ＴＵについて空間高周波パワーを補償するか否かを決定するための判定に用いるｑＰ値に応じた当該辺の長さの閾値の例示しており、ｑＰ値が高いほど被予測ＴＵのサイズの判定に用いる閾値も小さくするように設定している。そして、空間高周波パワー補償判定手段は、被予測ＴＵが属するピクチャ（ＰＵ）のｑＰ値に応じて、被予測ＴＵの方向性予測モードの角度の浅い方に対して直交する方向の辺の長さが表１に示す閾値以下であれば、隣接ＴＵについて空間高周波パワーを補償するとして決定する。

【0043】

【表1】

【0044】

続いて、画面内予測部１６は、空間高周波パワーを補償する旨を示すフラグが設定されたときは、当該方向性予測モードとして参照する隣接ＴＵに直交変換を施して、その直交変換行列を生成する（ステップＳ５）。画面内予測部１６で用いる直交変換は、直交変換部１１により隣接ＴＵを符号化した際と同じ直交変換方式を用いるものとし、例えば、隣接ＴＵをＤＣＴにより符号化していたときは、同じくＤＣＴを用いる。この処理は、予測用直交変換手段として構成される。

【0045】

続いて、画面内予測部１６は、その隣接ＴＵの直交変換行列に、各直交変換係数をα倍する予め定めた空間高周波パワー強調行列を乗算して、空間高周波パワーを強調した隣接ＴＵの直交変換行列を生成する（ステップＳ６）。この処理は、空間高周波パワー強調手段として構成される。

【0046】

この空間高周波パワー強調行列として、量子化部１２における量子化処理で除算に用いる量子化マトリクスをα倍したものを用いるのが親和性の観点から好適であり、このα倍した量子化マトリクスを当該隣接ＴＵの直交変換行列に乗算することで、その直交変換行列において量子化により０となった係数以外を強調することができる。ここで、αは通常は１とするが、原画像に雑音成分が大きく重畳されている用途には、その影響を避けるためにαを１未満の値に設定することができる。

【0047】

続いて、画面内予測部１６は、空間高周波パワー強調後の隣接ＴＵの直交変換行列に対し、当該予測用直交変換手段の逆処理となる逆直交変換を施して、空間高周波パワーが強調された画素成分の隣接ＴＵを生成する（ステップＳ７）。この処理は、予測用逆直交変換手段として構成される。

【0048】

最終的に、画面内予測部１６は、モード番号に応じた隣接ＴＵを参照し画面内予測を実行して、予測ブロックの信号を生成する。この処理は、予測ブロック生成手段として構成される。

【0049】

これにより、被予測ＴＵ内に多くのテクスチャ成分が含まれて空間高周波パワーが高いと想定される場合には、８画素×８画素以下の比較的小さなサイズの被予測ＴＵの場合でも、隣接ＴＵの空間高周波パワーの補償を行うため、方向性予測を高精度に行うことができる。

【0050】

〔画像復号装置〕
（全体構成）
図４は、本発明による一実施例の画像復号装置５の概略構成を示すブロック図である。図４に示す画像復号装置５は、上述した図３に示す画面内予測処理を復号側でも同じく行う点を除き、ＨＥＶＣやＶＶＣなどのブロックベース符号化方式の既存の装置と同様とすることができる。

【0051】

即ち、画像復号装置５は、エントロピー復号部５０、逆量子化部５１、逆直交変換部５２、加算部５３、画面内予測部５４、モード切替部５５、ループフィルタ５６、ピクチャメモリ５７、画面内予測部５８、及び出力制御部５９を備える。

【0052】

まず、モード切替部５５は、画面内予測部５４による画面内予測、及び画面間予測部５８による画面間予測のモード切替を行う機能部である。以下、主として、画像復号装置５における画面内予測時について各機能部を説明する。

【0053】

エントロピー復号部５０は、画像符号化装置１から伝送されるビットストリームを入力し、エントロピー復号処理を施すことにより、符号化信号及び符号化パラメータを抽出し、符号化信号については逆量子化部５１に、符号化パラメータについては各機能部に出力する。

【0054】

逆量子化部５１は、エントロピー復号部５０から得られる符号化信号である直交変換の直交変換係数の信号の量子化値に対して画像符号化装置１の量子化部１２の逆処理を施して、直交変換係数の信号を復元し、逆直交変換部５２に出力する。

【0055】

逆直交変換部５２は、逆量子化部５１から得られる直交変換係数の信号に対して画像符号化装置１の直交変換部１１の逆処理を施して差分信号を復元し、加算部５３に出力する。

【0056】

加算部５３は、逆直交変換部５２から得られる差分信号と、画面内予測部５４経由でモード切替部５５から得られる対応する予測ブロックの信号とを加算して復号ブロックの信号を生成し、画面内予測部５４、及び出力制御部５９に出力する。

【0057】

即ち、逆量子化部５１、逆直交変換部５２、及び加算部５３は、エントロピー復号部５０から得られる符号化信号に対し画像符号化装置１の量子化部１２及び直交変換部１１の逆処理を施し、画面内予測部５４経由でモード切替部５５から得られる対応する予測ブロックの信号を加算して復号ブロックの信号を生成する復号ブロック生成手段として機能する。

【0058】

尚、本発明とは関係しないが、画面間予測時では、加算部５３は、逆直交変換部５２から得られる差分信号と、画面内予測部５４から得られる対応する予測ブロックとを加算して復号ブロックの信号を生成し、ループフィルタ５６、及び出力制御部５９に出力する。

【0059】

画面間予測時では、ループフィルタ５６は、加算部５３から得られる復号ブロックの信号に対しデブロッキングフィルタ等のループフィルタ処理を施して、ピクチャメモリ５７に出力する。

【0060】

画面間予測時では、ピクチャメモリ５７は、このループフィルタ処理後の復号ブロックから画面間予測に用いる参照ピクチャを構成して、所定の記憶領域内に一時記憶する。

【0061】

画面間予測部５８は、参照ピクチャを用いた画面内予測をブロック単位で実行し、モード切替部５５を介してその画面内予測結果である予測ブロックを加算部５３に出力する。

【0062】

そして、出力制御部５９は、加算部５３から得られる復号ブロックの信号を入力して原信号に対応するピクチャを復元し、その画像信号を図示しないディスプレイや記録部に外部出力する。この出力制御部５９は、画面内予測による復号ブロックの信号を基にピクチャを復元する出力制御手段として機能する。

【0063】

ここで、画像復号装置５における画面内予測部５４は、画像符号化装置１における画面内予測部１６と同様に、図３に示す画面内予測処理を実行する。

【0064】

従って、本発明に係る画像符号化装置１及び画像復号装置５における画面内予測部１６，５４は、被予測ＴＵの方向性予測モードの角度の浅い方に対して直交する方向の辺の長さと被予測ＴＵが属するビクチャのｑＰ値を調べて、後述する予め定めた条件を満たすときは復号済みの隣接ＴＵの空間高周波パワーを補償することで、８画素×８画素以下の比較的小さなサイズの被予測ブロック（ＴＵ）においても、方向性予測を高精度に行うことができる。

【0065】

上述した実施例に関して、コンピュータを画像符号化装置１として機能させ、画像符号化装置１の各手段を機能させるためのプログラムを好適に用いることができる。また、コンピュータを画像復号装置５として機能させ、画像復号装置５の各手段を機能させるためのプログラムを好適に用いることができる。具体的には、各手段を制御するための制御部をコンピュータ内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各手段を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピュータに、ＣＰＵによって該プログラムを実行させることにより、上述した各手段の有する機能を実現させることができる。また、上述した各手段をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

【0066】

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。例えば、上述した実施例では、ＣＡＢＡＣにより算術符号化するとして説明したが、その他の算術符号化によるエントロピー符号化を用いてもよい。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

【産業上の利用可能性】

【0067】

本発明によれば、ＨＥＶＣやＶＶＣなどの既存のブロックベース符号化処理との親和性の高い態様で、画面内予測精度を高めることができるので、画面内予測を用いる符号化・復号処理の用途に有用である。

【符号の説明】

【0068】

１ 画像符号化装置
５ 画像復号装置
１０ 減算部
１１ 直交変換部
１２ 量子化部
１３ 逆量子化部
１４ 逆直交変換部
１５ 加算部
１６ 画面内予測部
１７ モード切替部
１８ ループフィルタ
１９ ピクチャメモリ
２０ 画面間予測部
２１ エントロピー符号化部
５０ エントロピー復号部
５１ 逆量子化部
５２ 逆直交変換部
５３ 加算部
５４ 画面内予測部
５５ モード切替部
５６ ループフィルタ
５７ ピクチャメモリ
５８ 画面間予測部
５９ 出力制御部

【図1】

【図2】

【図3】

【図4】