特許 7594364 符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-26

(45)【発行日】2024-12-04

(54)【発明の名称】符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/593 20140101AFI20241127BHJP

【ＦＩ】

H04N19/593

【請求項の数】 5

(21)【出願番号】P 2020012909

(22)【出願日】2020-01-29

(65)【公開番号】P2021118525

(43)【公開日】2021-08-10

【審査請求日】2023-01-04

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】松尾 康孝

【審査官】坂東 大五郎

(56)【参考文献】

【文献】特開２００８－２４５０８８（ＪＰ，Ａ）

【文献】Jaeil Kim et al.，Improved Extrapolation for Intra Prediction Coding，Joint Collaborative Team on Video Coding (JCT-VC)，2011年11月22日，[JCTVC-G594] (version 2)

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

画像の画面内予測を行う符号化装置において、
画面内予測部は、
被予測変換ユニット（ＴＵ）に対して、参照画素を準備し、未復号の参照画素位置に復号済の近傍参照画素と等しい参照画素を準備する、参照画素準備部と、
未復号の参照画素位置に準備した前記参照画素の周波数成分を補正する、参照画素補正部と、
補正された前記参照画素に基づいて、前記被予測変換ユニットの予測処理を行う、予測処理部と
を備え、
前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素の周波数パワー値を用いて、未復号の参照画素位置に準備した前記参照画素の周波数パワー値を補正する、符号化装置であって、
前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素についてＤＣＴ（離散コサイン変換）を行うことにより各周波数に含まれる補正元周波数パワー値を求めるとともに、未復号の参照画素位置に準備した前記参照画素についてＤＣＴを行うことにより各周波数に含まれる補正先周波数パワー値を求め、
前記補正元周波数パワー値で前記補正先周波数パワー値を補正し、
補正された前記補正先周波数パワー値をＩＤＣＴ（逆離散コサイン変換）することにより未復号の参照画素位置の前記参照画素を設定し、
前記参照画素補正部はさらに、未復号の参照画素位置に準備した前記参照画素の前記補正先周波数パワー値を前記補正元周波数パワー値で補正し、ＩＤＣＴすることにより、未復号の参照画素位置に準備した前記参照画素の画素値に加えられた補正量に対し、未復号の参照画素位置と、その位置で用いる復号済の近傍参照画素との間の距離に応じて重みを乗じ、前記補正量を調整することを特徴とする、符号化装置。

【請求項2】

請求項１に記載の符号化装置において、
前記補正先周波数パワー値を前記補正元周波数パワー値で置き換えること、前記補正先周波数パワー値と前記補正元周波数パワー値との平均をとること、周波数ごとに所定比率で前記補正先周波数パワー値と前記補正元周波数パワー値をマージすること、のいずれかにより、前記補正先周波数パワー値の補正を行うことを特徴とする、符号化装置。

【請求項3】

画像の画面内予測を行う復号装置において、
画面内予測部は、
被予測変換ユニット（ＴＵ）に対して、参照画素を準備し、未復号の参照画素位置に復号済の近傍参照画素と等しい参照画素を準備する、参照画素準備部と、
未復号の参照画素位置に準備した前記参照画素の周波数成分を補正する、参照画素補正部と、
補正された前記参照画素に基づいて、前記被予測変換ユニットの予測処理を行う、予測処理部と
を備え、
前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素の周波数パワー値を用いて、未復号の参照画素位置に準備した前記参照画素の周波数パワー値を補正する、復号装置であって、
前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素についてＤＣＴ（離散コサイン変換）を行うことにより各周波数に含まれる補正元周波数パワー値を求めるとともに、未復号の参照画素位置に準備した前記参照画素についてＤＣＴを行うことにより各周波数に含まれる補正先周波数パワー値を求め、
前記補正元周波数パワー値で前記補正先周波数パワー値を補正し、
補正された前記補正先周波数パワー値をＩＤＣＴ（逆離散コサイン変換）することにより未復号の参照画素位置の前記参照画素を設定し、
前記参照画素補正部はさらに、未復号の参照画素位置に準備した前記参照画素の前記補正先周波数パワー値を前記補正元周波数パワー値で補正し、ＩＤＣＴすることにより、未復号の参照画素位置に準備した前記参照画素の画素値に加えられた補正量に対し、未復号の参照画素位置と、その位置で用いる復号済の近傍参照画素との間の距離に応じて重みを乗じ、前記補正量を調整することを特徴とする、復号装置。

【請求項4】

コンピュータを、請求項１又は２に記載の符号化装置として機能させる、プログラム。

【請求項5】

コンピュータを、請求項３に記載の復号装置として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、復号装置、及びプログラムに関し、特に、画像情報の画面内予測を行う符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

近年の画像（動画像を含む）の高精細化に伴い、より符号化効率を向上させた符号化方式が求められている。例えば、動画像の予測符号化方式であるＭＰＥＧ（Moving Picture Experts Group）－２、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）等では、動画像の各フレームをブロックに分割し、それぞれのブロックを基本処理単位として予測画像を生成し、原画像と予測画像の差分（残差信号）を符号化して出力する。

【0003】

予測画像の生成には画面内予測（イントラ予測）と動き補償予測（インター予測）の２種類の生成手法がある。画面内予測は予測対象であるブロックを、その周辺画素を参照画素として内挿又は外挿予測する（非特許文献１）。また、動き補償予測は前後フレームからフレームを内挿予測する。このうち、画面内予測で生成される予測画像（Ｉフレーム（Intra-coded Frame））は、画面間予測の基礎となる画像（フレーム）であるため、画面内予測には、より精度が高く、予測効率の良い予測符号化方法が求められている。

【0004】

例えば、画面内予測において、大きなサイズの予測ブロックの方向性予測を行った場合に参照画素からの距離が離れるにしたがって予測が当たりづらくなるという課題に対して、参照画素と予測画素の距離に応じて利用する参照画素の数を変えるなどの処理を行うことが提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第５０４４４１５号公報

【非特許文献】

【0006】

【文献】大久保榮（監修）、他、「インプレス標準教科書シリーズＨ．２６５／ＨＥＶＣ教科書」、（２０１３年）、ｐｐ．１１５～１２４

【発明の概要】

【発明が解決しようとする課題】

【0007】

代表的な動画像の予測符号化方式であるＨＥＶＣの画面内予測では、予測する変換ユニット（ＴＵ：Transform Unit）の左側と上側の隣接画素を参照画素として、参照画素を用いた内挿又は外挿処理により予測画素を生成する。

【0008】

図７は、一辺のサイズがＮ（図ではＮ＝４）の被予測ＴＵ（被予測変換ユニット）１と、その予測に用いる参照画素の位置関係を示す図である。被予測ＴＵ１の左上の画素（ピクセル）位置を原点（０，０）とし、図示のようにｘ，ｙ軸を設定すると、被予測ＴＵ１の左側のｘ＝－１でｙ＝－１～２Ｎ－１の座標にある画素と被予測ＴＵ１の上側のｙ＝－１でｘ＝－１～２Ｎ－１の座標にある画素の計４Ｎ＋１個の画素を参照画素として準備する。

【0009】

ここで参照画素位置の画素が未復号である場合（未復号のＴＵに属している場合）、未復号の参照画素位置では、復号済の近傍参照画素の画素値を代入して用いる。しかし同一画素が連続して用いられることが多いため、これら未復号の位置の参照画素は低周波成分になりやすく、予測するＴＵ内に高周波成分が含まれる場合には予測効率が低下しやすいという課題がある。

【0010】

従って、上記のような問題点に鑑みてなされた本発明の目的は、画面内予測において、参照画素位置の画素が未復号である場合でも、高周波成分が含まれるＴＵを精度良く予測し、予測効率を向上させることができる符号化装置、復号装置、及びプログラムを提供することにある。

【課題を解決するための手段】

【0011】

上記課題を解決するために本発明に係る符号化装置は、画像の画面内予測を行う符号化装置において、画面内予測部は、被予測変換ユニット（ＴＵ）に対して、参照画素を準備し、未復号の参照画素位置に復号済の近傍参照画素と等しい参照画素を準備する、参照画素準備部と、未復号の参照画素位置に準備した前記参照画素の周波数成分を補正する、参照画素補正部と、補正された前記参照画素に基づいて、前記被予測変換ユニットの予測処理を行う、予測処理部とを備え、前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素の周波数パワー値を用いて、未復号の参照画素位置に準備した前記参照画素の周波数パワー値を補正し、
前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素についてＤＣＴ（離散コサイン変換）を行うことにより各周波数に含まれる補正元周波数パワー値を求めるとともに、未復号の参照画素位置に準備した前記参照画素についてＤＣＴを行うことにより各周波数に含まれる補正先周波数パワー値を求め、前記補正元周波数パワー値で前記補正先周波数パワー値を補正し、補正された前記補正先周波数パワー値をＩＤＣＴ（逆離散コサイン変換）することにより未復号の参照画素位置の前記参照画素を設定し、
前記参照画素補正部はさらに、未復号の参照画素位置に準備した前記参照画素の前記補正先周波数パワー値を前記補正元周波数パワー値で補正し、ＩＤＣＴすることにより、未復号の参照画素位置に準備した前記参照画素の画素値に加えられた補正量に対し、未復号の参照画素位置と、その位置で用いる復号済の近傍参照画素との間の距離に応じて重みを乗じ、前記補正量を調整することを特徴とする。

【0013】

また、前記符号化装置は、前記補正先周波数パワー値を前記補正元周波数パワー値で置き換えること、前記補正先周波数パワー値と前記補正元周波数パワー値との平均をとること、周波数ごとに所定比率で前記補正先周波数パワー値と前記補正元周波数パワー値をマージすること、のいずれかにより、前記補正先周波数パワー値の補正を行うことが望ましい。

【0015】

上記課題を解決するために本発明に係る復号装置は、画像の画面内予測を行う復号装置において、画面内予測部は、被予測変換ユニット（ＴＵ）に対して、参照画素を準備し、未復号の参照画素位置に復号済の近傍参照画素と等しい参照画素を準備する、参照画素準備部と、未復号の参照画素位置に準備した前記参照画素の周波数成分を補正する、参照画素補正部と、補正された前記参照画素に基づいて、前記被予測変換ユニットの予測処理を行う、予測処理部とを備え、前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素の周波数パワー値を用いて、未復号の参照画素位置に準備した前記参照画素の周波数パワー値を補正し、
前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素についてＤＣＴ（離散コサイン変換）を行うことにより各周波数に含まれる補正元周波数パワー値を求めるとともに、未復号の参照画素位置に準備した前記参照画素についてＤＣＴを行うことにより各周波数に含まれる補正先周波数パワー値を求め、前記補正元周波数パワー値で前記補正先周波数パワー値を補正し、補正された前記補正先周波数パワー値をＩＤＣＴ（逆離散コサイン変換）することにより未復号の参照画素位置の前記参照画素を設定し、
前記参照画素補正部はさらに、未復号の参照画素位置に準備した前記参照画素の前記補正先周波数パワー値を前記補正元周波数パワー値で補正し、ＩＤＣＴすることにより、未復号の参照画素位置に準備した前記参照画素の画素値に加えられた補正量に対し、未復号の参照画素位置と、その位置で用いる復号済の近傍参照画素との間の距離に応じて重みを乗じ、前記補正量を調整することを特徴とする。

【0016】

上記課題を解決するために本発明に係るプログラムは、コンピュータを、前記符号化装置として機能させることを特徴とする。

【0017】

上記課題を解決するために本発明に係るプログラムは、コンピュータを、前記復号装置として機能させることを特徴とする。

【発明の効果】

【0018】

本発明における符号化装置、復号装置、及びプログラムによれば、画面内予測において、参照画素位置の画素が未復号である場合でも、高周波成分が含まれるＴＵを精度良く予測し、予測効率を向上させることができる。

【図面の簡単な説明】

【0019】

【図1】本発明に用いられる画面内予測部の一例のブロック図である。

【図2】本発明の符号化装置の一例のブロック図である。

【図3】被予測ＴＵの参照画素を準備する例を示す図である。

【図4】未復号の参照画素位置の画素値を補正する例を示す図である。

【図5】画面内予測部の動作の例を示すフローチャートである。

【図6】本発明の復号装置の一例のブロック図である。

【図7】被予測ＴＵと、その予測に用いる参照画素の位置関係を示す図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施の形態について、図を参照して説明する。

【0021】

（実施の形態１）
図１は、本発明の符号化装置（及び復号装置）の一部を構成する、画面内予測部の一例のブロック図である。画面内予測部１０は、被予測画像が入力され、被予測ＴＵごとに復号済ＴＵを用いた予測処理を行い、予測画像を出力する。

【0022】

画面内予測部１０は、被予測ＴＵごとに参照画素を準備する参照画素準備部１１と、参照画素の補正を行う参照画素補正部１２と、補正された参照画素に基づいて被予測ＴＵの予測処理を行う予測処理部１３とを備えている。このうち、参照画素準備部１１と予測処理部１３は、従来の画面内予測で行われていた処理を行うものであり、参照画素補正部１２が、従来の画面内予測では行っていない新しい処理を行う。本発明は、参照画素補正部１２で、未復号の参照画素位置において用いる復号済の近傍参照画素値を補正することにより、予測精度を向上させる。なお、画面内予測部１０は、明確にこのようなブロック構成を有する必要はなく、後述する参照画素準備部１１、参照画素補正部１２、及び予測処理部１３の各部の処理を行う機能を備えていればよい。

【0023】

まず、本発明の実施の形態１としての符号化装置について説明する。図２は、本発明の符号化装置の一例のブロック図であり、符号化方式として代表的なＨ．２６５／ＨＥＶＣによる符号化を行う符号化装置１００である。なお、本発明の符号化装置１００はＨＥＶＣの符号化を行う装置に限られず、Ｈ．２６４／ＡＶＣの符号化を行う装置等、内部に画面内予測部を含む符号化装置であればよい。

【0024】

符号化装置１００は、分割部１０１、減算処理部１０２、変換部１０３、量子化部１０４、エントロピー符号化部１０５、逆量子化部１０６、逆変換部１０７、加算処理部１０８、ブロックメモリ１０９、画面内予測部（イントラ予測部）１１０、ループフィルタ１１１、フレームメモリ１１２、動き補償予測部（インター予測部）１１３、及び切り換え制御部１１４を備えている。このうち、画面内予測部１１０として、図１の画面内予測部１０を利用する。符号化装置１００は、コンピュータとプログラムによって実現することができる。

【0025】

分割部１０１は、入力された画像を、所定サイズのブロックに分割する。分割されたそれぞれのブロック（ブロック画像）は、予測・符号化のための基本処理単位となる。ブロックのサイズは、最大６４×６４画素（ピクセル）であり、更に、予測のユニットとして、４×４、８×８、１６×１６、又は３２×３２画素等に分割される。ブロック化された画像は、減算処理部１０２に出力され、画像ブロック毎にその後の処理が行われる。

【0026】

減算処理部１０２は、分割部１０１から入力されるブロック化された画像から、画面内予測部１１０又は動き補償予測部１１３からの予測画像の減算処理を行い、両画像の差分を求めて、残差信号（差分画像）を変換部１０３に出力する。

【0027】

変換部１０３は、減算処理部１０２から入力された残差信号に対して、Ｈ．２６５／ＨＥＶＣ等で規定されている変換符号化処理（離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）又は離散サイン変換（ＤＳＴ：Discrete Sine Transform）等）を行い、得られた変換係数を量子化部１０４へ出力する。以下では、ＤＣＴを処理に用いるものとして説明する。

【0028】

量子化部１０４は、変換部１０３から入力された変換係数を、所定の量子化パラメータに基づいて量子化処理を行う。そして、その結果（量子化済み変換係数）をエントロピー符号化部１０５及び逆量子化部１０６に出力する。

【0029】

エントロピー符号化部１０５は、量子化部１０４から入力された量子化済み変換係数（画像の符号化データ）とともに、画像の復号に必要なデータをエントロピー符号化して、ビットストリームを作成する。このビットストリームが符号化装置１００の出力信号となる。

【0030】

逆量子化部１０６は、量子化部１０４から入力された量子化済み変換係数を逆量子化し、変換係数に戻して逆変換部１０７に出力する。

【0031】

逆変換部１０７は、逆量子化されたデータ（変換係数）に対して逆変換（離散コサイン逆変換（ＩＤＣＴ：Inverse Discrete Cosine Transform）等）をする。すなわち、逆量子化部１０６と逆変換部１０７により、変換部１０３及び量子化部１０４で行われた符号化処理と反対の復号処理を行い、その結果を加算処理部１０８に出力する。

【0032】

加算処理部１０８は、逆量子化部１０６と逆変換部１０７で逆量子化及び逆変換されたデータ、すなわち、残差信号の復号処理されたデータと、後述の画面内予測部１１０又は動き補償予測部１１３で処理された予測画像データとを加算し、その合成画像データ（再構成されたブロック画像）をブロックメモリ１０９とループフィルタ１１１に出力する。

【0033】

ブロックメモリ１０９は、加算処理部１０８から入力される再構成されたブロック画像を蓄積する記憶部である。画面内予測のための被予測画像を格納し、画面内予測部１１０に出力する。

【0034】

画面内予測部１１０は、ブロックメモリ１０９に格納された被予測画像のデータに基づいて、被予測ＴＵの画面内予測（イントラ予測）による予測画像を生成する。本発明では、画面内予測部１１０を図１に示す画面内予測部１０の構成とし、参照画素の補正を行う予測画像生成を行う。その処理については後述する。画面内予測部１１０は、画面内予測画像を切り換え制御部１１４に出力する。

【0035】

ループフィルタ１１１は、例えば、ブロック歪みを低減するデブロッキング・フィルタと、リンギング歪みを低減するサンプル・アダプティブ・オフセット等によって構成される。加算処理部１０８で合成された画像データに対して、フィルタ処理を行うことにより、符号化ループ内の量子化処理によって発生する符号化歪みを低減する。ループフィルタ１１１はフィルタ処理した画像データをフレームメモリ１１２に出力する。

【0036】

フレームメモリ１１２は、ループフィルタ１１１で処理された画像データを蓄積する。フレームメモリ１１２は、動き補償予測（インター予測）に用いられる参照ピクチャを格納する記憶部として機能する。

【0037】

動き補償予測部１１３は、フレームメモリ１１２に蓄積された画像と、図示しない動き検出部で求めた画像の動きの情報に基づいて、動き補償予測処理（動きベクトルに基づくフレーム間予測）を行い、動き予測画像を切り換え制御部１１４に出力する。

【0038】

切り換え制御部１１４は、減算処理部１０２に、画面内予測部１１０からの画面内予測画像と、動き補償予測部１１３からの動き予測画像とのいずれかを、選択して出力する。

【0039】

本発明の符号化装置１００は、画面内予測部１１０において参照画素の補正を行うことにより、画面内予測の予測効率を向上させることができる。

【0040】

次に、画面内予測部１１０（１０）の動作について詳述する。図１の参照画素準備部１１は、被予測画像が入力され、被予測ＴＵの予測処理に用いる参照画素を準備して出力する。図３に、被予測ＴＵ１の参照画素を準備する例を示す。

【0041】

ＴＵの一辺のサイズをＮとする。そして図３に示すように、予測するＴＵ１に隣接する４Ｎ＋１個の画素を参照画素ｐ[x][y]として準備する。被予測ＴＵ１に対する４Ｎ＋１個の参照画素の配置関係は、図７と同じである。図３では、被予測ＴＵ１（Ｎ＝４）の左上の画素（ピクセル）位置を座標（１２，１２）とし、被予測ＴＵ１の左側のｘ＝１１でｙ＝１１～１９の座標にある画素と被予測ＴＵ１の上側のｙ＝１１でｘ＝１１～１９の座標にある画素の計１７個の画素を参照画素として準備することとする。

【0042】

参照画素の準備手順は次のとおりである。
（１）参照画素が全て復号済の場合、それらをそのままｐ[x][y]の値とする。

【0043】

（２）復号済み画素が１つもない場合、ｐ[x][y]＝１<<(BitDepth－１)とする（BitDepthはビット深度）。

【0044】

（３）それ以外の場合（一部のみ復号済みの場合）、
（３－１）図３の左下端（１１，１９）から参照画素を右上端（１９，１１）に向かって順に走査し、最初に存在する復号済み画素値（ここでは、ｐ[11][15]）を左下端（ｐ[11][19]）の値とする。
（３－２）図３の左下端の１つ上（１１，１８）から（１１，１１）まで順に走査し、当該画素が復号されていなければそのすぐ下の画素値を当該画素の値とする。すなわち、ｐ[11][y+1]をｐ[11][y]の値とする。
（３－３）同様に、図３の（１２，１１）から右上端（１９，１１）まで順に走査し、当該画素が復号されていなければそのすぐ左側の画素値を当該画素の値とする。すなわち、ｐ[x-1][11]をｐ[x][11]の値とする。

【0045】

上記の（３－１）、（３－２）の手順により、未復号の参照画素の値ｐ[11][19]～ｐ[11][16]は、これらと隣接する復号済みの近傍参照画素ｐ[11][15]と等しくなる。以上の手順により、４Ｎ＋１個の参照画素の全てに値が設定され、ｐ[x][y]として準備される。

【0046】

次に、参照画素補正部１２の処理について説明する。参照画素補正部１２は、参照画素準備部１１で準備された参照画素の内、未復号の参照画素位置の画素値の補正を行う。図４に、未復号の参照画素位置の画素値を補正する例を示す。参照画素補正部１２には、例えば、未復号の参照画素位置で用いる復号済の近傍参照画素、被予測画像、及びＴＵ情報（ＴＵ分割情報）が入力され、補正された参照画素が出力される。

【0047】

参照画素補正部１２は、まず、未復号の参照画素位置に用いる復号済み近傍参照画素を有する復号済ＴＵ（隣接する複合済ＴＵ５）の参照画素の周波数パワーを解析する。今、参照画素準備部１１の処理により、参照画素値ｐ[11][19]～ｐ[11][16]は復号済み近傍参照画素ｐ[11][15]の値となっている。復号済の近傍参照画素ｐ[11][15]が元々属するＴＵ（復号済ＴＵ５）内の参照画素の周波数パワーを周波数成分解析（例えば、ＤＣＴ解析）して、その結果を周波数パワー解析情報として出力する。

【0048】

すなわち、復号済ＴＵ５の参照画素ｐ[11][15]～ｐ[11][12]に含まれる周波数パワーをＤＣＴ解析によって求める。以下にＤＣＴの計算式を示す。

【0049】

【数1】

【0050】

図４における補正元の参照画素ｐ[11][15]を含む、復号済ＴＵ５のｐ[11][15]～ｐ[11][12]のＤＣＴにおいてはＮ＝４であるため、ｐ[11][15]～ｐ[11][12]に対応する周波数パワー解析結果として、ｋ番目の周波数のパワー係数：Ｘ_k(補正元), (k = 0, 1, 2, 3)が出力される。なお、この係数を「周波数パワー値」ということがある。

【0051】

次に、未復号の参照画素位置で用いる画素値を補正する。まず、未復号の参照画素位置における画素（今は復号済の近傍参照画素と等しい）の周波数パワーを周波数成分解析（例えば、ＤＣＴ解析）する。すなわち、補正先であるｐ[11][19]～ｐ[11][16]をＤＣＴ解析して、ｋ番目の周波数のパワー係数：Ｘ_k(補正先), (k = 0, 1, 2, 3)を得る。なお、未復号の参照画素位置で用いる画素値が全て等しい場合は、パワー係数は直流（ＤＣ）成分のみとなり、他の周波数成分は０となる。

【0052】

そして、得られた周波数パワー値：Ｘ_k(補正先)を、前述の周波数パワー値：Ｘ_k(補正元)を用いて補正する。補正においては、例えば、Ｘ_k(補正先)をＸ_k(補正元)で置き換える、Ｘ_k(補正先)とＸ_k(補正元)の各要素で平均をとる、或いは、Ｘ_k(補正先)とＸ_k(補正元)を要素ごと（周波数ごと）に所定比率でマージする等を行うことができる。所定比率は周波数ごとに変えてもよい。どのような手法で補正するかは、画像の特徴等に基づいて最適なものを選択してもよい。

【0053】

未復号の参照画素位置が属するＴＵ内の参照画素数と、復号済の近傍参照画素が属するＴＵ内の参照画素数が異なる場合は、画素数に対応させてＸ_kをマッピングすることができる。例えばＸ_k(補正元)がＮ＝４、Ｘ_k(補正先)がＮ＝２の場合は、Ｘ₀(補正元)とＸ₁(補正元)の平均をＸ₀(補正先)、Ｘ₂(補正元)とＸ₃(補正元)の平均をＸ₁(補正先)として用いることができる。

【0054】

以上のように、未復号の参照画素位置の周波数パワー値を補正した後、ＩＤＣＴすることで、未復号の参照画素位置で用いる補正された画素値が得られる。よって、未復号の参照画素位置の画素値について、周波数成分（周波数パワー）の補正を行うことができる。すなわち、未復号の参照画素位置の参照画素に対し、近傍の復号済の変換ユニットの周波数成分を加える補正を行うことができる。

【0055】

更に、前記の補正を行った後で、未復号の参照画素位置と、その位置で用いる復号済の近傍参照画素との間の距離に応じて重みαを乗じることができる。例えばｐ[11][16]はｐ[11][15]から近いので大きな重み（α＝１．０）、ｐ[11][19]はｐ[11][15]から遠いので小さな重み（α＝０．７）という具合で距離に応じた重みを画素値の補正量に乗じ、未復号の参照画素位置における補正量を調整することができる。なお、ＩＤＣＴをする前に、距離に応じた重みをＤＣＴ成分に対して乗じ、補正量を調整してもよい。

【0056】

本実施形態では、参照画素準備部１１はＨＥＶＣを前提としており、未復号の参照画素位置ｐ[11][19]～ｐ[11][16]の画素値を全て復号済み近傍参照画素ｐ[11][15]の値と等しくする処理により準備された未復号ＴＵの参照画素に対して補正を行ったが、参照画素補正部１２による補正は、未復号の参照画素位置の画素に対し、近接する復号済ＴＵの周波数成分を加えるよう補正するものであるから、参照画素の準備処理はこれに限られない。他の処理により準備された未復号の参照画素位置の画素に対しても、同様に補正することにより、予測効率を高める効果を得ることができる。

【0057】

次に、予測処理部１３の処理について説明する。予測処理部１３の処理は、従来の符号化方式で行われた面内の予測処理を用いることができる。例えば、符号化方式がＨＥＶＣであれば、（１）プレーナ（Planar）予測、（２）直流（ＤＣ）予測、（３）方向性予測のいずれかを行う。予測処理は、参照画素補正部１２から出力された、補正済みの参照画素値を用いて行う。

【0058】

ここで、（１）プレーナ（Planar）予測は、被予測ＴＵの周囲の４個の参照画素値に基づいて、各予測画素値を滑らかに生成する手法であり、（２）直流（ＤＣ）予測は、被予測ＴＵのすぐ左側及び上側の２Ｎ個の参照画素の平均値でＴＵ内を埋める処理である。また、（３）方向性予測は、３３通りの参照方向のいずれかに基づいて、参照方向にある参照画素値（又は内分値）を予測値とするものであり、これらの予測方法から予測効率の良い方法を選択して予測することができる。

【0059】

次に、画面内予測部１０の処理について、より一般化して説明する。図５は、画面内予測部１０の動作の例を示すフローチャートである。以下、各ステップについて説明する。

【0060】

ステップＳ１１：被予測ＴＵ（一辺のサイズをＮ）に対して、隣接する４Ｎ＋１個の画素（図７参照）を参照画素ｐ[x][y]として準備する。なお、参照画素が全て復号済みの場合、それらをそのままｐ[x][y]の値とし、復号済み画素が１つもない場合、ｐ[x][y]＝１<<(BitDepth－１)とする。それ以外の場合、左下端(-1, 2N-1)から右上端(2N-1, -1)に向かって参照画素を順に走査し、最初に存在する復号済み画素値をｐ[-1][2N-1]の値とする。次に、左下端の１つ上(-1, 2N-2)から(-1, -1)まで順に走査し、(-1, y)が復号されていなければp[-1][y+1]をp[-1][y]の値とする。さらに、(0, -1)から右上端(2N-1, -1)まで順に走査し、(x, -1)が復号されていなければｐ[x-1][-1]をｐ[x][-1]の値とする。

【0061】

ステップＳ１２：未復号の参照画素位置で用いる復号済みの近傍参照画素が元々属するＴＵ（未復号ＴＵ６に隣接する復号済ＴＵ５）内の参照画素の周波数パワーをＤＣＴ解析して、その結果を周波数パワー解析情報（補正元の周波数別のパワー係数）として出力する（図４参照）。

【0062】

ステップＳ１３：補正対象である未復号の参照画素位置の画素値についてＤＣＴ解析を行い、得られた周波数パワー解析情報（補正先の周波数別のパワー係数）を、ステップＳ１２で得られた復号済ＴＵの参照画素の周波数パワー解析情報に基づいて、補正する（図４参照）。補正においては、例えば補正先の係数列（周波数パワー値）を補正元の係数列（周波数パワー値）で置き換える、補正先周波数パワー値と補正元周波数パワー値の平均をとる、補正先と補正元の各周波数のパワー値を所定比率でマージする等の処理を行うことができる。その後、補正された補正先周波数パワー値をＩＤＣＴすることで、未復号の参照画素位置で用いる補正された参照画素値が得られる。なお、補正先と補正元の画素間の距離に基づいて、補正量の重み付け処理を行ってもよい。

【0063】

ステップＳ１４：参照画素（補正された参照画素を含む）に対し、線形フィルタ又は平滑化フィルタ等のフィルタ処理を、必要に応じて行う。なお、このフィルタ処理は、歪や雑音を低減するための処理であり、ＨＥＶＣ等で行われる通常の処理である。

【0064】

ステップＳ１５：ステップＳ１１～Ｓ１４で得られた参照画素にもとづいて、被予測ＴＵの予測処理を行う。例えば、ＨＥＶＣでは、３３通りの参照方向を有する方向性予測、及び非方向性予測として、プレーナ（Planar）予測又は直流（ＤＣ）予測が用意されており、これらの予測処理により、画面内予測を行う。

【0065】

なお、本実施形態では、周波数成分解析として、ＤＣＴ解析を行ったが、これに限られず、ＤＳＴ解析等、周波数パワー係数を求める他の手法を用いてもよい。

【0066】

（実施の形態２）
実施の形態２として、復号装置について説明する。画面内予測部１０は、符号化装置における局部復号処理のみならず、復号装置の復号処理においても同様に使用される。

【0067】

図６は、本発明の復号装置の一例のブロック図であり、符号化方式として代表的なＨ．２６５／ＨＥＶＣによる復号を行う復号装置２００である。なお、本発明の復号装置２００はＨＥＶＣによる復号を行う装置に限られず、Ｈ．２６４／ＡＶＣによる復号を行う装置等、内部に画面内予測部を含む復号装置であればよい。復号装置２００は、符号化データであるビットストリームを入力し、復号処理を行い、復元した画像を出力する。

【0068】

復号装置２００は、エントロピー復号部２０１、逆量子化部２０２、逆変換部２０３、加算処理部２０４、ループフィルタ２０５、ブロックメモリ２０６、画面内予測部２０７、フレームメモリ２０８、動き補償予測部２０９、及び切り換え制御部２１０を備えている。このうち、画面内予測部２０７として、図１の画面内予測部１０を利用する。復号装置２００は、コンピュータとプログラムによって実現することができる。

【0069】

エントロピー復号部２０１は、入力されたビットストリームをエントロピー復号し、伝送された画像の符号化データとともに、画像の復号に必要なデータを復号する。画像の符号化データは、ブロック単位で逆量子化部２０２に出力される。

【0070】

逆量子化部２０２は、エントロピー復号部２０１から入力された画像の符号化データ（量子化係数）を逆量子化する。この逆量子化により、符号化側の変換符号化処理（離散コサイン変換等）で生成された変換係数が得られる。そして、逆量子化されたデータを、逆変換部２０３に出力する。

【0071】

逆変換部２０３は、逆量子化されたデータ（変換係数）を逆変換（離散コサイン逆変換等）する。すなわち、逆量子化部２０２と逆変換部２０３は、符号化装置１００で行われた変換部１０３及び量子化部１０４の処理と反対の復号処理を行い、その結果を加算処理部２０４に出力する。

【0072】

加算処理部２０４は、逆量子化部２０２及び逆変換部２０３で逆量子化及び逆変換されたデータ（これは、差分画像のデータに相当する）と、後述の画面内予測部２０７（又は動き補償予測部２０９）で処理された予測画像データとを加算し、その合成画像データ（再構成されたブロック画像）をループフィルタ２０５とブロックメモリ２０６に出力する。

【0073】

ループフィルタ２０５は、加算処理部２０４から入力された画像データに対して、サンプル・アダプティブ・オフセットの処理、或いは、デブロッキング・フィルタの処理等を行う。ループフィルタ２０５は、フィルタ処理した画像データをフレームメモリ２０８に出力するとともに、復号装置２００の出力画像（復元画像）として出力する。

【0074】

ブロックメモリ２０６は、加算処理部２０４で生成された合成画像データ（再構成ブロック画像）を順次蓄積する記憶部である。画面内予測のための被予測画像を格納し、画面内予測部２０７に出力する。

【0075】

画面内予測部２０７は、ブロックメモリ２０６に格納された被予測画像のデータに基づいて、被予測ＴＵの画面内予測（イントラ予測）による予測画像を生成する。本発明では、画面内予測部２０７を図１に示す画面内予測部１０の構成とし、参照画素の補正を行って予測画像生成を行う。その処理については前述したとおりである。なお、復号側では、符号化側でどのような予測処理をしたかの情報が送られてくるため、それに基づく予測を行う。画面内予測部２０７は、画面内予測画像を切り換え制御部２１０に出力する。

【0076】

フレームメモリ２０８は、ループフィルタ２０５で処理された画像データを蓄積する。フレームメモリ２０８は、動き補償予測（インター予測）に用いられる参照ピクチャを格納する記憶部として機能する。

【0077】

動き補償予測部２０９は、フレームメモリ２０８に蓄積された画像と、図示しない動き検出部で求めた画像の動きの情報に基づいて、動き補償予測処理を行い、動き予測画像を切り換え制御部２１０に出力する。

【0078】

切り換え制御部２１０は、加算処理部２０４に、画面内予測部２０７からの画面内予測画像と、動き補償予測部２０９からの動き予測画像とのいずれかを、選択して出力する。

【0079】

本発明の復号装置２００は、画面内予測部２０７において参照画素の補正を行うことにより、画面内予測の予測効率を向上させることができる。

【0080】

上記の実施の形態では、符号化装置１００及び復号装置２００の構成と動作について説明したが、本発明はこれに限らず、画面内予測において参照画素の補正を行う符号化方法、又は復号方法として構成されてもよい。或いは、図５のフローチャートに基づいて、画像の画面内予測方法としても良い。

【0081】

なお、上述した符号化装置１００又は復号装置２００として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１００又は復号装置２００の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0082】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0083】

１ 被予測ＴＵ
２～５ 復号済ＴＵ
６ 未復号ＴＵ
１０ 画面内予測部
１１ 参照画素準備部
１２ 参照画素補正部
１３ 予測処理部
１００ 符号化装置
１０１ 分割部
１０２ 減算処理部
１０３ 変換部
１０４ 量子化部
１０５ エントロピー符号化部
１０６ 逆量子化部
１０７ 逆変換部
１０８ 加算処理部
１０９ ブロックメモリ
１１０ 画面内予測部（イントラ予測部）
１１１ ループフィルタ
１１２ フレームメモリ
１１３ 動き補償予測部（インター予測部）
１１４ 切り換え制御部
２００ 復号装置
２０１ エントロピー復号部
２０２ 逆量子化部
２０３ 逆変換部
２０４ 加算処理部
２０５ ループフィルタ
２０６ ブロックメモリ
２０７ 画面内予測部
２０８ フレームメモリ
２０９ 動き補償予測部
２１０ 切り換え制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】