特許 7541439 画像符号化装置、画像復号装置及びこれらのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-20

(45)【発行日】2024-08-28

(54)【発明の名称】画像符号化装置、画像復号装置及びこれらのプログラム

(51)【国際特許分類】

   H04N 19/593 20140101AFI20240821BHJP

   H04N 19/59 20140101ALI20240821BHJP

   H04N 19/80 20140101ALI20240821BHJP

【ＦＩ】

H04N19/593

H04N19/59

H04N19/80

【請求項の数】 7

(21)【出願番号】P 2020026567

(22)【出願日】2020-02-19

(65)【公開番号】P2021132302

(43)【公開日】2021-09-09

【審査請求日】2023-01-18

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(72)【発明者】

【氏名】松尾 康孝

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】国際公開第２０２０／００１１７０（ＷＯ，Ａ１）

【文献】特開２０１９－２０８０９０（ＪＰ，Ａ）

【文献】国際公開第２０２０／０５０７５２（ＷＯ，Ａ１）

【文献】特開２０２０－５１４１（ＪＰ，Ａ）

【文献】特表２０２１－５３３６０７（ＪＰ，Ａ）

【文献】特表２０１７－５３５１７５（ＪＰ，Ａ）

【文献】国際公開第２０１９／２３９７９０（ＷＯ，Ａ１）

【文献】特表２０１９－５１９９７２（ＪＰ，Ａ）

【文献】特開２０１３－１１４５１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００－１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

画面内予測を用いてフレーム画像を符号化する画像符号化装置であって、
符号化対象のフレーム画像に対しブロック単位の局部復号画像を用いて、ブロック単位で第１の画面内予測を実行する第１の画面内予測手段と、
前記第１の画面内予測を経て得られるフレーム復号画像と、前記フレーム復号画像を基に生成したｍ（ｍ≧２の正の整数）種類の超解像予測画像及びｎ（ｎ≧２の正の整数）種類のぼやけ予測画像のいずれか一方又は双方とを生成する第１の参照画像生成手段と、
前記第１の画面内予測を経て得られる前記フレーム復号画像と、前記ｍ種類の超解像予測画像及び前記ｎ種類のぼやけ予測画像のいずれか一方又は双方とをそれぞれ参照画像として用いて、ブロック単位で第２の画面内予測を実行する第２の画面内予測手段と、
前記第２の画面内予測を経て得られるＲＤ（Rate Distortion）コストが最小となる参照画像をブロック単位で選択決定し、前記ＲＤコストが最小となる参照画像を用いた第２の画面内予測によるブロック単位の符号化信号と前記符号化信号に対応する符号化パラメータにエントロピー符号化を施し、ビットストリームを生成するエントロピー符号化手段と、
を備えることを特徴とする画像符号化装置。

【請求項2】

前記第２の画面内予測手段は、前記フレーム復号画像と、前記ｍ種類の超解像予測画像と、前記ｎ種類のぼやけ予測画像の合計１＋ｍ＋ｎ種類をそれぞれ参照画像として用いて、ブロック単位で第２の画面内予測を実行することを特徴とする、請求項１に記載の画像符号化装置。

【請求項3】

前記第１の参照画像生成手段は、前記フレーム復号画像に多重解像度分解を施して低周波成分と高周波成分に分解し、前記多重解像度分解した階層間で低周波成分の位置合わせを行い、高次階層における位置合わせされた低周波成分と、その同位相位置の高周波成分は同階層内で類似するものと仮定して、前記低周波成分に対応する高周波成分の割り付けをｍ種類の平滑化フィルタを適用しながら行い、前記低周波成分と割り付け後の前記高周波成分からなる前記多重解像度分解された各階層を合成して再構成することにより前記ｍ種類の超解像予測画像を生成する超解像予測画像生成手段を備えることを特徴とする、請求項１又は２に記載の画像符号化装置。

【請求項4】

前記第１の参照画像生成手段は、前記フレーム復号画像について多重解像度分解を施して低周波成分と高周波成分に分解し、多重解像度分解した高周波成分に対してｎ種類の平滑化フィルタを適用し、前記多重解像度分解した前記低周波成分と平滑化フィルタの処理後の高周波成分からなる前記多重解像度分解された各階層を合成して再構成することにより前記ｎ種類のぼやけ予測画像を生成するぼやけ予測画像生成手段を備えることを特徴とする、請求項１から３のいずれか一項に記載の画像符号化装置。

【請求項5】

請求項１から４のいずれか一項に記載の画像符号化装置によって生成されたビットストリームを入力し、復号処理を行ってフレーム画像を復元する画像復号装置であって、
前記ビットストリームに対してエントロピー復号を施して前記画像符号化装置によって生成された符号化信号及び符号化パラメータを抽出し、抽出した符号化パラメータを基に、前記符号化信号の復号のために、局部復号画像を用いる第３の画面内予測を前記第１の画面内予測に対応して実行する第３の画面内予測手段と、
前記第３の画面内予測を経て得られるフレーム復号画像と、該フレーム復号画像を基に生成したｍ種類の超解像予測画像及びｎ種類のぼやけ予測画像のいずれか一方又は双方とを生成する第２の参照画像生成手段と、
前記第３の画面内予測を経て得られる前記フレーム復号画像と、該フレーム復号画像を基に生成した前記ｍ種類の超解像予測画像及び前記ｎ種類のぼやけ予測画像のいずれか一方又は双方からなる参照画像のうち、前記符号化パラメータによって指定される参照画像を用いて、ブロック単位で第４の画面内予測を前記第２の画面内予測に対応して実行する第４の画面内予測手段と、
前記第４の画面内予測による復号信号を基にフレーム画像を復元する出力制御手段と、
を備えることを特徴とする画像復号装置。

【請求項6】

コンピュータを、請求項１から４のいずれか一項に記載の画像符号化装置として機能させるためのプログラム。

【請求項7】

コンピュータを、請求項５に記載の画像復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画面内予測を用いる画像符号化装置、画像復号装置及びこれらのプログラムに関する。

【背景技術】

【0002】

従来の画像符号化装置及び画像復号装置において、例えばＨ．２６５／ＨＥＶＣ等のブロックベース符号化における画面内予測を用いた符号化・復号処理がよく知られている。従来の画面内予測は、近接画素間の相関関係を利用して符号化効率を向上させるために、復号済みの画素値を用いている。

【0003】

ただし、従来の画面内予測は、近傍画素間で画素値が似ていることを仮定した処理であるため、予測ブロック内と被予測ブロック内のオブジェクトの鮮鋭度が大きく異なる場合には、符号化効率が大幅に低下する。この場合の一例としては、同一又は類似のオブジェクトが、予測ブロック内ではカメラレンズの被写界深度内、被予測ブロック内では被写界深度外に存在する場合が挙げられる。

【0004】

尚、画像を高圧縮伝送するために、画像符号化装置側で符号化対象の画像に対し、特定周波数以上の成分をカットオフするローパスフィルタを適用し画像サイズを縮小してから符号化し、画像復号装置側で超解像処理を施す技術が開示されている（例えば、特許文献１参照）。特許文献１における超解像処理では、画像の複雑さを示すパラメータを基に拡大係数を設定するとともに最適な折り返し周波数を設定するものとなっている。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第６３４４８００号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述したように、例えばＨ．２６５／ＨＥＶＣ等のブロックベース符号化における画面内予測の従来法では、近接画素間の相関関係を利用して符号化効率を向上させるために、復号済みの画素値を用いている。ただし近傍画素間で画素値が似ていることを仮定した処理であるため、予測ブロック内と被予測ブロック内のオブジェクトの鮮鋭度が大きく異なる場合には、符号化効率が大幅に低下するという課題がある。

【0007】

一方で、特許文献１に開示される技法では、画像符号化装置側で、例えば画面内予測で画像を高圧縮伝送する際に、予測ブロック内と被予測ブロック内のオブジェクトの鮮鋭度が類似している場合にも関わらず、常に、特定周波数以上の成分をカットオフするローパスフィルタを適用した画像を参照画像とすることになるため、不所望に鮮鋭度が劣化し、符号化効率の観点からは好ましくない。

【0008】

そこで、本発明の目的は、上述の問題に鑑みて、より符号化効率の優れた画面内予測を用いる画像符号化装置、画像復号装置及びこれらのプログラムを提供することにある。

【課題を解決するための手段】

【0009】

本発明による画像符号化装置は、画面内予測を用いてフレーム画像を符号化する画像符号化装置であって、符号化対象のフレーム画像に対しブロック単位の局部復号画像を用いて、ブロック単位で第１の画面内予測を実行する第１の画面内予測手段と、前記第１の画面内予測を経て得られるフレーム復号画像と、前記フレーム復号画像を基に生成したｍ（ｍ≧２の正の整数）種類の超解像予測画像及びｎ（ｎ≧２の正の整数）種類のぼやけ予測画像のいずれか一方又は双方とを生成する第１の参照画像生成手段と、前記第１の画面内予測を経て得られる前記フレーム復号画像と、前記ｍ種類の超解像予測画像及び前記ｎ種類のぼやけ予測画像のいずれか一方又は双方とをそれぞれ参照画像として用いて、ブロック単位で第２の画面内予測を実行する第２の画面内予測手段と、前記第２の画面内予測を経て得られるＲＤ（Rate Distortion）コストが最小となる参照画像をブロック単位で選択決定し、前記ＲＤコストが最小となる参照画像を用いた第２の画面内予測によるブロック単位の符号化信号と前記符号化信号に対応する符号化パラメータにエントロピー符号化を施し、ビットストリームを生成するエントロピー符号化手段と、を備えることを特徴とする。

【0010】

また、本発明による画像符号化装置において、前記第２の画面内予測手段は、前記フレーム復号画像と、前記ｍ種類の超解像予測画像と、前記ｎ種類のぼやけ予測画像の合計１＋ｍ＋ｎ種類をそれぞれ参照画像として用いて、ブロック単位で第２の画面内予測を実行することを特徴とする。

【0011】

また、本発明による画像符号化装置において、前記第１の参照画像生成手段は、前記フレーム復号画像に多重解像度分解を施して低周波成分と高周波成分に分解し、前記多重解像度分解した階層間で低周波成分の位置合わせを行い、高次階層における位置合わせされた低周波成分と、その同位相位置の高周波成分は同階層内で類似するものと仮定して、前記低周波成分に対応する高周波成分の割り付けをｍ種類の平滑化フィルタを適用しながら行い、前記低周波成分と割り付け後の前記高周波成分からなる前記多重解像度分解された各階層を合成して再構成することにより前記ｍ種類の超解像予測画像を生成する超解像予測画像生成手段を備えることを特徴とする。

【0012】

また、本発明による画像符号化装置において、前記第１の参照画像生成手段は、前記フレーム復号画像について多重解像度分解を施して低周波成分と高周波成分に分解し、多重解像度分解した高周波成分に対してｎ種類の平滑化フィルタを適用し、前記多重解像度分解した前記低周波成分と平滑化フィルタの処理後の高周波成分からなる前記多重解像度分解された各階層を合成して再構成することにより前記ｎ種類のぼやけ予測画像を生成するぼやけ予測画像生成手段を備えることを特徴とする。

【0013】

更に、本発明による画像復号装置は、本発明の画像符号化装置によって生成されたビットストリームを入力し、復号処理を行ってフレーム画像を復元する画像復号装置であって、前記ビットストリームに対してエントロピー復号を施して前記画像符号化装置によって生成された符号化信号及び符号化パラメータを抽出し、抽出した符号化パラメータを基に、前記符号化信号の復号のために、局部復号画像を用いる第３の画面内予測を前記第１の画面内予測に対応して実行する第３の画面内予測手段と、前記第３の画面内予測を経て得られるフレーム復号画像と、該フレーム復号画像を基に生成したｍ種類の超解像予測画像及びｎ種類のぼやけ予測画像のいずれか一方又は双方とを生成する第２の参照画像生成手段と、前記第３の画面内予測を経て得られる前記フレーム復号画像と、該フレーム復号画像を基に生成した前記ｍ種類の超解像予測画像及び前記ｎ種類のぼやけ予測画像のいずれか一方又は双方からなる参照画像のうち、前記符号化パラメータによって指定される参照画像を用いて、ブロック単位で第４の画面内予測を前記第２の画面内予測に対応して実行する第４の画面内予測手段と、前記第４の画面内予測による復号信号を基にフレーム画像を復元する出力制御手段と、を備えることを特徴とする。

【0014】

更に、本発明によるプログラムは、コンピュータを、本発明の画像符号化装置として機能させるためのプログラムとして構成する。

【0015】

更に、本発明によるプログラムは、コンピュータを、本発明の画像復号装置として機能させるためのプログラムとして構成する。

【発明の効果】

【0016】

本発明によれば、符号化対象のフレーム画像に対し画面内予測を用いて符号化を実行する際に、予測ブロック内と被予測ブロック内のオブジェクト間で鮮鋭度が異なる場合や類似する場合のいずれにおいても、画像符号化の符号化効率を向上させることができる。

【図面の簡単な説明】

【0017】

【図1】本発明による一実施例の画像符号化装置の概略構成を示すブロック図である。

【図2】本発明による一実施例の画像符号化装置における画像符号化処理を示すフローチャートである。

【図3】（ａ）乃至（ｆ）は、それぞれ本発明による一実施例の画像符号化装置における超解像予測画像の生成処理の説明図である。

【図4】（ａ）乃至（ｄ）は、それぞれ本発明による一実施例の画像符号化装置におけるぼやけ予測画像の生成処理の説明図である。

【図5】本発明による一実施例の画像復号装置の概略構成を示すブロック図である。

【図6】本発明による一実施例の画像復号装置における画像復号処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、図面を参照して、本発明による一実施例の画像符号化装置、及び画像復号装置について、順に説明する。

【0019】

〔画像符号化装置〕
（全体構成）
図１は、本発明による一実施例の画像符号化装置１の概略構成を示すブロック図である。画像符号化装置１は、ブロックベース符号化（本例では、Ｈ．２６５／ＨＥＶＣ）により、符号化対象のフレーム画像に対し画面内予測を行う装置として構成され、減算部１０、直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、加算部１５、画面内予測部１６、参照画像生成部１７、フレームメモリ群１８、及びエントロピー符号化部１９を備える。

【0020】

減算部１０は、符号化対象のフレーム画像をブロックベース符号化に基づく画面内予測のブロック（本例ではＨ．２６５／ＨＥＶＣに基づくＣＵ）単位で入力し、当該符号化対象のフレーム画像における被予測ブロックの信号と、画面内予測部１６から得られる対応する予測ブロックの信号とを差分して差分信号を形成し、直交変換部１１に出力する。

【0021】

直交変換部１１は、減算部１０から得られる差分信号に対して直交変換係数に基づく周波数変換を施し、量子化部１２に出力する。

【0022】

量子化部１２は、直交変換部１１から得られる直交変換係数の信号に対して量子化処理を施し、逆量子化部１３に出力する。

【0023】

逆量子化部１３は、量子化部１２から得られる直交変換係数の信号の量子化値に対して量子化部１２の逆処理を施して、直交変換係数の信号を復元し、逆直交変換部１４に出力する。

【0024】

逆直交変換部１４は、逆量子化部１３から得られる直交変換係数の信号に対して直交変換部１１の逆処理を施して差分信号を復元し、加算部１５に出力する。

【0025】

加算部１５は、逆直交変換部１４から得られる差分信号と、画面内予測部１６から得られる対応する予測ブロックの信号とを加算して局部復号画像の信号を生成し、画面内予測部１６に出力する。

【0026】

画面内予測部１６は、第１の画面内予測として、加算部１５から得られる局部復号画像の信号を一時記憶し、近接ブロック間の相関関係を利用して次の予測ブロックの信号を生成し減算部１０に出力する。

【0027】

上述した減算部１０から画面内予測部１６までの一連のループ内処理として実行される第１の画面内予測は、既存のブロックベース符号化（本例では、Ｈ．２６５／ＨＥＶＣ）と同様であり、即ち、本実施例の画像符号化装置１は、符号化対象のフレーム画像全体に対し局部復号画像を用いる第１の画面内予測を実行する。ただし、本実施例の画像符号化装置１は、第１の画面内予測を経て得られる量子化部１２により量子化処理を施した信号を、直ちに符号化信号としてエントロピー符号化部１９に出力せずに、以下に示す参照画像生成部１７を経て、画面内予測部１６により第２の画面内予測を実行する。

【0028】

参照画像生成部１７は、デブロッキングフィルタ処理部１７１、フレーム復号画像生成部１７２、超解像予測画像生成部１７３、及びぼやけ予測画像生成部１７４を備える。

【0029】

デブロッキングフィルタ処理部１７１は、第１の画面内予測を経て加算部１５から得られるブロック単位の局部復号画像の信号に対しデブロッキングフィルタ処理を施し、順次、フレーム復号画像生成部１７２に出力する。

【0030】

フレーム復号画像生成部１７２は、第１の画面内予測を経て符号化したフレーム画像全体の復号画像に対応するフレーム復号画像を生成し、フレームメモリ群１８に出力するとともに、超解像予測画像生成部１７３、及びぼやけ予測画像生成部１７４にも出力する。

【0031】

超解像予測画像生成部１７３は、詳細は後述するが、まず、フレーム復号画像生成部１７２によって生成したフレーム復号画像について多重解像度分解を行って低周波成分と高周波成分に分解する。そして、超解像予測画像生成部１７３は、多重解像度分解した階層間で低周波成分の位置合わせを行い、高次階層（本例では２階成分の階層）における位置合わせされた低周波成分と、その同位相位置の高周波成分は同階層内で類似するものと仮定して、低周波成分に対応する高周波成分の割り付けを行い、この割り付けの際に高周波成分のパワーを平滑化するｍ（ｍ≧１の正の整数）種類の平滑化フィルタを適用する。最終的に、超解像予測画像生成部１７３は、低周波成分と割り付け後の高周波成分からなる各階層を合成して再構成することによりｍ種類の超解像予測画像を生成し、フレームメモリ群１８に出力する。ここで、超解像予測画像生成部１７３は、フレームメモリ群１８からフレーム復号画像を読み出してｍ種類の超解像予測画像を生成するとしてもよい。

【0032】

ぼやけ予測画像生成部１７４は、詳細は後述するが、まず、フレーム復号画像生成部１７２によって生成したフレーム復号画像について多重解像度分解を行って低周波成分と高周波成分に分解する。そして、ぼやけ予測画像生成部１７４は、多重解像度分解した高周波成分に対してそのパワーを平滑化するｎ（ｎ≧１の正の整数）種類の平滑化フィルタを適用し、多重解像度分解した低周波成分と平滑化フィルタの処理後の高周波成分からなる各階層を合成して再構成することによりｎ種類のぼやけ予測画像を生成し、フレームメモリ群１８に出力する。ここで、ぼやけ予測画像生成部１７４は、フレームメモリ群１８からフレーム復号画像を読み出してｎ種類のぼやけ予測画像を生成するとしてもよい。

【0033】

また、超解像予測画像生成部１７３及びぼやけ予測画像生成部１７４における多重解像度分解の処理は、多くを共通化できるため、ｍ種類の超解像予測画像とｎ種類のぼやけ予測画像を一括して生成する計算処理とすることもできる。更に、本実施例では、フレーム復号画像を用いて、ｍ種類の超解像予測画像と、ｎ種類のぼやけ予測画像の双方を生成する例を好適例として説明するが、ｍ種類の超解像予測画像と、ｎ種類のぼやけ予測画像のいずれか一方のみを生成する形態とすることもできる。

【0034】

フレームメモリ群１８は、フレーム復号画像生成部１７２によって生成したフレーム復号画像、超解像予測画像生成部１７３によって生成したｍ種類の超解像予測画像、及びぼやけ予測画像生成部１７４によって生成したｎ種類のぼやけ予測画像をそれぞれフレーム単位で当該符号化対象のフレーム画像の符号化処理が完了するまで一時記憶する。ここで、説明の便宜上、「フレームメモリ群」と称しているが、１つの記憶部を複数のフレームメモリに領域区分したものとすることができる。

【0035】

画面内予測部１６は、第１の画面内予測を経て得られるフレーム復号画像と、そのフレーム復号画像を基に生成したｍ種類の超解像予測画像及びｎ種類のぼやけ予測画像のいずれか一方又は双方とをそれぞれ参照画像として用いて、第２の画面内予測を行う。

【0036】

つまり、画面内予測部１６は、第２の画面内予測として、第１の画面内予測を経て得られるフレーム復号画像と、そのフレーム復号画像を基に生成したｍ種類の超解像予測画像及びｎ種類のぼやけ予測画像のいずれか一方又は双方とをそれぞれ参照画像として選択する参照画像選択部１６１を有している。

【0037】

そして、画面内予測部１６は、第２の画面内予測の予め定めたブロック（本例ではＨ．２６５／ＨＥＶＣに基づくＣＵ）毎に、各参照画像を用いて第１の画面内予測と同様に画面内予測を試みて、各参照画像を用いた予測ブロックの信号を生成し減算部１０に出力する。また、画面内予測部１６は、各参照画像を用いた第１及び第２の画面内予測による符号化信号の補助情報（第１及び第２の画面内予測に係るブロックサイズ及び参照領域情報、いずれの参照画像を選択して用いた第２の画面内予測であるかを示す参照画像選択情報等）をエントロピー符号化部１９に出力する。この補助情報は、量子化部１２における量子化値設定情報や、直交変換部１２における直交変換係数情報及び直交変換係数に係る関連設定情報等とともに、符号化パラメータとして構成される。

【0038】

続いて、減算部１０は、再度、当該符号化対象のフレーム画像における被予測ブロックの信号と、第２の画面内予測として画面内予測部１６から得られる対応する各参照画像を用いた予測ブロックの信号とを差分してそれぞれの差分信号を形成し、直交変換部１１に出力する。そして、直交変換部１１は、減算部１０から得られるそれぞれの差分信号に対して直交変換係数に基づく周波数変換を施し、量子化部１２に出力する。量子化部１２は、直交変換部１１から得られるそれぞれの直交変換係数の信号に対して量子化処理を施し、各参照画像を用いたそれぞれの符号化信号としてエントロピー符号化部１９に出力する。

【0039】

エントロピー符号化部１９は、ＲＤコスト算出・参照画像決定部１９１を有している。ＲＤコスト算出・参照画像決定部１９１は、量子化部１２から得られる各参照画像を用いたそれぞれの符号化信号についてエントロピー符号化処理（本例では、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Cording）による算術符号化）を施し、当該ブロック（本例ではＣＵ）について、符号化信号の歪と算術符号化によるビットレートとの比から表されるＲＤコストを参照画像毎の符号化信号について算出し、ＲＤコストが最小となる参照画像を選択決定する。

【0040】

最終的に、エントロピー符号化部１９は、選択決定した参照画像に対応する符号化信号と符号化パラメータ（第１及び第２の画面内予測による符号化信号の補助情報、量子化値設定情報、直交変換係数情報及び直交変換係数に係る関連設定情報等）についてそれぞれエントロピー符号化を施したビットストリームを生成して、後述する画像復号装置２に向けて伝送する。尚、選択決定した参照画像は当該ブロック（本例ではＣＵ）のシンタックスとして生成される。

【0041】

尚、本実施例において、第２の画面内予測におけるブロック（本例ではＣＵ）のサイズや参照領域は、第１の画面内予測におけるブロック（本例ではＣＵ）のサイズや参照領域と、それぞれ同一としてもよいし、異なるものとしてもよく、予め定めたものとする。

【0042】

（画像符号化処理）
図２は、本発明による一実施例の画像符号化装置１における画像符号化処理を示すフローチャートである。

【0043】

本実施例の画像符号化装置１は、符号化対象のフレーム画像を入力し、局部復号画像を用いる第１の画面内予測を実行する（ステップＳ１）。

【0044】

続いて、本実施例の画像符号化装置１は、第１の画面内予測を経て得られる局部復号画像の信号に対しデブロッキングフィルタ処理を施し、フレーム復号画像を一旦、生成する（ステップＳ２）。

【0045】

続いて、本実施例の画像符号化装置１は、フレーム復号画像を用いて、ｍ種（ｍ≧1）の超解像予測画像と、ｎ種（ｎ≧1）のぼやけ予測画像のいずれか一方、又は双方を生成する（ステップＳ３）。

【0046】

続いて、本実施例の画像符号化装置１は、フレーム復号画像、並びに、ｍ種類の超解像予測画像と、ｎ種類のぼやけ予測画像のいずれか一方、又は双方をそれぞれ参照画像として用いて、ＣＵ毎に、第２の画面内予測を実行する（ステップＳ４）。

【0047】

続いて、本実施例の画像符号化装置１は、参照画像毎に第２の画面内予測に基づくＲＤコストを算出し、ＲＤコストが最小となる参照画像を選択決定する（ステップＳ５）。

【0048】

続いて、本実施例の画像符号化装置１は、選択決定した参照画像に対応する符号化信号と符号化パラメータについてそれぞれエントロピー符号化を施したビットストリームを生成する（ステップＳ６）。

【0049】

ここで、超解像予測画像生成部１７３、及びぼやけ予測画像生成部１７４における各処理の一例について順に説明する。

【0050】

（超解像予測画像の生成処理）
図３（ａ）乃至（ｆ）は、それぞれ本発明による一実施例の画像符号化装置１における超解像予測画像の生成処理の説明図である。

【0051】

まず、図３（ａ）に示すように、超解像予測画像生成部１７３は、フレーム復号画像Ｆを入力する。

【0052】

続いて、超解像予測画像生成部１７３は、フレーム復号画像Ｆについて多重解像度分解として、ｐ階（ｐ≧２とし、本例ではｐ＝２）ウェーブレット分解を行う。まずは、図３（ｂ）に示すように、フレーム復号画像Ｆについて１階ウェーブレット分解することで、１階の空間低周波数帯域ＬＬ^１、水平高周波数帯域ＬＨ^１、垂直高周波数帯域ＨＬ^１、及び対角（水平・垂直）高周波数帯域ＨＨ^１の各周波数帯域群に分解された１階分解成分画像Ｆ^１が得られる。また、図３（ｃ）に示すように、１階ウェーブレット分解した空間低周波帯域ＬＬ^１を更にウェーブレット分解することで、２階の空間低周波数帯域ＬＬ^２、水平高周波数帯域ＬＨ^２、垂直高周波数帯域ＨＬ^２、及び対角（水平・垂直）高周波数帯域ＨＨ^２の各周波数帯域群に分解された２階分解成分画像Ｆ^２が得られる。

【0053】

続いて、超解像予測画像生成部１７３は、図３（ｂ）及び図３（ｃ）に示すように、１階ウェーブレット分解した空間低周波帯域ＬＬ^１を小ブロック領域ＬＬ^１_ＢＫに分割して、或る小ブロック領域ＬＬ^１_ＢＫについて、多重解像度分解した階層間において低周波成分が類似するものと仮定して、２階分解成分画像Ｆ^２における空間低周波帯域ＬＬ^２へブロックマッチングに基づく位置合わせを行い、対応する小ブロック領域ＬＬ^２_ＢＫを決定する。

【0054】

続いて、超解像予測画像生成部１７３は、図３（ｄ）に示すように、空間低周波帯域ＬＬ^２における小ブロック領域ＬＬ^２_ＢＫについて、それぞれ同位相の空間高周波帯域｛ＬＨ^２，ＨＬ^２，ＨＨ^２｝内の成分位置ＬＨ^２_ＢＫ，ＨＬ^２_ＢＫ，ＨＨ^２_ＢＫを検出する。

【0055】

続いて、超解像予測画像生成部１７３は、図３（ｄ）及び図３（ｅ）に示すように、ＬＬ^１に対して位置合わせされた箇所の成分と同じ位相位置の空間高周波帯域｛ＬＨ^２，ＨＬ^２，ＨＨ^２｝内の成分は、同位相位置の空間高周波帯域｛ＬＨ^１，ＨＬ^１，ＨＨ^１｝内の成分と類似するものと仮定して、低周波成分ＬＬ^１に対応する高周波成分｛ＬＨ^１，ＨＬ^１，ＨＨ^１｝として、高周波成分のパワーを平滑化するｍ（ｍ≧１）種類の平滑化フィルタを適用しながら、高周波成分の各小ブロック領域ＬＨ^１_ＢＫ，ＨＬ^１_ＢＫ，ＨＨ^１_ＢＫの割り付けを行うことで、１階分解成分画像Ｆ^１’を再構成する。ここで、平滑化フィルタとして超解像予測画像生成用の縦横サイズｉ×ｊ、分散値σのガウシアンフィルタを用いるのが好適であり、縦横サイズｉ×ｊと分散値σのいずれか一方又は双方を変数とし、ｍ種類のガウシアンフィルタを用いることができる。例えば、４種（ｍ＝４）とするときは、ｉ×ｊは３×３で固定とし、σは｛０．１，０．５，１．０，２．０｝の４種類とすることができる。

【0056】

最終的に、超解像予測画像生成部１７３は、ｍ種類の平滑化フィルタ毎に、以上の位置合わせと割り付けを全ての小ブロック領域ＬＬ^１_ＢＫについて行った後、図３（ｆ）に示すように、ウェーブレット再構成することで、ｍ種類の超解像予測画像Ｆ’を生成する。ｐ≧３として、より精度よく位置合わせと割り付けを行うようにしてもよい。

【0057】

（ぼやけ予測画像の生成処理）
図４（ａ）乃至（ｄ）は、それぞれ本発明による一実施例の画像符号化装置１におけるぼやけ予測画像の生成処理の説明図である。

【0058】

まず、図４（ａ）に示すように、ぼやけ予測画像生成部１７４は、フレーム復号画像Ｆを入力する。

【0059】

続いて、ぼやけ予測画像生成部１７４は、フレーム復号画像Ｆについて多重解像度分解として、ｑ階（ｑ≧１とし、本例ではｑ＝１）ウェーブレット分解を行う。まずは、図４（ｂ）に示すように、フレーム復号画像Ｆについて１階ウェーブレット分解することで、１階の空間低周波数帯域ＬＬ^１、水平高周波数帯域ＬＨ^１、垂直高周波数帯域ＨＬ^１、及び対角（水平・垂直）高周波数帯域ＨＨ^１の各周波数帯域群に分解された１階分解成分画像Ｆ^１が得られる。

【0060】

続いて、ぼやけ予測画像生成部１７４は、図４（ｃ）に示すように、空間高周波帯域｛ＬＨ^１，ＨＬ^１，ＨＨ^１｝内の成分に、高周波成分のパワーを平滑化するｎ（ｎ≧１）種類の平滑化フィルタを適用し、１階分解成分画像Ｆ^１''を再構成する。ここで、平滑化フィルタとしてぼやけ予測画像生成用の縦横サイズｉ×ｊ、分散値σのガウシアンフィルタを用いるのが好適であり、縦横サイズｉ×ｊと分散値σのいずれか一方又は双方を変数とし、ｎ種類のガウシアンフィルタを用いることができる。例えば、４種（ｎ＝４）とするときは、ｉ×ｊは３×３で固定とし、σは｛０．１，０．５，１．０，２．０｝の４種類とすることができる。尚、平滑化フィルタは、本例では、超解像予測画像生成用と、ぼやけ予測画像生成用とで同じパラメータとしているが、異なるパラメータとしてもよい。

【0061】

最終的に、ぼやけ予測画像生成部１７４は、ｎ種類の平滑化フィルタ毎に、図４（ｄ）に示すように、ウェーブレット再構成することで、ｎ種類のぼやけ予測画像Ｆ''を生成する。

【0062】

このように、本実施例の画像符号化装置１は、符号化対象のフレーム画像に対し局部復号画像を用いる第１の画面内予測を実行し、この第１の画面内予測を経て得られるフレーム復号画像と、そのフレーム復号画像を基に生成したｍ種類の超解像予測画像及びｎ種類のぼやけ予測画像のいずれか一方又は双方とをそれぞれ参照画像として用いて、第２の画面内予測を行う。ここで、本実施例の画像符号化装置１において、第２の画面内予測に基づく符号化処理では、各参照画像を用いてＣＵ毎に画面内予測を行い、ＲＤコストが最小となる参照画像を選択決定し、選択決定した参照画像を示す参照画像選択情報を当該ＣＵのシンタックスとして生成する。そして、本実施例の画像符号化装置１は、ＲＤコストが最小となる参照画像を用いた第２の画面内予測による符号化信号と、その符号化信号の生成に対応する符号化パラメータ（参照画像選択情報、第１及び第２の画面内予測に係るブロックサイズ及び参照領域情報等）を伝送用に生成し、エントロピー符号化（例えば算術符号化）を施したビットストリームを生成して画像復号装置２に向けて伝送する。

【0063】

〔画像復号装置〕
（全体構成）
図５は、本発明による一実施例の画像復号装置２の概略構成を示すブロック図である。画像復号装置２は、エントロピー復号部２０、逆量子化部２１、逆直交変換部２２、加算部２３、画面内予測部２４、参照画像生成部２５、フレームメモリ群２６、及び出力制御部２７を備える。

【0064】

エントロピー復号部２０は、画像符号化装置１から伝送されるビットストリームを入力し、エントロピー復号処理を施すことにより、符号化信号及び符号化パラメータを抽出し、符号化信号については逆量子化部２１に、符号化パラメータについては各機能部に出力する。特に、エントロピー復号部２０は、当該符号化パラメータに含まれる第１及び第２の画面内予測による符号化信号の補助情報については画面内予測部２４に出力する。

【0065】

逆量子化部２１は、エントロピー復号部２０から得られる符号化信号である直交変換係数の信号の量子化値に対して画像符号化装置１の量子化部１２の逆処理を施して、直交変換係数の信号を復元し、逆直交変換部２２に出力する。

【0066】

逆直交変換部２２は、逆量子化部２１から得られる直交変換係数の信号に対して画像符号化装置１の直交変換部１１の逆処理を施して差分信号を復元し、加算部２３に出力する。

【0067】

加算部２３は、逆直交変換部２２から得られる差分信号と、画面内予測部２４から得られる対応する予測ブロックとを加算して局部復号画像の信号を生成し、画面内予測部２４に出力する。

【0068】

画面内予測部２４は、第３の画面内予測として、加算部２３から得られる局部復号画像の信号を一時記憶し、近接ブロック間の相関関係を利用して次の予測ブロックの信号を生成し減算部２３に出力する。

【0069】

この第３の画面内予測は、既存のブロックベース符号化（本例では、Ｈ．２６５／ＨＥＶＣ）の復号処理と同様であり、即ち、本実施例の画像復号装置２は、画像符号化装置１から伝送された符号化信号に関して、伝送された補助情報（第１の画面内予測に係るブロックサイズ及び参照領域情報等）を基に、まずは局部復号画像を用いる第３の画面内予測（画像符号化装置１における第１の画面内予測に対応する。）を実行する。ただし、本実施例の画像復号装置１は、第３の画面内予測を経て得られる局部復号画像の信号を、出力制御部２７の制御により直ちに外部出力せずに、以下に示す参照画像生成部２５を経て、画面内予測部２４により第４の画面内予測（画像符号化装置１における第２の画面内予測に対応する。）を実行する。

【0070】

参照画像生成部２５は、デブロッキングフィルタ処理部２５１、フレーム復号画像生成部２５２、超解像予測画像生成部２５３、及びぼやけ予測画像生成部２４４を備える。画像符号装置２における参照画像生成部２５は、画像符号化装置１における参照画像生成部１７と同様に動作し、超解像予測画像及びぼやけ予測画像の生成に係るパラメータを本実施例の画像符号化装置１と共有している。尚、超解像予測画像及びぼやけ予測画像の生成に係るパラメータは、符号化パラメータに含めて画像符号化装置１から画像符号装置２に伝送する形態としてもよいし、画像符号化装置１と画像符号装置２との間で予め定めたものとしてもよい。

【0071】

デブロッキングフィルタ処理部２５１は、第３の画面内予測を経て加算部２３から得られるブロック単位の局部復号画像の信号に対しデブロッキングフィルタ処理を施し、順次、フレーム復号画像生成部２５２に出力する。

【0072】

フレーム復号画像生成部２５２は、第３の画面内予測を経て得られるフレーム画像全体の復号画像に対応するフレーム復号画像を生成し、フレームメモリ群２６に出力するとともに、超解像予測画像生成部２５３、及びぼやけ予測画像生成部２５４にも出力する。

【0073】

超解像予測画像生成部２５３は、上述した超解像予測画像生成部１７３と同様に動作し、まず、フレーム復号画像生成部２５２によって生成したフレーム復号画像について多重解像度分解を行って低周波成分と高周波成分に分解する。そして、超解像予測画像生成部２５３は、多重解像度分解した階層間で低周波成分の位置合わせを行い、高次階層（本例では２階成分の階層）における位置合わせされた低周波成分と、その同位相位置の高周波成分は同階層内で類似するものと仮定して、低周波成分に対応する高周波成分として、高周波成分のパワーを平滑化するｍ（ｍ≧１）種類の平滑化フィルタを適用した高周波成分の割り付けを行う。最終的に、超解像予測画像生成部２５３は、低周波成分と割り付け後の高周波成分からなる各階層を合成して再構成することによりｍ種類の超解像予測画像を生成し、フレームメモリ群２６に出力する。ここで、超解像予測画像生成部２５３は、フレームメモリ群２６からフレーム復号画像を読み出してｍ種類の超解像予測画像を生成するとしてもよい。

【0074】

ぼやけ予測画像生成部２５４は、上述したぼやけ予測画像生成部１７４と同様に動作し、まず、フレーム復号画像生成部２５２によって生成したフレーム復号画像について多重解像度分解を行って低周波成分と高周波成分に分解する。そして、ぼやけ予測画像生成部２５４は、高周波成分のパワーを平滑化するｎ（ｎ≧１）種類の平滑化フィルタを適用し、低周波成分と平滑化フィルタの処理後の高周波成分からなる各階層を合成して再構成することによりｎ種類のぼやけ予測画像を生成し、フレームメモリ群２６に出力する。ここで、ぼやけ予測画像生成部２５４は、フレームメモリ群２６からフレーム復号画像を読み出してｎ種類のぼやけ予測画像を生成するとしてもよい。

【0075】

また、超解像予測画像生成部２５３及びぼやけ予測画像生成部２５４における多重解像度分解の処理は、多くを共通化できるため、ｍ種類の超解像予測画像とｎ種類のぼやけ予測画像を一括して生成する計算処理とすることもできる。また、本実施例では、画像符号化装置１側で、フレーム復号画像を用いて、ｍ種類の超解像予測画像と、ｎ種類のぼやけ予測画像の双方を生成する例を好適例として説明しているため、画像復号装置２側でも同様に、ｍ種類の超解像予測画像と、ｎ種類のぼやけ予測画像の双方を生成する。尚、いずれの種類の参照番号を用いるかについて、画像符号化装置１と画像復号装置２との間で取り決められているとき、或いはその情報を符号化パラメータに含めて伝送されるときは、画像符号化装置１と画像復号装置２の双方において、フレーム画像全体として、或いはＣＵ毎に、ｍ種類の超解像予測画像と、ｎ種類のぼやけ予測画像のいずれか一方のみを生成する形態とすることもできる。

【0076】

フレームメモリ群２６は、フレーム復号画像生成部２５２によって生成したフレーム復号画像、超解像予測画像生成部２５３によって生成したｍ種類の超解像予測画像、及びぼやけ予測画像生成部２５４によって生成したｎ種類のぼやけ予測画像をそれぞれフレーム単位で伝送されたフレーム画像の復元処理が完了するまで一時記憶する。ここで、説明の便宜上、「フレームメモリ群」と称しているが、１つの記憶部を複数のフレームメモリに領域区分したものとすることができる。

【0077】

画面内予測部２４は、第３の画面内予測を経て得られるフレーム復号画像と、そのフレーム復号画像を基に生成したｍ種類の超解像予測画像及びｎ種類のぼやけ予測画像のいずれか一方又は双方とをそれぞれ参照画像として用いて、第４の画面内予測（画像符号化装置１における第２の画面内予測に対応する。）を行う。

【0078】

つまり、画面内予測部２４は、第４の画面内予測として、第３の画面内予測を経て得られるフレーム復号画像と、そのフレーム復号画像を基に生成したｍ種類の超解像予測画像及びｎ種類のぼやけ予測画像のいずれか一方又は双方とをそれぞれ参照画像として選択する参照画像選択部２４１を有している。

【0079】

そして、画面内予測部２４は、伝送された符号化信号の符号化パラメータ（第２（即ち第４）の画面内予測に係るブロックサイズ及び参照領域情報、いずれの参照画像を用いた第２（即ち第４）の画面内予測であるかを示す参照画像選択情報を含む補助情報等）を基に、第４の画面内予測の予め定めたブロック（本例ではＣＵ）毎に、符号化パラメータで指定された参照画像を用いて第４の画面内予測を行い、第４の画面内予測として予測ブロックの信号を生成し加算部２３に出力する。

【0080】

続いて、加算部２３は、再度、逆直交変換部２２から得られていた差分信号と、第４の画面内予測として画面内予測部２４から得られる対応する予測ブロックとを加算して局部復号画像の信号を生成し、出力制御部２７に出力する。

【0081】

出力制御部２７は、加算部２３から第４の画面内予測を経て得られる局部復号画像の信号を入力してフレーム画像を復元し、その画像信号を図示しないディスプレイや記録部に外部出力する。

【0082】

（画像復号処理）
図６は、本発明による一実施例の画像復号装置２における画像復号処理を示すフローチャートである。

【0083】

本実施例の画像復号装置２は、ビットストリームを入力してエントロピー復号を施し、符号化信号及び符号化パラメータを抽出して、抽出した符号化パラメータを基に、符号化信号の復号のために、局部復号画像を用いる第３の画面内予測（画像符号化装置１における第１の画面内予測に対応する。）を実行する（ステップＳ１１）。

【0084】

続いて、本実施例の画像復号装置２は、第３の画面内予測を経て得られる局部復号画像の信号に対しデブロッキングフィルタ処理を施し、フレーム復号画像を一旦、生成する（ステップＳ１２）。

【0085】

続いて、本実施例の画像復号装置２は、フレーム復号画像を用いて、ｍ種（ｍ≧1）の超解像予測画像と、ｎ種（ｎ≧1）のぼやけ予測画像のいずれか一方、又は双方を生成する（ステップＳ１３）。

【0086】

続いて、本実施例の画像復号装置２は、フレーム復号画像、並びに、ｍ種類の超解像予測画像と、ｎ種類のぼやけ予測画像のいずれか一方、又は双方からなる参照画像のうち、符号化パラメータによって指定される参照画像を用いて、ＣＵ毎に、第４の画面内予測（画像符号化装置１における第２の画面内予測に対応する。）を実行する（ステップＳ１４）。

【0087】

続いて、本実施例の画像復号装置２は、第４の画面内予測による復号信号を基に、フレーム画像を復元する（ステップＳ１５）。

【0088】

このように、本実施例の画像復号装置２は、超解像予測画像及びぼやけ予測画像の生成に係るパラメータを本発明に係る画像符号化装置１と共有し、本発明に係る画像符号化装置１から伝送された符号化パラメータを用いて、伝送された符号化信号を復号する。

【0089】

これにより、本実施例の画像符号化装置１及び画像復号装置２は、画面内予測を用いた符号化・復号処理を実行する際に、従来のブロックベース符号化（本例では、Ｈ．２６５／ＨＥＶＣ）により生成されるフレーム復号画像と、平滑化フィルタを利用する超解像予測画像とぼやけ予測画像のいずれか一方又は双方とを含む複数種類の参照画像を用いるので、予測ブロック内と被予測ブロック内のオブジェクト間で鮮鋭度が異なる場合や類似する場合のいずれにおいても、画像符号化の符号化効率を向上させることができる。

【0090】

上述した実施例に関して、コンピュータを画像符号化装置１として機能させ、画像符号化装置１の各手段を機能させるためのプログラム、或いはコンピュータを画像復号装置２として機能させ、画像復号装置２の各手段を機能させるためのプログラムを好適に用いることができる。具体的には、各手段を制御するための制御部をコンピュータ内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各手段を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピュータに、ＣＰＵによって該プログラムを実行させることにより、上述した各手段の有する機能を実現させることができる。また、上述した各手段をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

【0091】

上述の実施形態及び実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。例えば、上述した実施例では、Ｈ．２６５／ＨＥＶＣに基づくＣＵ単位を当該ブロック単位とする例を説明したが、Ｈ．２６４／ＡＶＣに基づくマクロブロックとしてもよいし、現在検討されているＨ．ＦＶＣ（仮称）／ＶＶＣに基づくブロックとしてもよい。また、上述した実施例では、選択決定した参照画像を示す補助情報をＨ．２６５／ＨＥＶＣに基づくＣＵのシンタックスとしてＣＡＢＡＣにより算術符号化するとして説明したが、その他の算術符号化によるエントロピー符号化を用いてもよい。ただし、現段階では、第１の画面内予測、第２の画面内予測、及びエントロピー符号化には、ＣＵ単位を当該ブロック単位とし、選択決定した参照画像を示す補助情報を当該ＣＵのシンタックスとしてＣＡＢＡＣにより算術符号化するのが、Ｈ．２６５／ＨＥＶＣに対する親和性が高く利便性が高いものとなっている。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

【産業上の利用可能性】

【0092】

本発明によれば、予測ブロック内と被予測ブロック内のオブジェクト間で鮮鋭度が異なる場合や類似する場合のいずれにおいても、画像符号化の符号化効率を向上させることができるので、画面内予測を用いる符号化・復号処理の用途に有用である。

【符号の説明】

【0093】

１ 画像符号化装置
２ 画像復号装置
１０ 減算部
１１ 直交変換部
１２ 量子化部
１３ 逆量子化部
１４ 逆直交変換部
１５ 加算部
１６ 画面内予測部
１７ 参照画像生成部
１８ フレームメモリ群
１９ エントロピー符号化部
２０ エントロピー復号部
２１ 逆量子化部
２２ 逆直交変換部
２３ 加算部
２４ 画面内予測部
２５ 参照画像生成部
２６ フレームメモリ群
２７ 出力制御部
１６１ 参照画像選択部
１７１ デブロッキングフィルタ処理部
１７２ フレーム復号画像生成部
１７３ 超解像予測画像生成部
１７４ ぼやけ予測画像生成部
１９１ ＲＤコスト算出・参照画像決定部
２４１ 参照画像選択部
２５１ デブロッキングフィルタ処理部
２５２ フレーム復号画像生成部
２５３ 超解像予測画像生成部
２５４ ぼやけ予測画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】