特許 6163022 符号化装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6163022

(24)【登録日】2017年6月23日

(45)【発行日】2017年7月12日

(54)【発明の名称】符号化装置及びプログラム

(51)【国際特許分類】

   H04N 19/132 20140101AFI20170703BHJP

   H04N 19/154 20140101ALI20170703BHJP

   H04N 19/172 20140101ALI20170703BHJP

   H04N 19/59 20140101ALI20170703BHJP

【ＦＩ】

   H04N19/132

   H04N19/154

   H04N19/172

   H04N19/59

【請求項の数】7

【全頁数】21

(21)【出願番号】特願2013-120080(P2013-120080)

(22)【出願日】2013年6月6日

(65)【公開番号】特開2014-239301(P2014-239301A)

(43)【公開日】2014年12月18日

【審査請求日】2016年4月25日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】境田 慎一

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】岩村 俊輔

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特開２０１１−２２８９７４（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１２４５９１（ＷＯ，Ａ１）

【文献】 松尾康孝、三須俊枝、岩村俊輔、境田慎一，パラメータ最適化を伴う階調削減と階調復元を用いた超高精細映像符号化の検討，画像符号化シンポジウム 第２７回シンポジウム資料，２０１２年１０月２４日，第７〜８頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｇ０６Ｔ ５／００−５／５０

(57)【特許請求の範囲】

【請求項1】

原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置であって、
原画像をｊ個（ｊ≧１）のパラメータを用いて階調削減処理してｊ枚の階調削減画像を生成する階調削減部と、
前記階調削減画像をｋ個（ｋ≧１）のパラメータを用いて空間縮小処理してｊ×ｋ枚の空間・階調削減画像を生成する空間縮小部と、
前記ｊ×ｋ枚の空間・階調削減画像を符号化してｊ×ｋ種類の符号化信号を生成する符号化部と、
前記ｊ×ｋ種類の符号化信号を局部復号してｊ×ｋ枚の局部復号画像を生成する局部復号部と、
前記ｊ×ｋ枚の局部復号画像をそれぞれｌ個（ｌ≧１）のパラメータを用いて空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成する空間拡大部と、
前記ｊ×ｋ×ｌ枚の空間拡大画像をそれぞれｍ個（ｍ≧１）のパラメータを用いて階調補間処理してｊ×ｋ×ｌ×ｍ（但し、ｊ×ｋ×ｌ×ｍ≧２）枚の空間・階調復元画像を生成する階調補間部と、
前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を前記原画像と比較して、最も劣化の少ない空間・階調復元画像を決定し、前記ｊ×ｋ種類の符号化信号のうち該最も劣化の少ない空間・階調復元画像に対応する符号化信号を出力する最適化部と、
を備え、
前記階調削減部は、
前記原画像を空間方向に周波数分解して、最も周波数が高い帯域成分である空間最高周波数帯域成分、及び最も周波数が低い帯域成分である空間最低周波数帯域成分を含む複数の空間周波数帯域成分を生成する周波数分解部と、
前記原画像の前記空間最高周波数帯域成分のパワーの割合とｊ個の雑音閾値とを比較して、該パワーの割合が前記雑音閾値を超え且つ孤立している要素を除去したｊ枚の雑音除去画像を生成するか、又は前記原画像の前記空間最低周波数帯域成分のパワーの割合とｊ個のグラデーション閾値とを比較して、該パワーの割合が前記グラデーション閾値を超える領域のみからなるｊ枚のグラデーション画像を生成する画像生成部と、
前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記ｊ枚の階調削減画像を生成する階調決定部と、
を備え、
前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、
前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする符号化装置。

【請求項2】

前記空間縮小部は、ｋ種類の縮小劣化過程を模擬したフィルタ又はウェーブレットフィルタを用いて空間縮小処理することを特徴とする、請求項１に記載の符号化装置。

【請求項3】

前記空間拡大部は、前記局部復号画像を前記原画像の解像度以上のｌ種類の解像度に空間拡大処理し、
前記階調補間部は、前記空間拡大画像を、階調数が前記原画像の階調数となるように階調補間処理するとともに、解像度が前記原画像の解像度となるように空間縮小処理することを特徴とする、請求項１又は２に記載の符号化装置。

【請求項4】

前記空間拡大部は、ウェーブレット変換を用いて前記局部復号画像を水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより前記ｌ種類の解像度に空間拡大処理することを特徴とする、請求項３に記載の符号化装置。

【請求項5】

前記階調補間部は、前記空間拡大画像の階調数を前記原画像の階調数に拡大し、ｍ種類の縮小劣化過程を模擬したフィルタを用いて畳み込むことにより中間階調を補間し、その後、解像度が前記原画像の解像度となるように縮小処理することを特徴とする、請求項４に記載の符号化装置。

【請求項6】

前記最適化部は、前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像と前記原画像とのＰＳＮＲ値又はＳＳＩＭ値を算出し、該ＰＳＮＲ値又はＳＳＩＭ値が最小となる空間・階調復元画像を前記最も劣化の少ない空間・階調復元画像として決定することを特徴とする、請求項１から５のいずれか一項に記載の符号化装置。

【請求項7】

コンピュータを、請求項１から６のいずれか一項に記載の符号化装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置及びプログラムに関する。

【背景技術】

【0002】

従来、原画像の空間縮小処理を行う技術や、原画像の階調削減処理を行う技術が知られている。空間縮小処理は、例えば画素の単純間引きやウェーブレット分解などにより行うことができる。階調削減処理は、例えば階調数の単純削減やLloyd-Max法などにより行うことができる。Lloyd-Max法とは、画像の階調値(輝度値)ごとの度数を示すヒストグラムを調べ、階調削減を行う際に、度数が高い階調値ほど多くの階調を割り当てるようにする手法である（非特許文献１及び２参照）。

【0003】

また、画像を空間方向に拡大又は超解像処理して元の画像よりも解像度の高い画像を生成する技術が知られている。例えば、被写体の照明方程式パラメータを推定し、推定した照明方程式パラメータについて高解像度化を行い、高解像度化された照明方程式パラメータを合成して高解像度画像を生成し、その際、推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するときは、高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行うことにより、被写体の画像を高解像度化する技術が知られている（特許文献１参照）。

【0004】

また、画像の中間階調値を補間して元の画像よりも階調数の多い画像を生成する技術が知られている。例えば、処理対象画素の印字濃度に対して複数の閾値と補間演算誤差を設定し、処理対象画素とその隣接する画素の持つ補間演算誤差の平均との総和を複数の閾値と比較し、その最も近い値の閾値を実行閾値として用いるなどして中間階調を補間する技術が知られている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４１３９８５３号公報

【特許文献2】特開平４−１８８５５号公報

【非特許文献】

【0006】

【非特許文献1】S.P.Lloyd, “Least squares quantization in PCM”, IEEE Trans. Information Theory, vol.IT-28, pp.129-136, March 1982

【非特許文献2】J.Max, “Quantizing for minimum distortion”, IEEE Trans. Information Theory, vol.IT-7, pp.7-12, March 1960

【発明の概要】

【発明が解決しようとする課題】

【0007】

原画像を空間縮小処理及び階調削減処理してから符号化することにより、ビットレートを大幅に低減することができる。しかし、画像に対して空間縮小処理及び階調削減処理を行うには、空間縮小処理と階調削減処理とを別々に適用する必要があった。このため、空間縮小処理と階調削減処理とを一元的に最適化することはできず、両方の処理を同時に高精度に処理することが困難であった。

【0008】

また、画像に対して空間拡大処理及び階調補間処理を行うには、空間拡大処理と階調補間処理とを別々に適用する必要があった。このため、空間拡大処理と階調補間処理とを一元的に最適化することはできず、両方の処理を同時に高精度に処理することが困難であった。

【0009】

かかる事情に鑑みてなされた本発明の目的は、原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置及びプログラムにおいて、パラメータを一元的に最適化し、高画質かつ高圧縮な符号化を実現することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するため、本発明に係る符号化装置は、原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置であって、原画像をｊ個（ｊ≧１）のパラメータを用いて階調削減処理してｊ枚の階調削減画像を生成する階調削減部と、前記階調削減画像をｋ個（ｋ≧１）のパラメータを用いて空間縮小処理してｊ×ｋ枚の空間・階調削減画像を生成する空間縮小部と、前記ｊ×ｋ枚の空間・階調削減画像を符号化してｊ×ｋ種類の符号化信号を生成する符号化部と、前記ｊ×ｋ種類の符号化信号を局部復号してｊ×ｋ枚の局部復号画像を生成する局部復号部と、前記ｊ×ｋ枚の局部復号画像をそれぞれｌ個（ｌ≧１）のパラメータを用いて空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成する空間拡大部と、前記ｊ×ｋ×ｌ枚の空間拡大画像をそれぞれｍ個（ｍ≧１）のパラメータを用いて階調補間処理してｊ×ｋ×ｌ×ｍ（但し、ｊ×ｋ×ｌ×ｍ≧２）枚の空間・階調復元画像を生成する階調補間部と、前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を前記原画像と比較して、最も劣化の少ない空間・階調復元画像を決定し、前記ｊ×ｋ種類の符号化信号のうち該最も劣化の少ない空間・階調復元画像に対応する符号化信号を出力する最適化部と、を備え、前記階調削減部は、前記原画像を空間方向に周波数分解して、最も周波数が高い帯域成分である空間最高周波数帯域成分、及び最も周波数が低い帯域成分である空間最低周波数帯域成分を含む複数の空間周波数帯域成分を生成する周波数分解部と、前記原画像の前記空間最高周波数帯域成分のパワーの割合とｊ個の雑音閾値とを比較して、該パワーの割合が前記雑音閾値を超え且つ孤立している要素を除去したｊ枚の雑音除去画像を生成するか、又は前記原画像の前記空間最低周波数帯域成分のパワーの割合とｊ個のグラデーション閾値とを比較して、該パワーの割合が前記グラデーション閾値を超える領域のみからなるｊ枚のグラデーション画像を生成する画像生成部と、前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記ｊ枚の階調削減画像を生成する階調決定部と、を備え、前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする。

【0014】

さらに、本発明に係る符号化装置において、前記空間縮小部は、ｋ種類の縮小劣化過程を模擬したフィルタ又はウェーブレットフィルタを用いて空間縮小処理することを特徴とする。

【0015】

さらに、本発明に係る符号化装置において、前記空間拡大部は、前記局部復号画像を前記原画像の解像度以上のｌ種類の解像度に空間拡大処理し、前記階調補間部は、前記空間拡大画像を、階調数が前記原画像の階調数となるように階調補間処理するとともに、解像度が前記原画像の解像度となるように空間縮小処理することを特徴とする。

【0016】

さらに、本発明に係る符号化装置において、前記空間拡大部は、ウェーブレット変換を用いて前記局部復号画像を水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより前記ｌ種類の解像度に空間拡大処理することを特徴とする。

【0017】

さらに、本発明に係る符号化装置において、前記階調補間部は、前記空間拡大画像の階調数を前記原画像の階調数に拡大し、ｍ種類の縮小劣化過程を模擬したフィルタを用いて畳み込むことにより中間階調を補間し、その後、解像度が前記原画像の解像度となるように縮小処理することを特徴とする。

【0018】

さらに、本発明に係る符号化装置において、前記最適化部は、前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像と前記原画像とのＰＳＮＲ値又はＳＳＩＭ値を算出し、該ＰＳＮＲ値又はＳＳＩＭ値が最小となる空間・階調復元画像を前記最も劣化の少ない空間・階調復元画像として決定することを特徴とする。

【0019】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。

【発明の効果】

【0020】

本発明によれば、高画質を維持しつつ、符号化信号のビットレートを大幅に低減することができるようになる。

【図面の簡単な説明】

【0021】

【図1】本発明に係る符号化装置の概要を説明する図である。

【図2】本発明の第１の実施形態に係る符号化装置の構成例を示すブロック図である。

【図3】本発明の第２の実施形態に係る符号化装置における階調削減部の構成例を示すブロック図である。

【図4】本発明の第２の実施形態に係る符号化装置における周波数分解部の処理を説明する図である。

【図5】本発明の第２の実施形態に係る符号化装置における雑音除去画像生成部の構成例を示すブロック図である。

【図6】本発明の第２の実施形態に係る符号化装置における孤立点検出部による孤立点判定処理を説明する図である。

【図7】本発明の第２の実施形態に係る符号化装置におけるグラデーション画像生成部の構成例を示すブロック図である。

【図8】本発明の第２の実施形態に係る符号化装置における階調削減初期情報生成部の第１の構成例を示すブロック図である。

【図9】本発明の第２の実施形態に係る符号化装置における階調削減初期情報生成部の第２の構成例を示すブロック図である。

【図10】本発明の第２の実施形態に係る符号化装置における階調削減初期情報生成部の第３の構成例を示すブロック図である。

【図11】本発明の第３の実施形態に係る符号化装置における階調削減部の構成例を示すブロック図である。

【図12】本発明の第４の実施形態に係る符号化装置における空間拡大部の構成例を示すブロック図である。

【図13】本発明の第４の実施形態に係る符号化装置における階調補間部の構成例を示すブロック図である。

【発明を実施するための形態】

【0022】

まず、本発明の概要について説明する。以下の説明において、画像の階調数を削減（階調削減処理）し、且つ解像度（標本化周波数）を縮小（空間縮小処理）することを「空間・階調削減処理」といい、空間・階調削減処理された画像のことを「空間・階調削減画像」という。また、画像の解像度を拡大（空間拡大処理）し、且つ画像の階調数を拡大（階調補間処理）することを「空間・階調復元処理」といい、空間・階調復元処理された画像のことを「空間・階調復元画像」という。

【0023】

図１は、本発明に係る符号化装置の処理の概要を説明する図である。図１に示す例では、「８Ｋ×４Ｋ解像度、１０ｂｉｔ階調」の原画像から「４Ｋ×２Ｋ解像度、８ｂｉｔ階調」の空間・階調削減画像を生成し、この空間・階調削減画像の最適な符号化信号を生成する際の処理概要を示している。本発明に係る符号化装置は、原画像をまず空間・階調削減処理して「４Ｋ×２Ｋ解像度、８ｂｉｔ階調」の複数の空間・階調削減画像を生成し、この複数の階調削減画像を符号化して符号化信号を作成する。

【0024】

次に、最適な符号化信号を決定するために、符号化信号を局部復号して「４Ｋ×２Ｋ解像度、８ｂｉｔ階調」の局部復号画像を生成する。さらに、局部復号画像を空間・階調復元処理して「８Ｋ×４Ｋ解像度、１０ｂｉｔ階調」の空間・階調復元画像を複数生成する。そして、原画像を基準として、空間・階調削減処理及び空間・階調復元処理に用いたパラメータを一元的に最適化し、最適なパラメータを最適補助情報として選択する。最後に、最適補助情報、及び該最適補助情報に対応する符号化信号を復号側へ出力する。

【0025】

以下、本発明の実施形態について、詳細に説明する。

【0026】

（第１の実施形態）
図２は、本発明の第１の実施形態に係る符号化装置の構成例を示すブロック図である。図２に示す例では、符号化装置１は、空間・階調削減部１０と、符号化部２０と、局部復号部３０と、空間・階調復元部４０と、最適化部５０とを備える。

【0027】

空間・階調削減部１０は、原画像を階調削減処理して階調を削減するとともに、空間縮小処理して解像度を縮小し、１以上の空間・階調削減画像を生成し、符号化部２０に出力する。空間・階調削減部１０は、空間・階調削減画像を１以上生成するために、ｊ個（ｊ≧１）のパラメータを用いて階調削減処理するとともに、ｋ個（ｋ≧１）のパラメータを用いて空間縮小処理し、その結果ｊ×ｋ枚の空間・階調削減画像を生成する。空間・階調削減部１０は、階調削減部１１と、空間縮小部１２とを備える。

【0028】

階調削減部１１は、原画像をｊ個のパラメータを用いて階調削減処理して、ｊ枚の階調削減画像を生成し、空間縮小部１２に出力する。階調削減処理は、既知の手法である階調数の単純削減やLloyd-Max法などにより行う。

【0029】

例えばｎ種類のルックアップテーブルを参照することにより階調削減処理を行う場合には、ｊ＝ｎとなる。階調削減部１１は、階調削減処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。

【0030】

空間縮小部１２は、階調削減部１１により生成されたｊ枚の階調削減画像を、それぞれｋ個のパラメータを用いて空間縮小処理して、ｊ×ｋ枚の空間・階調削減画像を生成する。空間縮小処理は、既知の手法である画素の単純間引きやウェーブレット分解などにより行う。

【0031】

また、空間縮小部１２は、階調削減部１１により生成されたｊ枚の階調削減画像をそれぞれ平滑化処理した後、画素を単純間引きしてもよい。平滑化は、解像度の縮小劣化過程（ぼやけ）を模擬したフィルタを用いて階調拡大画像を畳み込むことで処理する。解像度の縮小劣化過程を模擬したフィルタとして、例えば、点拡がり関数（ＰＳＦ：Point spread function）又はガウシアン関数を用いることができる。

【0032】

例えばｎ種類のフィルタを用いて空間縮小処理を行う場合には、ｋ＝ｎとなる。空間縮小部１２は、階調削減処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。平滑化処理を行う場合には、用いた関数のタップ数、分散値、及びゲイン情報を補助情報とする。

【0033】

符号化部２０は、空間・階調削減部１０により生成された１以上（ｊ×ｋ）の空間・階調削減画像をそれぞれ符号化して１以上の符号化信号を生成し、局部復号部３０に出力する。符号化は、ＡＶＣ/Ｈ.２６４やＨＥＶＣ/Ｈ.２６５などの既知の方式により行われる。

【0034】

局部復号部３０は、符号化部２０により生成された１以上（ｊ×ｋ）の符号化信号をそれぞれ局部復号して１以上の局部復号画像を生成し、空間・階調復元部４０に出力する。局部復号は、符号化と同じＡＶＣ/Ｈ.２６４やＨＥＶＣ/Ｈ.２６５などの既知の方式により行われる。

【0035】

空間・階調復元部４０は、局部復号部３０により生成された１以上（ｊ×ｋ）の局部復号画像をそれぞれ空間拡大処理及び階調補間処理し、原画像と同じ解像度及び階調数を有する空間・階調復元画像を複数枚生成し、最適化部５０に出力する。空間・階調復元部４０は、ｊ×ｋ枚の局部復号画像に対し、ｌ個（ｌ≧１）のパラメータを用いて空間拡大処理するとともに、ｍ個（ｍ≧１）のパラメータを用いて階調補間処理し、その結果ｊ×ｋ×ｌ×ｍ（但し、ｊ×ｋ×ｌ×ｍ≧２）枚の空間・階調復元画像を生成する。空間・階調復元部４０は、空間拡大部４１と、階調補間部４２とを備える。

【0036】

空間拡大部４１は、局部復号部３０により生成されたｊ×ｋ枚の局部復号画像を、それぞれｌ個のパラメータを用いて原画像の解像度まで空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成し、階調補間部４２に出力する。空間拡大処理は、既知の手法であるbi-cubic、Lanczos-3などの線形フィルタやウェーブレットフィルタを用いて行われる。

【0037】

例えばｎ種類のフィルタを用いて空間拡大処理を行う場合には、ｌ＝ｎとなる。空間拡大部４１は、空間拡大処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。

【0038】

階調補間部４２は、空間拡大部４１により生成されたｊ×ｋ×ｌ枚の空間拡大画像を、それぞれｍ個のパラメータを用いて原画像の階調数まで階調補間処理してｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を生成する。階調補間処理は、既知の手法である階調数の単純拡大により行われる。

【0039】

例えばｎ種類のルックアップテーブルを参照することにより階調補間処理を行う場合には、ｍ＝ｎとなる。階調補間部４２は、階調補間処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。

【0040】

最適化部５０は、空間・階調復元部４０により生成された複数の空間・階調復元画像から、原画像と比較して最も劣化の少ない（最も差分の少ない）空間・階調復元画像を決定し、該空間・階調復元画像に対応する符号化信号を出力する。

【0041】

例えば、原画像と空間階調復元画像との差分は、原画像を基準としたＰＳＮＲ（Peak Signal to Noise Ratio）値で計算することができる。ＰＳＮＲは、画像の最大階調数をＭＡＸ（例えば８ｂｉｔ深度画像の場合は２５６）とすると、式（１）により算出される。式（１）における平均二乗誤差ＭＳＥは、水平ｍ画素、垂直ｎラインの基準画像Ｉと評価画像Ｋにおいて、式（２）により求まる。

【0042】

【数1】

【0043】

また、最適化部５０は、ＰＳＮＲによる評価の他に、視覚特性を考慮してＰＳＮＲよりも人間の主観画質評価結果に近いといわれるＳＳＩＭ（Structural Similarity）値で計算してもよい。ＳＳＩＭは、基準画像及び評価画像の平均μ_１，μ_２、分散σ_ｘ^２，σ_ｙ^２、共分散２σ_ｘｙを用いて、式（３）により算出される。式（３）におけるＣ_１，Ｃ_２は式（４）により算出される。ここで、Ｋ_１，Ｋ_２は定数であり、通常０．０１，０．０３が使われる。また、Ｌは画像のダイナミックレンジであり、通常８ｂｉｔ深度画像では２５５が使われる。

【0044】

【数2】

【0045】

また、最適化部５０は、空間・階調削減部１０及び空間・階調復元部４０により生成された補助情報を入力し、決定した局部復号画像に対応する補助情報を、最適補助情報として出力する。最適補助情報を出力することにより、該最適補助情報及び符号化信号を用いて、原画像を復元することができるようになる。なお、符号化部２０により生成された複数の符号化信号と、空間・階調削減部１０及び空間・階調復元部４０により生成された補助情報を最適化部５０に直接入力させるのではなく、いったん記憶部（図示せず）に記憶し、決定した局部復号画像に対応する符号化信号及び補助情報を記憶部から取得するようにしてもよい。

【0046】

以上説明したように、符号化装置１は、階調削減部１１により原画像をｊ個のパラメータを用いて階調削減処理してｊ枚の階調削減画像を生成するとともに、空間縮小部１２により階調削減画像をｋ個のパラメータを用いて空間縮小処理してｊ×ｋ枚の空間・階調削減画像を生成する。そして、符号化部２０によりｊ×ｋ枚の空間・階調削減画像を符号化してｊ×ｋ種類の符号化信号を生成し、局部復号部３０によりｊ×ｋ種類の符号化信号を局部復号してｊ×ｋ枚の局部復号画像を生成する。続いて、空間拡大部４１によりｊ×ｋ枚の局部復号画像をそれぞれｌ個のパラメータを用いて空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成するとともに、階調補間部４２によりｊ×ｋ×ｌ枚の空間拡大画像をそれぞれｍ個のパラメータを用いて階調補間処理してｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を生成する。最後に、最適化部５０によりｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を前記原画像と比較して、最も劣化の少ない空間・階調復元画像を決定し、ｊ×ｋ種類の符号化信号のうち該最も劣化の少ない空間・階調復元画像に対応する符号化信号を出力する。このため、符号化装置１によれば、空間縮小処理、階調削減処理、空間拡大処理、及び階調補間処理を一元的に最適化することができ、高画質を維持しつつ、符号化信号のビットレートを大幅に低減することができるようになる。

【0047】

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、第１の実施形態と異なる手法により階調削減処理を行う。階調削減処理は、階調数の単純削減では画像劣化が大きい。また、Lloyd-Max法では度数が高い階調値に多くの階調を割り当てて階調削減を行うため、原画像と階調削減画像との誤差を最小化するという観点からは最適な階調削減方法といえるが、視覚的かつ信号処理の観点からは最適な階調削減とはいえない。なぜなら、Lloyd-Max法では例えば雑音が支配的な階調値においても、その度数が高ければ多くの階調を割り当てて階調削減を行ってしまうからである。そこで、第２の実施形態では、雑音、グラデーション、又は双方を考慮して階調削減処理を行う。

【0048】

第２の実施形態に係る符号化装置２の概略構成は図２に示したとおりであり、階調削減処理のみ異なる。そこで、以下は、符号化装置２における階調削減部１１の処理内容についてのみ説明する。

【0049】

図３は、符号化装置２における階調削減部１１の構成例を示すブロック図である。図３に示す例では、階調削減部１１は、周波数分解部１１１と、雑音閾値決定部１１２と、雑音除去画像生成部１１３と、グラデーション閾値決定部１１４と、グラデーション画像生成部１１５と、階調削減初期情報生成部１１６と、階調決定部１１７とを備える。ここでは、雑音及びグラデーションの双方を考慮する場合について説明するが、雑音閾値決定部１１２及び雑音除去画像生成部１１３を備えないで原画像のグラデーションのみを考慮するようにしてもよく、また、グラデーション閾値決定部１１４及びグラデーション画像生成部１１５を備えないで原画像の雑音のみを考慮するようにしてもよい。

【0050】

周波数分解部１１１は、原画像を周波数分解（例えば、ウェーブレットパケット分解）して、複数の周波数帯域成分を生成し、雑音閾値決定部１１２及び雑音除去画像生成部１１３に出力する。周波数帯域成分を解析することにより、後述するように雑音閾値及びグラデーション閾値を決定する。以下では、説明の便宜上、周波数分解成分のように周波数帯域毎に分解された画像を構成する最小単位を「要素」と称し、原画像のように周波数分解されていない画像を構成する最小単位を「画素」と称して、両者を区別することとする。

【0051】

図４は、周波数分解部１１１による空間方向の周波数分解処理を説明する図である。図４では、原画像を空間方向に２階ウェーブレットパケット分解した場合の分解図を示しており、太線は１階ウェーブレットパケット分解の各周波数帯域を示している。図４に示すウェーブレットパケット分解の例では、低周波側、高周波側を空間方向に均等に周波数分解している。この分解図では空間周波数成分を、水平方向においては右側ほど高周波成分とし、垂直方向においては下側ほど高周波成分としている。よって、図４に示すように、左上は空間最低周波数帯域成分（周波数分解部１１１により生成された複数の周波数分解成分のうち最も周波数が低い帯域成分）となり、右下は空間最高周波数帯域成分（周波数分解部１１１により生成された複数の周波数分解成分のうち最も周波数が高い帯域成分）となる。なお、空間方向に加えて時間方向に周波数分解を行ってもよい。

【0052】

図４では説明の便宜上、デシメーション有りでウェーブレットパケット分解を行った場合の分解図を示しているが、後述する孤立点検出部１１３１にて原画像の画素単位で孤立点（雑音）を除去することができるようにするために、周波数分解部１１１はデシメーション無し（すなわち、周波数帯域成分の画像サイズの縮小無し）で周波数分解を行い、生成される各周波数帯域成分の画像サイズを同一としてもよい。

【0053】

雑音閾値決定部１１２は、周波数分解部１１１により生成された周波数分解成分の全帯域成分に対する空間最高周波数帯域成分のパワーの割合（以下、「空間最高周波数帯域成分の割合」という）を、各要素位置について算出する。そして、雑音閾値決定部１１２は、空間最高周波数帯域成分の割合の平均値を基準として、複数の空間最高周波数帯域成分の割合を雑音閾値として決定し、雑音除去画像生成部１１３に出力する。例えば、０％から、空間最高周波数帯域成分の割合の平均値までをａ等分した複数の値を雑音閾値として決定する。この場合、空間最高周波数帯域成分の割合の平均値が１０％、ａ＝５とすると、２％、４％、６％、８％、１０％が雑音閾値となる。雑音閾値決定部１１２により決定された雑音閾値は、補助情報（パラメータ情報）として最適化部５０に出力される。

【0054】

雑音除去画像生成部１１３は、周波数分解部１１１により生成された周波数帯域成分、及び雑音閾値決定部１１２により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部１１６に出力する。

【0055】

図５は、雑音除去画像生成部１１３の構成例を示すブロック図である。図５に示すように、雑音除去画像生成部１１３は、孤立点検出部１１３１と、再構成部１１３２とを備える。

【0056】

孤立点検出部１１３１は、周波数分解部１１１により生成された周波数帯域成分を解析して原画像の孤立点を検出する。具体的には、孤立点検出部１１３１は、空間最高周波数帯域成分の割合を各要素位置について算出する。そして、孤立点検出部１１３１は、雑音閾値決定部１１２により決定された複数の雑音閾値のうちの１つを選択し、算出した空間最高周波数帯域成分の割合が選択した雑音閾値Ｔｈ_１を超える要素の値を１とし、雑音閾値Ｔｈ_１以下の要素の値を０とする２値化画像Ｂを生成する。

【0057】

孤立点検出部１１３１は、２値化画像Ｂの要素値が１である要素について、該要素を中心とする所定の判定領域内の要素値の合計値と、所定の閾値Ｔｈ_２とを比較する。２値化画像Ｂの判定領域内の要素値の合計値が閾値Ｔｈ_２を超える場合には、当該要素は孤立点要素ではないと判定し、２値化画像Ｂの判定領域内の要素値の合計値が閾値Ｔｈ_２以下である場合には、当該要素を孤立点要素と判定し、孤立点要素に対応する原画像の画素を孤立点と判定する。

【0058】

図６は、孤立点検出部１１３１による孤立点判定処理を説明する図である。図６に示す例では、判定領域は３×３要素である。閾値Ｔｈ_２を１とすると、２値化画像Ｂの要素値が１となる要素素の周囲の８要素の要素値が０であるときのみ、２値化画像Ｂの要素値が１である要素を孤立要素とみなす。よって、閾値Ｔｈ_２＝１の場合、図中の要素Ｐ１は孤立点要素であると判定され、要素Ｐ２と要素Ｐ３は孤立点要素と判定されない。

【0059】

そして、孤立点検出部１１３１は、各周波数帯域成分について、孤立点要素であると判定した要素位置の要素値を０とし、再構成部１１３２に出力する。ただし、直流成分に雑音が含まれる場合には孤立点要素として検出されないおそれがあるため、直流成分を有する空間最低周波数帯域成分については階調値を変更しないようにするのが好適である。

【0060】

再構成部１１３２は、孤立点検出部１１３１から入力される孤立点検出後の周波数帯域成分を用いて再構成処理を行い、雑音除去画像を生成し、階調削減初期情報生成部１１６に出力する。例えば、周波数分解部１１１においてｎ階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、孤立点検出後の周波数帯域成分をｎ階ウェーブレットパケット再構成する。

【0061】

グラデーション閾値決定部１１４は、周波数分解部１１１により生成された周波数分解成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合（以下、「空間最低周波数帯域成分の割合」という）を、各要素位置について算出する。そして、グラデーション閾値決定部１１４は、空間最低周波数帯域成分の割合の平均値を基準として、複数の空間最低周波数帯域成分の割合をグラデーション閾値として決定し、グラデーション画像生成部１１５に出力する。例えば、空間最低周波数帯域成分の割合の平均値から１００％までをｂ等分した複数の値をグラデーション閾値として決定する。この場合、空間最低周波数帯域成分の割合平均値が９０％、ｂ＝５とすると、９０％、９２％、９４％、９６％、９８％がグラデーション閾値となる。グラデーション閾値決定部１１４により決定されたグラデーション閾値は、補助情報として最適化部５０に出力される。

【0062】

グラデーション画像生成部１１５は、周波数分解部１１１により生成された周波数帯域成分、及びグラデーション閾値決定部１１４により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部１１６に出力する。

【0063】

図７は、グラデーション画像生成部１１５の構成例を示すブロック図である。図７に示すように、グラデーション画像生成部１１５は、グラデーション領域検出部１１５１と、再構成部１１５２とを備える。

【0064】

グラデーション領域検出部１１５１は、周波数分解部１１１により生成された周波数帯域成分を解析して原画像のグラデーション領域を検出する。具体的には、グラデーション領域検出部１１５１は、空間最低周波数帯域成分の割合を各要素位置について算出する。そして、グラデーション領域検出部１１５１は、グラデーション閾値決定部１１４により決定された複数のグラデーション閾値のうちの１つを選択し、算出した空間最低周波数帯域成分の割合が選択したグラデーション閾値を超える領域をグラデーション領域と決定する。そして、グラデーション領域のみからなる画像を、再構成部１１５２に出力する。

【0065】

再構成部１１５２は、グラデーション領域検出部１１５１から入力されるグラデーション領域検出後の周波数帯域成分を用いて再構成処理を行い、グラデーション画像を生成し、階調削減初期情報生成部１１６に出力する。例えば、周波数分解部１１１においてｎ階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、グラデーション領域検出後の周波数帯域成分をｎ階ウェーブレット再構成する。

【0066】

階調削減初期情報生成部１１６は、雑音除去画像生成部１１３により生成された雑音除去画像、及びグラデーション画像生成部１１５により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率（階調削減ビット数）に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部１１７に出力する。

【0067】

図８は、階調削減初期情報生成部１１６の構成例を示すブロック図である。図８に示すように、階調削減初期情報生成部１１６は、ヒストグラム生成部１１６１と、重み付け部１１６２と、階調変換テーブル生成部１１６３とを備える。

【0068】

ヒストグラム生成部１１６１は、雑音除去画像生成部１１３により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを訓練データとして生成し、階調決定部１１７に出力する。

【0069】

重み付け部１１６２は、グラデーション画像生成部１１５により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部１１６１により生成された雑音除去画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けする。そして、重み付けしたヒストグラムを訓練データとして階調決定部１１７に出力する。例えば、グラデーション画像の階調値の度数を、所定の１を超える値（例えば、１．２）を乗じた値に変更する。なお、度数の高いグラデーション画像の階調値ほど重みを大きくするようにしてもよい。重み付けしたヒストグラムを訓練データとすることにより、階調決定部１１７にて階調削減を行う際に、グラデーション領域に、より多くの階調を割り当てることができる。

【0070】

階調変換テーブル生成部１１６３は、階調削減率に応じて階調変換テーブルを生成し、階調決定部１１７に出力する。階調変換テーブルは、原画像の色深度がｎビット（階調数２^ｎ）、階調削減ビット数がｍビットの場合、ｎビットを（ｎ−ｍ）ビットに線形変換する階調変換テーブルである。

【0071】

図９は、階調削減部１０がグラデーション閾値決定部１１４及びグラデーション画像生成部１１５を備えない場合の階調削減初期情報生成部１１６の構成例を示すブロック図である。この場合、ヒストグラム生成部１１６１は、雑音除去画像生成部１１３により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを訓練データとして生成する。階調変換テーブル生成部１１６３は、階調削減率に応じて階調変換テーブルを生成する。

【0072】

図１０は、階調削減部１０が雑音閾値決定部１１２及び雑音除去画像生成部１１３を備えない場合の階調削減初期情報生成部１１６の構成例を示すブロック図である。この場合、ヒストグラム生成部１１６１は、原画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部１１６２に出力する。重み付け部１１６２は、グラデーション画像生成部１１５により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部１１６１により生成された原画像のヒストグラムに対して、グラデーション画像の度数が高くなるように重み付けし、重み付けしたヒストグラムを訓練データとする。階調変換テーブル生成部１１６３は、階調削減率に応じて階調変換テーブルを生成する。

【0073】

階調決定部１１７は、階調削減初期情報生成部１１６により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。階調決定部１１７は、訓練データの度数に応じて各階調の量子化ステップを決定して階調削減画像を生成した後、階調削減画像を逆階調変換して原画像と同じ階調数の画像を生成する。そして、原画像と逆階調変換した画像との差分値が所定の閾値以下となるまで、訓練データ、及び階調変換テーブルを更新し、階調削減処理を繰り返し行う。Lloyd-Max法によれば、度数の高い階調ほど量子化ステップを小さくするため、原画像と階調削減画像との誤差を小さくすることができる。

【0074】

また、階調決定部１１７は、生成した階調削減部を元の階調数に復元するための逆量子化テーブルを生成し、補助情報として最適化部５０に出力する。ここで、逆量子化テーブルとは、階調削減画像を生成した際の階調変換テーブルの入力値を出力値とし、階調変換テーブルの出力値を入力値としたテーブルである。

【0075】

雑音除去画像生成部１１３は、雑音閾値決定部１１２により決定された雑音閾値ごとに雑音除去画像を生成する。また、グラデーション画像生成部１１５は、グラデーション閾値決定部１１４により決定されたグラデーション閾値ごとにグラデーション画像を生成する。よって、雑音閾値決定部１１２により決定された雑音閾値がａ個、グラデーション閾値決定部１１４により決定されたグラデーション閾値がｂ個の場合には、階調削減初期情報生成部１１６によりａ×ｂ種類の訓練データが生成され、階調決定部１１７によりａ×ｂ種類の階調削減画像（階調削減画像群）が生成される。

【0076】

以上説明したように、符号化装置２においては、前記階調削減部１０は、ｊ個の雑音閾値を用いて、原画像から孤立点を除去したｊ枚の雑音除去画像を生成するか、又はｊ個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるｊ枚のグラデーション画像を生成する画像生成部（雑音除去画像生成部１１３又はグラデーション画像生成部１１５）と、雑音除去画像又は原画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、原画像の階調を削減したｊ枚の階調削減画像を生成する階調決定部１１７と、を備える。このように、雑音又はグラデーションを考慮して階調変換することにより、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことができ、実施例１の符号化装置１に比べて更に高精度な符号化信号を生成することができる。また、空間縮小前に階調削減を行うことで、不要な雑音成分が折り返し成分として空間削減画像に含まれるのを防止することができる。

【0077】

なお、雑音及びグラデーションの双方を考慮する場合には、雑音除去画像生成部１１３によりａ個の雑音閾値を用いて、原画像から孤立点を除去したａ枚の雑音除去画像を生成し、ｂ個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるｂ枚のグラデーション画像を生成し、階調決定部１１７によりｊ＝ａ×ｂ枚の階調削減画像を生成する。

【0078】

（第３の実施形態）
次に、第２の実施形態の階調削減処理の変形例について、第３の実施形態として説明する。第２の実施形態では原画像を解析して閾値を決定したが、第３の実施形態では空間縮小率及び／又は階調削減率から閾値を決定する。第３の実施形態に係る符号化装置３の概略構成は図２に示したとおりであり、階調削減処理のみ異なる。そこで、以下は、符号化装置３における階調削減部１１の処理内容についてのみ説明する。

【0079】

図１１は、本発明の第３の実施形態に係る符号化装置３における階調削減部の構成を示すブロック図である。図１１に示す例では、階調削減部１１は、階調削減閾値決定部１１８と、周波数分解部１１１と、雑音除去画像生成部１１３と、グラデーション画像生成部１１５と、階調削減初期情報生成部１１６と、階調決定部１１７とを備える。ここでは、雑音及びグラデーションの双方を考慮する場合について説明するが、雑音閾値決定部１１２及び雑音除去画像生成部１１３を備えないで原画像のグラデーションのみを考慮するようにしてもよく、また、グラデーション閾値決定部１１４及びグラデーション画像生成部１１５を備えないで原画像の雑音のみを考慮するようにしてもよい。

【0080】

階調削減閾値決定部１１８は、空間縮小率及び／又は階調削減率に基づいて、雑音閾値及び／又はグラデーション閾値を決定する。ここでは、空間縮小率及び階調削減率に基づいて、雑音閾値及びグラデーション閾値を決定する場合について説明する。階調削減閾値決定部１１８は、決定した雑音閾値を雑音除去画像生成部１１３に出力し、決定したグラデーション閾値をグラデーション画像生成部１１５に出力する。

【0081】

階調削減閾値決定部１１８は、空間縮小率及び階調削減率と、雑音閾値及びグラデーション閾値とを対応付けた対応表を予め有する。対応表の例を表１に示す。空間縮小率と、雑音閾値及びグラデーション閾値との関係については、空間縮小率が高くなるほど、雑音閾値及びグラデーション閾値を小さくする。空間縮小率が高い場合は、雑音成分の折り返しによる影響は少なく、またグラデーション領域検出を高い精度で行う必要はないためである。また、階調削減率と、雑音閾値及びグラデーション閾値との関係については、階調削減率が高くなるほど、雑音閾値及びグラデーション閾値を大きくするのが好適である。階調削減率が高い場合は、雑音に階調を割り当てないように雑音除去閾値を高く設定する必要があり、また疑似輪郭防止のためにグラデーション領域検出閾値を高く設定する必要があるからである。つまり、表１では、Ｎ_１＜Ｎ_２＜Ｎ_３＜Ｎ_４、Ｇ_１＜Ｇ_２＜Ｇ_３＜Ｇ_４とする。

【0082】

【表1】

【0083】

表１の対応表を用いて雑音閾値及びグラデーション閾値を決定する場合、空間縮小処理に対する重みα、及び階調削減処理に対する重みβを用いるのが好適である。例えば、空間縮小率が１／２、階調削減率が１/８の場合に表１を用いて雑音閾値Ｎ及びグラデーション閾値Ｇを求めると、Ｎ＝（αＮ_４＋βＮ_３）／２、Ｇ＝（αＧ_４＋βＧ_３）／２となる。空間縮小処理の精度を重視する場合はαに大きな重みを与え、階調削減処理の精度を重視する場合はβに大きな重みを与える。なお、雑音閾値及びグラデーション閾値の組を複数組選択するようにしてもよい。

【0084】

雑音除去画像生成部１１３は、周波数分解部１１１により生成された周波数帯域成分、及び階調削減閾値決定部１１８により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部１１６に出力する。

【0085】

グラデーション画像生成部１１５は、周波数分解部１１１により生成された周波数帯域成分、及び階調削減閾値決定部１１８により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部１１６に出力する。

【0086】

階調削減初期情報生成部１１６は、雑音除去画像生成部１１３により生成された雑音除去画像、及びグラデーション画像生成部１１５により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部１１７に出力する。

【0087】

階調決定部１１７は、階調削減初期情報生成部１１６により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。

【0088】

以上説明したように、符号化装置３は、雑音閾値又は前記グラデーション閾値を、該閾値と、空間縮小率又は階調削減率とを対応付けた対応表に基づいて決定する。このため、符号化装置３によれば、第２の実施形態の符号化装置２と同様の効果に加え、雑音閾値又は前記グラデーション閾値を迅速に決定して処理時間を短縮することができるようになる。

【0089】

（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態では、第１の実施形態と異なる手法により空間・階調復元処理を行う。第４の実施形態に係る符号化装置４の概略構成は図２に示したとおりである。そこで、以下は、符号化装置４における空間・階調復元部４０の処理内容についてのみ説明する。

【0090】

局所復号画像を無限に高い解像度（標本化周波数）まで空間超解像（オーバーサンプリング）処理を行い、これを原画像の解像度まで縮小する時に階値補間処理を行えば、理想的な空間・階調復元処理となる。しかしこれは不可能なため、第４の実施形態では原画像の解像度以上の解像度まで局所復号画像を空間超解像処理して、これを原画像の解像度まで縮小する際に階調補間処理を行う。

【0091】

符号化装置４における空間拡大部４１は、局部復号部３０により生成されたｊ×ｋ枚の局部復号画像を、それぞれ原画像の解像度以上のｌ種類の解像度まで空間超解像処理（空間オーバーサンプリング処理）して、原画像の解像度以上の解像度を有するｊ×ｋ×ｌ枚の空間拡大画像を生成し、階調補間部４２に出力する。

【0092】

図１２は、第４の実施形態に係る符号化装置４における空間拡大部４１の構成例を示すブロック図である。図１２に示す例では、空間拡大部４１は、オーバーサンプリング値決定部４１１と、オーバーサンプリング部４１２とを備える。

【0093】

オーバーサンプリング値決定部４１１は、空間拡大画像の解像度を示す空間オーバーサンプリング値を決定し、オーバーサンプリング部４１２に出力する。空間オーバーサンプリング値は、例えば、階調補間部４２で階調数を△ｂｉｔ増加させる場合、水平方向及び垂直方向ともに原画像の解像度の２^{（△＋１）}倍までの解像度とする。例えば局部復号画像の解像度及び階調数を「４Ｋ×２Ｋ、８ｂｉｔ」とし、原画像の解像度及び階調数を「８Ｋ×４Ｋ、１０ｂｉｔ」とすると、階調数を２ｂｉｔ増加させるため、空間オーバーサンプリング値は水平方向及び垂直方向ともに原画像の解像度の２倍、４倍、８倍となる。

【0094】

なお、空間オーバーサンプリング値の最大値は原画像の解像度の２^{（△＋１）}倍に限定されるものではない。また、空間オーバーサンプリング値が示す解像度が原画像の解像度と同一であってもよく、その場合には、後述する空間縮小処理は行わないこととなる。また、オーバーサンプリング値決定部４１１を設けずに、ユーザが空間オーバーサンプリング値を直接設定するようにしてもよい。

【0095】

オーバーサンプリング部４１２は、局部復号部３０により生成された局部復号画像を、空間オーバーサンプリング値によって指定されたｌ種類の解像度まで空間オーバーサンプリング処理し、空間拡大画像を生成する。空間オーバーサンプリング処理を行う際には、局部復号画像を一気に高解像度にするのではなく、例えばウェーブレット変換を用いて水平方向・垂直方向各２倍の超解像処理を再帰的に行うことにより、空間拡大画像を生成するのが好適である。これにより原画像の折り返し成分を利用した高精度なオーバーサンプリングを行えるとともに、エッジのギザギザ感を抑制することができる。なお、ウェーブレット超解像処理については、例えば特開２０１１−２３４１１６号公報を参照されたい。

【0096】

符号化装置４における階調補間部４２は、空間拡大部４１により生成された空間拡大画像を階調数が原画像の階調数となるように階調補間処理を行うともに、原画像の解像度まで空間縮小処理を行って空間・階調復元画像を出力する。

【0097】

図１３は、第４の実施形態に係る符号化装置４における階調補間部４２の構成例を示すブロック図である。図１３に示す例では、階調補間部４２は、空間拡大画像階調補間部４２１と、空間縮小部４２２とを備える。

【0098】

空間拡大画像階調補間部４２１は、空間拡大画像の階調数を原画像の階調数まで△ｂｉｔ増加させる場合、まず、単純に全画素の階調値を２^△倍に線形拡大した階調拡大画像を生成する。例えば△＝２の場合、空間拡大画像内の各画素の階調値ｘを４ｘとする。

【0099】

次に、空間拡大画像階調補間部４２１は、階調拡大画像を平滑化処理して階調復元画像を生成し、空間縮小部４２２に出力する。具体的には、空間拡大画像階調補間部４２１は、解像度の縮小劣化過程（ぼやけ）を模擬したｍ種類のフィルタを用いて階調拡大画像を畳み込むことにより平滑化処理し、中間階調値を補間する。解像度の縮小劣化過程を模擬した関数として、例えば、点拡がり関数（ＰＳＦ）又はガウシアン関数を用いることができる。また、空間拡大画像階調補間部４２１は、平滑化処理の代わりに、バイキュービック法、バイリニア法などにより階調拡大画像の中間階調値を補間してもよい。

【0100】

空間縮小部４２２は、空間拡大画像階調補間部４２１により生成された階調復元画像を原画像の解像度になるように空間縮小処理することで空間・階調復元画像を生成し、最適化部５０に出力する。空間縮小処理は、単純間引きにより行ってもよいし、空間拡大画像階調補間部４２１により生成された階調超解像画像を原画像の解像度になるようウェーブレット分解し、その空間低周波数成分を空間・階調復元画像としてもよい。

【0101】

以上説明したように、符号化装置４は、空間拡大部４１により、局部復号画像を原画像の解像度以上のｌ種類の解像度に空間拡大処理した後、階調補間部４２により、空間拡大画像を、階調数が原画像の階調数となるように階調補間処理するとともに、解像度が原画像の解像度となるように空間縮小処理する。このため、符号化装置４によれば、実施例１の符号化装置１に比べて更に高精度な空間・階調復元画像を生成することができる。

【0102】

また、空間拡大部４１は、ウェーブレット変換を用いて局部復号画像を水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより生成するのが好適である。これにより、折り返し成分を利用した高精度なオーバーサンプリングを行えるとともに、エッジのギザギザ感を抑制することができる。

【0103】

また、階調補間部４２は、空間拡大画像の階調を原画像の階調数に拡大し、ｍ種類の縮小劣化過程を模擬したフィルタを用いて畳み込むことにより中間階調を補間し、その後、解像度が前記原画像の解像度となるように縮小処理するのが好適である。これにより、高精度に中間階調値を補間することができる。

【0104】

なお、上述した符号化装置１，２，３，４として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、符号化装置１，２，３，４の各機能を実現する処理内容を記述したプログラムを当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。

【0105】

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【産業上の利用可能性】

【0106】

このように、本発明は原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する任意の用途に有用である。

【符号の説明】

【0107】

１，２，３，４ 符号化装置
１０ 空間・階調削減部
１１ 階調削減部
１２ 空間縮小部
２０ 符号化部
３０ 局部復号部
４０ 空間・階調復元部
４１ 空間拡大部
４２ 階調補間部
５０ 最適化部
１１１ 周波数分解部
１１２ 雑音閾値決定部
１１３ 雑音除去画像生成部
１１４ グラデーション閾値決定部
１１５ グラデーション画像生成部
１１６ 階調削減初期情報生成部
１１７ 階調決定部
１１８ 階調削減閾値決定部
４１１ オーバーサンプリング値決定部
４１２ オーバーサンプリング部
４２１ 空間拡大画像階調補間部
４２２ 空間縮小部
１１３１ 孤立点検出部
１１３２ 再構成部
１１５１ グラデーション領域検出部
１１５２ 再構成部
１１６１ ヒストグラム生成部
１１６２ 重み付け部
１１６３ 階調変換テーブル生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】